同治二年，山東鄒縣文賢教聚衆起義失敗，退至山勢陡峭的白蓮池，易守難攻。蒙古親王僧格林沁率兵進剿，屢次不能成功。時陳國瑞剛調任到僧王麾下不久，想着藉此機會露一手。

陳國瑞自選部下五十人做敢死隊，出其不意的從後山最險峻處攀巖至山頂，再於四更時分潛入起義軍大營放火，以此驚擾義軍，使其人人自危。等到四更時分，陳國瑞遠遠望見山上起火，知道部下們得手，便親自帶頭衝鋒，從前山小路向上仰攻。見主將不懼炮火往前衝，士兵們也抖擻精神，不敢退縮，於是一舉攻克白蓮池。

事後，僧格林沁拍拍陳國瑞的後背誇讚說：“我統率諸多將領不能攻克，你一來就收功於此，真是我的大帥！”此後，僧格林沁寵陳國瑞如驕子，陳國瑞益死命奮戰以報僧王。

同治四年，僧格林沁僅率少數騎兵追擊捻軍于山東曹州府，因過於輕敵，反而中了捻軍的埋伏，突圍中戰死。隨後帶兵趕到的陳國瑞聽聞此事，如喪考妣，先是命全軍爲僧王戴孝，後又獨自潛入捻軍中搜尋僧王的屍體。歷經七晝夜，終於將屍體找到並帶回來送入城中治喪。

因而，僧格林沁的福晉（老婆）對兒子伯彥訥謨祜說：“如果不是陳國瑞出死力，你父親屍身安能歸葬？”所以，當僧王戰死後，他的部下幾乎人人獲罪，唯有陳國瑞一人得免。不久，曾國藩上書清廷，認爲陳國瑞在這件事中要負主要責任，建議將他剝奪幫辦軍務的頭銜，由提督降職爲總兵，留在軍中戴罪立功。

清廷否決了曾國藩的意見，據說是聽從了僧王家屬的求情，沒有對陳國瑞降罪。然而，自從僧格林沁死後，陳國瑞沒了靠山，處境益發不順。

同治七年春，西捻軍首領張宗禹攻入直隸，一度進入保定府，距離京師二百餘里。清廷極爲恐慌，四下調兵護衛京畿。已革職在家的陳國瑞覆被起用，進入崇文門時，稅吏們攔住不讓走，要求給些賞錢。陳國瑞拔刀大怒說：“老子是陳國瑞，只知道殺人，不懂什麼賞錢！”稅吏們驚懼而散，任其揚長而去。

這次入京，陳國瑞以侍衛銜領八旗兵隸屬於恭王奕。陳國瑞見八旗兵們日日喝酒賭博，鬥雞走狗，從不操練。於是領着他們每日全副武裝出城訓練，搞得旗兵們疲憊不堪，私下裏痛罵不已。後來，醇王奕譞有心重振八旗雄風，到處網羅得力將領。陳國瑞的部下們聞訊一合計，找找關係把這座神送走吧。於是陳國瑞轉而隸屬於醇王。

醇王奕譞着實花了些力氣訓練八旗兵，每日讓陳國瑞陪着觀看士兵出操。連續數日後，醇王問陳國瑞這些士兵表現如何，能否堪任大用？陳國瑞漫不經心的回答說：“以國瑞看來，這些人沒一個可用的！”醇王見自己的辛苦被說得一無是處，大爲沮喪，因而對陳國瑞也就沒了興趣。

陳國瑞身材矮小，相貌姣好如美婦，打仗卻勇猛無比，衝鋒陷陣時常身穿紅衣，人稱“紅孩兒”。曾總結作戰心得說：戰要戰得狠，追要追得緊，退要退得穩！