同治二年，山东邹县文贤教聚众起义失败，退至山势陡峭的白莲池，易守难攻。蒙古亲王僧格林沁率兵进剿，屡次不能成功。时陈国瑞刚调任到僧王麾下不久，想着借此机会露一手。

陈国瑞自选部下五十人做敢死队，出其不意的从后山最险峻处攀岩至山顶，再于四更时分潜入起义军大营放火，以此惊扰义军，使其人人自危。等到四更时分，陈国瑞远远望见山上起火，知道部下们得手，便亲自带头冲锋，从前山小路向上仰攻。见主将不惧炮火往前冲，士兵们也抖擞精神，不敢退缩，于是一举攻克白莲池。

事后，僧格林沁拍拍陈国瑞的后背夸赞说：“我统率诸多将领不能攻克，你一来就收功于此，真是我的大帅！”此后，僧格林沁宠陈国瑞如骄子，陈国瑞益死命奋战以报僧王。

同治四年，僧格林沁仅率少数骑兵追击捻军于山东曹州府，因过于轻敌，反而中了捻军的埋伏，突围中战死。随后带兵赶到的陈国瑞听闻此事，如丧考妣，先是命全军为僧王戴孝，后又独自潜入捻军中搜寻僧王的尸体。历经七昼夜，终于将尸体找到并带回来送入城中治丧。

因而，僧格林沁的福晋（老婆）对儿子伯彦讷谟祜说：“如果不是陈国瑞出死力，你父亲尸身安能归葬？”所以，当僧王战死后，他的部下几乎人人获罪，唯有陈国瑞一人得免。不久，曾国藩上书清廷，认为陈国瑞在这件事中要负主要责任，建议将他剥夺帮办军务的头衔，由提督降职为总兵，留在军中戴罪立功。

清廷否决了曾国藩的意见，据说是听从了僧王家属的求情，没有对陈国瑞降罪。然而，自从僧格林沁死后，陈国瑞没了靠山，处境益发不顺。

同治七年春，西捻军首领张宗禹攻入直隶，一度进入保定府，距离京师二百余里。清廷极为恐慌，四下调兵护卫京畿。已革职在家的陈国瑞复被起用，进入崇文门时，税吏们拦住不让走，要求给些赏钱。陈国瑞拔刀大怒说：“老子是陈国瑞，只知道杀人，不懂什么赏钱！”税吏们惊惧而散，任其扬长而去。

这次入京，陈国瑞以侍卫衔领八旗兵隶属于恭王奕。陈国瑞见八旗兵们日日喝酒赌博，斗鸡走狗，从不操练。于是领着他们每日全副武装出城训练，搞得旗兵们疲惫不堪，私下里痛骂不已。后来，醇王奕𫍽有心重振八旗雄风，到处网罗得力将领。陈国瑞的部下们闻讯一合计，找找关系把这座神送走吧。于是陈国瑞转而隶属于醇王。

醇王奕𫍽着实花了些力气训练八旗兵，每日让陈国瑞陪着观看士兵出操。连续数日后，醇王问陈国瑞这些士兵表现如何，能否堪任大用？陈国瑞漫不经心的回答说：“以国瑞看来，这些人没一个可用的！”醇王见自己的辛苦被说得一无是处，大为沮丧，因而对陈国瑞也就没了兴趣。

陈国瑞身材矮小，相貌姣好如美妇，打仗却勇猛无比，冲锋陷阵时常身穿红衣，人称“红孩儿”。曾总结作战心得说：战要战得狠，追要追得紧，退要退得稳！