公元208年，曹操挥师南下，命曹纯率领虎豹骑在当阳长坂坡追上刘备大军。

史载：曹纯“从征荆州，追刘备于长坂，获其二女辎重，收其散卒”。也就是这一场战争，赵云战斗力爆棚，在曹军中七进七出，救出了刘备的亲生儿子刘禅，与此同时，徐庶的母亲流落于这场战争中。

在虚构的《三国演义》小说中，曹操忌惮徐庶的能力，使出了阴谋诡计抓捕了徐庶的老母亲，最终让大孝子徐庶不得已离开了刘备，只身投降曹操，于是有了典故“徐庶进曹营一言不发”。

然而，在真实的历史中，长坂坡之战，刘备再一次发挥了“刘跑跑”的能力，丢弃了辎重和军中家眷，所幸有了赵云不至于老刘家断后，失去的还有两个亲生女儿、小老婆糜夫人、还有徐庶的母亲等等。

为了保全母亲，徐庶不得已离开了刘备，就像故事中说得那样，徐庶所谓“方寸大乱”，其实徐庶很明白刘备的实际情况，自身都难保，更何况救出自己的母亲，未来前景实在是惨淡至极，对此刘备其实心中也明白，对于徐庶的离开，刘备只好答应了徐庶。

和成语“身在曹营心在汉”不同的是，身为寒门子弟的徐庶在曹操那里也是平步青云，要知道曹操手下人才济济，关系错综复杂，徐庶能够以一介寒门子弟的身份混到右中郎将、御史中丞这样的大官，如果仅仅是靠“一言不发”，曹操以及曹丕再昏庸无能，也不至于为了树立这样一个典型而寒了众多人才的心。

刘备的一生慧眼识才，却也错过很多人才，比如陈登、陈群、田豫等人，对于徐庶也是十分惋惜的，然而让刘备没有想到的是曹操死后，徐庶竟然上表劝曹丕登基称帝，这一点在刘备心中是不可饶恕的，至此再也不提徐庶，直到8年后诸葛亮北伐才感叹徐庶怀才不遇，让消失20年之久的徐庶再一次回到蜀国的视线中。