1937年平型關大捷後9月30日，聶榮臻和林彪致電毛澤東等：建議由一一五師直屬隊率領部分兵力到阜平地區創建抗日根據地。10月20日，毛澤東致電周恩來等指出：敵佔太原後，戰局將起極大極快之變化，擬作以下部署：留一一五師獨立團在恆山、五臺山地區堅持游擊戰爭，一一五師主力轉移到汾河以西呂梁山脈；總部轉移至孝義、靈石地區。據此，八路軍總部當即決定，聶榮臻留守五臺山地區，創建晉察冀抗日根據地。多年來，聶榮臻一直在黨中央和毛澤東身邊工作。這次要孤懸敵後，獨當一面了。聶榮臻知道任重如山，非同一般。

主力走後留給他的部隊，只有師獨立團、騎兵營、八路軍總部特務團一部，加上各地方工作團，也不過3000人。在晉、察、冀三省交界這樣一個廣闊的地區，面對四周強大的敵人，這點力量是很單薄的。必須使部隊有一個很大的發展纔行。而要擴大部隊打開局面，最主要的問題是缺乏幹部。第二天，他來到總部，希望幫助解決幹部奇缺的問題。總部當即決定，將唐延傑、舒同、王宗槐留在晉察冀軍區。在此前後，一一五師政治部主任羅榮桓對聶榮臻非常支持，挑選了一些人留下來。人數雖少，但一個個都很得力。羅榮桓還留下了師隨營學校。師教導大隊隊長孫毅自告奮勇要求留下辦學，培養幹部。聶榮臻對這一切深感滿意。從此，聶榮臻和留下的人員被隔絕在敵後。

深秋時節來臨，五臺山區有時細雨霏霏，有時大雪紛飛，天氣一天冷似一天，花草枯萎，樹木凋零。聶榮臻和他的戰友們幾乎天天研究，在艱難處境中，究竟應該怎樣開展工作。他們圍着火盆，面對地圖，商談着創建晉察冀抗日根據地的各種問題。聶榮臻認爲，兵力太少，這是最大的問題。他說：要創建根據地，必須首先發展武裝。沒有武裝，一切都談不上。

物資奇缺是晉察冀面臨的又一大困難。他說：我們經過市鎮，市鎮是蕭條的，走過縣城，縣城是空虛的，留下的多是些老頭老太太。但是，要解決物資方面的困難，需要發動羣衆；要補充兵員，擴大武裝，也離不開羣衆。所以，如何發動羣衆，就成爲我們創建根據地成敗的關鍵。經過討論，大家認識統一了，創建根據地的關鍵是要擴大武裝和發動羣衆。

1937年11月7日，晉察冀軍區在五臺縣石咀的普濟寺宣告成立，聶榮臻任司令員兼政委，唐延傑任參謀長，舒同任政治部主任，查國楨任供給部長，葉青山任衛生部長。11月13日，經八路軍總部批准，聶榮臻發佈了成立4個軍分區的命令：第一軍分區，司令員楊成武，政治委員鄧華；第二軍分區，司令員兼政治委員趙爾陸；第三軍分區，司令員兼政治委員王平(後陳漫遠爲司令員)；第四軍分區，司令員周建屏，政委劉道生。

11月8日，太原失守後，中央北方局派了大批知識分子來到五臺山，其中有參加革命較早而年僅25歲的黃敬、鄧拓等。聶榮臻熱烈歡迎他們，說：毛主席告訴我們華北以國民黨爲主體的正規戰爭已告結束，以八路軍爲主體的游擊戰爭轉入了主導地位。敵後的鬥爭將是長期的、艱苦的，要有啃樹皮喫野菜的決心，你們得有這個思想準備喲!才華橫溢的鄧拓告訴聶榮臻，他來五臺山之前，已經學會了識別和採集多種野菜，爲的是日後困難時能借以充飢。聶榮臻用讚賞的目光看着鄧拓，高興地開了個玩笑：好啊，五臺山歡迎你們這樣的野菜書生。

時過不久，宋劭文找到聶榮臻說，閻錫山來了電報，大發雷霆，說他在五臺縣河邊村的家被八路軍抄了，讓宋劭文趕緊去調查處理，並向八路軍提出抗議。經過調查，發現了是八路軍的民運工作人員帶着區裏的幹部乾的。後來接到越來越多的報告，諸如發生了打土豪的事。聶榮臻要舒同負責立即開展抗日民族統一戰線的教育，他說：通知他們立刻停止這種盲目的做法，否則將會削弱抗日營壘的社會基礎，擴大敵人的力量，使我們喫大虧。適應新的歷史條件，最大限度地把全民族以及一切贊成抗日的各階級各階層團結起來共同抗日，是當務之急。告訴那些頭腦發熱幫倒忙的同志們，不管是地主還是富農，只要他願意抗日，我們都要團結。經過教育，原先摩拳擦掌的人都能聞過即改，抄家遊鬥土豪的行爲被制止住了。