春秋戰國時期，今山西省太原市屬晉國和趙國轄地。秦莊襄王三年（公元前247年），秦國攻取趙國晉陽之地，在此設置太原郡（今山西省太原市西南）。

西漢初年，漢高祖劉邦廢太原郡改爲代國，封劉恆爲代王(漢文帝)。漢文帝時又分代國南部爲太原國，隨後再次合併爲代國。漢武帝元鼎三年(公元前114年)廢代國，復置太原郡，屬幷州轄地，郡治與州治同在晉陽。

三國時期，魏文帝曹丕登基後又將太原郡改爲太原國。北魏時，魏太武帝拓跋燾沿用東漢以來的州、郡、縣三級地方建置制度，設太原郡，屬幷州管轄，治於晉陽縣。北魏孝武帝永熙三年(534)，北魏分裂爲東、西二魏，太原郡屬東魏轄地，在郡治晉陽設大丞相府，史稱霸府。

北齊時，齊文宣帝高洋新置龍山縣作爲太原郡治(今山西省太原市汾河以東)。隋文帝時，廢太原郡，隋煬帝又復置太原郡。隋末戰亂時，李淵與李世民於太原起兵反隋。至唐高祖武德元年（618），再次廢太原郡，設幷州總管府，從此不復太原郡的區劃。

與北魏同時的南朝，在山東地區也曾設置過太原郡。東晉元熙二年（420）劉裕篡權自立，東晉滅亡，是爲宋武帝。劉宋建立後，與北魏在山東沿黃河兩岸對峙。劉宋永初三年（422)，宋武帝去世，其子宋文帝即位。

宋文帝元嘉十年（433），朝廷分割濟南郡和泰山郡兩部，在山茌縣僑置太原郡（今山東省長清東南，僑置現象大量出現在南北朝時期，南朝爲了安置北方移民，滿足北方移民重鄉情的需求，設置了一批與北方同名的郡縣，故名僑置），下轄山茌、太原、祝阿三縣，屬青州管理。

北魏皇興五年(471)，山東地區被北魏佔據，太原郡改名爲東太原郡，以區別在山西的太原郡。至北魏孝明帝孝昌二年（526），東太原郡從山茌縣移治太原縣（今山東長清西南），轄太原、祝阿、山茌、盧縣四縣，屬齊州管理。北齊文宣帝高洋在位時，東太原郡被廢。