春秋战国时期，今山西省太原市属晋国和赵国辖地。秦庄襄王三年（公元前247年），秦国攻取赵国晋阳之地，在此设置太原郡（今山西省太原市西南）。

西汉初年，汉高祖刘邦废太原郡改为代国，封刘恒为代王(汉文帝)。汉文帝时又分代国南部为太原国，随后再次合并为代国。汉武帝元鼎三年(公元前114年)废代国，复置太原郡，属并州辖地，郡治与州治同在晋阳。

三国时期，魏文帝曹丕登基后又将太原郡改为太原国。北魏时，魏太武帝拓跋焘沿用东汉以来的州、郡、县三级地方建置制度，设太原郡，属并州管辖，治于晋阳县。北魏孝武帝永熙三年(534)，北魏分裂为东、西二魏，太原郡属东魏辖地，在郡治晋阳设大丞相府，史称霸府。

北齐时，齐文宣帝高洋新置龙山县作为太原郡治(今山西省太原市汾河以东)。隋文帝时，废太原郡，隋炀帝又复置太原郡。隋末战乱时，李渊与李世民于太原起兵反隋。至唐高祖武德元年（618），再次废太原郡，设并州总管府，从此不复太原郡的区划。

与北魏同时的南朝，在山东地区也曾设置过太原郡。东晋元熙二年（420）刘裕篡权自立，东晋灭亡，是为宋武帝。刘宋建立后，与北魏在山东沿黄河两岸对峙。刘宋永初三年（422)，宋武帝去世，其子宋文帝即位。

宋文帝元嘉十年（433），朝廷分割济南郡和泰山郡两部，在山茌县侨置太原郡（今山东省长清东南，侨置现象大量出现在南北朝时期，南朝为了安置北方移民，满足北方移民重乡情的需求，设置了一批与北方同名的郡县，故名侨置），下辖山茌、太原、祝阿三县，属青州管理。

北魏皇兴五年(471)，山东地区被北魏占据，太原郡改名为东太原郡，以区别在山西的太原郡。至北魏孝明帝孝昌二年（526），东太原郡从山茌县移治太原县（今山东长清西南），辖太原、祝阿、山茌、卢县四县，属齐州管理。北齐文宣帝高洋在位时，东太原郡被废。