玄甲军的字面理解：玄指黑色也有厚重的意思，甲指盔甲。这种铠甲为突出防护和实用能力通体铁质，所以十分厚重，通常为黑色。历史上的玄甲军应属重骑兵，士兵身着黑铁盔甲，是号称中国历史十大骑兵的兵种之一。

《资治通鉴》对于玄甲军的记载："世民选精锐千馀骑，皆皁衣玄甲，分为左右队，使、、、翟长孙分将之。每战，世民亲被玄甲帅之为前锋，乘机进击，所向无不摧破，敌人畏之。行台仆射、公将兵按行营屯，猝与遇，战不利。秦王世民帅玄甲救之，世充大败，获其骑将葛彦璋，俘斩六千馀人，世充遁归。"这段文字虽然很短，但玄甲军的战斗力和作用可见一斑。

李渊在太原一带负责防守突厥，组建了一些规模不算太大的精锐轻骑兵部队。从小参军，加上是李渊公子，因此就在自己周围形成一个小集团。李渊起兵之初，李世民身边已经形成一支由、等人领导的精锐骑兵部队。到了击败，吞并陇右骑兵以后，唐的骑兵部队大大加强，而玄甲军也大大加强（陇右骑兵是当时天下三大最精锐部队之一，还有另外两个分别是军团和身边的骁果军团）加上、等名将的加入，一支真正意义上的天下无敌的玄甲军劲旅诞生了。

几乎每战都身先士卒，他自己一身玄甲，率领着骑兵如同黑云一般压向敌阵，声势迫人，加上玄甲军本身的精锐，几乎是无坚不摧的。从东汉末年开始，北方强悍的逐渐进入，经过和南北朝的混战，到了，骑兵的发展达到了中国历史上的有一个高峰。

在这个时代，重甲骑兵一度成为主流。所谓重甲骑兵，又称，骑兵和战马均披很厚的盔甲。隋朝继承了南北朝的传统，在军队中，重甲骑兵依然占了很大比重，作为旧朝的一员，的唐军大概也受了一些影响。

唐夏，李世民率领数千唐军与十几万夏军对峙，其中就包括3500名"玄甲军"。

曾用1000玄甲精兵大破，斩俘6000余人。在决定天下归属的之战中，率领精锐主力十余万人前来支援王世充，李世民仅用3500名玄甲精兵为前锋增援虎牢关，结果大破窦建德十余万众，窦建德仅率数百骑逃遁，随后，洛阳的王世充看到夏王窦建德的十几万大军也被灭，认为无须反抗，率领文武百官投降。天下的局势完全转向了对唐军有利的一面。

李世民登基后，拆分玄甲军。一部分成为皇宫近卫部队"百骑"，长期驻扎在皇宫附近只在内部实行轮换而不离开京城。玄甲军的主要部分，交给了李靖，在唐对的灭国性战争中起到中流砥柱的作用。