元狩二年春天，漢武帝派遣驃騎將軍霍去病，率領騎兵一萬，自隴西出發北擊匈奴，越過焉支山一千餘里，切斷匈奴右臂，執渾邪王子，繳獲了休屠王的祭天金人。到了夏天，渾邪、休屠二王遭到經居延及小月氏攻打。後匈奴單于惱渾邪王爲漢軍所敗，要殺了他，渾邪王就說服休屠王共同降漢。休屠王中途反悔，被渾邪王所殺，休屠王子金日磾無所依靠，隨渾邪王降漢，被安排養馬，時年十四歲。

漢武帝遊樂之時，詔令閱馬助興。看到金日磾牽馬走過，對他很好奇，得知他是休屠王子時，就拜他爲馬監。之後升遷爲侍中、駙馬都尉、光祿大夫。漢武帝很信任寵愛他，不管外出還是在宮中，金日磾都在漢武帝身邊，不曾有過失。

金日磾的兩個兒子被漢武帝所寵愛，是武帝的弄兒，啥叫弄兒呢？是供人狎弄的童子。後來弄兒長大，行爲不謹慎，在殿下與宮女戲鬧，金日磾正好看見，厭惡他的淫亂，於是殺了弄兒。這個弄兒就是他的長子。漢武帝得知後大怒，金日磾叩頭告罪，把爲什麼殺弄兒的情況一一說出。漢武帝很哀傷，爲弄兒掉淚，以後從內心尊敬金日磾。

巫蠱之禍後，漢武帝知道太子是冤枉的，就報復江充，將江充的親朋都殺了。馬何羅兄弟是江充好友，他們害怕被殺就密謀造反。漢武帝駕臨林光宮時，他倆持利刃行刺漢武帝，被金日磾阻止，金日磾因此以忠誠篤敬、孝行節操而聞名。

後元二年，漢武帝病重，囑託霍光輔佐太子劉弗陵，霍光要謙讓給金日磾。金日磾推辭，於是就成爲霍光的助手。始元元年九月初一日，輔佐朝政一年多的金日磾病情嚴重，大將軍霍光奏明漢昭帝才封金日磾爲侯，在病牀邊授予他侯爵封號及印綬。九月初二日，金日磾病逝，終年四十九歲。

漢昭帝爲他舉行隆重的葬禮，賜諡號爲敬侯。墓地位於陝西省興平市南位鎮道常村西北，霍去病墓東側。

班固《漢書》中記載：“金日磾夷狄亡國，羈虜漢庭，而以篤敬寤主，忠信自著，勒功上將，傳國後嗣，世名忠孝，七世內侍，何其盛也！本以休屠作金人爲祭天主，故因賜姓金氏雲。

”