卫青一生共有3个儿子，分别为长子卫伉、次子卫不疑、三子卫登。元朔二年，卫青奉汉武帝命，率军十万出征匈奴，此战大获全胜，卫青斩获匈奴王爵以上十余人，俘获匈奴人口一万五千余人，牲畜几百万。刘彻得知后兴奋异常，立刻封赏了卫青，同时还将卫青尚在襁褓中的三个儿子封为了列侯。从此之后卫氏一门显贵无比，逐渐成长为朝堂上的重要力量。

卫青除了三个儿子之外，还有三个地位显赫的姐姐，分别是长姐卫君孺，嫁给了宰相公孙贺。二姐卫少儿，生育了冠军侯霍去病。三姐卫子夫嫁给了汉武帝，并且生育了太子刘据。因此，在朝廷上形成了庞大的势力，卫氏一门也全部聚集在了太子刘据的麾下。

元封五年，卫青去世后，很多觊觎太子之位的人都认为刘据失去了最大的靠山，所以开始在汉武帝面前构陷刘据，打击卫氏势力。此时的汉武帝可能也认为外戚势力过大，将来太子刘据登基之后，很可能无法收回权力，所以开始着手打击卫氏一门。卫青的长子卫伉也因此失去了侯爵，被汉武帝发配边疆，修筑了五年的边关城池。

征和元年，新一轮的政治风暴来袭。丞相公孙贺与卫君孺的长子、时任太仆的公孙敬声，擅自挪用军费1900万钱。至于这1900万钱去了哪里，史书中并没有提及。但这件事却让公孙敬声被捕下狱。事后，公孙贺心急如焚，恰好当时长安城中有一名江洋大盗朱安世，累累作案却逍遥法外，公孙贺向汉武帝请求，以抓捕朱安世将功赎罪，换出自己的儿子公孙敬声。武帝当时也同意了公孙贺的请求。

很快，公孙贺便抓获了朱安世，并且将其送到了朝廷司法部门。但朱安世被捕后不仅不悲伤，反而笑着说：“丞相祸及宗矣。南山之行不足受我辞，斜谷之木不足为我械。”很快朱安世便爆出了一个惊天的大料，上书汉武帝说：“敬声与阳石公主私通，及使人巫祭祠诅上，且上甘泉当驰道埋偶人，祝诅有恶言。”汉武帝晚年对巫蛊之事异常敏感，尤其是权势日盛的卫氏家族，更是日夜提防，所以便将公孙贺父子二人重新下狱调查。最终公孙贺父子二人都在狱中被杀。

公孙贺父子被杀后，卫氏一门开始受到株连，卫子夫的女儿诸邑公主，卫青的长子卫伉也因为这件事被处死，这就是巫蛊之祸的开端。这件事使得卫氏一门受到了严重的打击，从此之后一蹶不振，而且太子也失去了所有的外援。于是在几个月后，与太子刘据有过节的江充诬陷其以巫蛊之术谋害武帝，最终引起了刘据的反抗。而武帝则直接派兵处死了刘据，卫子夫也因此自缢身亡。

纵观整个事件，卫氏一门，凡是掌握朝廷大权的人全部被处死，但这件事并没有祸及卫青的次子卫不疑和三子卫登。《汉书·外戚传》中有“卫氏悉灭”的记载，导致很多人认为卫家已经没有幸存者了。其实这句话的意思是说卫氏一门在朝廷中的势力被连根铲除。而如果是被诛灭全族的话，汉朝史书一般会采用“族”或“族灭”来表示。卫青次子卫不疑在巫蛊之祸后便没有了记载，但卫青的三子卫登一脉在汉宣帝时期复家，还受到了50万钱的赏赐。后来卫登的孙子还以长安公乘的爵位做了侍郎。西汉末年，王莽当政时期，卫登的四世孙还被赐爵关内侯。