在流放的路上，賀蘭敏之被武則天派的人殺了，有說是太平公主親自帶隊殺了他。但是賀蘭敏之死的值了，他終於爲母親，爲妹妹出了口惡氣，也算是皇親國戚裏報復武則天最厲害的一個。

武則天殺害賀蘭敏月的時候，賀蘭敏之是在場的，看着倒地妹妹，賀蘭敏之咬緊牙關半字未漏，只能用痛哭掩飾痛苦，內心種下了對武則天的仇恨，武則天也看出來了端倪，他懷疑是自己乾的。兩個人內心存在了隔閡。也爲以後的決裂埋下了種子。

武則天攝政之後，開始着力培養自己的接班人，她首先想到的是外戚，在討厭的武氏兄弟和賀蘭敏之之間，她選擇了賀蘭敏之，畢竟她和姐姐韓國夫人也共患難了這麼多年。於是便讓賀蘭敏之繼承了父親的爵位。然而賀蘭敏之此時此刻想的卻是爲母親、爲妹妹報仇。只是勢單力薄的他選擇了自己擅長的方式。

賀蘭敏之在當時是京城赫赫有名的花花公子，也號稱京城第一美男子。武則天的兒子李弘到了找媳婦的年齡。武則天和李治爲李宏物色了一個好人家的女人，賀蘭敏之決定出手，在結婚的前一夜，賀蘭敏之誘姦了這名女子，武則天那個氣呀，但是當時不知道爲什麼武則天沒有處罰他，據說是因爲武則天母親楊夫人的保護，估計那是賀蘭敏之已經着手對楊夫人下手。

之後賀蘭敏之又把復仇之手，伸向了太平公主，雖然他沒有把太平公主怎麼樣，但是史料記載，太平公主身邊的侍女們都沒逃脫他的魔爪，萬幸的是，這次武則天也沒能把賀蘭敏之怎麼樣。

公元670年，武則天的母親，92歲的楊氏夫人去世了，賀蘭敏之失去了靠山。賀蘭敏之估計也知道自己沒多少時日。在楊氏夫人的葬禮上，他穿的花花綠綠，如同精神病樣在葬禮上最後一次噁心了武則天一次。武則天再也忍受不下去了，沒有了母親的阻撓，賀蘭敏之已經不能倖免。

武則天蒐羅了賀蘭敏之的十大罪狀，其中就有誘姦太子妃和勾引老婦人楊氏兩條。武則天怒火中燒，顧不得家醜外揚，連老母親都沒有幸免。把賀蘭敏之流放邊疆，又派人暗殺與途中。

有人說90多歲的老人怎麼可能行那苟且之事，歷史又誰說的清楚，但是我們看70多歲的武則天后宮還養了這麼多的男寵，不得不說遺傳基因如此強大。