杨素出生于名门望族，是弘农杨氏的后代。他们世代高官，非常的显赫，这个家族文武双全，例如杨素属于武将，在文坛上也涌现出不少的大才子，例如后来的杨修、杨万里等等，他们不仅是国家的栋梁之才，而且文化修养也特别的高。因此，弘农杨氏不论在哪个朝代都非常的有影响力。

杨素作为弘农杨氏的后代，他虽然在生活上不拘小节，但是他的志向非常的远大。以至于他后来在朝廷上的风生水起，这与他的努力和智慧是分不开的，在杨素很小的时候很多人都看不起，只有他的长辈杨宽对他很有信心，他说杨素将来必定是国家的栋梁之才。杨素学习刻苦用功，精益求精，可经常与一些文人一起探讨研究，所以杨素的诗文和书法也非常的精湛。就因为他的词采华丽，也幸免躲过了一劫。

杨素虽然嘴上说不谋取富贵，但是后来他的财富在当时也是风云一时。有一年，杨素凭借自己的勇猛和聪明才智，打败了北齐，因此他立了大功，并且也得到了不少的俸禄和食邑。大象二年，杨素投靠了杨坚，从此以后，他就为杨坚卖命，他的官位也逐日飙升，他从刺史，到将军，到御史大夫，可算是平步青云，一步登天了，杨坚登基后，杨素该参加了法律的修订，可见杨坚对他有多么的重视。但是后来杨素的一身功名差点儿毁在了一个丑女人郑氏的手里。杨素后来也非常的挥霍无度，以至于对他的评价很不好。

但是，杨素的爱才和怜香惜玉也是非常出名的，例如他能把自己最宠爱的妻妾让给别人，这得有多大胸怀的人呢，我们现在所用的成语破镜重圆的故事，女主人公就是杨素的妾，最后与他的前丈夫走到一起，白头偕老。