隋炀帝在历史上一直是昏庸无道、穷奢极欲、残暴不仁的形象，是他使得隋朝就此覆灭，不管这些是不是真实的，但必须承认的是隋炀帝是个具有雄才大略的君主，在位期间，修造京杭大运河、开创科举制度、三征高句丽等等，说明其实他并不是一个无能之君。

依据史料记载，隋炀帝仅有三个儿子，分别是元德太子杨昭、齐王杨暕以及赵王杨杲，另外还有两个女儿，南阳公主以及唐太宗的杨妃。

南阳公主，是隋炀帝的长女，其母是萧皇后，由于南阳公主姿容俱佳，言行有礼有节，颇得隋炀帝的钟爱。公元599年，南阳公主下嫁给许国公宇文述次子宇文士及，婚后夫妻恩爱，生下一子宇文禅师。史书曾称赞南阳公主美貌和才气，尤其是孝顺，在其公公宇文述病危之际，公主甘愿放下身段，亲自调理饮食，并亲手奉上。

公元618年，隋炀帝在江都之变中，被宇文士及的哥哥宇文化及缢杀，随后，隋朝皇室男性成员基本被屠杀殆尽。后来，窦建德打败了宇文化及后，拜见萧后等人，南阳公主从容待之，自陈国破家亡，不能报仇雪耻，泪上盈襟，众人顿时肃然起敬。窦建德诛杀宇文家族后，询问是否要留下公主十岁的儿子宇文禅师，公主大义灭亲，最终，宇文禅师也被杀害。万念俱灰、伤心不已的南阳公主遁入空门，后来返回洛阳，偶遇早已舍弃妻子投奔唐朝的宇文士及，宇文士及请求和好，公主断然拒绝，不复相见。

二女儿杨妃，名讳和生卒年皆不详，是唐太宗三子吴王李恪、六子蜀王李愔生母。因为其身份的敏感性，史书上对她本人的正面记载仅有寥寥数笔。由此可见，身为前朝公主的杨氏在唐朝是个禁忌，尽管位列四妃之一，并诞下两位皇子，但处境依然尴尬。