吳宗憲的妻子叫張葳葳，吳宗憲和張葳葳相識還要從做頭髮說起，早年張葳葳在臺北開了個髮廊，而費玉清、吳宗憲等藝人常去張葳葳店裏做頭髮。當時張葳葳長得還蠻漂亮，而且很溫柔，吳宗憲便採用撩妹大法對其苦苦追求，最終抱得美人歸，於1990年結婚。婚後，張葳葳給吳宗憲生了四個孩子，一直做吳宗憲背後的好女人，而吳宗憲卻長期隱瞞着這段婚姻，在外面拈花惹草。

婚後，吳宗憲和自己的助理安琪拉還有一段戀情，分手後，吳宗憲又招惹到了妙齡少女譚元俐，譚元俐17歲結識吳宗憲，20歲成爲了吳宗憲的女友。可是吳宗憲和譚元俐感情不和，兩人長期爭爭吵吵，鬧得雞犬不寧，最終譚元俐還得知了吳宗憲已婚並有子女的大祕密。鬧到了這一步，吳宗憲和譚元俐這段感情就玩完了。

還好譚元俐急流勇退，抽身較早，雖有小三之實，但沒有被唾罵。而陳孝萱就非常不幸了，吳宗憲爲了獲得陳孝萱的芳心，利用自己的名氣和人脈爲陳孝萱的演藝事業鋪路，甚至借錢給陳孝萱買房子，給陳孝萱買鑽戒，更讓人不可思議的是吳宗憲居然在節目上公然向陳孝萱告白，陳孝萱是感動不已，以爲遇到了真愛。

1999年，吳宗憲公開了與陳孝萱的戀情，可惜好景不長，一封匿名信揭露了吳宗憲的私生活，已婚有四個孩子的事實被公之於衆，陳孝萱一夜之間成爲了人們口誅筆伐的“小三”。這是吳宗憲感情史中，最糟糕的一次，因爲處理不當，爲情所傷的陳孝萱便投入了吳宗憲好兄弟詹仁雄的懷抱，而嫁給詹仁雄後陳孝萱並不幸福，最終離婚收場。

經此打擊，吳宗憲收斂了許多，雖然之後偶有緋聞傳出，但幾乎都未能實錘。近日，吳宗憲便因2月9日與小26歲的臺灣女星安苡愛約會畫面被曝光而鬧出了出軌傳聞，2月9日那天剛好是安苡愛30歲生日，吳宗憲開着豪車去接安苡愛，安苡愛則抱着吳宗憲的寵物狗，兩人一起喫飯，還去咖啡館坐了很久，晚上吳宗憲又送安苡愛回家，到第二天凌晨，吳宗憲又跑到了安苡愛家裏，抱回了自己的寵物狗。

對於出軌傳聞，吳宗憲近日表示與安苡愛是狗友，並不知2月9日那天是安苡愛的生日，那天只是狗友聚會。據臺媒報道，3月11日吳宗憲再次回應了出軌傳聞，吳宗憲在《小明星大跟班》節目錄制現場自我調侃：“最近我被拍到跟人送狗，我在這邊跟媒體講一下，我跟她是狗男女。”吳宗憲用一貫幽默風趣的主持風格回應緋聞，令許多網友捧腹。