《大明王朝1566》這部劇爲了塑造海瑞清貧、悲慘的形象，劇中對他的妻妾子女做了很大改變，所以呈現在熒屏的只有一個面黃肌瘦的妻子和一個可愛懂事乖巧女兒。由於海瑞長期侍奉其母，加之生活清苦，妻子營養不良，所以長久以來海妻都沒能給海家添男丁，後來還發生了女兒溺亡，海妻難產而死，海家因此絕後的事情來。難怪嘉靖要說海瑞“無君無父，棄國棄家”了。

那麼，歷史中的海瑞到底有幾個老婆，難道真的只有一妻一女嗎？其實並不是。實際上，海瑞總共有三妻兩妾兩子三女。

第一位夫人許氏，生兩女，嘉靖二十五年被休棄。

第二位夫人潘氏，一個月後被休棄。

第三位夫人王氏，在海瑞到達淳安之前兩年爲海瑞生了個兒子，取名中砥。海瑞到淳安任上之後的當年，王夫人又爲海瑞生了個兒子，取名中亮。另外還有一女。嘉靖四十三年，海瑞被調到京都戶部任職。海太夫人不喜歡到寒冷的北方去生活，海瑞讓王夫人攜同二男三女扶侍海太夫人從江西興國縣南歸。而海瑞則帶了兩個僕人北上任職，這一年海瑞五十二歲。嘉靖四十四年，海瑞上《治安疏》下獄後，兩個兒子相繼死去，一個十一歲，一個九歲。隆慶二年，王夫人突然病世。《萬曆十五年》中說王夫人“在極爲可疑的情況下死去。”

在王夫人去世前十一天，海瑞的小妾韓氏上吊自殺。海瑞還有一妾邱氏，史料中只說她爲晚年的海瑞生了一個兒子，但長到三歲就夭折了。

海瑞於隆慶四年申請退休，獲准後離開南京回家鄉瓊山閒居，從此離開官場十五年，直到萬曆十三年，已經七十三歲時才重新回到官場，到南京任都察院右都御史及吏部右侍郎之職。