祝枝山是江南四大才子之一，與唐伯虎齊名，是至交好友。他家學淵源，能寫詩作文，又擅長書法，特別是他的狂草被稱爲有王羲之遺風，深受世人讚揚，流傳有“唐伯虎的畫，祝枝山的字”一說。

于謙則是明朝名臣，即使說是明朝第一人也不爲過。土木堡之變後，面對明英宗被俘虜，瓦剌二十萬大軍南下，武勳集團及五十萬大軍全軍覆沒的情況，于謙力排南遷之議，堅請固守北京。于謙一邊整飭兵備，一邊部署防禦要害，並親自督戰，率師列陣於北京九門外，抵禦瓦剌大軍。最終力挽狂瀾，中興大明王朝。

祝枝山和于謙，一個是江南才子，一個人是明朝柱石，兩個看起來毫無關係的人，卻因爲一個人聯繫了起來，這個人就是祝枝山的外公：徐有貞。

祝枝山的書法好是因爲有家學淵源，而這個淵源源頭就是徐有貞。徐有貞才華絕世，天文、地理、道釋、方技無所不通。尤其擅長行草，深得懷素、米芾筆意，在當時是書法大家。祝枝山的書法，就是在他的悉心教導下，博覽羣書，書法過人，7歲中秀才、32歲中舉人。可以說祝枝山的成就，離不開外祖父的精心教導。

不過徐有貞雖然才華絕世，但本人的人品卻並不好。當初于謙力排南遷提議，堅守北京。而提議南遷南京的那個人不是別人，正是徐有貞。于謙爲了穩定民心，甚至說：提議南遷的人應當斬首！當然，于謙打贏了北京之戰後，並沒有追求徐有貞，反而還推薦他做國子監祭酒。可南遷提議讓徐有貞的名聲徹底臭了，景帝根本就不待見他，遲遲不能升官。

徐有貞無奈之下，只能外放做官。講道理，徐有貞雖然人品不行，但能力確實過人，決口七年的黃河在他的治理下，終於圓滿解決，此後有多次平息山東水患，幾年下來，一路高升，重新做回了京官。而幾年過後，景帝也早就忘了他，所以還親自召見慰勞。

回京後，徐有貞趁景帝重病的時候，聯絡石亨、曹吉祥等人，發動奪門之變，請太上皇明英宗復位。這一次復位，徐有貞成爲了從龍元功，由此加兵部尚書，成爲內閣首輔。成爲首輔後，徐有貞立即下獄于謙，並導致于謙最終被處死。

後來，徐有貞在政治鬥爭中失敗，失勢回鄉，從此縱情山水，不問政事。也就在這一年，祝枝山出生。雖然徐有貞文武全才，遇到大事的時候敢作敢爲，有謀略韜晦，占卜星象，無所不通，但終究因爲害死於謙，遭到當時人的仇視，所以沒人給他說好話，讓他復出。

沒法再做官的徐有貞除了遊山玩水之外，就開始教導自己的晚輩，在晚輩中最出彩的就是祝枝山。可能正是因爲徐有貞的大起大落，也影響到了祝枝山的性格，所以他雖然中舉，但卻最後選擇了辭官歸鄉，廣結朋友，與唐伯虎等人豪飲作樂，燒酒消愁。傳說中，祝枝山爲人風趣灑脫，才華橫溢，好遊山玩水而不拘小節，他和唐伯虎之間有不勝枚舉的趣事軼聞。