杨振宁17岁时，数学系来了一个叫张景朝的女同学，她引人注目，漂亮活泼，因为是数学系的学生，而杨振宁父亲是数学系主任，所以这些同学常常到杨振宁家里找其父亲。因此，杨振宁认识了张景朝。

有一天，张景朝没来之前，杨振宁称其心境像一个很平的湖水，得知她来了以后，以后几个月波涛汹涌，使得他心里头很烦燥，后想了想，认为这个不好，这对其前途不好，所以杨振宁决定，现在不是交女朋友的时候，还是应该集中注意学习的工作。

1944年，杨振宁在西南联大念完六年书后，教了一年中学，教学最大的收获就是认识了班上一个女学生，叫做杜致礼。1945年赴美留学时，杨振宁并没有跟杜致礼谈恋爱。1949年，杨振宁与杜致礼在普林斯顿惟一的一家中国餐馆中不期而遇，两人竟然都有了"过电"的感觉。1950年8月26日，杨振宁和杜致礼在纽约结婚。

在2004年杨振宁和翁帆刚结婚的时候，大家对这对相差54岁的爷孙恋十分不看好。其中，大家质疑最多的无疑是翁帆以28岁的妙龄嫁给82岁杨振宁，是看上了杨振宁哪点而随着时间的满满流逝，两人的婚姻已经迈过了14个年头。

之前曾有媒体表示，翁帆长得非常像杨振宁教授的第一任妻子杜致礼年轻时候的模样。

虽然老夫少妻的搭配，却是令众人的视野非常的尴尬，但是两个人还是选择结婚，并且这一相处就是14年。14年里杨振宁经常带着自己的妻子翁帆出席各种场合，无时无刻牵着妻子的手，就是向大家证明两个人的结合是完美无瑕的，不容大家的质疑和揣测。

2014年10月，结婚十年后，杨振宁接受采访时表示，不宜要孩子，因为我一直在想，如果我不在了，翁帆一个人带着一个或者两个孩子，那将是很困难的事。