作为中国第一家族孔子的第七十五代孙，孔祥熙是标准的“圣人之后”。1907年秋，孔祥熙由美国耶鲁大学毕业后，返回家乡太谷。太古虽然是一个小县城，但名声不亚于通都。富甲天下的山西钱商机会都在这里，那条一泡尿就能撒到头的城中小街上，居然是票号林立，因此人称中国华尔街。用孔祥熙的话说，太谷比纽约还有钱，他准备在太谷先干出一点模样，按照孙中山的吩咐，从启迪民智，培养人才入手，办了一所学校。

名衔学校不仅校舍精美，草坪如茵，还安装暖气、自来水和马桶，这在当时是一个惊人之举，很让当地的土豪感到新鲜，孔祥熙在耶鲁学过步兵操，他照葫芦画瓢用榆木做了60多把步枪，又自备了一把指挥刀，将100多名学生分成两批，一批做徒手操，一批做枪操。

抗战以前，南京政府大员有去上海度假的风气，宋蔼龄也不例外，但孔祥熙却总有借口留在南京，宋蔼龄的心思何等紧密，很快就察觉出返场，稍稍一打听，才知道丈夫已经另结新欢。平心而论，孔祥熙不是花心男人，在感情生活上还是比较专注的，他和别人有染，更多是为了感情上的宣泄，他喜欢对方的柔情似水，小鸟依人。和谐，在宋霭龄身上绝对没有，他需要唤回男人的自尊，感觉到自己孔武有力。

但孔祥熙这段婚外情没有持续多久，某个星期天，宋蔼龄突然从上海杀了一个回马枪，将两人堵在屋内，虽然没有捉奸在床，但也让孔祥熙无地自容，从此，孔祥熙算是套上了笼头，再不敢越雷池一步。所谓一家之长只是表面文章，宋蔼龄才是龙头老大，因此就失去了对子女的管教。

如果他的几位宝贝只是顽皮胡闹，造成的后果也终究有限，偏偏他们都继承了父母的秉性，爱钱如命，仗着是皇亲国戚，没有不敢捞得钱，不又不敢干的事，最终惹下大祸，彻底断送了孔祥熙的仕途，使他失去东山再起的可能。