金岳霖的一生，在他的道德文章之外，最为世人所津津乐道的无疑是他对林徽因的恋情。
其实，在老金的人生中，有缘的女人并不止林徽因一人。在美国留学时，他就很替中国男人争光，和一个金发碧眼的美国女孩秦丽琳处上了，后来，金岳霖回国时，秦丽琳也随他回到了中国，金岳霖在清华执教时并没有住校，而是在北京城里和秦丽琳搞同居。徐志摩曾描写过金岳霖与秦丽琳初到北京时的窘相。
不过，金岳霖和秦丽琳最终并没有走向中西合璧，据说秦丽琳“倡导不结婚，但对中国的家庭生活很感兴趣，愿意从家庭内部体验家庭生活”。也就是说，两人在一起更像在做一个科学实验，后来实验完成了，两人的关系也就结束了。
另外，在老金晚年，还有一段差点就走上红地毯的经历，对象是彭德怀的小姨子浦熙修。上个世纪50年代末，民盟组织在京中央委员学习，学习期间，同组的金岳霖与浦熙修对上了眼，金岳霖经常邀请浦熙修到家里品尝厨师老王的手艺，两人的感情迅速升温，眼看就要到谈婚论嫁的地步了。然而，天有不测风云，彭德怀在庐山会议上被打倒了，在那个婚姻与政治如影随形的年代，老金不得不慎重考虑。再加上这个时候浦熙修也身患癌症，很快便卧床不起了，他们才没有走进围城。
“文革”时夫妻大难临头各自飞的现象实在太多了，身为光棍的金岳霖反而成为很多人羡慕的对象。但金岳霖从来不觉得独身是件好事，他经常鼓励那些单身的弟子们：“谁先结婚，我就给谁奖赏！”有一次，他询问弟子周礼全的婚姻问题，周礼全开玩笑地说：“曾经沧海难为水，除却巫山不是云。”金岳霖马上严肃地反驳道：“你应该说‘山重水复疑无路，柳暗花明又一村’。”
当然，在金岳霖生命中，分量最重的女人莫过于林徽因。
出身名门、才貌双全的林徽因无疑是当时许多男人的梦中情人，徐志摩即使跟陆小曼结婚后仍然对她念念不忘，据说徐志摩最后乘坐那架失事的飞机正是为了到北京聆听林徽因的演讲。
不过，徐志摩对林徽因的感情更像是单相思，那些小说和电视剧中的情节很多都是演义的性质。倒是林徽因和金岳霖之间，有过一段实实在在的相知相恋。
说起来，金岳霖认识林徽因还是徐志摩介绍的。梁思成和林徽因从美国学成归来后，先是到东北大学任教，后又来到北平的中国营造学社工作。在北平时，梁氏夫妇位于北总布胡同3号的家很快成为知识界精英们聚会的热点场所，几乎每周都有文化沙龙。在好友徐志摩热情的引荐下，同样美国留学出身的金岳霖很快成为梁家的上宾。
在长久的交往中，美女加才女、气质超凡脱俗的林妹妹让老金神魂颠倒，而多才多艺、幽默风趣、天真烂漫且极具绅士风度的金岳霖很快也赢得了林徽因的青睐，二人开始由“意合”进而不知不觉地“情投”起来。
据梁思成的续弦林洙女士回忆，有一天梁思成回家后，林徽因哭着对他说：“我苦恼极了，我同时爱上了两个人，不知怎么办才好。”林徽因说这话时一点儿也不像一个妻子对丈夫说话，倒像个小妹妹在请哥哥讨主意。
林徽因梁思成听完之后非常苦闷，当晚他彻夜未眠。第二天，他把自己的想法告诉了妻子：“你是自由的，如果你选择了老金，我祝愿你们永远幸福。”林徽因把梁思成的话转告金岳霖，老金回答：“看来思成是真正爱你的，我不能伤害一个真正爱你的人，我应该退出。”
从那以后，三个人成为了终身的好友，在某种程度上可以说是成了亲人。1932年，在徐志摩去世后，金岳霖干脆把家搬到北总布胡同3号“择林而居”，梁氏夫妇住大的前院，老金住小的后院，前后院都单门独户。老金说：“一离开梁家，就像丢了魂似的。”
金岳霖这样做并没有让梁思成心里产生芥蒂，他们彼此之间都以一种君子坦荡荡的态度相处，甚至梁思成和林徽因吵架，也是找金岳霖来做“仲裁”，他们相信教哲学的老金一定比较理性和冷静。
善良幽默的老金的存在，给梁氏夫妇的生活带来了很多乐趣。有一次，老金突发灵感，写了一付对联送给夫妇俩：梁上君子，林下美人。“梁上君子”本是贬义，但梁思成是搞古建筑研究与保护的，经常要在屋顶测量，他不仅不以为忤，还高兴地说：“我就是要做‘梁上君子’，不然怎么能打开一条新的研究道路，岂不是纸上谈兵了吗？”倒是林徽因对赞誉之词并不领情：“什么美人不美人，好像一个女人没有什么可做似的。我还有好些事要做呢！”金岳霖听了，大为佩服，连连鼓掌。
“七七”事变后，金岳霖和梁氏夫妇先后来到了昆明，老金在西南联大任教，梁氏夫妇继续经营他们的中国营造学社，在多数时间内他们仍住在一起。抗战胜利后，老金和梁氏夫妇返回北平，三人在清华大学成了同事。终身不娶的金岳霖(字龙荪)与清华园中另外两个著名的单身汉陈岱孙和叶企孙并称为“清华三荪(孙)”。
在金岳霖和林徽因的心中，始终有一份柏拉图式的情感存在，但他们以礼相待，让心中那份情感成为彼此生命中最美好的守望，心有灵犀而不在乎是否拥有。遗憾的是，命运多舛，1955年4月1日，林徽因因为癌症去逝，终年51岁，金岳霖也失去了自己最挚爱的精神伴侣。
老金除了养鸡之外，还喜欢养蟋蟀，早年他养蟋蟀是为了斗蟋蟀，但是晚年他告诉学生自己养蟋蟀是为了听它们的鸣声。可以想象，夜深人静之时，蟋蟀们节奏分明的鸣叫声从老金房屋的一隅发出，为那静寂的屋子增加了几分生气。可惜，蟋蟀永远没有办法像林徽因那样理解金岳霖。
在林徽因的追悼会上，有许多亲朋好友送的挽联，但最令人瞩目的无疑还是出自金岳霖的手笔：一身诗意千寻瀑，万古人间四月天。“四月天”取自林徽因一首诗的题目《你是人间四月天》，四月天是人间最美好的季节，斯人已去，但是她存在的每一寸时光都是金岳霖人生中最美好的季节。
林徽因死后多年，有一天金岳霖突然把一些至交好友请到北京饭店，没讲任何来由，众人纳闷不已，不知道老金葫芦里卖的什么药。酒过三盏之后，金岳霖突然站起来，举杯道：“今天是林徽因的生日。”闻听此言，在座诸公无不潸然泪下。
1972年，梁思成也在“文革”中去逝。金岳霖晚年与梁氏夫妇的儿子梁从诫、儿媳方晶、孙女梁帆生活在一起，直至去世。梁从诫和方晶一直称老金为“金爸”，梁帆则叫他“金爷爷”，三代人的故事至此终于成了一个传奇。