1962年，即林徽因去世的第七年，其夫梁思成迎娶了小自己27岁的林洙。消息传来后，金岳霖竟拿着一瓶酒、一碟花生米，到了林徽因墓前，枯坐了一宿。
金岳霖的举动让世人惊诧不已：梁思成再婚，他为何意难平？显然，他的“意难平”，是为了林徽因。
金岳霖与林徽因初识时，她已结婚生子。而金岳霖自己也有一个外国女友，他们甚至还一度同居在一起。
林徽因是个才貌双全的女子，第一次与金岳霖见面时，她就成功地吸引住了他。她在聚会中妙语连珠，聚会上的朱光潜、沈从文、巴金等一众名流都甘愿充当她的陪衬。
金岳霖发现，这个女子一开口，总能吸引住所有人的注意力，她总是有各种奇思妙想，她的语速是那样的快，以至于有些木讷的他还在想前一句时，她已经又讲了一堆了。
金岳霖第一次被一个女人的才情吸引，也难怪，林徽因的口才极其出众，从文学到建筑到音乐，她都能讲出自己的特色。她那天马行空的思想，对事物的精辟分析，令他折服。
金岳霖（后排右二）与林徽因、梁思成（后排左二）夫妇等合影
自初见那天起，金岳霖就觉得这个女人不简单，他甚至觉得她的双眸里，藏着璀璨星河。越接触她，他越觉得她是个太有意思的女人，他曾忍不住感叹：
“林徽因啊，她这个人很特别，很多时候我都不知道她在想什么，她还总能想到一些我们想不到的东西。”
结识林徽因后，金岳霖再看其他女子，已不再如往常那般。即便后来他在国外的女友追到国内，他也有些淡然了，同居了一段时日后，觉得索然无味的他，打发女友回了国外的娘家。也从那时起，他再也没有交过女友。
金岳霖就这样一步步成了后来有名的“光棍”，孤家寡人的日子有个好处：可以四海为家，他开始了漫长的“逐林而居”的日子。在《金岳霖回忆录》中，他曾这样回忆那段日子，他说：
“从1932年到1937年夏，我们住在北总布胡同，他们（林徽因夫妇）住前院；我住后院，小院。前后院都单门独户。”
住在一起时，他和林徽因夫妇非常亲密，就连吃饭也常是一桌吃，他在自述中说：“除早饭在我自己家吃外，我的中饭，晚饭大都搬到前院和梁家一起吃。”
这几段自述很轻描淡写，但它却多少让现在的我们有些惊讶：这，不就是一个单身汉和一对夫妇同住吗！若只是短期，倒可以理解，可金岳霖的“逐林而居”却是长期的，他自己曾在自述中有过相关的补充，他说：
“这样的生活一直维持到‘七七事变’为止。抗战以后，一有机会，我就住他们家。他们在四川时，我去他们家不止一次。有一次我的休息年是在他们李庄的家过的。抗战胜利后，他们住在新林院时，我仍然同住……”
同住的日子里，金岳霖对林徽因照顾有加，他还经常拿着各种读物，用饱含深情的声音为林徽因朗读。每次讨论时，他也总努力带给她灵感。
金岳霖
无论林徽因有何事需要他，他也都会第一时间赶来帮忙。就连夫妻俩吵架时，他也会变着法子以“劝架”的名义，帮着林徽因。
因为金岳霖和林徽因夫妇长期同住，坊间竟传闻说：某次，梁思成出差归来后，林徽因对他说：“我有一个苦恼，我好像同时爱上了两个人”。这里的“两个人”，自然是梁思成与金岳霖。
根据坊间传闻，梁思成和金岳霖在林徽因说了这番话后，有过一番谦让：
“梁思成在思考一夜后说‘徽因，你是自由的，你也是理性的，你可以自己做出客观的选择，不管选择谁，我都会祝福你。’林徽因将梁思成的话完整告诉金岳霖后，金岳霖感慨地说：‘思成是真正爱你的，他愿意给你选择权，让你去选择自己认为的幸福，而不是自私的禁锢你，看来是我应该退出。’”
这段传闻究竟是真是假，已不得而知。但林徽因确实曾在长期的相处中，对金岳霖有了一定的感情，徐志摩去世后不久，她在写给好友胡适的一封信里曾这样写道：
“我的教育是旧的，我变不出什么新的人来，我只要“对得起”人——爹娘、丈夫（一个爱我的人，待我极好的人）、儿子、家族等等，后来更要对得起另一个爱我的人……”
这个“后来的另一个爱我的人”，只能是一直陪伴她的金岳霖了。林徽因没有在信里表露自己“是否爱这个‘另一个爱我的人’”，但从情感上来讲：一个人能感受到另一个人的爱时，往往是已经动心了。
从林徽因的角度来看，相比梁思成，金岳霖更懂她，他们两人在精神层面的契合度，明显高于林、梁。
可林徽因终究是极其理智的人，她当年从与徐志摩的恋情中果断抽身，转而嫁给梁思成，就是她理智的体现。这样的一个理智的女子，自然不可能轻易在婚外爱上其他男子。
另一方面，林徽因这样的女子，她的注意力从来不会过多放在感情上。这点，金岳霖深有体会。他曾在《金岳霖回忆录》中反复强调：林徽因夫妇总是很忙，对他们来说“日子总是不够用的”。
相比之下，“光棍”金岳霖的时间就多多了，他每天到了“下半天”，几乎就是“打发日子”了。金岳霖“打发日子”的方式总是很有意思：作对联，研究山水画，看栀子花，斗蛐蛐。
当然，“照顾林徽因”，也是他“打发日子”里最必不可少的一部分。
林徽因得了肺结核以后，金岳霖一边介绍名医，一边忙前忙后地打点，为了给她补身体，他甚至还给她买了小鸡。小鸡变成大鸡下的蛋，都用来给林徽因补充营养了。
林徽因卧床不起后，金岳霖还总不忘搜集各种读物，朗读给林徽因听。不得不说，有金岳霖陪伴的林徽因，定是舒心的。
病中的林徽因
梁思成对两人的关系似乎很大度，1946年2月，林徽因和金岳霖在昆明唐家花园后山的一座小别墅同住到了7月。当时，梁思成和林母及儿女都在李庄。
因为当时林徽因时常病着，好友费慰梅曾写信问起相关事情，梁思成收到信后回信道：
“老金和她住在一起（very bohemian indeed），她还雇了一个很好的女佣，她得到了很好的照顾，我对她没什么可担心的”。
信中，梁思成还详细写到了两人同住的种种细节。
从这些细节来看，梁思成对两人的交往并没有觉得不妥，也因为他的大度，才有了这段让后世颇震惊的“三人行”。
金岳霖一生未婚，他家境优渥，又是哲学大师、逻辑学之父，这样的条件单身自然是让人诧异的。金岳霖选择打一辈子“光棍”背后，与他的特殊婚恋观有关，他曾在劝一位婚恋受挫的学生时道：
“恋爱是一个过程，恋爱的结局，结婚不结婚，只是恋爱过程的一个阶段。因此，恋爱的幸福与否，应从恋爱的全过程来看，而不应仅仅从恋爱的结局来衡量。”
一个人无意中说出的话，往往更能反映自己的内心，金岳霖安慰学生的这段话，也是他内心深处的真实婚恋观。即便在今天，这样的婚恋观依旧难被世人理解，但作为哲学家，他有这样的婚恋观，似乎又是再正常不过的。
“只求过程，不求结果”，表面上看是一种豁达、开明，实际上，却更是一种无奈。他遇见林徽因时，她已为人妻、为人母，他又能如何。
1955年4月1日，林徽因病逝。噩耗传来后，金岳霖先是怔了一下，而后他喃喃道：“林徽因走了？”过了几秒后，他才突然双手撑在办公桌上，嚎啕大哭起来。
林徽因葬礼上，各界名人送的挽联中，金岳霖的尤为显眼：“一身诗意千寻瀑，万古人间四月天。”至今，这段话，依旧被认为“是对林徽因一生的最好诠释”。
林徽因死后，金岳霖就不大参加社交活动了，他看起来也比以前更木讷了。
