张作霖虽然没有直接表态，但也并没有反对，就算是默许了，或许他也被谷瑞玉的勇气感动了。
1924年10月，张学良与谷瑞玉遂在天津结婚，虽然有了夫妻之实，但谷瑞玉只能留在天津，而无法回到沈阳的大帅府，于凤至是坚决不接纳她。
于凤至对谷瑞玉非常排斥，她觉得也就是从谷瑞玉开始，张学良开始变得花心了，她也是于凤至最痛恨的女人。
1925年春节前，谷瑞玉曾随张学良返回沈阳，张学良为了避免不愉快，随即购买小楼一幢，让谷瑞玉居住。
谷瑞玉挺遗憾的，直到和张学良离解除婚姻关系，都未能名正言顺地住进大帅府。
31925年5月，张学良再次奉命统帅东北第三方面军南下开辟新的势力范围，谷瑞玉坚决随军，她哭着说：“只要有你的地方就有我，就是天涯海角也敢随你去。”
谷瑞玉对张学良的爱，已经到了深入骨髓的地步。
到了南方，谷瑞玉因水土不服，经常生病，甚至到了边吃边吐的地步，晚上也因为潮湿而经常失眠，但她没有丝毫怨言，后来，张学良又返回青岛，谷瑞玉依然不辞劳苦地追随在丈夫身边。
那时，张学良时常为组建东北军的第一支海军忙得废寝忘食的工作，整个人都处于高度紧张的状态。
每次张学良熬夜工作时，谷瑞玉都会等着他一起吃饭，只为让张学良有种“在家”的感觉，她的坚强和韧劲，她的无怨无悔，都让张学良很钦佩。
那几年，谷瑞玉跟着张学良到处南征北战，因此大家称呼她为“随军夫人”。
张学良对谷瑞玉也很体贴，在天津为她购买了别墅，为了让谷瑞玉进京听戏方便，他在北京也为谷瑞玉购置房产和衣物。
按理说，谷瑞玉和张学良到处奔波，他们的感情应该很深厚，但有些时候即便是同甘共苦，也未必能有地久天长。
4原本温柔贤惠的谷瑞玉，慢慢地发生了变化，她开始有些任性。
那会张学良到处奔波，她一个人留在天津，或许是为了打发时间，她学会了跳舞、下酒吧、和戏。
更过分的是为了听戏方便，她还以张学良的名义，经常将梅兰芳等京剧名伶邀请到家中唱戏，虽然大家内心很不满，但碍于张学良的情面，也不好发作。
消息传到张学良耳中时，他非常生气，觉得之前那个温柔贤惠能吃苦的谷瑞玉不见了，现在的谷瑞玉不但生活奢华，还总是以他的名义到处办事。
《少帅》剧照
这之后，他们之间慢慢有了间隙，有时候难得相聚几天，也闹得不欢而散。
但真正让他们关系恶化的是，张作霖的离世。
当时，张作霖被轧身亡的消息是隐瞒的，但在“秘不发丧”期间，谷瑞玉却冒然来到沈阳，也是她的行动，引起了日本关东军的注意，日本报纸上称：
“张学良的夫人谷瑞玉由津返回奉，说明张作霖在皇姑屯必死无疑。否则一向与大帅府关系并不密切的夫人是不会在张学良不在奉天情况下独自返回关东的。”
这次谷瑞玉的鲁莽，彻底激怒了张学良，之后他们的关系急剧恶化，但还没有到分道扬镳的地步。
《少帅》剧照
后来，张学良主政东北，很少来天津，谷瑞玉思夫心切，就不顾张学良的反对，几次孤身来到沈阳，还争着想回大帅府，并杨洋：“你今天所得地位也有我一半功劳。”
因矛盾越来越深，加上谷瑞玉越发任性，让张学良觉得她当初不顾生命危险，随自己出征，是带有目的性的。
