刚开始因为那种新鲜感，谢贤还能跟着萧芳芳一起学习，但是随着新鲜感的流逝，谢贤发现自己还是更喜欢外面的花花世界。
谢贤的态度萧芳芳自然是看在眼中的，于是她就不停地劝导谢贤要积极向上，劝导的地点可以是床上、厕所、厨房、车上......
有一次，萧芳芳开着车就劝导坐在副驾驶的谢贤，但谁知道谢贤一副不耐烦的态度惹怒了萧芳芳，她直接在路边停车，让谢贤下车，然后开着车扬长而去，就这样两人两年的感情结束了。
这是谢贤第一次被女人用这样的方式甩了，让他觉得很没有面子，为此他还专门停工一年，跑到国外去散心。
而萧芳芳经历了这个事情之后，也有点心灰意冷，选择在自己最红的时候退出演艺圈，到美国留学去了。
1970年，谢贤从国外散心归来，和张冲、陈自强、陈浩、秦祥林、邓光荣、沈殿霞六人结拜为“异姓兄妹”，对外称“银色鼠队”，谢贤在七人中排行第二。
结拜为异姓兄妹之后，七人经常一起演出，互相帮助，当时他们这个组合算是香港最红的一批人，占据了香港娱乐界的小半边天，七人也曾发誓，一方有难、七方支援。
有了六位兄弟姐妹的帮助，谢贤在香港娱乐圈的地位更稳固了，同时他也更加肆无忌惮，花钱大手大脚的。
