只是随着演技的日臻成熟，张耀扬在香港却越来越没有“用武之地”。
随着香港电影的衰落，香港的很多演员没有戏拍。为了生活，他们选择前往娱乐产业正在蓬勃发展的内地。
张耀扬就是其中的一员。
却也是在这个过程中，在感情上，张耀扬有了不好的绯闻。
在不好的绯闻出来之前，张耀扬除了和李丽蕊谈过4年恋爱，还和台湾名模艾永玲谈过3年恋爱。
在与艾永玲分手后，在港媒的报道里，张耀扬喜欢的不再是女人，而是男人。
2006年，张耀扬和一个秃头男传出了绯闻。那时张耀扬在香港的沙头角有一间带水池的平房，据张耀扬的邻居讲，这房子的前屋主是“世纪贼王”张子强。
张耀扬在这里居住后，没有和邻居说话，还在围墙上加了一块黑布遮住房子。直到有一天张耀扬为了修理放在门口的情侣单车，把大门打开，邻居才发现有一位40岁左右的秃头男在屋内四处走动。
张耀扬被疑和秃头男“同居”。
在秃头男之后，张耀扬又和草蜢乐队的蔡一杰传出了绯闻，他们被港媒拍到交往密切。
对于此，蔡一杰进行了辟谣，他说他和张耀扬只是好朋友，他还说港媒报道的“断背”是乱写，他说他不会介意，因为知道传媒要卖点做新闻。
