香槟大厦在当年是一个高级象征，60年代起，香槟大厦开始有相机等摄影器材集中店铺售卖，直到现在仍然有一些店铺售卖古董相机，地下的商铺还有卖名表等高档物品。70年代开始，由于当时乐宫戏院在旁边，香槟大厦开始有不少明星出入，著名的明星也会到香槟大厦居住。也有不少著名医生在这里执业，可以说是曾经叱咤尖沙咀的一个地方。
可是自从80年代起，香港经济发展，尖沙咀开始兴旺，不少新的商厦进驻，高楼大厦林立，随着更多较新的大楼落成，香槟大厦开始逐渐衰落，部分单位更曾被黑工、黑帮及毒贩使用。90年代开始，香槟大厦部分单位开始被划分为㓥房经营“一楼一凤”色情行业，成为了知名的红灯区。香槟大厦声誉开始变差，楼价也再也难以上升。
2011年，据传田生地产想要收购香槟大厦，准备重建，但最后没有成功，收购后的单位依然被黑帮非法利用经营“一楼一凤”，治安愈来愈差。香港媒体曾采访过在香槟大厦做过十二年保安的大叔，他回忆黑帮占据香槟大厦的日子，曾经有名黑帮小头目为了他不要乱说话而掌打他。
2017年3月，香港警方曾在香槟大厦进行大规模扫黄行动，捣破10个被改成54个房间的霸占单位，并拘捕3人，估计断绝黑帮每月千万元收入。直到现在，香槟大的凤姐应该已全部撤出。2018年，有人在在大厦电梯前以香槟大厦业主立案法团贴上字条提醒大家没有妓女。
