也在这一年里，另一个比新义安势力大得多的社团14K，“龙头”葛肇煌暴毙，“太子”葛志雄也登上了“龙头宝座”，但葛志雄无心社团事务，14K旗下三十六字堆，在实际意义上是群龙无首。
比起新义安，14K可以说是人心不齐，各自为政。
新义安龙头向华炎虽是读书人出身，被迫步入江湖成为社团龙头，却有自己处世的一套手段，他深知作为黑道分子，最重要的便是白道里有人。
他娶了吕乐同族叔公吕六的女儿吕杏华，吕乐得叫吕杏华为姑姑，叫向华炎得叫姑丈，即便向华炎比吕乐还小十几岁，但名义上确实得这么称呼。
与吕乐有了亲戚关系，向华炎便开始用自己的资源来扶持彼时职位低微的吕乐上位。
不久后，吕乐就从普通的探员升级为探员头目，对于新义安社团的一些恶事便睁一只眼闭一只眼，一有什么消息都会提前打招呼。
1955年，吕乐为了立功，在向华炎的指引下，对14K动起了手，抓获一百多名14K成员，靠着这个大功，吕乐再次升级，到这时候吕乐离探长只有一步之遥。
1956年，14K又开始惹事引发一场混乱，其他本土社团如和胜和、和安乐、和合图等也趁机闹事，唯独新义安社团在向华炎与林景强硬的态度下，没有出动。
随后吕乐带着探员大肆抓人，这些闹事的社团元气大伤，唯独新义安完好无损地保存实力，新义安在江湖上的地位高了一分的同时，吕乐也靠此功劳，顺利地成了探长。
不难看出，他们是黑道与白道之间相得益彰，也侧面说明靠脑子的读书人更具长远的眼光。
吕乐上位后，对这些黑道社团也是头疼不已，于是开始培养自己的势力，巩固自己在白道里的话语权，如曾志伟的父亲曾启荣便是吕乐的手下。
随后吕乐重新制定地下规则，划分各大势力的地盘，各大势力每月还得给他上贡“交租金”。
为了掩人耳目，吕乐培养了几个“收租佬”，“沙皮狗”、“猪油仔”、“羊东咩”三兄弟便是最出名的“收租佬”，其中“沙皮狗”还创立了东联社，在湾仔一带叱咤风云。
除了东联社，吕乐还有强大的地下势力为自己的物业看场，如和合图的“湾仔皇帝”傻佬泰，便看管不少吕乐旗下的麻将馆。
有钱有权有人，吕乐使得吕乐步步高升，在1962年时，一跃成为总华探长，权势滔天，掌握全港黑白两道的话事权。
