吕乐1940年参加香港警队时只是一名普通的着装警员。由于他工作十分出色，几年后成了便装警员，然后一级级往上升，直到三十八岁时被提拔为总探长。吕乐的升迁，很大程度上归功于他的破案能力。他的破案诀窍就是多花时间与黑社会打交道。

当时香港四大黑帮——新义安，14K，和胜和，潮州帮，全部给他面子。这种游走在黑白之间，翻手为云，覆手为雨的手段使他在当时的香港风头无俩，连高高在上的英国警察高管搞不定的事，都需要他出面摆平。当时的一代大毒枭吴锡豪都给吕乐打下手，甚至其他两位大探长，韩森都需要他提拔，颜雄直接就是他的跟班。只有蓝刚才能和他相提并论。吕乐利用职权将香港的黄赌毒高利贷全部统一划区，公司化运营，统一进行管理。由警察充当保护伞，黑道当打手看场子。使当时犯罪率奇高，破案率极低的香港，变成了有事找老大要人，几乎看不到黑社会火拼，破案率极高的怪圈。

可以说整个60年代，是吕乐最有权势最风光的时代。60年代末由于香港市民的强烈抗议，以及英国政府担心贪污问题，会危及英国在香港的统治，所以决定进行反贪，清洗警队贪污风气。吕乐在得到消息后于1968年提前退休，靠收租和积蓄过着无忧生活，当时吕乐才48岁。1973年廉政公署成立的前一年，又偕八名子女和妻子移居加拿大。

吕乐家财难以估计，在他离港前，传其身家达到5亿元。香港廉政公署曾于1976年申请冻结吕乐的所有资产，据昔日报道，当时被冻结的资产包括吕乐名下8层楼宇，时值共600万元，另3个户口有849万多元存款，资产总值超过1000万元。廉署与吕乐家人于1986年达成和解协议，成功追回部分资产，由政府代为出售有关物业，款项由双方共同管理，但基于和解协议，政府一直未有透露出售资产的详情，包括物业总值等。

70年代中期由于香港和加拿大同属英联邦，有引渡条款，吕乐在安顿好家人后，自己又逃到和香港没有引渡条约台湾，一直到和港英政府达成和解协议，才到加拿大和家人团聚。2010年5月13日，吕乐于加拿大病逝。