吴锡豪于广东汕头市潮阳县达濠镇出生，六十年代初移居香港，在石硖尾开字花档起家。之后改为贩毒，在60年代后期至七十年代初期贩卖毒品超过30吨，价值3亿元以上，被称为香港毒贩“四大家族”之一。其集团更与香港警队内高层贪污警察勾结，同时亦牵涉杀人等严重案件。

香港黑帮有四大派系，分别是“十四K”、“和胜和”、“四大”、“潮州帮”，而其中潮州帮（潮汕帮）又有“新义安”、“福义安”、“义群”、“敬义”等几大分支，吴锡豪便是“义群”的领导人。吕乐就曾指说新义安、义群、十四K、和胜和为当年的黑道四大家族，吴锡豪势力可见一斑。

1975年被判三十年徒刑，整个字头因众多骨干被捕而元气大伤，随之衰落。据某研究香港黑社会的书籍统计，到了八九十年代“义群”人数已经降为千人左右。

吴锡豪于上世纪60年代初随难民潮涌入香港，以“字花档”（赌）起家，后改做“粉档”（毒），结果风生水起，70年代已经做到香港贩毒“四大家族”之一。甚至做到了香港之外的国际买卖，在泰国、台湾一带毒圈有相当的名气。1973年香港廉政公署成立，开始大力度打击犯罪，1974年年底，吴锡豪从台湾返回香港后被捕，整个集团被判刑124年,其中吴自己被判刑30年。1991年因肝癌末期，获香港港督特赦出狱。出狱25天后，因病情恶化去世。