日本黑社會的起源可以追溯到明治維新。武士階層被廢除後，很多武士失去了生活重心，逐漸轉向暴力犯罪。壹些武士開始經商或者從事見不得人的行業(比如開賭場、開妓院)，慢慢的這些武士開始結夥，最終形成了各種幫派和社團。
起初，日本黑社會是日本政府重點監控和打擊的對象，因為他們的地下產業已經嚴重擾亂了日本社會的正常秩序。直到二戰後，日本作為戰敗國，社會秩序相對穩定，政府沒有能力控制這壹切，於是日本政府與黑社會組織達成默契，即政府承認黑社會組織的合法地位，黑社會組織在法律的框架內幫助政府維持社會秩序。
但是需要註意的是，日本黑社會的合法性並不意味著日本黑幫可以做違法的事情。如果日本黑幫做了任何違反日本法律的事情，都會受到日本政府的懲罰。當然，另壹方面，在壹些街區，警察會在不擾亂該區域公共秩序的前提下，適當容忍壹些幫派活動，達到壹種非黑即白的默契。
就這樣，經過血腥的原始資本積累，日本黑社會基本上有了自己的合法資產和正當收入，被成功洗白。現在日本黑社會組織很少和普通人發生沖突，幫派鬥毆主要是兩個對立幫派之間因為利益矛盾而爆發。而且日本黑社會組織的規則越來越嚴格，盡量把自己的行為控制在法律允許的範圍內，不讓自己成為政府打擊的對象。因為黑社會壹旦被定義為暴力集團，就會受到各方面的嚴格限制。
總之，日本黑社會並不是販毒、打架、收取巨款保護社會、遵守地域法律、紮根群眾、盡量不打擾老百姓生活的形象，有時甚至還扮演著維護社會秩序、組織力量救災的角色。所以，人們看到的日本歹徒穿西裝、穿鞋、打領帶，與刀槍不入的黑社會截然不同。