Judon kehitti kasvatustieteilijä ja ju-jutsu -mestari japanilainen  Jigorō Kanō. Sana jūdō tarkoittaa 'pehmeä tie'. Kanō perusti lajinsa opiskeluun Kōdōkan-judoinstituutin.

Judon voittokulku kamppailulajien joukossa alkoi kun Kanōn joukkue voitti vuonna 1886 ottelussa kilpailevan jujutsu-koulukunnan, minkä seurauksena Japanin armeija ja poliisi ottivat judon koulutusohjelmaansa, ja sitä alettiin opettaa myös maan kouluissa.

​Kanō loi oppilailleen edistymisen merkiksi  arvoasteikon, jonka tunnusmerkkinä on vyön väri.

Laji sai mainetta ja harrastajia, kun 1900-luvun taitteessa judokat kiersivät maailmaa ja haastoivat mm. painijoita ja nyrkkeilijöitä voitokkaasti.

​

Euroopan Judoliitto perustettiin 1949, ja kaksi vuotta myöhemmin järjestettiin ensimmäiset EM-kilpailut. Kansainvälinen Judoliitto perustettiin 1951, ja lajin ensimmäiset MM-kilpailut järjestettiin Tokiossa 1956. Olympialaisissa judo oli ensi kertaa Tokiossa 1964, ja vuodesta 1972 alkaen se on ollut vakituisesti olympiaohjelmassa. Naiset alkoivat kilpailla Euroopanmestaruuksista 1975, maailmanmestaruuksista 1980 ja olympiamitaleista 1992.