Johnson sa narodil v Indianapolise, Indiana. Na trombón začal hrať vo veku 11 rokov. Študoval na hudobnom konzervatóriu Arthura Jordana a na Indiana University School of Music.
Johnson sa presťahoval do New Yorku v roku 1942 a rýchlo sa stal jedným z najvyhľadávanejších trombonistov v meste. Hral s Charliem Parkerom, Dizzym Gillespie, Budom Powellom a ďalšími legendami bebopu.
V 50. rokoch začal Johnson skúmať hard bop, novší, agresívnejší štýl jazzu. Nahral niekoľko vplyvných albumov so svojimi vlastnými kapelami, vrátane „The Eminent Jay Jay Johnson Volume 1“ (1954) a „Jay Jay Johnson with Clifford Brown“ (1955).
Johnson pokračoval v koncertovaní a nahrávaní počas 60. a 70. rokov 20. storočia. Učil aj na Berklee College of Music a Manhattan School of Music.
Johnson zomrel na infarkt v Indianapolise v roku 2001. Mal 77 rokov.
Johnson bol majstrom hry na trombón. Mal jedinečný zvuk, ktorý bol okamžite rozpoznateľný. Bol tiež nadaným improvizátorom a skladateľom. Jeho hudba ovplyvnila nespočetné množstvo trombonistov po celom svete.
Tu sú niektoré z najznámejších Johnsonových skladieb:
* "Lament"
* "Ezz-thetic"
* "Enigma"
* "Hviezdny prach"
* "Blue Funk"