Joachim bol zázračné dieťa a debutoval vo veku siedmich rokov. Študoval u Stanisława Serwaczyńského a neskôr u Ferdinanda Davida na Konzervatóriu v Lipsku. Študoval aj kompozíciu u Moritza Hauptmanna.
Joachimova kariéra sólistu ho zaviedla po celej Európe a vystupoval s mnohými poprednými orchestrami tej doby. Bol tiež komorným hráčom a vystupoval s mnohými poprednými hudobníkmi svojej doby, vrátane Clary Schumann, Johannesa Brahmsa a Josepha Hellmesbergera, Sr.
Joachim bol tiež oddaným pedagógom a vyučoval na viedenskom konzervatóriu v rokoch 1869 až 1907. Bol tiež zakladateľom Joachimského kvarteta, ktoré bolo jedným z najznámejších sláčikových kvartet tej doby.
Joachim mal veľký vplyv na rozvoj husľovej hry a jeho učenie malo hlboký vplyv na huslistov po celom svete. Je považovaný za jedného z najväčších huslistov všetkých čias a jeho odkaz inšpiruje a vzdeláva hudobníkov dodnes.