Hirt sa narodil v New Orleans, Louisiana, otcovi hudobníkovi a matke v domácnosti. Na trúbku začal hrať vo veku šiestich rokov a v čase, keď bol na strednej škole, hrával profesionálne v miestnych kluboch. Po službe v námorníctve Spojených štátov počas druhej svetovej vojny sa Hirt vrátil do New Orleans a pokračoval vo svojej hudobnej kariére.
V roku 1950 sa Hirt pripojil ku kapele trubkára Louisa Prima a niekoľko rokov koncertoval s Primou. V roku 1957 Hirt opustil skupinu Primy a založil si vlastnú skupinu. Rýchlo sa stal jedným z najpopulárnejších jazzových trubkárov na svete a nahral množstvo hitových albumov.
Okrem hudobnej kariéry bol Hirt aj úspešnou televíznou osobnosťou. V rokoch 1964 až 1968 moderoval vlastnú varietnú šou „The Al Hirt Show“. Objavil sa aj v mnohých ďalších televíznych reláciách, vrátane „The Tonight Show v hlavnej úlohe s Johnnym Carsonom“, „The Ed Sullivan Show“ a „The Merv Griffin“. Ukáž."
Hirt zomrel na rakovinu v New Orleans v roku 1999. Mal 76 rokov.