Jeho najvýznamnejšia práca bola s Cannonball Adderley Quintet v sedemdesiatych rokoch, ale spolupracoval aj s mnohými ďalšími významnými jazzovými hudobníkmi vrátane Theloniousa Monka, Milesa Davisa, Dizzyho Gillespieho, Dextera Gordona a Herbieho Hancocka.
Okrem práce ako sideman vydal Poole aj niekoľko sólových albumov, vrátane „The Essence of John Poole“ (1977), „Sweet Lucy“ (1978) a „Blue Planet Man“ (1980).
Poole je tiež skladateľ a aranžér a napísal hudbu pre film a televíziu. Vyučoval aj jazz a latinské perkusie na University of Southern California a California Institute of the Arts.
Poole získal v rokoch 2004 a 2005 ocenenie Asociácie jazzových novinárov „Dummer of the Year“ a je tiež členom Národnej akadémie nahrávacích umení a vied (NARAS).