Narodil sa na ostrove Bequia na Svätom Vincente a získal koloniálnu základnú školu. V roku 1930 dostal Palmer štipendium na strednú školu v Londýne. S ďalšími štipendiami pokračoval v štúdiu medicíny na univerzite v Birminghame, ktorú ukončil v roku 1941.
Vrátil sa do Západnej Indie a pracoval na Jamajke, Trinidade a Tobagu a na Svätej Lucii. V roku 1950 sa Palmer vrátil na Svätý Vincent, aby cvičil. V roku 1954 Palmer spoluzakladal Ľudovú politickú stranu (PPP) a bol zvolený za zákonodarcu do Legislatívnej rady. V roku 1967 bol zvolený za hlavného ministra.
V roku 1979 Palmer priviedol Svätý Vincent a Grenadíny k nezávislosti od Spojeného kráľovstva. V tom istom roku bol pasovaný za rytiera kráľovnou Alžbetou II.
V roku 1984 Palmer odišiel z politiky a vo funkcii premiéra ho vystriedal James Fitz-Allen Mitchell. Zomrel v deň svojich 92. narodenín.