Connery sa narodil v Edinburghu v Škótsku v roku 1930. Jeho otec bol robotníkom v továrni a matka bola domáca upratovačka. Connery opustil školu vo veku 13 rokov a začal pracovať ako mliekar. Neskôr vstúpil do Kráľovského námorníctva, kde slúžil tri roky.
Conneryho herecká kariéra začala na začiatku 50. rokov, keď sa objavil v niekoľkých malých úlohách v britských filmoch. Jeho veľký zlom nastal v roku 1962, keď bol obsadený ako James Bond vo filme Dr. No. Film mal obrovský úspech a Connery sa rýchlo stal jedným z najpopulárnejších hercov na svete.
Connery pokračoval v úlohe Jamesa Bonda v ďalších šiestich filmoch, vrátane From Russia with Love (1963), Goldfinger (1964), Thunderball (1965), Žiješ len dvakrát (1967), Diamonds Are Forever (1971) a Never Say Never Again (1983). Počas 60. a 70. rokov hral aj v mnohých ďalších úspešných filmoch vrátane Veľký útek (1963), Vražda v Orient Expresse (1974) a Muž, ktorý by bol kráľom (1975).
V 80. rokoch začala Conneryho kariéra upadať. Hral v niekoľkých málo prijatých filmoch vrátane Outland (1981), Never Say Never Again (1983) a Liga výnimočných (2003). U kritikov sa mu však dostalo uznania za úlohy vo filmoch Nedotknuteľní (1987), Indiana Jones a posledná krížová výprava (1989) a Skala (1996).
Connery odišiel z herectva v roku 2006. Za svoju prácu získal množstvo ocenení vrátane Oscara, dvoch cien BAFTA a troch Zlatých glóbusov. V roku 2000 bol tiež pasovaný za rytiera kráľovnou Alžbetou II.