Nat King Cole sa oženil s Mariou Ellingtonovou 25. decembra 1936 v Chicagu, na vrchole svojej prvej kariéry. Boli šťastne ženatí 20 rokov a adoptovali si päť detí; Nat Kelly Cole (1937), Gary Nathaniel Cole (1939), Errol Louis Cole (apríl 1941) a dve dievčatá Carol "Cookie" Cole (1944) a Maria Cole (1947). Ich syn Nat Kelly Cole sa stal slávnym spevákom, skladateľom a hercom.
28. decembra 1956 Maria Cole nečakane zomrela na rakovinu pľúc vo veku 45 rokov, takže Nat bol hlboko zničený a zlomený. Bol vdovec, kým sa 8. júla 1965 neoženil so speváčkou Mariou Hawkins. Zostali spolu až do predčasnej smrti Nata Kinga Colea v roku 1965.
Kontroverzia otcovstva
V 90. rokoch sa ozvala žena menom Lorna Coles, ktorá tvrdila, že je dcérou Nata Kinga Colea z krátkeho romániku, ktorý mal s jej matkou v roku 1947. Testovanie DNA potvrdilo, že Lorna Coles bola skutočne biologickým dieťaťom Nata Kinga Colea.