Johnson sa narodil v Kantone v Južnej Dakote a vyrastal na farme. V roku 1982 ukončil štúdium politológie na Univerzite v Južnej Dakote. Po niekoľkých rokoch práce legislatívneho poradcu bol v roku 1986 zvolený do Snemovne reprezentantov Južnej Dakoty. V Snemovni pôsobil šesť rokov, z toho dva roky ako predseda parlamentu.
V roku 1996 bol Johnson zvolený do Senátu Spojených štátov amerických, kde porazil úradujúceho republikána Larryho Presslera. V roku 2002 bol opätovne zvolený na druhé funkčné obdobie a v roku 2008 na tretie.
Johnson bol známy svojimi umiernenými politickými názormi a ochotou spolupracovať s republikánmi aj demokratmi. Bol tiež silným zástancom poľnohospodárstva a rozvoja vidieka.
V roku 2014 Johnson oznámil, že sa nebude uchádzať o štvrtý mandát v Senáte. Ako dôvod svojho rozhodnutia uviedol zdravotné problémy vrátane mŕtvice, ktorú utrpel v roku 2006.
Johnson opustil Senát v roku 2015. Teraz je na dôchodku a žije vo Vermillion v Južnej Dakote.