Tu je to, čo vieme:
* Žiadne dôkazy o športe: Neexistujú žiadne historické záznamy o tom, že by sa Madison zúčastnila akýchkoľvek organizovaných športov alebo fyzických aktivít.
* Obmedzené voľnočasové aktivity: Madisonin život do značnej miery pohltila politika a intelektuálne aktivity. Bol nenásytným čitateľom, bystrým pozorovateľom vlády a oddaným študentom histórie a filozofie.
* Jazda na koni: Hoci Madison nebola športom, bolo známe, že má rada jazdu na koni, pravdepodobne na prepravu a rekreáciu.
* Záhradníctvo: Madison sa tiež veľmi zaujímala o poľnohospodárstvo a záhradníctvo, pričom často spravovala svoj vlastný majetok.
Na záver, život Jamesa Madisona bol zameraný na intelektuálne aktivity a verejnú službu, s obmedzenými dôkazmi o akýchkoľvek významných atletických alebo rekreačných záľubách.