Dickens sa stretol s Ellen Ternanovou v roku 1857, keď mala len 18 rokov a on 45. Ternanová bola divadelná herečka a Dickensa ňou okamžite uchvátila. Začali tajný románik, ktorý trval niekoľko rokov.
Dickens a Ternan sa veľmi milovali a plánovali sa vziať potom, čo sa Dickens rozviedol so svojou manželkou Catherine. Dickensova manželka mu však odmietla poskytnúť rozvod, a tak s Ternanom nikdy nemohli byť otvorene spolu.
V roku 1865 mali Dickens a Ternan spoločné dieťa, syna Charlesa. Dickens bol nesmierne šťastný, že je opäť otcom a svojho syna zbožňoval. O dieťati sa však dozvedela jeho manželka, ktorá zúrila. Vyhrážala sa, že aféru odhalí verejnosti a Dickens bol nútený rozísť sa s Ternanom.
Dickens a Ternan sa po roku 1865 už nikdy nevideli. Dickens zomrel v roku 1870 a Ternan žil až do roku 1914. Nikdy sa nevydala a nikdy nemala žiadne ďalšie deti.