Niet pochýb o tom, že Dickens bol do Ternana zaľúbený. Písal jej vášnivé listy, ktoré obsahovali explicitné sexuálne odkazy. V jednom liste napísal, že túži „ochutnať tie zrelé červené ústa... pohltiť [jej] zvodné telo“.
Rozsah ich fyzického vzťahu však nie je známy. Niektorí životopisci veria, že v skutočnosti nikdy nemali sex, zatiaľ čo iní veria, že áno.
Jasné je, že vzťah sa nakoniec stal pre Dickensa príťažou. Cítil sa vinný z podvádzania svojej manželky a obával sa verejného škandálu.
V roku 1858 Dickens ukončil aféru a poslal Ternana do zahraničia do Francúzska. O niekoľko rokov sa vrátila do Anglicka, ale Dickensa už nikdy nevidela.
Samotná Ternan nikdy verejne nehovorila o svojom vzťahu s Dickensom. Podľa jedného z jej príbuzných si to „vzala do hrobu“.
Hoci konkrétne detaily ich vzťahu možno nikdy nebudú známe, niet pochýb o tom, že románik medzi Charlesom Dickensom a Ellen Ternanovou bol významný a napokon tragický.