V piesni Taylor spieva o tom, ako by s ním zostala dlho hore a myslela si, že s ním bude navždy. Spieva aj o tom, ako si myslela, že ho dokáže zmeniť a ako si kedysi myslela, že je dokonalý. Taylor si však nakoniec uvedomila, že ho nedokáže zmeniť a že nie je dokonalý. Tiež si uvedomila, že bez neho jej bude lepšie.
The Way I Loved You je pieseň o prijatí toho, že vzťah sa skončil a o poučení sa z neho. Pesnička je aj o uvedomení si, že niekoho nezmeníš a že je ti lepšie bez neho.