Text piesne zvýrazňuje emocionálny nepokoj a vnútorný konflikt, ktorý muž prežíva. Priznáva, že na svoju bývalú stále myslí „každú noc a deň“ a že sa „nestačí čudovať“, či na neho myslí aj ona. Uznáva, že by mal ísť ďalej, ale zistí, že to nedokáže, pretože jeho srdce je s ňou stále späté.
Refrén zdôrazňuje mužovu neschopnosť opätovať lásku, ktorú mu niekto iný ponúka. Spieva:"Nemôžem ťa opätovať, aj keď sa veľmi snažíš" a "Stále sa držím ducha toho, čo sme mali." To naznačuje, že nie je emocionálne dostupný pre nový vzťah a stále ho zožierajú city k bývalej partnerke.
V celej piesni muž vyjadruje svoju túžbu po minulosti a túžbu byť opäť so svojou bývalou. Spieva:"Kiež by som sa mohol vrátiť a zrušiť všetky veci, ktoré sme urobili" a "Kiež by som ťa mohol znova držať v náručí." To naznačuje, že ľutuje rozchod a snaží sa prijať realitu ich odlúčenia.
Celkovo je „I Can't Love You Back“ dojímavou piesňou o zármutku, strate a výzvach prechodu z minulého vzťahu. Zachytáva emocionálny nepokoj a zraniteľnosť niekoho, kto stále zápasí s následkami rozchodu a nie je schopný znovu nájsť lásku.