V celej piesni Selena spieva o emocionálnej váhe spoločného nosenia spomienok na ich minulosť, čo jej sťažuje úplne sa pustiť a začať novú kapitolu svojho života. Smúti nad tým, že aj keď sú fyzicky od seba, prítomnosť jej bývalého partnera stále zaberá v jej mysli a emóciách značný priestor ako vytrvalý duch.
Texty sa ponoria do bolesti z pripomenutia si minulosti s odkazmi na „váš smiech“ a „slová, ktoré si hovoril“, ako aj do boja nájsť uzavretie a posunúť sa vpred bez úplného vymazania spomienok na vzťah. Selenina túžba po minulosti je hmatateľná, keď spieva o túžbe zabudnúť a byť slobodná, no napriek tomu nemôže uniknúť z držania, ktoré na ňu majú tieto spomienky.
V konečnom dôsledku „Ghost of You“ vyjadruje intenzitu emocionálnej dane, ktorú si rozchod môže vyžiadať, najmä keď sa jedna osoba snaží opustiť a prijať, že vzťah sa skončil. Pieseň rezonuje s každým, kto zažil strašidelné pozostatky minulej lásky a výzvy navigácie na ceste k uzdraveniu a nájdeniu uzavretia po skončení významného vzťahu.