V refréne piesne sa opakuje veta „Nechcem tvoje zvyšky“, čím speváčka vyjadruje odmietnutie pozostatkov minulého vzťahu a odhodlanie vytvoriť si novú a napĺňajúcu budúcnosť.
Text tiež vykresľuje emocionálnu cestu speváka, keď sa vyrovnáva s koncom vzťahu. Opisujú, že sa vo svojom živote cítia ako „duch“, ktorý sa snaží nájsť svoje miesto vo svete bez svojho bývalého partnera.
Napriek bolesti a neistote pieseň naznačuje pocit odolnosti a nádeje. Spevák uznáva, že ich môže stále prenasledovať minulosť, ale vyjadruje odhodlanie pokračovať v napredovaní.
Celkovo je „Your Leftovers“ dojímavou piesňou o láske, strate a hľadaní nových začiatkov. Zachytáva surové emócie a výzvy, ktoré prichádzajú s prechodom z významného vzťahu.