Haunts znači 'proganja' ili 'opseda'. To je reč koja se obično koristi za duhove ili sećanja koja se stalno vraćaju i uznemiravaju vas.
U pesmi, Bruno Mars koristi ovu reč da opiše kako ga greške iz prošlosti i sećanja na propalu vezu proganjaju svaki put kada zatvori oči. To je snažna reč koja prenosi dubok osećaj kajanja i neprekidnog bola.
Svi smo bar jednom napravili glupost zbog koje smo se kasnije gorko kajali, a Bruno Mars je o tome napisao jednu od svojih najiskrenijih pop balada. Pesma "When I Was Your Man" počinje slikom praznine u sobi: "Same bed, but it feels just a little bit bigger now" (Isti krevet, ali sada deluje malo veći). Bruno ovde bez ulepšavanja priznaje da je bio "too young, too dumb to realize" (premlad, preglup da shvati) šta je imao. Krivicu ne svaljuje na sudbinu, već direktno na svoj ego i sebičnost koji su oterali dobru ženu iz njegovog života.
Umesto klasične ljutnje prema bivšoj, cela pesma je lista jednostavnih stvari koje je propustio da uradi: da kupi cveće, drži je za ruku i odvede na ples. Najveći obrt dolazi na samom kraju. Iako ga boli što ona sada pleše s nekim drugim, on tom novom tipu poručuje: "I hope he buys you flowers, I hope he holds your hand" (Nadam se da ti kupuje cveće, nadam se da te drži za ruku). Bruno priznaje poraz, prihvata svoje greške i želi joj sreću, iako mu to slama srce svaki put kada čuje njeno ime.