Caving betyder at 'give efter' eller 'bukke under' for pres eller svære omstændigheder. Det er et stærkt og billedligt udtryk, der ofte bruges, når nogen opgiver modstand.
I sangen synger Rihanna: "It's hard to know which one of us is caving." Her bruges det til at beskrive usikkerheden om, hvem af de to parter i forholdet der først vil give op eller bryde sammen under presset. Det giver et dramatisk indblik i forholdets skrøbelighed.
I denne stærke ballade synger Rihanna fra Barbados om et kompliceret og intenst forhold. Sangen beskriver en kærlighed, der føles som en "fever" (feber) – en blanding af hede følelser og forvirring. Fortælleren er usikker på sine følelser ("Not really sure how to feel about it"), men er samtidig dybt afhængig af sin partner. Der er noget i partnerens måde at bevæge sig på, der giver en følelse af, at hun ikke kan leve uden ham: "Makes me feel like I can't live without you".
Sangen udforsker den gensidige sårbarhed i forholdet. Selvom partneren beskrives som "the broken one" (den, der er i stykker), føler fortælleren, at det er hende, der har brug for at blive reddet: "I'm the only one who needed saving". Forholdet fylder et tomrum hos hende, og det er grunden til, at hun holder fast. Det er en ærlig skildring af et rodet, men uimodståeligt bånd, hvor det simple ønske er, at den anden person bliver: "I want you to stay".