Formé en octobre 2004 à Caen par deux étudiants (Antoine Hue, guitare / chant, et Pierre Vallée orgue / guitare / chant), les futurs Underwear Brothers recrutent rapidement à la batterie Thomas Dahyot, repéré par Antoine dans les couloirs de la faculté pour les graffitis ostentatoires de groupes de rock qu’il inflige à son matériel scolaire. Les Frères Sous-vêtement – en référence à la chanson Underwear de Pulp – sont nés : le reste appartient à l'histoire, comme on dit. Volontairement désinvolte et déglinguée (chacun passe derrière la batterie, l’orgue ou la guitare, et l’incompétence technique est loin d’être un obstacle mais correspond au contraire à l’esprit du groupe), leur country-pop foutraque rappelle Woody Guthrie, The Moldy Peaches ou Syd Barrett.

Ils enregistrent avec les moyens du bord « Between the town and the city » en mai 2005 sur lequel les Bikini Sisters, une dizaine de pétulantes choristes, viennent leur prêter main forte sur une poignée de chansons. Un an plus tard, en juillet 2006, « The Fall & Decline of The Underwear Brothers » est mis en boîte au deux tiers avec les Bikini Sisters et Emilie Thomelot, qui a rejoint le groupe et avec qui le trio fondateur partage les compositions. Leur concert au 1929 en août 2007 avec les French Cowboys est peut-être le point culminant de la dizaine de prestations qu’ils auront donné en deux ans (principalement à Rennes, à l’Elaboratoire, au Mondo Bizarro…) ; il marque également la fin du groupe qui renaîtra sous une forme légèrement différente avec Bumble Bees.