Le groupe naît fin 2001 après la rencontre de plusieurs membres ayant participé à l'Atelier 112, légendaires répétitions nocturnes plus ou moins clandestines au Centre de Formation des Musiciens Intervenants du Tambour à Rennes 2. Tante Felipé souhaite d'abord s'essayer au hip-hop, mais sans grand succès, et développe par la suite une sorte de free rock en partie improvisé : le groupe joue des sets d'un nombre défini de morceaux au sein desquels une place plus au moins importante est laissée à l'improvisation. Au chapitre des influences, on citera pour la forme The Ex, Antipop Consortium, Mike Patton ou John Zorn, mais surtout le répertoire de Jean-René Mouchabol, interprète français injustement méconnu du milieu du siècle dernier à qui Tante Felipé rend hommage en jouant les compositions plutôt que d'écrire des morceaux originaux (le mythe restera intact plusieurs années parmi les plus naïfs et les plus drogués de leurs auditeurs). Avec des instruments plutôt issus du jazz ou des musiques acoustiques (contrebasse, clarinette, violon, flûte...) - bien que ce choix ne soit pas délibéré - les sept membres du groupe exploiteront pendant sept ans une démarche qui leur tient à cœur : celle d'être « un groupe de rock sans guitare ». Sur scène, les musiciens jouent dans la mesure du possible en cercle : leurs concerts dans des conditions spatiales « classiques » (en ligne, face au public) sont de leur propre aveu les moins réussis.

Un premier enregistrement artisanal live voit le jour fin 2003 (durant lequel sont utilisées des plaques d'isolation en carton munies de meurtrières pour permettre aux musiciens de se voir), autoproduit par le groupe (« Tante Felipé », Commence par Maman, 2003). Une première tournée a lieu en 2004 à Pâques : Montauban, Pays Basque (dans une baraque isolée dont le propriétaire n'organisait de concerts qu'à la pleine lune), Montpellier, Bordeaux. La seconde, durant l'hiver 2005, passe par Rennes, St-Brieuc, le centre Bretagne, Braspart (leur « meilleur concert »). En 2006, Tante Felipé sort son second disque (« Point de Croix ») sur le label bordelais Les Potagers Natures, avec qui les membres du groupe s'acoquine ouvertement (notamment les groupes Chocolat Billy ou Radikal Satan) ; et joue deux fois à Rennes au Mondo Bizarro : avec Gablé en avril et Body Parts en novembre. Les envies et les influences de chacun changent, le temps et la disponibilité vient parfois à manquer, et le groupe fini par se séparer début 2008. On notera tout de même l'existence fugace d'Explicitos Lyricos, le groupe de hip-hop de Corentin Hamel fondé en 2003, qui lui permettra d'assouvir en parallèle de Tante Felipé sa soif de musique afro-américaine vindicative, et dont le tube « Double Nelson » est encore gravé dans les esprits (Double Nelson, dans ta personne / Double Nelson, c'est mon fort).