Hushpuppies

C'est en 2005 que le groupe sort son premier vrai album The Trap, toujours chez Diamondtraxx, dont est extrait leur premier single You're Gonna Say Yeah!. La chanson You're Gonna Say Yeah! est utilisée pour la musique de la publicité Mennen, la chanson Bassautobahn pour la publicité Toyota Auris, et Pale Blue Eyes pour la bande son du jeu vidéo Rugby 08. Le 13 septembre 2006, ils font un concert sauvage sur l'étage d'un bus londonien, à Paris, Place de l'Opéra. Cet évènement est organisé et sponsorisé par la radio française Le Mouv'.

Silence Is Golden (2007–2010)

Le 5 novembre 2007, le groupe sort son deuxième album Silence Is Golden. La chanson phare de celui-ci est Bad Taste and Gold on the Doors, que certains appelleront aussi I Want My Kate Moss. Il comprend aussi Down, Down, Down et des chansons plus énergiques comme Lost Organ ou Moloko Sound Club.

À la suite de la fermeture du label Diamondtraxxx (fondé par Benjamin Diamond) qui a produit ses deux premiers albums, le groupe décide de partir à la recherche d'un nouveau label pour sortir son troisième album. Mais les HushPuppies décident finalement de sortir leur troisième album sur leur propre label, Chut le Caniche Éditions, distribué en licence exclusive par Differ-Ant.

The Bipolar Drift (depuis 2011)

Ce troisième album intitulé The Bipolar Drift est sorti le 21 mars 2011. Ils ont auparavant sorti, avec les studios du Pop In, un 45 tours contenant une de leurs premières chansons, Natasha, et une reprise de Patrick Coutin, Fais-moi jouir. Le 20 janvier, le groupe dévoile le premier extrait de leur album : Low Compromise Democracy, qui devient le premier single de l'album, disponible sur les plateformes de téléchargement depuis le 28 février. En début février 2011, un article de Christophe Basterra paraît sur le site Internet du groupe. Il révèle une partie des titres du futur album. Guillaume Le Guen est remplacé à la basse par Marc Zory-Casali après la fin de l'enregistrement en studio du troisième album.