Le groupe est fondé en 1988 par Mark Arm (chant), Steve Turner (guitare), Dan Peters (batterie), et Matt Lukin (basse). Mark Arm et Steve Turner se connaissaient depuis Green River (formé en 1984). Leurs premières productions sur le label Sub Pop, qui obtiennent un relatif succès, contribuent à la définition du « son de Seattle » et du grunge. Après un maxi 45tours du nom de SuperFuzz BigMuff contenant entre autre Touch Me I'm Sick (qui sera repris par Sonic Youth), Mudhoney sort deux albums chez Sub Pop, Mudhoney en 1989 et Every Good Boy Deserves Fudge en 1991. Suite au bon accueil de ces disques et au phénomène médiatique autour de Seattle et du grunge, ils signent sur la major Reprise Records.

Le premier album de Mudhoney chez Reprise, Piece of Cake (1992), s'écarte du grunge pour se rapprocher du garage rock, mais trois ans plus tard My Brother the Cow marque un retour à leur son d'origine (entre temps, le groupe a participé en 1993 à la B.O. du film Judgment Night avec le rappeur Sir Mix a Lot). L'album suivant, Tomorrow Hit Today (1998) continue dans cette lignée en y incorporant des éléments de blues rock. Malgré le succès des tournées, les ventes sont au plus bas, et après ce dernier album Reprise décide de se séparer du groupe. Peu après, le bassiste Matt Lukin les quitte, lassé des tournées. Pendant cette période Mudhoney ne donne plus que de rares concerts dans leur région d'origine du nord-ouest ; beaucoup pensent alors que le groupe va s'arrêter. La carrière de Mudhoney a été racontée dans Our Band Could Be Your Life, un essai sérieux et incontournable sur les groupes undergrounds américains.

Toutefois le succès des concerts persuade les membres de relancer leur carrière. Ils effectuent un retour aux sources en signant à nouveau chez Sub Pop. En 2000 sort le best of March to Fuzz. En 2002, le bassiste Guy Maddison les rejoint pour le nouvel album Since We've Become Translucent. En 2006 sort Under a Billion Suns. En 2008 sort l'album The Lucky Ones.