Jedna z pierwszych punkowych grup z San Francisco założona w składzie: Penelope Houston (śpiew), Greg Ingraham (gitara), James Wilsey (bass) i Danny Furious (perkusja). Zaczynali w czerwcu 1977 u boku Crime i The Nuns, ale jako trochę młodsi wiekiem wnieśli najwięcej nowej energii do rodzącej się sceny San Francisco, grając m.in. krytyczne i politycznie zabarwione numery jak „We Are The One”, „Open Your Eyes” czy „The American In Me”.
W latach 1977-79 zagrali sporo koncertów na zachodnim wybrzeżu USA i Kanady, a ich największym był ten ze stycznia 1978, gdy razem z The Nuns supportowali kończących swą amerykańska trasę The Sex Pistols. W trakcie istnienia wydali jedynie 7’ singla „We Are The One” (1977) dla wytwórni Dangerhouse i 12’ EP „The Avengers” (1979) – nagraną jeszcze w 1978, a wyprodukowaną przez Steve Jonesa z Sex Pistols.
Ostatni raz zagrali w czerwcu 1979. Po rozpadzie Penelope kontynuowała działalność na scenie folkowej. Kilka razy doszło do okazjonalnych koncertów The Avengers, także jako The Scavengers.
Z wydawnictw retrospektywnych ukazały się trzy składanki: „Avengers” (1983) z materiałem studyjnym z singli, „Died For Your Sins” (1999) – z nagraniami demo i live oraz przekrojowe wydawnictwo „The American In Me” (2004).
