Se formaron en 1998, tomando su nombre de la pandilla de moteros de la película de Marlon Brando de 1953: "The Wild One". Been y Hayes se conocieron en la preparatoria en San Francisco y rápidamente formaron una banda, escribiendo canciones y tocando juntos. Al estar buscando un baterista, conocieron a Jago, nacido en Cornwall, Inglaterra, al poco tiempo de haberse mudado con sus padres a California. Been utilizó el pseudónimo "Robert Turner" durante sus primeras dos grabaciones, en un intento por no ser vinculado con Michael Been, su aclamado padre y miembro del grupo The Call. Más tarde retomó su verdadero nombre. Etiquetados dentro de la New Rock Revolution, nombre que utilizó la prensa musical entre 2001 y 2003 para grupos como The Strokes y Kings of Leon, decidieron separarse rápidamente de los demás, tanto musical como estéticamente. Sus primeros dos trabajos están llenos de punk rock acelerado con influencias de Iggy Pop and The Stooges o Ramones, y bandas británicas ochenteras como Spacemen 3. También especialmente The Jesus & Mary Chain. Sin embargo existían también canciones más lentas, psicodélicas y groovy influenciadas por grupos shoegaze. En sus siguientes trabajos se fueron más hacia el blues, el folk y el gospel.
