Band of Horses fue creado por Ben Bridwell (guitarra, voz) y Mat Brooke (guitarra) en el 2004 después de que su grupo anterior, Carissa's Wierd, se desintegrara. El grupo atrajo inicialmente la atención de la disquera Sub Pop después de haberle abierto conciertos a Iron & Wine en sus presentaciones en el área de Seattle. En el 2005 editaron su debut Limited Edition Tour EP, que se vendió exclusivamente en sus presentaciones y en el sitio web de Sub Pop. Su primer álbum de larga duración, Everything all the Time fue grabado en el 2005 con el productor Phil Ek y lanzado el 21 de marzo de 2006, logrando obtener buenas críticas de la prensa. La banda genera comparaciones con el grupo My Morning Jacket, en gran medida debido a las similitudes vocálicas entre Bridwell y Jim James, vocalista de My Morning Jacket. La voz de Bridwell también ha sido comparada con las de Perry Farrell (vocalista de Jane's Addiction), la de los trabajos tempranos de Neil Young y la de Wayne Coyne de los Flaming Lips.