Debe su nombre a la biblia del hombre negro (rastas), siendo Holy Piby la base de la religión rastafari. La banda se formó en 2003 en Lanus, Argentina. Está integrada por músicos que hacen fusión de reggae, rock, funk y dub. Sus influencias son de raíces negras como Steel Pulse, Ziggy Marley, James Brown y Ben Harper. Después de 3 meses tocando en diferentes lugares de Buenos Aires, compartieron el escenario con otras bandas argentinas como Sinsemilla, Riddim, Dancing Mood, Los cafres, Nonpalidece y Resistencia Suburbana.
Holy Piby fue elegida ganadora en el concurso radial de nuevas bandas (en Day tripper, Rock and Pop), entre 130 que participaron. En agosto de 2004 quedó en primer lugar en el ranking de "La de Dios" (programa radial del reggae) y estuvo 5 meses en los primeros ocho lugares. Participó del festival "Quilmes Rock 2004", donde la mayor atracción fue la legendaria banda The Wailers. También tocó con la banda brasileña Tribo de Jah, en su paso por Buenos Aires.
Su CD "Neighborhood" fue grabado en Afro Estudio, y mezclado por los músicos Federico Ariztegui y Hernán Sforzini. Fue editado en Argentina de forma independiente, en España por Liquidator Music y en Estados Unidos por Ras Records.