Il doit son nom à la bible de l'homme noir (rastas), Holy Piby étant la base de la religion rastafari. Le groupe s'est formé en 2003 à Lanus, Argentine. Il est composé de musiciens qui fusionnent reggae, rock, funk et dub. Leurs influences viennent des racines noires comme Steel Pulse, Ziggy Marley, James Brown et Ben Harper. Après 3 mois à jouer dans différents endroits de Buenos Aires, ils ont partagé la scène avec d'autres groupes argentins comme Sinsemilla, Riddim, Dancing Mood, Los cafres, Nonpalidece et Resistencia Suburbana.
Holy Piby a été élu gagnant du concours radio pour les nouveaux groupes (à Day tripper, Rock and Pop), parmi 130 participants. En août 2004, il s'est classé premier au classement de "La de Dios" (émission radio reggae) et est resté dans les huit premiers pendant 5 mois. Il a participé au festival "Quilmes Rock 2004", où la principale attraction était le légendaire groupe The Wailers. Il a aussi joué avec le groupe brésilien Tribo de Jah, lors de son passage à Buenos Aires.
Son CD "Neighborhood" a été enregistré à Afro Estudio, et mixé par les musiciens Federico Ariztegui et Hernán Sforzini. Il a été édité en Argentine de manière indépendante, en Espagne par Liquidator Music et aux États-Unis par Ras Records.