Nascido no vilarejo de Siboney, aos nove anos, após o falecimento de sua avó, mudou-se com a sua família para a sede da municipalidade de Santiago de Cuba.
Compay Segundo afirmava que, desde os cinco anos, acendia os puros (charutos) para a sua avó. Desde então, não deixou o hábito de fumar. Em Santiago, fez o que grande parte da população cubana fazia: aprendeu o ofício de enrolador de charutos. Ao mesmo tempo, tinha aulas com uma jovem que o introduziu nos segredos do pentagrama, Noemí Toro. Por sua influência, Repilado optou pelo clarinete. Foi tocando este instrumento que Repilado fez a sua primeira viagem a Havana, em 1929, com a Banda Municipal de Música, na ocasião da inauguração do Capitolio Nacional.
Em 1935, com o guarachero Ñico Saquito e a sua banda, Cuban Star, viajou novamente à capital cubana - desta feita, para lá residir definitivamente.
Autodidata do tres e de violão, criou um novo instrumento de corda, mesclando aqueles instrumentos, o armónico. Muitas de suas composições musicais se caracterizam por seu conteúdo imaginativo e grande senso de humor. Na década de 30, com o quarteto Hatuey, viajou ao México, onde participou em dois filmes, México Lindo e Tierra Brava.
Também foi no México onde integrou, como clarinetista, o grupo Matamoros e teve a oportunidade de trabalhar com o músico Benny Moré. Lá, também, fundou, em 1942, a dupla Los Compadres, cantando com o cubano Lorenzo Hierrezuelo. Lorenzo era a primeira voz e tinha o apelido de Compay Primo (primeiro compadre), enquanto Repilado era a segunda voz, o Compay Segundo, pseudónimo que o acompanhou até ao fim de seus dias e pelo qual é reconhecido mundialmente.
Sobre o facto de que a segunda voz na música passou a se perder, sobretudo após as décadas de 40 e 50, Compay Segundo declarou "Os jovens não querem acompanhar nenhum cantor. Todos querem ser estrelas do dia para a noite. Veja quantos anos eu tive de esperar, quantos caminhos tive de andar, em quantos eventos tive de participar. E cá estou começando, nunca acabando."
A sua carreira teve inúmeras mudanças; integrou o sexteto Los Seis Ases, o Cuarteto Cubanacán, e foi clarinetista da Banda Municipal de Santiago de Cuba. Em 1956 criou o grupo Compay Segundo y sus Muchachos, com quem trabalhou até sua morte.
Compay Segundo foi um artista único. A maneira que produzia o som se ajustava ao modelo da zona oriental de Cuba, pelo que é reconhecido como um grande representante da cubanía.
Os estilos em que transitava eram: son, guaracha, bolero, além de canciones com marcados matizes caribenhos. A sua voz, grave e redonda, acompanhou célebres cantores de fama internacional. Com os muchachos de seu grupo, foi capaz de fazer dançar multidões de todos os continentes. Realizou turnês pela América Latina e Europa, particularmente Espanha, onde gravou seus últimos discos. Sobretudo partir de 1992, criou-se, na Espanha, um ambiente favorável para a trova e o son tradicional e foram convidados antigos e respeitados músicos desse estilo. Com isso, em 1995, Compay Segundo teve uma antologia sua organizada por Santiago Auserón, e foi o início de sua consagração internacional e a retomada de sua carreira artística.
Compay Segundo participou ativamente do ambicioso projeto Buena Vista Social Club, um disco produzido por Ry Cooder, em 1996, em que se reuniram os grandes nomes da música cubana, como Ibrahim Ferrer, Juan de Marcos González, Rubén González, Manuel "Puntillita" Licea, Orlando "Cachaito" López, Manuel "Guajiro" Mirabal, Eliades Ochoa, Omara Portuondo, Barbarito Torres, Amadito "Tito" Valdés e Pio Leyva. O disco foi premiado com o Grammy e promoveu um ressurgimento fabuloso de músicos cubanos que, em alguns casos, estavam no ostracismo por mais de dez anos.
O disco é o tema central do documentário homónimo, dirigido pelo alemão Wim Wenders. Ver Buena Vista Social Club (filme).
Aos 94 anos, estreou nos palcos como ator, numa peça intitulada "Se secó el arroyto" (algo como "secou-se o riozinho"), baseada em uma de suas canções e que narra os amores frustrados de um casal de jovens nos anos anteriores à Revolução Cubana (1959).
Entre as canções mais conhecidas interpretadas por Compay Segundo estão "Sarandonga", "Saludos, Compay", "¿Y tú, qué has hecho?", "Amor de la loca juventud", "Juramento" e "Veinte años". Certamente, a mais famosa de todas é "Chan Chan", que, segundo dizem, já foi ouvida até no Vaticano.
Compay Segundo morreu em 2003 em Havana próximo a sua família e com o respeito e a consideração de seus patrícios. Deixou cinco filhos. Nonagenário e muito bem-humorado, disse certa feita que ainda não havia se esquecido de como era o amor e que queria um sexto filho. Atribuiu-se sua morte a "desajuste metabólico agudo com insuficiência renal". Foi sepultado em Santiago de Cuba.
