Ainda sob o nome Zé Rodrigues, iniciou a sua carreira musical no ensino médio, integrando, com colegas do Colégio de Aplicação da UFRJ David Tygel, Maurício Maestro (sob o nome Maurício Mendonça) e Ricardo Villas (sob o nome Ricardo Sá), o grupo vocal Momentoquatro. Com esta formação, o grupo acompanhou Marília Medalha, Edu Lobo e o Quarteto Novo na apresentação de "Ponteio", vencedor do Festival da Record em 1967, além de ter gravado um compacto duplo e um LP pela gravadora Phillips. Estudou no Conservatório Brasileiro de Música, desenvolvendo a característica da multi-instrumentalidade: tocava piano, violão, sanfona, flauta, bateria, saxofone e trompete.
Na década de 70, participou da banda Som Imaginário, banda criada para acompanhar Milton Nascimento.
Desligando-se da banda em 1971, venceu o Festival da Canção de Juiz de Fora, junto a Tavito, com a canção "Casa no campo", uma de suas composições mais famosas, que se tornaria um grande sucesso na voz de Elis Regina, e cujo trecho da letra ("compor rocks rurais") batizou o estilo de música conhecido como rock rural, com influências regionalistas, tropicalistas, folk, country e rock, tocada pelo trio do qual faria parte logo em seguida, com Luiz Carlos Sá e Guttemberg Guarabyra (Sá, Rodrix e Guarabyra).
Nessa época, compôs músicas como "Mestre Jonas" (em parceria com Sá e Guarabyra), "Ama teu vizinho" (com Luiz Carlos Sá), "Blue Riviera" (com Sá e Guarabyra), "O pó da estrada" (com Sá e Guarabyra), "Os anos 1960", "Pendurado no vapor" (com Sá e Guarabyra), "Primeira canção da Estrada" (com Luiz Carlos Sá), dentre várias outras", além de um famoso jingle criado pelo trio, por encomenda da J. W. Thompson, para a Pepsi, notabilizado pelo verso: "só tem amor quem tem amor pra dar".
Zé Rodrix saiu do trio em 1973, para seguir em carreira solo e participações especiais em gravações de artistas diversos, como o disco de estreia do Secos & Molhados, no qual toca piano, ocarina e sintetizador na última faixa, chamada "Fala". Rodrix dedilhava o seu teclado moog após a orquestra e os outros instrumentos cessarem, técnica que só pode ser ouvida nos CDs relançados do grupo já na década de 90, pois no vinil original esta música continha 15 minutos a menos.
Lançou em 1976 seu primeiro LP bem-sucedido comercialmente, Soy Latino Americano, criado após sugestão de Roberto Livi, que teria lhe dito que começasse a cantar mais para o "povão".
Passou a se dedicar mais na área de publicidade que musical na década de 80, mas em 1983, o músico passou a integrar o grupo Joelho de Porco, com o qual gravou o LP e participou do Festival dos Festivais em 1985, ganhando o prémio de melhor letra pela música "A Última Voz do Brasil".
Entre 1989 e 1996 assinou a direção musical dos espetáculos "Não fuja da Raia" e "Nas Raias da loucura", de Sílvio de Abreu, e do programa "Não fuja da Raia" (Rede Globo), estrelado por Cláudia Raia.
Em 1993 foi contemplado com o prémio Kikito, no Festival de Cinema de Brasília, pela banda sonora do filme "Batman e Robin".
Em 2001 reuniu-se novamente a Sá e Guarabyra, tendo o seu show de estreia ocorrido no Rock in Rio III. Logo após o lançamento de Outra Vez Na Estrada, com o trio, em 2001, Zé Rodrix conheceu o Clube Caiubi de Compositores, em São Paulo, e passou a desenvolver parcerias com novos autores da música brasileira, entre eles Sonekka e Reynaldo Bessa.
Em dezembro de 2008, Zé Rodrix lança um single ao lado de Sá e Guarabyra, chamado Amanhece um outro dia. A canção foi tema de abertura da novela Revelação, exibida pelo SBT. Para promover a novela, o trio chegou a se apresentar ao vivo, no programa Hebe.
Zé Rodrix morreu às 00.45 horas do dia 22 de maio de 2009, após sentir-se mal e ser levado ao Hospital das Clínicas, em São Paulo, cidade onde residia.