Nascida em Trajano de Moraes, no interior do Rio de Janeiro, Carmen mudou-se aos 15 anos para a capital do estado, onde trabalhava como empregada doméstica do cantor Francisco Alves. Numa festa ele a fez cantar para os convidados, entre eles Carmen Miranda, e a incentivou a iniciar uma carreira.
Apresentou-se como caloira no programa de rádio de Ary Barroso, saindo-se vencedora. Passou a cantar profissionalmente e a fazer dupla com o cantor e compositor Henricão.
O seu primeiro sucesso foi Está Chegando a Hora, versão da canção mexicana Cielito Lindo, nos anos 40. Em 1945, casou-se com o norte-americano Hans Van Koehler e foi viver com ele nos Estados Unidos. Passou uma temporada em Los Angeles e, em Nova York, esteve no concerto histórico no Carnegie Hall, que marcou a bossa nova nos Estados Unidos, em 1962.
Nos anos 50 voltou ao Brasil, quando conheceu o compositor Mirabeau Pinheiro, com quem viveu um romance por cinco anos e com quem teve a sua única filha, Silésia. Juntos tiveram sucessos como Cachaça não é água (quando foram acusados de plágio) e Obsessão.
Desta mesma época foi o samba-canção de Ricardo Galeno Eu sou a outra ("ele é casado/eu sou a outra na vida dele…"), que retratava uma situação que a própria Carmen vivia e, anos depois, assumia.
Foi homenageada no programa "MPB Especial", da TV Cultura de São Paulo, gravado em 1972, no qual a artista fluminense interpretou canções de grande sucesso. Entre o repertório, "Está Chegando a Hora", de Rubens Campos; "Só vendo que Beleza" e "Casinha da Marambaia", de Rubens Campos e Henricão; "Xamego", de Luiz Gonzaga; "Polêmica", de Ataulfo Alves; e "Cachaça Não é Água Não", de Mirabeau.
Com Paulo Márquez, gravou um belo LP "A Música de Paulo Vanzolini", de 1974.
A sua última gravação foi com o cantor Elymar Santos, de quem era convidada especial em alguns shows.
A cantora também participou de vários filmes, como "Pra Lá de Boa" (1949), "Carnaval em Marte" (1955), "Depois Eu Conto" (1956) e "Vou Te Contá" (1958).
Em 2003, a Câmara Municipal do Rio de Janeiro tinha aprovado um projeto de iniciativa do Museu da República e ela foi "tombada" como patrimônio cultural do Brasil. Para a ocasião, compôs a música "Tombamento", que cantou para o ministro da Cultura, Gilberto Gil ("Eu sou a raça/ Sou mistura/ Sou aquela criatura/ Que o tempo vai tombar").
Em 2 de junho de 2004, no Rio de Janeiro, participou da reinauguração da Rádio Nacional, emissora líder de audiência nas décadas de 40 e 50. Na ocasião, houve o encontro do ex-presidente Luiz Inácio Lula da Silva com as "cantoras do rádio", geração de artistas reveladas na Rádio Nacional. Lula definiu o encontro de "saudosismo gostoso" e subiu ao palco do auditório da Nacional para abraçar e beijar Emilinha Borba, 80, Marlene, 79, Carmen Costa, 84, Ademilde Fonseca, 83, Adelaide Chiozzo, 73, e Carmélia Alves, 81.
Morreu no Hospital Lourenço Jorge, no Rio de Janeiro, aos 86 anos, depois de alguns dias internada. Teve insuficiência renal e paragem cardíaca às 06.00 do dia 25 de abril de 2007.
