Reinecke nasceu em Altona, na época parte do ducado de Holstein e governada, em união pessoal, pelo rei da Dinamarca, hoje um distrito de Hamburgo. Filho de Johann Peter Rudolph Reinecke, um professor de música, Carl começa a compor aos sete anos, vindo a se apresentar como pianista a partir de seus doze anos de idade.
Realizou a sua primeira excursão musical em 1843, fato que o conduziu, em 1846, a sua nomeação como Pianista da Corte de Cristiano VIII em Copenhaga, onde permaneceu até 1848. Durante o período escreveu quatro concertos para o piano e várias cadenzas para outras obras, inclusive um grande grupo publicado como seu opus 87. Escreveu também concertos para violino, violoncelo, harpa e flauta.
Em 1851 torna-se professor no Conservatório de Colônia. Nos anos seguintes foi apontado como diretor musical em Barmen, também se tornou diretor musical e académico e maestro da Singakademie de Wrocław (Breslau).
Em 1860, Reinecke é nomeado diretor da Orquestra Gewandhaus em Leipzig, onde permanece até 1895, e professor de composição e piano no conservatório da cidade. Em 1865 o Quarteto Gewandhaus apresenta pela primeira vez seu quinteto para piano e em 1892 seu quarteto de cordas em ré maior.
A obra mais conhecida de Reinecke é a sonata para flauta Ondina, mas ele é também lembrado como um dos mais influentes e versáteis músicos de seu tempo. Como professor, deu aulas para grandes nomes da música.
Após sua retirada dedicou o seu tempo à composição, inclusive de diversas óperas. Carl Reinecke morreu em Leipzig aos 85 anos.
