Mahalia começou sua carreira cantando em corais Gospel, estilo musical que a acompanhou por toda a carreira.
Em 1937, com 26 anos, Mahalia gravou seu primeiro disco sob o selo The Decca Coral,
com as seguintes canções: "God's Gonna Separate The Wheat From The
Tares," "My Lord," "Keep Me Everyday," and "God Shall Wipe All Tears
Away.". O disco não foi um sucesso financeiro e o Decca Coral não
renovou. Em 1947 (dez anos depois), ela gravou com o selo Apollo a
música "Move On Up A Little Higher", um sucesso tão grande que vendeu 8
milhões de cópias, esgotando em todas as lojas. A música entrou para o
Hall of Fame dos Prémios Grammy em 1998.
Posteriormente,
gravou sucessos como "Let the Power of the Holy Ghost Fall on Me"
(1949), "Silent Night, Holy Night", que também tiveram incrível sucesso
na Europa.
Em 1950 ela se tornou a primeira cantora gospel a cantar no
Carnegie Hall de
Nova York. Em 1952, começou uma
tourneé pela
Europa e foi aclamada pela crítica como "A maior cantor Gospel de
todos os tempos". Também foi a primeira cantora gospel a cantar no
consagrado festival
The Newport Jazz Festival (em 1958 e 1959)
Em 1961, Mahalia cantou na posse do presidente norte-americano John Kennedy.
Em 1963 ela cantou para 250 mil pessoas, na ocasião em que
Martin Luther King Jr.
fez o seu famoso discurso "I Have a Dream" ("Eu tenho um sonho",
discurso pelos direitos civis amplamente conhecido nos Estados Unidos).
Também cantou "Take My Hand, Precious Lord" no funeral de Martin
Luther King Jr.
O seu último álbum foi Guide Me, O Thou Great Jehovah (1969). Encerrou a carreira em 1971 com um show na Alemanha e com aparições final no The Flip Wilson Show nos Estados Unidos.
Mahalia também ficou conhecida por seu esforço em ajudar ao próximo, criando a Mahalia Jackson Scholarship Foundation, para jovens que gostariam de entrar para a universidade. Por seus esforços recebeu o The Silver Dove Award.