O seu primeiro álbum foi Golden Heart, de 1996. Porém, poucas cópias dele em CD foram produzidas, sendo, hoje, raríssimas. Escreveu também algumas bandas sonoras e teve ainda uma outra banda, chamada The Notting Hillbillies. Participou também no trabalho de outros artistas, como Bob Dylan, Eric Clapton e B. B. King, e produziu álbuns para Tina Turner, Randy Newman e, novamente, Dylan. Ao longo da sua carreira, fez mais de quatrocentos concertos em mais de trinta países. Mark é considerado um dos melhores guitarristas e compositores de todos os tempos. Apesar de canhoto, toca como destro e de uma forma totalmente inovadora: com a combinação principalmente do polegar, do indicador e do dedo médio, sem o uso de palhetas.
Foi considerado o 44º melhor guitarrista de todos os tempos pela revista norte-americana Rolling Stone.
