Leonard Cohen nasceu em Montreal, província de Quebec, Canadá, de uma família judia de origem polaca. A sua infância foi marcada pela morte de seu pai quando Cohen tinha apenas 9 anos, facto que seria determinante para o desenvolvimento de uma depressão que o acompanharia durante boa parte da vida.
Aos 17 anos, ingressa na Universidade McGill e forma um trio de música country. Paralelamente, passa a escrever seus primeiros poemas, inspirado por autores como García Lorca.
Em 1956, lança seu primeiro livro de poesia, Let Us Compare Mythologies, seguido em 1961 por The Spice Box of Earth, que lhe conferiria fama internacional.
Após o sucesso do livro, Cohen decide viajar pela Europa, e acaba por fixar residência na ilha de Hidra, na Grécia, onde passa a viver junto com Marianne Jensen e seu filho, Axel.
Em 1963 lança The Favorite Game, sua primeira novela, seguida pelo livro de poemas Flowers for Hitler, em 1964, e pela sua segunda novela, Beautiful Losers, em 1966.
Em 2011 foi o vencedor do Prémio Príncipe das Astúrias das Letras.
No ano seguinte, Cohen participa do Newport Folk Festival, onde chama a atenção do produtor John Hammond, o mesmo que antes havia descoberto, dentre outros, Billie Holiday e Bob Dylan. Songs of Leonard Cohen, o seu primeiro disco, é lançado no final do ano, sendo bem recebido por público e crítica.
O seu próximo disco, Songs from a Room, seria produzido por Bob Johnston, produtor dos principais trabalhos de Dylan nos anos 60. Embora não tão bem recebido quanto o anterior, contém a canção "Bird on the Wire", que o próprio Cohen disse ser a sua favorita dentre as suas composições. Em 1971, lança Songs of Love and Hate, um disco mais sombrio que os anteriores. No mesmo ano, o diretor Robert Altman, em seu filme McCabe & Mrs. Miller, utiliza três canções de Cohen: "Sisters of Mercy", "Winter Lady" e "The Stranger Song", todas do primeiro disco do cantor.
Também em 1973, por ocasião da Guerra do Yom Kipur, Cohen faz uma série de shows gratuitos para soldados israelitas. Baseada no poema "Unetaneh Tokef " da tradição judaica, surgiria a canção "Who by Fire", incluída no álbum New Skin for the Old Ceremony, a ser lançado no ano seguinte.
Após o disco de 1974, Cohen decide se afastar do mundo da música, resultado não só de uma confessa falta de inspiração, mas também de sua insatisfação com as exigências do mercado.
O seu retorno dar-se-ia em 1977, com Death of a Ladies' Man, produzido por Phil Spector, que foi também o co-autor de quase todo o repertório do disco. O álbum foi marcado por atritos após as gravações, quando Spector se trancou em seu estúdio para o processo de mixagem, não permitindo que nem mesmo Cohen interferisse no resultado final. Por conta disso é até hoje notória a insatisfação do cantor com o disco, o qual classifica como sendo o mais fraco de todos. Em 1978, numa alusão ao álbum do ano anterior, seria a vez do lançamento do livro Death of a Lady's Man.
Em 1979 reaproxima-se do estilo dos seus primeiros trabalhos com Recent Songs, cuja turnê foi registada no disco Field Commander Cohen: Tour of 1979, lançado apenas em 2001. Entre os integrantes de sua banda de apoio encontravam-se Sharon Robinson, co-autora de várias canções de Cohen a partir da década de 80, e Jennifer Warnes.
Após a turnê, seguiu-se mais um período de reclusão, no qual dedicou-se à escrita e ao estudo do budismo. Só voltaria a lançar novos trabalhos em 1984, com o disco Various Positions e o livro de poemas Book of Mercy. Embora a essa altura sua popularidade nos Estados Unidos estivesse em baixa, a sua música ainda fazia grande sucesso em alguns países da Europa como França e Noruega.
Ressurgimento e aclamação
Em 1988, retorna com o álbum I'm Your Man, aclamado por crítica e público. Parte dessa boa recepção deve ser creditada a Famous Blue Raincoat – The Songs of Leonard Cohen, disco tributo lançado por Jennifer Warnes um ano antes, que apresentou as canções do canadiano a toda uma nova geração de fãs.
Paralelamente, muitos dos jovens músicos ligados ao folk e ao indie-rock da época diziam-se influenciados pelo trabalho do cantor. Parte desses músicos seria responsável pelo disco-tributo I'm Your Fan, lançado em 1991. Dentre estes, destacavam-se R.E.M., Ian McCulloch (vocalista do Echo & the Bunnymen) e Nick Cave and the Bad Seeds.
No ano seguinte lançaria The Future e, em 1994, Cohen Live, contendo registos de apresentações ao vivo entre os anos de 1988 e 1993.
Nesse meio-tempo é lançado, em 1995, um outro disco-tributo, Tower of Songs, dessa vez com nomes mais conhecidos, como Elton John, Bono e Willie Nelson.
No mesmo ano é lançado o livro Dance Me to the End of Love, onde poesias suas são mescladas com pinturas do francês Henri Matisse.
A sua experiência no mosteiro iria até o ano de 1999, quando voltaria a morar em Los Angeles. Apesar disso, Cohen ainda se considera judeu, ressaltando que não procura "uma nova religião".
Em 2001, lança Ten New Songs, o seu primeiro disco inédito em sete anos, feito em parceria com Sharon Robinson. Em 2004 seria a vez de Dear Heather.
Em maio de 2006 é lançado o disco Blue Alert da cantora Anjani Thomas, sua namorada e ex-vocalista de sua banda de apoio. Cohen foi o produtor e coautor de todas as faixas do disco. Menos de um mês depois é lançado o aclamado documentário Leonard Cohen: I'm Your Man, onde relatos do cantor são intercalados com versões de suas músicas interpretadas por artistas como Rufus Wainwright e Nick Cave. No fim da película o próprio Cohen interpreta, juntamente com os U2, a música "Tower of Song".
Em 18 de setembro de 2009, durante um concerto na Espanha, Leonard Cohen desmaiou e teve de cancelar a apresentação.
Cohen deixou dois filhos e dois netos. Numa entrevista concedida cerca de um mês antes, Cohen confessou que já estava preparado para a sua morte.