Toscanini nasceu em
Parma, e conquistou uma bolsa para o conservatório musical local, onde estudou violoncelo. Ele ingressou na orquestra de uma companhia de ópera, com qual fez uma turnê na América do Sul, em 1886. Enquanto apresentava
Aida, na sua turnê pelo Rio de Janeiro em 1886,
Leopoldo Miguez, o maestro local, atingiu o ápice de uma escalada de conflito com os músicos, devido ao seu trabalho bastante fraco, a tal ponto em que os cantores entraram em greve e forçaram o empresário da companhia a procurar um maestro substituto. O maestro Aristide Venturi foi chamado, mas não foi aceite pelo público, então, à última hora, os músicos sugeriram que Toscanini conduzisse a ópera. Assim, às 21.15 horas, ele tomou a batuta e conduziu duas horas e meia de ópera apenas de memória. O público foi tomado de surpresa, num primeiro momento, pela juventude deste desconhecido maestro, e em seguida, pela sua sólida mestria. O resultado foi uma aclamação surpreendente. Ele conduziu dezoito óperas até o fim da turnê, começando assim a sua carreira como maestro, aos dezanove anos de idade.
Ao retornar para a Itália, Toscanini voltou para a sua cadeira na seção dos violoncelos e participou como violoncelista na estreia mundial de
Otello (
Verdi) no
La Scala no ano de 1887, sob a supervisão do compositor.
Verdi ficou impressionado com Toscanini, principalmente quando ele foi consultar
Verdi sobre uma pontuação na partitura. Gradualmente a reputação do jovem músico enquanto maestro começou a firmar-se. Na década seguinte ele consolidou a sua carreira na Itália, nas estreias mundiais de
La Bohème (
Giacomo Puccini) e
Pagliacci (
Ruggiero Leoncavallo). Em 1896 Toscanini conduziu seu primeiro concerto sinfónico (em Turim, com obras de
Schubert,
Brahms,
Tchaikovsky e
Wagner). Em 1898 ele foi o maestro residente no Teatro La Scala, permanecendo lá até 1908, voltando para este lugar na década de 20. Ele levou a Orquestra do La Scala aos Estados Unidos numa turnê em 1920 e 21, onde fez a sua primeira gravação.
Fora da Europa, ele foi maestro no
Metropolitan Opera, em Nova Iorque (1908 - 1915), bem como na
Orquestra Filarmónica de Nova Iorque (1926 - 1936). Toscanini percorreu a Europa com a Filarmónica de Nova Iorque em 1930, e ele e os músicos foram aclamados pela crítica e público. Toscanini foi também o primeiro maestro não alemão a aparecer em
Bayreuth (1930 - 1931) e a Orquestra Filarmónica de Nova Iorque foi a primeira orquestra não alemã a tocar ali. Na década de 30 ele apresentou-se no Festival de Salzburgo (1934 - 1937) e em 1936 ele conduziu o concerto inaugural da
Orquestra Sinfónica da Palestina (que passou a ser
Orquestra Filarmónica de Israel) em
Tel Aviv, apresentando-se com ela em Jerusalém, Haifa, Cairo e Alexandria.
Em 1919, Toscanini concorreu, sem êxito, ao lugar de parlamentar pelo partido fascista, em Milão. Ele tinha sido chamado de "O maior maestro do mundo" pelo líder fascista
Benito Mussolini. No entanto, ele rapidamente ficou desiludido com o fascismo e repetidamente desafiou o ditador italiano após sua subida ao poder, em 1922. Ele recusou-se a mostrar a fotografia de Mussolini ou a conduzir o hino fascista no La Scala. Ele falou para um amigo
"Se eu fosse capaz de matar um homem, eu mataria Mussolini".
No concerto em memoria do compositor italiano
Giuseppe Martucci, no dia 14 de maio de 1931, no
Teatro Comunale de Bologna, foi ordenado que ele começasse a tocar
Giovinezza, mas ele recusou, pois o ministro dos negócios estrangeiros fascista estava presente. Mussolini, que tinha posto sob escuta o telefone de Toscanini e sob constante vigilância, retirou-lhe o seu passaporte. O passaporte foi devolvido somente após o clamor mundial para um tratamento correto de Toscanini. Ele optou por sair de Itália até 1938.
Toscanini voltou para os Estados Unidos, onde em 1937 tinha sido criada a
Orquestra Sinfónica NBC. Ele conduziu o seu primeiro concerto com a orquestra dia 25 de dezembro de 1937, no estúdio 8-H da NBC, no Centro Rockefeller de Nova Iorque. A acústica do estúdio era muito seca; após algumas remodelações, em 1939, foi obtida um pouco mais de
reverberação.
Em 1940 Toscanini fez uma turnê com a orquestra pela América do Sul. Mais tarde naquele ano, ele teve desentendimentos com a gestão da NBC. Então no dia 10 de Março ele escreveu uma carta aos gestores, alegando que queria "retirar-se de cena de uma arte militante" e assim recusou a assinar um novo contrato. Então
Leopold Stokowski assinou um contrato de 3 anos com a orquestra. Toscanini sofreu uma mudança e acabou voltando a orquestra, tomando o controle total em 1944.
Uma das transmissões mais notáveis aconteceu em julho de 1942, quando Toscanini conduziu a estreia nos Estados Unidos da Sinfonia Nº7 de Shostakovich. Em 1950 Toscanini conduziu a orquestra em uma extensa turnê transcontinental.
No dia 4 de abril de 1954, no Carnegie Hall, Toscanini sofreu de um lapso de memória, alegadamente causados por um ataque isquémico transitório. Depois disso, nunca mais realizou concertos em público - Toscanini tinha 87 anos quando se retirou. Após a sua retirada a Orquestra Sinfónica NBC foi reorganizada como a Orquestra Sinfónica do Ar, até que foi esta dissolvida em 1963.
Com a ajuda do seu filho Walter, Toscanini passou seus últimos anos editando gravações e transcrições de seus desempenhos com a Orquestra Sinfónica NBC.
Toscanini morreu com 89 anos de idade, devido a um acidente vascular cerebral, em sua casa, em Riverdale, na cidade de Nova Iorque, no dia 16 de janeiro de 1957. O seu corpo voltou para ser enterrado em Itália, no Cemitério Monumentale, em Milão. No seu testamento, ele deixou a sua batuta para a sua protegida, a soprano Herva Nelli. Toscanini foi postumamente premiado com o Grammy Lifetime Achievement Award em 1987.
Toscanini casou com Carla de Martini em 21 de junho de 1897, quando ela ainda não tinha completado vinte anos de idade. O seu primeiro filho, Walter, nasceu dia 19 de março de 1898. Uma filha, Wally, nasceu dia 6 de janeiro de 1900. Carla também deu à luz um menino, Giorgio, em setembro de 1901, mas ele acabou morrendo de difteria no dia 10 de junho de 1906 e, naquele mesmo ano, Carla deu à luz a sua segunda filha, Wanda.
Apesar das infidelidades de Toscanini, comprovadas por cartas, eles permaneceram casados até à sua morte, no dia 23 de junho de 1951.