Educado no meio do bairro, cedo tomou contato com a música, aprendendo violino e piano. Aos 14 anos compôs canções que atingiram grande popularidade. Aos 17 anos iniciou a crítica musical no "Diário Ilustrado". Estudou também órgão.
Em 1910 viajou até Berlim para estudar composição, música antiga e metodologia da história da música. Em Maio de 1911 foi para Paris, onde conheceu Claude Debussy e a estética do Impressionismo. Em 1915 participou nas Conferências da Liga Naval sobre a "Questão Ibérica", promovidas pelo Integralismo Lusitano. Em 1916, foi nomeado professor no Conservatório de Lisboa, de que foi subdirector entre 1919 e 1924; foi professor de, entre outros, Joly Braga Santos e Maria Campina. Também se encontra colaboração da sua autoria nas revistas A Arte Musical (1898-1915), Música (1924-1925), nomeadamente o artigo "Guitarras Portuguesas" publicado no nº 2, de 1 de Setembro de 1924, e nos Anais das bibliotecas, arquivo e museus municipais (1931-1936).
Desenvolveu actividade em diversos domínios da vida cultural.
Manteve estreitas relações com diversas figuras, como Alberto Monsaraz, António Sardinha, Hipólito Raposo, Bento de Jesus Caraça e António Sérgio.
A 5 de outubro de 1930 foi feito Oficial da Ordem Militar de Sant'Iago da Espada.
A partir de 1940 foi acusado de "irreverente" por se comportar de maneira "imprópria" nas aulas e por factos da vida familiar, sendo constituído arguido num processo do qual resultaria a sua suspensão como docente no Conservatório. Realizou então palestras na Emissora Nacional e manteve tertúlias com um grupo de discípulos.
Foi demitido da Emissora Nacional em 4 maio de 1951 acusado de ter usado uma gravata vermelha no dia seguinte à morte do presidente Óscar Carmona, mas segundo o testemunho de Nuno Barreiros e Maria Helena de Freitas a gravata que usara não era vermelha, mas sim de xadrez com um padrão em que o vermelho não era a cor preponderante.
Está sepultado no cemitério dos Prazeres em Lisboa.
Era irmão do maestro português Pedro de Freitas Branco.
Desposou Estela Diniz de Ávila e Sousa, não tendo havido descendentes deste casamento.
Teve um filho de Maria Clara Dambert Filgueiras, de ascendência franco-belga: João de Freitas Branco.