Antes de entrar para o cinema, Weissmuller teve uma carreira excecional como desportista, tendo conquistado cinco medalhas de ouro nos Jogos Olímpicos de 1924 e 1928. Ele estabeleceu 67 recordes mundiais de natação e ganhou 52 campeonatos nacionais, sendo considerado um dos melhores nadadores de todos os tempos.
Em 1934 imortalizou no cinema o famoso personagem Tarzan. O cinema transformou Tarzan, já conhecido através dos romances de Edgar Rice Burroughs, num mito conhecido universalmente e Weissmuller fez doze filmes como o homem macaco, celebrizando o famoso e estilizado grito do personagem.
Depois de Tarzan, ele interpretou com sucesso o personagem Jim das Selvas na série do mesmo nome, feita para a Columbia entre 1948 e 1955. Foram dezasseis filmes ao todo, com duração média de setenta minutos cada. Em 1955, a série transferiu-se para a TV, tendo sido feitos vinte e seis episódios de meia hora cada. Já envelhecido e obeso, Weissmuller tentava dar vida a um personagem atlético e aventureiro, calcado na legendária figura de Tarzan. Esse final melancólico marcou sua despedida das câmaras, tendo retornado apenas em pequenos papéis em dois filmes na década de 70.
No final dos anos 50, Weissmuller mudou-se para Chicago, onde fundou uma empresa de piscinas. Seguiram-se outros empreendimentos, a maioria envolvendo a personagem Tarzan ou a natação, de uma forma ou de outra, mas sem grandes resultados. Aposentou-se em 1965 e no ano seguinte juntou-se aos ex-Tarzans Jock Mahoney e James Pierce para a campanha publicitária de lançamento da série de TV Tarzan, com Ron Ely. Em 1967 a sua imagem foi imortalizada na capa do LPSgt. Pepper's Lonely Hearts Club Band, dos Beatles.
Morreu, vítima de um edema pulmonar, em Acapulco, no México, onde vivia com a sexta esposa há sete anos, para recuperar de uma trombose.