Gordon era considerado um virtuoso, particularmente pelos seus duetos de saxofone com Wardell Gray, com o qual gravou vários álbuns entre 1947 e 1952.
Fez diversas aparições em filmes durante a vida, dentre elas, a do filme The Connection, de 1960, do qual também compôs a banda sonora. Depois disto, passou 15 anos residindo na Europa, principalmente em Paris e Copenhaga. Neste período, retornou algumas vezes aos Estados Unidos para gravar. Os sete álbuns que lançou pela gravadora Blue Note Records neste período (Doin' Allright, Dexter Calling…, Go, A Swingin' Affair, Our Man in Paris, One Flight Up, e Gettin' Around) são considerados seus melhores trabalhos.
Em 1976 retornou aos EUA, apresentando-se no clube de jazz Village Vanguard, com grande sucesso. Depois disto, lançou vários álbuns pela Columbia Records.
Em 1986, no filme Round Midnight fez o papel de um músico de jazz, pelo qual recebeu uma indicação para o Óscar de Melhor Ator.
