Após a evacuação, em 1941, durante a Segunda Guerra Mundial, ele formou-se em Asgabate, hoje no Turcomenistão. Em seguida, ele foi designado para trabalho de laboratório em Ulyanovsk. Durante este período, em 1943, casou-se com Klavdia Alekseyevna Vikhireva, de quem ele teve duas filhas e um filho antes de esta morrer, em 1969.Regressou a Moscovo em 1945 para estudar no Departamento teórico da FIAN (Instituto de Física da Academia Soviética de Ciências), onde concluiu o seu doutoramento em 1947.
Estudou os raios cósmicos e desempenhou, com Igor Kurchatov, um papel de primeiro plano na preparação da primeira bomba de hidrogénio, que foi desenvolvida na União Soviética e cujos primeiros ensaios se realizaram em 1953. Este feito valeu-lhe a entrada na Academia das Ciências da União Soviética no mesmo ano; todavia, não tardou a pedir a limitação dos armamentos nucleares. Sakharov propôs a ideia de gravidade induzida como teoria alternativa à da gravitação quântica.
Em 1965 reclamou a desestalinização efetiva do país e do partido; a sua obra "A Liberdade Intelectual na URSS e a Coexistência Pacífica", publicada no exterior em 1967, deu-lhe um lugar destacado na oposição ao regime. Tal como Aleksandr Solzhenitsyn, a quem apoiou, sem esconder o seu desacordo com o romantismo místico do escritor, denunciou os gulags, os internamentos arbitrários e outras violações da Constituição Soviética e dos Direitos Humanos.
Casou com a ativista dos direitos humanos Yelena Bonner em 1972.
Galardoado com o Nobel da Paz em 1975, não foi autorizado a ir receber a sua distinção em Oslo. Com residência fixa a partir de 1980, só conseguiu a liberdade de movimentos após a chegada ao poder de Mikhail Gorbachev e a implementação da perestroika e da glasnost, apesar da pressão da opinião pública internacional e de uma greve de fome em 1984. Na sequência da revisão constitucional de 1989 o académico foi candidato ao Congresso, obteve a investidura da Academia das Ciências, mau grado uma forte obstrução processual, e chegou a deputado. Morreu a 14 de dezembro de 1989, de enfarte do miocárdio, sendo sepultado no Cemitério Vostryakovskoe, Moscovo, na Rússia.
Em sua memória a União Europeia instituiu o Prémio Sakharov, para destacar pessoas que lutam pela defesa dos direitos humanos e liberdade de expressão. Este prémio é atribuído desde 1988.