Após a evacuação, em 1941, durante a Grande Guerra Patriótica (Segunda Guerra Mundial), ele se formou em Asgabate, hoje no Turcomenistão. Em seguida, ele foi designado o trabalho de laboratório em Ulyanovsk. Durante este período, em 1943, casou-se com Klavdia Alekseyevna Vikhireva, de quem teve duas filhas e um filho antes de esta morrer, em 1969. Ele regressou a Moscovo em 1945 para estudar no Departamento teórico da FIAN (Instituto de Física da Academia Soviética de Ciências), onde fez o seu Doutoramento em 1947.
Estudou os raios cósmicos. Desempenhou com Igor Kurchatov um papel de primeiro plano na preparação da primeira bomba de hidrogénio, que foi desenvolvida na União Soviética e cujos primeiros ensaios se realizaram em 1953. Este feito valeu-lhe a entrada na Academia das Ciências da União Soviética no mesmo ano; todavia, não tardou a pedir a limitação dos armamentos nucleares. Sakharov propôs a ideia de gravidade induzida como teoria alternativa à da gravitação quântica.
Em 1965 reclamou a efetiva desestalinização do país e do partido; a sua obra, "A Liberdade Intelectual na URSS e a Coexistência Pacífica", publicada no exterior em 1967, deu-lhe um lugar destacado na oposição ao regime. Tal como Aleksandr Solzhenitsyn, a quem apoiou sem esconder o seu desacordo com o romantismo místico do escritor, denunciou os Gulags, os internamentos arbitrários e outras violações da Constituição Soviética e dos Direitos Humanos.
Casou com a ativista dos direitos humanos Yelena Bonner em 1972.
Galardoado com o Nobel da Paz em 1975, não foi autorizado a ir receber a sua distinção em Oslo. Com residência fixa a partir de 1980, só conseguiu a liberdade de movimentos após a chegada ao poder de Mikhail Gorbachev e a implementação da perestroika e da glasnost, apesar da pressão da opinião pública internacional e de uma greve de fome em 1984. Na sequência da revisão constitucional de 1989 o académico foi candidato ao Congresso, obteve a investidura na Academia das Ciências, malgrado uma forte obstrução processual, e chegou a deputado. Morreu a 14 de dezembro de 1989, de enfarte do miocárdio. Encontra-se sepultado no Cemitério Vostryakovskoe, em Moscovo, na Rússia.
Em sua memória a União Europeia instituiu o Prémio Sakharov para destacar pessoas que lutam pela defesa dos direitos humanos e liberdade de expressão. Este prémio é atribuído desde 1988.