No começo da Segunda Grande Guerra, Guderian liderou um corpo de blindados na invasão da Polónia, em 1939. No ano seguinte, durante a invasão da França, ele comandou as unidades blindadas que atacaram os franceses pela floresta das Ardenas e sobrepujaram as forças Aliadas na Batalha de Sedan. Ele liderou o 2º Exército Panzer durante a Operação Barbarossa, a invasão alemã da União Soviética. A operação terminou em fracasso na Batalha de Moscovo e Guderian foi dispensado do serviço ativo.
No começo de 1943, Adolf Hitler apontou Guderian para a nova posição de Inspetor-Geral de Tropas Motorizadas. Neste papel, ele tinha a responsabilidade de reconstruir e treinar novas Divisões Panzer mas teve pouco sucesso devido ao declínio e deterioração da economia de guerra alemã. Em 1944, Guderian foi apontado então como Chefe Interino do Estado-Maior do Alto Comando do Exército, imediatamente após o atentado de 20 de julho contra Hitler. Ele negou envolvimento com movimentos antinazis dentro do exército, embora houvesse evidências circunstanciais de que ele de facto os apoiasse. Contudo, Guderian foi um nazi fervoroso, tendo afirmado, no fim da guerra, que os princípios básicos da teoria nazi tinham sido "ótimos".
Em 1944, Guderian foi colocado no comando da "Corte de Honra" de Hitler, que, após a tentativa de assassinato de Hitler, foi usada para demitir oficiais das forças armadas para que pudessem ser julgados no "Tribunal do Povo" e executados. Segundo vários historiadores, ele teria tido conhecimento da conjura contra Hitler, e convidado a integrá-la, recusou, seguindo o método de "esperar para ver". Ele passou então a ser o conselheiro pessoal de Hitler para a Frente Oriental e ficou, à vista popular, extremamente associado ao regime nazi. As tropas de Guderian executaram com cruel precisão a chamada "Ordem dos Comissários" durante a Operação Barbarossa, e ele foi implicado na comissão de represálias após a Revolta de Varsóvia de 1944.
Heinz Guderian rendeu-se às forças dos Estados Unidos, em 10 de maio de 1945, e permaneceu sob custódia até 1948. Ele foi solto sem ser indiciado por qualquer crime e aposentou-se do serviço ativo e começou a escrever as suas memórias. Intitulada Erinnerungen eines Soldaten (traduzido literalmente como "Memórias de um Soldado", mas em inglês foi lançado como Panzer Leader, ou "Líder de Tanque"), sua autobiografia tornou-se um bestseller, que é um sucesso de vendas até os dias atuais. Os livros de Guderian perpetuaram vários mitos do pós-guerra, incluindo o da teoria da "Wehrmacht limpa". No seu livro, Guderian apresenta-se como o único originador das doutrinas de blindados das forças panzer alemãs, enquanto omite qualquer menção da sua relação com Hitler e o regime nazi, ou de seu envolvimento com crimes de guerra. Guderian faleceu em 1954 e foi enterrado na cidade de Goslar.