Com ascendentes
polacos,
escoceses e
canadianos, John Anthony Gillis, filho de Teresa e Gorman Gillis, era o mais novo de dez filhos (seis irmãos e três irmãs) vivendo num bairro de classe média-baixa em Detroit, Michigan, numa família
católica. O pai e a mãe dele trabalhavam na
Arquidiocese de Detroit, como superintendente de manutenção do prédio e secretária no escritório do Cardeal, respectivamente. White eventualmente se tornou menino de coro, o que acabou dando-lhe um papel no filme de 1987, O Mistério do Rosário Negro (The Rosary Murders), principalmente filmado na paróquia Holy Redeemer, no sudoeste de Detroit. Enquando criança, White, era fã de música clássica. Ele frequentou a
Cass Technical High School em
Detroit.
Ele começou a tocar um instrumento, bateria, aos seis anos. Quando adolescente, White já escutava
blues e rock dos anos 60 que iriam influencia-lo bastante nos
The White Stripes, sendo
Son House e
Blind Willie McTell os seus músicos favoritos de blues. Ele e seu amigo de infância, Dominic Suchyta, escutavam álbuns no sótão de White nos fins de semana e começaram a gravar
covers em um
gravador de rolo. White era descrito, nesse tempo, sendo "um rapaz com cabelo curto e suspensórios". Ele já mencionou em várias entrevistas que a música "Grinnin' In Your Face", de Son House, é sua música favorita de todos os tempos.
Em 2005, no programa
60 Minutes, White disse para
Mike Wallace que sua vida poderia ter sido diferente. "Eu seria aceite num seminário em
Wisconsin, e eu iria tornar-me padre, mas no último segundo eu pensei, 'eu vou para uma escola pública.' Eu tinha acabado de comprar um novo amplificador e eu não sabia se eu podia leva-lo para o seminário." Aos 15 anos, White começou um programa de aprendizagem de estufagem com um amigo da família, Brian Muldoon. White credita Muldoon, expondo-o ao
punk rock, tocando com Muldoon como uma banda: "Muldoon tocava bateria, então eu tinha que tocar guitarra." Eles gravaram um álbum,
Makers of High Grade Suites, como The Upholsterers. White começou um negócio sozinho,
Third Man Upholstery. O slogan do seu negócio era "Sua mobília não está morta" e a mistura de cores era amarelo e preto - incluindo uma carrinha amarela, um uniforme amarelo e preto e uma prancheta amarela. Embora à
Third Man Upholstery nunca faltasse trabalho, White disse que era não lucrativo, por causa da sua complacência sobre dinheiro e as suas práticas, que eram consideradas pouco profissionais, inclusive fazer as contas com lápis e escrever poesia no interior do mobiliário. Não muito depois, White teve o seu primeiro show profissional, como baterista da banda de Detroit
Goober & The Peas. Ele também tocou em outras bandas locais e fez shows sozinho.