A letra da canção fala de uma história verídica: em
4 de dezembro de
1971, os Deep Purple chegou a
Montreux, na
Suíça, para gravar um álbum utilizando um estúdio de gravação móvel (alugado aos
Rolling Stones, e conhecido como
Rolling Stones Mobile Studio, chamado de
"Rolling truck Stones thing" e
"the mobile" na letra da música) no complexo de entretenimento que fazia parte do
Casino de Montreux (chamado de
"the gambling house", "casa de apostas", na letra). Na véspera da sessão de gravação um show de
Frank Zappa e
The Mothers of Invention foi realizado no teatro do casino e, durante o show, começou um
incêndio; no meio do
solo de
sintetizador de "King Kong", alguém na plateia disparou um
sinalizador (
flare gun) no teto, incendiando-o (o que é mencionado no verso
"some stupid with a flare gun", "um idiota com um sinalizador"). O incêndio destruiu todo o complexo do casino, juntamente com todo o equipamento do Mothers. A "fumaça na água" que se tornou o título da canção (creditado ao baixista
Roger Glover) referia-se ao
fumo vindo do fogo, que se espalhou pelo
lago de Genebra (também conhecido como lago Léman) a partir do casino em chamas, enquanto os membros da banda o assistiam de seu hotel, do outro lado do lago. O
"Funky Claude" que, segundo a letra, "entrava e saía correndo" (
running in and out) é
Claude Nobs, diretor do
Festival de Jazz de Montreux, que ajudou parte da plateia a fugir das chamas.
Vendo-se com uma unidade móvel de gravação caríssima, porém sem lugar para usá-la, a banda foi obrigada a percorrer a cidade, em busca de um lugar onde se instalar. Um local promissor, encontrado por Nobs, era um teatro local chamado
The Pavillion - porém, assim que a banda descarregou e começou a trabalhar, os vizinhos foram incomodados com o barulho e a banda pode apenas gravar as faixas de fundo para uma canção (baseada no célebre
riff de
Ritchie Blackmore, e chamada temporariamente de
Title n.º1, "Título n.º 1"), antes que a polícia local interrompesse a sessão.
Após uma semana de procura, a banda finalmente alugou o Grand Hotel de Montreux, praticamente vazio, e converteu alguns de seus corredores e escadas num improvisado
estúdio de gravação, onde gravaram a maior parte das faixas daquele que viria a ser o seu álbum mais bem-sucedido comercialmente,
Machine Head, incluindo a maior parte da própria "Smoke on the Water" (embora a letra tenha sido composta posteriormente).
