A sua família era originária da Mongólia. O pai era o conde Fyodor Vasilyevich Rostopchin era comandante-geral e, em seguida, Ministro das Relações Exteriores da Rússia. Em 1812 era prefeito de Moscovo durante a invasão do exército francês sob o comando de Napoleão Bonaparte. Enquanto os historiadores discutem a autoria da ideia de atear fogo à cidade, ao seu pai é atribuída a ideia de deixar a cidade arrasada para evitar a sua conquista, apesar da oposição dos ricos proprietários. O incêndio e a "terra arrasada" - estratégias de defesa que minaram o exército invasor, forçaram Napoleão a uma retirada desastrosa.
Em 1814 a família Rostopchine foi forçada a partir para o exílio, primeiro dirigindo-se ao ducado de Varsóvia, depois à Confederação Alemã e península italiana e, finalmente, em 1817, para a França, durante a restauração dos Bourbon. Ali o seu pai estabeleceu um salão, e tanto a sua esposa como a filha se converteram ao catolicismo.
Foi no salão paterno que Sophie conheceu o conde Eugène Ségur, com quem se casou a 14 de julho de 1819. Foi um matrimónio em grande parte infeliz: o seu marido estava muitas vezes longe de casa, era descuidado, além de pobre (até ter se tornado um dos Pares de França, em 1830), e as suas visitas ao castelo onde morava a esposa, em Nouettes (próximo de L'Aigle, no Orne), eram bastante inconstantes. A despeito disso, renderam-lhe oito filhos - a ponto de o conde referir-se à esposa como "la mère Gigogne" (ou: "a mãe Matrioska"), numa referência às bonecas de madeira típicas da Rússia, onde uma figura esconde outra em seu interior, e assim sucessivamente. Um dos seu filhos foi o bispo Monsenhor de Ségur.
A Condessa de Ségur escreveu o seu primeiro conto com a idade de 58 anos.