Em 1861 conhece Mily Balakirev e, com ele os outros membros do Grupo dos Cinco, retoma os estudos musicais. Ainda na Marinha, parcialmente durante uma viagem de circum-navegação, escreveu sua Sinfonia N.º 1 (1861-65), que foi muito bem recebida. Antes de deixar seu posto em 1873, compôs a primeira versão da peça orquestral Sadko (1867) e a ópera A donzela de Pskov (1872).
Em 1871 é nomeado professor de composição e orquestração do Conservatório de São Petersburgo. Entre seus alunos figuram nomes como Glazunov, Liadov, Prokofiev, Respighi e Stravinsky. No ano seguinte, casa-se com Nadezhda Nikolayevna Purgol'd (1848-1919), pianista e compositora. Durante os anos seguintes, estuda assiduamente instrumentação, harmonia e contraponto.
É nomeado professor de bandas da armada. Entre 1874 e 1881 é diretor de concertos do Conservatório Livre e regente de concertos fundados por Mitrofan Belyayev. Entre 1883 e 1894 trabalha com Balakirev na Capela da Corte, onde estuda a música da Igreja Ortodoxa Russa. Nesse tempo também se dedica a natação que apreciava treinar no verão dos mares siberianos.
Apresentou-se como maestro por toda a Europa, inclusive em Paris, durante a Exposição Universal de 1899. Em 1905 é demitido de suas funções pedagógicas após publicar uma carta de protesto em que critica as autoridades que administravam o Conservatório. Este ato gera uma série de demissões imediatas, como as de Liadov e Glazunov. Com o escândalo, a instituição é completamente reorganizada sob o comando de Glazunov, que foi readmitido para comandar o novo Conservatório de São Petersburgo. Nos anos seguintes Rimsky-Korsakov causa nova polémica com a publicação da ópera O galo de ouro (1906-07), em que critica a monarquia russa de tal forma que só pôde ser apresentada em 1909, após sua morte. Relacionado a isso, Korsakov também era famoso por seus hábitos excêntricos, como jogar futebol no auge do inverno russo nos lagos congelados de São Petersburgo.
Teve sete filhos com sua esposa: Mikhail (1873), Sofia (1875), Andrey (1878-1940), Vladimir (1882), Nadezhda (1884), Margarita (1888-1893) e Slavchik (1889-1890). Nadezhda casou-se com o compositor Maximilian Steinberg em 1908. Andrey Rimsky-Korsakov foi musicologista, tendo inclusive escrito vários estudos sobre a vida e obra de seu pai, e um capítulo sobre sua mãe. Um sobrinho, Georgy Mikhaylovich Rimsky-Korsakov (1901-65), também foi compositor.
Não obstante, a fama de Rimsky-Korsakov no Ocidente foi conquistada com suas composições orquestrais, principalmente o Capricho Espanhol, a abertura A grande Páscoa russa e a suite sinfónica Scheherazade.
Suas outras composições incluem dezenas de canções, arranjos de músicas folclóricas, música de câmara e piano e obras corais.