Narodil se v městě Komsomolsk na Amuru, které v té době teprve vznikalo a s jehož výstavbou pomáhal jeho otec. Poté, co opustil brány základní školy, jeho další studium probíhalo na strojní průmyslové škole v Kalingradu Tu ukončil roku 1958 a stal se technologem se zaměřením na zpracování kovů za studena.
Stejného roku byl povolán na základní vojenskou službu a následující tři roky působil převážně v Ázerbájdžánu jako velitel tanku.
Od roku 1961 pokračoval ve studiu na Moskevském institutu lesnictví, konkrétně na jeho fakultě elektroniky a výpočetní techniky. Zde se jeho specializací staly řídicí systémy kosmických lodí. Svá studia úspěšně ukončil roku 1966 a ještě téhož roku nastoupil do konstrukční kanceláře OKB-1 (nyní RKK Eněrgija). Náplní jeho práce byl nejprve vývoj, projektování, příprava a testování orbitálních stanic. Roku 1973 však přešel do oddílu kosmonautů a začal se připravovat na kosmické lety.
Poprvé se do kosmu vydal 9. října 1977 na palubě lodi Sojuz 25. Ta se měla spojit s orbitální stanicí Saljut 6, ale to se nepodařilo. Jako pravděpodobná příčina neúspěchu byla určena závada na stykovacím zařízení lodi.
O rok a půl později, v únoru 1979, se Rjumin vydal do kosmu podruhé, spolu s Vladimírem Ljachovem lodí Sojuz 32. I v tomto případě byla jeho cílem orbitální stanice Saljut 6, ale tentokrát bylo spojení úspěšné. Oba kosmonauti uskutečnili řadu experimentů a na orbitě strávili rekordní čas. Zpět na Zemi se vrátili lodí Sojuz 34 až 19. srpna, po 175 dnech strávených ve vesmíru.
V dubnu 1980 odstartoval Rjumin do kosmu potřetí. Loď, jež jej vynesla na oběžnou dráhu, se jmenovala Sojuz 35 a opět se jednalo o let k Saljutu 6. Tentokrát v kosmickém prostoru pobýval déle než půl roku a ustanovil tak nový rekord. Ke zpátečnímu letu použil Sojuz 37, se kterým přistál 11. října 1980.
Poté se do kosmu nevydal dlouhých osmnáct let. Poslední vesmírný let uskutečnil na palubě raketoplánu Discovery v červnu 1998. Mise nesla označení STS-91 a jejím hlavním úkolem bylo poslední, deváté, spojení s ruskou orbitální stanicí Mir. Na palubě byl mimo jiné Alfa magnetický spektrometr, jehož pomocí se zkoumala temná hmota a antihmota.
Rjuminova manželka je Jelena Vladimírovna Kondakovová, jež je také bývalá kosmonautka a mají spolu tři děti – dvě dcery a syna.
