Иван Румянцев родился 23 октября 1922 года в деревне Василево (ныне — Торжокский район Тверской области). После окончания неполной средней школы работал в колхозе. В октябре 1941 года Румянцев был призван на службу в Рабоче-крестьянскую Красную Армию. С августа 1942 года — на фронтах Великой Отечественной войны.
К сентябрю 1943 года гвардии младший сержант Иван Румянцев был наводчиком миномёта 104-го гвардейского стрелкового полка 36-й гвардейской стрелковой дивизии 57-й армии Степного фронта. Отличился во время битвы за Днепр. В ночь с 25 на 26 сентября 1943 года расчёт Румянцева одним из первых переправился через Днепр в районе села Сошиновка Верхнеднепровского района Днепропетровской области Украинской ССР и принял активное участие в боях за захват и удержание плацдарма на его западном берегу, отразив многочисленные вражеские контратаки. 28 сентября 1943 года, когда у расчёта кончились снаряды, Румянцев лично отправился за ними на другой берег и доставил их своим товарищам.
Был также награждён орденом Красной Звезды и рядом медалей.
Указом Президиума Верховного Совета СССР от 20 декабря 1943 года гвардии младший сержант Иван Румянцев был удостоен высокого звания Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда».