Начало Великой Отечественной войны встретил командиром артиллерийского взвода 46-й стрелковой дивизии (16А, Западный фронт). В боях под Смоленском получил тяжёлое ранение. После выздоровления старший лейтенант Немчинов в составе 40-й армии оборонял Северный Кавказ, сражался на Курской дуге, форсировал Днепр, участвовал в ликвидации корсунь-шевченковской группировки врага, в Ясско-Кишенёвской операции. 899-й артиллерийский полк 337-й Лубнянской стрелковой дивизии под командованием майора Немчинова освобождал Будапешт.

Звание Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда" (№ 1190) капитану Немчинову Ивану Николаевичу присвоено 24 декабря 1943 года за успешное форсирование Днепра, захват и удержание Букринского плацдарма и проявленную при этом личную отвагу (дивизион под его командованием уничтожил: до 400 солдат и офицеров, 11 пулемётов, 7 миномётов, 4 артбатареи, 6 отдельных орудий, 8 наблюдательных пунктов, 14 автомашин, лично в ближнем бою уничтожил гранатой танк).

После войны продолжал службу в армии. В 1946 окончил Высшую офицерскую артиллерийскую школу. В 1957 году по хрущёвскому сокращению ВС Гвардии-полковник И.Н. Немчинов уволен из рядов Советской Армии. До получения полной пенсии за 20 лет службы недослужил несколько месяцев.

Жил в городе Львов. Скончался 28 октября 1979 года. Похоронен на Лычаковском кладбище в Львове.

Награждён орденами Ленина, Красного Знамени, Кутузова 3-й степени, Отечественной войны 1-й и 2-й степени, Красной Звезды, медалями.