След края на мандата си преживя две операции, от които не се възстанови напълно. Рау беше един от най-популярните политици в Германия. Въпреки това, кампанията му да отстрани от власт Хелмут Кол през 1986 година не се увенча с успех. Йоханес Рау ще бъде запомнен с усилията си да направи германците по-толерантни и да подобри отношенията с Израел. Той поднесе историческо извинение на израелците за престъпленията на нацистите.
