Йоханнес Pay родился 16 января 1931 г. в Вуппертале-Бармене в семье евангелического священника и проповедника. Он покинул школу еще до получения аттестата зрелости. Приобрел профессию торговца книгами, закончив Школу книготорговцев в Кельне.
В 1952 г. сдал экзамен на звание подмастерья. В том же году вступил в Общегерманскую народную партию, основанную будущим федеральным президентом Густавом Хайнеманом. В 1957 г. Pay вслед за Хайнеманом переходит в СДПГ.
В 1958 г. он впервые избирается в ландтаг (земельный парламент) Северного Рейна-Вестфалии. С 1968 г. Pay — член правления СДПГ. В 1969/70 гг. он занимает пост обербургомистра Вупперталя.
В 1970 г. Pay назначается министром науки земли Суеверный Рейн-Вестфалия. В 1978 г. он становится премьер-министром Северного Рейна - Вестфалии и членом президиума СДПГ. С 1982 г. Pay является заместителем председателя СДПГ.
В 1987 г. в ходе выборов в Бундестаг он выставляет свою кандидатуру на пост федерального канцлера, но победу одерживает Гельмут Коль. В 1994 г. Pay выставляет свою кандидатуру на пост федерального президента и также проигрывает.
В 1998 г. он уходит в отставку с поста премьер-министра Северного Рейна-Вестфалии и председателя земельной организации СДПГ. Является заместителем председателя правления Фонда им. Фридриха Эберта.
Избран федеральным президентом Германии 23 мая 1999 г. Pay набрал больше голосов, чем его беспартийная соперница Дагмар Шипански, выдвинутая кандидатом на пост федерального президента от ХДС/ХСС. Таким образом Йоханнес Pay стал преемником Романа Херцога, занимающего высший государственный пост с 1994 г.
С 1982 г. Pay женат на Кристине Делиус, внучке бывшего федерального президента Густава Хайнемана. У них трое детей. Pay — большой любитель литературы искусства и считается блестящим игроком в скат.