В 30-х годах XX века Джон активно занимался политикой и актерским ремеслом. На Бродвее Рэндольф дебютировал в 1938-м, в постановке 'Кориолан' ('Coriolanus'). Во время Второй мировой войны Джон вступил в ряды Военно-Воздушных Сил США.
Рэндольф – настоящее имя Эммануэль Хирш Коэн – родился в Нью-Йорке, в семье еврейских иммигрантов Дороти Коэн (Шоур), агента по страхованию и Луиса Коэна, производителя головных уборов. Отчимом Эммануэля был некто Джозеф Липпман; какое-то время Рэндольф был известен под именем 'Мортимер Липпман'. В 30-х годах XX века Джон активно занимался политикой и актерским ремеслом. На Бродвее Рэндольф дебютировал в 1938-м, в постановке 'Кориолан' ('Coriolanus'). Во время Второй мировой войны Джон вступил в ряды Военно-Воздушных Сил США.
В 1955-м у актера начались серьезные проблемы с государством; руководство всех крупных студий внесло его в свой 'черный список' после того, как он отказался отвечать на вопросы комитета по расследованию антиамериканской деятельности, ссылаясь на пятую поправку. В 1988-м актер стал президентом Национального Совета по Американско-Советской Дружбе, пришедшего на смену организованному в 1941-м Национальному Совету по Отношениям с Советами. Этот совет, в свою очередь, вырос из открыто-радикального движения за американско-советскую дружбу, организованного еще в 30-х; оно же стало естественным развитием созданной в 1929-м организации 'Друзья Советского Союза'. Совет состоял по большей части из представителей различных профессий, относившихся с симпатией к деятельности Советского Союза и считавших, что Америка и СССР должны объединится в борьбе против фашистов. В 1946-м комитет по расследованию антиамериканской деятельности начал анализировать деятельность организации. Во время этого расследования Совет продолжал активную деятельность, выпуская различные памфлеты и документы о жизни в Советском Союзе и текущем состоянии отношений двух
государств.
Рэндольф был последним актером из 'черного списка', сумевшим вновь начать работать в Голливуде; повезло ему в 1966-м, когда режиссер Джон Франкнхаймер пригласил его на главную роль в картине 'Seconds'. После этого Джону удалось попасть в нью-йоркские постановки 'Звуки музыки' ('The Sound of Music'), 'Paint Your Wagon' и 'The Visit'. В 1975-м Рэндольф получил роль генерала Филиппа Блэнкеншипа в 'The New Original Wonder Woman'.
В 1987-м актер выиграл премию 'Тони' за свою роль в пьесе Нила Саймона 'Broadway Bound'.
В последний раз Рэндольф появился на Бродвее в 1991-м, в постановке 'Прелюдия к поцелую' ('Prelude to a Kiss').
Большое количество ролей в кино и на телевидении сделало актера настоящей знаменитостью; его часто останавливали на улицах прохожие. Джону даже довелось сыграть роль отца главной героини в популярном сериале 'Розанна' ('Roseanne'); впрочем, он довольно быстро покинул сериал. На протяжении первых двух сезонов он играл немаловажную роль в сюжете; в дальнейшем он лишь упоминался, а потом стало известно о его похождениях на стороне и персонажа вывели из шоу полностью.
Не менее удалась Джону роль в культовом комедийном сериале 'Сайнфелд' ('Seinfeld'); впрочем, позднее его заменил Джерри Стиллер. В 1995-м сцены с Рэндольфом были пересняты – все с тем же Стиллером; впрочем, оригинальную версию все еще можно встретить за пределами США и на DVD.
В период с 1942-го по 1986-й Джон состоял в браке с американской актрисой Сарой Каммингс; разорвала столь продолжительный и счастливый брак смерть Сары.
24-го февраля 2004-го Рэндольф скончался от естественных причин; на момент смерти ему было 88 лет. Тело актера было кремировано.