Наиболее известен своим единственным законченным романом «Невидимка» (1952), который принёс ему Национальную книжную премию в 1953 году.
Родился в Оклахома-Сити, штат Оклахома, в семье прораба Льюиса Альфреда Эллисона и Иды Миллсэп. У Ральфа был младший брат Герберт, родившийся в 1916 году. Отец Ральфа умер, когда тому было три года.
В 1933 году Эллисон поступил в университет Таскиги в Алабаме, где обучался музыке. В это время он всерьёз увлёкся модернистской литературой. После трёх лет в университете Эллисон, которому не хватало денег на окончание обучения, отправился в Нью-Йорк. Там он познакомился с художником Ромаре Бирденом и писателем Ричардом Райтом. Последний посоветовал Эллисону попробовать свои силы на писательском поприще, и вскоре был опубликован его первый рассказ Hymie’s Bull, основанный на личном опыте Эллисона. В 1937—1944 годах Эллисон регулярно публикует рассказы и критические обзоры в нью-йоркских журналах.
В 1946 году он женился во второй раз. Его супругой стала фотограф Фэнни Макконнелл. В конце 1940-х Эллисон зарабатывал критикой и работал над романом «Невидимка». Эта работа, посвящённая поиску идентичности и места в обществе, стала самым значитель
ным произведением Эллисона. Роман, написанный от лица безымянного афроамериканца, живущего в Нью-Йорке сороковых, и затрагивающий табуированные темы, имел большой успех и принёс автору престижную Национальную книжную премию.
1955—1958 годы Эллисон провёл в Европе, некоторое время жил в Риме. Затем он вернулся в Соединённые штаты для того, чтоб занять место преподавателя американской и русской литературы в колледже Бард. С 1964 он работал в Рутгерском и Йельском университетах. В том же 1964 году вышел сборник эссе Shadow And Act, и все эти годы Эллисон продолжал работать надо романом Juneteeth, который так и не закончил. По его собственным словам, значительная часть рукописи была уничтожена во время пожара, который произошёл в доме писателя в Плэйнфилде, штат Массачусетс, в 1967 году. Биограф Эллисона Арнольд Рэмперсад подвергает сомнению правдивость этого оправдания.
Дальнейшая деятельность Эллисона связана с преподаванием и эссеистикой. В 1985 году был издан сборник из семнадцати эссе Going to the Territory, включавший исследование творчества знаменитого п
исателя-южанина Уильяма Фолкнера, крупного афроамериканского автора и друга Эллисона Ричарда Райта и размышления о вкладе афроамериканцев в культуру США. В 1970 году Эллисон был награждён французским Орденом искусств и литературы и был назначен постоянным членом преподавательского состава Нью-Йоркского университета; в 1975 вошёл в Американскую академию искусств и литературы.
Эллисон скончался 16 апреля 1994 года в возрасте восьмидесяти лет от рака поджелудочной железы. Он был похоронен в районе Нью-Йорка Вашингтон-Хейтс. Жена писателя Фэнни Эллисон пережила его. Она умерла 19 ноября 2005 года.
После смерти Эллисона были обнаружены его неопубликованные рукописи. В 1996 году вышла книга Flying Home: And Other Stories, в 1999, через пять лет после смерти писателя, под редакцией профессора Джона Ф. Каллахана был издан его неоконченный роман Juneteeth в 368 страницах. Полностью материалы рукописей Juneteeth были опубликованы издательством «Modern Library» под названием Three Days Before the Shooting в начале 2010 года — они занимают около 900 страниц.