Принадлежал к богатейшей семье Америки, имя которой стало нарицательным; внук нефтяного магната Джона Дэвисон Рокфеллера.
В начале 1930-х годов работал в банках Нью-Йорка, Парижа, Лондона. Тогда же он по просьбе отца, а позже и из-за увлечения архитектурой посвятил себя созданию «Рокфеллер-центра» в Нью-Йорке. В 1933 году он заказал роспись «Рокфеллер-Центра» популярному мексиканскому художнику левых взглядов Диего Ривере. Однако, после завершения росписи, попросил Риверу убрать с нее изображение советского лидера В. И. Ленина, фигура которого вызывала неоднозначную реакцию в США. Когда художник отказался это сделать, разгорелся скандал между ним и Рокфеллером. Выплатив Ривере гонорар, Рокфеллер уволил его и полностью уничтожил его работу. Фраза молодого Рокфеллера: «Это моя стена!» вошла в поговорку в США. Инцидент получил большую огласку в США и других странах. Он широко освещался в СМИ и вызвал бурные дискуссии. Эта история также обыграна в кинофильмах (в том числе в х/ф «Фрида » 2002 г.).
В политике с 1940-х, член Республиканской партии, при демократах Рузвельте и Трумэне участвовал в разных правительственных комиссиях, в 1951—1952 гг. председатель консультативного совета по вопросам международного развития. В республиканской администрации Эйзенхауэра был заместителем министра. В 1954—1955 гг. специальный помощник президента Эйзенхауэра по внешнеполитическим вопросам.
С 1959 по 1973 губернатор штата Нью-Йорк, имел репутацию либерала и лидера умеренного крыла республиканцев. Начиная с 1960 пытался получить у Республиканской партии выдвижение своей кандидатуры на президентство, но четыре раза подряд неудачно (1960; 1964; 1968; 1972).
После отставки Ричарда Никсона в 1974 президентом стал второй вице-президент Джеральд Форд. Форд был вице-президентом, поскольку избранный на эту должность Спиро Агнью был вынужден уйти в отставку еще раньше, чем сам Никсон. В соответствии с 25-й поправкой к Конституции США пост вице-президента, на котором открылась вакансия, должен был быть замещён Конгрессом по представлению президента. Форд остановил свой выбор на Рокфеллере, который был на протяжении долгого времени эффективным губернатором крупнейшего штата. Конгрессмены обеих палат интересовались больше не политическими способностями кандидата, которые были несомненны, а тем, не повлияет ли на его деятельность причастность к финансовой элите и огромное личное богатство. После долгих дебатов Палата представителей и Сенат утвердили Рокфеллера вице-президентом 19 декабря 1974. Он стал вторым и пока последним вице-президентом, вступишим в должность в соответствии с 25-й поправкой, после самого Форда.
Рокфеллер обставил и богато украсил, на свои средства, вице-президентскую резиденцию в Вашингтоне, хотя фактически не жил там, имея уже в Вашингтоне дом. Уходя с поста, он оставил всю обстановку в резиденции в собственности государства, и ею пользуются все последующие вице-президенты. Во время одной из публичных речей в 1976 собравшиеся хиппи стали высмеивать Рокфеллера, тогда он, рассердившись, показал им средний палец, что было запечатлено на фото, получившем большую известность.
Уже 3 ноября 1975 г. Рокфеллер известил Форда, что рассматривает своё вице-президентство как временное и не собирается баллотироваться в паре с ним в 1976. На этих выборах кандидатом в вице-президенты при Форде был известный республиканец Боб Доул, впоследствии неудачно боровшийся за президентство в 1996; впрочем, тандем Форд-Доул проиграл тендему демократов Картер-Мондейл.
Являлся постоянным членом Бильдербергского клуба.
Создатель Музея примитивного искусства в Нью-Йорке.
Нельсон Рокфеллер умер в Нью-Йорке через 2 года после ухода с должности, 26 января 1979, от сердечного приступа во время полового сношения, как официально указано в его свидетельстве о смерти. Любовницей 70-летнего политика была некая Меган Маршак, о которой мало что известно.
Его сын Майкл Рокфеллер — этнограф и антрополог, трагически погиб в 1961 году в Новой Гвинее во время научной экспедиции.