Изучал архитектуру в Массачусетском технологическом институте (МТИ) и Гарвардском университете. После двух лет преподавательской работы в Гарвардской школе дизайна стал главным архитектором компании «Уэбб энд Кнапп».
Родился 26 апреля 1917 в Кантоне (Китай). В 1935 уехал в США; изучал архитектуру в Массачусетском технологическом институте (МТИ) и Гарвардском университете. После двух лет преподавательской работы в Гарвардской школе дизайна стал главным архитектором компании «Уэбб энд Кнапп». Его увлечение творчеством Л.Мис ван дер Роэ нашло отражение в проекте Майл-хай-центра в Денвере (1956); в других работах, выполненных для «Уэбб энд Кнапп», таких, как площадь Вилль-Мэри в Монреале и жилая застройка площади Кипс-Бей в Нью-Йорке, проявился его талант градостроителя.
В 1960 Пей начал работать самостоятельно. главные постройки, созданные им в этом десятилетии – Центр наук о Земле в МТИ, замысел которого возник еще в 1955, часовня св. Луки на Тайване и Национальный центр исследований атмосферы близ Боулдера (шт. Колорадо).
Среди наиболее известных работ Пея 1970-х годов – облицованный алюминием небоскреб на Пайн-стрит в Нью-Йорке; восточное крыло Национальной галереи искусства в Вашингтоне (треугольная в плане постройка из бетона, мрамора и стекла), Музей Эверсона в Сиракузах (шт. Нью-Йорк) и Библиотека Джона Кеннеди в Бостоне. Созданное им западное крыло Бостонского музея изящных искусств с эффектным застекленным цилиндрическим сводом было открыто в 1981, а Музей и Дворец славы рок-н-ролла на берегу озера Эри в Кливленде, с пирамидой из бетона, металла и стекла над холлом, – в 1995. Пей получал также заказы на строительство зданий во Франции, Австралии и азиатских странах. Самые горячие споры вызвала созданная им стеклянная пирамида в парадном дворе Лувра в Париже. В Гонконге Пей построил высотное здание Китайского банка, состоящее из ряда стеклянных призм.