И. А. Зеленский родился (22 июня (10 июня) 1890 1890 года в Саратове в еврейской семье. Его отец был портным. Зеленский окончил начальное училище в Саратове, после окончания которого работал в шапочной мастерской, затем конторщиком, после в типографии.
1906 году И. А. Зеленский вступил РСДРП, был членом большевистской части партии. С 1907 года он стал членом Саратовского комитета РСДРП. Он вел пропагандистскую работу в Оренбурге, Пензе, Самаре, Царицыне и Москве. За свою партийную работу неоднократно арестововался. С 1915 года он являлся секретарём больничной кассы в Сормово. В 1915 году он был арестован и сослан в ссылку в Иркутскую губернию. В декабре 1916 года он бежал из ссылки.
Весной 1917 года И. А. Зеленский стал председателем Басманного районного совета в Москве. В октябре 1917 года он в составе вооруженных формирований большевиков участвовал в вооруженном захвате власти в Москве.
С 1918 года Зеленский являлся заведующим Московским продотделом Наркомата продовольствия и членом Коллегии Наркомата продовольствия. Во время этой работы был одним из организаторов насильственного реквизирования хлеба у крестьян во время политики «военного коммунизма».
С 1920 года он стал секретарём, а с апреля 1921 года Первым секретарём Московского комитета РКП(б). С 1921 года Зеленский стал кандидатом в члены ЦК РКП(б), а с 1922 года членом ЦК. 3 апреля 1922 года он был избран кандидатом в члены Оргбюро ЦК, а с 2 июня по 20 августа 1924 года членом Оргбюро ЦК. Одновременно со 2 июня по 20 августа 1924 года он являлся секретарь ЦК ВКП(б).
В ноябре 1924 года Зеленский был направлен в Ташкент секретарём Среднеазиатского бюро ЦК РКП(б).
С 1931 года Зеленский являлся председателем правления Центросоюза, а также членом ВЦИК и ЦИК СССР.
В августе 1937 года И. А. Зеленский был арестован, а на октябрьском Пленуме ЦК ВКП(б) того же года он был выведен из состава ЦК. Он был привлечён в качестве обвиняемого на судебном процессе по делу так называемого «Антисоветского правотроцкистского центра». 13 марта 1938 года военной коллегией Верховного суда СССР Зеленский был приговорен к расстрелу, а 15 марта 1938 года он был расстрелян.
Военной коллегией Верховного суда СССР 15 июня 1959 года И. А. Зеленский был реабилитирован за отсутствием состава преступления. А 3 июля 1959 года Комиссией партийного контроля при ЦК КПСС было восстановлено его членство в КПСС.