Родился в семье крепостного дворового. С детства был свидетелем жестокостей по отношению к крепостным. Читать был обучен дедом по псалтырю.
Владелец Желябова помещик Нелидов, узнав, что мальчик грамотен, дал ему сказку А. С. Пушкина ("Он самолично объяснил мне гражданскую азбуку и открыл для меня целый новый мир").
В 1860 Нелидов определил Желябова в Керченское уездное училище, позже преобразованное в классическую гимназию. В 1861, учась в гимназии, Желябов узнал о своем освобождении. В обстановке общественного подъема Он прочел книги Н.Г. Чернышевского "Что делать?" и считался в гимназии неблагонадежным, поэтому получил лишь серебряную медаль.
В 1869 поступил на юридический факультет Новороссийского университета. Убежденный, что "история движется ужасно медленно, надо ее подталкивать", Желябов возглавил студенческие выступления, за что в 1871 был исключен из университета. Женился на дочери сахарозаводчика, от которой имел сына.
Попытка Желябова в 1872 восстановиться в университете не удалась. Он зарабатывал случайными уроками. С 1874 Желябов стал активным участником "хождения в народ", не раз арестовывался. В 1877-1878 был судим по "Процессу 193-х", но оправдан.
В 1878 Желябов порвал с семьей и ушел на нелегальное положение. В 1879 был принят в число членов "Земли и воли". После раскола организации Желябов стал одним из организаторов политического террора. Он сумел собрать Боевую организацию, непосредственно участвовал в подготовке нескольких покушений на Александра II.
В 1880 стал фактическим руководителем Исполнительного комитета "Народной воли", участвуя в разработке партийной программы и определении тактики борьбы. Под непосредственным руководством Желябова было подготовлено убийство Александра II 1 марта 1881. Желябов, случайно арестованный за два дня до цареубийства по пустяшному поводу, подал прокурору заявление: "...было бы вопиющей несправедливостью сохранить жизнь мне, многократно покушавшемуся на жизнь Александра II и не принявшему физического участия в умерщвлении его лишь по глупой случайности" и потребовал приобщения себя к делу 1 марта.
На суде отказался от защитника и использовал трибуну для изложения программы и принципов "Народной воли". Объясняя террор революционеров, Желябов сказал: "По своим убеждениям я оставил бы эту форму борьбы насильственной, если бы только явилась возможность борьбы мирной, т.е. мирной пропаганды своих идей, мирной организации своих сторонников". По приговору суда был повешен вместе с С.Л. Перовской, Н.И. Кибальчичем, Т.М. Михайловым, Н. И. Рысаковым. Это была последняя публичная казнь в России.