Родился в мордовской крестьянской семье. Для псевдонима взял имя одной из этнографических групп своего народа. С 1890 учился в иконописной мастерской в Алатыре, расписывал храмы в Симбирской и Казанской губерниях. Приехав в Москву, занимался в Строгановском художественно-промышленном училище (1901–1902) и Училище живописи, ваяния и зодчества (1902–1906), где одним из его наставников был С.М.Волнухин. В 1906–1914 жил и работал в Италии и Франции, вновь в Москве, с 1918 – на Урале, преимущественно в Екатеринбурге, а в 1921–1925 – в Новороссийске, Батуме и Баку. Затем вернулся в Москву.
Типичные для модерна мифологические темы сочетались в его творчестве с произведениями и замыслами в духе революционной «монументальной пропаганды» (задуманный в уральские годы проект грандиозного памятника В.И.Ленину из скалы). Выехав в 1926 в командировку в Париж, остался за границей, поселившись в
Буэнос-Айресе (1927).
В Аргентине нашел свой «фирменный» материал – крайне твердые древесные породы квебрахо и альгарробо, для обработки которых Эрьзя сконструировал специальную машину. Старался стилистически обыгрывать фактуру древесины, корни и наросты, иной раз оставляя их в виде «фантазий»,
т.е. чисто природных фрагментов. Особенно удавались ему символически-обобщенные портреты и женские образы (Бетховен, 1929; Дочь инков, 1941; оба – в Русском музее; Старик-мордвин, 1944, Картинная галерея, Саранск). И в Латинской Америке выдвигал идеи «горы-монумента» – к примеру, проект монумента г
ероям войны за независимость Х. де Сан-Мартину и Б.О'Хиггинсу в Андах (1940-е годы), но реализовать их так и не удалось.
Написав письмо И.В.Сталину (1947), получил разрешение вернуться в СССР и привезти на специально зафрахтованном пароходе огромное число своих работ. По возвращении жил в Москве