Родился 10 октября 1896 года в слободе Цареборисово (ныне село Красный Оскол Изюмского района Харьковской области) на Украине.
На военной службе с 1915 года, в Красной Армии – с 1918 года Окончил Высшую артиллерийскую школу комсостава (1924), курсы усовершенствования (1928), курсы партийно-политической подготовки командиров-единоначальников при Военно-политической академии (1930). Успешно окончил военную академию им. М.В. Фрунзе (1934). До военной службы работал на шахтах Донбасса и солеваренном заводе в городе Славянск.
В Первую мировую войну – матрос на Черноморском Флоте. Во время Гражданской войны – комиссар Тираспольского отряда, с 1918 года – военком, помощник командира и командир бронепоезда, командир группы бронепоездов, принимал активное участие в боях против интервентов и белогвардейцев. После войны командовал бронепоездом, дивизионом и полком бронепоездов.
По окончании академии Я.Н. Федоренко командовал танковым полком в МВО, с мая 1935 года – механизированной бригадой. В 1937 году назначен начальником автобронетанковых войск Киевского (с 1938 года - Особого) ВО. В 1940-1942 годах – начальник автобронетанкового управления, с декабря 1942 года – командующий бронетанковыми и механизированными войсками Красной Армии и заместитель наркома обороны СССР.
Во время Великой Отечественной войны Я.Н. Федоренко часто выезжал в войска действующей армии, оказывал практическую помощь в применении бронетанковых и механизированных войск в боях с противником, был представителем Ставки ВГК в Московской, Сталинградской и Курской битвах и во многих других стратегических операциях. Внёс большой вклад в развитие и совершенствование бронетанковых и механизированных войск в годы войны и способов их применения в борьбе с врагом, тщательно занимался вопросами производства и доставки в войска бронетанковой техники.
С апреля 1946 года – командующий бронетанковыми и механизированными войсками Сухопутных войск. Депутат Верховного Совета СССР I и II созывов.
Награждён четырьмя орденами Ленина, двумя орденами Красного Знамени, орденами Суворова и Кутузова I степени, медалями.