Родился 21 ноября 1920 года в Киеве. Учился игре на скрипке под руководством отца. Окончил Киевскую консерваторию по классу скрипки у Якова Магазинера.
В годы войны в эвакуации учился в Оренбургском зенитном училище и играл на скрипке в оркестре кинотеатра «Аврора». После войны жил в Москве, делал оркестровки крупных произведений и играл на скрипке в различных ресторанах столицы.
Песни начал писать с 60-х годов, первой была песня «Годы» на стихи Марка Лисянского. В дальнейшем судьба подарила ему таких соавторов, как Михаил Танич, Игорь Шаферан, супруги Константин Ваншенкин и Инна Гофф.
В конце 60-х благодаря Марку Бернесу появилась его песня на стихи Расула Гамзатова «Журавли», облетевшая весь мир.
Выступал в концертах с исполнением собственных песен, обычно публика пела вместе с ним. Также его песни были в репертуаре Людмилы Зыкиной, Иосифа Кобзона, Георга Отса, Нани Брегвадзе, Геннадия Каменного, Марка Бернеса, Майи Кристалинской, Раисы Неменовой, Анны Герман.
Ян Френкель скончался 25 августа 1989 г. в Риге (как предугадал в своей песне «Август» на слова Инны Гофф). Его жена Наталия умерла в середине 90-х, дочь Нина проживает в Италии с 1980 года, внук — Ян Френкель-младший — музыкант (пианист и аранжировщик) Оркестра академии береговой охраны США.