Карьера этого гитариста-виртуоза началась в 1958 году в составе амстердамского коллектива Johnny And The Cellar Rockers, который пользовался некоторой популярностью лишь на родине музыкантов.
Уже в шестидесятые годы Аккерман и бывший барабанщик Johnny And The Cellar Rockers Пьер Ван Дер Линден организовали инструментальную группу The Hunters, чья музыкальная стилистика складывалась явно под влиянием The Shadows. Пять лет Ян Аккерман учился в музыкальном лицее Амстердама (это аналог нашей консерватории), после окончания которого предстал зрелым мастером, чьи пристрастия и стиль сформировались под влиянием классической и старинной музыки, а также современного попа, латиноамериканских ритмов и произведений Фрэнка Заппы - именно его Аккерман называет своим главным учителем.
Сразу же по окончании консерватории Ян Аккерман собрал хард-рок-группу Brainbox, в состав которой также вошли: Берт Руттер - бас-гитара, Пьер Ван Дер Линден - ударные и Каз Люкс - вокал. Единственный альбом этой группы ("Brainbox"; в него входил голландский хит-сингл "Down Man") был выпущен в 1969 году фирмой Parlophone. Одновременно с участием в Brainbox Аккерман начал репетировать с музыкантами новой группы, для которой Аккерман предложил название Focus. Записав с ними альбом "In And Out Of Focus", 1971 год, Аккерман вновь пригласил Ван Дер Линдена, и с участием Тиса Ван Леера и Сайрила Хаверманса коллектив быстро пошел в гору.
Следующие несколько лет Focus имели в Европе огромный успех, что специалисты объясняли врожденным чувством импровизации Аккермана и его поразительным чутьем аранжировщика (гитарные соло Аккермана в составе Focus того периода до сих пор входят в обязательную программу подготовки музыкантов, например, в Беркли). Одновременно гитарист начал и сольную карьеру, которая, к удивлению многих, развивалась достаточно неуверенно, хотя дебютный альбом Аккермана-солиста "Profile" имел некоторый успех (это была подборка "музыкальных эскизов", которые гитарист сделал в интервале между Brainbox и Focus). Оркестровку другого альбома, "Tabernakel", сделал профессор музыкальной кафедры Колумбийского университета Джордж Флинн, а участие в проекте таких сильнейших музыкантов, как Тим Богарт и Кармин Эппис, привлекло, в первую очередь, профессионалов, которые высоко оценили и альбом, и включение в его инструментарий лютни; поклонники Focus и широкая публика эту работу Аккермана не приняли.
В марте 1976 года, почувствовав, что коллеги тяготеют к более легкой и "конкретной" музыке, Аккерман покинул Focus - он предполагал заняться теоретической и студийной работой с вокалистом Люксом, однако их эксперименты в конце концов переросли в очередной проект, который был издан в 1977 году под названием "Eli". В этот период Ян Аккерман увлекся джазом, это отчетливо слышно на одном из самых ярких альбомов гитариста "Aranjuez", 1978 год, и в его концертной подборке 1979 года.
В 80-е и 90-е годы творчество Аккермана приняло настолько специфический характер, что его пластинки (а позже и CD) выходили только на родине, а в США и Великобритании переиздавались крайне редко и, как правило, мизерными тиражами. Та же судьба постигла и поздние альбомы Focus - несколько раз в 80-е годы группа воссоединялась, хотя его работа с условным коллективом Forcefield, куда входили Рэй Фенуик из группы Спенсера Дэвиса и знаменитый барабанщик Кози Пауэлл, издавались оперативно и имели успех в джазовых кругах Европы (это альбомы "The Talisman" и "То Oz And Back"). Очередной сольный альбом Аккермана "The Noise Of Art", 1990, подготовленный при содействии фирмы грамзаписи IRS, заинтересовал и американцев, однако гастроли гитариста по США сорвались, и в настоящее время Ян Аккерман вновь занят студийными экспериментами со звуком.