Известен своей виртуозной игрой на флейте и целым рядом гениальных музыкальных композиций; по праву считается одним из лучших флейтистов и композиторов своего времени. Отличался крайне сложным нравом, был весьма суровым руководителем и преподавателем. Впрочем, именно его высокие требования к оркестру помогли тому достичь столь высокого уровня.
Родился Карл в Копенгагене (Copenhagen), в семье флейтиста Кристиана Иоахима Андерсена (Christian Joachim Andersen).
Музыке Карла – как и его младшего брата Вигго (Viggo) учил отец; еще ребенком Андерсен блестяще выступил в датском театре Casino в паре с еще одним молодым дарованием – арфистом Францем Пёницем (Frantz Pønitz). Карл, однако, не останавливался на достигнутом; к 1868-му он уже был первой флейтой в Копенгагенском оркестре дирижера Нильса Гейда (Niels Gade). Годом позже Андерсен получил приглашение в Королевский датский оркестр (Royal Danish Orchestra); в 1878-м он оставил этот пост и отправился завоевывать себе славу международного уровня. В период с 1878-го по 1880-й он работал в Филармоническом оркестре Санкт-Петербурга; затем, оставив Россию, он отправился в Берлин. В Берлине Карл вступил в ряды оркестра Бильзе ('Bilse's Band'), параллельно выступая с сольными концертами и работая в Королевской германской опере (Royal German Opera).
В 1882-м Андерсен – и еще 53 музыканта из 'Bilse's Band' – создали Берлинский филармонический оркестр (Berlin Philharmonic). Продолжая выступать в качестве флейтиста, Карл взял на себя еще и функции дирижера; в общей сложности он управлял оркестром более 8 лет.
В 1894-м Андерсен был вынужден оставить флейту – у него парализовало язык; Карл отправился назад, в Копенгаген, где начал писать музыку сам. Среди прочих его творений того времени следует отметить концерты в Tivoli Gardens. В 1897-м Андерсен основал собственную музыкальную школу; до самой своей смерти он был её руководителем и профессором дирижерского мастерства.
В 1905-м датский король Кристиан IX (Christian IX) удостоил Андерсена звания рыцаря ордена Даннеброга (Order of the Dannebrog).
Практически вся созданная Карлом музыка была предназначена для флейты. Вершиной его творчества сейчас считается набор этюдов для флейтистов из восьми частей; они и по сей день исполняются теми, кто хочет стать настоящим мастером флейты. В общей сложности Карл Андерсен написал 67 произведений.