Обучался в Кёнигсберге и Берлине, в 1931 году начал работать в Берлинской опере, однако пять лет спустя вынужден был уехать из Германии (Зандерлинг имел еврейское происхождение) и эмигрировал в СССР, где жил его дядя.
В Москве Зандерлинг стал дирижёром БСО Московского Радио и занимал этот пост до 1941 года, когда получил место дирижёра симфонического оркестра Ленинградской филармонии (вместе с Евгением Мравинским).
Работая с этим коллективом в течение почти 20 лет, Зандерлинг поднял его исполнительский уровень до мировых стандартов. Вернувшись в 1960 в ГДР, он возглавил Симфонический оркестр Восточного Берлина и занимал это место в течение семнадцати лет. В 1964—1967 Зандерлинг также дирижировал Дрезденской государственной капеллой. Дирижёр много и активно гастролировал, имея большой успех в Праге, Зальцбурге, Вене, Варшаве и других городах Европы. С 1972 периодически выступал с Новым филармоническим оркестром, с 1979 — с симфоническим оркестром Токио.
После падения Берлинской стены интерес к творчеству Зандерлинга возродился, во многом благодаря выходу многочисленных записей, сделанных под его управлением. Особую известность получили его интерпретации музыки Брамса, Сибелиуса, Шостаковича, в которых дирижёр продемонстрировал хорошее чувство стиля, внимание к деталям и глубокий драматизм исполнения.
Несмотря на почтенный возраст, в 1990-е годы Зандерлинг иногда продолжал выступать с различными оркестрами, а в январе 2002 заявил о своём возвращении к активной концертной деятельности.