Арт Дэвис родился 5 декаюря в 1934 году в городе Харрисберг, штат Пенсильвания.
Пройдя обучение в Манхэттенской и Джульярдской музыкальных школах, Дэвис, считая, что игра на контрабасе не позволит ему зарабатывать на жизнь, стал дипломированным психологом. Несколько лет он совмещал работу практикующего психолога с выступлениями, однако затем сделал выбор в пользу музыки.
В 1950-х - 1960-х годах Арт Дэвис выступал и записывал альбомы практически со всеми значимыми джазовыми музыкантами того времени. В частности, он сотрудничал с Максом Роучом, Дюком Эллингтоном, Кларком Тэрри, Бобом Брукмайером, Ахмадом Джамалом и Куинси Джонсом. С 1959 по 1961 годы играл в биг-бэнде Диззи Гиллеспи. С 1961 по 1965 годы Дэвис работал вместе с Джоном Колтрейном.
В начале 1970-х годов Арт Дэвис покинул джазовую сцену и занялся академической музыкой, играя в составе симфонических оркестров. К началу 1980-х годов знаменитый контрабасист решил прекратить карьеру музыканта, занявшись преподаванием, борьбой против расовой сегрегации в американском музыкальном сообществе и получением степени доктора психологии. Однако в 1982 году он вновь вернулся на сцену и продолжал выступать до самой смерти.