Советский и российский футболист, защитник и полузащитник; позднее тренер. Мастер спорта СССР (с 1976).
Воспитанник тульского футбола. Выступал за юношеские сборные СССР, привлекался на сборы олимпийской сборной.
Большую часть карьеры провёл в ленинградском «Зените», в составе которого стал чемпионом СССР в 1984 году.
В 1985 году в кубковом матче против ЦСКА на стадионе им. Кирова получил сильное сотрясение мозга, из-за которого 7 месяцев мучался головными болями и собирался завершить выступления. Однако спустя некоторое время вновь вышел на поле.
В 1990-х годах выступал в Финляндии. В марте—октябре 1996 года играл в Китае за команду «Фушунь Фосиди» из провинции Гуанчжоу.
По возвращении в Россию по договоренности с Анатолием Бышовцем приступил к обязанностям тренера Зенита. Давыдов думал, что игровую карьеру завершил. Однако на последнем сборе команды перед сезоном-1997 (в Бельгии) защитники команды почти разом получили травмы, из-за которых они не могли выйти на первые матчи. Бышовец предложил Давыдову продолжить выступления, и Анатолий приступил к тренировкам уже как игрок основного состава.
В итоге в 1997 году провёл в чемпионате 15 игр, в большинстве из которых играл вместе с сыном Дмитрием. По окончании сезона окончательно завершил игровую карьеру.
Рекордсмен «Зенита» по числу сыгранных официальных матчей (454) и по числу матчей в Кубке страны (53):
Чемпионат СССР — 370, чемпионат России — 15;
Кубок СССР — 50; Кубок России — 3;
Кубок Федерации футбола СССР — 8;
Еврокубки — 8.
Является самым возрастным футболистом, выступавшим в высшем дивизионе чемпионата России. Свой последний матч провёл 3 сентября 1997 года в возрасте 43 года и 295 дней.
Командные
Чемпион СССР: 1984
Бронзовый призёр чемпионата СССР: 1980
В списках 33-х лучших футболистов сезона в СССР: № 2 — 1979, № 3 — 1982
Приступил к тренерской работе в 1997 году. Тренировал главную, вторую и дублирующую команды «Зенита». В 1999 году привёл команду к победе в Кубке России. Затем тренировал липецкий «Металлург», новосибирскую «Сибирь». В 2007 году возглавлял «Текстильщик-Телеком», однако 5 октября после игры 37-го тура подал в отставку, оставив команду на 20-м месте. В ноябре 2007 года назначен главным тренером дублирующего состава «Зенита». 10 августа 2009 года после отставки Дика Адвоката назначен исполняющим обязанности главного тренера «Зенита». 3 октября 2009 года назначен главным тренером «Зенита».
В декабре 2006 года получил лицензию ФИФА категории «Pro».
Жена Татьяна, сын Дмитрий, дочь Жанна