Генерал-адъютант, генерал от инфантерии, Московский генерал-губернатор, покровитель монархического движения в Москве.
Из потомственных дворян С.-Петербургской губ. Происходил из тюрингского (Германия) дворянского рода Хершельманн, одна из ветвей которого находилась на русской службе с XVIII в. Сын генерал-адъютанта К.И.Гершельмана, брат генерала от кавалерии и военного писателя Ф.К.Гершельмана (1853—1918?). В 1872 окончил Пажеский корпус (его имя как лучшего ученика было высечено на мраморной доске корпуса) и был выпущен прапорщиком в л.-гв. Конно-артиллерийскую бригаду. В звании штабс-капитана 1877 поступил в Николаевскую академию Генштаба, но в связи с начавшейся Русско-турецкой войной оставил ее и отправился на театр военных действий. Находился в составе Плевненского отряда, затем в Западном отряде ген. И. В. Гурко. Участвовал в боях под Горным Дубняком, Телишем и др. Участник наступления на Филиппополь, Адрианополь и Сан-Стефано. В боях под Адрианополем был ранен и контужен. В ходе войны был награжден всеми российскими орденами до ордена св. Владимира ГУ ст. с мечами и бантом включительно. По окончании войны вновь поступил в Академию, которую окончил в 1881 с причислением к Генштабу. В 1895 назначен командиром 93-го пехотного Иркутского полка, затем последовательно занимал должности нач. 2-й армейского корпуса, нач. штаба Сибирского военного округа и нач. 9-й пехотной дивизии. С 1898 генерал-майор.
С началом Русско-японской войны был произведен в генерал-лейтенанты (1904) и направлен во главе дивизии на Дальний Восток, с которой с выдающимся отличием действовал в течение всей кампании, особенно под Мукденом, когда прикрывал отход 2-й армии. Отличительными чертами Гершельмана всегда были самообладание и хладнокровие, даже в самой тяжелой обстановке. В ходе боев также отличился личной храбростью. Придавая огромное значение моральному состоянию войск, Гершельман основывал на нем весь успех боевого руководства. Являясь сторонником наступательной тактики, тяжело переживал позицию высшего командования продолжавшего настаивать на отступлении. За Русско-японскую войну награжден орденом св. Георгия IV ст., орденом св. Анны I ст. с мечами, Золотым оружием.
По окончании войны был назначен командующим 10-м армейским корпусом. С 15 янв. 1906 — командующий войсками Московского военного округа с последующим назначением (5 июля 1906) Московским генерал-губернатором (сменил в этой должности Ф. В. Дубасова). В новой должности Гершельман энергично включился в борьбу с революционной смутой, способствовал возникновению монархических организаций среди московских рабочих, активно поддерживал местных черносотенцев. 21 нояб. 1907 на Гершельмана было совершено покушение. В сани, в которых он с адъютантом, кн. Оболенским, ехал в Лефортовский военный госпиталь на торжество по случаю его 200-летия, метнула сверток эсерка Севастьянова, сидевшая с корзиной, наполненной рыбой, на скамейке у ворот дома в Госпитальном переулке. К счастью, ни Гершельман, ни его адъютант не пострадали. Взрывом поломало сани, убило лошадей (взрыв был такой силы, что копыта разорванных лошадей были найдены по другую сторону двухэтажного дома) и тяжело ранило террористку, которую вскоре повесили.
17 марта 1909 Гершельман был назначен командующим Виленским военным округом, в 1910 произведен в генералы от инфантерии. Скончался в г. Вильно, похоронен в Александро-Невской лавре (С.-Петербург).
Был женат на Александре Васильевне, урожд. Познанской (1861—1936). Его сыновья приняли участие в Первой мировой и Гражданской войне (в рядах Белых армий). Василий (1884—1919), был полковником л.-гв. Уланского полка, участником Ледяного похода Добровольческой армии, командовал в годы Гражданской войны Конным дивизионом и был убит в одном из боев на юге России; Сергей (1891-1957) и Александр (1893-1977) в годы Первой мировой войны служили в л.-гв. Конной артиллерии, в Гражданскую — в Северо-Западной армии, войну оба окончили в полковничьем звании (Сергей стал в эмиграции военным историком, Александр — членом Высшего Монархичекого Совета); Юрий (Георгий), тоже офицер л.-гв. Конной артиллерии, был убит 6 авг. 1914 в бою под Каушеном, посмертно удостоившись ордена св. Георгия IV ст.