В 1859 году был назначен губернатором в Пензу. Он воспринял это назначение с удовольствием: в знаменитой Никольской Пёстровке Городищенского уезда жила его сестра Анна Петровна, которая была замужем за владельцем хрустального завода Алексеем Николаевичем Бахметьевым.
Егор Петрович Толстой принадлежал к семье титулованной аристократии, владевшей крупными земельными наделами в Пензенской губернии. Его отец, Петр Александрович, имел чин генерал-лейтенанта, был русским послом в Париже. В 1812 году он стал одним из руководителей народного ополчения. Формировал ополчение в Пензенской губернии, воевал под Дрезденом, командуя корпусом, в который входили полки, сформированные в Пензе, Чембаре, Мокшане, Инсаре и Краснослободске. Состоял командующим резервной армией, назначался членом Государственного совета, председателем департамента военных дел, был кавалером всех российских орденов.
Егор Петрович тоже дослужился до чина генерал-лейтенанта, начав военную службу в Угличском пехотном полку, затем состоял флигель-адъютантом императора Александра I. Был награждён орденами Святого Георгия 4-й степени и Святого Владимира 3-й степени.
Уйдя в отставку Егор Петрович служил в Министерстве внутренних дел, был мировым судьёй, управлял Казанской, Калужской и Таганрогской губерниями.
В 1859 году был назначен губернатором в Пензу. Он воспринял это назначение с удовольствием: в знаменитой Никольской Пёстровке Городищенского уезда жила его сестра Анна Петровна, которая была замужем за владельцем хрустального завода Алексеем Николаевичем Бахметьевым. Губернаторство Толстого памятно открытием в Пензе телеграфной станции, учреждением должности мировых посредников и Киселёвской богадельни, а также усмирением бунтовавших крестьян Чембарского и Керенского уездов.
С 1861 года и до своей кончины, по сведениям Г.И. Мешкова, Е.П. Толстой служил в правительственном сенате по департаменту герольдии, заслужив орден Святого Александра Невского.