В связи с ужесточением правительственного курса Долгорукий уходит в отставку в чине тайного советника и поселяется в Москве, где занимается литературной и театральной деятельностью, издаёт 4 тома своих стихов, пишет ряд драматических произведений. Спектакли его домашнего театра и литературные вечера посещали М.Н. Загоскин, с семьёй которого князь подружился в Пензе, Н.М. Карамзин, А.С. Пушкин, С.Т. Аксаков.
В 1791-1797 годах Иван Долгорукий служил в Пензе вице-губернатором. Принимал участие в устройстве гражданской и уголовной палат, в совершенствовании системы откупов и управления казёнными экономиями. Он ввёл казённое содержание детей бедных дворян в учебных заведениях. Службу князь Иван сочетал с литературной и театральной деятельностью. В Пензе Долгорукий создал "философическую оду" "Камин в Пензе", первоначально отпечатанную в частной типографии Н.Е. Струйского, стихотворные послания "К швейцару", "К судьбе", вошедшие в сборник "Бытие сердца моего, или Стихотворения князя Ивана Михайловича Долгорукого" (1802).
Иван Михайлович оставил мемуары "Капище сердца моего, или словарь всех тех лиц, с коими я был в разных отношениях в течение моей жизни". Некоторые главы книги посвящены Пензе, Рамзаю, Бессонове, Рузаевке. В "Журнале путешествия из Москвы в Нижний 1813 г." отдельную главу Долгорукий посвятил Пензенской губернии, назвав её "Плодоноснейшим краем нашего Царства".
В Пензе по инициативе князя Долгорукого возник первый театр "благородных любителей", для него было построено здание, где с 24 ноября 1493 года местные дворяне ставили спектакли.
О творчестве Дол
горукого высоко отзывался А.С. Пушкин, поименовав его "поэтом, не довольно ещё оценённым". О нём писали П.А. Вяземский, Ф.Ф. Вигель, Ф.И. Буслаев, В.Г. Белинский.
В результате скандала вокруг его любовной переписки с Е.А. Улыбышевой, Иван Михайлович был отрешён от должности в 1796 и переехал на службу в Москву. Он сочувственно встретил реформы начала царствования Александра I и принял назначение губернатором во Владимир, где служил с февраля 1802 по март 1812 года.
В связи с ужесточением правительственного курса Долгорукий уходит в отставку в чине тайного советника и поселяется в Москве, где занимается литературной и театральной деятельностью, издаёт 4 тома своих стихов, пишет ряд драматических произведений. Спектакли его домашнего театра и литературные вечера посещали М.Н. Загоскин, с семьёй которого князь подружился в Пензе, Н.М. Карамзин, А.С. Пушкин, С.Т. Аксаков.
Долгорукий избирается почётным членом литературных обществ "Беседы любителей Российского слова", "Вольного общества любителей Российской словесности", "Вольного общества любителей словесности, наук и художеств".
Похоронен князь Иван Михайлович Долгорукий в Донском монастыре, в родовом склепе