Каждые два года сибирские генерал-губернаторы обязательно ездили в Петербург с отчетами и новыми представлениями по устройству края. Случилось так, что князю Горчакову, после всех своих неприятных историй, нужно было ехать в Петербург. Уезжая, он прямо заявил во всеуслышание свои угрозы и негодование как на Фонвизиных, так и на отца моего, говоря громко, что, по своем возвращении из Петербурга, он всех своих недоброжелателей нарядит в серые армяки и разсеет по Сибири. Положение наше было очень критическое, надо было предпринять какие-нибудь охранительные меры. Наталья Дмитриевна Фонвизина, по своему смелому характеру  решилась написать письмо прямо к императору Николаю Павловичу, прося его защиты от самовластия бесконтрольного властелина Западной Сибири. Излагая всепокорнейшую свою просьбу императору, она упомянула, что в оправдание свое она может только представить свою переписку с князем Горчаковым по этому делу, которую и препровождает в III Отделение князю Алексею Федоровичу Орлову.

Письмо к императору и переписку ее с князем  взялся отправить на почту жандармский штаб-офицер Фон-Колен. Ответа, конечно, не последовало, и мы прожили зиму в тяжелой неизвестности, чем решится наша участь весной, по возвращении князя, тем более, что от него получались известия об успехе будто бы его дел в Петербурге. Предавшись на волю Божию, мы единственное подкрепление находили лишь в молитве. Вдруг, под конец зимы, неожиданно прислана была отставка генералу Шрамму без всякого, конечно, с его стороны желания, из чего все тот час  же поняли, что дела князя в Петербурге плохи. Вскоре потом стали доходить слухи, что и он не вернется больше в Сибирь. Наши сердца встрепенулись надеждою на спасение; и в самом деле прошло лето, а князь все не возвращался. Как письмо Натальи Дмитриевны Фонвизиной, так и множество доносов, посланных со всех сторон, подействовали в Петербурге настолько сильно, что к осени назначена была ревизия Западной Сибири, которую и поручено было произвести генерал-адъютанту Николаю Николаевичу Анненкову. Ревизия была им сделана очень снисходительно, вследствие просьбы военного министра графа Чернышева, который в продолжение 14-ти лет всегда заступался за князя Горчакова, почему и опасался, чтоб открытие всех его злоупотреблений не послужило бы укором и самому министру. С Николаем Николаевичем Анненковым приехали для ревизии два брата Виктор и Адам Антоновичи Арцымовичи и Ковалевский. Н. Н. Анненков был двоюродный брат  декабристу Ив. Алек. Анненкову, поселенному в Тобольске. По приезде своем в Тобольск, Ник. Ник.  тотчас же послал за Иваном Александровичем и потом сам все свободное от дел время проводил у них, относясь к нему и к его семье, как самый близкий родственник. При ревизии оказалось много беспорядков в делах и пришлось некоторых чиновников удалить от должностей; к покойному же отцу моему, Анненков во все время ревизии относился с доверием и часто руководился его указаниями. Он нашел в таком порядке все его дела, что, по окончании ревизии, представил его к св. Анне 2-й степени.

По назначении ревизии, князь Горчаков подал в отставку, и на его место назначен был новый генерал-губернатор, генерал Гасфорт. Тобольский губернатор Энгельке тоже по окончании ревизии вышел в отставку и на его место также приехал другой, некто Тихон Федотович Прокофьев, добрый и благодушный старик. Пробыв года два не больше в Тобольске, он по болезни должен был оставить должность. Его заменил потом Виктор Антонович Арцымович.

После многолетнего страдания декабристов, наконец, некоторым их них начало улыбаться счастье: ко многим, получив разрешение, стали приезжать на свидание из России сыновья.

Фонвизиным тоже предстояла эта радость: их сыновья также принялись хлопотать о разрешении приехать в Сибирь, но!.. пути Божии неисповедимы! Несчастные родители были лишены этого счастья на земле. Старший их сын вдруг заболел, отправился в Одессу лечиться и скончался там на руках одних своих друзей на 26-м году жизни; это было в 1850 году. Младший же брат его, Мих[аил] Мих[айлович], юноша не особенно крепкого здоровья, так был дружен со своим старшим братом, что после его потери через 8 месяцев приехал в Одессу на могилу брата и испустил дух в той же семье, где умер брат его, и лег с ним рядом. Впоследствии их мать, возвратясь из Сибири, посетила могилу своих сыновей в Одессе, поставила над нею великолепный огромного размера крест с художественно отлитой из бронзы во весь рост  страдальческой фигурой Спасителя. Трудно описать скорбь несчастных родителей, когда до них дошли в Сибирь эти печальные вести. Каждый отец, каждая мать поймут это сердцем лучше всякого описания. Потеря первенца хотя и отозвалась тяжело в сердце родителей, но все же оставалась надежда увидеть другого сына. Но никогда не изгладится из памяти моей почтенная фигура старика отца, пораженного новым тяжким горем, в минуту получения известия о смерти второго и последнего сына; он стоял на коленях, обратив взор, полный слез, к  лику Спасителя, и мог только прошептать: "Да будет воля твоя святая, господи! верно так угодно богу!"  Наталья же Дмитриевна как ни была поражена вторичным страшным горем, но глубокая ее преданность и непоколебимая вера не только не поколебались ни на минуту, но заставили ее с той же любовью, покорно и без ропота принять новое тяжелое испытание, ниспосланное на них господом. У нее удивительно как глубоко было выработано внутреннее самоотречение и постоянная готовность к принесению в жертву всего, что бы ни потребовалось от нее Богом.

В России, на милой родине, у них оставалось теперь одно только дорогое сердцу существо - это горячо и нежно любимый брат Фонвизина, Иван Александрович, который и стал просить разрешения приехать в Сибирь на свидание с несчастным братом. Получив позволение, он тотчас же пустился в путь и приехал в Тобольск летом 1852 года. Радость свидания братьев после такой многолетней разлуки была беспредельна! Иван Александрович прожил в Тобольске 6 недель и спешил назад в Россию, чтобы хлопотать о возвращении из Сибири брата-изгнанника.

Надежда на здоровье его хотя и осветила Мих[аила] Алек[сандровича] , но как будто под тяжестью грустного предчувствия не успокоила совершенно. Он тут же решился ехать в Россию один, несмотря ни на какую дорогу, и прямо от нас поехал к губернатору просить дозволения на выезд. Ровно через 5 дней, 15 апреля 1853 года, в великий четверг на страстной неделе, не обращая внимания на страшную распутицу, этот 70-летний старик отправился один, в сопровождении жандарма, в простой телеге на перекладных в далекий путь на родину. Любовь к брату заставила его пренебречь всеми опасностями, могущими встретиться на пути в такое время года. Каким-то тяжелым и грустным предчувствием отозвался у всех на сердце такой скорый, решительный отъезд М. А. из Тобольска. Я прощалась с ним точно как перед смертью, не думая когда-либо увидеть его больше на земле. Мгновенно по городу разнеслась весть о поспешном отъезде М. А., и, несмотря на страстную неделю, все спешили приезжать прощаться со столь глубокоуважаемым всеми человеком; богатый и бедный равно старались заявить свое сочувствие к отъезжающему из края, где в продолжение стольких лет жизни никто никогда не слыхал от него ничего другого, кроме доброго слова и всегда радушного приема и привета. Наконец, настал назначенный день отъезда. Все товарищи, друзья и люди, искренно любившие М. А., собрались провожать его до берега Иртыша в 3 верстах от Тобольска, до места, называемого Под-Чуваши. В доме был отслужен напутственный молебен; началось тяжелое прощание с товарищами многолетнего изгнания, потом с людьми и со всеми знакомыми. Длинный кортеж провожавших двинулся при ярко блестевшем весеннем солнышке; день 15 апреля был чудесный, теплый, ясный. Подъехав к Иртышу, с замиранием сердца следили все, как телега с седоками выехала на лед и покрылась до половины колес водою, образовавшеюся от таявшего снега. Переехать Иртыш было небезопасно; чем дальше удалялся М. А. от холодных стран Сибири, тем опаснее становилось путешествие. В одном месте, как он сам потом рассказывал, ему опять пришлось переезжать Иртыш. Никто не брался его перевезти, так как лед был уже тонок; тогда М. А. решил перейти реку пешком, и только дошел до середины, как лед тронулся, и старик с опасностью для жизни, перескакивая с льдины на льдину, добрался наконец благополучно до противоположного берега. Так доехал он до Перми, не раз подвергаясь опасности при переправах через реки; в Перми он сел уже на пароход, где хотя и отдыхал физически, но зато душевное беспокойство и предчувствие о потере брата томило его жестоко.

На пароходе он доехал спокойно до Нижнего Новгорода. Ему очень нравилось путешествие по Волге и очень интересовало устройство пароходного сообщения, которое для него было новостью. Встречи с разнородными личностями несколько развлекали его от постоянно томящей грусти, не покидавшей его во все время дороги. Пробыв в Нижнем Новгороде не более суток, он успел осмотреть кремль, соборы, подземную церковь, ярмарку и поехал затем на почтовых по шоссе до Москвы.

По воле императора Николая Михаил Александрович должен был жить в своем имении, селе Марьино (Московской губернии Бронницкого уезда, в 50 верстах от Москвы), с запрещением въезда в столицу. На другой день по приезде он отправился вместе с Екатериною Федоровной Пущиной туда на жительство. Проезжая Бронницы, он посетил свежую могилу дорогого и столь нежно любимого брата. Это посещение было для него невыразимо тяжело; во время служения панихиды на могиле слезы лились из глаз злополучного старика. (Иван Александрович похоронен в родовом склепе при Бронницком соборном храме, где также было оставлено место и для Михаила Александровича.)

Тяжело было ему, одинокому, убитому горем, поселиться в родовом имении, где жили его отцы и деды, где все когда-то кипело жизнью, общею с ним, тогда как теперь он был одинок и в среде общества, совершенно чуждого ему по взглядам и понятиям. Все, что было дорого ему на родине, лежало в свежих могилах, а все дорогое и близкое его сердцу: жена, приемные дети, товарищи, друзья-все были далеко, в стране изгнания, куда невольно летело его сердце. Он сам впоследствии передавал мне, какую сердечную муку пришлось ему вынести первое время по своем возвращении в Россию. Когда пришлось ему расставаться с сибирским жандармом, сопровождавшим его до села Марьина и от которого он во всю дальнюю трудную дорогу не видел ничего, кроме самого сердечного внимания и заботливости, то он обнял его как задушевного друга. Жандарм до того был растроган, что даже поцеловал у него руки.