За Мойкой Невский заметно сужается: это самая старая часть проспекта, сложившаяся еще в середине XVIII века. Пройдя по правой его стороне, минуем дом (Невский проспект, 12), построенный уже в XX веке: в пушкинское время здесь стоял невысокий четырехэтажный дом с аркой ворот посередине. В 1820-е годы в нем жил граф Милорадович, петербургский военный губернатор, в канцелярию которого Пушкин был вызван для объяснения по поводу своих вольнолюбивых стихов.
Дом №12 (слева), 1830-е гг.
Садовников В. С., Панорама Невского проспекта. 1830-1835 годы. Невский пр. 12, Невский пр. 14
К 1804 году домом №12 владел богатый греческий купец Иван Калержи, приехавший в Петербург примерно в 1800 году.
Иван Калержи, занимавшийся торговлей пшеницей и сальными свечами, которые он с большой выгодой вывозил из России в Турцию и Италию через Азовское, Черное и Средиземное моря на принадлежавших ему судах, составил себе огромное состояние.
С 1819 года верхний этаж дома Калержи снимал военный губернатор Петербурга граф Михаил Андреевич Милорадович, вступивший на этот пост за год до этого.
По словам историка А. И. Михайловско-Данилевского квартира Милорадовича была похожа на "магазины мебели или изящных художеств по великому множеству разнообразных предметов и вещей, в них находившихся; я не видел нигде подобного убранства: это был совершенно беспорядок, соединённый с утончённым вкусом. Например, тут стояли картины Тициана, Вернета, Сальватора Розы, Гвидо Рени, а подле них книги, планы, птицы, трубки, янтарные мундштуки и два фортепиано. Почти каждая горница имела своё собственное освещение; в одной свет происходил от восковых свечей, в другой - от алебастровых ламп, в третьей свечи были приспособлены таким образом, чтобы их не было видно, и они освещали одни картины. Одна комната была вся зеркальная: не только стены, но и потолок состоял из зеркал; другая комната убрана была диванами а турецкий манер, и в ней повешены были самые сладострастные картины. Посреди библиотеки был птичник; прекрасные мраморные статуи находились повсюду. "Где же ваша спальня?" - спросил я его. "У меня нет спальни, - отвечал он, - я провожу ночь, где мне вздумается". В одной зале, где находились прекрасные картины и статуи, я увидел чёрную мраморную вазу. Возле неё стоял горшок с увядшим кипарисом, и на вопрос мой ,что сие значит, хозяин ответил мне, что "это памятник моего потерянного счастья"".
Весной 1820 года Пушкина вызвали к военному генерал-губернатору Петербурга графу М. А. Милорадовичу для объяснения по поводу содержания его стихотворений (в том числе эпиграмм на Аракчеева, архимандрита Фотия и самого Александра I), несовместимых со статусом государственного чиновника. Шла речь о его высылке в Сибирь или заточении в Соловецкий монастырь. Лишь благодаря хлопотам друзей, прежде всего Карамзина, удалось добиться смягчения наказания. Его перевели из столицы на юг в кишинёвскую канцелярию И. Н. Инзова.

При Милорадовиче состоял в качестве чиновника по особым поручениям поэт и будущий декабрист Федор Глинка. Он вспоминает, как однажды явился к своему начальнику и Милорадович, "лежавший на своем зеленом диване, закутанный в дорогие шали, закричал навстречу: "Знаешь, душа моя! У меня сейчас был Пушкин. Мне ведь велено взять его и забрать все его бумаги; но я счел более деликатным пригласить его к себе и уж от него самого вытребовать бумаги. Вот он и явился очень спокоен, с светлым лицом и, когда я спросил о бумагах, он отвечал: "Граф! Все мои стихи сожжены: у меня ничего не найдете в квартире, но, если вам угодно, все найдется здесь (он указал пальцем на свой лоб). Прикажите подать бумаги, я напишу все, что когда-либо написано …". Подали бумаги, Пушкин сел и писал, писал... и написал целую тетрадь. Вот она , полюбуйтесь. Завтра я отвезу ее Государю. А знаешь ли, Пушкин пленил меня своим благородным тоном и манерою обхождения". На другой день я пришел к Милорадовичу поранее. Он возвратился от Государя, и первым словом его было: "Ну вот, дело Пушкина и решено!" И продолжал: "Я подал Государю тетрадь и сказал: "Здесь все, что разбрелось в публике, но вам, Государь, лучше этого не читать". Потом я рассказал подробно, как у нас дело было. Государь слушал внимательно и, наконец, спросил: "А что же ты сделал с автором?" - "Я? Я объявил ему от имени Вашего Величества прощение!" - Тут мне показалось, что Государь слегка нахмурился. Помолчав немного, он с живостью сказал: "Не рано ли?" Потом, еще подумав, прибавил: "Ну, коли уж так, то мы распорядимся иначе: снарядить Пушкина в дорогу, выдать ему прогоны и, с соблюдением возможной благовидности, отправить его на службу на юг".
Губернатор выехал из дома Калержи в начале осени 1822 года. Ещё с июня в "Санкт-Петербургских ведомостях" давалось объявление о сдаче с сентября "двух этажей, в коих жительствует ныне Его сиятельство С. П. Б. Военный Генерал-Губернатор гр. Михайло Андревич Милорадович". При переезде в казённые апартаменты (Большая Морская ул., 38) ему помогал перевозить вещи специальный отряд.
фото 1902 г. : Невский пр., д.12