Сохранившийся до наших дней дворец представляет собой перестроенное архитектором А.И. Штакеншнейдером в 1846—1848 гг. здание в стиле необарокко, или русское барокко. Перестройку осуществили по заказу вдовы князя Белосельского-Белозерского Елизаветы Павловны, которая вышла второй раз замуж за князя В.В. Кочубея. Впоследствии в этом дворце жили, были его владельцами еще более сановитые люди — великий князь Сергей Александрович (жил здесь в 1884—1891 гг.), а после его переезда в Москву — его воспитанник и крестник великий князь Дмитрий Павлович (участник убийства Распутина в юсуповском дворце).

Этот дворец тесно связан с земной жизнью как минимум двух русских святых: жены Сергея Александровича, великой княгини Елизаветы Федоровны, и его племянника, наследника престола Николая Александровича, ставшего императором Николаем И.
В 1890 г. в этом дворце на сцене домашнего театра ко дню рождения Александра III были сыграны некоторые сцены по роману А.С. Пушкина «Евгений Онегин». Роль Татьяны исполняла великая княгиня Елизавета Федоровна, сестра императрицы Александры Федоровны, а Евгения — цесаревич Николай Александрович. Репетиции проходили под наблюдением великого князя Сергея Александровича. Успех был столь большой, что под воздействием просьб представителей высшего света пришлось повторить сценическое действие еще раз перед более широкой аудиторией по сравнению с сугубо семейной публикой. На память об этом сценическом дебюте Елизавета Федоровна наградила племянника лавровым венком, а он ей подарил браслет.
Дворец Белосельских-Белозерских, или дворец великого князя Сергея Александровича, до сих пор притягивает взор. В нем сохранились стилизованные под рококо парадные интерьеры второго этажа. Запоминаются и терракотовые фигуры атлантов, поддерживающие колонны на фасадах (выполнены по модели скульптора Д.И. Иенсена). Теперь во дворце находится муниципальный культурный центр.
Вспоминая или посещая этот дворец, нужно лишний раз вспомнить его самых известных жителей.