Это здание вместе с другими - Дворянского собрания, домом Гончарова и Симбирской классической гимназией формировало небольшой Дворянский переулок, создавая своеборазный историко-архитектурный ансамбль, богатый памятными событиями и фактами.

В этом здании в октябре 1824 года останавливался Александр I. Через 10 лет, в этом здании на правах родственника жены губернатора А.М. Загряжского здесь был А.С. Пушкин.В 1834-1835 гг. сюда приходил на службу выпускник Московского университета И.А. Гончаров. Во дворце останавливались императоры Николай I, Александр II, Александр III, Николай II в бытность наследником, а так же другие члены императорской фамилии.

После февральской революции 1917 г. дом был занят Советом рабочих и солдатских депутатов и переименован в Дом свободы. До конца 1960-х гг. в здании размещались областные учереждения, а в 1968 было принято поспешное и опрометчивое решение о сносе исторического и архитектурного памятника.