Дом построен на месте сада усадьбы генерал-майора Николая Захаровича Хитрово, по имени которого названа Хитровская площадь (смотрите
подробную статью на сайте Благотворительного Фонда «Хитровка»). Главный дом усадьбы сносить не стали — он стоит во дворе и проглядывается через арку. Разобрана только церковь Смоленской Божией Матери 1698 года.
Усадебный дом построен в 1757 году княгиней Н. С. Щербатовой, а в 1822 году перестроен в стиле ампир. На фронтоне дома сохранился герб рода Хитрово. В конце XIX века в усадьбе была устроена лечебница для бедных, получившая название Орловской.