Усадьба на берегу реки Усманка была построена во второй половине XVIII века. Сначал она принадлежала полковнику Алексею Семеновичу Лосеву, прадеду поэта Дмитрия Веневитинова. Затем поместьем стала управлять дочь Лосева – Дарья Алексеевна. При ней особняк был достроен. Здание перешло по наследству внуку Алексея Семеновича – титулярному советнику Николаю Александровичу Шатилову. Он был женат на сестре выдающегося русского композитора Александра Александровича Алябьева. Шатилов писал театральные пьесы, а сам стал прототипом либерального болтуна Репетилова из комедии А.С. Грибоедова «Горе от ума». Александр Алябьев нередко гостил в усадьбе, и именно здесь написал многие романсы, водевили, а также комическую оперу, вошедшую в золотой фонд русской классической музыки.
В 1837 году усадьба была отписана дочери Николая Шатилова – Софье Николаевне, которая вышла замуж за барона Александра Карловича Сталь фон Гольштейна. Их потомки владели поместьем до 1917 года. После революции бывшая усадьба находилась в ведении обкома ВКП(б) – КПСС. В 1972 году здесь останавливались первый секретарь ЦК компартии Кубы Фидель Кастро и председатель Совета Министров СССР А.Н. Косыгин.
Восстанавливать комплекс начали в 2010 году, а завершили работы в 2012-м. Специалисты обнаружили в господском доме сохранившиеся детали интерьера и внешнего декора XVIII века.
