Забвение и разрушение: трудный XX век
После революции 1917 года судьба дома круто переменилась. Здание было национализировано, коллекцию музея перевезли в Зимний дворец, и впоследствии она стала основой Музея истории Санкт-Петербурга. В особняке же разместился детский сад, а дворовые флигели были отданы под коммунальные квартиры.
Единственная за весь советский период профессиональная реставрация была проведена в 1939 году, а затем, после войны, здесь обосновалась детская библиотека. К концу XX века здание, постепенно приходившее в упадок, окончательно расселили и признали аварийным в 2008 году. С того момента начались долгие годы забвения: особняк не был законсервирован и стремительно разрушался. Вандалы растаскивали ажурные решётки, разбивали лепнину и уникальную статую Аполлона, от которой остался лишь фрагмент ноги. Разграбили камины, печи и сохранившиеся элементы интерьеров.
При этом, администрация города неоднократно объявляла о планах по восстановлению памятника. В 2016 году его едва не передали Музею-институту исламской культуры, но и этот проект не был реализован. И тогда казалось, дом обречён на вечное забвение и разруху.