Годы, последовавшие за конференцией, к сожалению, никак не сказались на
судьбе музея. Вместо него во дворце разместилась государственная дача одного
высокого ведомства. Но самое странное, что при ее ликвидации в 1953 году было
принято нелепое решение об организации во дворце не музея, а санатория. Поредевшая
и без того коллекция разошлась по всей стране. Когда в 1956 году в результате
постановления правительства встал вопрос о возобновлении деятельности музея,
пришлось все начинать заново. Постепенно с большими трудностями возвращали на
свое место экспонаты. Увы, часть их так и не удалось вернуть. Вошла в экспозицию
музея изобразительных искусств имени А. С. Пушкина античная коллекция Воронцовых.
Из тридцатитысячного собрания библиотеки, отправленного в Москву, назад вернулось
лишь пять тысяч карт, чертежей, гравюр и три тысячи книг.
В настоящее время в результате большой поисковой и собирательской работы
музею удалось восстановить убранство парадных интерьеров, дополнительно открыть
в залах Шуваловского корпуса постоянную выставку живописи из фондов и отдельно
разместить для показа переданную в дар музею коллекцию живописи и графики профессора
В. Н. Голубева. На сегодняшний день количество экспонатов основного фонда достигло
20 тысяч единиц хранения.