Дворец княгини Ольги Палей построен архитектором К. К. Шмидтом в 1911—1914 гг. для Павла Александровича и его жены Ольги Палей и располагается на Советском переулке в глубине сада. Внешний облик здания напоминает французский дворец. И это неслучайно. Павел Александрович с супругой долго жили в Париже, что, в свою очередь, сказалось на характере их дома. Здание построено в стиле неоклассицизма и несколько напоминает Компьенский дворец и Малый Трианон. Мебель для дворца заказывалась во французской фирме Буланже. Дворец был оборудован своим водопроводом и электростанцией.
На воротах ограды, которая скрывает главный фасад, когда-то был вензель с изображением короны великого князя, последние годы жизни которого тесно были связаны с этим домом. Будучи младшим сыном императора Александра II, он родился в Царском Селе. С детства его готовили к карьере военного, но его слабое здоровье и жизненные обстоятельства помешали ее осуществлению. В 1891 г. после счастливого, но скоротечного брака, Павел остался с двумя детьми вдовцом. В 1902 г. Павел с Ольгой Пистолькорс, с которой он обвенчался в греческой церкви, бежал в Италию. В 1904 г. Николай II формально признал брак своего дяди, и в 1908 г. Павел Александрович с супругой и детьми получил возможность вернуться в Россию. Супруга его получила разрешение жить в Царском Селе, но законным брак был признан только в 1915г.; тогда жена Павла и их дети получили фамилию Палей и российский княжеский титул.
В 1910 г. Ольга Валериановна купила у наследников сенатора Половцова дом в Пашковом переулке. Первый владелец этой усадьбы, которая была основана в 1820 г., — статский советник Чертков И. Д. При нем был выстроен дом и заложен сад. В 1839 г. участок стал собственностью вдовы генерал-лейтенанта Пашкова, а в 1868—1910 гг. домом владели Н. М. Половцова, а потом — ее наследники.
Старый ветхий дом был разобран, а на его месте по проекту архитектора К. К. Шмидта был построен ныне существующий дворец. На главном фасаде планировалось разместить герб великого князя Павла Александровича, но государь был против этого, так как домовладение принадлежало княгине.
Строительные работы выполнялись французскими и бельгийскими рабочими, а строительные материалы, в том числе и обшивка стен, и фурнитура окон и дверей были привезены из-за рубежа. При оборудовании усадьбы были применены все новинки для обустройства комфортного жилища. Новоселье состоялось в 1914 г. — буквально за несколько месяцев до того, как началась Первая Мировая война. Построенный Шмидтом дворец являл собой хрестоматию стилей — начиная эпохой Людовика XIV и заканчивая ампиром. Неоклассические фасады в некотором роде напоминали особняк великого князя в Булонь-сюр-Сен в Париже. В ансамбль парадных интерьеров дворца входили стоящие в специальных шкафах коллекции хрусталя и фарфора старинной работы, живопись и шпалеры, скульптура, декоративные панно.
