Остров, на котором стоит Ольгин павильон, был насыпан при устройстве пруда в 1838 г. и тогда же был передан во владение капитану В.И.Трувеллеру. Образованный и энергичный сотрудник дворцового правления, инженер корпуса путей сообщения построил на северном берегу нового пруда дом, купальню, бани, гостиницу. Остров стал частью его большой усадьбы. Здесь В.И. Трувеллер разбил сад и возвел в северо-западной части Швейцарский домик с беседкой над его ценральной частью. Владелец планировал строительство еще одного здания в юго-западной части, у самой воды, и его фасад уже был утвержден императором в 1845 г. Но планы Николая I очень скоро изменились... Летом 1845 года остров с домиком, садом с клубничными грядками, плодовыми деревьями и пристанями был выкуплен у владельца в казну. Швейцарский домик разобрали, покрытие дорожек сняли, выкопали фруктовые деревья. Были сделаны новые горизонтальная и вертикальная планировка, так, чтобы остров плавно понижался к восточному берегу.
Николай I приказал архитектору А.И. Штакеншнейдеру построить здесь павильон, «соображаясь в архитектурном отношении с фасадом такого павильона на Царицыном острове, но в меньшем размере». Остров с павильоном предназначался в подарок средней дочери императора – в.к. Ольге Николаевне (1822-1892) к ее свадьбе с принцем Карлом Вюртембергским. Строительство началось в апреле 1846 г. За два месяца, к возвращению Ольги Николаевны с матерью из Палермо, ко дню ее бракосочетания павильон был «окончен вчерне и подведен под крышу». По указанию Николая I стены были изнутри и снаружи затянуты холстом и разрисованы «под штукатурку». Свадьба состоялась в Петергофе, 1июля(по ст.ст.) 1846 г. С тех пор павильон, остров и пруд стали называться Ольгиными. Но еще два года продолжались отделочные работы внутри здания и на его фасадах.