После свадьбы герцог и герцогиня Гамильтон жили в фамильном замке герцогов Brodickна острове Арран. Герцога называли « самым красивым молодым человеком в Европе». В то же время он был очень популярен в Англии и был известен как «Герцог Дуглас». Принцесса любила заниматься парковым дизайном, а так же разведением многих сортов роз (что для климата Шотландии, было редкостью).

У них было двое детей: дочь Мэри Виктория и сын  Уильям Александр Луи Стивен, 12-й герцог Гамильтон.

Среди многочисленных гостей пары в замке были принц Луи Наполеон и герцогиня Кентская.

Королева Виктория была крестной матерью их единственной дочери, леди Мэри Виктория, (родилась 11 декабря 1850 года). Маленькая девочка, могла приготовить омлет для гостей родителей, (чем приводила последних в неописуемый восторг).

В среду, 15 июля 1863 года в возрасте пятидесяти двух лет, герцог Гамильтон умер в Париж в результате несчастного случая.

После смерти мужа, герцогиня оставила Арран и переехала в Лондон, а со временем вернулась в родной Баден-Баден, где и умерла17 октября 1888 года. 

Ее дочь, Мэри Виктория  не любила сельскую жизнь. Со временем парк пришел в запустение, цветники исчезли. В конце концов, замок был заперт.

Леди Мэри Виктория Дуглас-Гамильтон была дважды замужем.

- Альбертом I, Оноре Гримальди, князем Монако;

- Tassilo Festetics de Tolna, принцем Венгрии;

Леди Мэри Виктория Дуглас-Гамильтон умерла в 1922 году.

11 герцога сменил их сын Уильям Александр Луи Стивен, 12-й герцог Гамильтон, который родился 12 марта 1845. Молодого герцога Уильяма когда-то считали женихам принцессы Алисы, что вызывало у королевы Виктории некоторую тревогу (герцог отличался непостоянством и довольно беспутным образом жизни). Но к счастью для принцессы Алисы она встретила великого герцога Людвига Гессенского и вышла за него замуж.

Титул герцога Châtellerault, предоставленного далеким предкам в 1548 году, и переходящий в разное время различным ветвям семьи Гамильтон, был присвоен Уильяму Александру, 12-му герцогу Гамильтону, Наполеоном III в 1864 году.

Молодой герцог наслаждался жизнью во Франции. Прожил довольно беспутную жизнь и скончался, 16 мая 1895 на своей яхте в Алжире.