Первоначальная крепость на этом месте была построена между 10-ыми и 11-ыми столетиями на берегу реки Лоир, чтобы защитить земли королевства Анжу от вторжений Норманнов, а затем от англичан во время Столетней войны. В полной мере справиться со своей задачей замок не сумел и был захвачен неприятелем.
Лишь в 1427 году войска Людовика XI вновь отбили замок у неприятеля. Штурм возглавлял маршала Франции Жиль де Ре, которому в награду и досталось строение.
В 1477 году замок переходит в руки Жана II де Дайон. Дайон был небедным человеком и переоборудовал замок, построив вокруг центральной башни три новых каменных корпуса.
Крепость преобразовалась в изящный дворец для удовольствия и развлечений. Более двух столетий замком владели и вносили свои улучшения его потомки. В эпоху Ренессанса замок преобразовался в соответствии с модным итальянским стилем. В роскошных покоях замка останавливались много знаменитостей: Энри IV, Луи XIII и Маркиза де Севинье.