В 1721 году комплекс начал строиться с возведения двух павильонов "Hofkontrollhaus" и "Hofzahlhaus" (финансовое управление епархии) по обеим сторонам от главного входа. Будущий владелец дворца постоянно лично вмешивался в ход строительства, что привело к тому, что главные архитекторы проекта несколько раз менялись. На первом этапе проектировка руководство работой было поручено Максимилиану фон Велшу. В 1725 году его сменил Ансельм Франц Фрайхерр фон Риттер зу Грюнштайн. Через три года за возведение дворца, несмотря на огромную занятость, взялся знаменитый создатель многих архитектурных шедевров, Бальтазар Нейман.

Между 1733 и 1736 годами, строительство было прервано из-за начавшейся войны. Фон Шёнборн в течение трёх лет был вынужден покинуть это место перед угрозой французской оккупации. Когда же в 1743 году фон Шёнборн умер, его приемнику досталось хорошо экономически развитая епархия, с чёткой системой управления. При кардинале Кристофефон Хуттене, многие комнаты «Главного здания», были оформлены в стиле рококо, а к его фасаду добавились новые декорации.

Но особой гордостью Брухзаля стали его роскошные интерьеры. Это и причудливый "Fürstensaal" (Зал Принца), вошедший в ряд самых известных банкетных залов немецкого Ренессанса. И величественный "Marmorsaal" (Мраморный Зал), яркий представитель рассвета стиля Рококо. И монументальная парадная лестница, названная некоторыми искусствоведами «королевой немецких лестниц». Ее два изогнутых марша начинаясь от центрального вестибюля, ведут к ярко освещённому верхнему залу, над более тёмным залом гротом. Практически все помещения были украшены изумительной настенной и потолочной росписью, выполненной известными итальянскими и немецкими мастерами.

После смерти кардинала Кристофа фон Хюттена и закатом эпохи абсолютизма, дворец Брухзаль, начал утрачивать своё влиятельное положение. В 1803 году после отделения церкви от государства, Шпейер и в том числе вся церковная собственность перешла в руки Баденской правящей династии. С 1810 по 1832 в северной части дворца проживала вдова Маркграфа Амалия фон Баден. После её смерти дворец в течение нескольких десятилетий находился в запустении. В марте 1945 года, после тяжёлой бомбардировки, дворец фактически превратился в руины, и только в 1964 году правительство земли Баден-Вюртемберг, приступило к реализации масштабной программы по его восстановлению.