Замок Шварценберг был основан на средневековом укреплении и вместе с церковью Св. Георгия доминирует над сценой большого уездного города Шварценберг в саксонском округе Эрцгебиргскрайс .
Замок, вероятно, был основан в 12 веке как форт и был первоначальной базой для поселения Шварценберг и его окрестностей.
Свой нынешний вид бывший замок получил в результате преобразования в охотничий домик для саксонского курфюршеств