Свое название деревня получила от замка, который изначально закладывался как форт римлян и в 1135 году стал замком. В 14 веке замок Касл Комб разрушили, а из камней, оставшихся на руинах, строили деревенские дома. Очень много зданий, находящихся в деревне Касл Комб, построены еще в 15 веке и до наших времен их внешний облик не менялся.

Необычный и сказочный вид деревушки Касл Комб привлекает большое количество туристов, которые приезжают пожить в старинных домах, так как многие из них обустроены как отели. К примеру, четырехзвездочный отель Манор Хаус построен в 14 веке, в нем 48 номеров, а сад занимает территорию в 365 акров.

В 15 веке деревня Касл Комб процветала. Когда хозяином поместья был сэр Джон Фастолф, рыцарь Норфолка, он способствовал развитию шерстяной промышленности. Шерсть он поставлял и своим войскам, и войскам Генри V во время войны во Франции.

В этом чарующем и волшебном месте не раз проводились съемки фантастических и исторических фильмов. Здесь были сняты несколько эпизодов сериала «Пуаро Агаты Кристи», фильм «Звездная пыль», а в 2010 году в Касл Комбе снимал один из своих фильмов Стивен Спилберг.