Первое упоминание о Красно-каменном замке приходится на первую половину 13-го века. Замок был построен по просьбе королевы Констанции Ухорской, вдовы чешского короля, на ее собственной земле до 1240 года. В то же время замок получил название - Красный Камень (Cerveny Kamen на словацком языке) или бобровый замок.
Первоначально замок принадлежал Короне, а затем перешел во владение Матуса Чака Тренчианского и ряда семей, включая Запольских, Турзо