В летописях XII века неоднократно упоминался деревянный острог, на месте которого в конце XVI века была построена каменная цитадель. Называлась она Кремлем и была шестиугольной в плане, с круглыми угловыми башнями и квадратной надвратной. Невысокие стены имели три яруса бойниц.

Уповая на надежность кремля, здесь в 1570-х годах устроили свое подворье монахи загородного Молчанского монастыря (ныне Софрониевский монастырь у села Новая Слобода Путивльского района). В 1580-1590 годах посередине крепостного двора они построили собор Рождества Богородицы, а к 1597 году прибрали к рукам и всю крепость, превратив ее в монастырь.