Основание русской крепости в устье Волги имело не только торговое, но и важное военное значение. Постоянная военная угроза с востока и юга предопределила строительство каменного кремля. В 1582-1589 гг. деревянная крепость была перестроена в камне. Еще в царствование Федора Иоанновича были выданы разрешения и чертежи на строительство каменного кремля в «окрестности не более как стоял старый палисад т.е. деревянный кремль»; «...кирпич приказано было брать с Ахтубы, разрывать дома, а если не достанет амусы (т.е. улусы) ломать стены города, поставить в кремле восемь башен, к наружному месту больше, а где менее беды поменьше, но чтобы все были о трех бойницах, с выхода где город будет на востоке ставить выше и шире большую башню, чтобы можно было в ней проезжать: чертеж указует ширины: город старый как стоял, так тут и ямы рыть, а что бог даст, то хотели приумничать побольше, в кремле сделать два зелейных двоpa, а для белого города принесут чертеж...».

Адам Олеарий, секретарь Голштинского посольства в начале XVII столетия увидел и описал уже каменный кремль. «...Грозный укрепил город крепкой каменной стеной, а нынешний великий князь расширил его, приказал пристроить к нему стрелецкий город (Strelitza gorod) или часть города, в котором живут теперь стрельцы...

Город снаружи, с Волги (которая здесь шириною в 2260 футов), имеет довольно красивый вид по множеству башен и колоколен; внутри же по большей части состоит из деревянных строений... В городе проживают, впрочем, не одни только русские, но и персияне и индийцы, все они имеют там свои торговые площади...». Сооружение каменных укреплений Астраханского кремля осуществлялось под руководством московских мастеров-градодельцев Михаила Вельяминова и Дея Губастого; свои рекомендации по технологии и использованию местных строительных материалов, на основе присланных в Москву образцов, дал знаменитый мастер Ф. Конь. Каменные стены и башни кремля возводились на основе достижений военно-строительной инженерии XVI столетия и только в общих чертах напоминают более ранние крепости центральной России. Стены и башни были обустроены особой системой организации пушечного и пищального боя.

Кремль являлся историческим ядром Астрахани, разраставшейся, в основном, в восточном направлении от Волги: он занимал западную оконечность Долгого бугра.