Центральное храмовое сооружение, имеющее высоту около 20 метров и ширину более 60 метров, полностью вырезано из монолитной скалы, носившей название Кайлаш. Самая удивительная особенность этой постройки заключается в том, что ее возведение велось сверху вниз методом вертикальной экскавации. Утвердившись на вершине скалы, строители принялись вырезать многоуровневые пещеры и переходы, продвигаясь вглубь базальтовой породы. Каждая пещера превращалась в многоуровневую систему коридоров и залов.
Как следует из древних рукописей, от внешней галереи, расположенной по периметру купола, внутрь, к центральному залу культового сооружения были проброшены легкие каменные мостки, однако время оказалось к ним особенно безжалостно, и до нашего времени не сохранилось ни одного. Индуистские храмы в целом отличаются от буддистских особенной роскошью и прихотливостью декоративного оформления стен, и Кайлаш можно считать эстетическим каноном данного религиозного течения, - все стены замка густо «расписаны» разнообразными каменными барельефами.
Всего за время строительства из храма было вывезено порядка 400 тысяч тонн горной породы. Основание величественного замка оформлено в виде многочисленной армии слонов, охраняющих порядок на священной территории.