El pueblo de Castilléjar está delimitado por un promontorio que se eleva en la encrucijada de 2 ríos: el Río Guárdal y el Río Galera.

Su entramado urbanístico delata el origen defensivo de la cima, que, producto de las necesidades de crecimiento en distintas épocas, ha ido extendiéndose por sus laderas, salvando el precipicio de una de sus vertientes.

Presenta un serpenteante trazado vial, testimonio de las numerosas eras de trillar que salpicaban el montículo y en las que aventaban sus antiguos labradores. La mayoría de sus viviendas tienen la particularidad de haber sido excavadas, total o parcialmente, en la tierra, lo que convierte a Castilléjar en uno de los pueblos con mayor proporción de casas-cuevas de toda la comarca.

La mejor panorámica de la localidad se puede apreciar desde la carretera de Castril, con la vega del Río Guardal en primer plano, sobre él que se eleva una pared horadada por un grupo de oquedades, las "Cuevas de la Morería", y las casas del pueblo situadas en la cumbre, entre las que despunta la torre de la Iglesia.