El anejo de Los Olivos presenta un hábitat bastante disperso.

La zona abrupta de la ladera corresponde al poblamiento más antiguo. En ella predominan las cuevas, dispuestas en distintos niveles, algunas de ellas deshabitadas.

En la parte de la loma donde la pendiente es más suave y cuyo poblamiento es posterior, aparecen viviendas tipo cortijo y algunas edificaciones nuevas, conectadas entre sí por pequeños caminos rurales.

A 2 Km. hacia el norte, en el lugar llamado “El Cerrón”, se encuentra el conocido Complejo Recreativo Municipal “El Lago”, abierto durante los meses de verano.