Einst Raststation, heute Ausflugsziel
In den Jahren 1932-1935 wurden vor den Felsen 1-3 archäologische Grabungen durchgeführt. Hochmittelalterliche Keramik und Metallfunde zeigen, dass das Gelände im 10. bis 13. Jahrhundert besiedelt war. Die Funde deuten auf ein herrschaftliches Anwesen hin, was durch Urkunden des 12. Jahrhunderts bestätigt wird. Der Abt des bedeutenden Klosters Werden bei Essen besaß an den Externsteinen einen Hof, der ihm auf seinen regelmäßigen Reisen ins Tochterkloster Helmstedt als Raststation diente. Die Externsteine lagen an einem bedeutenden Fernweg vom Rhein zur Elbe.
Im 14. und 15. Jahrhundert lebten unter dem Schutz der Edelherren zur Lippe Einsiedler in der Grottenanlage. Um 1660 errichtete Graf Hermann Adolph zur Lippe vor den Felsen eine Festung, welche aber bald wieder verfiel.
Infolge des aufkommenden touristischen Interesses ließ ab 1809 Fürstin Pauline zu Lippe Renovierungsmaßnahmen durchführen. Um 1837 wurde der Stauteich angelegt.