Pada zaman dahulu kompleks gua tersebut dikelilingi oleh danau yaitu Danau Jati. Lokasi dimana dulu terdapat Danau Jati saat ini sudah mengering dan dilalui jalan by pass Brigjen Dharsono, sungai Situngkul, lokasi Pembangkit Listrik Tenaga Gas, Sunyaragi milik PLN, persawahan dan menjadi pemukiman penduduk. Selain itu di gua tersebut banyak terdapat air terjun buatan sebagai penghias, dan hiasan taman seperti Gajah, patung wanita Perawan Sunti, dan Patung Garuda. Gua Sunyaragi merupakan salah satu bagian dari keraton Pakungwati sekarang bernama keraton Kasepuhan.