ถ้ำหินงอก หินย้อย แห่งนี้ พระราชวิมลโมลี เจ้าอาวาสวัดพายัพได้ไปนำหินที่ใช้ทำลูกนิมิต หินปะดับสวน และ หินอ่อนอุโบสถซึ่งไปพบหินงอกหินย้อยที่ชาวบ้านเขาวง ต.หน้าพระลาน อ. พระพุทธบาท จ.
สระบุรี นำมาตั้งขายโดยหินเหล่านี้ได้มาจากการระเบิดหินภูเขาซึ่งรัฐบาลให้สัมปทาน แก่บริษัทโรงงานโม่หินผลิตปูน ซึ่งภายในมีหินงอกหินย้อยสีสันสวยงามจำนวนมาก
หลวงพ่อเจ้าคุณวัดพายัพ จึงคิดหาวิธีเก็บรักษาหินงอกหินย้อยเหล่านี้ ไว้ให้คนรุ่นหลังได้ดูโดยสร้างกุฏิวายุภักษ์สำนักงานเจ้าอาวาสขึ้น ทำชั้นล่างให้เป็นถ้ำหินงอก หินย้อย ซึ่งได้ออกแบบเขียนแปลนและควบคุมการก่อสร้างเองทุกขั้นตอน
ต่อมาในปี 2533 – 2536 จึงได้นำหินมาคัดแยกกลุ่ม ประเภทสีล้างทำความสะอาด ใช้สว่างเจาะหินทุกก้อนใส่กาว ฝังเหล็ก รองรับตามขนาดน้ำหนักหิน ใช้คนงานและพระเณรช่วยกันติดตั้งเกาะแขวนห้อย
เชื่อมด้วยไฟฟ้า อัดปูนชีเมนต์ เสริมตกแต่งรอยต่อหินก้อนเล็ก ๆ จนเต็มพื้นที่ ทั้งเสา เพดาน ฝาพนัง แต่งฐานแท่นที่ตั้งองค์พระพุทธรูปโบราณต่าง ๆ และได้คัดเลือกหินที่เป็นแก้วสีใสสวยงามส่วนหนึ่งใส่ไว้ในตู้กระจก
ขนาดพื้นที่ถ้ำมีความกว้าง 12 เมตร ยาว 16 เมตร สูง 3 เมตร เป็นกุฏิทรงไทย 2 ชั้นครึ่ง ชั้นบนเป็นที่ทำงานของเจ้าอาวาส สร้างปี 2533 เสร็จปี 2536 รวมมูลค่าหินงอก หินย้อย
และอุปกรณ์ก่อสร้างทั้งหลัง ประมาณ 4,730,000 บาท และเมื่อวันที่ 22 มกราคม 2536 สมเด็จพระญาณสังวรสมเด็จพระสังฆราช วัดบวรนิเวศนฯ เสด็จเยี่ยมชม