วัดบางพระเป็นวัดสำคัญวัดหนึ่งของอำเภอนครชัยศรี สันนิษฐานว่าสร้างขึ้นราวสมัยกรุงศรีอยุธยาตอนปลาย วัดนี้จึงมีโบราณวัตถุสะสมเป็นจำนวนมาก ประกอบกับพระอุดมประชานารถ หรือที่ชาวบ้านทั่วไปเรียกว่าหลวงพ่อเปิ่น อดีตเจ้าอาวาส ท่านเป็นเกจิอาจารย์ที่ได้รับการขนานนามจากบรรดาศิษยานุศิษย์ว่า "เทพเจ้าแห่งลุ่มแม่น้ำนครชัยศรี" มีลูกศิษย์เคารพนับถือเป็นจำนวนมาก วัดบางพระจึงสร้างพิพิธภัณฑ์ที่สร้างด้วยหินอ่อนขึ้นทั้งหลัง ชื่อว่าพิพิธภัณฑ์หินอ่อนพื้นบ้านหลวงพ่อเปิ่น จัดแสดงเกี่ยวกับประวัติของหลวงพ่อเปิ่น วัตถุโบราณของวัด รวมถึงพระเครื่องและวัตถุมงคลของหลวงพ่อเปิ่น