พิพิธภัณฑ์วัดพระบรมธาตุสวี เป็นพิพิธภัณฑ์ด้านประวัติศาสตร์ที่บอกเล่าเรื่องราวประวัติความเป็นมาของพระบรมธาตุสวี คำว่า "สวี" สันนิษฐานว่า เพี้ยนมาจากคำว่า "วีปีก" ที่แปลว่า "กระพือปีก" ตามคำบอกเล่า เล่าว่า พระเจ้าศรีธรรมาโศกราชได้ยกทัพมาจนพบวัดร้างแห่งหนึ่ง พบฝูงอีกาบนฐานกองอิฐ เมื่อรื้อกองอิฐออก ก็พบฐานเจดีย์ และด้านในพบผอบที่มีพระบรมสารีริกธาตุบรรจุอยู่ จึงสั่งให้ทหารช่วยสร้างเจดีย์ขึ้นมาใหม่ และพระราชทานชื่อให้ว่า "พระบรมธาตุกาวีปีก" ภายในห้องจัดแสดงยังมีการจัดแสดงโบราณวัตถุ ศิลปวัตถุ ตั้งแต่ยุคก่อนประวัติศาสตร์ พระพุทธรูป ลูกปัด และภาชนะดินเผาที่ค้นพบบริเวณวัดและพื้นที่ใกล้เคียง นอกจากนั้นยังมีการจัดแสดงหุ่นขี้ผึ้งจำลองที่เล่าเรื่องวิถีชีวิตของชาวหลังสวน ประกอบการจัดแสดงสิ่งของเครื่องใช้ต่าง ๆ ของชาวบ้านในอดีต