ตำหนักประถมเดิมสร้างขึ้นใน พ.ศ.2462 เป็นตำหนักแรกภายในวังเพชรบูรณ์ของสมเด็จเจ้าฟ้าจุฑาธุชธราดิลก กรมขุนเพชรบูรณ์อินทราชัย (พ.ศ.2435-2466) พระราชโอรสในพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว เดิมวังเพชรบูรณ์ตั้งอยู่ที่บริเวณสี่แยกราชประสงค์ ถนนราชดำริ ต่อมาใน พ.ศ.2527 พระวรวงศ์เธอพระองค์เจ้าสุทธสิริโสภาพระธิดาในสมเด็จเจ้าฟ้าจุฑาธุชฯ ได้ขอพระราชทานรื้อถอนบางส่วนเพื่อชะลอมาไว้ที่ตั้งปัจจุบัน ตัวอาคารเป็นไม้สักใต้ถุนสูงผสมผสาน รูปแบบสถาปัตยกรรมโดเมสติกรีไววัล ด้านหน้าหลังคาจั่ว ด้านข้างเป็นจั่วปาดมุมมุงกระเบื้องว่าว และมีอาคารหลังเล็กรูปแบบเดียวกัน สร้างอยู่ริมน้ำ การตกแต่งภายในตำหนักประถมในปัจจุบัน เป็นไปตามจินตนาการถึงวิถีชีวิตของสมเด็จเจ้าฟ้าจุฑาธุชฯ ศิลปินไทยพระองค์แรกที่ทรงเรียนเล่นพิณฝรั่งหรือฮาร์พ เครื่องเรือนบางชิ้นเป็นของเก่าดั้งเดิม อาทิ เตียง โคมไฟ บางดวง รวมทั้งเครื่องฮาร์พซึ่งมีอายุเกือบ 100 ปี รวมทั้งเครื่องประดับประดา สิ่งละอันพันละน้อย ล้วนเป็นมรดกตกทอดภายในครอบครัวนานประมาณสี่ชั่วอายุคน อาคารไม้สักหลังใหญ่อีกหลังหรือที่เรียกว่า "ตำหนักใหม่" ที่ต่อเติมจากตำหนักประถมนั้นประกอบขึ้นใหม่ใน พ.ศ.2534 โดยนายญาณี ตราโมท ลักษณะเด่นของอาคารหลังนี้คือ ห้องโถงปิดลายทอง ที่บูรณะใหม่โดยช่างกรมศิลปากร