ห่างจากหน้าสถานีรถไฟทุ่งสงไปไม่ไกลนัก จะเห็นภูเขาย่อม ๆ ลูกหนึ่ง ตั้งอยู่กลางทุ่งนามีความสูงชันมาก ตำนานเล่าว่า เดิมภูเขาลูกนี้ชื่อ "ภูเขาดีปลี" เพราะเคยมีต้นดีปรี (พริก) ขนาดใหญ่ขึ้นอยู่เต็มยอดภูเขา มีคนเคยไปเก็บโดยไม่บอกกล่าวก่อน ก็จะเกิดอาถรรพ์หาทางลงจากภูเขากลับบ้านไม่ได้

         ในปี พ.ศ. 2471 พระครูอินโทปมาคุณ เจ้าคณะอำเภอทุ่งสง ได้นิมนต์เจ้าคณะจังหวัดนครศรีธรรมราชมาตรวจราชการที่อำเภอทุ่งสง ที่ภูเขาดีปลีลูกนี้ พร้อมกันก็ได้เรียกประชาชนในละแวกนั้นมาประชุม และมีมติเปลี่ยนชื่อ เขาดีปลี เป็น "ภูเขาปรีดี" เพื่อให้คล้องจองกับชื่อ ฯพณฯ นายปรีดี พนมยงค์ ซึ่งเป็นนายกรัฐมนตรีในสมัยนั้น และได้ตั้งวัดขึ้น ณ ที่แห่งนั้น โดยตั้งชื่อว่า "วัดเขาปรีดี"
ในปีเดียวกัน เจ้าคณะอำเภอทุ่งสง ซึ่งเป็นเจ้าอาวาสวัดเขากลาย ได้จัดให้พระสงฆ์มาจำพรรษาที่วัดเขาปรีดีตั้งแต่นั้นมา

         เจ้าอาวาสที่เคยปกครองวัดนี้มี พระจันทร์ พระหนู พระคล้าย พระทอง และพระดำ ในสมัยพระครูอุดมศีลาจารเป็นเจ้าคณะอำเภอทุ่งสง ได้แต่งตั้งให้ พระมหาบุญมี (พระครูจันทวุฒิคุณ) พระประภาสและ พระเทียบ เป็นเจ้าอาวาสต่อมาตามลำดับ
       ปี พ.ศ. 2522 พระเทียบซึ่งเป็นเจ้าอาวาสอยู่ได้กลับฉวางภูมิลำเนาเดิมของท่าน วัดเขาปรีดีจึงร้างกิจกรรมทางศาสนาก็ไม่มีผู้ร่วมประกอบกิจ
       ในปีเดียวกัน คณะอุบาสก อุบาสิกา วัดเขาปรีดีได้ไปนิมนต์พระชะอ้อน จารุวณ_.โณ มาเป็นเจ้าอาวาสและพระสงฆ์อีก 8 รูป จากวัดชายนา นครศรีธรรมราชมาจำพรรษาอยู่ สร้างความเจริญให้กับวัดเป็นอันมากจนถึงทุกวันนี้

         เขาปรีดี เป็นภูเขาหินปูนที่มีความสูงชันมากมีหน้าผาและถ้ำอยู่โดยรอบเชิงเขา มีบันไดคอนกรีตขึ้นไปสู่ยอดภูเขาได้ 2 ทาง บนยอดเขาจะมองเห็นตลาดอำเภอทุ่งสง และบริเวณใกล้เคียงที่สวยงามได้โดยรอบฐานพระเจดีย์