จากเรื่องที่เล่าต่อๆ กันมา แต่ครั้งอดีตในสมัยกรุงศรีอยุธยาเป็นราชธานี กษัตริย์แห่งกรุงศรีอยุธยา ได้โปรด ให้บูรณะองค์พระธาตุเจดีย์นครศรีธรรมราช ได้มีคหบดีผู้เลื่อมใสในพุทธศาสนา ได้ล่องเรือสำเภาจากกรุงศรีอยุธยา เพื่อนำเงิน ทอง และสิ่งของอื่นๆ มากมายมาร่วมบูรณะปฏิสังขรณ์องค์พระบรมธาตุเจดีย์นครศรีธรรมราชในสมัยนั้น ประกอบด้วยปู่เจ้าสมิงตรา ยายสีหวัง ตาพังคอลาย และตาเขียว ระหว่างทางเมื่อมาถึงบริเวณสวนสาธารณะบ้านในหวัง ตาเขียวซึ่งเป็นนายท้ายเรือ ได้คัดเรือผิดร่องน้ำ ลอยเข้าไป ติดในวังซึ่งมีน้ำวน และไม่สามารถคัดท้ายเรือให้ออกจากบริเวณน้ำวนได้ ทำให้สำเภาล่ม เสียชีวิตทั้งหมด ต่อมาชาวบ้านได้เรียกบริเวณแถบนั้นว่าบ้านในหวัง ซึ่งสันนิษฐานว่ามาจากคำว่าในวังนั่นเอง และภูเขาที่อยู่ในบริเวณนั้นได้เรียกต่อมาว่า ภูเขายายสีหวัง

        สวนสาธารณะบ้านในหวังแต่เดิม มีพื้นที่ประมาณ 17 ไร่ ต่อมาในปี พ.ศ. 2535 เทศบาลได้จัดซื้อที่ดินเพิ่มอีก 73 ไร่ และ 50 ไร่ ตามลำดับ ปัจจุบันสวนสาธารณะบ้านในหวังมีพื้นที่ทั้งหมดประมาณ 150 ไร่ ตั้งอยู่ที่บ้านในหวังตะวันออก บริเวณเขายายสีหวัง เชื่อมต่อเขาประไพ และเขาหมู่แปะในเขตเทศบาลตำบลปากแพรก อ.ทุ่งสง จ.นครศรีธรรมราช อยู่ตัวในตัวเมืองทุ่งสง ริมทางหลวงแผ่นดินหมายเลข 41 ห่างจากจังหวัด นครศรีธรรมราช 55 กิโลเมตร สภาพภูมิประเทศของสวนสาธารณะ มีสภาพเป็นที่ราบ ที่ลุ่มและภูเขา บนภูเขามีพื้นราบเป็นระยะๆ มีสภาพเป็นเนินสูงๆ ต่ำๆ ต่อเนื่องจากบริเวณสวนสาธารณะไปจนถึงเขาหมู่แปะ เทศบาลตำบลปากแพรก ได้ดำเนินการปรับปรุงสวนสาธารณะบ้านในหวังให้เป็นสถานที่พักผ่อนหย่อนใจ ให้ นันทนาการแก่ประชาชนในท้องถิ่น และเป็นจุดแวะพักผ่อนของผู้ที่เดินทางผ่านไปมา ตั้งแต่ปี พ.ศ. 2535 โดยได้ทำการก่อสร้างศาลาเฉลิมพระเกียรติ ร.9 และศาลาเฉลิมพระเกียรติ 60 พรรษามหาราชินี ซุ้มที่นั่งพักผ่อนพัฒนาปรับปรุงบริเวณโดยรอบ ขุดสระน้ำ และขุดลอกลำเหมือง

        ปี 2543 ได้รับงบประมาณ สนับสนุนจากกระทรวงมหาดไทยและกองทุน SIP (JBIC) แล้ว 20 ล้านบาท (โครงการ 1) ในการก่อสร้างอาคารเอนกประสงค์ในบริเวณพื้นที่กลางสวนสาธารณะ สำหรับใช้เป็นที่สันทนาการแก่ประชาชนในท้องถิ่น และเป็นที่รองรับผู้เดินทางในเส้นทางสายใต้ ประกอบด้วย ลานจอดรถ ศูนย์บริการนักท่องเที่ยว ห้องประชุม ศูนย์อาหาร ศูนย์คมนาคม ภัตตาคาร ที่พักสัมผัสธรรมชาติ ร้านขายสินค้าพื้นเมืองและของที่ระลึก ค่ายพักแรม สระน้ำ สวนนก สวนไม้ประดับ สนามเด็กเล่น ลานพักผ่อน ฯลฯ ปลายปี 2543 เทศบาลได้ตั้งงบประมาณเเพิ่มเติมอีกเป็นเงิน 23,231,543 บาท สำหรับก่อสร้างปรับปรุงถนน จำนวน 4 สาย, ลานเอนกประสงค์กลางแจ้ง , เรือนเพาะชำ, ระบบท่อต่างๆ และระบบไฟฟ้าภายนอกอาคาร, สายส่ง ฯลฯ
        ขณะนี้ประชาชนชาวทุ่งสง ได้ใช้สวนสาธารณะบ้านในหวังเป็นสถานที่พักผ่อน ออกกำลังกาย ประชุมเชิงปฏิบัติการ ลานประชาคม ต้อนรับผู้มาเยี่ยมเยียนเทศบาล เข้าค่ายพักแรม ฯลฯ

        ด้วยสภาพภูมิประเทศและภูมิอากาศที่เหมาะสม จึงทำให้สวนสาธารณะบ้านในหวัง เป็นพื้นที่ซึ่งมีความหลากหลายทางชีวภาพ (Biodiversity) เหมาะที่จะพัฒนาให้เป็น สถานที่ท่องเที่ยวเชิงอนุรักษ์ (ECO Tourism) เทศบาลตำบลปากแพรกได้จัดทำ โครงการ 2 เพื่อพัฒนาปรับปรุงสวนสาธารณะเพิ่มเติม โดยมีจุดเด่นคือเป็น "สวนลอยฟ้าป่าในเมือง" Jungle Tour Urban Forest (จากการเดินป่าสำรวจภูเขายายสีหวังโดยทีมงานสำรวจของเทศบาลตำบลปากแพรก พบว่ามี เส้นทางธรรมชาติที่น่าสนใจหลายเส้นทางด้วยกัน แต่ละสายจะมีความหลากหลายของพืชพรรณ สัตว์ป่าไม่เหมือนกัน มีทั้งไม้ใหญ่ ไม้พุ่ม และพรรณไม้ที่อาศัยเกาะตามคบไม้ หรือโขดหินต่างๆ ไม้ใหญ่ที่สำรวจพบมีขนาดใหญ่มาก ถึง 5-6 โอบ พรรณไม้ที่พบเห็น อยู่ทั่วไปและน่าสนใจ เช่น รองเท้านารี (Venus Slipper) ลิ้นมังกร กล้วยไม้ป่า เอื้อง ช้างดำ ฯลฯ โดยเฉพาะรองเท้านารี บางต้นออกดอกมากถึง 5 ดอก ซึ่งเป็นสิ่งที่หาดูได้ยากยิ่ง ฯลฯ สัตว์ป่าที่สำรวจพบมีเลียงผา เม่น ลิง ค่าง อีแกะ มุสังข์ (ภาษากลางเรียกชะมด) ไก่ป่า นก กระรอก ฯลฯ และยังมีเส้นทางเดินที่สวยงามมากในหลายเส้นทาง เช่น เส้นทางเดินจากลานมะปริงมายังถ้ำยายสีหวัง ระยะทางประมาณ 1 กิโลเมตร สองข้างทาง จะมีต้นไม้หลากหลายชนิด หลากหลายสี พื้นดินมีความชุ่มชื้นมาก มีพืชไร้ดอกจำพวกมอส เฟิร์นขึ้นปกคลุมดินทั่วไป และมีหินสีต่างๆ มากมาย รกเรื้อด้วยเถาวัลย์ ทางเดินบางส่วนจะเป็นสันเขาแคบๆ มีหุบเขาและเหวลึก บางช่วงสามารถแวะหยุดชมทิวทัศน์และดูนกข้างทาง ได้ในธรรมชาติที่ชื่นฉ่ำเหมือนอยู่ในป่าลึก)