ครั้งหนึ่งนานมาแล้วมีภูเขายังไม่มีชื่อ ในคืนของวันขึ้น 15 ค่ำ มักมีคนได้ยินเสียงดนตรีลอยมาจากภูเขาลูกนี้ จนคืนหนึ่งมีเทพยดามาเข้าฝันชาวบ้านคนหนึ่ง โดยชาวบ้านคนนี้ต้องการที่จะทำบุญถวายภัตตาหารแด่พระภิกษุสงฆ์แต่ยังขาดถ้วยชามที่สวยงาม เทพยดาจึงมาเข้าฝันเป็นเทพสังหรณ์ว่าให้ไปที่ภูเขาลูกนี้ แล้วจุดธูปอธิษฐานที่ปากถ้ำ เพื่อที่จะขอยืมถ้วยโถโอชาชามจากเทพ ปากถ้ำก็จะเปิดออก เมื่อเสร็จงานให้เอาถ้วยชามไปคืน นางพลอยจึงปฏิบัติตามที่ตนฝัน ซึ่งก็ได้ผลตามฝันทุกประการ ต่อมาเพื่อนบ้านได้ยินเรื่องนั้นเข้าจึงการความโลภอยากได้บ้าง จึงปฏิบัติตามชาวบ้านคนแรก แต่ด้วยความโลภจึงไม่ยอมนำถ้วยชามไปส่งคืน จนพอถึงวันเพ็ญ 15 ค่ำเสียงดนตรีที่ภูเขานั้นก็ดังขึ้นอีกครั้ง เป็นเสียงดนตรีที่ไพเราะอย่างมากสำหรับคนอื่นๆที่ได้ยิน แต่สำหรับครอบครัวที่เอาชามไปแล้วไม่นำมาคืน กลับเป็นเสียงที่รบกวนโสตประสาทอย่างมาก คล้ายกับเจ้าของต้องการทวงถ้วยชามคืน วันรุ่งขึ้นชาวบ้านคนนั้นรวมทั้งลูกหลานจึงได้ช่วยกันทำบายศรีใบตองสด บรรจุข้าวสุก ไข่ต้มและเครื่องเซ่นบูชาอื่นๆ จุดธูปอธิษฐานขอสมาลาโทษที่ปากถ้ำ ขอคืนถ้วยชามที่ยืมไป จึงได้อยู่อย่างปกติสุขดังเดิม ชาวบ้านจึงเรียกเขาลูกนี้ว่าเขาบายศรีกันต่อๆ มา ภายหลังมีผู้คนเพิ่มขึ้นก็เรียก บ้านเขาบายศรี เมื่อชาวบ้านพากันสร้างวัดประจำหมู่บ้านก็ตั้งชื่อว่า วัดเขาบายศรี และตั้งเป็น ตำบลเขาบายศรี ในเวลาต่อมา