การศึกษาและพัฒนาเครื่องมือสำหรับการบันทึกทำนองหลักในรูปของโน้ตเพลง
- ชื่อนักเรียนผู้จัดทำโครงงานวิทยาศาสตร์
ภูชิสส์ พรหมช้าง, วุฒินันท์ อุปพงษ์
- อาจารย์ที่ปรึกษาโครงงานวิทยาศาสตร์
ชัยนันท์ วันอินทร์
- โรงเรียนที่กำกับดูแลโครงงานวิทยาศาสตร์
- ปีที่จัดทำโครงงานวิทยาศาสตร์
บทคัดย่อโครงงานวิทยาศาสตร์
การศึกษาและพัฒนาเครื่องมือสำหรับการบันทึกทำนองหลักในรูปของโน้ตเพลง มีจุดมุ่งหมายเพื่อพัฒนาโปรแกรมที่ใช้ในการแปลงเสียงดนตรีร่วมสมัย (Popular music) ที่ถูกบรรเลงโดยเปียโนและกีตาร์ให้กลายเป็นโน้ตดนตรีสากลบนบรรทัดห้าเส้นและให้มีความแม่นยำที่สูงกว่าโปรแกรมทั่วไป
โครงงานนี้มีการศึกษากระบวนการทำงานของโปรแกรม audio-to-MIDI ซึ่งมีการใช้เทคนิค signals processing และ deep learning โดยใช้ deep learning ในการพัฒนาโมเดลที่ใช้ใน predict ข้อมูลไฟล์ MIDI ใช้ dataset เป็นไฟล์เสียง .wav ไฟล์ MIDI และโน้ตเพลงของเปียโนและกีตาร์ โดยโครงสร้างของโปรแกรมจะมีโปรแกรมสำหรับ predict โน้ตเพลงซึ่งเขียนโดยภาษา Python โดยโปรแกรมส่วนนี้จะแปลงไฟล์เสียงให้กลายเป็นไฟล์ MIDI จากนั้นจะมีโปรแกรมส่วนหนึ่งที่รับไฟล์ MIDI ที่ถูกแปลงนำเข้าไปในโมเดลที่ถูกเทรนโดยใช้อัลกอริทึม Convolutional Neural Networks (CNN) ซึ่งเป็นอัลกอริทึมที่ใช้ประมวลผลกับข้อมูลภาพเป็นส่วนใหญ่ โดยโครงงานนี้จะใช้วิธีการดึงข้อมูลของไฟล์เสียงออกเป็นข้อมูล numpy array และทำกระบวนการ Constant-Q transform (CQT) เพื่อแปลงเป็นโดเมนความถี่และการ reshape ข้อมูลเพื่อให้ใช้งานกับ Neural Network ได้ หลังจากนั้นจะเกิดกระบวนการ deep learning และมีการ predict โน้ต ซึ่งกระบวนการดังกล่าวนำข้อมูลไฟล์เสียงทั้งหมดที่ได้แปลงให้กลายเป็นข้อมูลที่ใช้ในการระบุโน้ตเพลงที่เป็นทำนองหลักของบทเพลงในรูปแบบของ Time-series ที่มีค่าเทียบกับข้อมูลไฟล์ MIDI ได้ เมื่อได้ผลลัพธ์ออกมาก็จะวัดความแม่นยำของการ predict โดยการนำไปเทียบกับข้อมูลไฟล์ MIDI ต้นฉบับ และนำค่าความแม่นยำที่วัดได้ไปเปรียบเทียบกับค่าความแม่นยำของโปรแกรม audio-to-MIDI ทั่วไป พบว่าโปรแกรมของทางคณะผู้จัดทำมีความแม่นยำที่สูงกว่าโปรแกรม audio-to-MIDI ตามท้องตลาดเล็กน้อย