การพัฒนาวิธีการในการตรวจจับท่าภาษามือเพื่อเป็นแนวทางในการออกแบบอุปกรณ์แปลภาษามือ
- ชื่อนักเรียนผู้จัดทำโครงงานวิทยาศาสตร์
ปภินวิช ตรีอินทอง, ปรานต์ แดงสกุล, นรภัทร พรหมบุตร
- อาจารย์ที่ปรึกษาโครงงานวิทยาศาสตร์
สรวัฒน์ ยามสุข, สรพงษ์ สมสอน
- โรงเรียนที่กำกับดูแลโครงงานวิทยาศาสตร์
- ปีที่จัดทำโครงงานวิทยาศาสตร์
บทคัดย่อโครงงานวิทยาศาสตร์
โครงงานนี้มีวัตถุประสงค์เพื่อศึกษาหาโมเดลปัญญาประดิษฐ์ จำแนกท่าภาษามือที่มีประสิทธิภาพมากที่สุดในการใช้งานจริง และพัฒนาโมเดลปัญญาประดิษฐ์จำแนกท่าภาษามือ จากภาพเคลื่อนไหวในลักษณะ REAL TIME ได้ เพื่อเป็นแนวทางในการพัฒนาอุปกรณ์สื่อสารสำหรับช่วยเหลือให้ผู้พิการทางการได้ยินให้สามารถสื่อสารกับบุคลากรที่ให้บริการแบบเบื้องต้นได้
โดยจะอาศัยการตรวจจับการเคลื่อนไหวของร่างกายที่เปลี่ยนไปในช่วงเวลาหนึ่ง แล้วนำข้อมูลการเปลี่ยนแปลงมาสร้างโมเดลปัญญาประดิษฐ์ ซึ่งสามารถนำไประบุท่าภาษามือได้ โดยมีขั้นตอนดำเนินงาน ได้แก่ การสอบถามปัญหาที่ผู้พิการทางการได้ยินประสบพบเจอในชีวิตประจำวัน หลังจากนั้นได้กำหนดท่าภาษามือที่ต้องใช้ แล้วจึงรวบรวมข้อมูลการทำท่าภาษามือของผู้พิการทางการได้ยินหลากหลายคน แล้วใช้เทคนิค MediaPipe ในการสกัดข้อมูลการเคลื่อนไหวของร่างกายขณะแสดงท่าภาษามือ แล้วพัฒนาโมเดลปัญญาประดิษฐ์ชนิดต่าง ๆ ได้แก่ LSTM RNN CNN และ GRU เพื่อศึกษาเปรียบเทียบประสิทธิภาพในการแปลภาษามือ โดยเปรียบเทียบผลการทำนาย จากชุดข้อมูล VALIDATION
ผลการดำเนินงานพบว่า โมเดลแบบ LSTM มีความถูกต้องในการจำแนกท่าภาษามือ ด้วยจุด Landmark บริเวณใบหน้า มือ และแขน 78% และด้วยจุด Landmark บริเวณมือและแขน 70% โมเดลแบบ GRU มีความถูกต้องในการจำแนกท่าภาษามือ ด้วยจุด Landmark บริเวณใบหน้า มือ และแขน 98% และด้วยจุด Landmark บริเวณมือและแขน 91% โมเดลแบบ RNN มีความถูกต้องในการจำแนกท่าภาษามือ ด้วยจุด Landmark บริเวณใบหน้า มือ และแขน 94% และด้วยจุด Landmark บริเวณมือและแขน 87% โมเดลแบบ CNN มีความถูกต้องในการจำแนกท่าภาษามือ ด้วยการนำภาพมาซ้อนกันเป็นภาพหลายมิติ 75% หลังจากนั้นนำโมเดลที่มีความถูกต้องมากที่สุดคือ GRU ไปทำการทำนายแบบ REAL TIME จากการจับภาพเคลื่อนไหวด้วยกล้อง WEBCAM และนำไปเรียงเป็นวลี หรือ ประโยค ตามบทสนทนาตัวอย่างที่กำหนดไว้ พบว่ามีความถูกต้อง BLEU Score 0.91 จากผลการดำเนินงานนี้ สามารถนำไปพัฒนาเป็นโปรแกรมที่ติดตั้งบนเว็บไซต์ เพื่อจับภาพการสื่อสารด้วยภาษามือและทำนายผลให้บุคลากรที่ให้บริการสามารถเข้าใจในสิ่งที่ผู้พิการทางการได้ยินสื่อสารได้ ผลการประเมินความเป็นไปได้ของการพัฒนาใช้งานจริงสรุปได้ว่าผู้ประเมินมีความเห็นว่าโครงการไม่มีผลกระทบด้านลบในระดับสูง โครงการมีการร่วมมือกับส่วนราชการและองค์กรการกุศลอื่น ๆ เพื่อสาธารณประโยชน์ มีการร่วมมือกับองค์กรด้านวิชาการ ความต้องการของสังคมทีมีต่อโครงการและโครงการมีจํานวนของผู้ได้รับผลประโยชน์จากการดําเนินโครงการในระดับมากที่สุด