شکستن مرزها: تفسیر زبان اشاره با هوش مصنوعی لحظه‌ای

زبان اشاره: ابزاری پیچیده برای ارتباط

زبان اشاره به عنوان یک روش پیشرفته ارتباطی، برای افرادی که ناشنوا یا کم‌شنوا هستند، حیاتی است. این زبان بر پایه حرکات دست، حالات چهره و زبان بدن بنا شده و معانی ظریف را منتقل می‌کند. زبان اشاره آمریکایی نمونه‌ای از این پیچیدگی زبانی است که دارای دستور زبان و ساختار خاص خود می‌باشد. زبان اشاره جهانی نیست و در سراسر جهان زبان‌های اشاره مختلفی وجود دارد که هر یک دارای دستور زبان، ساختار و واژگان خاص خود هستند. این موضوع تنوع و پیچیدگی زبان‌های اشاره را به خوبی نشان می‌دهد.

تحقیقات برای تبدیل حرکات دست به متن

روش‌های مختلفی در حال بررسی است تا حرکات دست زبان اشاره به متن یا زبان گفتاری در زمان واقعی تبدیل شود. برای بهبود دسترسی به ارتباطات برای افراد ناشنوا یا کم‌شنوا، نیاز به یک سیستم قابل اعتماد و در زمان واقعی وجود دارد که بتواند حرکات زبان اشاره آمریکایی را به دقت شناسایی و ردیابی کند. این سیستم می‌تواند نقش کلیدی در شکستن موانع ارتباطی و تضمین تعاملات فراگیرتر ایفا کند.

مطالعه‌ای نوآورانه در دانشگاه فلوریدا آتلانتیک

برای مقابله با این موانع ارتباطی، محققان دانشکده مهندسی و علوم کامپیوتر دانشگاه فلوریدا آتلانتیک، مطالعه‌ای بی‌سابقه انجام دادند که بر شناسایی حرکات الفبای زبان اشاره آمریکایی با استفاده از بینایی کامپیوتری متمرکز بود. آن‌ها یک مجموعه داده سفارشی شامل ۲۹,۸۲۰ تصویر ثابت از حرکات دست زبان اشاره آمریکایی ایجاد کردند. با استفاده از MediaPipe، هر تصویر با ۲۱ نقطه کلیدی بر روی دست نشانه‌گذاری شد که اطلاعات فضایی دقیقی درباره ساختار و موقعیت آن ارائه می‌داد. این نشانه‌گذاری‌ها نقش حیاتی در افزایش دقت مدل یادگیری عمیق YOLOv8 که محققان آموزش داده بودند، ایفا کرد و به آن کمک کرد تا تفاوت‌های ظریف در حرکات دست را بهتر شناسایی کند.

نتایج و دستاوردها

نتایج این مطالعه که در مجله Franklin Open منتشر شده است، نشان می‌دهد که با استفاده از این اطلاعات دقیق از حالت دست، مدل فرآیند شناسایی بهتری را به دست آورد و ساختار پیچیده حرکات زبان اشاره آمریکایی را به دقت ثبت کرد. ترکیب MediaPipe برای ردیابی حرکات دست و YOLOv8 برای آموزش، منجر به ایجاد یک سیستم قدرتمند برای شناسایی حرکات الفبای زبان اشاره آمریکایی با دقت بالا شد.

بادر الشریف، نویسنده اول و دانشجوی دکتری در دپارتمان مهندسی برق و علوم کامپیوتر دانشگاه FAU، گفت: “ترکیب MediaPipe و YOLOv8، به همراه تنظیم دقیق هایپرپارامترها برای بهترین دقت، یک رویکرد نوآورانه و پیشگامانه را نمایان می‌کند.” او افزود: “این روش در تحقیقات قبلی بررسی نشده و به همین دلیل، یک جهت جدید و امیدوارکننده برای پیشرفت‌های آینده است.”

یافته‌ها نشان می‌دهد که مدل با دقت ۹۸٪ عمل کرده و توانایی شناسایی صحیح حرکات (recall) را با ۹۸٪ و نمره عملکرد کلی (F1 score) برابر با ۹۹٪ داشته است.

دستاوردهای تحقیق در شناسایی زبان اشاره آمریکایی

این تحقیق موفق به کسب میانگین دقت (mAP) 98% و نمره mAP50-95 معادل 93% شده است که نشان‌دهنده قابلیت اطمینان و دقت بالا آن در شناسایی حرکات زبان اشاره آمریکایی می‌باشد. علی الشریف اظهار داشت: “نتایج تحقیق ما نشان می‌دهد که مدل ما قادر است حرکات زبان اشاره آمریکایی را با دقت بسیار بالا و خطاهای اندک شناسایی و طبقه‌بندی کند.” او افزود: “مهم‌تر از همه، یافته‌های این مطالعه نه تنها نشان‌دهنده قدرت سیستم است، بلکه پتانسیل آن را برای استفاده در برنامه‌های عملی و زمان واقعی به منظور تسهیل تعاملات انسانی-کامپیوتری بیشتر نمایش می‌دهد.”

ادغام موفقیت‌آمیز نشانه‌گذاری نقاط عطف از MediaPipe در فرآیند آموزش YOLOv8 به طور قابل توجهی دقت جعبه‌های محدودکننده و طبقه‌بندی حرکات را بهبود بخشید و به مدل این امکان را داد که تغییرات ظریف در حالت‌های دست را شناسایی کند. این رویکرد دو مرحله‌ای، شامل ردیابی نقاط عطف و شناسایی اشیاء، در تضمین دقت و کارایی بالای سیستم در سناریوهای واقعی بسیار حیاتی بود. توانایی مدل در حفظ نرخ‌های شناسایی بالا حتی در شرایط مختلف حرکات دست، قدرت و سازگاری آن را در محیط‌های عملیاتی متنوع نشان می‌دهد.

محمد ایلیاس، دکترای همکار و استاد در دانشکده مهندسی برق و علوم کامپیوتر FAU، گفت: “تحقیق ما پتانسیل ترکیب الگوریتم‌های پیشرفته شناسایی اشیاء با ردیابی نقاط عطف برای شناسایی حرکات در زمان واقعی را نشان می‌دهد و راه‌حلی قابل اعتماد برای تفسیر زبان اشاره آمریکایی ارائه می‌کند.” او ادامه داد: “موفقیت این مدل عمدتاً به ادغام دقیق یادگیری انتقالی، ایجاد دقیق مجموعه داده‌ها، و تنظیم دقیق پارامترهای هایپر بستگی دارد. این ترکیب منجر به توسعه سیستمی با دقت و قابلیت اطمینان بالا برای شناسایی حرکات زبان اشاره آمریکایی شده است که یک نقطه عطف بزرگ در زمینه فناوری‌های کمکی به شمار می‌رود.”

تلاش‌های آینده بر گسترش مجموعه داده‌ها برای شامل کردن دامنه وسیع‌تری از اشکال و حرکات دست متمرکز خواهد بود تا توانایی مدل در تمایز بین حرکات بصری مشابه بهبود یابد و در نتیجه دقت شناسایی افزایش یابد. همچنین، بهینه‌سازی مدل برای استقرار در دستگاه‌های لبه‌ای اولویت خواهد داشت تا اطمینان حاصل شود که عملکرد زمان واقعی خود را در محیط‌های با منابع محدود حفظ می‌کند.

استلا باتالاما، دکترای رئیس دانشکده مهندسی و علوم کامپیوتر FAU، گفت: “با بهبود شناسایی زبان اشاره آمریکایی، این کار به ایجاد ابزارهایی کمک می‌کند که می‌توانند ارتباطات را برای جامعه ناشنوا و کم‌شنوا تقویت کنند.” او افزود: “توانایی مدل در تفسیر قابل اعتماد حرکات، درهای بیشتری را به سمت راه‌حل‌های فراگیر باز می‌کند که از دسترسی پشتیبانی می‌کند و تعاملات روزمره – چه در آموزش، مراقبت‌های بهداشتی یا محیط‌های اجتماعی – را برای افرادی که به زبان اشاره وابسته هستند، روان‌تر و مؤثرتر می‌سازد. این پیشرفت نویدبخش یک جامعه فراگیرتر است که در آن موانع ارتباطی کاهش می‌یابد.”

همکار نویسنده این مطالعه ایسا العلوانی، دکترای فارغ‌التحصیل اخیر از دانشکده مهندسی و علوم کامپیوتر FAU و استادیار در دانشگاه طیبه در عربستان سعودی است.