فناوری جدید: زبان اشاره آمریکایی رو با ۹۸٪ دقت ترجمه می‌کند!

زبان اشاره، پلی برای ارتباطات نوین

زبان اشاره یه راه ارتباط پیچیده و حیاتیه، مخصوصاً برای اونایی که ناشنوا یا کم‌شنوان. این زبون به حرکات دست، حالت‌های صورت و زبان بدن تکیه می‌کنه تا مفاهیم ظریف رو منتقل کنه. زبان اشاره آمریکایی (ASL) یه نمونه از این پیچیدگی زبانیه که دستور زبان و ساختارش خاص خودشه.

زبان اشاره جهانی نیست و تو کل دنیا زبون‌های اشاره متفاوتی وجود داره که هر کدوم دستور زبان، ساختار و کلمات مخصوص خودشونو دارن. این نشون می‌ده که زبون‌های اشاره تو کل دنیا چقدر متنوع و پیچیده‌ان. راه‌های مختلفی دارن بررسی می‌شن تا حرکات دست زبان اشاره رو به متن یا زبون گفتاری تو لحظه تبدیل کنن. برای این که دسترسی به ارتباطات برای ناشنواها و کم‌شنواها بهتر بشه، لازمه یه سیستم قابل اعتماد و لحظه‌ای داشته باشیم که بتونه حرکات زبان اشاره آمریکایی رو با دقت تشخیص بده و دنبال کنه. این سیستم می‌تونه نقش کلیدی تو برداشتن موانع ارتباطی و ایجاد تعاملات فراگیرتر داشته باشه.

تحقیقات پیشرفته تو زمینه تشخیص حرکات زبان اشاره

محققای دانشکده مهندسی و علوم کامپیوتر دانشگاه فلوریدا آتلانتیک برای حل این مشکلات ارتباطی، یه تحقیق بی‌سابقه رو شروع کردن که تمرکزش رو گذاشتن رو تشخیص حرکات الفبای زبان اشاره آمریکایی با استفاده از بینایی کامپیوتری. اونا یه مجموعه داده سفارشی درست کردن شامل ۲۹,۸۲۰ عکس ثابت از حرکات دست زبان اشاره آمریکایی. با استفاده از MediaPipe، هر عکس با ۲۱ نقطه کلیدی روی دست علامت‌گذاری شد که اطلاعات دقیقی از ساختار و موقعیت دست رو نشون می‌داد. این علامت‌گذاری‌ها خیلی مهم بودن چون دقت مدل یادگیری عمیق YOLOv8 رو بالا بردن. محققا این مدل رو آموزش دادن تا بتونه تفاوت‌های جزئی حرکات دست رو بهتر تشخیص بده.

نتایج این تحقیق که تو مجله Franklin Open منتشر شده، نشون می‌ده که با استفاده از این اطلاعات دقیق از حالت دست، مدل فرآیند تشخیص رو بهتر انجام داده و تونسته ساختار پیچیده حرکات زبان اشاره آمریکایی رو با دقت ثبت کنه. ترکیب MediaPipe برای ردیابی حرکات دست با YOLOv8 برای آموزش، یه سیستم قوی ساخته که حرکات الفبای زبان اشاره آمریکایی رو با دقت بالا تشخیص می‌ده.

بادر الشریف، نویسنده اصلی و دانشجوی دکترای دپارتمان مهندسی برق و علوم کامپیوتر دانشگاه FAU گفت: «ترکیب MediaPipe و YOLOv8، به همراه تنظیم دقیق پارامترها برای بهترین دقت، یه رویکرد نوآورانه و پیشگامه.» اون اضافه کرد: «این روش تو تحقیقات قبلی دیده نشده و یه مسیر جدید و امیدوارکننده برای پیشرفت‌های آینده است.»

یافته‌ها نشون می‌ده که این مدل با دقت ۹۸٪ کار کرده و تونسته حرکات رو درست تشخیص بده (recall) با ۹۸٪ و نمره عملکرد کلی (F1 score) برابر با ۹۹٪.

پیشرفت‌های این تحقیق تو زمینه تشخیص زبان اشاره آمریکایی

این تحقیق به دقت میانگین دقت (mAP) 98% و نمره mAP50-95 دقیق‌تری معادل 93% رسیده که نشون‌دهنده قابلیت اطمینان و دقت زیاد این سیستم تو تشخیص حرکات زبان اشاره آمریکاییه. الشریف گفت: «نتایج تحقیقات ما نشون می‌ده که مدل ما می‌تونه حرکات زبان اشاره آمریکایی رو با کمترین خطاها تشخیص بده و دسته‌بندی کنه.» اون اضافه کرد: «از همه مهم‌تر، یافته‌های این تحقیق رو استحکام سیستم و همچنین پتانسیلش برای استفاده تو برنامه‌های عملی و لحظه‌ای تأکید داره تا تعاملات انسان و کامپیوتر رو شهودی‌تر کنه.»

ترکیب موفقیت‌آمیز علامت‌گذاری نقاط کلیدی از MediaPipe تو فرآیند آموزش YOLOv8، دقت کادر‌های محدودکننده و دسته‌بندی حرکات رو خیلی بهتر کرد و به مدل این امکان رو داد که تغییرات کوچیک تو حالت‌های دست رو ثبت کنه. این رویکرد دو مرحله‌ای که شامل ردیابی نقاط کلیدی و تشخیص اشیا بود، برای این‌که سیستم تو شرایط واقعی دقت و کارایی بالایی داشته باشه، حیاتی بود. این‌که مدل می‌تونه نرخ تشخیص بالا رو حتی تو شرایط مختلف حرکت دست حفظ کنه، نشون می‌ده که چقدر تو محیط‌های مختلف عملیاتی قویه و می‌تونه خودشو سازگار کنه.

محمد الیاس، که دکترا داره، یکی از نویسنده‌ها و استاد دانشکده مهندسی برق و علوم کامپیوتر FAU گفت: «تحقیقات ما نشون می‌ده که می‌شه الگوریتم‌های پیشرفته تشخیص اشیا رو با ردیابی نقاط کلیدی ترکیب کرد تا حرکات رو تو لحظه تشخیص داد، این روش یه راه‌حل قابل اعتماد برای تفسیر زبان اشاره آمریکایی ارائه می‌ده.» اون اضافه کرد: «موفقیت این مدل بیشتر به دلیل ادغام دقیق یادگیری انتقالی، ساخت مجموعه داده‌ها با دقت و تنظیم دقیق پارامترهاس. این ترکیب باعث شده یه سیستم با دقت و قابلیت اطمینان بالا برای تشخیص حرکات زبان اشاره آمریکایی ساخته بشه که یه نقطه عطف بزرگ تو زمینه فناوری‌های کمکیه.»

تلاش‌های آینده روی گسترش مجموعه داده‌ها تمرکز می‌کنه تا شامل انواع مختلفی از شکل‌ها و حرکات دست بشه. این کار به بهتر شدن توانایی مدل تو تشخیص حرکات بصری مشابه کمک می‌کنه و در نتیجه دقت تشخیص رو بالا می‌بره. علاوه بر این، بهینه‌سازی مدل برای استفاده تو دستگاه‌های لبه‌ای اولویت داره تا عملکرد لحظه‌ایش تو محیط‌هایی که از نظر منابع محدود هستن حفظ بشه.

استلا باتالاما، که دکترا داره و رئیس دانشکده مهندسی و علوم کامپیوتر FAU هست، گفت: «با بهتر شدن تشخیص زبان اشاره آمریکایی، این کار به ساخت ابزارهایی کمک می‌کنه که می‌تونن ارتباطات رو برای جامعه ناشنوا و کم‌شنوا بهتر کنن.» اون ادامه داد: «توانایی مدل تو تفسیر قابل اعتماد حرکات، درهای بیشتری رو به سمت راه‌حل‌های فراگیر باز می‌کنه که دسترسی رو راحت‌تر می‌کنه و تعاملات روزمره – چه تو آموزش، مراقبت‌های بهداشتی یا محیط‌های اجتماعی – رو برای کسایی که به زبان اشاره وابسته هستن، آسون‌تر و مؤثرتر می‌کنه. این پیشرفت، نوید ایجاد یه جامعه فراگیرتر رو می‌ده که تو اون، موانع ارتباطی کمتر بشه.»

نویسنده همکار این تحقیق ایسا العلوانی، که دکترا داره، فارغ‌التحصیل اخیر دکترای دانشکده مهندسی و علوم کامپیوتر FAU و استادیار دانشگاه طیب تو عربستان سعودیه.