زبان اشاره چطور با هوش مصنوعی داره ارتباط رو برای ناشنوایان ممکن می‌کنه؟

زبان اشاره: پلی برای ارتباطات پیچیده

زبان اشاره، یه جور روش فوق‌العاده‌ی ارتباطی، واسه اونایی که ناشنوا یا کم‌شنو هستن، یه نیازه حیاتیه. این زبان بر اساس حرکات دست‌ها، حالت‌های صورت و زبان بدن شکل می‌گیره و معناهای ظریفی رو منتقل می‌کنه. زبان اشاره‌ی آمریکایی یه نمونه‌س از این پیچیدگی زبانی که دستور زبان و ساختار خاص خودشو داره. زبان اشاره یه زبان جهانی نیست. تو سراسر دنیا زبان‌های اشاره‌ی مختلفی وجود داره که هر کدوم دستور زبان، ساختار و کلمات ویژه‌ی خودشو داره. این مسئله تنوع و پیچیدگی زبان‌های اشاره رو نشون می‌ده.

تحقیقات در جهت ترجمه‌ی حرکات دست به متن

دارن روی روش‌های مختلفی کار می‌کنن تا حرکات دست در زبان اشاره رو، به متن یا زبان گفتاری، تو لحظه‌ی واقعی تبدیل کنن. برای اینکه بشه دسترسی به ارتباط رو واسه افراد ناشنوا یا کم‌شنوا بهتر کرد، به یه سیستم مطمئن و بلادرنگ نیاز داریم که بتونه حرکات زبان اشاره‌ی آمریکایی رو دقیق تشخیص بده و دنبال کنه. این سیستم می‌تونه یه نقش کلیدی تو از بین بردن موانع ارتباطی و این اطمینان باشه که تعاملات، فراگیرتر می‌شن.

یه مطالعه‌ی نوآورانه تو دانشگاه فلوریدا آتلانتیک

برای حل این مشکلات ارتباطی، محققای دانشکده‌ی مهندسی و علوم کامپیوتر دانشگاه فلوریدا آتلانتیک، یه تحقیق بی‌نظیر انجام دادن که تمرکزش، روی شناسایی حرکات الفبای زبان اشاره‌ی آمریکایی با استفاده از بینایی کامپیوتری بود. اونا یه مجموعه‌ی داده‌ی اختصاصی ساختن که شامل ۲۹,۸۲۰ تا عکس ثابت از حرکات دست تو زبان اشاره‌ی آمریکایی می‌شد. با استفاده از نرم‌افزار MediaPipe، هر عکس با ۲۱ تا نقطه‌ی کلیدی روی دست علامت‌گذاری شد که اطلاعات فضایی دقیقی درباره‌ی شکل و موقعیت دست ارائه می‌داد. این علامت‌گذاری‌ها خیلی مهم بود تو بالا بردن دقت مدل یادگیری عمیق YOLOv8 که محققان تربیتش کرده بودن. این کار به مدل کمک می‌کرد تا تفاوت‌های ظریف تو حرکات دست رو بهتر تشخیص بده.

نتایج و دستاوردها

نتایج این تحقیق که تو مجله‌ی Franklin Open چاپ شده، نشون می‌ده که با استفاده از این اطلاعاتِ دقیق از حالت دست، مدل تونسته فرآیند شناسایی رو بهتر انجام بده و شکل پیچیده‌ی حرکات زبان اشاره‌ی آمریکایی رو با دقت ثبت کنه. ترکیب MediaPipe برای دنبال کردن حرکات دست و YOLOv8 برای آموزش، منجر به ساخت یه سیستم قوی شد که حرکات حروف الفبای زبان اشاره‌ی آمریکایی رو با دقت بالا تشخیص میده.

بادر الشریف، که نویسنده‌ی اصلی این مقاله و دانشجوی دکترا تو دپارتمان مهندسی برق و علوم کامپیوتر دانشگاه FAU هست، گفت: «ترکیب MediaPipe و YOLOv8، به‌همراه تنظیم دقیق هایپرپارامترها برای رسیدن به بهترین دقت، یه رویکرد جدید و پیشگامانه رو نشون می‌ده.» اون اضافه کرد: «این روش تو تحقیقات قبلی بررسی نشده، و به همین دلیل، یه مسیر جدید و امیدوارکننده برای پیشرفت‌های آینده‌س.»

یافته‌ها نشون می‌ده که این مدل با دقت ۹۸٪ کار کرده و توانایی درست تشخیص دادن حرکات (recall)** رو با ۹۸٪ و یه نمره‌ی کلی عملکرد (F1 score) برابر ۹۹٪ داشته.

پیشرفت‌های این تحقیق در تشخیص زبان اشاره‌ی آمریکایی

این تحقیق موفق شد میانگین دقت (mAP) ۹۸٪ و نمره‌ی mAP50-95 معادل ۹۳٪ رو به دست بیاره که نشون‌دهنده‌ی قابلیت اطمینان و دقت زیاد در شناسایی حرکات زبان اشاره‌ی آمریکایی هست. علی الشریف گفت: «نتایج تحقیق ما نشون می‌ده که مدل ما می‌تونه حرکات زبان اشاره‌ی آمریکایی رو با دقت خیلی بالا و خطای کم، شناسایی و طبقه‌بندی کنه.» اون اضافه کرد: «از همه مهم‌تر، یافته‌های این مطالعه، نه‌تنها قدرت سیستم رو نشون می‌ده، بلکه پتانسیل استفاده از اون رو تو برنامه‌های عملی و بلادرنگ برای آسون‌تر کردن تعاملات انسان و کامپیوتر هم نشون میده.»

ادغام موفق علامت‌گذاری نقاط عطف از MediaPipe تو فرآیند آموزش YOLOv8، باعث شد که دقت جعبه‌های محدودکننده [bounding box] و طبقه‌بندی حرکات، خیلی بهتر بشه و این امکان رو به مدل داد که تغییرات جزیی تو حالت‌های دست رو تشخیص بده. این روش دو مرحله‌ای، که شامل دنبال کردن نقاط عطف و شناسایی اشیاء می‌شه، تو این که سیستم تو موقعیت‌های واقعی دقیق و کارآمد باشه، خیلی حیاتی بود. توانایی مدل تو ثابت نگه داشتن نرخ‌های بالای تشخیص، حتی تو شرایط مختلف حرکات دست، قدرت و سازگاریش رو تو محیط‌های عملیاتی متنوع نشون می‌ده.

محمد ایلیاس، که استاد و دکترای همکار تو دانشکده‌ی مهندسی برق و علوم کامپیوتر FAU هست، گفت: «تحقیق ما نشون داد که میشه الگوریتم‌های پیشرفته‌ی تشخیص اشیاء رو با دنبال کردن نقاط عطف ترکیب کرد تا حرکات رو تو لحظه‌ی واقعی شناسایی کنیم و یه راه‌حل قابل اعتماد برای تفسیر زبان اشاره‌ی آمریکایی ارائه بدیم.» اون ادامه داد: «موفقیت این مدل، بیشتر به ادغام دقیق یادگیری انتقالی، درست کردن دقیق مجموعه‌ی داده‌ها، و تنظیم دقیق پارامترهای هایپر بستگی داره. این ترکیب، باعث توسعه‌ی یه سیستم با دقت و قابلیت اطمینان بالا برای شناسایی حرکات زبان اشاره‌ی آمریکایی شد که یه گام بزرگ تو زمینه‌ی فناوری‌های کمکی محسوب می‌شه.»

تلاش‌های آینده، روی بزرگ‌تر کردن مجموعه‌ی داده‌ها تمرکز خواهد کرد تا طیف وسیع‌تری از شکل‌ها و حرکات دست رو شامل بشه. این کار باعث می‌شه که توانایی مدل تو تشخیص حرکات مشابه بصری، بهتر بشه و درنتیجه، دقت تشخیص هم بالا بره. هم‌چنین، بهینه‌سازی مدل برای استفاده تو دستگاه‌های لبه‌ای اولویت داره تا اطمینان حاصل بشه که عملکرد بلادرنگش رو تو محیط‌هایی که منابع محدودی دارن، حفظ می‌کنه.

استلا باتالاما، که رئیس دانشکده‌ی مهندسی و علوم کامپیوتر FAU هست، گفت: «با بهتر شدن شناسایی زبان اشاره‌ی آمریکایی، این کار به ساخت وسایلی کمک می‌کنه که می‌تونن ارتباطات رو واسه جامعه‌ی ناشنوایان و کم‌شنوایان، تقویت کنن.» اون اضافه کرد: «توانایی مدل در تفسیر مطمئن حرکات، درهای بیشتری رو به سمت راه‌حل‌های همه‌گیر باز می‌کنه که از دسترسی پشتیبانی می‌کنه و تعاملات روزمره – چه تو آموزش، مراقبت‌های بهداشتی یا محیط‌های اجتماعی – رو برای اونایی که به زبان اشاره وابسته هستن، آسون‌تر و مؤثرتر می‌کنه. این پیشرفت نویدبخش یه جامعه‌ی فراگیرتره که توش موانع ارتباطی کم می‌شه.»

مشارکت‌کننده‌ی دیگه تو این مطالعه، ایسا العلوانی، دکترای فارغ‌التحصیل اخیر از دانشکده‌ی مهندسی و علوم کامپیوتر FAU و استاد‌یار تو دانشگاه طیبه در عربستان سعودی هست.