پیشرفت انقلابی: ترجمه لحظه‌ای زبان اشاره با هوش مصنوعی

زبان اشاره: ابزاری پیشرفته برای ارتباط

زبان اشاره به عنوان یک وسیله ارتباطی پیچیده، برای افرادی که ناشنوا یا کم‌شنوا هستند، اهمیت زیادی دارد. این زبان به حرکات دست، حالات چهره و زبان بدن تکیه می‌کند تا معانی ظریف را منتقل کند. زبان اشاره آمریکایی نمونه‌ای از این پیچیدگی زبانی است که دارای دستور زبان و ساختار خاص خود می‌باشد.

زبان اشاره جهانی نیست و در سراسر جهان زبان‌های اشاره مختلفی وجود دارد که هر کدام دارای دستور زبان، ساختار و واژگان خاص خود هستند. این موضوع تنوع و پیچیدگی زبان‌های اشاره در سطح جهانی را نشان می‌دهد. روش‌های مختلفی در حال بررسی هستند تا حرکات دست زبان اشاره را به متن یا زبان گفتاری در زمان واقعی تبدیل کنند. برای بهبود دسترسی به ارتباطات برای افراد ناشنوا یا کم‌شنوا، نیاز به یک سیستم قابل اعتماد و زمان واقعی وجود دارد که بتواند حرکات زبان اشاره آمریکایی را به دقت شناسایی و پیگیری کند. این سیستم می‌تواند نقش کلیدی در از بین بردن موانع ارتباطی و تضمین تعاملات فراگیرتر ایفا کند.

تحقیقات نوآورانه در شناسایی حرکات زبان اشاره

برای حل این موانع ارتباطی، محققان دانشکده مهندسی و علوم کامپیوتر دانشگاه فلوریدا آتلانتیک یک مطالعه بی‌سابقه را با تمرکز بر شناسایی حرکات الفبای زبان اشاره آمریکایی با استفاده از بینایی کامپیوتری انجام دادند. آن‌ها یک مجموعه داده سفارشی شامل ۲۹,۸۲۰ تصویر ایستا از حرکات دست زبان اشاره آمریکایی ایجاد کردند. با استفاده از MediaPipe، هر تصویر با ۲۱ نقطه کلیدی بر روی دست نشانه‌گذاری شد که اطلاعات فضایی دقیقی درباره ساختار و موقعیت آن ارائه می‌داد. این نشانه‌گذاری‌ها نقش حیاتی در افزایش دقت مدل یادگیری عمیق YOLOv8 که محققان آن را آموزش دادند، ایفا کرد و به آن اجازه داد تا تفاوت‌های ظریف در حرکات دست را بهتر شناسایی کند.

نتایج این مطالعه که در نشریه Franklin Open منتشر شده است، نشان می‌دهد که با استفاده از این اطلاعات دقیق از حالت دست، مدل فرآیند شناسایی بهتری را به دست آورد و ساختار پیچیده حرکات زبان اشاره آمریکایی را به دقت ثبت کرد. ترکیب MediaPipe برای پیگیری حرکات دست با YOLOv8 برای آموزش، منجر به ایجاد یک سیستم قدرتمند برای شناسایی حرکات الفبای زبان اشاره آمریکایی با دقت بالا شد.

بادر الشریف، نویسنده اول و دانشجوی دکتری در دپارتمان مهندسی برق و علوم کامپیوتر دانشگاه FAU، گفت: “ترکیب MediaPipe و YOLOv8، به همراه تنظیم دقیق پارامترها برای بهترین دقت، رویکردی نوآورانه و پیشگامانه است.” او افزود: “این روش در تحقیقات قبلی بررسی نشده است و این یک جهت جدید و امیدوارکننده برای پیشرفت‌های آینده است.”

یافته‌ها نشان می‌دهند که مدل با دقت ۹۸٪ عمل کرده است و توانایی شناسایی صحیح حرکات (recall) را با ۹۸٪ و نمره عملکرد کلی (F1 score) برابر با ۹۹٪ داشته است.

دستاوردهای تحقیق در شناسایی زبان اشاره آمریکایی

این تحقیق به دقت میانگین دقت (mAP) 98% و نمره mAP50-95 دقیق‌تری معادل 93% را به دست آورد که نشان‌دهنده قابلیت اطمینان و دقت بالای آن در شناسایی حرکات زبان اشاره آمریکایی است. الشارف گفت: “نتایج تحقیقات ما نشان‌دهنده توانایی مدل ما در شناسایی و طبقه‌بندی حرکات زبان اشاره آمریکایی با حداقل خطاها است.” او افزود: “مهم‌تر از همه، یافته‌های این مطالعه بر روی استحکام سیستم و همچنین پتانسیل آن برای استفاده در برنامه‌های عملی و زمان واقعی تأکید می‌کند تا تعاملات انسانی و کامپیوتری را بیشتر شهودی کند.”

ادغام موفقیت‌آمیز نشانه‌گذاری نقاط کلیدی از MediaPipe در فرآیند آموزش YOLOv8 به طرز قابل توجهی دقت جعبه‌های محدودکننده و طبقه‌بندی حرکات را بهبود بخشید و به مدل این امکان را داد که تغییرات ظریف در حالت‌های دست را ثبت کند. این رویکرد دو مرحله‌ای شامل ردیابی نقاط کلیدی و شناسایی اشیاء، در تضمین دقت و کارایی بالای سیستم در سناریوهای واقعی بسیار حیاتی بود. توانایی مدل در حفظ نرخ شناسایی بالا حتی در شرایط مختلف وضعیت و حرکات دست، قدرت و سازگاری آن را در محیط‌های عملیاتی متنوع نشان می‌دهد.

محمد الیاس، دکتری، یکی از نویسندگان و استاد در دانشکده مهندسی برق و علوم کامپیوتر FAU گفت: “تحقیقات ما پتانسیل ترکیب الگوریتم‌های پیشرفته شناسایی اشیاء با ردیابی نقاط کلیدی برای شناسایی حرکات در زمان واقعی را نشان می‌دهد و راه‌حلی قابل اعتماد برای تفسیر زبان اشاره آمریکایی ارائه می‌دهد.” او افزود: “موفقیت این مدل عمدتاً به ادغام دقیق یادگیری انتقالی، ایجاد مجموعه داده‌ها با دقت و تنظیم دقیق هایپرپارامترها مربوط می‌شود. این ترکیب منجر به توسعه سیستمی با دقت و قابلیت اطمینان بالا برای شناسایی حرکات زبان اشاره آمریکایی شده است که یک نقطه عطف بزرگ در زمینه فناوری‌های کمکی به شمار می‌رود.”

تلاش‌های آینده بر روی گسترش مجموعه داده‌ها برای شامل کردن دامنه وسیع‌تری از اشکال و حرکات دست متمرکز خواهد بود تا توانایی مدل در تفکیک حرکات بصری مشابه را بهبود بخشد و در نتیجه دقت شناسایی را افزایش دهد. علاوه بر این، بهینه‌سازی مدل برای استقرار در دستگاه‌های لبه‌ای اولویت خواهد داشت تا اطمینان حاصل شود که عملکرد زمان واقعی خود را در محیط‌های محدود از نظر منابع حفظ می‌کند.

استلا باتالاما، دکتری، رئیس دانشکده مهندسی و علوم کامپیوتر FAU گفت: “با بهبود شناسایی زبان اشاره آمریکایی، این کار به ایجاد ابزارهایی کمک می‌کند که می‌توانند ارتباطات را برای جامعه ناشنوا و کم‌شنوا بهبود بخشند.” او ادامه داد: “توانایی مدل در تفسیر قابل اعتماد حرکات، درهای بیشتری را به سوی راه‌حل‌های فراگیر باز می‌کند که از دسترسی پشتیبانی می‌کند و تعاملات روزمره – چه در آموزش، مراقبت‌های بهداشتی یا محیط‌های اجتماعی – را برای افرادی که به زبان اشاره وابسته هستند، آسان‌تر و مؤثرتر می‌سازد. این پیشرفت نویدبخش ایجاد جامعه‌ای فراگیرتر است که در آن موانع ارتباطی کاهش یابد.”

نویسنده همکار این مطالعه ایسا العلوانی، دکتری، فارغ‌التحصیل اخیر دکتری از دانشکده مهندسی و علوم کامپیوتر FAU و استادیار در دانشگاه طیب در عربستان سعودی است.