کمک به ربات‌ها برای تصمیم‌گیری هوشمندانه لحظه‌ای

توسعه الگوریتمی نوین برای روبات‌های خودران

در سال ۲۰۱۸، برنامه AlphaZero شرکت گوگل دیپ‌مایند با استفاده از یادگیری ماشین و یک الگوریتم خاص، بازی‌های شطرنج، شوگی و گو را به‌طور خودآموز یاد گرفت و بهترین حرکات برای پیروزی در یک بازی را در یک شبکه تعریف‌شده تعیین کرد. اکنون، تیمی از محققان کالتک الگوریتمی مشابه برای روبات‌های خودران توسعه داده‌اند؛ یک سیستم کنترل برنامه‌ریزی و تصمیم‌گیری که به روبات‌های متحرک کمک می‌کند تا بهترین حرکات را هنگام پیمایش در دنیای واقعی انتخاب کنند.

سئون-جو چونگ، استاد کنترل و سیستم‌های دینامیکی در کالتک و دانشمند ارشد تحقیقاتی در JPL که کالتک آن را برای ناسا مدیریت می‌کند، می‌گوید: “الگوریتم ما در واقع استراتژی‌سازی می‌کند و سپس تمام حرکات ممکن و مهم را بررسی کرده و بهترین گزینه را از طریق شبیه‌سازی دینامیکی انتخاب می‌کند، مانند بازی‌های شبیه‌سازی‌شده متعدد که شامل روبات‌های متحرک هستند.” او ادامه می‌دهد: “نوآوری بزرگ در اینجا این است که ما یک روش بسیار کارآمد برای پیدا کردن آن حرکت ایمن بهینه‌ای که روش‌های مبتنی بر بهینه‌سازی معمول هرگز نمی‌توانند پیدا کنند، استخراج کرده‌ایم.”

تیم این تکنیک را که “جستجوی درخت گسترش طیفی” (SETS) نامیده‌اند، در مقاله‌ای که در شماره دسامبر مجله Science Robotics منتشر شده، توصیف کرده است. بسیاری از روبات‌ها می‌توانند به‌طور آزاد و در هر جهتی حرکت کنند. به عنوان مثال، یک روبات انسان‌نما که برای کمک به یک فرد سالمند در خانه طراحی شده است، باید قادر باشد به روش‌های مختلف و در واقع در هر جهتی حرکت کند، در حالی که با موانع یا رویدادهای غیرمنتظره مواجه می‌شود و وظایف خود را انجام می‌دهد. مجموعه حرکات، موانع و چالش‌های این روبات بسیار متفاوت از یک خودروی خودران خواهد بود.

پس چگونه می‌توان یک الگوریتم واحد را برای هدایت سیستم‌های روباتیک مختلف به‌منظور اتخاذ بهترین تصمیمات برای حرکت در محیط‌هایشان به کار برد؟ جان لاترپ، دانشجوی تحصیلات تکمیلی در زمینه کنترل و سیستم‌های دینامیکی در کالتک و نویسنده همکار این مقاله، می‌گوید: “شما نمی‌خواهید که یک طراح مجبور باشد به‌صورت دستی این حرکات را ایجاد کند و بگوید، ‘این مجموعه حرکات گسسته‌ای است که روبات باید قادر به انجام آن باشد.'” او ادامه می‌دهد: “برای غلبه بر این مشکل، ما SETS را ابداع کردیم.”

SETS از نظریه کنترل و جبر خطی برای پیدا کردن حرکات طبیعی که از قابلیت‌های یک پلتفرم روباتیک به بهترین شکل در یک محیط فیزیکی استفاده می‌کند، بهره می‌برد. مفهوم اصلی این الگوریتم بر اساس جستجوی درخت مونت کارلو است، که یک الگوریتم تصمیم‌گیری است که همچنین توسط AlphaZero گوگل استفاده می‌شود. در اینجا، مونت کارلو به معنای چیزی تصادفی است و جستجوی درخت به پیمایش یک ساختار شاخه‌ای اشاره دارد که روابط داده‌ها در یک سیستم را نشان می‌دهد. در چنین درختی، یک ریشه به آنچه که به نام گره‌های فرزند شناخته می‌شود، شاخه می‌زند که توسط لبه‌ها به هم متصل هستند.

با استفاده از جستجوی درخت مونت کارلو برای یک بازی مانند گو، حرکات ممکن به‌عنوان گره‌های جدید نمایان می‌شوند و درخت با تلاش برای نمونه‌گیری‌های تصادفی بیشتر از مسیرهای ممکن بزرگ‌تر می‌شود. این الگوریتم حرکات ممکن را اجرا می‌کند تا نتایج نهایی گره‌های مختلف را ببیند و سپس بهترین گزینه را بر اساس ارزیابی امتیاز انتخاب می‌کند.

چالش‌های سیستم‌های دینامیکی پیوسته و راه‌حل SETS

لثروپ توضیح می‌دهد که مشکل این است که وقتی از ساختار درختی شاخه‌ای برای سیستم‌های دینامیکی پیوسته استفاده می‌شود، مانند ربات‌هایی که در دنیای واقعی فعالیت می‌کنند، تعداد کل مسیرها در درخت به‌طور نمایی افزایش می‌یابد. او می‌گوید: “برای برخی از مسائل، تلاش برای شبیه‌سازی هر یک از امکانات و سپس تعیین بهترین گزینه، ممکن است سال‌ها و شاید صدها سال طول بکشد.” برای غلبه بر این چالش، SETS از یک تعادل بین اکتشاف و بهره‌برداری استفاده می‌کند. لثروپ می‌گوید: “ما می‌خواهیم مسیرهایی را شبیه‌سازی کنیم که قبلاً بررسی نکرده‌ایم – این اکتشاف است.” او ادامه می‌دهد: “و ما می‌خواهیم به دنبال مسیرهایی باشیم که قبلاً پاداش بالایی داشته‌اند – این بهره‌برداری است. با متعادل کردن اکتشاف و بهره‌برداری، الگوریتم می‌تواند به سرعت به راه‌حل بهینه در میان تمام مسیرهای ممکن نزدیک شود.”

به عنوان مثال، اگر یک ربات بخواهد چند عمل ممکن را محاسبه کند که منجر به برخورد آن با دیوار می‌شود، نیازی به بررسی سایر گره‌ها در آن شاخه از درخت نیست. بنجامین ریوی‌یر (PhD ’24)، پژوهشگر پسادکتری در مهندسی مکانیک و عمران در کالتک و یکی از نویسندگان اصلی مقاله، می‌گوید: “این تعادل اکتشاف/بهره‌برداری و جستجو در حرکات طبیعی ربات به ربات‌های ما این امکان را می‌دهد که در زمان واقعی فکر کنند، حرکت کنند و به اطلاعات جدید سازگار شوند.”

عملکرد سریع و تطبیق‌پذیری الگوریتم SETS

SETS می‌تواند یک جستجوی کامل درختی را در حدود یک دهم ثانیه انجام دهد. در این مدت، می‌تواند هزاران تا ده‌ها هزار مسیر ممکن را شبیه‌سازی کند، بهترین گزینه را انتخاب کرده و سپس اقدام کند. این چرخه به طور مکرر ادامه می‌یابد و به سیستم رباتیک این امکان را می‌دهد که در هر ثانیه تصمیمات زیادی بگیرد. یکی از ویژگی‌های کلیدی الگوریتم SETS این است که می‌تواند به طور اساسی بر روی هر پلتفرم رباتیکی اعمال شود و نیازی به برنامه‌نویسی جداگانه ندارد.

موفقیت‌های الگوریتم در محیط‌های آزمایشی مختلف

در مقاله جدید، چونگ و همکارانش موفقیت‌های این الگوریتم را در سه محیط آزمایشی کاملاً متفاوت نشان می‌دهند – چیزی که در مقالات رباتیک بسیار نادر است. در اولین آزمایش، یک پهپاد چهارپره موفق شد چهار توپ سفید معلق را مشاهده کند و در عین حال از چهار توپ نارنجی اجتناب کند، در حالی که در یک فرودگاه با جریان‌های هوایی خطرناک و تصادفی حرکت می‌کرد. این آزمایش در مرکز سیستم‌ها و فناوری‌های خودران کالتک (CAST) انجام شد.

در دومین آزمایش، الگوریتم به یک راننده انسانی در یک وسیله نقلیه زمینی پیوسته کمک کرد تا یک مسیر باریک و پیچ‌درپیچ را بدون برخورد به نرده‌ها طی کند. و در آخرین آزمایش، SETS به دو فضاپیمای متصل کمک کرد تا یک عامل سوم را که می‌تواند نمایانگر یک فضاپیما، یک سیارک یا شیء دیگری باشد، شکار و هدایت کند.

یک تیم از دانشجویان و پژوهشگران کالتک در حال حاضر نسخه‌ای از الگوریتم SETS را بر روی یک خودروی ایندی که در چالش خودران ایندی در نمایشگاه الکترونیک مصرفی (CES) در لاس‌وگاس در تاریخ 9 ژانویه شرکت خواهد کرد، اعمال می‌کنند. این کار با حمایت برنامه کنترل درون‌نگر یادگیری (LINC) آژانس پروژه‌های تحقیقاتی پیشرفته دفاعی، شرکت هوافضا و سوپرنال انجام شده و بخشی از آن بر اساس کارهای حمایت شده توسط برنامه بورس تحصیلی تحقیقات فارغ‌التحصیلی بنیاد ملی علوم است.