کشف متد جدید برای بهینه‌سازی مدل‌های بزرگ هوش مصنوعی

افزایش توانایی‌های مدل‌های هوش مصنوعی پیش‌آموزش‌دیده

توانایی‌های مدل‌های هوش مصنوعی پیش‌آموزش‌دیده در مقیاس بزرگ به‌طور چشمگیری افزایش یافته است. این موضوع به‌ویژه با مدل‌های بینایی-زبان مانند CLIP و ChatGPT به‌خوبی نمایان است. این مدل‌های عمومی می‌توانند در انجام وظایف مختلف در زمینه‌های گوناگون عملکرد نسبتاً خوبی داشته باشند که این امر زمینه‌ساز پذیرش گسترده آن‌ها توسط عموم مردم شده است. با این حال، این تنوع بدون شک هزینه‌هایی نیز به همراه دارد. آموزش و اجرای مدل‌های بزرگ مقیاس نیازمند صرف انرژی و زمان بسیار زیادی است، که این موضوع با اهداف پایداری در تضاد بوده و نوع کامپیوترهایی که می‌توانند از آن‌ها استفاده کنند را محدود می‌کند.

علاوه بر این، در بسیاری از کاربردهای عملی، افراد می‌خواهند که مدل‌های هوش مصنوعی نقش‌های خاصی را ایفا کنند، نه اینکه صرفاً همه‌فن‌حریف باشند. در چنین مواردی، قابلیت‌های عمومی یک مدل ممکن است بی‌فایده و حتی مضر باشد و دقت را کاهش دهد. آیا می‌توان راهی برای استفاده بهینه‌تر از مدل‌های پیش‌آموزش‌دیده در مقیاس بزرگ پیدا کرد به‌طوری‌که آن‌ها اطلاعات غیرضروری را «فراموش» کنند؟

تحقیقات جدید در زمینه فراموشی انتخابی

در یک مقاله جدید که در کنفرانس سیستم‌های پردازش اطلاعات عصبی (NeurIPS 2024) ارائه خواهد شد، تیم تحقیقاتی به رهبری استاد یاری ایری از دانشگاه علوم توکیو (TUS) در ژاپن به بررسی این مشکل پرداخته است. آن‌ها یک روش‌شناسی به نام «فراموشی جعبه سیاه» توسعه داده‌اند که به وسیله آن می‌توان به‌طور تدریجی متن‌های ورودی ارائه‌شده به یک مدل طبقه‌بند بینایی-زبان جعبه سیاه را بهینه‌سازی کرد تا این مدل به‌طور انتخابی برخی از کلاس‌هایی را که می‌تواند شناسایی کند «فراموش» کند.

همکاران این مطالعه شامل آقای یوسوکه کووانا و آقای یوتا گوتو، هر دو از TUS، و همچنین دکتر تاکاشی شیباتا از شرکت NEC بودند. دکتر ایری توضیح می‌دهد: «در کاربردهای عملی، طبقه‌بندی همه انواع کلاس‌های اشیاء به‌ندرت مورد نیاز است. به‌عنوان مثال، در یک سیستم رانندگی خودکار، شناسایی کلاس‌های محدودی از اشیاء مانند خودروها، عابران پیاده و علائم ترافیکی کافی است. ما نیازی به شناسایی غذا، مبلمان یا گونه‌های حیوانات نداریم.» او ادامه می‌دهد: «نگه‌داشتن کلاس‌هایی که نیازی به شناسایی آن‌ها نیست، ممکن است دقت کلی طبقه‌بندی را کاهش دهد و همچنین معایب عملیاتی مانند هدررفت منابع محاسباتی و خطر نشت اطلاعات را به همراه داشته باشد.»

اگرچه برخی روش‌ها برای فراموشی انتخابی در مدل‌های پیش‌آموزش‌دیده وجود دارد، اما این روش‌ها فرض می‌کنند که کاربر به تنظیمات داخلی و معماری مدل دسترسی دارد. اما اغلب کاربران با جعبه‌های سیاه مواجه هستند؛ آن‌ها به خود مدل یا بیشتر اطلاعات آن به دلایل تجاری یا اخلاقی دسترسی ندارند.

استراتژی بهینه‌سازی بدون مشتق در تحقیقات جدید

بنابراین، محققان مجبور شدند از یک استراتژی بهینه‌سازی به نام بدون مشتق استفاده کنند که به دستیابی به گرادیان‌های مدل نیاز ندارد. به این منظور، آن‌ها روشی به نام CMA-ES را گسترش دادند و مدل طبقه‌بندی تصویر CLIP را به عنوان مدل هدف این مطالعه انتخاب کردند. این الگوریتم تکاملی شامل نمونه‌برداری از انواع مختلف پیشنهادات برای ارائه به مدل و ارزیابی نتایج از طریق توابع هدف از پیش تعیین‌شده است و توزیع چندمتغیره‌ای را بر اساس مقادیر محاسبه‌شده به‌روزرسانی می‌کند.

با این حال، عملکرد تکنیک‌های بهینه‌سازی بدون مشتق به سرعت برای مسائل مقیاس بزرگ کاهش می‌یابد. با افزایش تعداد کلاس‌هایی که باید فراموش شوند، زمینه نهفته مورد استفاده برای بهینه‌سازی پیشنهادات ورودی به اندازه‌های غیرقابل مدیریت رشد می‌کند. برای حل این مشکل، تیم تحقیقاتی یک تکنیک پارامترسازی جدید به نام اشتراک‌گذاری زمینه نهفته ارائه داد. این رویکرد شامل تجزیه زمینه نهفته ناشی از پیشنهادات به عناصر کوچک‌تر است که به عنوان منحصر به فرد برای یک توکن پیشنهاد یا مشترک بین چندین توکن در نظر گرفته می‌شوند.

با بهینه‌سازی برای این واحدهای کوچک‌تر به جای قطعات بزرگ زمینه نهفته، ابعاد مسئله به طور قابل توجهی کاهش می‌یابد و آن را بسیار قابل حل‌تر می‌کند. محققان رویکرد خود را با استفاده از چندین مجموعه داده استاندارد طبقه‌بندی تصویر تأیید کردند و سعی کردند تا CLIP را وادار کنند که ۴۰٪ از کلاس‌های موجود در یک مجموعه داده خاص را فراموش کند. این مطالعه برای نخستین بار به این هدف پرداخته است که یک مدل زبان-بینایی پیش‌آموزش‌دیده تحت شرایط جعبه سیاه نتواند کلاس‌های خاصی را شناسایی کند و بر اساس مبنای‌های عملکرد معقول، نتایج بسیار امیدوارکننده‌ای به دست آمد.

این روش نوآورانه پیامدهای مهمی در زمینه هوش مصنوعی و یادگیری ماشین دارد. این می‌تواند به مدل‌های مقیاس بزرگ کمک کند تا در وظایف تخصصی عملکرد بهتری داشته باشند و قابلیت‌های شگفت‌انگیز آن‌ها را گسترش دهد. به عنوان مثال، یکی دیگر از کاربردها می‌تواند جلوگیری از تولید محتوای نامطلوب توسط مدل‌های تولید تصویر باشد، به طوری که آن‌ها بتوانند زمینه‌های بصری خاصی را فراموش کنند. علاوه بر این، روش پیشنهادی می‌تواند به حل مسائل حریم خصوصی کمک کند که در حال حاضر نگرانی فزاینده‌ای در این حوزه است.

دکتر ایری می‌گوید: “اگر از یک ارائه‌دهنده خدمات خواسته شود که اطلاعات خاصی را از یک مدل حذف کند، این کار می‌تواند با آموزش مجدد مدل از ابتدا و حذف نمونه‌های مشکل‌دار از داده‌های آموزشی انجام شود. با این حال، آموزش مجدد یک مدل مقیاس بزرگ انرژی بسیار زیادی مصرف می‌کند.” او ادامه می‌دهد: “فراموشی انتخابی، یا به اصطلاح یادگیری ماشینی فراموشی، ممکن است راه‌حلی کارآمد برای این مشکل ارائه دهد.”

به عبارت دیگر، این می‌تواند به توسعه راه‌حل‌هایی برای حفاظت از آنچه که به عنوان “حق فراموش شدن” شناخته می‌شود کمک کند، که موضوعی به‌ویژه حساس در حوزه‌های بهداشت و مالی است.