هوش مصنوعی رو راحت بفهم: MIT روشی جدید برای توضیح پیش‌بینی‌ها رو کرد!

توسعه‌ی روش‌های توضیحی برای مدل‌های یادگیری ماشینی

مدل‌های یادگیری ماشینی گاهی دردسرساز می‌شن و استفاده ازشون سخته. به خاطر همین موضوع، دانشمندا روش‌های توضیحی رو ابداع کردن تا به کاربرا کمک کنن بفهمن کی و چطوری باید به پیش‌بینی‌های یه مدل اعتماد کنن. اما این توضیحات معمولاً پیچیده هستن و ممکنه شامل اطلاعاتی درباره‌ی صدها ویژگی یه مدل بشن. بعضی وقتا، این توضیحات به صورت تصویرهای چند‌بعدی ارائه می‌شن که درکشون برای کاربرا که تخصص یادگیری ماشینی ندارن، سخته.

تبدیل توضیحات به زبان ساده‌تر

برای اینکه مردم بتونن توضیحات هوش مصنوعی رو بهتر درک کنن، محققای MIT از مدل‌های زبانی بزرگ (LLMs) استفاده کردن تا توضیحات مبتنی بر نمودار رو به زبون ساده تبدیل کنن. یه سیستم دو قسمتی ساختن که می‌تونه توضیح یادگیری ماشینو به یه پاراگراف قابل فهم برای آدما تبدیل کنه و بعد، به طور خودکار کیفیت اون روایت رو ارزیابی می‌کنه تا کاربر بفهمه باید بهش اعتماد کنه یا نه. محققا با دادن چند تا توضیح نمونه به سیستم، می‌تونن توصیف‌های روایتیش رو با ترجیحات کاربرا یا نیازهای برنامه‌های خاص تنظیم کنن.

در بلندمدت، محققا می‌خوان این تکنیک رو توسعه بدن و به کاربرا این امکان رو بدن که از مدل سوالات بیشتری بپرسن درباره‌ی اینکه چطور پیش‌بینی‌ها توی شرایط واقعی انجام شدن. الکساندرا زایتک، دانشجوی ارشد مهندسی برق و علوم کامپیوتر و نویسنده‌ی اصلی یه مقاله تو این زمینه، می‌گه: “هدف ما از این تحقیق، برداشتن اولین قدم به سمت اینه که کاربرا بتونن با مدل‌های یادگیری ماشینی درباره‌ی دلایل پیش‌بینی‌های خاص صحبت کنن تا بتونن تصمیمات بهتری بگیرن درباره‌ی اینکه به مدل گوش کنن یا نه.” اون توی این مقاله با سارا پِیدو، یه پژوهشگر پسا‌دکتری از MIT؛ سارا الناگیمیش، دانشجوی ارشد EECS؛ لور برتی-اکویل، مدیر تحقیق در مؤسسه ملی تحقیق فرانسوی برای توسعه‌ی پایدار؛ و کالیان ویِرامچاننی، دانشمند ارشد تحقیق توی آزمایشگاه سیستم‌های اطلاعات و تصمیم‌گیری همکاری کرده. این تحقیق قراره تو کنفرانس IEEE Big Data ارائه بشه.

توضیحات SHAP

محققا روی یه نوع محبوب از توضیحات یادگیری ماشینی به اسم SHAP تمرکز کردن. توی یه توضیح SHAP، به هر ویژگی که مدل برای پیش‌بینی استفاده می‌کنه، یه مقدار اختصاص داده می‌شه. مثلاً، اگه یه مدل قیمت خونه‌ها رو پیش‌بینی کنه، یکی از ویژگی‌ها می‌تونه موقعیت خونه باشه. به موقعیت یه عدد مثبت یا منفی داده می‌شه که نشون می‌ده اون ویژگی چقدر پیش‌بینی کلی مدل رو تغییر داده. معمولاً، توضیحات SHAP به شکل نمودارهای ستونی ارائه می‌شن که نشون می‌دن کدوم ویژگی‌ها مهمترین یا کم‌اهمیت‌ترین هستن. ولی برای یه مدل با بیش از ۱۰۰ تا ویژگی، اون نمودار ستونی زود از کنترل خارج می‌شه.

ویرامچاننی می‌گه: “ما به عنوان محقق، باید انتخاب‌های زیادی درباره‌ی اینکه چی رو قرارِ بصری‌سازی کنیم انجام بدیم. اگه فقط ۱۰ تا ویژگی برتر رو نشون بدیم، ممکنه مردم بپرسن پس اون ویژگی دیگه‌ای که تو نمودار نیست چی شد؟ استفاده از زبان طبیعی ما رو از انجام این انتخابا راحت می‌کنه.” البته، محققا به جای استفاده از یه مدل زبانی بزرگ برای تولید یه توضیح به زبون طبیعی، از LLM استفاده می‌کنن تا یه توضیح SHAP موجود رو به یه روایت قابل فهم تبدیل کنن.

معرفی سیستم EXPLINGO

زایتک توضیح می‌ده که با این روش، فقط بخش زبون طبیعی رو به LLM می‌سپاریم و این کار باعث می‌شه احتمال اشتباه تو توضیحات کم بشه. سیستمشون که اسمش EXPLINGO هستش، از دو بخش تشکیل شده که با هم کار می‌کنن.

اجزای سیستم

بخش اول، که اسمش NARRATOR هستش، از LLM استفاده می‌کنه تا توضیحات روایتی SHAP رو تولید کنه که با ترجیحات کاربر همخوانی داره. با ارائه سه تا پنج تا مثال نوشته شده از توضیحات روایتی به NARRATOR، LLM می‌تونه سبک متن رو تقلید کنه. زایتک می‌گه: “به جای اینکه کاربر بخواد نوع توضیحی که دنبالشه رو تعریف کنه، بهتره که فقط بنویسه چی می‌خواد ببینه.” این باعث می‌شه که NARRATOR برای موارد استفاده‌ی جدید راحت سفارشی بشه و مجموعه‌ی متفاوتی از مثال‌های نوشته‌شده رو بهش نشون بدن.

ارزیابی توضیحات

وقتی NARRATOR یه توضیح به زبون ساده ساخت، بخش دوم، GRADER، از LLM استفاده می‌کنه تا روایت رو بر اساس چهار تا معیار ارزیابی کنه: ایجاز، دقت، کامل بودن و روانی. GRADER به طور خودکار متن NARRATOR و توضیح SHAP رو بررسی می‌کنه. زایتک می‌گه: “ما فهمیدیم که حتی وقتی LLM یه کارو اشتباه انجام می‌ده، معمولاً تو بررسی یا اعتبارسنجی اون کار، دیگه اشتباه نمی‌کنه.” کاربرا هم می‌تونن GRADER رو سفارشی کنن تا به هر معیار وزن‌های متفاوتی بدن. اون اضافه می‌کنه: “تصور کنید که تو یه مورد با ریسک بالا، وزن دقت و کامل بودن رو خیلی بیشتر از روانی قرار بدید.”

تحلیل روایت‌ها

برای زایتک و همکاراش، یکی از بزرگترین چالشا این بود که LLM رو طوری تنظیم کنن که روایتای طبیعی تولید کنه. هر چی دستورالعملای بیشتری برای کنترل سبک اضافه می‌کردن، احتمال اینکه LLM اشتباهاتی رو تو توضیحات وارد کنه، بیشتر می‌شد. اون می‌گه: “یه سری تنظیمات دقیق انجام شد تا هر اشتباهی جداگونه پیدا و اصلاح بشه.” برای آزمایش سیستمشون، محققا نه تا مجموعه داده‌ی یادگیری ماشینی با توضیحات رو بررسی کردن و از کاربرا خواستن که برای هر مجموعه داده، روایت‌های متفاوتی بنویسن. این کار باعث شد که بتونن توانایی NARRATOR رو تو تقلید از سبک‌های منحصر به فرد ارزیابی کنن. اونا از GRADER برای نمره‌دهی به هر توضیح روایتی بر اساس چهار تا معیار استفاده کردن.

نتایج و پیشرفت‌های آینده

در نهایت، محققا فهمیدن که سیستمشون می‌تونه توضیحات روایتی با کیفیت بالا تولید کنه و سبک‌های نوشتاری مختلف رو به خوبی تقلید کنه. نتایجشون نشون می‌ده که ارائه دادن چند مثال نوشته‌شده دستی، سبک روایت رو به طور قابل توجهی بهتر می‌کنه. با این حال، این مثال‌ها باید با دقت نوشته بشن؛ چون استفاده از کلمات مقایسه‌ای، مثل “بزرگتر”، ممکنه باعث بشه GRADER توضیحات دقیق رو اشتباه علامت‌گذاری کنه. بر اساس این نتایج، محققا می‌خوان تکنیک‌هایی رو بررسی کنن که می‌تونه به سیستمشون کمک کنه کلمات مقایسه‌ای رو بهتر مدیریت کنه. اونا هم‌چنین می‌خوان EXPLINGO رو گسترش بدن و قابلیت توجیه رو به توضیحات اضافه کنن. در درازمدت، اونا امیدوارن که از این کار به عنوان یه پل به سمت یه سیستم تعاملی استفاده کنن که توش کاربر بتونه درباره‌ی یه توضیح، سوالات بیشتری از مدل بپرسه. زایتک می‌گه: “این به تصمیم‌گیری تو خیلی از جنبه‌ها کمک می‌کنه. اگه مردم با پیش‌بینی یه مدل مخالف باشن، ما می‌خوایم بتونن سریع بفهمن که آیا شهودشون درسته یا شهود مدل، و این تفاوت از کجا ناشی می‌شه.”