شگفتی: چگونه هوش مصنوعی پیش‌بینی‌هایش را توضیح می‌دهد؟

تحلیل توضیحات مدل‌های یادگیری ماشین

مدل‌های یادگیری ماشین ممکن است اشتباه کنند و استفاده از آن‌ها دشوار باشد. به همین دلیل، دانشمندان روش‌های توضیحی را توسعه داده‌اند تا به کاربران کمک کنند بفهمند چه زمانی و چگونه باید به پیش‌بینی‌های یک مدل اعتماد کنند. با این حال، این توضیحات اغلب پیچیده هستند و ممکن است شامل اطلاعاتی درباره صدها ویژگی مدل باشند. همچنین، گاهی اوقات این توضیحات به صورت تجسم‌های چندوجهی ارائه می‌شوند که برای کاربرانی که تخصصی در یادگیری ماشین ندارند، درک آن‌ها دشوار است.

تبدیل توضیحات به زبان ساده

برای کمک به افراد در درک توضیحات هوش مصنوعی، محققان MIT از مدل‌های زبانی بزرگ (LLMs) استفاده کردند تا توضیحات مبتنی بر نمودار را به زبان ساده تبدیل کنند. آن‌ها یک سیستم دو بخشی توسعه دادند که توضیحات یادگیری ماشین را به یک پاراگراف متن قابل خواندن برای انسان تبدیل می‌کند و سپس به‌طور خودکار کیفیت روایت را ارزیابی می‌کند تا کاربر نهایی بداند آیا باید به آن اعتماد کند یا خیر. با ارائه چند نمونه توضیح به سیستم، محققان می‌توانند توصیف‌های روایتی آن را متناسب با ترجیحات کاربران یا نیازهای برنامه‌های خاص سفارشی کنند.

در درازمدت، محققان امیدوارند با استفاده از این تکنیک، به کاربران این امکان را بدهند که از مدل‌ها سؤالات پیگیری بپرسند تا بفهمند چگونه پیش‌بینی‌ها در شرایط واقعی به دست آمده‌اند. «هدف ما از این تحقیق برداشتن اولین گام به سوی این است که کاربران بتوانند با مدل‌های یادگیری ماشین درباره دلایل پیش‌بینی‌های خاص گفت‌وگو کنند تا بتوانند تصمیمات بهتری درباره اینکه آیا به مدل گوش دهند یا خیر بگیرند»، می‌گوید الکساندرا زایتک، دانشجوی تحصیلات تکمیلی در رشته مهندسی برق و علوم کامپیوتر و نویسنده اصلی مقاله‌ای درباره این تکنیک. او در این مقاله با سارا پیدو، یک پژوهشگر پسادکترا در MIT؛ سارا الناقیمیش، دانشجوی تحصیلات تکمیلی EECS؛ لور برتی-اکویل، مدیر پژوهش در مؤسسه ملی تحقیقات فرانسه برای توسعه پایدار؛ و کالیان ویرامچاننی، دانشمند ارشد پژوهش در آزمایشگاه سیستم‌های اطلاعات و تصمیم‌گیری همکاری کرده است. این تحقیق در کنفرانس IEEE Big Data ارائه خواهد شد.

توضیحات SHAP

محققان بر روی نوعی محبوب از توضیحات یادگیری ماشین به نام SHAP تمرکز کردند. در یک توضیح SHAP، به هر ویژگی که مدل برای پیش‌بینی استفاده می‌کند، یک ارزش اختصاص داده می‌شود. به عنوان مثال، اگر مدلی قیمت خانه‌ها را پیش‌بینی کند، یکی از ویژگی‌ها ممکن است موقعیت خانه باشد. موقعیت به یک ارزش مثبت یا منفی اختصاص داده می‌شود که نشان‌دهنده میزان تأثیر آن ویژگی بر پیش‌بینی کلی مدل است. معمولاً، توضیحات SHAP به صورت نمودارهای میله‌ای ارائه می‌شوند که نشان می‌دهند کدام ویژگی‌ها مهم‌تر یا کم‌اهمیت‌تر هستند. اما برای مدلی با بیش از 100 ویژگی، آن نمودار میله‌ای به سرعت غیرقابل مدیریت می‌شود.

«به عنوان محققان، ما باید انتخاب‌های زیادی درباره آنچه که قرار است به صورت بصری ارائه دهیم انجام دهیم. اگر تصمیم بگیریم فقط 10 ویژگی برتر را نشان دهیم، ممکن است مردم بپرسند ویژگی دیگری که در نمودار نیست چه شد. استفاده از زبان طبیعی ما را از انجام این انتخاب‌ها آزاد می‌کند»، ویرامچاننی می‌گوید. با این حال، به جای استفاده از یک مدل زبانی بزرگ برای تولید توضیح به زبان طبیعی، محققان از LLM برای تبدیل یک توضیح SHAP موجود به یک روایت قابل خواندن استفاده می‌کنند.

معرفی سیستم EXPLINGO

زی‌تک توضیح می‌دهد که با سپردن تنها بخش زبان طبیعی به LLM، فرصت ایجاد نادرستی در توضیحات محدود می‌شود. سیستم آن‌ها که EXPLINGO نام دارد، به دو بخش تقسیم می‌شود که به‌طور هماهنگ کار می‌کنند. بخش اول، که NARRATOR نامیده می‌شود، از LLM برای ایجاد توضیحات روایتی از توضیحات SHAP استفاده می‌کند که با ترجیحات کاربر مطابقت دارد. با ارائه سه تا پنج مثال نوشته شده از توضیحات روایتی به NARRATOR، LLM سبک آن را در هنگام تولید متن تقلید می‌کند.

سفارشی‌سازی آسان NARRATOR

زی‌تک می‌گوید: “به‌جای اینکه کاربر تلاش کند تا نوع توضیح مورد نظرش را تعریف کند، بهتر است که فقط آنچه را که می‌خواهد ببیند، بنویسد.” این امکان را به NARRATOR می‌دهد که به‌راحتی برای موارد جدید سفارشی‌سازی شود، با نشان دادن مجموعه‌ای متفاوت از مثال‌های نوشته شده به‌صورت دستی. پس از اینکه NARRATOR یک توضیح به زبان ساده ایجاد کرد، بخش دوم، GRADER، از LLM برای ارزیابی روایت بر اساس چهار معیار استفاده می‌کند: اختصار، دقت، کامل بودن و روانی. GRADER به‌طور خودکار LLM را با متن NARRATOR و توضیح SHAP که توصیف می‌کند، راهنمایی می‌کند.

دقت در ارزیابی

زی‌تک می‌گوید: “ما متوجه شده‌ایم که حتی زمانی که یک LLM در انجام یک کار اشتباه می‌کند، معمولاً در بررسی یا اعتبارسنجی آن کار اشتباهی نمی‌کند.” کاربران همچنین می‌توانند GRADER را به‌گونه‌ای سفارشی‌سازی کنند که به هر معیار وزن‌های متفاوتی بدهد. او اضافه می‌کند: “شما می‌توانید تصور کنید که در یک مورد حساس، وزن دقت و کامل بودن بسیار بیشتر از روانی باشد.”

تحلیل روایت‌ها

برای زی‌تک و همکارانش، یکی از بزرگ‌ترین چالش‌ها تنظیم LLM به‌گونه‌ای بود که روایت‌های طبیعی تولید کند. هرچه دستورالعمل‌های بیشتری برای کنترل سبک اضافه می‌کردند، احتمال اینکه LLM خطاهایی را در توضیحات وارد کند، بیشتر می‌شد. او می‌گوید: “تعدادی از تنظیمات دستورالعمل‌ها برای پیدا کردن و اصلاح هر اشتباه به‌صورت تک‌به‌تک انجام شد.” برای آزمایش سیستم خود، محققان نه مجموعه داده یادگیری ماشین با توضیحات را انتخاب کردند و از کاربران مختلف خواستند تا روایت‌هایی برای هر مجموعه داده بنویسند. این کار به آن‌ها این امکان را داد که توانایی NARRATOR را در تقلید از سبک‌های منحصر به فرد ارزیابی کنند. آن‌ها از GRADER برای نمره‌دهی به هر توضیح روایتی بر اساس چهار معیار استفاده کردند.

نتایج و پیشرفت‌ها

در نهایت، محققان متوجه شدند که سیستم آن‌ها می‌تواند توضیحات روایتی با کیفیت بالا تولید کند و به‌طور مؤثری سبک‌های نوشتاری مختلف را تقلید کند. نتایج آن‌ها نشان می‌دهد که ارائه چند مثال نوشته شده به‌صورت دستی، به‌طور قابل توجهی سبک روایتی را بهبود می‌بخشد. با این حال، این مثال‌ها باید با دقت نوشته شوند؛ زیرا استفاده از کلمات مقایسه‌ای مانند “بزرگ‌تر” می‌تواند باعث شود GRADER توضیحات دقیق را نادرست علامت‌گذاری کند.

آینده EXPLINGO

بر اساس این نتایج، محققان می‌خواهند تکنیک‌هایی را بررسی کنند که می‌تواند به سیستم آن‌ها کمک کند تا بهتر با کلمات مقایسه‌ای کنار بیاید. آن‌ها همچنین می‌خواهند EXPLINGO را با افزودن توجیه به توضیحات گسترش دهند. در درازمدت، آن‌ها امیدوارند که از این کار به‌عنوان یک سنگ‌پایه برای ایجاد یک سیستم تعاملی استفاده کنند که در آن کاربر بتواند از مدل سوالات پیگیری درباره یک توضیح بپرسد. زی‌تک می‌گوید: “این می‌تواند در تصمیم‌گیری به طرق مختلف کمک کند. اگر مردم با پیش‌بینی یک مدل اختلاف نظر داشته باشند، ما می‌خواهیم آن‌ها بتوانند به‌سرعت بفهمند که آیا شهودشان درست است یا شهود مدل و اینکه این تفاوت از کجا ناشی می‌شود.”