چگونه هوش مصنوعی را به زبان ساده بفهمیم؟

توسعه روش‌های توضیحی برای مدل‌های یادگیری ماشین

مدل‌های یادگیری ماشین ممکن است اشتباه کنند و استفاده از آن‌ها دشوار باشد. به همین دلیل، دانشمندان روش‌های توضیحی را توسعه داده‌اند تا به کاربران کمک کنند بفهمند چه زمانی و چگونه باید به پیش‌بینی‌های یک مدل اعتماد کنند. با این حال، این توضیحات اغلب پیچیده هستند و ممکن است شامل اطلاعاتی درباره صدها ویژگی مدل باشند. گاهی اوقات، این توضیحات به صورت تجسم‌های چندوجهی ارائه می‌شوند که برای کاربرانی که تخصصی در یادگیری ماشین ندارند، درک کامل آن‌ها دشوار است.

تبدیل توضیحات به زبان ساده

برای کمک به مردم در درک توضیحات هوش مصنوعی، محققان MIT از مدل‌های زبانی بزرگ (LLMs) استفاده کردند تا توضیحات مبتنی بر نمودار را به زبان ساده تبدیل کنند. آن‌ها یک سیستم دو قسمتی توسعه دادند که توضیح یادگیری ماشین را به یک پاراگراف قابل خواندن برای انسان تبدیل می‌کند و سپس به‌طور خودکار کیفیت روایت را ارزیابی می‌کند تا کاربر نهایی بداند آیا باید به آن اعتماد کند یا خیر. با ارائه چند توضیح نمونه به سیستم، محققان می‌توانند توصیف‌های روایتی آن را مطابق با ترجیحات کاربران یا نیازهای برنامه‌های خاص سفارشی کنند.

در درازمدت، محققان امیدوارند بر این تکنیک بنا کنند و به کاربران این امکان را بدهند که از مدل سوالات پیگیری بپرسند درباره اینکه چگونه پیش‌بینی‌ها در شرایط واقعی به دست آمده است. الکساندرا زایتک، دانشجوی کارشناسی ارشد مهندسی برق و علوم کامپیوتر و نویسنده اصلی مقاله‌ای در این زمینه می‌گوید: “هدف ما از این تحقیق، برداشتن اولین گام به سمت این است که کاربران بتوانند با مدل‌های یادگیری ماشین درباره دلایل پیش‌بینی‌های خاص گفتگو کنند تا بتوانند تصمیمات بهتری بگیرند درباره اینکه آیا به مدل گوش دهند یا خیر.” او در این مقاله با سارا پیدو، یک پژوهشگر پسادکتری MIT؛ سارا الناگیمیش، دانشجوی کارشناسی ارشد EECS؛ لور برتی-اکویل، مدیر تحقیق در مؤسسه ملی تحقیق فرانسه برای توسعه پایدار؛ و کالیان ویرامچاننی، دانشمند ارشد تحقیق در آزمایشگاه سیستم‌های اطلاعات و تصمیم‌گیری همکاری کرده است. این تحقیق در کنفرانس IEEE Big Data ارائه خواهد شد.

توضیحات SHAP

محققان بر روی نوع محبوبی از توضیحات یادگیری ماشین به نام SHAP تمرکز کردند. در یک توضیح SHAP، به هر ویژگی که مدل برای پیش‌بینی استفاده می‌کند، یک مقدار اختصاص داده می‌شود. به عنوان مثال، اگر یک مدل قیمت‌های خانه را پیش‌بینی کند، یکی از ویژگی‌ها ممکن است موقعیت خانه باشد. موقعیت به یک مقدار مثبت یا منفی اختصاص داده می‌شود که نشان‌دهنده این است که آن ویژگی چقدر پیش‌بینی کلی مدل را تغییر داده است. اغلب، توضیحات SHAP به صورت نمودارهای میله‌ای ارائه می‌شوند که نشان می‌دهند کدام ویژگی‌ها مهم‌ترین یا کم‌اهمیت‌ترین هستند. اما برای مدلی با بیش از ۱۰۰ ویژگی، آن نمودار میله‌ای به سرعت غیرقابل مدیریت می‌شود.

ویرامچاننی می‌گوید: “به عنوان محققان، باید انتخاب‌های زیادی درباره آنچه که قرار است به صورت بصری ارائه دهیم، انجام دهیم. اگر فقط ۱۰ ویژگی برتر را نشان دهیم، ممکن است مردم بپرسند چه بر سر ویژگی دیگری که در نمودار نیست آمده است. استفاده از زبان طبیعی ما را از انجام این انتخاب‌ها آزاد می‌کند.” با این حال، به جای استفاده از یک مدل زبانی بزرگ برای تولید یک توضیح به زبان طبیعی، محققان از LLM برای تبدیل یک توضیح SHAP موجود به یک روایت قابل خواندن استفاده می‌کنند.

معرفی سیستم EXPLINGO

زایتک توضیح می‌دهد که با سپردن تنها بخش زبان طبیعی به LLM، فرصت بروز نادرستی در توضیحات محدود می‌شود. سیستم آن‌ها که EXPLINGO نام دارد، از دو بخش تشکیل شده است که با هم کار می‌کنند.

اجزای سیستم

بخش اول، که NARRATOR نام دارد، از LLM برای ایجاد توضیحات روایتی SHAP استفاده می‌کند که با ترجیحات کاربر مطابقت دارد. با ارائه سه تا پنج مثال نوشته‌شده از توضیحات روایتی به NARRATOR، LLM می‌تواند سبک آن را در هنگام تولید متن تقلید کند. زایتک می‌گوید: “به جای اینکه کاربر تلاش کند نوع توضیحی که به دنبال آن است را تعریف کند، بهتر است که فقط آنچه را که می‌خواهد ببیند، بنویسد.” این امکان را فراهم می‌کند که NARRATOR به راحتی برای موارد استفاده جدید سفارشی‌سازی شود و مجموعه‌ای متفاوت از مثال‌های نوشته‌شده دستی را به آن نشان دهند.

ارزیابی توضیحات

پس از اینکه NARRATOR یک توضیح به زبان ساده ایجاد کرد، بخش دوم، GRADER، از LLM برای ارزیابی روایت بر اساس چهار معیار استفاده می‌کند: اختصار، دقت، کامل بودن و روانی. GRADER به‌طور خودکار متن NARRATOR و توضیح SHAP را ارزیابی می‌کند. زایتک می‌گوید: “ما متوجه شده‌ایم که حتی زمانی که LLM در انجام یک کار اشتباه می‌کند، معمولاً در بررسی یا اعتبارسنجی آن کار اشتباهی نمی‌کند.” کاربران همچنین می‌توانند GRADER را برای دادن وزن‌های متفاوت به هر معیار سفارشی‌سازی کنند. او اضافه می‌کند: “شما می‌توانید تصور کنید که در یک مورد با ریسک بالا، وزن دقت و کامل بودن را بسیار بیشتر از روانی قرار دهید.”

تحلیل روایات

برای زایتک و همکارانش، یکی از بزرگ‌ترین چالش‌ها تنظیم LLM به‌گونه‌ای بود که روایات طبیعی تولید کند. هر چه دستورالعمل‌های بیشتری برای کنترل سبک اضافه می‌کردند، احتمال اینکه LLM خطاهایی را در توضیحات وارد کند، بیشتر می‌شد. او می‌گوید: “تعدادی از تنظیمات دقیق برای پیدا کردن و اصلاح هر اشتباه به‌صورت جداگانه انجام شد.” برای آزمایش سیستم خود، محققان نه مجموعه داده یادگیری ماشین با توضیحات را بررسی کردند و از کاربران مختلف خواستند روایات متفاوتی برای هر مجموعه داده بنویسند. این کار به آن‌ها این امکان را داد که توانایی NARRATOR را در تقلید از سبک‌های منحصر به فرد ارزیابی کنند. آن‌ها از GRADER برای نمره‌دهی به هر توضیح روایتی بر اساس چهار معیار استفاده کردند.

نتایج و پیشرفت‌های آینده

در نهایت، محققان دریافتند که سیستم آن‌ها می‌تواند توضیحات روایتی با کیفیت بالا تولید کند و به‌طور مؤثری سبک‌های نوشتاری مختلف را تقلید کند. نتایج آن‌ها نشان می‌دهد که ارائه چند مثال نوشته‌شده دستی به‌طور قابل توجهی سبک روایتی را بهبود می‌بخشد. با این حال، این مثال‌ها باید با دقت نوشته شوند؛ زیرا استفاده از کلمات مقایسه‌ای، مانند “بزرگ‌تر”، می‌تواند باعث شود GRADER توضیحات دقیق را نادرست علامت‌گذاری کند. بر اساس این نتایج، محققان می‌خواهند تکنیک‌هایی را بررسی کنند که می‌تواند به سیستم آن‌ها در مدیریت بهتر کلمات مقایسه‌ای کمک کند. آن‌ها همچنین می‌خواهند EXPLINGO را با افزودن توجیه به توضیحات گسترش دهند. در درازمدت، آن‌ها امیدوارند که از این کار به‌عنوان یک پل به سوی یک سیستم تعاملی استفاده کنند که در آن کاربر بتواند سوالات پیگیری درباره یک توضیح از مدل بپرسد. زایتک می‌گوید: “این به تصمیم‌گیری در بسیاری از جنبه‌ها کمک می‌کند. اگر مردم با پیش‌بینی یک مدل مخالف باشند، ما می‌خواهیم آن‌ها بتوانند به سرعت بفهمند که آیا شهود آن‌ها درست است یا شهود مدل، و این تفاوت از کجا ناشی می‌شود.”