🚨 تقلب با ChatGPT در امتحانات شیمی لو رفت: روشی جدید، 100% دقیق!

تازه‌ترین پژوهش‌ها درباره‌ی تقلب با هوش مصنوعی در امتحانات شیمی

با رواج استفاده از هوش مصنوعی تولیدی توی همه حوزه‌های آموزش، نگرانی‌هایی جدی درباره‌ی تأثیرش روی تقلب، مخصوصا توی مقاله‌ها، سوالات امتحانی و بقیه‌ی تکالیف، به وجود اومده. اما استفاده از ابزارهای هوش مصنوعی مثل ChatGPT برای تقلب توی امتحان‌های تستی، معمولا نادیده گرفته شده. یه شیمی‌دان از دانشگاه ایالت فلوریدا، بخشی از یه همکاری تحقیقاتیه که تازه‌ترین یافته‌هاش داره درک ما رو از این نوع تقلب عوض می‌کنه. یافته‌هاشون نشون داده که چجوری میشه استفاده از ChatGPT رو برای تقلب توی امتحانای تستی شیمی عمومی، با استفاده از روش‌های آماری خاص، شناسایی کرد. این تحقیق توی مجله‌ی آموزش شیمی منتشر شده.

کن هنسون، استاد همکار توی دپارتمان شیمی و بیوشیمی دانشگاه ایالت فلوریدا، گفت: “در حالی که خیلی از معلم‌ها و محقق‌ها دارن تلاش می‌کنن تقلب‌های کمک‌شده توسط هوش مصنوعی توی مقاله‌ها و جواب‌های باز رو شناسایی کنن، تا جایی که ما میدونیم، این اولین باره که کسی پیشنهاد شناسایی استفاده ازش توی امتحان‌های تستی رو میده.” او اضافه کرد: “با ارزیابی تفاوت‌های عملکرد بین امتحان‌های شیمی تستی دانشجوها و ChatGPT، تونستیم موارد استفاده از ChatGPT رو توی همه‌ی امتحانا شناسایی کنیم و نرخ مثبت کاذب، تقریبا صفر بود.”

این تحقیق، آخرین انتشار توی یه همکاری هفت ساله بین هنسون و بن سورنسونه، که مهندس یادگیری ماشینیه. هنسون و سورنسون که از سوم دبستان با هم آشنا شدن، هر دو رفتن دانشگاه ایالت سنت کلاود توی مینه‌سوتا، برای این که مدرک لیسانس بگیرن و بعد از این که وارد کارشون شدن، با هم در ارتباط موندن. هنسون به عنوان یه عضو هیئت علمی توی دانشگاه ایالت فلوریدا، به اندازه‌گیری میزان دانش دانشجوها از سخنرانی‌ها، دوره‌ها و کارهای آزمایشگاهی، علاقه‌مند شد. اون گفت: “این موضوعی بود که من با بن مطرح کردم، که توی آمار، علوم کامپیوتر و پردازش داده‌ها خیلی خوبه.” هنسون که بخشی از گروهی از اعضای هیئت علمی دانشگاه ایالت فلوریداست که دارن تلاش می‌کنن موفقیت دانشجوها توی دوره‌های پایه‌ی STEM مثل شیمی عمومی و جبر دانشگاهی رو بهتر کنن، ادامه داد: “اون گفت که میتونیم از ابزارهای آماری استفاده کنیم برای این که بفهمیم امتحانام خوب هستن یا نه و توی سال 2017، ما شروع کردیم به تحلیل امتحان‌ها.”

اصل و اساس این مدل راش اینه که احتمال درست جواب دادن یه دانش‌آموز به هر سوال امتحانی، تابعی از دو چیزه: سختی سوال و توانایی دانش‌آموز توی جواب دادن به سوال. توی این مورد، توانایی دانش‌آموز به میزان دانشی که داره و تعداد اجزای ضروری برای جواب دادن به سوال، مربوط میشه.

تحلیل نتایج امتحان‌ها با استفاده از هوش مصنوعی

به گفته‌ی محقق‌ها، بررسی نتایج یه امتحان به این شیوه، بینش‌های قدرتمندی رو نشون میده. سورنسون گفت: “همکاری من و کن، هر چند که از راه دوره، واقعا یه فرایند راحت و روون بوده.” اون اضافه کرد: “کار ما یه راه عالیه برای ارائه شواهد پشتیبان وقتی که معلم‌ها ممکنه به تقلب شک کنن. چیزی که انتظارش رو نداشتیم این بود که الگوهای هوش مصنوعی، اینقدر راحت قابل شناسایی باشن.”

هانسون توی سال ۲۰۱۰ دکتراش رو تو رشته‌ی شیمی از دانشگاه کالیفرنیای جنوبی گرفت و بعد از اون یه دوره‌ی پسا دکتری رو تو دانشگاه کارولینای شمالی در چپل هیل گذروند و توی سال ۲۰۱۳ به هیئت علمی شیمی دانشگاه ایالت فلوریدا (FSU) پیوست. آزمایشگاهش، گروه تحقیقاتی هانسون، روی شیمی و فیزیک مولکولی نور، یا مطالعه‌ی نور و تعاملش با مولکول‌ها، متمرکزه. هانسون، که عضو انجمن شیمی آمریکاست، بیش از ۱۰۰ مقاله منتشر کرده و بیش از دوازده تا اختراع ثبت شده داره.

محقق‌ها، جواب‌های قبلی دانشجوهای FSU رو از پنج ترم امتحان جمع‌آوری کردن، نزدیک به ۱۰۰۰ سوال رو به ChatGPT وارد کردن و نتایج رو با هم مقایسه کردن. میانگین نمره و آمار خام برای شناسایی رفتار مشابه ChatGPT کافی نبود، چون سوالاتی وجود داشت که ChatGPT همیشه به درستی یا نادرستی بهشون جواب میداد و این باعث میشد نمره‌ی کلی از دانشجوها قابل تشخیص نباشه. هانسون گفت: “این ویژگی ChatGPTـه – میتونه محتوا تولید کنه، اما لزوما محتوای صحیحی تولید نمیکنه. این فقط یه تولیدکننده‌ی جوابه. سعی میکنه طوری نشون بده که انگار جواب رو میدونه و برای کسی که با موضوع آشنا نیست، احتمالا اینطور به نظر میرسه که جواب درسته.”

با استفاده از آمار برازش، محقق‌ها پارامترهای توانایی رو اصلاح کردن و نتایج رو دوباره تنظیم کردن و فهمیدن که الگوی پاسخ‌دهی ChatGPT، کاملا با الگوی دانشجوها فرق داره. توی امتحان‌ها، دانشجوهایی که عملکرد بالایی دارن، معمولا به سوالای سخت و آسون درست جواب میدن، در حالی که دانشجوهای متوسط، تمایل دارن به یه سری سوالای سخت و اکثر سوالای آسون، درست جواب بدن. دانشجوهایی که عملکرد پایینی دارن، معمولا فقط به سوالای آسون جواب درست میدن. اما توی تلاش‌های مکرر ChatGPT برای تموم کردن یه امتحان، این ابزار هوش مصنوعی، بعضی وقتا به هر سوال آسون نادرست و به هر سوال سخت درست جواب میداد.

هانسون و سورنسون از این تفاوت‌های رفتاری استفاده کردن برای شناسایی استفاده از ChatGPT با دقت تقریبا ۱۰۰ درصد. استراتژی این دو نفر که از تکنیکی به اسم مدل‌سازی راش و آمار برازش استفاده میکنه، میتونه به راحتی برای همه‌ی چت‌بات‌های هوش مصنوعی تولیدی اعمال بشه که الگوهای منحصر به فرد خودشون رو نشون میدن تا به معلم‌ها کمک کنه استفاده از این چت‌بات‌ها رو توی تموم کردن امتحان‌های تستی شناسایی کنن.