تشخیص تقلب در آزمون شیمی با هوش مصنوعی امکان‌پذیر شد!

تحقیقات جدید درباره تقلب با هوش مصنوعی در امتحانات شیمی

با گسترش استفاده از هوش مصنوعی تولیدی در تمامی جنبه‌های آموزش، نگرانی‌های زیادی درباره تأثیر آن بر تقلب، به ویژه در مقالات، سوالات امتحانی و سایر تکالیف روایی مطرح شده است. اما استفاده از ابزارهای هوش مصنوعی مانند ChatGPT برای تقلب در امتحانات چند گزینه‌ای عمدتاً نادیده گرفته شده است. یک شیمیدان از دانشگاه ایالت فلوریدا بخشی از یک همکاری تحقیقاتی است که آخرین یافته‌های آن در حال تغییر درک ما از این نوع تقلب می‌باشد. یافته‌های آنان نشان داده که چگونه می‌توان استفاده از ChatGPT برای تقلب در امتحانات چند گزینه‌ای شیمی عمومی را با استفاده از روش‌های آماری خاص شناسایی کرد. این تحقیق در مجله آموزش شیمی منتشر شده است.

کن هنسون، استاد همکار در دپارتمان شیمی و بیوشیمی دانشگاه ایالت فلوریدا، گفت: “در حالی که بسیاری از معلمان و محققان سعی در شناسایی تقلب‌های کمک‌شده توسط هوش مصنوعی در مقالات و پاسخ‌های باز دارند، تا جایی که ما می‌دانیم، این اولین باری است که کسی پیشنهاد شناسایی استفاده از آن در امتحانات چند گزینه‌ای را می‌دهد.” او افزود: “با ارزیابی تفاوت‌های عملکرد بین امتحانات شیمی چند گزینه‌ای دانشجویان و ChatGPT، توانستیم موارد استفاده از ChatGPT را در تمامی امتحانات شناسایی کنیم و نرخ مثبت کاذب تقریباً صفر بود.”

این تحقیق آخرین انتشار در یک همکاری هفت ساله بین هنسون و بن سورنسون، مهندس یادگیری ماشین است. هنسون و سورنسون که از کلاس سوم با هم آشنا شدند، هر دو برای دریافت مدرک کارشناسی خود به دانشگاه ایالت سنت کلاود در مینه‌سوتا رفتند و پس از ورود به حرفه‌های خود در تماس باقی ماندند. هنسون به عنوان یک عضو هیئت علمی در دانشگاه ایالت فلوریدا، به اندازه‌گیری میزان دانش دانشجویان از سخنرانی‌ها، دوره‌ها و کارهای آزمایشگاهی علاقه‌مند شد. او گفت: “این موضوعی بود که من با بن مطرح کردم، که در آمار، علوم کامپیوتر و پردازش داده‌ها بسیار خوب است.” هنسون که بخشی از گروهی از اعضای هیئت علمی دانشگاه ایالت فلوریدا است که در تلاش برای بهبود موفقیت دانشجویان در دوره‌های پایه STEM مانند شیمی عمومی و جبر دانشگاهی هستند، ادامه داد: “او گفت که می‌توانیم از ابزارهای آماری برای درک اینکه آیا امتحانات من خوب هستند استفاده کنیم و در سال 2017، ما شروع به تحلیل امتحانات کردیم.”

هسته این مدل راش این است که احتمال درست پاسخ دادن یک دانش‌آموز به هر سوال امتحانی تابعی از دو چیز است: سختی سوال و توانایی دانش‌آموز در پاسخ به سوال. در این مورد، توانایی دانش‌آموز به میزان دانشی که دارد و تعداد اجزای ضروری برای پاسخ به سوال مربوط می‌شود.

تحلیل نتایج امتحانات با استفاده از هوش مصنوعی

به گفته محققان، بررسی نتایج یک امتحان به این شیوه، بینش‌های قدرتمندی را ارائه می‌دهد. سورنسون گفت: “همکاری من و کن، هرچند از راه دور، واقعاً یک فرآیند هموار و روان بوده است.” او افزود: “کار ما راهی عالی برای ارائه شواهد پشتیبان است زمانی که معلمان ممکن است به تقلب مشکوک شوند. چیزی که انتظارش را نداشتیم این بود که الگوهای هوش مصنوعی به راحتی قابل شناسایی باشند.”

هانسون در سال ۲۰۱۰ دکترای خود را در رشته شیمی از دانشگاه کالیفرنیای جنوبی دریافت کرد و پس از آن یک دوره پسادکتری را در دانشگاه کارولینای شمالی در چپل هیل گذراند و در سال ۲۰۱۳ به هیئت علمی شیمی دانشگاه ایالت فلوریدا (FSU) پیوست. آزمایشگاه او، گروه تحقیقاتی هانسون، بر روی شیمی و فیزیک مولکولی نور، یا مطالعه نور و تعامل آن با مولکول‌ها تمرکز دارد. هانسون، که عضو انجمن شیمی آمریکا است، بیش از ۱۰۰ مقاله منتشر کرده و بیش از دوازده اختراع ثبت شده دارد.

محققان پاسخ‌های قبلی دانشجویان FSU را از پنج ترم امتحان جمع‌آوری کردند، نزدیک به ۱۰۰۰ سوال را به ChatGPT وارد کرده و نتایج را مقایسه کردند. میانگین نمره و آمار خام برای شناسایی رفتار مشابه ChatGPT کافی نبود، زیرا برخی سوالات وجود داشت که ChatGPT همیشه به درستی یا نادرستی به آن‌ها پاسخ می‌داد و این منجر به نمره کلی می‌شد که از دانشجویان غیرقابل تشخیص بود. هانسون گفت: “این ویژگی ChatGPT است – می‌تواند محتوا تولید کند، اما لزوماً محتوای صحیحی تولید نمی‌کند. این فقط یک تولیدکننده پاسخ است. سعی می‌کند به نظر برسد که پاسخ را می‌داند و برای کسی که با موضوع آشنا نیست، احتمالاً به نظر می‌رسد که پاسخ درستی است.”

با استفاده از آمار تناسب، محققان پارامترهای توانایی را اصلاح کردند و نتایج را دوباره تنظیم کردند و دریافتند که الگوی پاسخ‌دهی ChatGPT به وضوح با الگوی دانشجویان متفاوت است. در امتحانات، دانشجویان با عملکرد بالا معمولاً به سوالات دشوار و آسان به درستی پاسخ می‌دهند، در حالی که دانشجویان متوسط تمایل دارند به برخی سوالات دشوار و اکثر سوالات آسان به درستی پاسخ دهند. دانشجویان با عملکرد پایین معمولاً تنها به سوالات آسان به درستی پاسخ می‌دهند. اما در تلاش‌های مکرر ChatGPT برای تکمیل یک امتحان، این ابزار هوش مصنوعی گاهی اوقات به هر سوال آسان به نادرستی و به هر سوال دشوار به درستی پاسخ می‌داد.

هانسون و سورنسون از این تفاوت‌های رفتاری برای شناسایی استفاده از ChatGPT با دقت تقریباً ۱۰۰ درصد بهره گرفتند. استراتژی این دو نفر که از تکنیکی به نام مدل‌سازی راش و آمار تناسب استفاده می‌کند، می‌تواند به راحتی به هر و همه چت‌بات‌های هوش مصنوعی تولیدی اعمال شود که الگوهای منحصر به فرد خود را نشان می‌دهند تا به معلمان کمک کنند استفاده از این چت‌بات‌ها را در تکمیل امتحانات چندگزینه‌ای شناسایی کنند.