به چالش کشیدن چت جی پی تی
به چالش کشیدن چت جی پی تی با انواع سوالهای آموزش فیزیک
📌 چکیده
این مقاله با مطرح کردن سؤالهایی مانند «آیا هوش مصنوعی میتواند تکلیف دانشآموزان را انجام دهد؟» و «چگونه میتوان تشخیص داد که یک پاسخ از سوی ربات ارائه شده است؟»، تواناییها و محدودیتهای چتجیپیتی را در زمینهٔ آموزش فیزیک بررسی میکند. تمرکز اصلی بر این است که چه نوع سؤالهایی چالش بیشتری برای این مدل زبان به وجود میآورند و معلمان چگونه میتوانند از این ابزار به شکل مؤثری استفاده کنند.
روش و طراحی مطالعه
محققان انواع متفاوتی از سؤالهای آموزش فیزیک را در نظر گرفتند: از سؤالهای مفهومی تا سؤالهای عددی و مسئلههای ترکیبی. بعد عملکرد چتجیپیتی را در مواجهه با این سؤالها سنجیدند. آنها تعامل واقعی در کلاسهای آزمایشگاهی فیزیک با دانشآموزان را نیز تحلیل کردند. در یکی از بخشهای مطالعه، دانشآموزان را نیز تحلیل کردند. در یکی از بخشهای مطالعه،
گروه آزمایشگاهی شامل 19 دانشآموز دبیرستانی در جلسههای آزمایشگاهی مشارکت کردند و از چتجیپیتی برای کمک در آزمایشهایی از قبیل «ویتیسون صوتی» و «محاسبه سرعت صدا در هوا» استفاده شد.
برای تعریف انواع سؤالهای آموزش فیزیک، ابتدا تصمیم گرفتیم دامنه را به یک موضوع خاص فیزیک محدود کنیم (نیروها و حرکت) و فقط روی پرسشهایی در سطح دورهٔ دوم متوسطه تمرکز کنیم. همچنین، تصمیم گرفتیم از سؤالهای چندگزینهای یا تمرینهای برنامهنویسی و انجام و تنها از سؤالهای باز استفاده کنیم. سؤالهای مربوط به پرسش کاوشی، طراحی آزمایش، تحلیل دادهها، معرفتشناسی، طبیعت فیزیک و غیره نیز کنار گذاشته شدند؛ تمرکز فقط بر دانش مفهومی بود است.
بر اساس این معیارهای حذف، و پس از بحث گسترده با یک گروه شامل 12 معلم فیزیک باتجربه، پنج نوع سؤال تعریف شدند. این پنج نوع بر اساس سطح تفاضل شناختی و مهارتهای تفکر موردنیاز، بهصورت سلسلهمراتبی مرتب شدند (شامل: تعریفشناسی، محاسبهای ساده، محاسبهای چندمرحلهای، استدلالی، و فرمی).
جدول 1. نمونه پرسشهایی که به Chat GPT داده شد
| کد | نوع | نمونه | توضیح |
|---|---|---|---|
| سؤال 1 | تعریف/واژگانی | تعاریفی که میتوان در واژهنامه کتاب درسی یافت. | قانون دوم نیوتون در حرکت پیکان چیست؟ |
| سؤال 2 | محاسبه ساده | محاسبهای که به یک یا دو معادله نیاز دارد و تعدادی مقدار عددی که مسئله داده است. | جسمی به جرم 2 kg روی یک سطح افقی بدون اصطکاک حرکت میکند. در زمان t=0 نیروی ۳0 نیوتون در خلاف جهت حرکت بر آن اعمال میشود. با دانستن اینکه جسم در t=۵ به حالت سکون میرسد، سرعت اولیهٔ جسم (v) را بر حسب m/s حساب کنید. |
| سؤال ۳ | محاسبه چندمرحلهای | محاسبهای که به چند معادله ترکیبی و مقادیر عددی چندگانه نیاز دارد. برخی از آنها را مسئله ذکر کرده و برخی دیگر را ذکر نکرده است. | جسمی به جرم ۳ kg از بالای سطح شیبداری با زاویهٔ ۳0 درجه و ضریب اصطکاک 0/1۵ به پایین میآید و روی سطح شیبدار 2 متر حرکت میکند. این جسم همزمان به ارتفاع سطح شیبدار میرسد و با سرعت 4 m/s به سطح افقی وارد میشود. در آن سطح، دوباره با جسم دیگری به جرم ۳ kg که در حال سکون است، برخورد میکند و به آن میچسبد. سرانجام این جسم مرکب به یک فنر با k=۳00 N/m برخورد میکند. حداکثر فشردگی فنر را حساب کنید. |
| سؤال 4 | مسائل استدلالی | سؤالی که مبتنی بر مفهومسازی مناسب که در زندگی روزمره وجود دارد و از دور از انتظار است. | شخصی در یک کشتی شناور روی رودخانهای عرشه و یا جریان ثابت قرار دارد. اگر کشتی غرق شود، شخصی که به سمت قایق نجات شنا میکند تا خود را نجات دهد. دو قایق نجات در اطراف او هستند، یکی در جهت جریان آب و دیگری در خلاف جهت جریان. اگر شخصی به سمت قایقی شنا کند که در جهت جریان آب است، به سمت جلو و اگر به سمت قایقی شنا کند که در خلاف جهت جریان آب است، به سمت عقب حرکت میکند. این شخص به سمت کدام قایق شنا کند تا خود را نجات دهد؟ |
| سؤال ۵ | مسائل فرمی | در این نوع مسائل، دادههای فیزیکی و یا اطلاعات داده شده نیاز به تخمین درست و یا حل مسئله دارند. تخمین مرتبه بزرگی، بهعنوان مثال، «حدس بزنید آیا میتوانید یک ماشین را هل دهید؟» یا «آیا میتوانید یک ماشین را با نیروی انسانی جابهجا کنید؟» | آیا میتوانید ماشین را هل دهید؟ چه مقدار نیرو برای هل دادن یک ماشین لازم است؟ فرض کنید ماشین در جادهای افقی و بدون شیب قرار دارد و نیروی مقاومت هوا و اصطکاک را در نظر بگیرید. |
جدول 1 نشاندهندهٔ انواع سؤالهاست:
پایداری پاسخها
یکی از یافتههای مهم مقاله این است که چتجیپیتی در پاسخهای متوالی به یک سؤال ثابت نمیماند. حتی برای سؤالهای ساده، اختلافهای زبانی یا عددی دیده میشوند و برای سؤالهای پیچیدهتر این ناپایداری بیشتر میشود. بنابراین، مدل نمیتواند «منبع ارزیابی پایدار» در محیط آموزشی باشد.
چند نکتهٔ مهم
- چت جی پی تی نسخهٔ ۳/۵ استفاده شد.
- هر سؤال 10 بار به صورت پشت سر هم مطرح شد؛ ده آزمایش (T1 تا T10)؛ در پنجرهٔ چت جدید.
- هر بار در همان حساب کاربری.
- برای حفظ سازگاری، هیچ دستور خاصی برای هدایت پاسخها داده نشد؛ مثلاً مأموریتی مانند «بهعنوان دانشآموز سال سوم متوسطه جواب بده» یا «مثل کسی با درجهٔ دکترا پاسخ بده». دربارهٔ طول پاسخ یا سبک زبان نیز محدودیتی اعمال نشد. به عبارت دیگر، فقط سؤال رونویسی و پاسخ مستقل گرفته میشد.
مقایسهٔ پاسخهای چتجیپیتی با دهبار آزمایش، در یک نمونهسؤال
فردی در کشتی روی رودخانهای شناور است. کشتی دچار غرقشدگی میشود. یک قایق 10 متر جلوتر (در جهت جریان) و دیگری 10 متر عقبتر قرار دارد. فرد به سمت کدام قایق باید شنا کند؟
توضیح تکمیلی نویسندگان دربارهٔ جدول
- دقت چت جی پی تی با افزایش سطح شناختی مسئله کاهش مییابد.
- پاسخهای نوع سؤال 1 و سؤال 2 از نظر محتوا پایدارترند ولی در سطوحهای سؤال ۳ تا سؤال ۵ بیثباتی زیاد دیده میشود.
- حتی در پاسخهای غلط، ساختار زبانی و بیان طبیعی مدل بسیار قوی و متقاعدکننده بوده است و این میتواند برای دانشآموزان گمراهکننده باشد؛ اگر بدون نظارت معلم استفاده شود.
- نتیجهٔ نهایی این بود که چتجیپیتی در پرسشهای محاسباتی ساده و تعریفی ابزار آموزشی مفیدی است، اما در تحلیلهای چندمرحلهای یا مفهومی نمیتواند جایگزین استدلال انسانی شود.
نتایج
نویسندگان در این بخش توضیح میدهند که نتایج نشان میدهد، توانایی چتجیپیتی در پاسخ به سؤالهای فیزیک بهشدت به نوع سؤال و سطح شناختی آن بستگی دارد:
- در پرسشهای سطح پایین (تعریفی و محاسباتی ساده): عملکرد مدل قابلاعتماد و یکنواخت است. چنین سؤالهایی معمولاً به بازیابی اطلاعات صریح از پایگاه داده ذهنی و استفاده از روابط سادهٔ فیزیکی محدود میشوند. در نتیجه، چتجیپیتی میتواند نقش «کمکدرسی سریع» یا «منبع مرور مفاهیم پایه» را ایفا کند.
- در سؤالهای استدلالی و چندمرحلهای: مدل تمایل دارد از مسیرهای استدلالی سطحی استفاده کند. در واقع، پاسخها گاهی از نظر زبانی بسیار روان و علمیاند، اما از نظر فیزیکی نادرست یا غیرمنطقی. نویسندگان هشدار میدهند که این ویژگی باعث میشود دانشآموزان نتوانند بهسادگی درستی پاسخ را تشخیص دهند.
- در مسائل فرمی (تخمینی): مدل در تولید برآوردهای مرتبهٔ درستی، نوسان زیادی نشان میدهد. گاهی روش تخمین معقول است، اما فرضیات (مثال توان انسانی یا انرژی مکانیکی) نادرستاند. از نظر نویسندگان، این رفتار شبیه دانشآموزانی است که مفاهیم را «حفظ کردهاند اما در کاربرد آنها ضعیفاند.»
جدول 2. خلاصهٔ 10 بار پاسخ به یک سؤال
| آزمایش | خلاصه پاسخ | نکته |
|---|---|---|
| آزمایش 1 | قایق عقب؛ چون جریان آب به نفع اوست. | پاسخ نادرست، خطای چارچوب مرجع |
| آزمایش 2 | قایق عقب؛ مشابه اجرای قبل. | تکرار خطای مفهومی |
| آزمایش ۳ | قایق عقب؛ قایق جلو تأثیری ندارد. | خطای نسبیت گالیلهای |
| آزمایش 4 | قایق عقب؛ قایق جلو کمتر در دسترس است. | اشتباه منطقی |
| آزمایش ۵ | قایق عقب؛ چون به نظر نزدیکتر و عملیتر است. | خطای مفهومی، مشابه قبلی |
| آزمایش 6 | قایق عقب؛ هیچ اشارهای به چارچوب نسبی نشده است. | ثابت بودن الگوی خطا |
| آزمایش 7 | قایق عقب؛ جریان آب کمککننده است. | اشتباه علمی |
| آزمایش 8 | دوباره قایق عقب؛ دلیل مشابه اجراهای قبلی. | تکرار الگو |
| آزمایش 9 | قایق عقب؛ سرعت قایق جلو با جریان مطابقت ندارد. | همان خطای تکراری |
| آزمایش 10 | از نظر چارچوب مرجع آب، هر دو قایق موقعیت مشابه دارند و فرقی نمیکند کدام را انتخاب کند. | اجرای صحیح |
جمعبندی
- 9.1 پاسخ از 10 اجرای اولیهٔ مدل اشتباه مفهومی داشتند.
- تنها در آزمایش 10 پاسخ درست بود که مفهوم چارچوب مرجع نسبی را رعایت کرده است.
- الگوی پاسخها نشان میدهد، حتی در یک سؤال ساده از نظر داده، جیپیتی تمایل دارد یک مسیر استدلالی سطحی و تکراری بدهد و فقط گاهی پاسخ درست تولید میکند.
خلاصهٔ نتایج
1. سؤالهای تعریفی
- در همه ده بار آزمایش، چت جی پی تی توانست پاسخهایی دقیق و صحیح بدهد و خطای مفهومی نداشت.
- پاسخها از نظر محتوایی و شکلی خیلی متنوع نبودند. معمولاً به یکی از دو شکل استاندارد بیان میشدند (مثال قانون دوم نیوتون یا نرخ تغییر تکانه).
2. سؤالهای محاسبهای ساده
- در 7 مورد از 10 آزمایش، پاسخها کاملاً درست بودند.
- در ۳ مورد باقیمانده، خطاهای سادهٔ محاسباتی یا استفادهٔ نامناسب از معادلات رخ داده بود.
۳. سؤالهای محاسباتی چندمرحلهای
- در هیچکدام از 10 آزمایش، پاسخها کاملاً درست نبودند.
- خطاها شامل اشتباهات ریاضی، اشتباهات در روابط مثلثاتی، عدم درک درست از برخی مقادیر دادهشده در پرسش، و کاربرد اشتباه برخی مفاهیم فیزیکی (مانند در نظر گرفتن اصطکاک) بود.
4. سؤالهای استدلالی
- انتظار میرفت پاسخ درست بر پایه اصل نسبیت گالیلهای باشد (انتخاب شنا به سمت جلو یا عقب تفاوت ماهوی ندارد).
- اما در 9 مورد از 10 آزمایش، چت جی پی تی گفت که باید به قایق عقب شنا کند، که با انتظار نظری تضاد دارد.
۵. مسائل فرمی
- پاسخها بسیار متنوع و میزان دقتشان متفاوت بود.
- بعضی تخمینها به مرتبهٔ درست نزدیک و برخی دیگر خیلی دور بودند.
- مدل در مفروضات و کاربرد مفاهیم فیزیکی دچار خطا شده بود.
جدول ۳. خلاصهٔ نتایج
| نوع پاسخ | درستی پاسخ | اشتباهات عمدهای که یافت شد |
|---|---|---|
| سؤال 1 | خیلی زیاد (10/10) | تنوع کم، هم در فرم هم در محتوا - چیزی یافت نشد |
| سؤال 2 | زیاد (7/10) | ساختار یکسان محاسبه - استفاده از معادلات غیرلازم - اشتباهات سادهٔ ریاضی |
| سؤال ۳ | خیلی کم (0/10) | ساختار متفاوت محاسبه - اشتباهات ریاضی ساده - اشتباهات در روابط مثلثاتی - عدم درک درست از برخی مقادیر داده شده در پرسش - کاربرد اشتباه برخی مفاهیم فیزیکی (مانند در نظر گرفتن اصطکاک) |
| سؤال 4 | خیلی کم (0/10) | تنوع کم، هم در محتوا - کاربرد اشتباه برخی مفاهیم فیزیکی (مانند در نظر گرفتن نسبیت گالیلهای در حرکت) |
| سؤال ۵ | کم (۳/10) | تنوع بسیار، هم در فرم هم در محتوا - عدم دقت مقادیر به دست آمده توسط AI (در: سرعت شخص برای هل دادن ماشین، مقدار مصرف متوسط ماشین، کارایی بدن انسان، و غیره) - اشتباهات سادهٔ محاسباتی - کاربرد اشتباه برخی مفاهیم فیزیکی (مانند رابطه میان انرژی و نیرو) |
بحث و پیامدهای آموزشی
نویسندگان تأکید میکنند، نباید جتجیبیتی را جایگزین معلم دید، بلکه باید از آن بهعنوان ابزار کمکی در کلاس فیزیک استفاده کرد. آنها به چند نکتهٔ مهم اشاره میکنند:
- لازم است دانشآموزان آموزش ببینند چگونه به مدل پرسشهای مؤثر بدهند تا پاسخ بهتری بگیرند.
- معلمان باید دانشآموزان را در نقد و بررسی پاسخهای مدل تقویت کنند؛ بهطوری که آنها بهطور منفعلانه به پاسخها اعتماد نکنند.
- بهرهگیری از ترکیب ابزارهای هوش مصنوعی و راهنمایی انسانی میتواند از فشار کاری معلمان بکاهد، بهشرط آنکه نظارت دقیق وجود داشته باشد.
نقش معلمان
پژوهشگران تأکید میکنند که استفاده از جتجیبیتی در آموزش فیزیک تنها در صورتی مفید است که معلمان:
- نقش منتقد و ناظر را داشته باشند؛
- به دانشآموزان بیاموزند که پاسخ مدل را بررسی و تحلیل کنند؛
- از جتجیبیتی برای ایجاد گفتوگو و مقایسهٔ مفاهیم استفاده کنند، نه بهعنوان منبع نهایی پاسخ.
جمعبندی
- جتجیبیتی ابزار مفیدی است برای آموزش فیزیک در سطح مقدماتی، بهویژه برای مرور مفاهیم، تعریفها و محاسبات ساده.
- دقت مدل با افزایش سطح تفکر تحلیلی و مفهومی کاهش مییابد. در سؤالهایی که به استنتاج منطقی یا درک کیفی از قوانین فیزیکی نیاز دارند، مدل غالباً دچار خطا میشود.
- قابلیت زبانی بالا، اما اعتبار علمی پایین میتواند موجب فریبخوردن دانشآموزان شود. از این رو، مهارت تفکر انتقادی هم باید همزمان آموزش داده شود.
پیشنهاد عملی نویسندگان
- استفاده از جتجیبیتی برای طراحی تمرینهای بحثبرانگیز در کلاس؛
- مقایسهٔ پاسخهای مدل با پاسخهای انسانی؛
- استفاده از خطاهای مدل برای آموزش تحلیل خطا و استدلال علمی.
نتیجهٔ نهایی
جتجیبیتی میتواند «آینهای از تفکر دانشآموزان» باشد، نه جایگزین معلم. حضور هوش مصنوعی در آموزش فیزیک زمانی مؤثر است که در خدمت توسعهٔ استدلال علمی، نه جایگزین آن، قرار گیرد.
📎 پینوشتها
- • 1. conceptual knowledge
- • 2. exclusion criteria
- • 3. Bloom's taxonomy
- • 4. new chat
منبع مقاله حاضر ترجمهٔ این مقاله انگلیسی است:
Challenging Chat GPT with Different Type of Physics Education Questions. The Physics Teacher. April 2024.
رشد آموزش فیزیک · دورهٔ چهل و یکم · شمارۀ 1 · پاییز 1404
نظر دهید