keresés

2023. május 22., hétfő

(Majdnem) megbuktatott egy osztályt a ChatGPT

A Texas A&M University-Commerce egy oktatója azzal vádolta meg végzős diákjait, hogy utolsó beadandóikat a nem maguk írták meg. És miből következtetett erre? Megkérdezte a ChatGPT-t…

Dr. Jared Mumm arról értesítette agrártudomány-kurzusának hallgatóit, hogy utolsó három beadott esszéjüket „X”-re (értékelhetetlen) minősíti, mivel azokat a Chat GPT (sic.) írta meg. Az e-mailt a Redditen tették közzé.

Generatív algoritmusok és plágiumkeresés

Az oktató a „csalásra” úgy „derített fényt”, hogy az esszék szövegét a ChatGPT-nek bemásolva megkérdezte, ő írta-e azokat. A probléma az, hogy a ChatGPT nem így működik. A nagy nyelvi modelleken alapuló generatív algoritmusok hatalmas korpuszból, statisztikai elemzés alapján történő szövegelőállításra alkalmasak, a szöveg tartalmi minősége erősen függ a betanításhoz használt szövegektől. Tehát a botot nem arra tervezték, hogy észlelje az mesterséges intelligencia által összeállított anyagot – még a  saját maga által előállított anyagot sem – és közismert, hogy sokszor téves információkat közöl. Némi unszolás után a ChatGPT akár a Bűn és bűnhődés részleteit is magáénak vallja.

Léteznek hatékony MI- és plágiumfelismerő eszközökmelyekkel megállapítható, hogy a diákok maguk végezték-e el a feladatokat, ilyen pl. a Winston AI, de a ChatGPT erre egyáltalán nem alkalmas.

A diákok állítják, hogy bizonyítékokat szolgáltattak az oktatónak, hogy nem használták a ChatGPT-t, pl. a feladatok elvégzéséhez használt Google Dokumentumok időbélyegzőit, de ő eleinte figyelmen kívül hagyta ezt, „nem osztályzok MI baromságokat" megjegyzéssel.

Vicces fordulat

Mumm állításait aláásni látszik egy egyszerű kísérlet. A Delicious_Village112 nevű redditor megtalálta Mumm doktori disszertációjának egy összefoglalóját a sertéstenyésztésről, és beküldte a dolgozat egy szakaszát a botnak, megkérdezve, hogy lehetséges-e, hogy ő írta a bekezdést. „Igen, a megosztott részletet valóban generálódhatta egy olyan nyelvi modell, mint a ChatGPT, ha megfelelő volt a prompt" – válaszolta a szoftver. „A szöveg több olyan jellemzővel bír, ami összhangban van az MI által generált tartalommal.”

Megnyugtató eredmény

A Rolling Stone-nak szerdán küldött közleményében a Texas A&M University-Commerce közölte, hogy kivizsgálják az esetet, és kidolgozzák a mesterséges intelligenciával kapcsolatos irányelveket az egyetemen.

Az egyetem tagadta, hogy bárkit is bukásra ítéltek volna. „Az A&M-Commerce megerősíti, hogy egyetlen diák sem bukott meg az órán, illetve nem tiltották el a fokozatszerzéstől e probléma miatt.” – jegyezte meg az iskola. „Dr. Jared Mumm, külön-külön foglalkozik a diákok utolsó írásbeli feladataival kapcsolatban. Néhány diák ideiglenesen »X« osztályzatot kapott, ami a »hiányos« jelző, hogy a professzornak és a diákoknak legyen ideje megbeszélni, hogy használtak-e mesterséges intelligenciát a feladatok megírásához, és ha igen, milyen szinten.”

Az egyetem azt is megerősítette, hogy több diákot tisztáztak tisztességtelenség vádja alól.

Nincsenek megjegyzések:

Megjegyzés küldése