Egy diák pontszáma őszinte, ha más nem
Facepalm: Az MI által segített csalás endemikus mértéke a diákok körében az elmúlt néhány évben jól dokumentált, de kevés vizuális ábrázolás illusztrálja a problémát, valamint a Brown Egyetem egyik professzorának legutóbbi diagramja. Bármennyire is aggasztó a grafikon, az egyetem elnémított reakciója még aggasztóbb lehet.
Amikor a Brown Egyetem közgazdászprofesszora, Robert Serrano arra gyanakodott, hogy a legtöbb diákja mesterséges intelligencia segítségével csalt egy hazavihető félévi vizsgán, úgy döntött, hogy összeveti a személyes döntő eredményeivel. Az eredmény talán az egyik legtisztább példa volt a generatív mesterséges intelligencia tudományos életre gyakorolt hatására.
Az ok, amiért Serrano engedélyezte a hazavitel félévi tanulmányait, ésszerű és kijózanító jele annak a világnak, amelyben az amerikai diákok jelenleg élnek: Néhány diák kényelmetlenül érezte magát az osztályban, miután tavaly decemberben egy fegyveres megölt két diákot és kilenc másikat megsebesített az egyetemen.
Serrano azonban hamar észrevette a jeleket, hogy valami nincs rendben. Amikor abban a félévben 86 hallgató iratkozott be jóléti közgazdasági kurzusára a szokásos 30-hoz képest, gyanította, hogy sokan azért vették fel, mert lehetővé tette az otthoni vizsgákat, lehetővé téve számukra a ChatGPT vagy hasonló mesterséges intelligencia eszközök használatát.
A professzor gyanúja csaknem beigazolódott, amikor a félévi pontszámok átlaga 96% volt. Ez messze meghaladta a tipikus 65–80%-os tartományt, annak ellenére, hogy Serrano igyekezett megnehezíteni a tesztet a tanulók korlátlan idejére való tekintettel.
Míg sok professzor MI-alapú eszközökkel próbálta megakadályozni az AI-csalást, Serrano megértette, hogy az AI-ellenőrzés gyakran hamis pozitív és negatív eredményeket produkál. Más egyetemek diákjai beperelték iskoláikat, miután hamisan megvádolták őket mesterséges intelligencia használatával, és egy tavalyi tanulmány kimutatta, hogy a gyakorlat egyszerűen megtanítja a diákokat, hogy írjanak az MI-detektorok ellen, gyakran mesterséges intelligencia használatával.
Ehelyett Serrano egy egyszerűbb megoldást alkalmazott – a félidőt a ChatGPT-n keresztül futotta. Nem meglepő módon a chatbot válaszai nagyon hasonlítottak a hallgatói válaszaihoz, hasonló nyelvezetet és érvelést alkalmazva.
Amikor a professzor bejelentette, hogy a záróvizsga személyesen lesz, 18 hallgató félbehagyta a tanfolyamot, további kilencen pedig nem jelentek meg a vizsgán. A fennmaradó 59 tanuló átlagos pontszáma 48,6%. A korábbi átlagok soha nem estek 65% alá. Három diák 0%-ot ért el, és az eredményeket ábrázolva kiderült, hogy a legtöbben több mint 30 ponttal elmaradtak a félévi pontszámuktól.
A diagram azt sugallja, hogy valószínűleg csak két diák teljesítette a teszteket mesterséges intelligencia nélkül, akik közül az egyik valószínűleg a legjobb eredményt elérte 95,5%-kal a középtávon és 95%-kal a döntőben. Érdekes módon a másik ártatlannak tűnő diák mindössze 55%-ot ért el a félévben és 59%-ot a döntőben. Ők adták a legalacsonyabb félévi pontszámot, és ők voltak az egyetlen diák, akinek a pontszáma javult a döntőben.
Serrano ezt követően ledobta a félévi pontszámokat, és a tanulók utolsó osztályzatának 80%-át beszámította. Normális esetben mindenkit átment volna, aki 50%-ot vagy magasabb pontszámot ért el, de ebben az esetben a professzor 40%-ra csökkentette a küszöböt.
Serrano azonban nem kapott választ, miután benyújtotta az adatokat a Brown Egyetem Akadémiai Kódex Állandó Bizottságának. Miután nyilvánosságra hozta az incidenst, a bizottság egyéni panaszt kért minden diák ellen, és másolatot kért a vizsgáikról, de Serrano gyanította, hogy egyszerűen át fogják futtatni őket az MI-ellenőrzőn.
A szakértők szerint a probléma mindaddig fennáll, amíg senkit nem fizetnek a tanulók integritásának biztosításáért. Míg a Brown Egyetem még vizsgálja a kérdést, továbbra sem világos, hogy talál-e valaki jobb elrettentő eszközt az AI-csalás ellen, mint az analóg és a személyes tesztelés.