A mesterséges intelligencia művének véli a Bibliát egy ellenőrző program

Komoly módszertani kihívást jelent az oktatási rendszernek a szöveget generáló nyelvi modellek megjelenése. Bár a tanárok úgy gondolják, könnyű felismerni a géppel generált szövegeket a jellegzetes emberi hibák hiányából és céltalan szószátyárságból, a kihívást mégsem becsülhetik alá. Emitt egy professzor egy egész évfolyamot fenyített be mesterséges intelligenciára gyanakodva, amott egy kisiskolást vádoltak meg igaztalanul.

A probléma egyik megoldását – és mint hamarosan kiderül, okát is – az olyan, a mesterséges intelligencia nyomait felismerő, szövegelemző programok jelentik, mint a GPTZero, ZeroGPT vagy az OpenAI által fejlesztett Text Classifier.

Mint kiderült, a GPTZero elemzése szerint az Egyesült Államok alkotmányát 92 százalékos valószínűséggel mesterséges intelligencia írta. Hasonló az eredmény, ha a Biblia részleteit vizsgálja a program – bár ezt csak 88 százalékos biztossággal véli generáltnak. Az Ars Technica megkérdezte a program fejlesztőit, hogy miért követ el a termékük ilyen alapvető hibákat.

A szöveg emberi huzatja

Az ellenőrző programot, ahogy a nyelvi modellt is, óriási mennyiségű szövegen tanítják be. A feladat, hogy az embert a géptől megkülönböztető alapvető jellegzetességeket ismerjen fel a szövegben. Az emberek által művelt írás nagyon kaotikus, a gép írása nem ilyen. A különbségeket zavarosságnak és robbanékonyságnak nevezik.

A zavarosság azt jelenti, hogy ha egy mondat úgy indul: „Kérek egy csésze”, valószínűleg úgy folytatódik, hogy „kávét” vagy „teát”. Mivel a nyelvi modell működésének fő logikája, hogy nagyon jól tudja, melyik szó követi legnagyobb eséllyel a másikat, e megoldások közül választ. Az ember viszont, ha olyanja van, simán leírja, hogy „Kérek egy csésze pókot!”, vagyis fittyet hány arra, hogy milyen szónak kellene következnie, és emiatt több a szövegben a statisztikai meglepetés és váratlan zavar.

A robbanékonyság a szöveg szerkezetéről szól. A gép szépen megformált mondatok egyforma sorát nyomja ki, az ember viszont, főleg ha magyar közíró, képes egy irdatlan, többszörösen összetett körmondat után odavakkantani egy fél tőmondatot. De nem döntő önmagában sem a robbanékonyság, sem a zavarosság.

Sárkányfű

A gond tömören az, hogy az emberek nem csak kaotikusan írnak, de ha kell, nagyon hivatalos és uniform szöveget is alkotnak. Nincs, és a szöveggenerátorok fejlődésével valószínűleg egyre kevésbé lesz olyan pont, ahol az emberi és gépi szöveg közötti különbséget meg lehet ragadni. Az ellenőrző programok emiatt nagyon sokat tévednek. A Marylandi Egyetem idén közzétett kutatása szerint alig kimutathatóan jobbak, mint bármilyen szövegosztályozó statisztikai alkalmazás. Egy Stanfordon végzett teszt emellett arra jutott, hogy az ellenőrző hajlamosabb azok kárára tévedni, akiknek nem anyanyelve az angol.

Olyanok, mint a denevérháj. Mindenki szeretné, hogy működjenek, leginkább az oktatásban dolgozók. Könnyen eladható egy olyan termék, amit mindenki akar, főleg, ha nehéz rendesen igazolni, hogy működik vagy sem

– vélekedett Simon Willison AI-kutató.

A Wharton School professzora, Ethan Mollick, aki egyébként engedélyezte hallgatóinak a GPT használatát, ennél tovább megy: a hibák nagy aránya és a könnyű becsaphatóság miatt azt javasolja, hogy mellőzzék az ellenőrző programok használatát. Ez valószínűleg elkerülhetetlen lesz, mert az amerikai iskolákban egyfajta boszorkányüldözés alakult ki a mesterséges intelligencia miatt, és sorozatosan vádoltak meg ártatlan diákokat.

A GPTZero vezetői szerint ugyan sohasem volt céljuk, hogy diákok büntetésére használják programjukat, a történtek hatására úgy döntöttek, hogy pályát módosítanak, és az emberi stílust kiemelő eszközzé alakítják az alkalmazást. Mindez persze alig fedi el azt tényt, hogy az MI-ellenőrzők üzleti modelljének lényegi alapja a mesterséges intelligencia miatti hiszti és pánik.

(Ars Technica)