Ötöst adott a robottanár

Edward Brent, a Missouri Egyetem szociológiaprofesszora piros toll helyett saját cége, az IdeaWorks Qualrus nevű programjával javít: a diákok szövegszerkesztőben írják a dolgozatot, Brent pedig a leadott fájlokat a Qualrusba tölti.

Edward Brent

A Qualrust egyébként eredetileg nem kifejezetten dolgozatjavításra, hanem általános célokra, így ötletek, projektek vagy jelenségek kvalitatív elemzésére fejlesztették ki, de a kézikönyvben való elmélyülés után viszonylag könnyedén lehet vele olyan programot írni, amely ellenőrzi, tartja-e magát a diák bizonyos konvenciókhoz, tud-e helyesen írni, ismeri-e a nyelvtani szabályokat és képes-e szervezett szöveget létrehozni.

Fifikával a gép ellen

A keményvonalas irodalomtanárok nyilván szörnyülködnek az ötlet hallatán, és nem is minden ok nélkül. Azt még a dolgozatjavító szoftvereket készítő cégek is elismerik, hogy programjaik nem tudnak úgy "olvasni", ahogy az ember, hanem a számítástechnikában elterjedt nyelvfeldolgozó módszer, a "natural language processing" módszereivel élnek, éppen ezért kis fifikával megtéveszthetők. Áprilisban publikált írásukban William Monaghan és Brent Bridgeman kifejtik: a dolgozatjavító szoftverek simán átverhetők oly módon, hogy a szerző pompásan konstruált mondatokat vet papírra, amelyeknek az égvilágon semmi értelmük; a másik véglet pedig, hogy a program könnyen félreismerheti a szokványostól eltérően fogalmazó, kreatív zseniket is (nyilván ez történt az Indexszel is; olvasson tovább).

Felkészüléshez kiváló

"A legfontosabb, hogy a szoftver nem helyettesíti a tanárokat, csak segíti a munkájukat" - mondta el Christopher Medalis, az Institute of International Education (IIE) európai irodájának igazgatója. Magyarországon és a régióban az IIE képviseli a princetoni székhelyű Educational Testing Service-t (ETS), az egyik legnépszerűbb dolgozatjavító szoftver készítőjét és forgalmazóját. A szoftver Medalis szerint nagyszerűen használható az íráskészség fejlesztésére, ami a külföldön továbbtanulóknak, munkát vállalóknak egyre fontosabb. Az E-rater jól jöhet az olyan tesztekre való felkészülés során, mint az itthon is elterjedt nyelvvizsga, a TOEFL. "

A hangsúly nem is annyira a nyelvtani hibákon van, hanem azon, hogyan írjunk jól felépített, meggyőző esszét" - mondta Medalis, aki szerint a magyarországi angoltanárok között is nagy az érdeklődés, hiszen nekik sokszor nem jut idejük az íráskészség szisztematikus fejlesztésére, főleg mert az esszék javítása sokáig tart. Azok viszont, akik az amerikai egyetemi felvételikre készülnek, kis eséllyel menekülhetnek csak meg a robottanár robotceruzájától: a leendő menedzserek szinte kötelező tesztjének, a GMAT esszékérdésének egyik pontszámát már évek óta szoftver adja (a másik humán kollégától származik).

Könyörtelen, de legalább következetes

A Qualrus, az E-rater és társaik természetesen csak egy-egy előre megadott témában írt dolgozatot tudnak értékelni, és az éles bevetést hosszas előkészítés és finomhangolás előzi meg, de a "gépi tényező" még így is szül furcsaságokat - ez akkor derül ki, ha a szoftver valódi tanárokkal együtt javítja ugyanazt a dolgozatot.

Egy a poétikai eszközöket firtató témára például a vizsgáztatók azt várták, hogy a dolgozatíró megemlítse az "ismétlés" (repetition) szót. A humán dolgozatjavítók elfogadták a rosszul írt és értelmetlen "repation" szót, míg a könyörtelen szoftver hibaponttal jutalmazta a diszlexiás, bár valószínűleg felkészült nebulót. Konkrét példák vannak arra is, hogy a szoftver sokszor képtelen megküzdeni az eredetiséggel: egy esetben például, amikor a "drága" és a "költséges" szavakat, illetve azok szinonímáit várta volna feleletként, nem tudott megküzdeni azzal, hogy valaki a "nagy marék aprópénz" kifejezéssel próbálkozott.

Rózsaszín elefántokkal az ötösért

Zölddel kiemelve: főbb gondolataink

Az e-rater éles tesztjét egy olyan angol nyelvű dolgozattal végeztük, amelynek témája az volt: részt vegyenek-e a diákok a tananyag kialakításában, vagy egyedül a tanár feladata, hogy eldöntse, mivel foglalkozik az órán. Féloldalas írásunkban kifejtettük, hogy jó, ha a diákok belebeszélnek a tantervbe, mert legalább érdekli majd őket, amiről szó van az órán. Azután elmondtuk, hogy persze számít az általános műveltség és a tanári tapasztalat, az évek meg a ráncok, de a legjobb, ha a tanár olyan karizmatikus egyéniség, mint Robin Williams a Holt költők társaságában, aki önkezével tépi szét a skolasztikát, és még az asztalra is felmászik a katarzis kedvéért. Aztán kaptunk egy négyest a lehetséges hatból.(Az IIE munkatársa szerint ez az úgynevezett holisztikus pontszám, ezt az osztályzatot adja az e-rater, míg a részletes értékelés, a "diagnostic feedback" a Critique nevű szoftvertől származik. Az ETS Criterion alkalmazása egyesíti a két rendszert.)

Bár törekedtünk a tiszta fogalmazásra, azért megpróbáltuk megvezetni a szoftvert, a szövegben ugyanis elrejtettünk négy helytelenül írt szót, egy befejezetlen mondatot és egy káromkodást is, két bekezdést pedig felcseréltünk. A szoftver nyelvtani és nyelvhasználati hibát nem talált, vagyis sikerült elkerülnünk az egyeztetési hibákat, jól bántunk a birtokos viszonyokkal, és helyesen használtuk a névelőket meg a prepozíciókat. Naná. Helyesírási hibából a program a direkt becsempészett négy mellett egyet talált: nem ismerte fel ugyanis Robert Pirsig nevét, akit galád módon - a zen és a motorbicikli kapcsán - szintén meghivatkoztunk.

A stílust tekintve a program egyedül azt kifogásolta, hogy túl sokszor (összesen kilencszer) használtuk a "student" (diák) szót, bár a hatszor elsütött "teacher"-rel már nem volt baja; a "fucking" szót pedig nem odavalónak nyilvánította, de hát az tényleg nem volt oda való. A legnagyobb baja a szoftvernek a szöveg szervezettségével volt: szeretett volna találni a dolgozatban bevezetést, alaptézist, fő gondolatot és az azt támogató mellékgondolatokat, illetve a végén konklúziót - ehhez képest csak két fő- és néhány mellékgondolatra bukkant, bevezetésre, tézisre és konklúzióra nem. Négyest érdemel, szólt a verdikt.

Bedühödtünk, a studentek közül néhányat "individual"-re (egyén) és "mammal"-re (emlős) cseréltünk, a "fuckingot" kiradíroztuk, rittyentettünk egy bevezetőt, egy tézist meg egy konklúziót, aminek semmi köze nem volt a megadott témához - rózsaszín elefántokat, kék csigákat és egyéb pszichedelikus elemeket használtunk inkább.

Kaptunk rá egy ötöst. Az értékelés szerint dolgozatunk általában véve átgondolt, a tárgy komplexitását jól kifejtő elemzés, ami világosan átadja a szerző gondolatait. Köszönjük a rózsaszín elefántoknak.

5 könyv
Több mint 600 meghökkentő, érdekes és tanulságos történet!

MEGVESZEM

Kövesse az Indexet Facebookon is!

Követem!