Szemmozgáskövetés arcfelismeréssel

A szemmozgás-követés alkalmazása napjainkban már nem kizárólag az egyetemek kutatóinak privilégiuma. A legkülönbözőbb cégek marketingesei, termékfejlesztői használják régi és új árucikkeik kipróbálására. Általában weboldalakat, szoftver felületeket teszteltek a segítségével.

A legelterjedtebb eljárás azon alapul, hogy néhány (többnyire egy) infravörös fényforrással megvilágítják a kísérleti személy arcát és egy infrakamera segítéségével rögzítik a visszavert fényt. Az infravörös fényben a szemfehérje, a pupilla és az írisz nagyon kontrasztosan határolódik el egymástól, ily módon könnyen detektálható a nagyobb körön belül (írisz) a kisebb kör (pupilla) pontos elhelyezkedése. Ebből a relatív helyzetből a tekintet iránya bizonyos feltételek mellett pontosan meghatározható.

A szemmozgás-követőket mindenkinél külön kalibrálni kell, a személynek a monitor sarkaiban és közepén felvillanó pontokat kell tekintetével követnie. A vizsgálatok eredménye nagyon látványos: egy vebszájton való böngészés után visszanézhetjük, hogy az egyes oldalakon hol voltak a szem fixációs pontjai, mely részeire figyelt az illető és a visszanézhetjük a tekintetének útvonalát, illetve hőtérképet rajzolhatunk az adott oldalra, mely megmutatja mik votlak a leginább érdeklődésre számottartó tartalmak. Így sokkal pontosabban tudunk arra következtetni, hogy mi történt az adott személyben, mintha utólag feltennénk az oldallal kapcsolatban pár szubjektív kérdést.

A legtöbb rendszer kizárólag monitoros kísérleti helyzetben alkalmazható, mivel a pupilladetektálás nem teszi lehetővé a nagyobb törzs és fejmozgásokat. Ezért az eljárás általában csak úgy működik, ha a személy egy meghatározott távolságban, fejét nem mozgatva mereven, egyenesen ül a monitor előtt.

A SeeingMachines nevű ausztrál cég a számítógépes látás eszközeit hívta segítségül a módszer kiterjesztéséhez. FaceLab-nek nevezett rendszerük nem csak a pupillát detektálja, hanem az egész fej helyzetét és mozgását. Az Agent Portálnak adott interjúban Shaun Cotter, a cég egyik fejlesztőmérnöke elmondta, hogy ő rendszerük csak részben támaszkodik az infravörös fény használatára. A FaceLab szinte teljes szabadságot enged meg a vizsgálati személynek. Nem kell mereven ülnie, előre-hátra mozoghat, forgathatja a fejét, eltakarhatja ez egyik szemét valamilyen külső tárgy, sőt akár napszemüveget is viselhet az elemzett szituációban (pl. autóvezetés).

Első lépésben a FaceLab-be épített egyszerű 3D-s modellező programmal megrajzoljuk a vizsgálati környezetet. Ha egy számítógépes munkaállomást vizsgálunk, akkor a monitor, billentyűzet, egér helyzetét, esetleg egyéb tárgyakat, pl. telefont is bevihetünk a világmodellbe. A kamerák helyének meghatározása és a fél percet igénybevevő kalibráció után már kezdhetjük is használni a programot.

A FaceLab valós időben egy külön monitoron megjeleníti, hogy a vizsgálati személy feje merre irányul, felismerve az arc egyes kulcspontjainak pontos elhelyezkedését. Az infrafény alkalmazása itt is a pupilla-detektálásban segít, így a két információ ötvözésével pontos képet kaphatunk arról, hová irányul a felhasználó figyelme. Ha például valaki nem tud vakon gépelni, máshogy tölt ki egy internetes űrlapot - állítja a tapasztalatok alapján Shaun Cotter, - tekintete folyamatosan ingázik a billentyűzet és a monitor között, így sokkal hosszabb minden kérdés megválaszolása. A "hol is tartok az oldalon" típusú keresgélés komoly frusztrációt okozó mindenkiben.

A rendszer robosztusságának igazi előnyeit azonban nem a hagyományos szoftverhasználati szituációkban lehet jól kiaknázni. Cotter elmondása szerint a legtöbb FaceLab-et szimulátorokban, elsősorban repülőgép-szimulátorokban alkalmazzák. A pilóták mozognak és a különböző helyzetekben a fülke különböző pontjain lévő műszerek adatai alapján kell döntéseket hozniuk. "Mivel a FaceLab-bel valós időben lehet dolgozni, a szimuláció vezetője a megjelenített 3D-s modellen azonnal látja, hogy egy adott szituációban a pilóta mit mulasztott el." A repülési vészhelyzetekben szigorú szabályok írják elő az egyes műszerek által mutatott értékek leolvasásának sorrendjét és az azok alapján levont következtetéseket. A kísérletvezető azáltal, hogy valós időben látja a pilóta tekintetének irányát, az eseményeket olyan irányba tudja befolyásolni, hogy a pilóta is megtapasztalja az adott műszer által mutatott érték ellenőrzésének fontosságát.

A International Conference on Human-Computer Interaction (HCII 2007) konferenciáról a teljes beszámoló megtalálható az ITTK Konferencia Tudásbank honlapján. Az Agent Portal konferencián való részvételét az INFINIT Intelligence támogatta.