Gesztusokkal vezérelnék a drónokat

A repülőgép-anyahajók legénysége már most is kézmozdulatokat és testhelyzeteket használ a a pilóták irányítására a repülőgép-hordozók fedélzeten. A pilóta nélküli repülőgépek számának növekedésével azonban felvetődik a kérdés: nem lehetne ugyanezeket a gesztusokat a robotrepülőgépek vezérlésére is felhasználni? Az MIT kutatóinak egy csoportja – Yale Song PhD-hallgató, Randall Davis informatikaprofesszor és a mesterséges intelligencia kutató David Demirdjian – úgy döntöttek, megválaszolják a kérdést.

Egy Kinecthez hasonló rendszert fejlesztenek – a Microsoft Xbox 360-hoz való kiegészítő még nem volt elérhető, amikor elkezdték a projektet –, amely három dimenzióban észleli a test és a kezek különböző helyzeteit. Saját fejlesztésű szoftvert és egyetlen sztereókamerát használnak a gesztusok felismerésére.

A rendszer először elkészíti a csapattag háromdimenziós képét, és eltávolítja a hátteret. Ezután ahhoz, hogy megállapítsa, milyen helyzetben van a test, összehasonlítja a személyt néhány csontváz-szerű modellel. Miután megállapította a testhelyzetet, megnézi, hol vannak a kezek.

Ezt tekinti nullpontnak, majd megvizsgálja a kezek és csuklók formáját, pozícióját és méretüket. Ezután kiszámolja, melyik gesztust használhatták: az irányítónak nyitva lehet a tenyere, vagy összeszoríthatja az öklét, esetleg felfelé tarthatja a hüvelykujját.

Tippelnek

A legnagyobb kihívás, hogy a szoftver nem várhatja meg, amíg a résztvevő megáll, hogy utána elemezzen. Egy repülőgép-hordozó fedélzetén folyamatos a mozgás, másodpercenként új kézjelek és testhelyzetek vannak. „Nem adhatunk neki több ezer képkockát, mert elemzésük örökké tartana” – mondta Song.

Ehelyett, néhány rövid, 60 képkocka hosszú – körülbelül 3 másodpercnyi videó – test-pozíció-sorozatból számolnak, amelyben a szekvenciák átfedik egymást. Az algoritmus inkább valószínűségeket, mintsem pontos egyezéseket számol.

A tesztekben az algoritmus 76 százalékos pontossággal határozta meg a gesztusokat. Ez nem rossz eredmény, de még nem elég a sok millió dolláros drónok biztonságos irányításához. Song szerint a rendszer még sokat finomítható, ha külön kezelik a kar és a kézfej pozícióját.