Virtuális tapintás

Azokban az esetekben pedig, amikor figyelembe vették, és a multimodális interakció fontos összetevőjeként igyekeztek az adott rendszerbe integrálni, általában kevés sikerrel jártak.

Csodakesztyűben

A 2004-ben indult, és 2007 végén lezárult, öt kutatóintézet konzorciuma által jegyzett európai uniós HAPTEX (HAPtic sensing of virtual TEXtiles) projekt áttörésnek tűnik: az új (egyelőre prototípus, de rövid időn belül kereskedelmi forgalomba hozható) interfész virtuális tárgyak érintését, ráncigálását, összehajtogatását teszi lehetővé. A tapintásalapú hardverhez és kiegészítő eszközökhöz kapcsolt multimodális szoftver több szempontból is komoly lehetőségeket villant fel: elvileg tervezésnél, az ember-gép interakcióban és vásárlás során egyaránt hasznosítható lesz. A virtuális textíliák képi megjelenítése és a „tapintó interfész” együtt teszik lehetővé, hogy a felhasználó úgy érezze a megfogott szövetet, mintha igazi lenne. A rendszer speciálisan tervezett kesztyű, bonyolult számítógépes modell, adatbázisok és a vizuális élmény összekombinálása. Az eredmény meglepően hiteles.

„Korábban még senki nem próbálkozott ezzel a multimodális megközelítéssel” – jelentette ki a projektet koordináló Nadia Magnenat-Thalmann (Genfi Egyetem, MIRALab).

A vizuális szimuláció és az érintés-megvalósítás a textília tényleges fizikai tulajdonságain alapulnak. Ez azért is történhet meg, mert a mintákat valódi szövetekből vették le. Az eltérő típusok így azonosíthatók és különböztethetők meg. A későbbiekben bármely virtuális tárggyal szeretnék ugyanezt elérni.

Összhangban a látvány és az érintés

A projekt résztvevőinek nehéz feladatokat kellett megoldaniuk. Komoly fizikai előtanulmányokat követően modellezések sokaságán (miként viselkedik, mennyire tágul ki, húzódik össze az anyag ilyen és ilyen körülmények között, stb.) keresztül jutottak el odáig, hogy az átalakítható textíliát valódinak érezzük. Ezt követte a vizuális modell, majd a valósidejű megjelenítést és interakciót biztosító módszerek optimalizálása, a virtuális szövetek érintés-érzékelését lehetővé tevő tapintási algoritmusok kidolgozása. Míg a vizuális rendszer élethűségéhez másodpercenkénti húsz képkocka elegendő, a tapintáshoz akárcsak egy másodpercre is, nagyon magas felbontás, többezer minta szükséges.

Az utolsó fázisban a szimultán érintést és megjelenítést kivitelező interfészt, valamint a különböző érzékszervi visszacsatolások szinkronizálását dolgozták ki. (Szinkronizálás nélkül hiteltelen lenne a fizikai élmény.) Két modellt hoztak létre ehhez. Az egyik az anyag összes jellemzőjét nyomon követi, a rendkívül finom felbontású másik a bőr aktuális érzeteit térképezi fel. A modellek úgy viszonyulnak egymáshoz, mint kép és hang egy videóban: ha nincsenek összhangban, ha valamelyik késése tetten érhető, máris oda a hatás.

Folytatása következik?

A prototípus pozitív médiafogadtatásban részesült, Magnenat-Thalmann viszont nem teljes mértékben elégedett: „azt akartuk, hogy a felhasználó a rendszer segítségével vakon különbséget tudjon tenni anyagok, például a pamut, a gyapjú vagy a selyem között. Sajnos a rendszer erre még nem képes, nem elég szenzitív hozzá.”

A kutatók bizakodnak, hogy megkapják az újabb projekthez szükséges anyagi támogatást, és akkor a prototípust valóban kereskedelmi forgalomba kerülő termékké finomítják, ami komoly üzleti következményekkel járhat: a rendszert az online kereskedelem mellett olyan – távolinak tűnő – területeken is felhasználhatják, mint például a játékok.

Hiteles tapintással még a virtuális álomvilágok is élethűbbnek tűnnek.