Olyat csinált egy magyar zenekar, amelyre még külföldön is kevés példa van

Szinte már nincs is olyan dolog, amellyel kapcsolatban ne kérhetnénk a mesterséges intelligencia segítségét – a ChatGPT-hez, a Google Bardhoz és a Bing AI-hoz hasonló nyelvi modellek például játszi könnyedséggel segítenek akár a könyvírásban is; míg az olyan programokat, mint – mondjuk – a DALL-E-t vagy a Midjourney-t arra használhatjuk, hogy élethű képeket hozzunk létre úgy, hogy leírjuk, pontosan mit is szeretnénk látni.

Ezek mellett a közösségi oldalakon hatalmas népszerűségnek örvendenek a különböző, hangmanipulációval foglalkozó mesterséges intelligenciák is – számtalan olyan meghökkentő videót látni például a TikTokon, amelyekben egy dal az eredetitől teljesen eltérő énekes hangján csendül fel. A mesterséges intelligenciában egy magyar zenekar, a Szomszéd Srácok is meglátta a fantáziát, és az elsők között készítettek egy olyan videóklipet, amelyet részben az MI hozott létre.

Nem volt egyszerű, de megérte

Az ötletet a klip elkészítéséhez a Corridor Crew YouTube-csatorna egyik videója adta, de a munkafolyamat számos részét a zenekar alkotta meg. Elmondásuk szerint a legnagyobb kihívást az jelentette számukra, hogy a folyamatra mindeddig nem létezett egy kidolgozott workflow, így maguknak kellett menet közben kitalálniuk, hogy pontosan mit és hogyan csináljanak. Ennek eredményeképp sikerült létrehozniuk egy olyan munkafolyamatot, amely akár a későbbiekben is használható lehet más típusú filmes projekteknél.

Mint azt Balázs József Bence, a zenekar dobosa és egyben a klip készítője az Indexnek elmondta, a klipkészítést azzal kezdték, hogy a zenekar tagjairól nagyjából 150-200 fotót készítettek egy speciális green screen stúdióban, majd ezekkel a képekkel egy-egy saját Stable Diffusion AI-modellt tanítottak be. Minderre azért volt szükség, hogy a későbbiekben a bandatagok egyedi arcvonásait felismerve rájuk hasonlító karaktereket készíthessenek.

Miután ezzel is megvoltak, ismét egy green screen stúdióban találták magukat, ahol felvették azokat a jeleneteket, amelyekben a zenekar tagjai szerepelnek. Az előadott részeket az általuk kitalált stílusban dolgozták fel a saját Stable Diffusion modelljeikkel, a szükséges háttereket és a főgonoszt pedig 3D szoftverek segítségével modellezték és animálták. Az elkészült assetek kompozitálása, illetve fényelése után meg is született a videóklip.

Az AI beillesztése egy ilyen VFX-munkafolyamatba rendkívül komplex kihívás volt, hiszen itt nem csak egy kattintásos képgenerálásról van szó, több száz munkaóra ugyanúgy benne van az elkészítésben. Az AI segítségével lényegében a képek képkockánkénti megrajzolását tudtuk kiváltani, ami hatalmas idő- és energiatakarékosságot jelentett számunkra, nem beszélve az AI által készített képek »uncanny« jellegéről, ami szintén egy érdekes extrát ad vizuálisan

– magyarázta a zenekar dobosa. A dal egyébként egy pályázati felhívásra készült, ahol a beküldött szerzeményekkel a Balaton sérülékenysége mellett lehetett kiállni.

A dal hangzásvilágát ezért balatoni atmoszférákkal, így például vízcsobogással és sirályok hangjával is kiegészítettük. Emellett a zenei munka során szintén segítségünkre volt a mesterséges intelligencia, a dal írása közben több AI-alapú mixing és mastering plugint is használtunk, de a végleges verzióba »emberi« beállítások is bekerültek

– fejtette ki Jakab Tamás, a zenekar énekes-gitárosa. A Balaton című dalhoz készült klipet alább tekintheti meg:

(Borítókép: Szomszéd Srácok)