Szájról olvasó rend­szer­rel javítaná a szink­ron­izálást a Disney

Rugalmasabb és pontosabb szinkronizálást tesz lehetővé a szájmozgás látványát kiértékelő technológia.

A filmkiadó a szinkronizálást végző szakemberek munkáját könnyítené meg. A Disney Research egy olyan eljárást fejlesztett ki, amely képes szájról leolvasni a kimondott szavakat és így elkerülhetők az olyan esetek, amikor látható, hogy a színész teljesen mást mond, mint ami végül a fordítás során a feliratban megjelenik. Ez jelentősen tudja rontani a felhasználók szórakozását.

Az eljárás a szájról készített képek dinamikus elemzésén alapul. A folyamat során a felvételen beszélő szájmozgásait feljegyzik és kiértékelik, majd ezután minden egyes szájmozgáshoz elkészítik a hozzáillő lehetséges fonémák grafikus megjelenítését. Sarah Taylor kutató és kollégái kiderítették, hogy vannak nagyon félreérthető szavak. Amennyiben például valaki azt mondja, hogy "clean swatches", akkor hasonló szájmozgással mondhatná éppen azt is, hogy "likes swats", "then swine" vagy "need no pots".


Az új eljárásnak köszönhetően sokkal több alternatíva válik elérhetővé egy film vagy számítógépes játék szinkronizálása során, ugyanakkor a rendszerből azok is profitálhatnak, akiknek fontos, hogy szájról is tudjanak olvasni. Taylor és munkatársai az eljárást az IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) nevű rendezvényen akarják bemutatni, amelyet Brisbane városában rendeznek meg.