Pedofil fotókat találtak egy nyílt adatbázisban, amiből MI-képgenerátorokat tréningeztek

Egy jelentés szerint egy képgenerátorok tréningezésére használt nyílt adathalmazban gyermekekkel való szexuális visszaélést ábrázoló képeket találtak. A Stable Diffusion 1.5 több, mint 1000 gyermekbántalmazásról készült képpel "szennyezett".

Több mint 1000 ismert, gyermekek szexuális zaklatásáról szóló anyagot (Child sex abuse images, CSAM) találtak egy nagy, LAION-5B néven ismert nyílt adathalmazban, amelyet olyan népszerű szövegből képet generáló generátorok képzésére használtak, mint a Stable Diffusion - derült ki David Thiel, a Stanford Internet Observatory (SIO) kutatójának jelentéséből. A SIO jelentése megerősíteni látszik az interneten 2022 óta keringő pletykákat, miszerint a LAION-5B illegális képeket tartalmaz. Thiel arra figyelmeztetett, hogy "a gyermekbántalmazás anyagának a mesterséges intelligenciamodell képzési adataiba való beillesztése megtanítja az eszközöket arra, hogy a gyermekeket tiltott szexuális tevékenységgel társítsák, és ismert gyermekbántalmazási képeket használ fel új, potenciálisan valósághű gyermekbántalmazási tartalmak generálására".

Thiel szeptemberben kezdte meg kutatását, miután júniusban felfedezte, hogy MI-képgenerátorokat használnak hamis, de valósághű MI-gyerekszexképek ezreinek létrehozására, amelyek gyorsan terjednek a sötét weben. Célja az volt, hogy kiderítse, milyen szerepet játszhat a CSAM az ilyen tiltott tartalmakat kibocsátó képgenerátorokat működtető mesterséges intelligenciamodellek képzési folyamatában. "Új vizsgálatunk feltárta, hogy ezeket a modelleket közvetlenül a LAION-5B néven ismert, több milliárd képből álló nyilvános adathalmazban található CSAM-okon képezték ki" - áll Thiel jelentésében. "Az adatkészlet a források széles köréből származó ismert CSAM-okat tartalmazott, beleértve a mainstream közösségi médiaoldalakat" - mint például a Reddit, az X, a WordPress és a Blogspot -, valamint a "népszerű felnőtt videóoldalakat" - mint például az XHamster és az XVideos.

Röviddel Thiel jelentésének közzététele után a LAION, az adathalmazt előállító németországi székhelyű nonprofit szervezet szóvivője elmondta, hogy a LAION "átmenetileg eltávolítja az adathalmazt az internetről", mivel cégük zéró toleranciát tanúsít az illegális tartalmakkal szemben. Az adatkészleteket újra közzéteszik, amint a LAION megbizonyosodik arról, hogy az biztonságos - mondta a szóvivő. A gépi tanulási eszközöket fejlesztő Hugging Face szóvivője - amely a LAION-adatkészletre mutató linket tárolja - megerősítette, hogy az adatkészlet már nem elérhető a nyilvánosság számára. Az anyag eltávolítása azonban nem oldja meg a korábban letöltött fájlokkal vagy a korábban betanított modellekkel, például a Stable Diffusion 1.5 modellel kapcsolatos, még fennálló problémákat.


Thiel jelentése szerint a Stability AI későbbi Stable Diffusion-2.0 és 2.1 verziói kiszűrték a "nem biztonságosnak" ítélt tartalmak egy részét, "megnehezítve ezzel az explicit tartalmak létrehozását". Mivel azonban a felhasználók elégedetlenek ezekkel a jobban szűrt verziókkal, a Stable Diffusion 1.5 továbbra is "a legnépszerűbb modell az explicit képek generálására" - áll Thiel jelentésében.

A Stability AI szóvivője elmondta, hogy a Stability AI "elkötelezett a mesterséges intelligenciával való visszaélés megakadályozása mellett, és tiltja a képmodelljeink és szolgáltatásaink jogellenes tevékenységre való használatát, beleértve a CSAM szerkesztésére vagy létrehozására irányuló kísérleteket". A szóvivő rámutatott, hogy a SIO jelentése a LAION-5B adathalmaz egészére összpontosít, míg a Stability AI modelljeit ennek az adathalmaznak egy szűrt részhalmazán képezték ki, és ezt követően finomhangolták, hogy mérsékeljék a visszamaradt viselkedéseket. Úgy tűnik, hogy a Stability AI szűrt adathalmaza nem olyan problémás, mint a nagyobb adathalmaz.

A Stability AI szóvivője azt is megjegyezte, hogy a Stable Diffusion 1.5-öt a Runway ML adta ki, nem a Stability AI. Úgy tűnik azonban, hogy ebben a kérdésben némi zavar van, mivel a Runway ML szóvivője szerint a Stable Diffusion a Stability AI-val együttműködve jelent meg. A Stable Diffusion 1.5 demója szerint a modell a Stability AI által támogatott, de a CompVis és a Runway által kiadott modell. A Runway ML szóvivője nem kívánt nyilatkozni a Stable Diffusion 1.5 számára tervezett frissítésekről.

A Stability AI szóvivője szerint lépéseket tettek a káros kimenetek csökkentése érdekében. Ezek közé tartozik, hogy csak a Stable Diffusion "olyan verzióit hosztolják, amelyek szűrőket tartalmaznak, eltávolítják a nem biztonságos tartalmakat és megakadályozzák, hogy a modell nem biztonságos tartalmakat generáljon. Ezenkívül szűrőket is implementáltunk, hogy megállítsuk a nem biztonságos kéréseket vagy nem biztonságos kimeneteket, amikor a felhasználók interakcióba lépnek a modelljeinkkel a platformunkon" - mondta a Stability AI szóvivője. "Befektettünk tartalomcímkézési funkciókba is, hogy segítsük a platformunkon generált képek azonosítását. Ezek az enyhítési rétegek megnehezítik a rossz szereplők számára az MI-vel való visszaélést."

A LAION-5B adatállományban a CSAM 1008 példányának ellenőrzésén túl a SIO 3226 darab CSAM-gyanús esetet talált. Thiel jelentése figyelmeztet, hogy mindkét számadat "természeténél fogva jelentős alulszámlálás", mivel a kutatók korlátozottan képesek az adathalmazokban lévő összes CSAM felderítésére és megjelölésére. Jelentése azt is megjósolta, hogy "a Stable Diffusion 1.5 képzési folyamatának visszahatásai még egy ideig velünk lesznek. A legkézenfekvőbb megoldás az, hogy a LAION-5B-ből származó képzési készletek birtokában levők nagy része törölje azokat, vagy közvetítőkkel együttműködve tisztítsa meg az anyagot" - áll a SIO jelentésében. "A Stable Diffusion 1.5-ön alapuló modelleket, amelyekre nem alkalmaztak biztonsági intézkedéseket, törölni kell és a terjesztést lehetőség szerint be kell szüntetni."


MI-által generált képek gyerekekről
Thiel először arra gyanakodott, hogy a képgenerátorok két fogalmat, például az "explicit aktus" és a "gyermek" fogalmát kombinálták a nem megfelelő képek létrehozásához. Mivel azonban tudta, hogy az adathalmazt "lényegében a világháló irányítatlan feltérképezésével" táplálták, amely "jelentős mennyiségű explicit anyagot" tartalmazott, azt sem zárta ki, hogy a képgenerátorok közvetlenül is hivatkozhattak a LAION-5B adathalmazban szereplő CSAM-okra. Az adatállományban szereplő CSAM-ek ellenőrzéséhez Thiel a Microsoft CSAM-hashing adatbázisára, a PhotoDNA-ra, valamint a Thorn gyermekbiztonsági szervezet, az Eltűnt és Kihasznált Gyermekek Nemzeti Központja (NCMEC) és a Kanadai Gyermekvédelmi Központ (C3P) által kezelt adatbázisokra támaszkodott. Ezek a csoportok megerősítették, hogy nemcsak hogy jelen volt a CSAM, hanem néhány illegális kép duplikálódott az adathalmazban, növelve annak esélyét, hogy a képgenerátorok kimenetei a gyermekek szexuális zaklatásának ismert áldozatát ábrázolják.

Kihívást jelentett annak megállapítása, hogy a CSAM mennyire befolyásolhatta az MI képzési modelleket, mivel az adatkészlet a képek tárolása helyett URL-címeken tárolt képadatokra hivatkozik. A kulcsszó alapú elemzés hatása korlátozott, mivel az ilyen képeknél általános címkéket használnak a felismerés elkerülése érdekében. A CSAM megtalálására használt keresőkifejezésekről sincs átfogó lista, és még ha lenne is, hasznos keresőkifejezések egy rossz nyelvi fordítás miatt kimaradhatnak. Ezen okok miatt Thiel arra a következtetésre jutott, hogy "a szöveges leírások csak korlátozottan használhatóak a CSAM azonosítására".

A kulcsszó-alapú elemzést eldobva Thiel egy nagyobb léptékű elemzésre támaszkodott, amelynek más korlátai is voltak, mint például a halott linkek, amelyeket az adathalmazok képzéséhez használtak, de amelyek potenciálisan már nem adtak otthont aktívan CSAM-nek. Egy másik jelentős korlátozás a PhotoDNA adatbázisának teljessége volt, amely nem adott találatokat "jelentős mennyiségű, CSAM-ot ábrázoló illusztrált karikatúrára", amelyek "úgy tűnik, hogy jelen vannak az adathalmazban". Bár a LAION-adatkészlete már nem érhető el online, nem lehet tudni, hogy hány kutató töltötte le és hogy ezek mikor történetek. A SIO jelentése szerint a "egy a 2023 végén feltöltött LAION-5B adathalmazon képzett modell több ezer illegális kép birtoklását feltételezi".

Azonban csak azért, mert a képek jelen vannak a modellben, ez "nem feltétlenül jelenti azt, hogy a CSAM jelenléte drasztikusan befolyásolja a modell kimenetét, túl azon, hogy a modell képes a szexuális tevékenység és a gyermekek fogalmának kombinálására" - mondta a SIO. Ez azt jelenti, hogy a CSAM jelenléte a képzési adatokban nem biztos, hogy olyan jelentős, mint a modellek képzése a gyermekekről készült képeken és az explicit tartalmakon, amelyek szöveges kérésekkel kombinálhatók, hogy illegális kimeneteket hozzanak létre. Bárhogy is legyen, a CSAM jelenléte "valószínűleg még mindig befolyást gyakorol", állapította meg a SIO jelentése, különösen akkor, ha "ismétlődően azonos esetek" vannak, amelyek növelhetik annak esélyét, hogy a képgenerátor kimenete konkrét áldozatokra hivatkozik vagy hasonlít azokra.


Midjourney által generált kép gyerekekről
A SIO jelentése több olyan lépést javasolt, amelyet a képgenerátorok készítői megtehetnek a tartalom terjesztése és a modellképzési adatokba való beépítés által okozott problémák enyhítésére, valamint az ilyen incidensek jövőbeni megelőzésére. A megoldások között szerepel, hogy az ismert CSAM-okat megjelölhetnék és eltávolíthatnák a tárhely-URL-ekből. A LAION-5B adatállományból szintén el lehetne távolítani a LAION referenciaadatkészletek metaadatait és minden tényleges képet.

Jelenleg nem ismert, hogy hány kutató töltötte le a LAION-adatkészleteket, de néhány problémás forrásanyagot már eltávolítottak az internetről. A SIO rámutatott, hogy a kutatók megelőzhették volna a képgenerátorokkal való visszaéléseket, ha a modellek kiadása előtt konzultálnak a gyermekbiztonsági szakértőkkel, és a LAION-adatkészletekben hivatkozott képeket összevetik a CSAM ismert listáival. "A korbecslési modellek használata segíthetne a potenciálisan illegális anyagok felderítésében" - írta a SIO. Ezek a lépések segíthetnek csökkenteni a CSAM-ok hatását a képgenerátorok kimenetére, de a legnehezebb feladat a CSAM-ok eltávolítása magukból a modellekből, áll a SIO jelentésében.

"Az ismert CSAM-nek megfelelő képek esetében a kép- és szövegbeágyazásokat el lehetne távolítani a modellből, de nem tudni, hogy ez érdemben befolyásolná-e a modell CSAM előállítására vagy az egyes áldozatok megjelenésének reprodukálására való képességét" - áll a SIO jelentésében. Az MI-modellek készítői megpróbálhatják törölni a fogalmakat a modellből, például teljesen eltávolíthatják a "gyermekeket" vagy a "meztelenséget", mondta a SIO, de a CSAM mint fogalom eltávolítása nehéz az illegális anyagokhoz való hozzáférés nélkül. A SIO ajánlása szerint a leghatékonyabb lépés az lenne, ha a gyermekeket ábrázoló képeket kizárnák az összes általánosított képzési készletből.

A probléma megoldásának sürgőssége azonban szélsőséges megoldásokat igényelhet. "Most azzal a feladattal kell szembenéznünk, hogy megpróbáljuk enyhíteni a meglévő képkészletekben és a szennyezett modellekben jelen lévő hatásokat. Ez a probléma egyre sürgetőbbé válik, mivel ezeket a modelleket nem csak generált CSAM, hanem valódi gyermekek CSAM-jának előállítására is használják, gyakran kereskedelmi célokra" - áll a SIO jelentésében.