Szexisták a képfelismerő algoritmusok

Amennyiben a szoftverek egy konyhát látnak, akkor azt automatikusan a nőkkel hozzák kapcsolatba.

Viente Ordónez informatikus megfigyelte, hogyha az általa fejlesztett képfelismerő alkalmazásnak mutattak egy konyháról készült fotót, akkor azt automatikusan a nőkhöz társította. A szakembert érdekelni kezdte, hogy ez miért van így és felfigyelt arra, hogy két nagy képadatbázisban - amelyeket többek között a Facebook és a Microsoft is használ a megoldásai fejlesztésére - érdekes tendencia figyelhető meg: a különböző tevékenységeket nemspecifikusan értékelik. A bevásárlás és a konyha automatikusan a nőkhöz kerül, míg a lövészet és az edzések a férfiakhoz. Mindkét gyűjtemény több, mint 100 000 fotót tartalmaz, és azért válogatták azokat, hogy a szoftverek jobban megértsék a képek tartalmát.

Mindez meglehetősen fura helyzetekhez és eredményekhez vezet. Így például Ordónez rájött arra, hogy a képfelismerő szoftverek egy tűzhely előtt lévő férfit is automatikusan nőként azonosítanak. Az adatbázisokból dolgozó, gépi tanulásra építő szoftverek nem csupán reprodukálják a hibákat, hanem a tendenciákat fel is erősítik. Ez még inkább igaz, ha egy ilyen sztereotípia más szinten, például rassz szerint is létezik. Ez a fajta szexizmus a Google News hírein edzett szoftvereket is érinti. A Boston Egyetem kutatói egy ilyet annak a mondatnak a kiegészítésére kértek, hogy "Egy férfinak a programozás ugyanaz, mint a nőknek x", és a háztartási munkával felelt.

Ez az egyértelműen IT-természetű probléma érint mindenfajta fotót használó szolgáltatást, legyen az egy reklámcég vagy egy közösségi médiás dolog. Most képzeljünk el egy komplexebb területet, például egy robot irányításáért felelős szoftvert, amely a konyhában lévő emberek láttán a férfinak automatikusan egy sört hoz, a nőknek pedig a mosogatásban segít.

Yuriy Brun és Alexandra Meliou, a Massachusetts Egyetem két IT-professzora már jelezte, hogy fellép a probléma ellen. Elkészítették a Themis nevű szoftvert, amely képes modellezni a webes nyomtatványokban több ezer személyiségprofil megadását. Többek között megváltoztattak olyan jellemzőket, mint a faj, a nem és a származás, majd mérték, hogy az algoritmusok milyen eredményekre jutnak. Így kialakultak olyan minták, amelyek bebizonyították, hogy egy adott rendszerben vannak-e előre beágyazott előítéletek vagy sem. A program elérhető a GitHubon.