Hibázott a spanyol rendőrség algoritmusa, meghalt egy ember

A spanyol rendőrség egy algoritmusra támaszkodik, amely megbecsüli, hogy egy családon belüli erőszak áldozatát milyen valószínűséggel bántalmazzák újra, és milyen védelmet kell nyújtani - ami néha végzetes következményekkel jár.

2022. január 11-én egy Madrid melletti kis lakásban a házimunkáról szóló vita erőszakba torkollott. Lobna Hemid férje összetört egy fából készült cipőtartót, és az egyik törött darabot arra használta, hogy megverje őt. Sikolyait a szomszédok is hallották. Négy, 6 és 12 év közötti gyermekük otthon volt. Hemid asszonyt férje, Bouthaer el Banaisati több mint egy évtizede rendszeresen ütötte és rúgta - mondta a nő később a rendőrségnek. A rendőrségi jelentés szerint „kurvának”, „undorítónak” és „értéktelennek” nevezte őt. Az őrsön egy nyomozónak meg kellett állapítania, hogy fennáll-e a veszélye annak, hogy ismét megtámadják-e, és szüksége van-e támogatásra. 35 igen vagy nem kérdést kattintott végig, olyanokat, hogy fegyvert használtak? vannak-e anyagi problémáik? az agresszor irányító magatartást tanúsított? Az eredményeket betáplálta a VioGén nevű algoritmusba, amely segít a válasz megadásában. A rendőrség elfogadta a szoftver ítéletét, és Hemid asszony védelem nélkül hazament. Az őrizetbe vett El Banaisatit másnap szabadon engedték. Két hónap múlva leszúrta Hemid asszonyt, majd öngyilkos lett. A nő 32 éves volt.

Spanyolországban egy algoritmustól függ a nemi erőszak elleni küzdelem, a szoftver pedig annyira beleszövődött a bűnüldözésbe, hogy nehéz eldönteni hol végződnek az ajánlásai és hol kezdődik az emberi döntéshozatal. A rendszer a legtöbb esetben segítette a rendőrséget a kiszolgáltatott nők védelmében és összességében csökkentette a családon belüli erőszakos ügyekben a megismételt támadások számát. A VioGénre való hagyatkozás azonban azt is eredményezte, hogy egyeseket újra megtámadtak - ami néha halálos következményekkel járt.

Spanyolországban eddig 92 000 olyan némi erőszakon átesett áldozat van, akiket a VioGén értékelt. Többségük - 83 százalékuk - úgy került besorolásra, hogy kevéssé áll fenn annak a kockázata, hogy partnerük újra bántani fogja őket. A rendszert felügyelő spanyol belügyminisztérium szerint azonban a nők nagyjából 8 százaléka, akiket az algoritmus elhanyagolható kockázatúnak, 14 százalék pedig alacsony kockázatúnak talált, arról számolt be, hogy újra bántották őket. A kormány adatai szerint 2007 óta legalább 247 nőt ölt meg jelenlegi vagy volt partnere a VioGén felmérése után. Bár ez a nemi erőszakos esetek elenyésző hányada, rámutat az algoritmus hibáira. 98 ilyen gyilkosság bírósági felülvizsgálata során a megölt nők közül 55-öt a VioGén elhanyagolható vagy alacsony kockázatúnak minősített a megismételt bántalmazás szempontjából.

A spanyol rendőröket arra képezték ki, hogy adott esetben, a bizonyítékoktól függően bírálják felül a VioGén ajánlásait, de a tisztviselők az esetek körülbelül 95 százalékában elfogadják a kockázati pontszámokat. A bírák is felhasználhatják az eredményeket, amikor távoltartási végzésre és egyéb védelmi intézkedésekre irányuló kérelmeket bírálnak el. „Egyes nők átesnek a rostán” - mondta Susana Pavlou, a Mediterranean Institute of Gender Studies igazgatója, aki társszerzője volt egy európai uniós jelentésnek a VioGénről és más, a nők elleni erőszak elleni küzdelemre irányuló rendőrségi erőfeszítésekről. Az algoritmus „mintegy felmenti a rendőrséget minden felelősség alól, hogy felmérje a helyzetet és azt, hogy mire lehet szüksége az áldozatnak”.

Spanyolország jól példázza, hogy a kormányok hogyan fordulnak az algoritmusok felé a társadalmi döntések meghozatalában, ami egy olyan globális trend, amely a mesterséges intelligencia térnyerésével várhatóan tovább fog erősödni. Hollandiában és Nagy-Britanniában a hatóságok algoritmusokkal kísérleteznek, hogy megjósolják kik válhatnak bűnözővé, és hogy azonosítsák azokat az embereket, akik esetleg jóléti csalást követnek el. Az Egyesült Államokban algoritmusok segítenek a börtönbüntetések meghatározásában, a rendőrségi járőrök kirendelésében és a bántalmazás veszélyének kitett gyermekek azonosításában. Ezen programok közül kevésnek van olyan élet-halál következménye, mint a VioGénnek. Az áldozatok azonban ritkán tudnak arról, hogy egy algoritmus milyen szerepet játszott az ügyükben. A kormány nem ad ki átfogó adatokat a rendszer hatékonyságáról és nem hajlandó külső ellenőrzésre bocsátani az algoritmust.

A VioGén egy olyan elfogulatlan eszközként jött létre, amely segíti a korlátozott erőforrásokkal rendelkező rendőrséget azon nők azonosításában és védelmében, akiket leginkább fenyeget az újabb bántalmazás veszélye. A szoftver célja az volt, hogy hatékonyságot teremtsen azáltal, hogy segíti a rendőrséget a legsürgősebb esetek rangsorolásában, miközben kevésbé koncentrál az algoritmus által alacsonyabb kockázatúnak ítélt esetekre. A magasabb kockázatúnak minősített áldozatok erősebb védelmet kapnak, beleértve a rendszeres járőrözést a lakásuknál, a menedéklakáshoz való hozzáférést és a bántalmazójuk mozgásának rendőrségi megfigyelését. Az alacsonyabb pontszámmal rendelkezők kevesebb támogatást kapnak.

A belügyminisztérium nyilatkozatában megvédte a VioGén-t, szerintük az emberölés annyira ritka, hogy nehéz pontosan megjósolni. Szerintük "vitathatatlan tény”, hogy a VioGén hozzájárult a nők elleni erőszak csökkentéséhez. 2007 óta Spanyolország 814 ezer bejelentett nemi erőszak áldozatának mintegy 0,03 százalékát ölték meg, miután a VioGén értékelte őket - közölte a minisztérium. Ez idő alatt az ismételt támadások aránya az összes nemi erőszakos eset 40 százalékáról nagyjából 15 százalékra csökkent a kormány adatai szerint. "Ha ez nem lenne, több gyilkosság és nemi alapú erőszak lenne” - mondta Juan José López Ossorio pszichológus, aki segített a VioGén létrehozásában és a belügyminisztériumban dolgozik. Az áldozatok és családtagjaik küzdenek meg a következményekkel, ha a VioGén téved. "A technológia jó, de ha nem, az végzetes” - mondta Jesús Melguizo, Hemid asszony sógora, két gyermekének gyámja. „A számítógépnek nincs szíve.”


Juan José López Ossorio
A VioGén egy kérdéssel indult: Meg tudja-e jósolni a rendőrség a támadást, mielőtt az megtörténne? Miután Spanyolország 2004-ben törvényt fogadott el a nők elleni erőszakkal szembeni fellépésről, a kormány statisztikai, pszichológiai és más területek szakértőit hívta össze, hogy választ találjanak. Céljuk az volt, hogy egy modellt hozzanak létre a bántalmazás által leginkább veszélyeztetett nők azonosítására, és hogy egységes válaszlépéseket vázoljanak fel a védelmükre. A csapat hasonló megközelítést alkalmazott, mint ahogy a biztosítótársaságok és a bankok megjósolják a jövőbeli események, például lakástüzek vagy árfolyam-ingadozások valószínűségét. Tanulmányozták a nemzeti bűnügyi statisztikákat, a rendőrségi nyilvántartásokat, valamint brit és kanadai kutatók munkáját, hogy megtalálják azokat a mutatókat, amelyek összefüggést mutatnak a nemi erőszakkal. A lista élén a kábítószerrel való visszaélés, a munkahely elvesztése és a gazdasági bizonytalanság állt.

Ezután kidolgoztak egy kérdőívet az áldozatok számára, hogy a válaszokat össze lehessen hasonlítani a történelmi adatokkal. A rendőrség a válaszokat az áldozat kihallgatása, a dokumentumok áttekintése, a tanúkkal való beszélgetés és a kormányhivataloktól származó egyéb információk tanulmányozása után tölti ki. Bizonyos kérdésekre adott válaszoknak nagyobb súlya van, mint másoknak, például ha a bántalmazó öngyilkossági hajlamot vagy féltékenység jeleit mutatja. A rendszer minden egyes áldozatra egy pontszámot ad: elhanyagolható kockázat, alacsony kockázat, közepes kockázat, magas kockázat vagy extrém kockázat. A magasabb pontszám rendőrségi járőrözést és az agresszor mozgásának nyomon követését eredményezi. Szélsőséges esetekben a rendőrség 24 órás felügyeletet rendelhet el. Az alacsonyabb pontszámmal rendelkezők kevesebb figyelmet kapnak, főként nyomon követési hívásokat.

A családon belüli erőszak kezelésére szolgáló előrejelző algoritmusokat alkalmazzák Nagy-Britannia, Kanada, Németország és az Egyesült Államok egyes részein, de ilyen országos szinten még nem. Spanyolországban a belügyminisztérium Katalónia régió és Baszkföld kivételével mindenhol bevezette a VioGén-t. A bűnüldöző szervek eleinte szkeptikusan fogadták az algoritmust - mondták a rendőrség és a kormány tisztviselői -, de hamarosan a mindennapi rendőri munka részévé vált. A VioGén előtt a nyomozások „a rendőrök tapasztalatain alapultak” - mondta Pueyo, aki továbbra is kapcsolatban áll a programmal. „Most ezt a VioGén szervezi és irányítja”. A VioGén pártatlan információk forrása - mondta. Ha egy késő éjjel megtámadott nő ügyét egy fiatal, kevés tapasztalattal rendelkező rendőr kapja meg, a VioGén segíthet felismerni a jövőbeli erőszakot.

Az évek során a VioGén finomodott és frissült, többek között olyan mérőszámokkal, amelyekről úgy vélik, hogy jobban előrejelzik az emberöléseket. A rendőrségnek emellett a támadást követő 90 napon belül utólagos kockázatértékelést is kell végeznie. Spanyolországnak a rendszerbe vetett hite azonban meglepett néhány szakértőt. Juanjo Medina, a sevillai egyetem vezető kutatója, aki a VioGén-t tanulmányozta, azt mondja, hogy a rendszer hatékonysága továbbra sem egyértelmű. "Az időjárás előrejelzésében sem vagyunk jók, nemhogy az emberi viselkedésnél” - mondta.

Francisco Javier Curto, a sevillai rendőrség parancsnoka szerint a VioGén segít embereinek a prioritások felállításában, de szoros felügyeletet igényel. Naponta körülbelül 20 új nemi erőszakos eset érkezik, amelyek mindegyike kivizsgálást igényel. A személyzet létszámát és költségvetését tekintve lehetetlen lenne minden áldozatnak rendőri védelmet biztosítani. "A rendszer hatékony, de nem tökéletes” - mondta, hozzátéve, hogy a VioGén 'a legjobb rendszer, ami jelenleg létezik a világon'.


Francisco Javier Curto szerint nincs ennél jobb rendszer a világon
José Iniesta, Alicante polgárőre szerint a rendőrség nem rendelkezik elegendő rendőrrel ahhoz, hogy lépést tudjon tartani a növekvő esetszámmal. A vidéki területeken dolgozó rendőröket tömörítő United Association of Civil Guards szakszervezet vezetőjeként elmondta, hogy a nagyvárosokon kívül a rendőrségnek gyakran választania kell a nők elleni erőszak vagy más bűncselekmények kezelése között. A Sindicato Unificado de Policía, a nemzeti rendőröket képviselő szakszervezet szerint még a leghatékonyabb technológia sem képes pótolni a képzett szakemberek hiányát. Egyes helyeken egy rendőrnek több mint 100 áldozattal kell foglalkoznia. "Az emberek sok tartományban túlterheltek” - áll a szakszervezet közleményében.

Spanyolország-szerte vannak olyan esetek, hogy nőket a VioGén által végzett felmérés után öltek meg. Az egyikük Stefany González Escarraman volt, egy 26 éves, Sevilla közelében élő nő. Ő 2016-ban fordult a rendőrséghez, miután férje arcon ütötte és fojtogatta. A férfi tárgyakat dobált hozzá, köztük egy kanalat, amely eltalálta a 3 éves gyermeküket is. Miután a rendőrség mintegy öt órán keresztül kihallgatta Escarraman asszonyt, a VioGén megállapította, hogy elhanyagolható a kockázata annak, hogy ismét bántalmazzák. Másnap Escarraman asszony bedagadt arccal elment a bíróságra, hogy távoltartási végzést kérjen a férje ellen. A bírák felülbírálhatják a VioGén rendszert, képesek beavatkozni az ügyekbe és védőintézkedéseket elrendelni. Escarraman asszony esetében a bíró szintén elutasította a távoltartási végzést a VioGén kockázati pontszámára és a férj büntetlen előéletére hivatkozva. Körülbelül egy hónappal később Escarraman asszonyt a férje többször szíven szúrta a gyermekeik szeme láttára. A családja 2020-ban ítéletet nyert az állam ellen, amiért az nem mérte fel megfelelően a kockázat mértékét és nem biztosított megfelelő védelmet. "Ha megkapta volna a segítséget, talán még mindig élne” - mondta Williams Escarraman, Escarraman asszony testvére.

A spanyol belügyminisztérium adatai szerint 2007 óta a jelenlegi vagy volt partnere által meggyilkolt 990 nő közül 247-et pontozott előtte a VioGén. A minisztérium nem volt hajlandó nyilvánosságra hozni a 247 meggyilkolt nő VioGén kockázati pontszámát. A belügyminisztérium közleményében azt írta, hogy az emberölés áldozatai kockázati pontszámának elemzése nem ad pontos képet a VioGén hatékonyságáról, mivel egyes emberölések több mint egy évvel az első értékelés után történtek, míg másokat más partner követett el. Az, hogy az algoritmus miért minősít helytelenül egyes nőket, változó és nem mindig egyértelmű, de az egyik ok a rendszerbe táplált információk rossz minősége lehet. A VioGén ideális olyan esetekre, amikor egy nő a támadás utáni pillanatokban teljes körű információkat tud szolgáltatni egy tapasztalt rendőrnek, akinek van ideje az eset teljes körű kivizsgálására. De nem mindig ez a helyzet. A félelem, a szégyen, az anyagi függőség, a bevándorlási státusz és más tényezők arra késztethetik az áldozatot, hogy visszatartsa az információkat. A rendőrök gyakran időhiányban szenvednek, és előfordulhat, hogy nem vizsgálják ki teljesen a történteket.

Luz, egy dél-spanyolországi faluból származó nő elmondta, hogy a partnere által elkövetett támadások után többször is alacsony kockázatúnak bélyegezték, mert félt és szégyellte, hogy teljes körű információt adjon a rendőröknek, akik közül néhányat személyesen ismert. A kockázati besorolását csak azután emelték extrémre - ami éjjel-nappal tartó rendőri védelemhez vezetett - hogy felfogadott egy nemi erőszakos ügyekre szakosodott ügyvédet. "Mi nők sok mindent elhallgatunk, de nem azért, mert hazudni akarunk, hanem félelemből” - mondta Luz, aki teljes nevét nem használhatja, mert fél a börtönben lévő támadója megtorlásától. „A VioGén jó lenne, ha lennének képzett emberek, akiknek minden szükséges eszközük meglenne a végrehajtásához.”

Az áldozatok csoportjai szerint a rendőrség helyett pszichológusoknak vagy más képzett szakembereknek kellene vezetniük az áldozatok kihallgatását. Egyesek sürgették a kormányt, hogy írja elő, hogy az áldozatok számára engedélyezzék, hogy olyan személy kísérje őket, akiben megbíznak, hogy segítsen biztosítani, hogy a hatóságok teljes körű tájékoztatást kapjanak, ami jelenleg nem minden területen engedélyezett. "Nem könnyű feljelenteni egy olyan személyt, akit szerettél” - mondta María, a dél-spanyolországi Granadából származó áldozat, akit közepes kockázatúnak minősítettek, miután partnere egy súlyzóval ütötte.

Ujué Agudo spanyol kutató a mesterséges intelligencia emberi döntésekre gyakorolt hatását tanulmányozza. Szerinte ugyan a technológiának szerepe lehet a társadalmi problémák megoldásában, de csökkenti az emberek felelősségét, mert csak jóváhagyják egy gép munkáját, ahelyett, hogy maguk végeznék el azt. "Ha a rendszer sikeres, az a rendszer sikere. Ha a rendszer kudarcot vall, az emberi hiba, amit nem ellenőriznek megfelelően” - mondta Agudo asszony, a Bikolabs nevű spanyol civil társadalmi csoport társigazgatója. Szerinte jobb megközelítés lenne, ha az emberek „elmondanák, hogy mi a döntésük, mielőtt megnéznék, mit gondol egy gép”.

A spanyol tisztviselők vizsgálják az MI beépítését a VioGénbe, hogy az adatokat különböző forrásokból meríthesse és saját maga is tanulhasson. Ossorio - a VioGén egyik alkotója -azt mondta, hogy az eszközök más területeken is alkalmazhatók, beleértve a munkahelyi zaklatást és a gyűlölet-bűncselekményeket. Szerinte nincs tökéletes rendszer, ahogy az emberi ítélőképesség sem az. „Bármit is teszünk, mindig lesz amikor kudarcot vallunk” - mondta. „Vannak megoldhatatlan problémák.” Ebben a hónapban a spanyol kormány rendkívüli ülést hívott össze, miután 24 órán belül három nőt öltek meg korábbi partnerei. Az egyik áldozatot, egy 30 éves közép-spanyolországi nőt a VioGén alacsony kockázatúnak minősítette. Egy sajtótájékoztatón Fernando Grande-Marlaska belügyminiszter azt mondta, hogy továbbra is „abszolút megbízik” a rendszerben.