Valós idejű MI megfigyelést tesztelnek a londoni metróban

Az egyik állomáson végzett teszt során a Transport for London egy számítógépes látórendszerrel próbálta felismerni a bűncselekményeket és a fegyvereket, a sínekre esett embereket és a bliccelőket.

A londoni metrót használó emberek ezreinek mozgását, viselkedését és testbeszédét figyelte egy mesterséges intelligencia alapú megfigyelő szoftver, amelynek célja, hogy megállapítsa, nem követnek-e el bűncselekményeket vagy nem biztonságos helyzetekben vannak-e - derül ki a WIRED által megszerzett dokumentumokból. A gépi tanuló szoftvert élő térfigyelő kamera-felvételekkel kombinálták, hogy megpróbálják felismerni az agresszív viselkedést és a fegyverek vagy kések előhúzását, valamint azt, hogy a metró sínjére eső vagy a viteldíjakat nem megfizető embereket figyeljék.

A város metró- és buszhálózatát üzemeltető Transport for London (TfL) 2022 októberétől 2023 szeptemberének végéig 11 algoritmust tesztelt a város északnyugati részén található Willesden Green metróállomáson áthaladó emberek megfigyelésére. Ez a kísérlet volt az első alkalom, hogy a közlekedési szerv a mesterséges intelligenciát és az élő videofelvételeket kombinálta, hogy riasztásokat generáljon, amelyeket az első vonalban dolgozó személyzetnek küldött. A teszt során több mint 44 000 figyelmeztetést adtak ki, ebből 19 000-et valós időben juttattak el az állomás személyzetéhez.

Az információszabadsági törvényre (Freedom of Information Act) hivatkozva kikért dokumentumok részletesen bemutatják, hogy a TfL hogyan használta a számítógépes látási algoritmusok széles skáláját az állomásokon tartozkodó emberek viselkedésének nyomon követésére. A kísérlet minden részletéről beszámoltak, és ez azt követően történt, hogy a TfL decemberben közölte, hogy a brit főváros több állomására is kiterjeszti a mesterséges intelligencia használatát a bliccelés felderítésére. A Willesden Green állomáson - amelynek a Covid-19 járvány előtt napi 25 000 látogatója volt - végzett kísérlet során a mesterséges intelligenciát a potenciális biztonsági incidensek észlelésére állították be, hogy a személyzet segíteni tudjon a rászorulóknak, de a bűnözői és antiszociális viselkedést is célba vette. A dokumentumok részletezik, hogyan használták az MI-modelleket a kerekesszékek, babakocsik, az illetéktelen területekre belépő emberek, illetve a peronok széléhez közeledő, magukat veszélybe sodró emberek észlelésére.

A részben szerkesztett dokumentumokból az is kiderül, hogy a mesterséges intelligencia milyen hibákat vétett a kísérlet során, például a szüleiket a kapukon keresztül követő gyerekeket potenciális bliccelőként jelölte meg, vagy nem tudta megkülönböztetni az összecsukható kerékpárt a nem összecsukható kerékpártól. Rendőrök is segítettek a kísérletben, akik a CCTV-kamerák látóterében tartottak egy macsétát és egy pisztolyt, miközben a pályaudvar zárva volt, hogy a rendszer megtanulja felismerni a fegyvereket.


A dokumentumokat áttekintő adatvédelmi szakértők megkérdőjelezik a tárgyfelismerő algoritmusok pontosságát. Azt is mondják, hogy nem világos, hány ember tudott a kisérletről, és arra figyelmeztetnek, hogy az ilyen megfigyelőrendszerek a jövőben könnyen kibővíthetők kifinomultabb észlelőrendszerekkel vagy arcfelismerő szoftverekkel, amelyek megpróbálnak konkrét személyeket azonosítani. "Bár ez a kísérlet arcfelismerést nem tartalmazott, a mesterséges intelligencia nyilvános térben történő használata a viselkedés azonosítására, a testbeszéd elemzésére és a védett tulajdonságok kikövetkeztetésére számos olyan tudományos, etikai, jogi és társadalmi kérdést vet fel, amelyeket az arcfelismerő technológiák is felvetnek" - mondta Michael Birtwistle, az Ada Lovelace Institute független kutatóintézet társigazgatója.

A TfL közölte, hogy a viselkedési minták felismeréséhez meglévő CCTV-felvételeket, mesterséges intelligencia-algoritmusokat és "számos felismerési modellt" használtak. "Azáltal, hogy az állomások személyzetének betekintést és értesítést nyújtanak az ügyfelek mozgásáról és viselkedéséről, remélhetőleg gyorsabban tudnak majd reagálni az esetleges helyzetekre.". A cég szerint a kísérlet betekintést nyújtott a viteldíjfizetés megkerülésébe, ami "segíteni fog minket a jövőbeli megközelítéseinkben és beavatkozásainkban", és az összegyűjtött adatok összhangban vannak az adatkezelési politikájával.

Mandy McGregor, a TfL politikai és közösségi biztonságért felelős vezetője nyilatkozatában azt állítja, hogy a vizsgálat eredményeinek elemzése még folyamatban van, és hozzáteszi, hogy "nem volt bizonyíték elfogultságra" a vizsgálat során gyűjtött adatokban. A próba során nem voltak olyan táblák elhelyezve az állomáson, amelyek a mesterséges intelligencia felügyeleti eszközök tesztelésére utaltak volna. "Jelenleg mérlegeljük a kísérlet második szakaszának kialakítását és terjedelmét. Egyéb döntések nem születtek a technológia alkalmazásának kiterjesztéséről, akár további állomásokra, akár a képességek bővítéséről". - mondta McGregor. "A technológia szélesebb körű elterjesztése a helyi közösségekkel és más érintettekkel, köztük a terület szakértőivel folytatott teljes körű konzultációtól függ."


A tesztben használt számítógépes látórendszerek, mint például a tesztben használtak, úgy működnek, hogy a képeken és videókon lévő tárgyakat és embereket próbálják felismerni. A londoni kísérlet során bizonyos viselkedések vagy mozgások felismerésére kiképzett algoritmusokat kombináltak a metróállomás CCTV-kameráinak képeivel. A képeket tizedmásodpercenként elemezték. Amikor a rendszer a 11 problémásnak ítélt viselkedés vagy esemény valamelyikét észlelte, riasztást adott ki az állomás személyzetének eszközére vagy egy számítógépre. A dokumentumok szerint a TfL munkatársai 19 000 riasztást kaptak, amelyek alapján potenciálisan cselekedni tudtak, és további 25 000 riasztást tartottak meg elemzési célokra.

A rendszer a következő kategóriákat próbálta azonosítani: a tömeg mozgása, illetéktelen belépés, biztosítás, mobilitási segítségnyújtás, bűncselekmények és antiszociális viselkedés, síneken tartózkodó személy, sérült vagy rosszul lévő személyek, veszélyek (például szemét vagy nedves padló), őrizetlenül hagyott tárgyak, beszorult utas, valamint a menetdíj megkerülése. Mindegyiknek több alkategóriája van. Daniel Leufer, az Access Now digitális jogokkal foglalkozó csoport vezető politikai elemzője azt mondja, hogy amikor egy rendszer ilyen jellegű megfigyelést végez, az első dolog, amit keres, hogy megpróbálja-e kiszűrni az agressziót vagy a bűncselekményt. "A kamerák ezt a testbeszéd és a viselkedés azonosításával teszik" - mondja. "Milyen adathalmazzal kell betanítani valamit erre?"

A kísérletről szóló TfL-jelentés szerint "az agresszív cselekményeket is figyelni akarták", de úgy találták, hogy "nem tudták sikeresen észlelni". A jelentés hozzáteszi, hogy nem állt rendelkezésre elegendő képzési adat - az agresszív cselekmények keresésének egyéb okai nem szerepelnek a jelentésben. Ehelyett a rendszer riasztást adott ki, ha valaki felemelte a karját, amit a dokumentumokban "agresszív cselekményekhez kapcsolódó gyakori viselkedésként" írnak le.

"A képzési adatok mindig elégtelenek, mert ezek a dolgok vitathatatlanul túl összetettek és árnyaltak ahhoz, hogy azadatkészletekben megfelelően meg lehessen őket ragadni" - mondja Leufer, megjegyezve, hogy pozitív, hogy a TfL elismerte, hogy nem rendelkezett elegendő képzési adattal. "Rendkívül szkeptikus vagyok azzal kapcsolatban, hogy a gépi tanulási rendszerek megbízhatóan képesek-e az agresszió felismerésére oly módon, hogy ne csak a meglévő társadalmi előítéleteket ismételjék meg azzal kapcsolatban, hogy milyen típusú viselkedés elfogadható a közterületeken"." A dokumentumok szerint összesen 66 riasztás érkezett agresszív viselkedés miatt, beleértve a tesztelési adatokat is.

Madeleine Stone, a Big Brother Watch nevű adatvédelemmel foglalkozó csoport vezető érdekvédelmi munkatársa szerint sok metróutast zavarni fog, ha megtudja, hogy a hatóságok mesterséges intelligencia alapú megfigyelésnek vetették alá őket. Stone szerint az, hogy egy algoritmus segítségével határozzák meg, hogy valaki agresszív-e, "mélyen hibás döntés", és rámutat arra, hogy az Egyesült Királyság adatfelügyeleti hatósága óva intett az érzelem-elemző technológiák alkalmazásától.

A közlekedési szerv munkatársai "kiterjedt szimulációkat" végeztek a Willesden Green állomáson a kísérlet során, hogy több képzési adatot gyűjtsenek, áll a dokumentumokban. Ezek során a személyzet tagjai a padlóra estek, és a tesztek egy része akkor történt, amikor az állomás zárva volt. Az akták szerint a kisérlet alatt nem volt riasztás fegyveres incidensek miatt az állomáson. A legtöbb riasztást olyan emberek miatt adták ki, akik potenciálisan elkerülhették az utazásuk kifizetését azzal, hogy átugrottak vagy átmásztak a viteldíjkapukon, kinyitották a kapukat, átsétáltak a nyitott kapukon, vagy szorosan követtek valakit, aki fizetett. A TfL szerint a viteldíj megkerülése évente akár 130 millió font kárt is okozhat, és a kísérlet során 26 000 figyelmeztető jelzést adtak ki a viteldíj megkerülésére.

A tesztek során az emberek arcképét elmosva ábrázolták, és az adatokat legfeljebb 14 napig tárolták. Hat hónappal a kísérlet után azonban a TfL úgy döntött, hogy az arcok képét nem homályosítja el, ha nem fizetés gyanúja merül fel, és ezeket az adatokat hosszabb ideig őrzik meg. A dokumentumok szerint eredetileg az volt a terv, hogy a személyzet reagál a viteldíjfizetés elkerülésére vonatkozó figyelmeztetésekre. "A napi riasztások nagy száma (egyes napokon több mint 300) és az észlelések nagy pontossága miatt azonban úgy konfiguráltuk a rendszert, hogy automatikusan visszaigazolja a riasztásokat" - áll a dokumentumokban.

Birtwistle, az Ada Lovelace Intézet munkatársa szerint az emberek ilyen technológiákat bevezetése esetén "erős felügyeletet" várnak el. "Ha ezeket a technológiákat használni akarjuk, akkor csak a közvélemény bizalmával, beleegyezésével és támogatásával szabad használni őket" - mondja Birtwistle. A kísérlet nagy része arra irányult, hogy segítse a személyzetet abban, hogy megértsék, mi történik az állomáson, és reagáljanak az eseményekre. 59 kerekesszékes riasztás történt, és ezek lehetővé tették a Willesden Green állomás személyzetének - amely nem rendelkezik kerekesszékek számára kialakított hozzáférési lehetőségekkel - hogy meg tudják adni "a szükséges ellátást és segítséget" - áll az aktákban. Eközben közel 2200 riasztás érkezett a sárga biztonsági vonalakon túllépő emberek miatt, 39 riasztás a vágány szélén kihajoló emberek miatt, és közel 2000 riasztás a padon hosszabb ideig ülő emberek miatt.


"Óriási növekedést tapasztaltunk a személyzet által tett hangosbemondó figyelmeztetések számában, amelyekben emlékeztették az utasokat, hogy lépjenek hátrébb a sárga vonaltól" - áll a dokumentumokban. Azt is mondják, hogy a rendszer riasztásokat generált az állomás bejáratainál "alvókról és koldusokról", és azt állítják, hogy ez lehetővé tette a személyzet számára, hogy "távolról figyelje a helyzetet, és biztosítsa a szükséges ellátást és segítséget". A TfL azt állítja, hogy a rendszer segíthet javítani a helyzetet az állomásain, és biztonságosabbá teszi azt az utasok számára.

Az akták nem tartalmaznak elemzést arról, hogy az MI-érzékelő rendszer mennyire pontos; azonban az érzékelést különböző pontokon ki kellett igazítani. "Az objektum- és viselkedésérzékelés általában elég törékeny és nem bolondbiztos" - mondja Leufer, az Access Nows munkatársa. Az egyik esetben a rendszer riasztást adott ki, amely szerint emberek tartózkodnak illetéktelen területen, miközben a valóságban a mozdonyvezetők éppen elhagyták a vonatot. A dokumentum szerint a kamerára sütő napfény is csökkentette a hatékonyságot.

A tesztek azt is célul tűzték ki, hogy az össze nem hajtott kerékpárokat - amelyek nagyrészt nem engedélyezettek a közlekedési hálózaton - felismeri-e a mesterséges intelligencia. "Az MI nem tudott különbséget tenni az összecsukható és a normál kerékpár, valamint az elektromos roller és a gyerekrobogó között" - áll a dokumentumokban. A viteldíjfizetési modell a gyerekeket is megjelölte. "Az iskolai utazási órák alatt megugrott a szülőkre és a gyerekekre vonatkozó figyelmeztetések száma" - áll a dokumentumokban. A rendszert úgy állították be, hogy ne jelezze azokat az embereket, "akiknek a magassága a kapu alatt van".

Az elmúlt években egyre gyakrabban használják a mesterséges intelligenciát a közterületeken az emberek viselkedésének, mozgásának vagy személyazonosságának észlelésére. Tavaly júliusban kiderült, hogy több New York-i metróállomáson mesterséges intelligenciát használnak a bliccelők nyomon követésére. Londonban a TfL decemberben közölte, hogy kiterjesztik a bliccelési kísérletek figyelését más állomásokra is. Számos ilyen rendszert olyan körülmények között fejlesztenek ki, hogy nincsenek meg a használatukra vonatkozó külön jogszabályok, és az Egyesült Királyságban szabályozási vákuumra figyelmeztetnek.

"A közlekedési csomópontok mesterséges intelligencia alapú megfigyelésének normalizálása a megfigyelő állam felé vezető csúszós lejtő, nagyobb átláthatóságnak és nyilvános konzultációnak kell alávetni" - mondja Stone, a Big Brother Watch munkatársa. Leufer arra figyelmeztet, hogy amint ezeket a rendszereket szélesebb körben kezdik használni, bármikor továbbfejleszthetők. "Ha már megvan az infrastruktúra, teljesen triviális egyebekkel frissíteni" - mondja. "Nagyon aggasztó, hogy mi mindent lehet hozzáadni ezekhez a dolgokhoz. A lejtő nagyon csúszós."