Az a baj, hogy ha az emberek elfogadjak, hogy a mesterseges intelligencia nem teved es mindig jo dontest hoz, akkor elfordulhat, hogy szemelyesen nagyon rosszul jarnak. Ha egy korhazi MI-t arra programoznak, hogy optimalizalja a korhaz mukodeset es maximalizalja a profitot, akkor konnyen jarhatunk ugy, hogy a dragabban gyogyithato betegek megsemmisiteserol dont. (vicces, de a nacik is innen indultak, csak a gyogyigythatatlan vagy dragan kezelheto betegeket akartak eloszor gazzal megsemmisteni) Az ok, hogy az embereket nem fogja erdekelni mit miert csinal egy MI, de ha oket vagy rokonaikat olik meg az optimalizacio miatt, akkor azert gondban lesznek. Vannak mas peldak is, de ez tipikusan egy olyan eset ami emberek iranyitasaval is elfordult mar (pl. angliaban hagytak meghalni jopar gyereket, mert nem erte meg megmenteni oket), viszont ott volt emberi kontroll es ezert kiderult.
A palinak a szornyes peldaja ott santit, hogy a szornyekrol tudjuk hogy nincsennek, mig a vallalati donteshozo szakertoi rendszerekrol tudjuk hogy vannak es azt is tudjuk, hogy nem humanizmusra programoztak oket, hanem profit optimalizalasra. Tehat a nemletezotol felni folosleges, viszont az ismerten ellenerdekelttol (irhatnek ellensegest is) viszont tanacsos. Minderre persze csak az embereknek a sajat erdekeik miatt kell odafigyelniuk. A kontroll elvesztese gyakorlatilag itt azt jelenti, hogy donteshozo szoftvereknek koszonhetoen az ember a sajat erdekeivel ellentetes erdeku embereknek teszi magat kiszolgaltatotta. Ez mindig is rossz otlet volt.
ps: Hasonlo pelda a bevandorlas. A cegeknek (nagytokeseknek) es a politikusok egy reszenek erdeke, a helyben elo embereknek nem. Ha az emberek rabizzak a cegekre es a veluk ellenerdekelt politikusokra a dontest, akkor biztos rosszul jarnak. Az allam es a nagytokesek nyernek ugyan, de nekik szemelyesen rosszabb lesz. Ha ezt felismerjuk, akkor lehet tenni ellene.
(Egy populista politikus azert is nepszeru, mert a sajat erdekeit ugy alakitja, hogy lehetoleg a nep erdekevel is megegyezzen, tehat ugy cselekszik, hogy ez a szavazoinak is jo legyen es ezert tamogassak, regebben a google is mindig pont igy viselkedett, ezert is van akkora tamogatottsaga a lakossag koreben. Tehat latszik, hogy mind politikai, mind ceges szinten lehet populista modon is viselkedni, nem kellene feltetlen ellenerdekeltnek lenni.)