TEHNOLOŠKI NAPREDEK ZA CENO DISKRIMINACIJE NEPRIVILEGIRANIH

Lucija Mežek, 1. letnik 2. stopnje Pravne fakultete v Ljubljani

 

Izvleček: Človeška tendenca za pristranskost je vedno bila (vse)prisotna v družbi. Vendar pa se družba modernizira in vedno večji del le te je prepreden s tehnologijo. Na trgu se pojavljajo samovozeča vozila, avtonomni stroji opravljajo težavne transakcije in računalnik lahko, kar je za pravnike najpomembnejše, pregleduje in obnavlja dokumente. Vprašanje, ki se nam zastavlja je, ali ljudje kot pristranska bitja prenašamo svoje značilnosti na algoritme in naprave, ki bi morale biti slika objektivnosti in posledično s svojim vplivom ustvarjamo tehnološko dovršeno in tako toliko bolj nevarno verzijo sebe. Čeprav so problematični prav vsi vidiki vsakdanjega življenja, kjer se pojavi diskriminacija (tudi v obliki algoritma), se bom v tem članku osredotočila na težavo, ki postaja vedno bolj pereča in vpliva na varnost posameznikov, zoper katere se izvaja diskriminacija; na uporabo samovozečih avtomobilov.

Oznake: tehnologija, umetna inteligenca, samovozeča vozila, avtonomna vozila, diskriminacija

 

Uvod

Samovozeča vozila so (nam) že (po)znan pojem in naj bi, kot bolj varna, kmalu zamenjala voznike v prometu. Človekovo (nespametno) ravnanje namreč predstavlja najpogostejši vzrok prometnih nesreč. V Evropski uniji so julija 2022 začeli pospešeno sprejemati zakonodajo, ki se jasno osredotoča predvsem na zaščito osebnih podatkov in na prevzem odgovornosti v primeru nesreč teh vozil. Lep primer te zakonodaje je uredba o splošni varnosti vozil, ki uvaja vrsto obveznih naprednih sistemov za izboljšanje varnosti v cestnem prometu, prav tako pa vzpostavlja pravni okvir za homologacijo avtomatiziranih vozil brez voznika.[1] Vodilna na tem področju je nedvomno Nemčija, ki je že leta 2021 sprejela zakon[2], po katerem lahko vozila s funkcijo avtonomne vožnje v Nemčiji vozijo prosto v cestnem prometu.[3] V Združenih državah Amerike so prav tako že izbrali tri mesta; San Francisco, Austin in Phoenix, kjer samovozeča oziroma avtonomna[4] vozila testirajo in jih na ulice že pošiljajo brez prisotnosti voznikov, ki bi lahko v primeru napake avtomobila nemudoma ukrepali. Ta mesta so bila izbrana na podlagi več testov, med drugim so bile za odločitev ključne informacije o pogojih za vožnjo, vzorcih prometa in pa tudi demografska sestava npr. v mestih, kjer je več študentov in starejših, je večja potreba po avtonomnih vozilih. Končni test pa je bil sestavljen iz dveh faktorjev in sicer, kako pogosto so potovanja po mestu krajša od 10 milj in odstotek potovanj, ki se začnejo in končajo v polmeru 25 milj od mestnega središča.[5] Večina teh avtomobilov je upravljana s strani podjetja Cruise, ki prevzema vodenje in nadzor nad njihovim delovanjem. To podjetje je v lasti General Motors. Ti avtomobili so prav tako upravljani s strani podjetja Waymo, ki je v lasti Googlove matične družbe Alphabet. Sistemi strojnega učenja[6], kot so sistemi v nadzorih nad samovozečimi avtomobili, so primer tehnologije kot vedenja, ki pravila ne le upošteva, ampak jih tudi sama ustvarja.[7] Ustvarja pa jih lahko le iz že prej podanih človeških zgledov.

 

Pristranskost že v bazi podatkov

 

Če podatki, uporabljeni za usposabljanje algoritmov samovozečih avtomobilov, vsebujejo pristranskost, kot na primer prekomerno zastopanje določenih demografskih skupin, to lahko vodi do pristranskih rezultatov. V zbirkah podatkov algoritmi samovozečih vozil najdejo vzorce, ki odražajo implicitne predsodke ter jih s tem poudarjajo in utrjujejo kot globalno resnico.[8] Na primer, če je samovozeči avtomobil pretežno usposobljen na podlagi podatkov iz določene regije, se morda ne bo učinkovito obnašal na območjih z drugačnimi vzorci prometa, cestnimi pogoji ali demografijo. Ravno tu se pojavi jedro problematike, in sicer ali so algoritmi, zaradi prekomerne zastopanosti določenih demografskih skupin v bazi podatkov lahko nepravični ali diskriminatorni do določenih skupin ljudi. Ustavnopravna materija, zakoni[9] in navsezadnje tudi podzakonski akti nas učijo o neposredni in posredni diskriminaciji. Posredna diskriminacija zaradi osebne okoliščine obstaja, kadar je oseba z določeno osebno okoliščino bila, je ali bi lahko bila zaradi navidezno nevtralnega predpisa, merila ali prakse v enakih ali podobnih situacijah in pogojih v manj ugodnem položaju kot druge osebe, razen če ta predpis, merilo ali praksa objektivno opravičujejo zakoniti cilj in če so sredstva za doseganje tega cilja primerna in potrebna.[10] Sistem umetne inteligence obravnava vse ljudi enako, ne glede na spol ali raso, in s tem posredno diskriminira njihovo obravnavo s strani samovozečih vozil, ki pravzaprav med privilegiranimi in neprivilegiranimi skupinami povzročajo še večji razkorak.

Glasovni nadzor

 

Avtonomna vozila delujejo s pomočjo kompleksnih sistemov senzorjev, kamer, radarjev in naprednih algoritmov umetne inteligence. Načini, kako voznik lahko prevzame nadzor nad avtonomnim vozilom v primeru, da bi prišlo do nepredvidene situacije, se razlikujejo glede na proizvajalca in model vozila. Obstajajo različne metode, med katerimi najdemo glasovni nadzor, fizične vmesnike, gumbe na volanu ali središčni konzoli, ter notranje kamere in senzorje, ki zaznajo voznikovo pozornost.

Eno od podjetji, ki upravlja avtonomna vozila, je v lasti Googlove matične družbe (podjetje Waymo) in zato je edino logično, da v svojih vozilih uporablja Google sisteme (ang. Android Auto). Čeprav Google ni neposreden avtomobilski proizvajalec, je njihov sistem, ki ga integrirajo številni proizvajalci, opremljen s funkcijo glasovnega nadzora. In prav to prepoznavanje glasu je postalo sestavni del tehnologije avtonomnih vozil, ki vozniku zagotavlja izboljšan nadzor. Od preprostih navodil kot so: »Pelji me do fakultete in parkiraj na levi strani ceste,« do »Ustavi!« Na tem mestu je pomembno opozoriti, da samovozeča vozila ne upoštevajo slepo navodil lastnika, če jim ta slučajno poda nevarna navodila. Večina teh avtomobilov nima prostora za voznika in ima v notranjosti zgolj ekran ter ponujajo le možnost, da lahko nadzor med vožnjo prevzamejo ljudje, in sicer preko tehnologije, ki prepoznava glasovna navodila. Na trgu je na voljo vse več ponudb, ki ponujajo storitve, kot so zvočna analitika, prepoznavanje glasu in več, kar naj bi izboljševalo izkušnjo potnikov, varnost na cesti ter pravočasno vzdrževanje.[11]

 

V raziskavi na Japonskem so odkrili, da imajo vozniki za navigatorja rajši ženski glas, saj se jim je zdel bolj vreden zaupanja, primeren in prijeten, v primerjavi z moškim glasom.[12] To je tudi razlog, da je ženski glas veliko pogosteje uporabljen v pametnih napravah in navigacijskih sistemih (od Siri na Applovih telefonih, do GPS sistema v avtomobilih, pa vse do gospe na vlaku Slovenskih železnic, ki nam pove katera postaja je naslednja). Temu navkljub je dokazano, da je Googlov algoritem še vedno 13 % bolj natančen, ko prepoznava moški glas kot ženski.[13] Google je znan tudi po največji uspešnosti, kar se tiče glasovnih prepoznav, za njim pa je še nekaj modelov, ki se prav tako ukvarjajo s samovozečimi avtomobili in čigar prepoznava deluje še slabše. Čeprav je ženski glas kot vodilo v sistemih pogosteje uporabljen, je zaznava le tega iz strani sistemov veliko slabša.

 

Problem se ne pojavlja le v razlikovanju med moškimi in ženskami, temveč tudi med belo, tipično angleško govorečo raso, in drugimi rasami. Za primer, indijsko angleščino je program razpoznal v 78 % primerov, med tem ko je škotsko angleščino prepoznal v 53 % primerov.[14] Google že aktivno razvija to tehnologijo, in ni dvoma, da se bo v prihodnosti še nadgrajevala in izboljševala. Potrebno pa je poudariti, da bodo ljudje, katerih prvi jezik ni angleščina, pa vendarle prebivajo v angleško govorečih državah, zaradi svojih naglasov, verjetno vedno na slabšem. Jasno bi to rešili sistemi, ki se odzivajo na druge jezike, vendar tudi slovenska Siri ne bo zaznala isto vseh naglasov, narečij…

Problematika neenake obravnave že v sami glasovni zaznavi, ki je ključnega pomena za varno uporabo samovozečega avtomobila (v primeru, da ta sploh deluje s pomočjo uporabnika) je izredno zaskrbljujoča. Raziskave so namreč pokazale, da so na slabšem tako ženske, kot tujci, kot tudi vsi, katerih osebne značilnosti niso »osnovne« in najbolj pogosto uporabljane za testiranje glasovnih nadzorov. Na tem mestu bi ponovno izpostavila problematiko posredne diskriminacije in tega, da ko sistemi vse, ne glede na ton glasu in naglas obravnavajo enako, vzpostavljajo izredno nevarno situacijo.

 

Slikovna prepoznava

 

Par let nazaj je tako tiskane kot spletne medije obenem pa tudi socialna omrežja prevzela novica, da je Googlov Photo algoritem napačno identificiral slike temnopoltih ljudi in jih zamenjeval z gorilami. V začetku niti sami inženirji podjetja niso mogli natančno določiti, v čem je bila težava. Googlova reakcija na situacijo je bila primerna situaciji sami, in sicer umaknili so fotografije opic iz skupine fotografij, ki so bile analizirane in tako do primerjave med temnopoltimi in gorilami ni več moglo priti.[15] Stroji se še danes učijo na načine, ki jih njihovi ustvarjalci ne morejo vedno razumeti. Vendarle obstoji dejstvo, da se stroji, na prvem mestu, učijo od nas.

 

Na Univerzi v Oxfordu so izvedli raziskavo in leta 2019 izdali članek, v katerem so na podlagi večih metod raziskovali verjetnost, da samovozeče vozilo spregleda osebo in to verjetnost razdelili glede na spol. Povprečna razlika med verjetnostjo, da samovozeče vozilo prepozna moškega, ženske pa ne, je bila 1 %.[16] Tehnologija se razvija hitro in razlike so iz leta v leto manjše. Zdi se vredno omeniti, da do faze, ko bo razlikovanje nično, uporaba takšne tehnologije v današnjem svetu preprosto ni prepričljiva.

 

Medtem ko je bila razlika v glasovni prepoznavi med spoloma večja, pa do večjih razlik pri slikovni prepoznavi prihaja med predstavniki različnih ras. Presenetljivo je, da je raziskava iz Univerze King's College v Londonu pokazala, da imajo programi umetne inteligence veliko večje težave s prepoznavo oseb s temnejšo poltjo in sicer kar za 7,5 %. Te razlike so v primeru nočne vožnje še večje.[17] Nedavna raziskava je pokazala, da ima od osmih programov, ki vsebujejo vzorce različnih fotografij, kar šest od teh, več moških fotografij za primerjavo in prepoznavo kot ženskih, kar je zaskrbljujoče že samo po sebi. Toliko bolj je sporen podatek, da je na 80 % vseh fotografij belopolti obraz.[18]

 

Do težavnih podatkov pridemo, ko združimo tako programsko diskriminacijo na podlagi spola in rase. V raziskavah iz strani Microsofta je bilo dokazano, da je kar za 1/5 večja možnost, da sistem ne prepozna temnopolte ženske, v primerjavi z belim moškim. Kar je posledično 20 % večja možnost, da samovozeči avtomobil spregleda in morda tudi povozi temnopolto žensko.[19] Nagnjenost takih naborov podatkov je še en primer, kako so se stari predsodki in pristranskost ohranili v tehnologiji in so še danes zastopani, v dobi, ko imamo na voljo vse podatke, kar bi si jih kadarkoli prej lahko le želeli.

Etični premisleki

 

Pomembno je, da se izvaja usposabljanje in ozaveščanje tako pri proizvajalcih avtonomnih vozil kot pri voznikih, s čimer bi zmanjšali možnosti diskriminacije in povečali ozaveščenost o teh vprašanjih. Konec koncev so namreč inženirji tisti, ki so vpleteni v razvoj, v oblikovanje in testiranje teh sistemov. Vendarle, pa je ravno v primeru odgovornosti samovozečih avtomobilov veliko poudarka na komponentah, kot so senzorji za navigacijo ter vodenje in algoritmi za varno vožnjo. Samovozeča vozila imajo namreč vgrajene učeče se algoritme, pri katerih ne moremo predvideti vseh možnih izidov. Ker pa umetna inteligenca (zaenkrat) še ne more odgovarjati sama zase, se nam pojavi vprašanje, kdo je odgovoren za prometne nesreče, povzročene s strani avtonomnih vozil. Interesa za razvoj teh komponent je med različnimi podjetji ogromno, ne le med avtomobilskimi velikani kot so denimo Mercedes Benz ter Tesla, temveč tudi med podjetji, ki z avtomobilsko industrijo niso bili direktno povezani, kot so Google, Apple… Same konkurenčne korporacije, ki so, kot nas uči zgodovina, manj zainteresirane za sodelovanje in bolj zainteresirane za ohranitev konkurenčne prednosti, kar lahko pomeni občasno skrivanje resničnih rezultatov in podatkov o varnosti samovozečih vozil.[20] Na take subjekte prenesti odgovornost zagotavljanja nediskriminatornih pogojev za posameznike… no, taka poteza se zdi skrajno zanimiva.

 

Zaključek

 

Podobno kot kamere lažje prepoznajo bele moške obraze, tudi glasovni nadzori težje prepoznajo glasove z višjimi toni in glasove z naglasom. Razmišljanje o etičnih vprašanjih, povezanih z diskriminacijo, kot so pravica do enake obravnave in nediskriminacije, bi moralo voditi oblikovanje algoritmov in pristopov k razvoju avtonomnih vozil, če želimo, da bi ta vozila postala del naše resničnosti in pomagala k enakopravnemu tehnološkemu razvoju za vse. Možna tveganja, ki jih povzroča avtonomno delovanje umetne inteligence niso težavna le z vidika predvidljivosti, temveč tudi smotrnosti in izvedljivosti človeškega nadzora. Miselni proces računalnika za določeno odločitev je pogosto nerazumljiv. Naj potemtakem, čeprav odločitve ne razumemo popolnoma, to vseeno prepustimo računalnikom? Naj le ti odločajo, kakšen je pravilni odziv v situaciji, npr. v sporni situaciji na cesti s katero se srečajo avtonomna vozila? Vprašati se namreč moramo, za koga potlej so ta vozila pravzaprav bolj varna. Včasih so se manjšinske in neprivilegirane skupine morale bati »samo« neenakosti, danes pa naj se bojijo tudi poškodb?

 

 

 

Seznam literature:

-        Ananny Mike in Crawford Kate: Seeing without knowing: Limitations of the transparency ideal and its application to algorithmic accountability, v: New Media & Society, 2018, str. 973 – 989.

-        Borenstein J., Herkert J., Miller K., Self-Driving Cars: Ethical Responsibilities of Design Engineers, v: IEEE Technology and Society Magazine, 2017, str. 67-75.

-        Brandao Martim, Age and gender bias in pedestrian detection algorithms, URL: https://arxiv.org/pdf/1906.10490.pdf (1. december 2023).

-        Cassauwers Tom, Self driving cars emerge from the sci-fi realm, v: Horizon, the EU Research & Innovative Magazine, 2022.

-        Howard, Ayanna in Borenstein, Jason: The ugly truth about ourselves and our robot creations: the problem of bias and social inequity, v: Science and engineering ethics št. 24, 2018, str. 1521– 1536.

-        Khusnul Khotimah et al, Validation of Voice Recognition in Various Google Voice Languages using Voice Recognition Module V3 Based on Microcontroller, V: The third International Conference on Vocational Education and Electrical Engineering (ICVEE), 2020, str. 1 – 6.

-        Kržič Bogataj Andreja, Nemci brez voznika na prehitevalnem pasu? v: Pravna praksa št. 27, 2022, str. 17 – 19.

-        Leslie David, Understanding bias in facial recognition technologies: an explainer. The Alan Turing Institute, URL: https://arxiv.org/ftp/arxiv/papers/2010/2010.07023.pdf (28. november 2023).

-        Maciag Michael, The Cities Where Autonomous Vehicles Would Be Most Practical, Government Technology, URL: https://www.govtech.com/fs/the-cities-where-autonomous-vehicles-would-be-most-practical.html#:~:text=New%20Orleans%2C%20a%20fairly%20compact,of%20a%20driverless%20shuttle%20bus (1. december 2023).

-        Palmiter Bajorek Joan, Voice Recognition Still Has Significant Race and Gender Biases, v: Harvard Buisness Review, URL: https://hbr.org/2019/05/voice-recognition-still-has-significant-race-and-gender-biases (27. november 2023).

-        Simonite Tom, Photo Algorithms ID White Men Fine—Black Women, Not So Much, URL: https://www.wired.com/story/photo-algorithms-id-white-men-fineblack-women-not-so-much/ (1. december 2023).

-        Sporočilo za medije, Nova pravila za izboljšanje varnosti v cestnem prometu in omogočitev koncepta vozil, ki so popolnoma brez voznika, URL:  https://ec.europa.eu/commission/presscorner/detail/sl/ip_22_4312 (15. december 2023).

-        Stilgoe Jack, Machine learning, social learning and the governance of self-driving cars, v: Sage Journals, 2017, str. 5.

-        Totakura Varun et al, Improved Safety of Self-Driving Car using Voice Recognition through CNN, v: IOP Conference Series: Materials Science and Engineering, 2021.

-        Wang Ji, Ruijie Liu, SeungHee Lee, Do Drivers Prefer Female Voice for Guidance? An Interaction Design About Information Type and Speaker Gender for Autonomous Driving Car, v: HCI in Mobility, Transport and Automotive Systems, 2019, str. 208 – 224.

-        Zhang Jie, Driverless cars worse at detecting children and darker-skinned pedestrians say scientists, URL: https://www.kcl.ac.uk/news/driverless-cars-worse-at-detecting-children-and-darker-skinned-pedestrians-say-scientists (30. november 2023).

Opombe

[1] Sporočilo za medije, Nova pravila za izboljšanje varnosti v cestnem prometu in omogočitev koncepta vozil, ki so popolnoma brez voznika, URL:  https://ec.europa.eu/commission/presscorner/detail/sl/ip_22_4312 (15. december 2023).

[2] Autonome-Fahrzeuge-Genehmigungs-und-Betriebs-Verordnung (AFGBV).

[3] Kržič Bogataj, Nemci brez voznika na prehitevalnem pasu? (2022).

[4] Čeprav se izraza pogosto uporabljata kot sopomenki, pa vendarle obstaja distinkcija in sicer samovozeča vozila pogosto še vedno potrebujejo neke vrste nadzor voznika, medtem ko so avtonomna vozila zasnovana tako, da delujejo popolnoma brez človeškega nadzora.

[5] Maciag, The Cities Where Autonomous Vehicles Would Be Most Practical, URL: https://www.govtech.com/fs/the-cities-where-autonomous-vehicles-would-be-most-practical.html#:~:text=New%20Orleans%2C%20a%20fairly%20compact,of%20a%20driverless%20shuttle%20bus (1. december 2023).

[6] Strojno učenje (machine learning) je veja umetne inteligence in računalništva, ki se osredotoča na uporabo podatkov in algoritmov za posnemanje načina človeškega učenja in postopno izboljševanje natančnosti. Ločiti ga moramo od globokega učenja (deep learning). To pa je metoda, ki uči računalnike obdelovati podatke na način, ki se zgleduje po človeških možganih.

[7] Stilgoe, Machine learning, social learning and the governance of self driving cars (2017), str. 5.

[8] Howard, Borenstein, The ugly truth about ourselves and our robot creations: the problem of bias and social inequity, 2018, Science and engineering ethics, (2018), str. 1521– 1536.

Cerar, O naravi človekovih pravic in dolžnosti (1997), str. 47.

[9] Med drugim Zakon o varstvu pred diskriminacijo (ZVarD), Uradni list RS, št. 33/16 in 21/18 – ZNOrg.

[10] Vrhovno sodišče RS, št. VIII Ips 285/205, 8. marec 2016.

[11] Totakura et al, Improved Safety of Self-Driving Car using Voice Recognition through CNN (2021).

[12] Ji, Lui, Lee, Do Drivers Prefer Female Voice for Guidance? An Interaction Design About Information Type and Speaker Gender for Autonomous Driving Car (2019), str. 208 – 224.

[13] Palmiter Bajorek, Voice Recognition Still Has Significant Race and Gender Biases, URL: https://hbr.org/2019/05/voice-recognition-still-has-significant-race-and-gender-biases (27. november 2023).

[14] Palmiter Bajorek, Voice Recognition Still Has Significant Race and Gender Biases, URL: https://hbr.org/2019/05/voice-recognition-still-has-significant-race-and-gender-biases (27. november 2023).

[15] Ananny, Crawford, Seeing without knowing: Limitations of the transparency ideal and its application to algorithmic accountability (2018), str. 973 – 989.

[16] Brandao, Age and gender bias in pederstrian detection algorithms, URL: https://arxiv.org/pdf/1906.10490.pdf (1.december 2023).

[17] Zhang, Driverless cars worse at detecting children and darker-skinned pedestrians say scientists, URL: https://www.kcl.ac.uk/news/driverless-cars-worse-at-detecting-children-and-darker-skinned-pedestrians-say-scientists (30. november 2023).

[18] Leslie, Understanding bias in facial recognition technologies, URL: https://arxiv.org/ftp/arxiv/papers/2010/2010.07023.pdf (28. november 2023).

[19] Simonite, Photo Algorithms ID White Men Fine—Black Women, Not So Much, URL: https://www.wired.com/story/photo-algorithms-id-white-men-fineblack-women-not-so-much/ (1. december 2023).

[20] Borenstein J. et al, Self-Driving Cars: Ethical Responsibilities of Design Engineers (2017), str. 67-75.