A.I. má problém s diskriminací. V bankovnictví mohou být důsledky vážné

Umělá inteligence má problém s rasovými předsudky. Od biometrických identifikačních systémů, které nepřiměřeně a nesprávně identifikují tváře menšin, až po aplikace softwaru pro rozpoznávání hlasu, které nedokáží rozlišit hlasy s odlišným regionálním akcenty, AI má před sebou co se týče diskriminace hodně práce.Problém zesilování stávajících předsudků může být ještě závažnější, pokud jde o bankovní a finanční služby.

Společnost Deloitte poznamenává, že systémy umělé inteligence jsou v konečném důsledku jen tak dobré jako data, která jsou jim poskytována: neúplné nebo nereprezentativní datové sady by mohly omezit objektivitu AI, zatímco předsudky ve vývojových týmech, které takové systémy trénují, by mohly tento cyklus zkreslení udržet.

Umělá Inteligence může být hloupá

Nabil Manji, vedoucí divize krypto a Web3 ve společnosti Worldpay by FIS, uvedl, že klíčovou věcí, kterou je třeba pochopit o produktech AI, je to, že síla technologie závisí hodně na zdrojovém materiálu použitém k jejím trénování.

"To, jak dobrý produkt AI je, záleží na dvou věcech," řekl Manji v rozhovoru pro CNBC. "Jednou z nich jsou data, ke kterým má přístup, a druhou je, jak dobrý je velký jazykový model. Proto vidíme, na datové straně, společnosti jako Reddit a další, které veřejně vystoupily a řekly, že nedovolíme společnostem sesbírávat naše data, budete nám za to muset zaplatit."

Pokud jde o finanční služby, Manji uvedl, že mnoho backendových datových systémů je roztříštěno v různých jazycích a formátech. "Nic z toho není konsolidované a harmonizované," dodal. "To způsobí, že produkty řízené umělou inteligencí budou ve finančních službách mnohem méně efektivnější, než by mohly být v jiných vertikálách nebo jiných společnostech, kde mají jednotnost a modernější systémy nebo přístup k datům."

Manji navrhl, že technologie blockchain by mohla sloužit jako způsob, jak získat jasnější pohled na různorodá data zastrčená v systémech tradičních bank. Dodal však, že banky - které jsou silně regulovanými a pomalu se pohybujícími institucemi - pravděpodobně nebudou postupovat stejnou rychlostí jako jejich hbitější technologické protějšky při přijímání nových nástrojů AI. "

„Máte společnosti Microsoft a Google, které byli v posledních deseti či dvaceti letech považovány za hnací sílu inovací. A tyto firmy nedokáží držet krok s touto rychlostí. A pak přemýšlíte o finančních službách. Banky nejsou známé tím, že by byly rychlé," řekl Manji.

Bankovní problém umělé inteligence

Rumman Chowdhury, bývalý šéf etiky strojového učení, transparentnosti a odpovědnosti Twitteru, uvedl, že úvěrování je ukázkovým příkladem toho, kde se může předpojatost systému AI vůči menšinám projevit. "Algoritmická diskriminace je ve skutečnosti velmi hmatatelná při půjčování," řekl Chowdhury na panelu Money20/20 v Amsterdamu. "Chicago mělo doslova historii odmítání těchto půjček primárně černošským čtvrtím."

V roce 1930 bylo Chicago známé diskriminační praxí "redliningu", ve které byly úvěry na nemovitosti silně určovány rasovou demografií dané čtvrti. V bankovních domech podle něj visela obrovská mapa všech okresů v Chicagu a oni bankéři by nakreslili červené čáry přes všechny okresy, které byly primárně afroamerické, a nedávali by jim půjčky. "Posuneme se vpřed o několik desetiletí a vyvíjíte algoritmy pro určení rizikovosti různých okresů a jednotlivců. A i když nemusíte zahrnout datový bod něčí rasy, je implicitně zachycen," dodala.

Angle Bushová, zakladatelka organizace Black Women in Artificial Intelligence, jejímž cílem je posílit postavení černých žen v sektoru umělé inteligence, řekla CNBC, že když jsou systémy umělé inteligence specificky používány pro rozhodování o schválení půjčky, zjistila, že existuje riziko replikace stávajících předsudků přítomných v historických datech používaných k trénování algoritmů.

"To může vést k automatickému odmítnutí půjček jednotlivcům z marginalizovaných komunit, což posílí rasové nebo genderové rozdíly," dodala Bush. "Je zásadní, aby banky uznaly, že implementace AI jako řešení může neúmyslně udržovat diskriminaci," uvedla.

Frost Li, vývojář, který pracuje v oblasti AI a strojového učení více než deset let, řekl CNBC, že "personalizační" rozměr integrace AI může být také problematický. "Na umělé inteligenci je zajímavé, jak vybíráme 'primární funkce' pro školení," řekl Li, který založil a provozuje společnost Loup pomáhájící online prodejcům integrovat AI do svých platforem. "Někdy vybíráme funkce, které nesouvisejí s výsledky, které chceme předpovědět."

Když je AI aplikována na bankovnictví, je těžší identifikovat "viníka" v předpojatosti, když je vše propletené ve výpočtu, myslí si Li. "Dobrým příkladem je, kolik fintech startupů existuje specificky pro pomoc cizincům, protože absolvent Tokijské univerzity nebude moci získat kreditní kartu, i kdyby pracoval pro Google. Na druhou stranu může člověk snadno získat absolvent komunitní univerzity, protože bankéři znají místní školy lépe, "dodal Li.

Generativní umělá inteligence se obvykle nepoužívá k vytváření úvěrových skóre nebo při hodnocení rizik spotřebitelů. "To není to, pro co byl nástroj vytvořen," řekl Niklas Guske, provozní ředitel společnosti Taktile, startupu, který pomáhá fintech společnostem automatizovat rozhodování. Místo toho Guske řekl, že nejvýkonnější aplikace jsou v předběžném zpracování nestrukturovaných dat, jako je klasifikace transakcí.

"Tyto vstupy pak mohou být vloženy do tradičnějšího modelu upisování," řekl Guske. "Generativní umělá inteligence proto zlepší základní kvalitu dat pro taková rozhodnutí, spíše než aby nahrazovala běžné procesy hodnocení."

To je ale obtížné dokázat. Například Apple a Goldman Sachs byly obviněny z toho, že ženám dávají nižší limity pro Apple Card. Ale tato tvrzení byla zamítnuta newyorskými orgány poté, co regulátor nenašel žádné důkazy o diskriminaci na základě pohlaví. Problém podle Kima Smoutera, ředitele antirasistické skupiny Evropská síť proti rasismu, spočívá v tom, že může být obtížné doložit, zda k diskriminaci založené na umělé inteligenci skutečně došlo. "Jednou z obtíží při masovém nasazování AI, je neprůhlednost v tom, jak tato rozhodnutí vznikají a jaké mechanismy nápravy existují, pokud by si jedinec vůbec všiml, že byl diskriminován."

"Jednotlivci mají jen malou představu o tom, jak fungují systémy umělé inteligence a že jejich individuální případ může být ve skutečnosti špičkou celosystémového ledovce. Proto je také obtížné odhalit konkrétní případy, kdy se věci pokazily," dodal. Smouter uvedl příklad nizozemského skandálu v oblasti péče o děti, ve kterém byly tisíce žádostí o dávky neprávem obviněny z podvodu. Nizozemská vláda byla nucena rezignovat poté, co zpráva z roku 2020 zjistila, že s oběťmi bylo "zacházeno s institucionální předpojatostí". „Toto ukazuje, jak rychle se takové poruchy mohou šířit a jak obtížné je prokázat a dosáhnout nápravy, jakmile jsou objeveny, a mezitím dochází k významným, často nevratným škodám," řekl Smouter.

Chowdhury říká, že je zapotřebí globálního regulačního orgánu, jako je OSN, který by se zabýval některými riziky spojenými s AI. Ačkoli se umělá inteligence ukázala jako inovativní nástroj, někteří technologové a etikové vyjádřili pochybnosti o morální a etické správnosti této technolgie. Mezi hlavní obavy, které zasvěcenci z oboru vyjádřili patří dezinformace; rasové a genderové předsudky zakotvené v algoritmech umělé inteligence a "halucinace" generované nástroji podobnými ChatGPT.

"Trochu se obávám, že díky generativní umělé inteligenci vstupujeme do post pravdivého světa, kde nic, co vidíme online, není důvěryhodné – ani text, žádné video, ani audio, ale jak potom získáme naše informace? A jak zajistíme, aby tyto informace měly vysokou míru integrity?" Chowdhury řekl.

Zákon o umělé inteligenci z dílny EU, první regulační rámec svého druhu, zahrnuje přístup k základním právům a koncepty odškodnění, nařízení ale vstoupí v platnost nejdříve za dva roky, popisuje Smouter.

"Bylo by skvělé, kdyby toto období mohlo být zkráceno, aby se zajistilo, že transparentnost a odpovědnost budou jádrem inovací," dodal.

Zdroj: CNBC