Materia: Filosofia Dreptului

Profesor: Adrian Paul Iliescu

Student: Bogdan Tăut
Anul: suplimentar, pentru terminarea studiilor
Data: 02.02.2018

Acest text este dezvoltat în urma unei scurte analize cu privire la starea curentă în
domeniul inteligenței artificiale și aplicațiilor acesteia în domeniul legal. Sunt
argumentate pe scurt două limitări (o limită și un pericol) în fața dezvoltării unui A/IS
capabil să ia decizii corecte din punct de vedere legal și/sau moral.

A/IS este un acronim pentru "Autonomous and Intelligent Systems" și este un termen generic ce
se referă la un software, o parte dintr-un software, un hardware împreună cu un software sau
alte configurații. Este privit ca un agent (comparabil cu un agent uman) capabil de judecăți
independente, decizi, intenții, și alte abilități construite în baza propriului sistem de principii
dobândit și/sau dezvoltat. (1)

Studiind subiectul inteligenței artificiale, un lucru care atrage atenția este caracterizarea
conștiinței umane drept un tip de computație. Cu alte cuvinte, procesele de conștiință omenești
sunt privite ca un anumit tip de calcul, unul foarte complex și poate greu de decelat în detaliu
la momentul actual. Dar se lucrează la asta. Perspectiva se bazează pe un optimism științific
sau poate mai degrabă algoritmic/computațional ce caracterizează fundamental marea
comunitate a cercetătorilor în domeniul inteligenței artificiale. Acest Weltanschaung trezește o
anumită îngrijorare inexplicabilă în primă instanță, dar ale cărei eventuale temeiuri raționale pot
fi cercetate.

Tipul de abordare menționat se regăsește și în alte domenii complexe, dar poate mai puțin
complexe decât subiectul vast al conștiinței umane. Bunăoară procesele ce țin de justiție, sunt
la rândul lor privite ca o computație, al cărei input sunt informațiile faptice (dovezile), alături de
întregul sistem legal în vigoare, iar output o decizie (judecată). Există voci serioase în domeniu
care argumentează posibilitatea logică și speră la dezvoltarea unor judecători roboți
(robojudges). În ultimă instanță putem considera că un judecător uman desfășoară același
proces: analizează probele, știe legea, computează și produce o decizie. Miza ar fi să decelăm
în amănunt care este mecanismul acestei computații. Sau, mai tehnic exprimat, să definim
corect această funcție. Optimismul amintit mai sus se bazează pe una din teoremele
remarcabile ale tehnologiei informației care descompune orice funcție bine definită la o serie
de porți logice simple (NAND, opusul funcției logice AND - operatorul logic "și"). Prin urmare,
cu suficientă putere de calcul, problema ar deveni una deterministă. (2)

Amintim aici un scandal de amploare din SUA, pornit în mai 2016 în urma publicării de către
asociația Propublica a unei cercetări (3) care îl "deconspira" pe Compas, AI-ul folosit de către
unele instanțe din Florida (și din alte părți în America) și produs de compania Northpointe.
Problema era că acest algoritm tinde în mod evident să fie părtinitor din punct de vedere rasial,
acordând scoruri mai proaste cetățenilor de culoare. Judecățile (scoruri și recomandări) oferite
de Compas sunt luate în calcul de către judecătorii umani, într-o pondere mai mare sau mai
mică în funcție de fiecare judecător, în sentințe ce privesc riscul de recidivă, eliberări
condiționate și anumite tipuri de condamnări. Compania producătoare se disculpa spunând că
nu a introdus per-se acest bias în algoritm, ci Compas analizează obiectiv datele istorice ce-i
sunt puse la dispoziție (big data). Algoritmul însă nu este pus la dispoziția publicului, fiind
proprietatea și bunul de preț al companiei, așa cum și nici Google bunăoară nu își publică
algoritmul de relevanță. Prin urmare nu îl putem "cunoaște mai bine" pe Compass, că să putem
hotărâ dacă să avem încredere în el. (Legat de obligația de a face publici acești algoritmi, este
o altă discuție lungă, pentru un alt moment).

Pornim totuși de la ipoteza că acestă companie chiar nu a introdus o asemenea deformare

grosieră în mod voit. Este probabil atunci ca algoritmul să fi "învățat" de undeva acest bias (în
raport cu idealul nostru de dreptate). În principiu acești algoritmi învață din cazurile anterioare,
prin analiza unei serii lungi de date istorice și extrăgând anumite pattern-uri (big data). Alt mod
prin care un AI învață să emuleze dreptatea umană, pleacă de la un sistem de norme
organizate în mod relațional, implementat într-un sistem ce funcționează pe model neuronal
uman (neuronal networks). Pe măsură ce sistemul se dezvoltă învățând, indiferent în care din
cele 2 variante sau chiar combinându-le, el devine din ce în ce mai opac. Cu greu va putea
explica în mod inteligibil și/sau într-un timp rezonabil unui agent uman fundamentarea deciziilor
sale.

Ideea de explicație rațională, care este unul din fundamentele înțelegerii și încrederii pe care o
dezvoltăm social și uman, este strâns legată și de capacitatea de a înțelege a celui care solicită
explicația. Agenții umani, în viata de zi cu zi, acționează în baza unor rațiuni interne, în timp ce
la momentul în care "li se cere socoteală", primul răspuns natural poate fi: "of, e prea greau să
explic". De multe ori pentru că ar dura foarte mult până am înșira toți pașii inferenței, toate
variabilele de care am ținut cont, circumstanțe etc. O analogie mai bună ar putea fi cu un copil,
căruia părintele îi spune: "nu e voie să mănânci ciocolată în timpul mesei". El va putea înțelege
foarte limitat explicațiile raționale: că ciocolata strică sănătatea, că zahărul are impact negativ
asupra metabolismului. Toate aceste explicații se construiesc pe un eșafodaj conceptual și
deductiv complex, pe care uneori nici nu îl remarcăm - sănătate-boală, hrănitor-toxic,
metabolism etc. Este de presupus că o inteligență artificială poate dezvolta în termen foarte
scurt un asemenea sistem, exponențial mai complex decât cel uman și poate computa
consecințe în timp pe intervale total inaccesibile celei mai strălucite minți omenești. Prin urmare
putem postula aici un soi de principiu al "limitei de comunicare".

Pe de altă parte, sistemul de standarde emergent în acestă perioadă cu privire la A/IS (1),
dezvoltat de organizații profesionale specializate în standardizare, are la bază un principiu
aproape evident și totodată aparent "sănătos": A/IS should always be subordinate to human
judgment and control. Acest principiu se descompune practic într-o serie de proprietăți impuse
asupra comportamentul acestor agenți dintre care cel mai des ies în evidență: transparența,
verificabilitatea, capacitatea de explicare a deciziilor luate în termeni raționali (deductivi), aspect
care de la un anumit punct intră în contradicție cu principiul enunțat mai sus.

Putem accepta că această contradicție poate fi rezolvată până la urmă prin dezvoltarea unei
relații cu agentul AI, bazată pe verificare inițială, iar cu timpul pe încredere (într-o analogie puțin
extrapolată, seamănă cu relația copil-părinte, la momentul în care părintele nu îl mai poate
verifica, dar hotărăște să aibă încredere în copil). Argumentul mai important al acestei
prezentări ține însă de felul în care apare totuși bias-ul menționat mai sus și neintenționat de
arhitecții lui Compas. O altă lege AI stabilește o relație de dependență între calitatea output-ului
și calitatea input-ului: "garbage in, garbage out" (4). Alimentat cu o istorie ce include nedreptăți
sistematice (rasism și multe altele), manifestată în cazuistică (input) sau în felul nostru de a
construi sistemul normativ, inteligența artificială nu face decât să distileze caracteristicile
specifice comunității sau chiar ale umanității. Putem privi asta ca o noua aplicare a
(antropo)genezei de tipul "după chipul și asemănarea", dar în termeni contingenți. Dotați cu
putere computațională mare, libertate de decizie și scutiți de "funcția" suplimentară, încă ușor
ambiguă științific a conștiinței (adică foarte greu de decelat ca funcție bine-formată), acești
agenți vor duce probabil la ultimele consecințe natura părinților lor.

Pericolul enunțat aici cred că trebuie adresat printr-o interogare mai profundă a raportării și
așteptărilor pe care comunitatea le are de la A/IS. Cum arătam mai sus, intuițiile noastre
imediate au aproximativ forma următoare: AI trebuie să sprijine progresul omenirii, AI trebuie să
fie în slujba oamenilor, AI trebuie să fie capabil să dea socoteală oamenilor etc. Iar aceste
intuiții sunt apoi formalizate în standarde și în implementări. Totuși, la baza lor pare să stea
credința fundamentală că direcția comunității (legală, morală, epistemică etc) este una "bună"
iar A/IS, prin imensa sa putere computațională, o va duce la alt nivel. Ceea ce, așa cum am
încercat să arăt, este discutabil și posibil foarte periculos. Intenționez ca această discuție să
facă obiectul unor dezvoltări ulterioare.

Referințe:

(1) https://www.dropbox.com/s/3nytk73xbudenjb/ead_v2.pdf?dl=0
(2) Max Tegmark, Life 3.0, Penguin Random House, 2017
(3) https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing
(4) https://www.theguardian.com/inequality/2017/aug/08/rise-of-the-racist-robots-how-ai-is-
learning-all-our-worst-impulses