Creativitate științifică,

comunicare tehnică și
inovare
2. Astecte legate de etica cercetării tehnice –
discuții și studii de caz: etica în programare, s.l.dr.ing. Alin-Mihai Căilean
etica mașinilor inteligente/autonome, etica în alinc@eed.usv.ro
inteligența artificială.
Suceava,
2020-2021
Studii de caz:
1. N. A. Greenblatt, "Self-driving cars and the law," in IEEE
Spectrum, vol. 53, no. 2, pp. 46-51, Feb. 2016. doi:
10.1109/MSPEC.2016.7419800

2. N. J. Goodall, "Can you program ethics into a self-driving car?,"

in IEEE Spectrum, vol. 53, no. 6, pp. 28-58, June 2016. doi:
10.1109/MSPEC.2016.7473149

3. . Borenstein, J. Herkert and K. Miller, "Self-Driving Cars:

Ethical Responsibilities of Design Engineers," in IEEE
Technology and Society Magazine, vol. 36, no. 2, pp. 67-75,
June 2017. doi: 10.1109/MTS.2017.2696600
Self-driving cars and the law...aspecte
legale
• Ipoteza: Suntem în anul 2023 și pentru prima dată, o mașină
autonomă ce se deplasează pe străzile orașului lovește și
omoară un pieton. Urmează un proces, dar ce legislație se va
aplica și în ce mod?

• În prezent, legislația presupune că un om se află pe scaunul

șoferului și Din acest motiv se presupune că șoferii ce testează
mașinile Google sau Tesla au mâinile pe volan și ochii pe
drum, (și astfel problema legală este rezolvată ... pentru
moment).

• Concluzie: Legislația este rămasă în urmă...

Self-driving cars and the
law...infrastructura
• În prezent, se investesc sume imense pentru dezvoltarea unei
infrastructuri rutiere proiectată pentru oameni și nu pentru
computere.

• Și va mai trece mult până când mașinile autonome vor fi

regula și nu excepția.

• Concluzie: Nu doar legislația este în urmă ci și

infrastructura.
Self-driving cars and the law
• Indiferent de legislație și de infrastructura existentă, accidente
tot se vor produce, iar producătorii de automobile vor ajunge să
fie dați în judecată. În prezent, legistația nu este clară în ceea
ce privește aplicarea ei în cazul maşinilor autonome.

• În 2015, Ford, GM, și Toyota au fost acuzate că produc

automobile ce sunt vulnerabile la atacurile hackerilor care ar
putea ipotetic să preia controlul asupra unor funcții esențiale
ale automobilului, cum ar fi sistemele de direcție și de frânare.

• vezi cazul Boeing...

Self-driving cars and the law
• În prezent, legislația din California și Nevada permite accesul
automobilelor autonome pe drumurile publice, atâta timp cât un șofer uman
se află la volan.
• Alte state, permit testarea mașinilor inteligente pe anumite drumuri.
• În Europa, astfel de automobile sunt în testare.
• În UK, testele au început în 2015, și de asemenea, este analizată maniera
legală prin care mașinile autonome ar putea utiliza drumurile publice.
• Producătorii auto Japonezi își fac mare parte din teste în SUA.

• Concluzii:
• legislația actuală este incertă;
• stabilirea normelor legale trebuie urgentată pentru a permite
dezvoltarea tehnologiei, sau cel puțin pentru stabilirea unor direcții.
Self-driving cars and the law
• În 2016, Volvo a anunțat că își va asuma vina dacă un automobil
autonom produs de ei va produce un accident.
• Întrebări: în ce cazuri un producător este considerat responsabil și care
vor fi costurile?
• Un proces ce vizează costuri de zeci de milioane dolari este
INEVITABIL, având în vedere că vorbim de sisteme foarte complexe ce
implică milioane de linii de cod...
• Majoritatea experților consideră că un accident va duce la un proces ce
vizează o eroare majoră de design.
• Ce înseamnă eroare majoră? Se raportează la utilizarorul uman sau la un
computer perfect?
• Un proces poate duce la o rechemare în service (în 2014 o rechemare a
costat Genaral Motors - 4.1 miliarde dolari).
Self-driving cars and the law
• 1994 Liebeck vs McDonald’s - proces cu daune punitive de 2.7
milioane $.
• În cazul accidentelor auto, doar 4% din cazuri ajung la proces.
• În accidente, daunele medii sunt de 16,000$ pe când în cazul
erorilor majore de design daunele medii sunt de 748,000$.

• Cum tratăm un automobil autonom din punct de

vedere legal?
Aspecte legale – o posibilă soluție
• IPOTEZĂ: Tratarea în mod egal a computerelor și a oamenilor.
• Mintea unui computer nu ar trebui să fie evaluată altfel decât cea a
unui om.
• Gândurile (liniile de cod ale) unui computer nu ar trebui analizate,
ci doar comportamentul.
• De exemplu, atunci când un computer (o mașină autonomă) trece
pe culoarea roșie a semaforului și produce un accident, daunele
impuse producătorului nu ar trebui să fie mai mari decât cele
impuse unui conducător auto uman. Astfel, sunt evitate costurile
mult mai mari asociate unui proces ce implică erori majore de
proiectare.
• Costurile privind asigurarea să fie egale, atât pentru un om cât și
pentru un computer.
Infrastructura – o posibilă soluție...
• Regulile de circulație spun că trebuie să oprim la culoarea roșie,
la semnul stop, sau să acordăm prioritate când vedem semnul în
formă de triunghi....
• Ușor și intuitiv pentru om, mai greu pentru un computer...dar
chiar și așa, există soluții.
• O soluție mai costisitoare, dar mai simplă și mai utilă ar fi
dezvoltarea și implementarea de infrastructuri rutiere prietenoase
cu roboții (culoarea semaforului sau un semn de circulație să fie
transmise către mașina utilizând comunicații wireless).
• Aceste modificări ar trebui să fie dezvoltate la nivel național, și
internațional și vor trebui să abordeze atât stabilirea de reguli cât
și implementarea de standarde.
Self-driving cars and the law – de ce să
conducă roboții?
• șoferi buni: nu folosesc telefonul, nu se machiază, nu adorm la
volan.
• Vedere 360 grade.
• Telepatie (comunicații wireless).
• Computerele reacționează mai rapid (viteza de reacție a omului
aprox. 1,5 s).
• Computerele vor fi testate mai riguros decât oamenii (testarea
unui om durează aprox. 30 min.).
• 93% din accidente sunt cauzate de eroarea umană.
• Aprox. 1,1 milioane de vieți ar putea fi salvate.
• Economii la bugetele de stat (aprox. 2% PIB).
• Ecofrendlly.
Părerea voastră: de ce să NU conducă roboții?

• De ce să conducă / să nu conducă roboții?

• Ce ar trebui să aibă voie și ce să nu aibă voie?

• Cum ar trebui tratați roboții?

• Cum ar trebui verificați roboții? Cine ar trebui să îi verifice?

Can you program ethics into a self-driving
car?
• Când mașinile fără șofer ucid, codul este de vină iar
programatorii ajung în fața unui proces.

• Ipoteza: Suntem în anul 2034. Un om beat care se plimba noaptea

pe un trotuar cade direct în fața unei mașini fără șofer, care îl
lovește provocând uciderea lui. Dacă la volan ar fi fost un om,
moartea lui ar fi fost considerată un accident (din vina exclusivă a
pietonului), pentru că în mod clar, nici un om nu ar fi putut
reacționa la timp.
• Dar acest aspect legal a dispărut în anii 2025, când proliferarea
mașinilor fără șofer a redus ratele de accidente cu 90%. Acum
legislația analizeză accidentul din perspectiva șoferului robot.
Can you program ethics into a self-driving
car?
• Familia victimei dă în judecată producătorul vehiculului pe acest
motiv, susținând că, deși mașina nu avea timp să se oprească, ar fi
putut să ocolească pietonul, călcând linia dublă continuă și lovind
vehiculul fără șofer (și fără pasageri) ce se deplasa pe banda
alăturată.
• O reconstrucție a accidentului pe baza datelor provenite de la
senzorii vehiculului confirmă acest lucru. Avocatul acuzării depune
plângere împotriva proiectantului software-ului, și întreabă:
"De ce mașina nu a virat?”
“De ce mașina a respectat litera legii și nu spiritul ei?”
Can you program ethics into a self-driving
car?
• În prezent, nici un tribunal nu judecă acțiunile unui șofer (om)
care încearcă să evite un accident (pe motive de instinct,
panică, etc.).

• Când avem însă de a face un un șofer robot, întrebarea devine

perfect justificată.

• O persoană de bună judecată va știi când să nu ia în

considerare litera legii pentru a onora spiritul legii. Ce trebuie
să facă acum inginerii este să învețe mașinile cum să analize
aceste elementele de bună și dreaptă judecată.
 Evoluţia maşinilor autonome
• 1970: introducerea sistemului ABS
• Prezent: Virare automată, Adaptive Cruise Control,
frânare de urgenţă
• Viitor: Google, Nissan, Ford şi alţii spun că vor avea
maşini complet autonome în 2021 – 2026.
• Senzori: camere, radar, lidar.
• Datele de la senzori sunt stocate (cutia neagră de la
avioane) ceea ce permite reconstrucţia accidentului cu
precizie remarcabilă:
• Analiza deciziilor, analiza alternativelor - interogarea
computerului și / sau a programatorului
• Maşinilor autonome vor fi impuse reguli pentru super-
oameni.
• Producătorii şi programatorii vor trebui să prezică şi să
argumenteze deciziile maşinii. • 2016 – Google car
Gestionarea riscurilor
• Condusul implică riscuri (pt. şoferi, pietoni, biciclişti...), ceea ce
înseamnă că trebuie stabilite reguli de împărţire echitabilă a
acestor riscuri.
• Mașinile autonome vor trebui să analizeze implicațiile etice ale
acțiunilor lor.
• PROBLEMĂ: Luarea deciziilor în situații incerte... (exemplul din
ipoteza iniţială).
• Legislaţia / Inginerii / Programatorii vor trebui să stabiliească
nivelul de siguranţă în bază căruia o maşina va lua o decizie...
(90% - 99,99%) şi nivel de risc la care o maşină se va expune
pentru evitarea unui accident.
• Analiza / estimarea acţiunilor altor participanţi la trafic (biciclişti, pietoni).
• În 2009, o eroare la sistemul de control a făcut ca 2 trenuri să se ciocneasă
(Washington Metro) – 9 victime.
Încălcarea regulilor
• Vehiculele autonome trebuie să aibă permisiunea de a
încălca regulile (deplasarea în coloană, călcarea liniei
continue pt. depăşirea unui obstacol, încălcarea unei
reguli pentru evitarea unui accident, sau pentru
limitarea efectelor sale).

• Ce alte reguli ar putea fi încălcate și în ce condiții?

Stabilirea de costuri
• Maşinile autonome îşi vor stabilii acţionile pe baza analizelor de
“cost”:
• Costul daunelor materiale produce în urma unui accident
• Costul mobilităţii
• Costul timpului economisit
• Costul energiei economisite / consumate (din punct de vedere al autonomiei)
• Costul poluării generate
• “Costul” unei vieţi - (lipsit de umanitate dar adevărat)
• Exemplul celor doi motociclişti (discuții);
• Exemplul tramvaiului (discuții);
• Sacrificăm o viaţă pentru a salva două?
• Analizarea acestor ipoteze înainte ca ele să se petrecă
• Asumarea unei decizii
Discuții...
• Paralela cu donarea de organe...

• Să presupunem că un automobil autonom a fost programat să

evite pietonii cu orice preț. Ce se poate întâmpla?

• Automobilele autonome vor trebui să ia decizii rapide pe baza

unor informații incomplete, să facă față unor situații de trafic la
care programatorii lor nu s-au gândit.

• Cazul VW...???
Concluzii
• La cum se vede acum viitorul, mașinile autonome și inteligența
artificială vor face parte din viața noastră fie că ne convine fie că
nu...
• Ele vor funcționa pe baza unui echilibru fragil între:
• reguli și respectarea sau nerespectarea lor,
• costuri (de diferite tipuri),
• riscuri și marje de risc,
• asumarea unor decizii,
• stabilirea unor sancțiuni ...
• Ca ingineri și cercetători participăm la dezvoltarea tehnologiei și la
dezvolatea companiei în care lucrăm, dar ar trebui să ne stabilim
limitele până la care vom merge (cazul Volkswagen spre exemplu –
softul ce păcălea testele de poluare a fost implementat de ingineri și
programatori).
Gândul săptămânii

23
Mulțumesc!