NIIK Bt]STRI]M

SlJPEl1INTELIEENTA
IAI, PE11I[[LE, STllATEEII

Traducere din limba englezd

DORUVALENTIN CASTAhN

Nick Bostrom este profesor la Facultatea de Filosofie de

la Universitatea Oxfori gi director fondator al Institutului
despre Viitorul Umaniti{ii gi al Programului asupra
Impactului Tehnologiei Viitorului din cadrul Oxford Martin
School. Este autorul a peste 200 delucr[ri. A predat la Yale gi
a flcut studii postdoctorale,la Academia Britanici. Bostrom
are studii detiziab, neurogtiin{i computalionald gi logicn *th
Bucuregti
matematici, dar qi de filosofie.
201 I

Superintelligence
Path s, D angers, Strafegr'es
Nick Bostrom
Copyright @ 2014 Nick Bostrom
Editie publicata pentru prima date in
limba englezdin 2014
Edilie publicate prin inJelegere cu
Oxford University Press
Drepturile pentru prezenta traducero
apa(in Editurii Litera
'd-ri
-
-.--
Carle Pentru Ioil este parte a
Grupului Editorial Utera
O.P 53; C.P, 212, seclor 4,
Bucuregti, Romdnia
tel,: 021 319 6g 93; 0752 1Q1 777
Superinteligenla. Directii, pericole,
strategii
Nick Bostrom
Copyright @ 2019 Grup Media
Litera pentru versiunea in limba
romdni
Toate diepturile rezervate
CUPRINS
Liste cu figuri, tabgle pi cesete,.--...,.,,..,.....,.;,.-.,.. 9
Port e st e a net erminatd a rfudunicilor .................. 11
Traducere din limba englezd: Prefald ................... 13
Doru Valentin Cdstdian
Mulsumiri T7
Editor: Vidra$cu 9i fiii
Redactor: lsabella Prodan
Corectori: Georgiana Enache,
Capitolul 1. Perfec{ioniri trecute
lonel Palade qi abilit{i prezente ......................... l9
Copertd: Flori Zahiu
Tehnoredactare $i preprossl Capitolul2. Ciile spre superinteligenfi .....,...... 69
Mihai Suciu
Capitolul 3. Forme de superinteligenll ,........., t42
Descrierea CIP a Bibliotecii
Nalionale a RomAniei Capitolul 4. Cinetica exploziei
BOSTROM, NICK de inteligenfi ........ 167
Superinteligenla. Directii, pericole,
Capitolul 5. Avantajul stfategic decisiv ........... 203
strategii / Nick Boskom;
trad.: Doru Valentin Cdstdian - Capitolul 6. Superp-uterri cognitive .....,.........,.., 229
Bucuregti: Litera, 2019
lndox Capitolul 7, Voinla superinteligen td ................ 262
tsBN 978-606-33-4078-9
l. Bostrom, Nick
Capitolul 8. Rezuliatul linal
li. Cestaian, Doru Valsntin (irad.) va fi darnnarea? .""...............,........, 288
'612.82
Capitolul 9. Problema controlului ...',..'...'.".. 315

Capitolul 10. Oracole, duhuri,

suverani, unelte',.....'.'..,'.'....."". 356

Capitolul 1 1. Scenarii multipolare'..".............. 386

Capitolul 12. Dobindirea valorilor "....'.'...'."'. 449

IISTE CU FIGURI, TABELE $I CASETE
Capitolul 13. Alegerea criteriilor de alegere .'. 509

Capitolul I 4. Imaginea strategici ..,.'.'.'.'..".'... 558 LrsrA cu FrcuRr

Capitolul 15. Momente aIe crizei '....'.'."....'t''.'. 626 1. Istoria pe termen lung a PIB-ului mondial ..,....23
2. Impactul global pe termen lung al IDNU ..,......67
Bibtiografie .......'.' 638
3. Performanla unui supercomputer ................,.,.. 81
Indice ........... "'..'.' 684 4. Reconstruclia unei neuroanatomii 3D
pornind de la imaginile furnizate
de un microscop electronic .........................,...... 88
5. Harta emulirii globale a creierului ................... 98
6. Fefele compuse, ca metafori
pentru genomurile corectate ....... Il7
7. Aspectul lansirii ...... 168
8. O scari mai pulin antropomorfe? ................... 185
9. Un model simplu al exploziei de inteligenle.. 200
10. Faze intr-un scenariu de lansare IA ..........,..,. 240
ll. Ilustrare schematici a posibilelor traiectorii
ale unui unicatum infelept
12. Rezultate ale antropomorfizlrii motivaliei ... 265
13. Ce va fi mai int6i? Inteligenfi artificiald
sau emulare cerebrali globali? ..,.595
14. Nivelurile de risc in cursa pentru IA .............. 607
LrsrA cu TABELE 4. Despre cinetica unei explozii de inteligenle ... 196
5. Curse tehnologice: cAteva exemple istorice ,.. 207
1. IA in cadrul jocurilor .".""..'... ......' 45
6. Scenariul ADN-ului comandat pe mail ......... 245
2. Cind vom avea inteligenli digitald
de nivel uman? .....'.... 64 7. Cit de mare poate fi colonizarea cosmicl? .....252
3. In cit timp vom avea superinteligenli? .".'....".. 66 8. Captura antropici .... 333

4. Abilitati necesare pentru emularea globali 9. Solugii stranii provenind

a creierului ....'."...'....,.92 din cercetarea oarbi .....................379

5. Cdqtigurile maxime in materie de IQ I0. Formalizarea asimili'rii valorii ........................ 47A

care provin din seleclia in cadrul ll. Un sistem de IA care vrea si. fie prietenos ...". 482
unui set de embrioni 12. Doui idei recente (coapte doar
6. Impactul posibil al selec[iei genetice, pe jumitate) ............. 484
dupi diferite scenarii ..'......'.........' 113 13. O competifie cAt se poate de riscanti ............. 604
7. CAteva curse tehnologice semnificative
din punct de vedere strategic ..'... 211
8. Superputeri: cXteva sarcini relevante
strategic Ai abilitilile corespunzitoare ........... 236
9. Diferite tipuri de declanqatori 340

10. Metode de control 354

11. Trislturi ale diferitelor caste de sisteme .....'.. 384
12. Rezumat al tehnicilor de asimilare
avalorilor """"""""' 506
13. Lista componentelor .'...................'.....'.......,,," 542

LrsrA cu cAsETE
1. Un agent bayesian,ideal"'.......:.'.........'.............. 39
2. Pribuqirea-fulger a btrloei din 2010 ..'.'........'..... 58

3. Ce ne trebuie pentru a relua evolulia? ,.......'.....' 75

18 Nick Bostrom

Alexander Tamas, Max Tegmark, Roman Yamposkyi

qi Eliezer Yudkowsky.
Pentru comentariile lor foarte detaliate, le
mullumesc urmitorilor: Milan Cirkovic, Daniel
Dewey, Owain Ewans, Nick Hay, Keith Mansfield,
Luke Muehlhauser, Toby Ord, fess Riedel, Anders
Sandberg, Murray Shanahan Ei Carl Shulman' Pentru
sfaturile privind munca de cercetare, vreau sd le
mullumesc lui Stuart Armstrong, Daniel Dewey, Eric
Drexer, Alexandre Erler, Rebecca Roache 9i Anders
Sandberg.
Pentru ajutorul acordat la pregitirea manuscrisu-
lui,le mulpmesc lui Caleb Bell, Malo Bourgon, Robin
Brandt, Lance Bush, Cathy Douglass, Alexandre Erler,
Kristian Ronn, Susan Rogers, Andrew Snyder-Beattie,
Cecilia Tili gi lui Alex Vermeer. Vreau si-i mulpmesc
in special editorului meu, Keith Mansfield, pentru in-
curajlrile suslinute de pe parcursul proiectului.
Le cer scuze tuturor celor pe care am omis s5-i
men{ionez aici.
Nu in ultimul rdnd, le mullumesc celor care au
finanlat acest proiect, familiei qi prietenilor: fhri aju-
torul vostru, aceastl carte n-ar fi existat.
0apitolul 1
PERTECTIONARI TRECUTE
$I ABITITATT PREZENTE
Sd incepem prin a privi in urm6. Istoria, in{eleasd la cea
mai largd scard, pare sd indice existenla unor moduri
diferite de dezvoltare, fiecare dintre ele fiind mai rapid
decAt cel de dinaintea lui. Aceastd tendintd ne face
sd credem cd este posibil un nou mod de dezvoltare
(unul chiar mai rapid). $i, totugi, nu punem mare prel pe
aceastd observa{ie * cartea de fafd nu este despre ,,dez-
voltare tehnologica" ori despre,,cregtere exponentiala"
gi nici nu cuprinde idei defjnite generic prin eticheta
,,excentricitate". in cele ce urmeazd, vom trece in revi$td
istoria inteligentei anificiale, Vom evalua, apoi, potenfialul
prezent al acestui domeniu. $i, in fine, vom vedea cdteva
opinii ale expe(ilor gi ne vom recunoagte ignoranla in
ceea ce privegte dezvoltarea viitoare a fenomenului,

Tipuri de progres
gi istoria la scari mare
Cu doar cAteva milioane de ani in urmi, strimo-
r;ii nogtri inci st[teau aterna[i de crengile copacilor
t{in pidurile Africii. Din perspectiv* evolufionisti qi
la scard geologici, detaqarea lui Homo sapiens de ulti-
mul strlmoq pe care l-am avut in comun cu celelalte
20 Nick Bostrom
maimute mad s-a petrecut rapid. Am deprins mersul
pe doui picioare, ne-am ales cu degete opozabile 9i am
iuferit mici modificdri ale volumului 9i structurii cre-
ierului - cruciald schimbare! -' care au dus la un mare
salt in materie de abilitl1i cognitive' ln consecin!6, oa-
menii pot gindi abstract, dezvolti ralionamente com-
plexe gi iniagazineazd 9i transmit informalii culturale
de la o g"tt.tali" la alta mai bine decAt orice alti specie
de pe planet6.
Aceste abilite$ le-au permis oamenilor sd realizeze
tehnologii tot mai performante' ceea'ce i-a determinat
pe strlmogii nogtri s[ lase in urmd pidurea tropica-
i[ qi ,u,r"rru. in special dupi descoperirea agriculturii'
popula[ia totall a lumii a crescut gi, odatl cu ea, qi den-
sit"tea. Cregterea demografici a facilitat aparilia unui
num[r mai mare de idei; densitatea sporitd a frcut po-
sibili rispdndirea mai rapidi a acestora, unii indivizi
dezvoltdnd abilitig specializate. Aceste perfecliondri
au sporit rata progresului 1n matetie de productivitate
economici gi de capacitate tehnologici' Ceea ce s-a in-
tAmplat ulterior, in special dupd Revolulia Industriall
incoace, a generat o a doua schimbare global[, com-
parabili in ceea ce priveqte progresul'
Modificirile ratei progresului au avut urmiri im-
portante. Cu citeva sute de mii de ani in urm[' in tim-
pul preistoriei umane (sau hominide), progresul a fost
utat^a" lent, incdLt capacitatea umani de produc$e a
avut nevoie de aproxiryativ un milion de ani pentru a
cregte indeajurr. .at si poatl asigur^a simpla subzistenli
a unui milion de indivizi in plus. ln jurul anului 5000
i.Hr., dupi revolulia agricoll, rata progresului a crescut
Saperinteligenla 21
pdnd ln punctul in care acelagi spor demografic a pu'
tut fi suslinut in doar doui secole. In zilele noastre, de
dup[ Revolulia Industriall, economia mondiali cre$te,
in medie, pani la acelaqi grad,la fiecare 90 de minute.l
Actuala rati a progresului va produce, gi ea, re-
zultate spectaculoase, daci se menfine indeajuns de
mult. Dacd economia mondiall va continua si creas-
ci in acelaqi ritm in care a ficut-o in ultimii 50 de ani,
omenirea va fi de 4,8 de ori rnai bogati pAnd in 2050
gi de 34 de ori p6ni ln 2100.'?
,,Conversafia noastri centrat[ pe tehnologie qi pe
modific[ri continue ale viefii umane mi face si mi
1
Un venit la nivelul subzistenlei astizi este de aproximativ
400 de dolari (Chen 9i Ravallion, 2010). Astfel, un milion de
venituri reprezinti 400 m0 000 de dolart. PIB-ul omenirii este
de 60 000 000 000 000 qi ln ultimii ani a crescut constant cu o
ratd de 4Vo (rata compusi de cregtere din 1950, conform lui
Maddison - 2010). Aceste numere par si susfini cifra prezentati
iu text, care este, desigur, doar o aproximare la un anumit ordin
cle magnitudine. Daci ne uitim la rata de creqtere a populafiei lu-
nrii, descoperim c6, astizi, populalia lumii cregte cu aproximativ
un milion la fiecare siptinr{ni qi jurnitate. Dar aceast6, observa{ie
subestimeazi rata de crEtere a economiei, din moment ce venitul
pe cap de locuitor creqte qi o1" ln jurul anului 5000 d.Hr., imediat
dupi revolu{ia agricold, populalia lumii creqtea cam cu un milion
la 200 de ani - o accelerare qubstan{iali in raport cu cregterea de
un milion la un milion de ani in preistoria umanitd{ii. Chiar Ei
o$a, este impresionant c5 o cregtere economici neti care lua 200
tle ani acum 500 de ani ia doar 9 minute astizi qi ci o creqtere
demografici care lua ln trecut doui secole ia astdzi o slptimind
qi jumitate. Vezi, de ase$r€nea, Maddison,2005.
2 O astfel de cregtere spectaculoasi poate sugera apari{ia
unei singularitili, aqa cum sug€ra John von Neumann intr-o
conversalie cu matematicianul Stanislaw Ulam.
22 Nick Bostrom Superinteligenla 23

gAndesc civa apirea un punct singular in istoria spe-

lal 5 45
ciei,noastre dincolo de care istoria umanl, a$a cum o
N
.s 4.0

qtim, nu va putea continua"' (Ulam 1958) 3^^

Cu toate acestea, perspectiva menlinerii unei cli cu O JU
c
olJ
o creqtere exponenliall siguri plleEte in fala a ceea ce 5
E20
ar aduce o noud cregtere spectaculoasi a ratei progresu- :co 15
E
lui, similari cu aceea din wemea revoluliei agrare qi a
1n
Lv
c
o

celei industriale. Economistul Robin Hanson estimea-

o=
^t
zL,bazindtt-se pe date economice 9i demografice, cl d -8000
dublarea economiei din Pleistocen, a societilii de vind-
tori-culegdtori, s-ar realizain aproxirnativ 224 000 de lr)l o 45r
c
ani; pentru perioada agrari de 909 ani, iar pentru pe-
4ol1
rq 1..

""t
rioada industriall de 6,3 ani.l (in modelul lui Hanson, = 301'
epoca actuali presupune o combinalie intre modelele .9
'-
25 t-

de cregtere din perioada agrardqi cea industriall - eco-

20 j-
c
rri
"l
nomia mondiall, per ansamblu' nu progreseaz[ incl in ,g
c 10t-
o
baza ratei de dublare de 6,3 ani') Daci s-ar produce o E sl
t
trecere la un model diferit de progres, de magnitudi- o
0
L 700 750 800 850
ne similari cu cele doui' anterioare' s-ar ajunge la un
1 1 1 1

regim al progresului in care economia mondial[ s-ar
dubla, ca mdrime, in numai dou[ slptimini'
O astfel de creqtere pare neverosimili, dupl stan-
dardele actuale. Observatorii din celelalte epoci posi-
bil si fi acceptat la fel de greu ideea ca economia din
timpurile respective sd se dubleze de mai multe ori pe
parcursul unei vieli de om' $i totuqi, aceastb stare ex-
traordinari este, pentrutroi, astlzi, ordinarl'
Anul
Figura 1. lstoria pe termen lung a PIB-ului mondial.
llustratd linear, istoria economiei arat6, ca o dreaptd
orizontald imbr6tigand axa x, pAnd in punctul in care
porneste, brusc, in sus. (a) Chiar gi concentrdndu-ne nu-
mai pe ultimii 10000 de ani, tiparuligi menline, in esente,
unghiul de 90. (b) Abia in ultimii aproximativ 100 de ani,
curba se ridicd sesizabil deasupra nivelului zero. (Liniile
diferite ale tiparului corespund unor seturi de date diferi-
te, care ne oferd estimdri ugor diferite.l)

I Hanson,2000 lYanZanden (2003); Maddison (1999, 2001); De Long (1998)


24 NickBostrom
Ideea unei singularitlli tehnologice ce sti sd se
producl este, astdzi, popularizati la scari largi, in-
cepAnd cu eseul fundamental al lui Vernon Vinge Ei
continuind cu lucririle lui Ray Kurzweil 9i ale altora'1
Cu toate acestea, termenul ,,singularitate" a fost folo-
sit intr-o manier5. confuzi, cu mai multe sensuri' qi a
ajuns si dezvolte o aur[ laicd (9i aproape milenaris-
ti) de conotalii tehno-utopice'2 Din moment ce ma-
joritatea semnificaliilor qi conotaliilor respective sunt
irelevante Pentru demersul nostru' este preferabil s[
ne dispenslm de termenul ,,singularitate", in favoarea
unuia mai riguros.
in privinla ,,singularit6fii", sensul care ne interesea-
zit aici prevede posibilita tea unei explozii a inteligenfei'
mai exict, perspectiva unei superinteligenle de tip ar-
tificial. Unii oameni cred in diagrame ale progresului
precum vedem in figura 1, care arati iminenla unei noi
schimblri drastice in modelul progresului' compara-
bile cu revolulia agral:it Ei cu cea industriali' Acestora
le este greu s[ conceapd un scenariu in care ritmul de
dublare a economiei mondiale s[ fie redus la cAteva
sdLptimAni, firi a implica reaLizarea unor creiere mai
rupid* gi mai eficiente decAt cele biologice, cunoscute
noui. Totugi faptul de a lua in serios eventualitatea unei
revolulii a inteligenlei artificiale nu trebuie si lini
de
studieiea curbelor de creqtere sau de extrapolarea date-
lor economice din trecut. DupI cum vom vedea, avem
motive mai temeinice pentru a face asta'
')Sandberg, 2010
Superinteligen[a 25
Marile speran{e
Maginile similare oamenilor in privinla inteligenlei
generale - adicd maqini care si aibl bund judecati, abi-
litatea innlscutd de a lnvila qi raliune gi care si poa-
td deslugi provoclri legate de procesarea informaliilor
din domenii diverse, naturale qi artificiale - au fost
un deziderat inc[ din anii 1940, odati cu inventarea
computerelor. ln acel moment, aparilia unor astfel de
magini era preconizati undeva in urmitoarele doud
decenii.l De atunci incoace, rata temporald privind
producerea lor a scizut, anual, cu cdte un an; astfel c6,
rstizi, futurologii care iau in serios aparilia inteligenlei
artificiale de ordin general cred ci ne despart doar cd-
teva decenii de acest eveniment.2
Doul decenii reprezinti o perioad[ convenabili
pentru predicatorii schimbirii radicale: suficient de
scurti pentru ca acest fenomen s[ devind relevant qi
irtractiv qi, totugi, suficient de lungd cdt si fie rezonabil
ir presupune cd, pini atunci, ar putea avea loc trans-
lirrm[ri radicale pe care azi de-abia ni le imaginim. Sd
privim lucrurile la o scali temporalS' mai mici: majo-
ritatea tehnologiilor care vor influenla lumea in cinci
silu zece ani sunt deja folosite, in stoc limitat, iar cele
cirre igi vor llsa amprenta asupra lumii in mai pulin de
I Doui declaralii optimiste reluate des in anii 1960: ,,Maqinile
vor ff capabile, in aproximativ 20 de ani, si faci tot ceea ce pot
Irrcc oamenii" (Simon, 1965,1996);,,in decurs de o generaiie [..']
prrrtrlema creirii inteligenlei artificiale va fi rezolvati" (Minsky'
It)67 , p.2). Pentru o trecere exhaustivi ln revisti a predicfiilor
uu privire la IA, vezi Armstrong gi Sottala, 2012.
2 Yezi, de exemplu, Baum et. all, 2011'
 Nick Bostrom
25
cinsprezece ani probabil c[ existS, 9i ele, deja, ca pro-
totipuri de laborator. Doud decenii constituie, de ase-
menea, durata tipici a carierei unui specialist in astfel
de prediclii, presupunAnd punerea in joc a reputaliei
prin realizarea unei prediclii curajoase.
Faptul c[, in trecut, unii au fbcut estimiri nerealiste
cu privire la aparilia inteligenlei artificiale nu inseam-
ni ci aceasti formi de inteligenll este imposibili, ci
nu va apirea nicicAnd.l Principalul motiv pentru care
progresul a fost mai lent decdt spera lumea line de fap-
tul ci elaborarea unei maginirii inteligente s-a dovedit
mai dificili decit au preconizat primii care au avut in
vedere acest proiect. Agadar, nu se gtie cAt de mari sunt
aceste dificulteli gi nici cit ne va lua pentru a le depiqi.
lJneori, o problemi care pare extrem de complicati
poate avea o solulie foarte simpln (deqi situalia inversi
este, probabil, mai comunl).
ln capitolul urmitor, vom inspecta ciile posibile
care pot duce la o inteligenld artificiali comparabili
cu cea uman6. inainte, permiteli-mi totuqi si subliniez
c[, oricit ne-am poticni intre momentul actual 9i pAni
in cel in care yom avea o maqindrie cu o inteligenll
de nivel uman, nici micar acest ultim punct nu va fi
unul final. Urmitoarea stalie, prima dupS realizarea
maqiniriei, va fi aceea a inteligenlei artificiale de nivel
suprauman. Trenul s-ar putea si nu opreasci, poate
1Asta ar putea sugera, totuqi, c[ cercetltorii care se ocupi de
IA gtiu mai puline decAt cred despre cronologia evoluliei - ceea
ce poate avea rezultate contrare:,ei fie vor subestima, fie vor su-
praestima momentului aparilieitnteligenlei artificiale.
Superinteligenla 27
rrlci nricar sd. incetineasc5, in stalia umanitllii. Posibil
rr l-o traverseze ca vdntul.
Matematicianul L|. Good, statistician-gef in echipa
lul Alan Turing, in timpul celui de-al Doilea Rdzboi
Monclial, a formulat, pentru prima dati, aspectele
*t,rrfiale ale acestui scenariu, Intr-un pasaj des citat,
t e tlrteazl din 1965, el sus{ine:
Prin magini ultrainteligentd in{elegem o maEinl
erlrc poate dep6gi, de departe, activitatea intelectua-
ll1 n oricirei fiin{e umane, oricAt de inteligenti ar fi
rlccasta din urml. Din moment ce construirea unei
rrstl'el de magini depinde tocmai de activitatea inte-
lcctuali, o magini ultrainteligenti ar putea realiza,
rle una singur6, magini chiar mai eficiente; asta ar
tlut:e, firi lndoiald, la o de inteligenli" care
"explozie
rtl ldsa cu mult in urm6 inteligenta umani. Astfel,
Irrvcntarea unei maqini ultrainteligente va fi ultimul
Irrcru pe care trebuie sl-l faci omul, cu condilia ca
rrccasta si fie suficient de docili, incAt si ne arate
cr.llll s-o {inem sub control.l
l'irre evident cd o asernenea dezvoltare a inteligenlei
vrr l'i asociati cu riscuri existenliale majore gi ci ur-
rttrlrile vor trebui previzute cu maximl atenlie, chiar
1l qtiind ci probabilitatea ca ele sd se concretizeze
rrt l'i redusi (nefiind insd cazul). $i, totugi, pionierii
Irrtel i genfei artificiale, deqi postuleazl iminenla reali-
rllrii uneia de nivel umarl, s-au gdndit mai pufin la
posibilitatea apariliei unei inteligente supraumane.
$i cum latura mentali cu care acegtia fac speculafii
( lr
(iood, 1965, p, 33
28 Nick Bostrom
Superinteligensa 29

ci, pAni in momentul in care aceaste intreprindere

s-ar fi epuizat lntr-un asemenea grad odat[ cu con- va deveni cu adeverat fezabili, vom avea atit capaci-
.ep.r"* potibilitelii existenfei unei maqinirii care si
tatea tehnici pentru a susline ampla dezvoltare infor-
atingi inteligen{a umana' incit, pur 9i simplu, nu mai
pot loncepJqi corolarul - posibilitatea ca maqinile si
matici:, cit gi competenla necesarl pentru a-i asigura
efectele durabile.
devini superinteligente.
pe de alte parte, precursorii inteligentei artificiale Dar, inainte s[ vedem ce va urma, sd arunc[m o
privire scurti peste istoria inteligenlei artificiale.
nu au luat in ialcul posibilitatea ca intreprinderea lor
si implice riscuri.l Nici mecar nu au verbalizat ^ dar
* Perioade de speranfi Ei perioade de
se se gendeascl serios la aceasti chestiune! pericolul
impliiat de minlile artificiale sau posibilele consecinle disperare
etice pe care le-ar putea avea existenla unor stepeni
in vara anului 1956, la Colegiul Dartmouth, zece
ciberietici: o lacunl uimitoare, mai ales pe fundalul oameni de'qtiinfi interesafi, cu tofii, de relelele neu-
unei epoci ce nu s-a remarcat prin gindire critici la
ronale, de teoria roboticii gi de studiul inteligenfei, au
adresa-domeniului tehnic.? Nu putem decit si sperim
hotirdt s5 participe la un seminar de qase sdptimdni.
I O excep{ie este Norbert Wiener, care a avut cAteva presim}iri Proiectul de vari de la Dartmouth, cum este cunoscut,
cu privire la posibilele consecinfe' Iatd ce scria tn 1960: "Daci este vizut cu precidere ca evenimentul in urma c[ru-
cu care
vom folosi, pintru a ne atinge scopurile, agenli mecanici la a aplrut domeniul de cercetare a inteligenlei artifi-
t"* ptti" interfera foarie bine dupi pbrnire, pentru ci totul ciale. Mu\i participanli aveau s[ fie considerafi, rnai
"t
a..otg.:fou.t. rapid qi este irevocabil 9i nu vom avea suficien-
te inf;malii p.t ito u interveni inainte ca acliunea si ffe
fina- t[rzlrrt, drept pirinli ai domeniului. Spiritul optimist
iir"la, irebuie si fim cu adevirat siguri c[ sco.pul atribuil care ii caracterizape ace$tia transpare din propunerea
"t"ttieste exact scopul dorit de noi, qi nu o palidi aproxi-
masinlriei
in- flcuti Fundaliei Rockefeller, care finanla proiectul;
maie a lui" (Wiener, 1960). Ed Fredkin a vorbit' 9i el' despre
privind intr-un redat
;Jj*ttti; t;1. superinteligenfa, .interviu Propunem desfbqurarea unui studiu realizat de
fuiCorduck, tgzs.panain 1970, qi Good a scris despre riscu zece oameni, care si dureze doui luni [...] Studiul
suger6nd crearea unei asocialii care si lupte imp.otriva acestori
(G.ood pleactr de Ia presupozi{ia cA orice aspect al 1nv6!5rii
iC?"J, isz0). A se vedea 9i articolul siu de mai tdrziu.
is82), ln care contureazl citeva dintre ideile ,,normativitifii in gi oricecaracteristici a inteligenlei poate fi, ln prin-
ai*.i*", pe care le vom discuta in Capitolul 13' ln 1984' Marvit cipiu, descrisi atAt de precis, lncAt si fie sirnulat[ de
Minsky icria, la rAndu-i, despre citeva lngrijoriri principa o magini. Vom lncerca s{ gisim modafite$ prin care
(Minsky, 1984). sb determinim maginile ce utilizeazd lirnbajul 9i re-
t Cf. yuodkovski (200s a). Cu privire la importan{a stabili
alizeazd abstrac{iuni gi concepte si rezolve proble-
unor repere etice pentru viitoar4e-tehnologii inainte ca
me care astizi le sunt rezervate oamenilor, precum
si apari, vezi Roache (2008). l