Nick Bostrom este profesor la Facultatea de Filosofie de

la Universitatea Oxfori gi director fondator al Institutuluidespre Viitorul Umaniti{ii gi al Programului asupraImpactului Tehnologiei Viitorului din cadrul Oxford MartinSchool. Este autorul a peste 200 de lucr[ri. A predat la Yale gi

a flcut studii postdoctorale,la Academia Britanici. Bostromare studii detiziab, neurogtiin{i computalionald gi logicnmatematici, dar qi de filosofie.

NIIK Bt]STRI]M

SlJPEl1INTELIEENTAIAI, PE11I[[LE, STllATEEII

Traducere din limba englezd

DORUVALENTIN CASTAhN

*thBucuregti

201 I

SuperintelligencePath s, D angers, Strafegr'es

Nick Bostrom

Copyright @ 2014 Nick BostromEditie publicata pentru prima date in

limba englezdin 2014Edilie publicate prin inJelegere cu

Oxford University Press

Drepturile pentru prezenta traducero

apa(in Editurii Litera

-'d-ri-.--

Carle Pentru Ioil este parte a

Grupului Editorial Utera

O.P 53; C.P, 212, seclor 4,

Bucuregti, Romdnia

tel,: 021 319 6g 93; 0752 1Q1 777

Superinteligenla. Directii, pericole,

strategii

Nick Bostrom

Copyright @ 2019 Grup Media

Litera pentru versiunea in limba

romdniToate diepturile rezervate

Traducere din limba englezd:

Doru Valentin Cdstdian

Editor: Vidra$cu 9i fiii

Redactor: lsabella Prodan

Corectori: Georgiana Enache,

lonel Palade

Copertd: Flori Zahiu

Tehnoredactare $i preprossl

Mihai Suciu

Descrierea CIP a Bibliotecii

Nalionale a RomAniei

BOSTROM, NICK

Superinteligenla. Directii, pericole,

strategii / Nick Boskom;trad.: Doru Valentin Cdstdian -Bucuregti: Litera, 2019

lndox

tsBN 978-606-33-4078-9

l. Bostrom, Nick

li. Cestaian, Doru Valsntin (irad.)

'612.82

CUPRINS

Liste cu figuri, tabgle pi cesete,.--...,.,,..,.....,.;,.-.,.. 9

Port e st e a net erminatd a rfudunicilor .................. 1 1

Prefald ................... 13

Mulsumiri

Capitolul 1. Perfec{ioniri trecute

qi abilit{i prezente ......................... l9

Capitolul2. Ciile spre superinteligenfi .....,...... 69

Capitolul 3. Forme de superinteligenll ,........., t42

Capitolul 4. Cinetica exploziei

de inteligenfi ........ 167

Capitolul 5. Avantajul stfategic decisiv ........... 203

Capitolul 6. Superp-uterri cognitive .....,.........,.., 229

Capitolul 7, Voinla superinteligen td ................ 262

Capitolul 8. Rezuliatul linalva fi darnnarea? .""...............,........, 288

T7

Capitolul 9. Problema controlului ...',..'...'.".. 315

Capitolul 10. Oracole, duhuri,

suverani, unelte',.....'.'..,'.'....."". 356

Capitolul 1 1. Scenarii multipolare'..".............. 386

Capitolul 12. Dobindirea valorilor "....'.'...'."'. 449

Capitolul 13. Alegerea criteriilor de alegere .'. 509

Capitolul I 4. Imaginea strategici ..,.'.'.'.'..".'... 558

Capitolul 15. Momente aIe crizei '....'.'."....'t''.'. 626

Bibtiografie .......'.' 638

Indice ........... "'..'.' 684

IISTE CU FIGURI, TABELE $I CASETE

LrsrA cu FrcuRr

1. Istoria pe termen lung a PIB-ului mondial ..,....23

2. Impactul global pe termen lung al IDNU ..,......67

3. Performanla unui supercomputer ................,.,.. 81

4. Reconstruclia unei neuroanatomii 3Dpornind de la imaginile furnizatede un microscop electronic .........................,...... 88

Harta emulirii globale a creierului ................... 98

Fefele compuse, ca metaforipentru genomurile corectate ....... Il7Aspectul lansirii ...... 168

O scari mai pulin antropomorfe? ................... 185

Un model simplu al exploziei de inteligenle.. 200

Faze intr-un scenariu de lansare IA ..........,..,. 240

Ilustrare schematici a posibilelor traiectoriiale unui unicatum infelept

12. Rezultate ale antropomorfizlrii motivaliei ... 265

13. Ce va fi mai int6i? Inteligenfi artificialdsau emulare cerebrali globali? ..,.595

14. Nivelurile de risc in cursa pentru IA .............. 607

5.

6.

7.

8.

9.

10.

ll.

LrsrA cu TABELE

1. IA in cadrul jocurilor .".""..'... ......' 45

2. Cind vom avea inteligenli digitaldde nivel uman? .....'.... 64

3. In cit timp vom avea superinteligenli? .".'....".. 66

4. Abilitati necesare pentru emularea globalia creierului ....'."...'....,.92

5. Cdqtigurile maxime in materie de IQcare provin din seleclia in cadrulunui set de embrioni

6. Impactul posibil al selec[iei genetice,

dupi diferite scenarii ..'......'.........' 113

7. CAteva curse tehnologice semnificativedin punct de vedere strategic ..'... 211

8. Superputeri: cXteva sarcini relevante

strategic Ai abilitilile corespunzitoare ...........

9. Diferite tipuri de declanqatori

10. Metode de control

11. Trislturi ale diferitelor caste de sisteme .....'..

12. Rezumat al tehnicilor de asimilare

avalorilor """"""""' 506

13. Lista componentelor .'...................'.....'.......,,," 542

LrsrA cu cAsETE

1. Un agent bayesian,ideal"'.......:.'.........'.............. 39

2. Pribuqirea-fulger a btrloei din 2010 ..'.'........'..... 58

3. Ce ne trebuie pentru a relua evolulia? ,.......'.....' 75

236

340

354

384

4. Despre cinetica unei explozii de inteligenle ... 196

5. Curse tehnologice: cAteva exemple istorice ,.. 207

6. Scenariul ADN-ului comandat pe mail ......... 245

7. Cit de mare poate fi colonizarea cosmicl? .....252

8. Captura antropici .... 333

9. Solugii stranii proveninddin cercetarea oarbi .....................379

I0. Formalizarea asimili'rii valorii ........................ 47A

ll. Un sistem de IA care vrea si. fie prietenos ...". 482

12. Doui idei recente (coapte doarpe jumitate) ............. 484

13. O competifie cAt se poate de riscanti ............. 604

18 Nick Bostrom

Alexander Tamas, Max Tegmark, Roman Yamposkyiqi Eliezer Yudkowsky.

Pentru comentariile lor foarte detaliate, lemullumesc urmitorilor: Milan Cirkovic, DanielDewey, Owain Ewans, Nick Hay, Keith Mansfield,Luke Muehlhauser, Toby Ord, fess Riedel, AndersSandberg, Murray Shanahan Ei Carl Shulman' Pentru

sfaturile privind munca de cercetare, vreau sd lemullumesc lui Stuart Armstrong, Daniel Dewey, EricDrexer, Alexandre Erler, Rebecca Roache 9i AndersSandberg.

Pentru ajutorul acordat la pregitirea manuscrisu-

lui,le mulpmesc lui Caleb Bell, Malo Bourgon, Robin

Brandt, Lance Bush, Cathy Douglass, Alexandre Erler,

Kristian Ronn, Susan Rogers, Andrew Snyder-Beattie,

Cecilia Tili gi lui Alex Vermeer. Vreau si-i mulpmescin special editorului meu, Keith Mansfield, pentru in-curajlrile suslinute de pe parcursul proiectului.

Le cer scuze tuturor celor pe care am omis s5-i

men{ionez aici.Nu in ultimul rdnd, le mullumesc celor care au

finanlat acest proiect, familiei qi prietenilor: fhri aju-

torul vostru, aceastl carte n-ar fi existat.

0apitolul 1

PERTECTIONARI TRECUTE

$I ABITITATT PREZENTE

Sd incepem prin a privi in urm6. Istoria, in{eleasd la ceamai largd scard, pare sd indice existenla unor moduridiferite de dezvoltare, fiecare dintre ele fiind mai rapiddecAt cel de dinaintea lui. Aceastd tendintd ne facesd credem cd este posibil un nou mod de dezvoltare(unul chiar mai rapid). $i, totugi, nu punem mare prel pe

aceastd observa{ie * cartea de fafd nu este despre ,,dez-voltare tehnologica" ori despre,,cregtere exponentiala"gi nici nu cuprinde idei defjnite generic prin eticheta,,excentricitate". in cele ce urmeazd, vom trece in revi$td

istoria inteligentei anificiale, Vom evalua, apoi, potenfialulprezent al acestui domeniu. $i, in fine, vom vedea cdteva

opinii ale expe(ilor gi ne vom recunoagte ignoranla inceea ce privegte dezvoltarea viitoare a fenomenului,

Tipuri de progresgi istoria la scari mare

Cu doar cAteva milioane de ani in urmi, strimo-r;ii nogtri inci st[teau aterna[i de crengile copacilort{in pidurile Africii. Din perspectiv* evolufionisti qi

la scard geologici, detaqarea lui Homo sapiens de ulti-mul strlmoq pe care l-am avut in comun cu celelalte

20 Nick Bostrom

maimute mad s-a petrecut rapid. Am deprins mersul

pe doui picioare, ne-am ales cu degete opozabile 9i am

iuferit mici modificdri ale volumului 9i structurii cre-

ierului - cruciald schimbare! -' care au dus la un mare

salt in materie de abilitl1i cognitive' ln consecin!6, oa-

menii pot gindi abstract, dezvolti ralionamente com-

plexe gi iniagazineazd 9i transmit informalii culturale

de la o g"tt.tali" la alta mai bine decAt orice alti specie

de pe planet6.Aceste abilite$ le-au permis oamenilor sd realizeze

tehnologii tot mai performante' ceea'ce i-a determinat

pe strlmogii nogtri s[ lase in urmd pidurea tropica-

i[ qi ,u,r"rru. in special dupi descoperirea agriculturii'

popula[ia totall a lumii a crescut gi, odatl cu ea, qi den-

sit"tea. Cregterea demografici a facilitat aparilia unui

num[r mai mare de idei; densitatea sporitd a frcut po-

sibili rispdndirea mai rapidi a acestora, unii indivizi

dezvoltdnd abilitig specializate. Aceste perfecliondri

au sporit rata progresului 1n matetie de productivitate

economici gi de capacitate tehnologici' Ceea ce s-a in-

tAmplat ulterior, in special dupd Revolulia Industriall

incoace, a generat o a doua schimbare global[, com-

parabili in ceea ce priveqte progresul'

Modificirile ratei progresului au avut urmiri im-

portante. Cu citeva sute de mii de ani in urm[' in tim-

pul preistoriei umane (sau hominide), progresul a fost

utat^a" lent, incdLt capacitatea umani de produc$e a

avut nevoie de aproxiryativ un milion de ani pentru a

cregte indeajurr. .at si poatl asigur^a simpla subzistenli

a unui milion de indivizi in plus. ln jurul anului 5000

i.Hr., dupi revolulia agricoll, rata progresului a crescut

Saperinteligenla

pdnd ln punctul in care acelagi spor demografic a pu'tut fi suslinut in doar doui secole. In zilele noastre, dedup[ Revolulia Industriall, economia mondiali cre$te,

in medie, pani la acelaqi grad,la fiecare 90 de minute.lActuala rati a progresului va produce, gi ea, re-

zultate spectaculoase, daci se menfine indeajuns demult. Dacd economia mondiall va continua si creas-

ci in acelaqi ritm in care a ficut-o in ultimii 50 de ani,omenirea va fi de 4,8 de ori rnai bogati pAnd in 2050

gi de 34 de ori p6ni ln 2100.'?

,,Conversafia noastri centrat[ pe tehnologie qi pemodific[ri continue ale viefii umane mi face si mi

1 Un venit la nivelul subzistenlei astizi este de aproximativ400 de dolari (Chen 9i Ravallion, 2010). Astfel, un milion devenituri reprezinti 400 m0 000 de dolart. PIB-ul omenirii este

de 60 000 000 000 000 qi ln ultimii ani a crescut constant cu oratd de 4Vo (rata compusi de cregtere din 1950, conform luiMaddison - 2010). Aceste numere par si susfini cifra prezentatiiu text, care este, desigur, doar o aproximare la un anumit ordincle magnitudine. Daci ne uitim la rata de creqtere a populafiei lu-nrii, descoperim c6, astizi, populalia lumii cregte cu aproximativun milion la fiecare siptinr{ni qi jurnitate. Dar aceast6, observa{iesubestimeazi rata de crEtere a economiei, din moment ce venitulpe cap de locuitor creqte qi o1" ln jurul anului 5000 d.Hr., imediatdupi revolu{ia agricold, populalia lumii creqtea cam cu un milionla 200 de ani - o accelerare qubstan{iali in raport cu cregterea deun milion la un milion de ani in preistoria umanitd{ii. Chiar Eio$a, este impresionant c5 o cregtere economici neti care lua 200tle ani acum 500 de ani ia doar 9 minute astizi qi ci o creqteredemografici care lua ln trecut doui secole ia astdzi o slptimindqi jumitate. Vezi, de ase$r€nea, Maddison,2005.

2 O astfel de cregtere spectaculoasi poate sugera apari{iaunei singularitili, aqa cum sug€ra John von Neumann intr-oconversalie cu matematicianul Stanislaw Ulam.

21

22 Nick Bostrom

gAndesc ci va apirea un punct singular in istoria spe-

ciei,noastre dincolo de care istoria umanl, a$a cum o

qtim, nu va putea continua"' (Ulam 1958)

Cu toate acestea, perspectiva menlinerii unei cli cu

o creqtere exponenliall siguri plleEte in fala a ceea ce

ar aduce o noud cregtere spectaculoasi a ratei progresu-

lui, similari cu aceea din wemea revoluliei agrare qi a

celei industriale. Economistul Robin Hanson estimea-

zL,bazindtt-se pe date economice 9i demografice, cldublarea economiei din Pleistocen, a societilii de vind-

tori-culegdtori, s-ar realizain aproxirnativ 224 000 de

ani; pentru perioada agrari de 909 ani, iar pentru pe-

rioada industriall de 6,3 ani.l (in modelul lui Hanson,

epoca actuali presupune o combinalie intre modelele

de cregtere din perioada agrardqi cea industriall - eco-

nomia mondiall, per ansamblu' nu progreseaz[ incl in

baza ratei de dublare de 6,3 ani') Daci s-ar produce o

trecere la un model diferit de progres, de magnitudi-

ne similari cu cele doui' anterioare' s-ar ajunge la un

regim al progresului in care economia mondial[ s-ar

dubla, ca mdrime, in numai dou[ slptimini'O astfel de creqtere pare neverosimili, dupl stan-

dardele actuale. Observatorii din celelalte epoci posi-

bil si fi acceptat la fel de greu ideea ca economia din

timpurile respective sd se dubleze de mai multe ori pe

parcursul unei vieli de om' $i totuqi, aceastb stare ex-

traordinari este, pentrutroi, astlzi, ordinarl'

I Hanson,2000lYanZanden (2003); Maddison (1999, 2001); De Long (1998)

Superinteligenla

45r4ol1

rq 1..

""t301'

25 t-

20 j-

rri"l

10t-

sl0

1 700 1 750 1 800 1 850

Anul

Figura 1. lstoria pe termen lung a PIB-ului mondial.llustratd linear, istoria economiei arat6, ca o dreaptdorizontald imbr6tigand axa x, pAnd in punctul in careporneste, brusc, in sus. (a) Chiar gi concentrdndu-ne nu-mai pe ultimii 10000 de ani, tiparuligi menline, in esente,unghiul de 90. (b) Abia in ultimii aproximativ 100 de ani,curba se ridicd sesizabil deasupra nivelului zero. (Liniile

diferite ale tiparului corespund unor seturi de date diferi-te, care ne oferd estimdri ugor diferite.l)

23

lal 5 45N

.s 4.0

3^^O JUcolJ

5E20c: 15oE 1nc Lvo

lr)l oc

=

.9'-c

,gcoEtoL

= ^tod -8000

24 NickBostrom

Ideea unei singularitlli tehnologice ce sti sd se

producl este, astdzi, popularizati la scari largi, in-

cepAnd cu eseul fundamental al lui Vernon Vinge Ei

continuind cu lucririle lui Ray Kurzweil 9i ale altora'1

Cu toate acestea, termenul ,,singularitate" a fost folo-

sit intr-o manier5. confuzi, cu mai multe sensuri' qi a

ajuns si dezvolte o aur[ laicd (9i aproape milenaris-

ti) de conotalii tehno-utopice'2 Din moment ce ma-

joritatea semnificaliilor qi conotaliilor respective sunt

irelevante Pentru demersul nostru' este preferabil s[

ne dispenslm de termenul ,,singularitate", in favoarea

unuia mai riguros.in privinla ,,singularit6fii", sensul care ne interesea-

zit aici prevede posibilita tea unei explozii a inteligenfei'

mai exict, perspectiva unei superinteligenle de tip ar-

tificial. Unii oameni cred in diagrame ale progresului

precum vedem in figura 1, care arati iminenla unei noi

schimblri drastice in modelul progresului' compara-

bile cu revolulia agral:it Ei cu cea industriali' Acestora

le este greu s[ conceapd un scenariu in care ritmul de

dublare a economiei mondiale s[ fie redus la cAteva

sdLptimAni, firi a implica reaLizarea unor creiere mai

rupid* gi mai eficiente decAt cele biologice, cunoscute

noui. Totugi faptul de a lua in serios eventualitatea unei

revolulii a inteligenlei artificiale nu trebuie si lini de

studieiea curbelor de creqtere sau de extrapolarea date-

lor economice din trecut. DupI cum vom vedea, avem

motive mai temeinice pentru a face asta'

')Sandberg, 2010

Superinteligen[a

Marile speran{e

Maginile similare oamenilor in privinla inteligenleigenerale - adicd maqini care si aibl bund judecati, abi-

litatea innlscutd de a lnvila qi raliune gi care si poa-

td deslugi provoclri legate de procesarea informaliilordin domenii diverse, naturale qi artificiale - au fost

un deziderat inc[ din anii 1940, odati cu inventarea

computerelor. ln acel moment, aparilia unor astfel de

magini era preconizati undeva in urmitoarele doud

decenii.l De atunci incoace, rata temporald privindproducerea lor a scizut, anual, cu cdte un an; astfel c6,

rstizi, futurologii care iau in serios aparilia inteligenlei

artificiale de ordin general cred ci ne despart doar cd-

teva decenii de acest eveniment.2Doul decenii reprezinti o perioad[ convenabili

pentru predicatorii schimbirii radicale: suficient de

scurti pentru ca acest fenomen s[ devind relevant qi

irtractiv qi, totugi, suficient de lungd cdt si fie rezonabilir presupune cd, pini atunci, ar putea avea loc trans-

lirrm[ri radicale pe care azi de-abia ni le imaginim. Sd

privim lucrurile la o scali temporalS' mai mici: majo-

ritatea tehnologiilor care vor influenla lumea in cincisilu zece ani sunt deja folosite, in stoc limitat, iar cele

cirre igi vor llsa amprenta asupra lumii in mai pulin de

I Doui declaralii optimiste reluate des in anii 1960: ,,Maqinilevor ff capabile, in aproximativ 20 de ani, si faci tot ceea ce potIrrcc oamenii" (Simon, 1965,1996);,,in decurs de o generaiie [..']prrrtrlema creirii inteligenlei artificiale va fi rezolvati" (Minsky'It)67 , p.2). Pentru o trecere exhaustivi ln revisti a predicfiiloruu privire la IA, vezi Armstrong gi Sottala, 2012.

2 Yezi, de exemplu, Baum et. all, 2011'

25

25 Nick Bostrom

cinsprezece ani probabil c[ existS, 9i ele, deja, ca pro-

totipuri de laborator. Doud decenii constituie, de ase-

menea, durata tipici a carierei unui specialist in astfel

de prediclii, presupunAnd punerea in joc a reputaliei

prin realizarea unei prediclii curajoase.

Faptul c[, in trecut, unii au fbcut estimiri nerealiste

cu privire la aparilia inteligenlei artificiale nu inseam-

ni ci aceasti formi de inteligenll este imposibili, cinu va apirea nicicAnd.l Principalul motiv pentru care

progresul a fost mai lent decdt spera lumea line de fap-

tul ci elaborarea unei maginirii inteligente s-a dovedit

mai dificili decit au preconizat primii care au avut invedere acest proiect. Agadar, nu se gtie cAt de mari sunt

aceste dificulteli gi nici cit ne va lua pentru a le depiqi.

lJneori, o problemi care pare extrem de complicatipoate avea o solulie foarte simpln (deqi situalia inversi

este, probabil, mai comunl).ln capitolul urmitor, vom inspecta ciile posibile

care pot duce la o inteligenld artificiali comparabilicu cea uman6. inainte, permiteli-mi totuqi si subliniez

c[, oricit ne-am poticni intre momentul actual 9i pAni

in cel in care yom avea o maqindrie cu o inteligenllde nivel uman, nici micar acest ultim punct nu va fiunul final. Urmitoarea stalie, prima dupS realizarea

maqiniriei, va fi aceea a inteligenlei artificiale de nivel

suprauman. Trenul s-ar putea si nu opreasci, poate

1 Asta ar putea sugera, totuqi, c[ cercetltorii care se ocupi de

IA gtiu mai puline decAt cred despre cronologia evoluliei - ceea

ce poate avea rezultate contrare:,ei fie vor subestima, fie vor su-

praestima momentului aparilieitnteligenlei artificiale.

Superinteligenla

rrlci nricar sd. incetineasc5, in stalia umanitllii. Posibilrr l-o traverseze ca vdntul.

Matematicianul L|. Good, statistician-gef in echipalul Alan Turing, in timpul celui de-al Doilea RdzboiMonclial, a formulat, pentru prima dati, aspectele*t,rrfiale ale acestui scenariu, Intr-un pasaj des citat,t e tlrteazl din 1965, el sus{ine:

Prin magini ultrainteligentd in{elegem o maEinlerlrc poate dep6gi, de departe, activitatea intelectua-ll1 n oricirei fiin{e umane, oricAt de inteligenti ar firlccasta din urml. Din moment ce construirea uneirrstl'el de magini depinde tocmai de activitatea inte-lcctuali, o magini ultrainteligenti ar putea realiza,rle una singur6, magini chiar mai eficiente; asta artlut:e, firi lndoiald, la o "explozie de inteligenli" care

rtl ldsa cu mult in urm6 inteligenta umani. Astfel,Irrvcntarea unei maqini ultrainteligente va fi ultimulIrrcru pe care trebuie sl-l faci omul, cu condilia ca

rrccasta si fie suficient de docili, incAt si ne arate

cr.llll s-o {inem sub control.l

l'irre evident cd o asernenea dezvoltare a inteligenleivrr l'i asociati cu riscuri existenliale majore gi ci ur-rttrlrile vor trebui previzute cu maximl atenlie, chiar

1l qtiind ci probabilitatea ca ele sd se concretizezerrt l'i redusi (nefiind insd cazul). $i, totugi, pionieriiI r r tel i genfei artificiale, deqi postuleazl iminenla reali-rllrii uneia de nivel umarl, s-au gdndit mai pufin laposibilitatea apariliei unei inteligente supraumane.( lr $i cum latura mentali cu care acegtia fac speculafii

27

(iood, 1965, p, 33

28

unei epoci ce nu s-a remarcat prin gindire critici laadresa-domeniului tehnic.? Nu putem decit si sperim

I O excep{ie este Norbert Wiener, care a avut cAteva presim}iri

cu privire la posibilele consecinfe' Iatd ce scria tn 1960: "Dacivom folosi, pintru a ne atinge scopurile, agenli mecanici cu care

"t t"* ptti" interfera foarie bine dupi pbrnire, pentru ci totul

a..otg.:fou.t. rapid qi este irevocabil 9i nu vom avea suficien-

te inf;malii p.t ito u interveni inainte ca acliunea si ffe fina-

iir"la, "t"tti irebuie si fim cu adevirat siguri c[ sco.pul atribuil

masinlriei este exact scopul dorit de noi, qi nu o palidi aproxi-

maie a lui" (Wiener, 1960). Ed Fredkin a vorbit' 9i el' despre in-

;Jj*ttti; t;1. privind superinteligenfa, intr-un .interviu redat

fuiCorduck, tgzs.panain 1970, qi Good a scris despre riscu

suger6nd crearea unei asocialii care si lupte imp.otriva acestori

iC?"J, isz0). A se vedea 9i articolul siu de mai tdrziu. (G.ood

is82), ln care contureazl citeva dintre ideile ,,normativitifii in

ai*.i*", pe care le vom discuta in Capitolul 13' ln 1984' Marvit

Minsky icria, la rAndu-i, despre citeva lngrijoriri principa

(Minsky, 1984).t Cf. yuodkovski (200s a). Cu privire la importan{a stabili

unor repere etice pentru viitoar4e-tehnologii inainte ca

si apari, vezi Roache (2008). l

Superinteligensa 29

ci, pAni in momentul in care aceaste intreprindereva deveni cu adeverat fezabili, vom avea atit capaci-tatea tehnici pentru a susline ampla dezvoltare infor-matici:, cit gi competenla necesarl pentru a-i asiguraefectele durabile.

Dar, inainte s[ vedem ce va urma, sd arunc[m o

privire scurti peste istoria inteligenlei artificiale.

Perioade de speranfi Ei perioade dedisperare

in vara anului 1956, la Colegiul Dartmouth, zece

oameni de'qtiinfi interesafi, cu tofii, de relelele neu-ronale, de teoria roboticii gi de studiul inteligenfei, au

hotirdt s5 participe la un seminar de qase sdptimdni.Proiectul de vari de la Dartmouth, cum este cunoscut,este vizut cu precidere ca evenimentul in urma c[ru-la a aplrut domeniul de cercetare a inteligenlei artifi-ciale. Mu\i participanli aveau s[ fie considerafi, rnait[rzlrrt, drept pirinli ai domeniului. Spiritul optimistcare ii caracterizape ace$tia transpare din propunereaflcuti Fundaliei Rockefeller, care finanla proiectul;

Propunem desfbqurarea unui studiu realizat de

zece oameni, care si dureze doui luni [...] Studiulpleactr de Ia presupozi{ia cA orice aspect al 1nv6!5riigi orice caracteristici a inteligenlei poate fi, ln prin-cipiu, descrisi atAt de precis, lncAt si fie sirnulat[ de

o magini. Vom lncerca s{ gisim modafite$ prin care

sb determinim maginile ce utilizeazd lirnbajul 9i re-alizeazd abstrac{iuni gi concepte si rezolve proble-me care astizi le sunt rezervate oamenilor, precum

Nick Bostrom

s-ar fi epuizat lntr-un asemenea grad odat[ cu con-

.ep.r"* potibilitelii existenfei unei maqinirii care si

atingi inteligen{a umana' incit, pur 9i simplu, nu mai

pot loncepJqi corolarul - posibilitatea ca maqinile si

devini superinteligente.pe de alte parte, precursorii inteligentei artificiale

nu au luat in ialcul posibilitatea ca intreprinderea lor

si implice riscuri.l Nici mecar nu au verbalizat ^ dar

se se gendeascl serios la aceasti chestiune! * pericolul

impliiat de minlile artificiale sau posibilele consecinle

etice pe care le-ar putea avea existenla unor stepeni

ciberietici: o lacunl uimitoare, mai ales pe fundalul