Curs 1 Noiuni generale ale teoriei jocurilor

Introducere
Teoria jocurilor este o ramur relativ nou a microeconomiei dezvoltat n ultimii 60 de ani. Ea a aprut odata cu publicarea lucrrii The Theory of Games and Economic Behaviour de ctre John von Neumann i Oskar Morgenstern n 1944. Acetia au definit jocul ca orice interaciune ntre diveri ageni, guvernat de un set de reguli specifice care stabilesc mutrile posibile ale fiecrui participant i ctigurile pentru fiecare combinaie de mutri. Aceast descriere se poate aplica aproape oricrui fenomen social. Astfel nct se atepta de la aceast tiina rezolvarea tuturor situaiilor n care oamenii realizeaz c rezultatul aciunilor lor depinde nu numai de acestea, dar i de aciunile celorlali participani la acea interaciune. De la comportamentul n trafic pn la decizii de producie i de la rzboiul preurilor la decizia de a avea copii, totul prea c va fi analizat tiinific cu ajutorul teoriei jocurilor. Dei nu a satisfcut toate aceste ateptri, teoria jocurilor i-a gsit numeroase aplicaii n domeniul tiinelor sociale, inclusiv, sau, poate, mai ales n domeniul economiei. Teoria jocurilor utilizeaz trei ipoteze fundamentale: juctorii se comport raional; fiecare tie c ceilali sunt raionali; toi juctorii cunosc regulile jocului. Pentru a nelege un joc oarecare este necesar mai nti cunoaterea regulilor acestuia, deoarece astfel se poate afla care aciuni sunt permise (posibile) la un anumit moment. Apoi este necesar a se cunoate cum aleg juctorii o aciune din mulimea aciunilor posibile. Problema alegerii aciunilor de ctre juctori este legat de primele dou ipoteze amintite anterior. Juctorul care are un comportament raional are anumite preferine asupra lucrurilor: el prefer mierea - zahrului, muzica clasic - jazz-ului, etc.; acest juctor este raional deoarece el va alege acea aciune care i va satisface cel mai bine preferinele sale. Se poate spune, n consecin, c juctorul raional are o anumita ierarhie a preferinelor, astfel nct este posibil exprimarea acestora cu ajutorul unor funcii de utilitate. Se poate observa c ipotezele cu care opereaz teoria jocurilor sunt aceleai cu care se lucreaz n economie i n alte domenii. Definiia 1. Jocul cu n juctori este o succesiune de decizii i evenimente aleatoare, simultane sau nu, care respect o anumit structur a ctigului, dat de anumite reguli de funcionare (regulile jocului). Evenimentul aleator presupune o distribuie de probabilitate asupra unui cmp de evenimente. Regulile jocului vor indica modul n care se iau deciziile de ctre juctori i ordinea acestora. Un juctor este raional dac va cuta s-i maximizeze satisfacia n raport cu deciziile proprii, dar innd cont de deciziile celorlali juctori. Definiia 2. Vom numi strategie a unui juctor, o aciune realizabil (posibil), pe care juctorul o poate alege n cadrul jocului. Mulimea strategiilor jocului este dat de mulimea strategiilor tuturor juctorilor. Vom nota mulimea strategiilor jocului astfel:

Curs 1: Elemente ale teoriei jocurilor

S = S1 x S2 x ... x Sn, unde n este numrul de juctori. n unele situaii, natura (hazardul) este al (n + 1) - lea juctor. Definiia 3. Numim funcie de ctig a jocului funcia u = (u1, u2, ...un), format din funciile de ctig ale fiecrui juctor. Notnd funcia de ctig a fiecrui juctor ui i funciile de ctig ale celorlali juctori u-i, funcia de ctig a jocului va fi: u : S R, u = (ui, u-i). Definiia 4. Numim strategie optimal acea strategie care maximizeaz ctigul juctorului i, indiferent de strategiile alese de ceilali juctori. Echilibrul Nash (care a preluat numele creatorului sau, John Nash) este o mulime de strategii (s1*, s2*, ..., sn*) care respecta condiia: sau ui (s1*, s2*,...,si*, ..., sn*) ui (s1*, s2*,...,si, ..., sn*) " i = 1, n ui (si*, s-i*) ui (si, s-i*), " i = 1, n

n continuare vom aminti o clasificare a jocurilor n raport cu diverse criterii: a. n raport cu modul n care comunica juctori ntre ei avem - jocuri cooperative; - jocuri necooperative. Jocurile cooperative sunt acele jocuri n care juctorii comunic liber ntre ei nainte de luarea deciziilor i pot face promisiuni (care vor fi respectate) nainte de alegerea strategiilor. Jocurile necooperative sunt jocurile n care juctorii nu comunic ntre ei nainte de luarea deciziilor. b. n raport cu desfurarea n timp a jocurilor - jocuri statice - jocuri dinamice Jocul static este acel joc n care deciziile juctorilor se iau simultan, dup care jocul ia sfrit. Jocul dinamic este acel joc n care deciziile juctorilor sunt secveniale, adic evolueaz n timp. c. n raport cu natura informaiei - jocuri n informaie complet - jocuri n informaie incomplet Jocul n informaie completa este acel joc n care toi juctori cunosc numrul celorlali juctori, strategiile fiecruia, funciile de ctig ale fiecruia, precum i regulile jocului. Jocul n informaie incompleta este jocul n care cel puin unul dintre juctori nu cunoate una sau mai multe funcii de ctig ale celorlali juctori, restul elementelor (numrul celorlali juctori, strategiile fiecruia i regulile jocului) fiind cunoscute. d. n cazul jocurilor dinamice, n raport cu tipul informaiei
10

Curs 1: Elemente ale teoriei jocurilor

- jocuri n informaie perfect - jocuri n informaie imperfect Jocul dinamic n informaie perfect este jocul dinamic n care fiecare dintre juctori cunoate regulile, numrul juctorilor, strategiile acestora, precum i evoluia n timp a jocului (istoria jocului). Jocul dinamic n informaie imperfect este jocul dinamic n care mcar unul dintre juctori nu cunoate istoria jocului, cunoscnd celelalte elemente. e. n raport cu structura ctigurilor - jocuri de sum nul - jocuri de sum nenul Jocul de suma nula este acel joc n care suma ctigurilor este zero . Jocul de suma nenula este jocul n care suma ctigurilor este diferita de zero. f. n raport cu numrul de juctori - jocuri cu doi juctori - jocuri multipersoan - jocuri contra naturii. Exista patru clase de jocuri care vor fi analizate n primele patru capitole ale cursului: jocuri statice n informaie complet, jocuri dinamice n informaie complet, jocuri statice n informaie incomplet i jocuri dinamice n informaie incomplet. Corespunztor celor patru clase de jocuri, exist patru tipuri de echilibre n jocuri: echilibrul Nash, echilibrul perfect n subjoc, echilibrul Bayesian, echilibrul Bayesian perfect.

Jocuri statice n informaie complet

Jocuri sub form normal
Un joc sub form normal (sau strategic) este definit prin trei elemente: mulimea juctorilor i P, cu P ={1,2,..I} o mulime finit, spaiul strategiilor pure Si pentru fiecare jucator i i funciile de ctig ( sau de plat) ui . Vom nota acest joc cu G = {S1 ,..., S I ; u1 ,...u I }. Vom numi strategie pur si Si pentru juctorul i aciunea realizabil care poate fi aleas de juctorul i din spaiul strategiilor pure Si i care i va aduce ctigul ui(s). Vom nota cu s Si , s = (s1 , s 2 ..., s I ) vectorul aciunilor realizabile alese la un moment dat de ctre juctori (uzual, vom mai nota s = (si , s i ) , cu s i = (s1 ,..., si 1 , si +1 ,..., s I ) fiind aciunile (strategiile) alese de ctre juctorii care joac mpotriva juctorului i ). Funciile de ctig ui(s) sunt definite ca funcii de utilitate de tip von Neumann Morgenstern pentru fiecare profil al strategiilor realizabile s = (s1 ,..., s I ) , adic n funcie de strategiile alese de ctre toi juctorii.

11

Curs 1: Elemente ale teoriei jocurilor

De exemplu, la nivelul unui agent economic aceast funcie de utilitate poate fi nivelul profitului, nivelul ncasrilor sau nivelul costului. Pentru analitii politici, aceste ctiguri pot fi numrul de voturi ctigate sau alegerea unei platforme electorale. O categorie special de jocuri o constituie jocurile de sum nul. n cazul acestor jocuri, suma ctigurilor este zero, u i ( s ) = 0 , s Si , adic pierderea unor juctori reprezint
i =1 I

ctigul celorlali. Cum aceste jocuri reprezint doar un caz particular, este mai interesant analiza jocurilor n general, indiferent de suma utilitilor (a ctigurilor). Faptul c jocul se desfoar n informaie complet presupune c juctorii tiu care sunt strategiile realizabile ale tuturor, precum i care sunt funciile de ctig ale fiecruia, n funcie de strategiile alese.Vom numi acestea cunotin comun. Exemplul 1. Dilema prizonierului S considerm exemplul clasic al dilemei prizonierului. Aceasta presupune c doi suspeci sunt arestai, fiind nvinuii de comiterea unei crime. Ei sunt anchetai n camere separate, i fiecare are la dispoziie dou variante de rspuns: fie s pstreze tcerea, adic s nege c ar fi comis crima, fie s l acuze pe cellalt prizonier. Dac suspecii se acuz reciproc, atunci ei vor primi ca pedeaps cte 7 ani de nchisoare. Dac ambii neag, atunci pedeapsa va fi de 1 an nchisoare pentru fiecare, iar dac unul neag, iar cellalt acuz, atunci cel care acuz va fi eliberat , iar cel care neag va fi pedepsit cu 10 ani de nchisoare. n aceast descriere a jocului avem toate elementele necesare pentru un joc sub form normal (strategic). Mulimea juctorilor este finit, i {1,2} , mulimea strategiilor pentru fiecare juctor este aceeai, S = { A, N } ( cu A = Acuz, N = Neag), iar funciile de ctig vor fi:
u1 ( A, A) = 7 ; u1 ( A, N ) = 0 ; u1 ( N , A) = 10 ; u1 ( N , N ) = 1 ; u 2 ( A, A) = 7 ; u 2 ( A, N ) = 10 ; u 2 ( N , A) = 0 ; u 2 ( N , N ) = 1 .

Acest joc n form normal poate fi reprezentat i sub form matriceal. Matricea jocului va conine toate elementele necesare descrierii unui joc n form normal, adic juctorii, strategiile disponibile i funciile de ctig . n cazul nostru avem: Prizonier2 A N -7,-7 0,-10 -10,0 Figura 1 -1,-1

A Prizonier1 N

Liniile i coloanele matricii indic strategiile realizabile ale juctorilor (strategiile pure), iar celulele matricii vor conine ctigurile fiecrui juctor, n funcie de strategiile alese, cu primul numr indicnd ctigul juctorului1, iar al doilea pe cel al juctorului 2. Vom defini o strategie mixt a juctorului i o distribuie de probabilitate pi asupra mulimii strategiilor realizabile (pure). Dac vom nota cu P spaiul strategiilor mixte, el va fi produsul cartezian al strategiilor mixte realizabile pentru fiecare juctor: P = x Pi , cu pi Pi.
12

Curs 1: Elemente ale teoriei jocurilor

Suportul (baza) unei strategii mixte va fi format din strategiile pure pe care le au la dispoziie juctorii, care au asignate probabiliti pozitive de a fi alese. Ctigul juctorului i care va juca strategia mixt pi este: u i ( p i ( s )) = p i ( s j ) u i ( s ) .
s j S

Evident, p i ( s j ) = 1 .
j

Observaie. Putem considera strategiile mixte i ca o generalizare a strategiilor pure, dac pi = (0,0,..,1,..,0) , cu probabilitatea 1 corespunztor strategiei pure s j S i i 0 pentru toate celelalte.

Strategii dominate
Vom explica acest concept pornind de la exemplul precedent. n cazul juctorului 2, el poate juca fie A, fie N. Dac primul juctor va juca A, atunci 2 are de ales ntre a juca A i a avea ctigul (-7) sau a juca N i a avea ctigul (10). Evident c el va prefera s joace A, deoarece st mai puin n nchisoare. Dac 1 joac N, atunci 2 poate juca A, cu cu ctigul (0) sau N, cu ctigul (1). Evident, el va alege tot A. Cu alte cuvinte, indiferent ce ar alege juctorul 1, pentru juctorul 2 este mai bine s joace A dect N, adic vom spune c strategia N (de a nega) este dominat de strategia A (de a acuza). Un raionament asemntor se face i pentru juctorul 1, strategia N fiind dominat de ctre strategia A. Putem da acum urmtoarea definiie:

Definiia 5. n jocul sub forma normal G = {S1 ,..., S I ; u1 ,...u I }, fie si i si dou strategii realizabile pentru juctorul i ( si , si S i ). Vom spune c strategia si este strict dominat (dominat) de strategia si , dac oricare ar fi combinaia de strategii realizabile ale celorlali juctori, ctigul juctorului i dac joac si este strict mai mic (respectiv mai mic sau egal) dect ctigul pe care l are jucnd si : , si +1 ,.., s I ) < ui (s1 ,.., si 1 , si, si +1 ,.., s I ) ui (s1 ,..si 1 , si (sau ui (si , s i ) ui (si, s i ) ) cu s i S1 S 2 ... S i 1 S i +1 ... S I .
Vom presupune c juctorii raionali (vom nelege prin juctor raional acel juctor care urmrete ntotdeauna maximizarea ctigului propriu in funcie de alegerea strategiilor de ctre ceilali juctori) nu vor alege niciodat s joace o strategie dominat. Pentru jocul nostru, vedem c soluia (echilibrul) jocului este ca fiecare juctor s joace A, adic (A,A). Analog, putem defini o strategie strict dominant (slab dominant):

Definiia 6. Strategia pur si este strict dominant (slab dominant) pentru juctorul i dac pi Pi astfel nct ui ( Pi, s i ) > ui (si , s i ) , s i S i ( sau ui ( Pi, s i ) ui (si , s i ) ).

Procesul de determinare a echilibrului reprezint algoritmul de eliminare iterativ a strategiilor strict dominate.
13

Curs 1: Elemente ale teoriei jocurilor

Echilibrul Nash
* Definiia 7 n jocul sub form normal G = {S1 ,..., S I ; u1 ,...u I } ,strategiile pure (s1 ,.., s I* ) constituie un echilibru Nash dac pentru fiecare juctor i, si* este cel mai bun rspuns la strategiile

* ,..si*1 , si*+1 ,.., s I* , adic: celorlali I - 1 juctori s1

* * * * * * * * ui s1 ,..s* i 1 , si , si +1 ,.., s I u i s1 ,..si 1 , si , si +1 ,.., s I sau si* va fi soluia problemei:

* * * * max ui s1 ,..si 1 , si , si +1 ,.., s I . si S i

) (

) , s S
i

Extinznd definiia i n spaiul strategiilor mixte vom avea:

* Definiia 8. O strategie profil mixt p* = p* i , p i constituie un echilibru Nash al jocului

* * G = {S1 ,..., S I ; u1 ,...u I }dac oricare ar fi juctorul i, atunci u i p* i , p i u i si , p i , si S i .

) (

Observaie. Strategia si* care asigura maximizarea ctigului juctorului i in raport cu strategiile jucate de ceilali jucturi se mai numeste cel mai bun rspuns (best response) al juctorului i la strategiile alese de ceilali.
* * * * Cu alte cuvinte, s* i = arg max ui s1 ,..si 1 , si , si +1 ,.., s I . si S i

Vom spune c un echilibru Nash este puternic (strict) dac fiecare juctor are un cel mai bun rspuns la strategiile oponenilor unic ( adic s * este un echilibru Nash puternic (strict) dac
* * u i s* i , s i > u i si , s i ) oricare ar fi juctorul i). Un echilibru Nash este slab (nestrict) dac el nu este unic. n cazul echilibrului obinut prin eliminarea iterativ a strategiilor dominate, acesta este un echilibru Nash puternic, deoarece este unicul echilibru al jocului, iar strategiile alese de juctori sunt cel mai bun rspuns posibil ( deoarece le-am eliminat pe toate celelalte care nu sunt rspunsuri acceptabile).

) (

Deci att n cazul dilemei prizonierului, ct i n cazul jocului prezentat anterior, avem un echilibru Nash unic, (Acuz,Acuz) n primul caz, respectiv (S,M) n al doilea.
Determinarea echilibrului prin algoritmul maximizrii ctigurilor relative (al celui mai bun rspuns)

S determinm echilibrul Nash al jocului prezentat n figura 2 : Juctor2 St M 1,3 3,1 3,1 1,3 2,3 2,3 Figura 2
14

Juctor1

S M J

D 3,2 3,2 4,4

Curs 1: Elemente ale teoriei jocurilor

Algoritmul este urmtorul: pentru fiecare juctor i vom determina cel mai bun rspuns pe care l poate da n raport cu alegerile celorlali juctori. (n matricea jocului, vom sublinia ctigurile juctorului i ce sunt obinute prin alegerea celui mai bun rspuns). Dac exist o combinaie de strategii care s maximizeze ctigurile tuturor juctorilor (respectiv o casu a matricei n care s fie subliniate ambele ctiguri) atunci acesta constituie echilibrul Nash al jocului determinat prin algoritmul celui mai bun rspuns. Aplicnd acest algoritm jocului din figura 2 rezult: dac juctorul 1 ar juca strategia S, atunci pentru juctorul 2 cel mai bun rspuns este s joace St, deoarece 3 > 1 i 3 > 2 , deci vom sublinia ctigul corespunztor, 3, care corespunde strategiei St. Dac 1 ar juca M, atunci 2 va juca M ( 3 > 1 ; 3 > 2 ), i vom sublinia ctigul 3 ce corespunde strategiei M , iar dac 1 ar juca J, atunci 2 va juca D, obinnd ctigul 4, pe care l vom sublinia. Procedm n mod analog i pentru juctorul 2. Dac 2 ar juca strategia St atunci cel mai bun rspuns al juctorului 1 este s joace M cu ctigul 3, pe care l vom sublinia. Dac 2 joac M atunci 1 joac S, cu ctigul 3, subliniat, iar dac 2 joac D, atunci 1 joac J, cu ctigul 4, subliniat la rndul su. Observm c cele mai bune rspunsuri ale juctorilor 1 i 2 au un punct comun, respectiv juctorul 1 s joace strategia J iar juctorul 2 s joace strategia D. Aceasta corespunde situaiei n care n csua (J,D) a matricei ctigurilor sunt subliniate ambele ctiguri, (4,4). Acesta este unicul echilibru Nash al jocului (fiind un echilibru Nash strict).
Exemplu. Btlia sexelor S considerm acum un alt joc celebru i anume btlia sexelor. Acest joc const n urmtoarele: ntr-o familie, soul i soia trebuie s decid unde vor merge ntr-o sear pentru a se distra, avnd de ales ntre a merge la un meci de fotbal i a merge la teatru. Dintre aceste variante, soul prefer s mearg la fotbal, iar soia la teatru. Dac unul din ei cedeaz, atunci cel care cedeaz va avea ctigul 2, iar cel care nu cedeaz, va ctiga 4. n cazul n care nici unul nu cedeaz, atunci vor ramne acas, iar ctigul fiecruia va fi 0.

Matricea jocului este urmtoarea: Soie

F F
So 4,2 0,0 Figura 3

T
0,0 2,4

S determinm care este echilibrul Nash al acestui joc, prin algoritmul maximizrii ctigurilor relative: dac soul alege s mearg la fotbal, atunci cel mai bun rspuns al soiei este s cedeze, (deoarece dac nu cedeaz ctig 0, n timp ce dac va ceda va ctiga 2). Dac soul alege s mearg la teatru, evident pentru soie este optim s aleag aceeai strategie. Raionnd analog i pentru soie, obsevm c n cazul acestui joc, avem dou echilibre Nash n strategii pure, adic (F,F), respectiv (T,T), cu ctigurile (4,2), respectiv (2,4). Cum deja am gsit dou echilibre Nash ale jocului, intrebarea care se pune n continuare este aceea de a vedea dac nu mai sunt i alte echilibre. Pentru aceasta vom cuta echilibre n strategii mixte.
15

Curs 1: Elemente ale teoriei jocurilor

Algoritmul determinrii echilibrului n strategii mixte

Prin acest algoritm vom determina echilibrul (sau echilibrele) n strategii mixte. Pentru aceasta vom asocia fiecrei strategii pure a juctorului i o anumit probabilitate. Pentru fiecare juctor, mulimea strategiilor formeaz un cmp complet de evenimente, deci suma probabilitilor asociate va fi unitar. n continuare, pentru fiecare strategie vom determina ctigul ateptat. Vom elimina din calcule strategiile dominate - sau le asociem probabilitatea nul (0) de a fi jucate i vom determina probabilitile pentru care ctigurile aduse de strategiile nedominate sunt egale. Acesta va constitui echilibrul jocului n strategii mixte.
Observaie. Probabilitile asociate strategiilor reprezint ipoteze pe care le fac ceilali juctori despre modul n care va juca juctorul i.

n cazul btliei sexelor vom avea: presupunem c soia crede c soul va merge la fotbal cu probabilitatea p1 i la teatru cu probabilitatea 1- p1,iar soul crede c soia va merge la fotbal cu probabilitatea p2, respectiv la teatru cu probabilitatea 1- p2. n figura 4 avem reprezentarea sub form matriceal :

P1

p2 F 4,2
0,0

Soie 1 p2 T 0,0 2,4

So

1 p1

T
Figura 4.

Atunci ctigul asociat strategiei mixte (p1, 1- p1) este ctigul ateptat de soie dac alege s merg la teatru, respectiv la fotbal. Astfel, atunci utilitatea ateptat a soiei va fi:
u 2 (( p1 ,1 u 2 (( p1 ,1 p1 ); F ) = 2 p1 + 0 (1 p1 ) = 2 p1 p1 );T ) = 0 p1 + 4 (1 p1 ) = 4 4 p1 .

La echilibru, u 2 (( p1 ,1 p1 ); F ) = u 2 (( p1 ,1 p1 );T ) i p1 + p2 = 1 Din rezolvarea sistemului rezult p1 = 2 3 . Deci dac soia crede c soul dorete s mearg la fotbal cu o probabilitate p1 > 2 3 atunci soia va alege s mearg la fotbal, (adic p 2 = 1 ), iar dac p1 < 2 3 atunci deci va alege s mearg la teatru ( p 2 = 0 ). n cazul n care p1 = 2 3 atunci i este indiferent ce alege, deoarece ctigul ateptat este acelai. Cu alte cuvinte, dac p1 > 2 3 , atunci cel mai bun rspuns al soiei este s mearg la fotbal, iar dac p1 < 2 3 atunci cel mai bun rspuns al soiei este s mearg la teatru.

16

Curs 1: Elemente ale teoriei jocurilor

Raionnd analog i pentru so, vom obine p 2 = 1 3 , adic soul va alege s mearg la fotbal dac el crede c soia dorete s mearg la fotbal cu o probabilitate p 2 > 1 3 i s mearg la teatru, dac p 2 < 1 3 , fiind indiferent unde va merge dac p 2 = 1 3 . Prin urmare, mai exist un echilibru Nash al jocului, echilibru n strategii mixte, pentru care
* * strategiile mixte sunt: p1 , p 2 = ((2 3,1 3),(1 3, 2 3)) .

Existena echilibrului Nash

n paragraful anterior, am definit echilibrul de tip Nash i am artat modul n care poate fi determinat. ntrebarea care se impune n continuare este urmtoarea: n ce condiii exist un echilibru de tip Nash? Rspunsul la aceast ntrebare este dat de teorema lui Nash:

Teorema Nash Orice joc finit sub form normal are un echilibru n strategii mixte. Observaie. n cazul n care gsim un echilibru n strategii pure, el poate fi asimilat unui echilibru n strategii mixte, n care probabilitile de realizare ale tuturor strategiilor sunt 0, mai puin strategia care constituie echilibrul, care va avea probabilitatea de realizare 1.
Un rezultat mai puternic a fost dat de Debreu(1952), prin urmtoarea teorem:

Teorema Debreu Fie un joc sub form normal n care spaiul strategiilor Si este o mulime nevid, compact i convex i aparine unui spaiu euclidian (nu neaprat finit). Dac funciile de ctig ui sunt continue n S i cvasi-concave n Si atuci exist un echilibru Nash n strategii pure.
O problem ce poate apare aici este interpretarea echilibrului n strategii mixte. Ce reprezint acest echilibru? Dac n strategii pure descrierea acestui echilibru este suficient de clar ea reprezint strategia ce trebuie aleas asfel nct s se maximizeze funcia de ctig (sau utiliatea) juctorilor un echilibru n strategii mixte este mai dificil de neles.Cum se alege o strategie mixt n condiii practice? Aici apare acea doz de incertitudine datorat probabilitilor de alegere a uneia sau alteia din strategii ( pentru c, n final, se va juca o strategie pur i nu una mixt!). Conceptul de strategie mixt ne ajut ns n a determina punctul de echilibru, respectiv optimul unui joc. Apoi, alegerea uneia sau alteia din strategii se va face n funcie de ct de apropiat este de strategia mixt optimal n cazul n care avem de-a face cu strategii exprimate n form discret. Problema este rezolvat n cazul unor strategii sub form continu ( aa cum ne asigur i teorema anterioar), n acest caz determinndu-se cu precizie strategiile ce trebuie adoptate pentru a se realiza maximizarea ctigului. n cazul n care avem un joc al crui soluie poate fi determinat prin algoritmul de determinare iterativ prin eliminarea strategiilor dominate, atunci echilibrul este i unic. Aceasta poate fi rezumat n urmtoarea propoziie:

17

Curs 1: Elemente ale teoriei jocurilor

Propoziie ntr-un joc cu n juctori sub form normal, G = {S1 ,..., S n ; u1 ,...,u n } dac exist un echilibru obinut prin eliminarea strategiilor strict dominate atunci acesta este unicul echilibru Nash al jocului. Observaii. a) pentru jocurile n care strategiile sunt dintr-un spaiu discret, dac exist un echilibru n strategii pure unic, atunci acel echilibru poate fi determinat prin algoritmul maximizrii ctigurilor relative. n plus, toate echilibrele n strategii pure pot fi determinate prin acest algoritm.
b) Dac nu poate fi determinat echilibrul prin algoritmul maximizrii ctigurilor relative, atunci pentru jocul considerat exist doar echilibre (sau echilibru) n strategii mixte.

Jocuri dinamice n informaie complet

Jocuri dinamice n informaie complet i perfect
Un joc dinamic este acel joc n care alegerile juctorilor sunt efectuate la diverse momente de timp. Un exemplu clasic pentru asemenea jocuri este aa numitul joc al grenadei. Iat n ce const acesta: un individ care are n mn o grenad i spune unui al doilea: daca nu mi dai 1 milion de USD voi detona grenada i vom muri mpreun. n aceste condiii celalalt juctor poate fie s-i dea banii, fie s nu i dea, riscnd ca cellalt s detoneze grenada. n acest joc vedem c exist trei momente n care se fac alegerile juctorilor, i anume: ameninarea primului juctor, apoi decizia celui de-al doilea de a da sau de a nu da banii i n sfrit decizia celui cu grenada de a o detona sau nu.
Definiia 9. Vom numi istorie a jocului h t +1 la momentul t+1 (sau n etapa t+1) secvena de decizie pe care au luat-o juctorii n cele t etape anterioare ale jocului. h t +1 = ( s 0 , s 1 , K, s t ) n aceste condiii vom defini mulimea aciunilor posibile pentru juctorul i ca fiind: Definiia 10 Vom numi aciune fezabil a juctorului i la momentul (etapa) t+1 acea aciune ce poate fi aleas de juctorul i din mulimea aciunilor pe care le are la dispoziie. Vom nota mulimea aciunilor posibile (fezabile) a juctorului i la momentul t+1 cu Ai (h t +1 ) . Definiie 11. Vom numi strategie pur a juctorului i un plan al aciunilor pe care le va juca juctorul n fiecare etapa t. Dac vom nota cu Ht mulimea istoriilor jocului la momentul t, atunci Ai H t = U Ai (h t ) .

( )

h t H t

u i (si , s i ) : H it +1 R .

Definiia 12. Vom numi funcie de ctig a juctorului i aplicaia U i : H it +1 R ,

strategie care respect condiia u i (si , s i ) u i s i' , s i si' S i (cu alte cuvinte cea mai bun alegere posibil a juctorului i indiferent de alegerile celorlali juctori).
18

Definiia 13 Un echilibru Nash n strategii pure pentru jocul dinamic Gi = (S i ,u i ) va fi acea

Curs 1: Elemente ale teoriei jocurilor

Definiia 14. Vom numi joc sub form extins acel joc dinamic n care se cunosc: a) mulimea juctorilor; b) mulimea strategiilor fiecrui juctor; c) ordinea n care juctorii iau deciziile; d) funciile de ctig ale juctorilor.

Reprezentarea grafic a juctorilor sub forma extins se face sub forma unui graf de tip arbore. n acest graf vom avea urmtoarele elemente: - nodurile grafului sunt momentele la care juctorii aleg o strategie posibil; - arcele grafului reprezint aciunile alese ale juctorilor; - nodul iniial reprezint momentul de nceput al jocului; - nodurile finale indic sfritul jocului i n dreptul lor sunt specificate ctigurile juctorilor. De exemplu, reprezentnd sub forma extins jocul grenadei obinem:
2 P 1 D ND D NP 1 ND

3 3

1 1

2 2
Figura

0 1

Observaie Vom presupune c graful ce descrie forma extins a jocului nu conine cicluri i duble precedene, cu alte cuvinte se poate defini o relaie de ordine parial pe acest graf: x y care nseamn nodul lui x este naintea nodului y.
Definiia 15. Vom numi cale a jocului mulimea nodurilor i arcelor ce conduc din nodul iniial ntr-un nod final.

Observaie O cale a jocului poate fi identificat cu istoria final a acestuia.

Definiia 16. Vom numi joc n informaie perfect acel joc n care toi juctorii tiu la orice moment t ce decizii s-au luat n etapa anterioar (la momentul t-1). Definiia 17. Vom numi joc cu memorie perfect (perfect recall) acel joc n care toi juctorii tiu istoria jocului de la momentul 0 pn la momentul t. Definiia 18. Vom numi echilibru perfect n subjoc (subgame perfect equilibrium) o strategie s care, pentru orice istorie ht, S h t din G h t este un echilibru Nash al lui G h t .

( )

( )

( )

19

Curs 1: Elemente ale teoriei jocurilor

Determinarea echilibrului prin algoritmul induciei recursive (backward induction).

Fie un joc dinamic cu doi juctori, dou etape, iar mulimile strategiilor juctorilor sunt S1 i S2, iar funciile de ctig sunt U1 i U2. Desfurarea jocului este urmtoarea: Juctorul 1 alege aciunea a1 din S1 n prima etap. n etapa a doua juctorul 2 observ alegerea juctorului 1, deci pe a1 i alege aciunea sa a2 din S2, dup care jocul ia sfrit. n acest moment ctigurile juctorilor vor fi u1(a1,a2) respectiv u2(a1,a2). Pentru jocul descris anterior vom formula algoritmul induciei recursive. Acest algoritm pornete de la principiul c, la ultima etap a jocului, juctorul care urmeaz s decid tie deja care au fost strategiile alese de ceilali deci n consecin va alege acea aciune care s i maximizeze ctigul.
Etapa 1. Juctorul 2, observa alegerea juctorului 1 i caut aciunea care s i maximizeze ctigul: R2 (a1 ) = arg max u 2 (a1 , a 2 )
a2S 2

Aceasta constituie funcia de reacie (funcia celui mai bun rspuns) a juctorului 2 n raport cu aciunea aleas de juctorul 1.
Etapa 2. Juctorul 1 tie c juctorul 2 va juca R2 (a1 ) i prin urmare va caut s-i maximizeze ctigul prin alegerea strategiei:
* a1 = arg max u 2 (a1 , R2 (a1 )) a1S1

Reprezentarea jocurilor dinamice sub form normal

Jocurile dinamice pot fi reprezentate sub form normal, prin intermediul formei matriceale, dac se va construi un plan complet de aciune n raport cu strategiile care pot fi jucate de ctre ceilali juctori. Acest plan este construit ex-ante, adic nainte de nceputul jocului. Dup ce jocul ncepe vom discuta de istoria jocului.
Exemplu: Se consider urmtorul joc descris sub forma extins:
1 S 2 S D S D 2 D

2 1

0 0

1 1
Figura
20

3 2

Curs 1: Elemente ale teoriei jocurilor

Pornind de la forma extins vom construi forma normal echivalent : (S,S) 2, 1 -1, 1 2 (S,D) 2, 1 3, 2 Figura Aceasta form normal se construiete ca un plan complet de aciune posibil n raport cu alegerile juctorilor. (De exemplu, dac juctorul 1 alege strategia stnga (S), atunci juctorul 2 poate alege S sau D, dar netiind ce a ales juctorul 1, se gndete la 4 variante de ctig posibile, n raport cu ce ar fi putut juca primul juctor). Pentru aceast form putem determina echilibrul prin algoritmii descrii n capitolul anterior. Astfel, jocul descris n figura 3.3 are un unic echilibru n strategii pure, i anume (D,D). Acelai echilibru rezult i n cazul n care aplicm algoritmul induciei recursive.
Jocuri dinamice n informaie imperfect

S D

(D,S) 0, 0 -1, 1

(D,D) 0, 0 3, 2

Jocurile dinamice n informaie imperfect sunt acele jocuri n care juctorii (unul sau mai muli) nu cunosc istoria jocului (sau o etapa a acesteia). S relum jocul de la exemplul anterior, de acest dat n informaie imperfect. (figura 3.4)
1 S 2 S D S D 2 D

2 1

0 0

1 1
Figura 3.4

3 2

Observaie Linia punctat din dreptul juctorului 2 indic faptul c juctorul 2 nu tie care a fost strategia aleas de juctorul 1 (S sau D) n prima etap a jocului. Aceasta situaie poate fi considerat echivalent cu faptul c juctorul 2 alege simultan cu primul juctor strategia. n acest caz putem reprezenta sub form normal jocul n informaie imperfect, respectiv sub form matriceal, ca n figura 3.5: 2 S 1 D S 2,1 -1,1 Figura 3.5
21

D 0,0 3,2

Curs 1: Elemente ale teoriei jocurilor

n acest caz jocul are dou echilibre, i anume (S, S), respectiv (D,D). Totui, echilibrul (S,S) nu este credibil deoarece (D,D) aduce ctiguri mai mari ambilor juctori.
Echivalena strategiilor pure cu cele mixte Definiia 19. Dou strategii pure si i si sunt echivalente dac au aceeai distribuie de probabilitate oricare ar fi strategiile pure ale adversarilor. Definiia 20. Vom numi forma strategic redus (sau forma normal redus) a unui joc sub forma extins acel joc n care s-au pstrat doar clasele de strategii echivalente (se pstreaz doar un singur membru al fiecrei clase de echivalen).

Analog modului n care am definit strategiile mixte pentru jocurile statice, le vom defini i pentru jocurile dinamice. Luce i Raiffa (1987) au fcut urmtoarea analogie pentru a explica relaiile dintre strategiile mixte i cele pure (sau de comportament): o strategie pur este o carte de instruciuni, n aceast carte se specific la fiecare pagin modul n care se va juca dac avem anumite informaii. Spaiul strategiilor este mulimea crilor din bibliotec. O strategie mixt este o distribuie de probabilitate asupra crilor din bibliotec, adic un mod aleator de a selecta o carte. n condiiile unor jocuri n informaie perfect (perfect recall) strategiile mixte i cele pure (comportamentale) sunt echivalente Teorema Kuhn ntr-un joc dinamic n informaie perfect strategiile mixte i strategiile pure sunt echivalente (sau altfel spus, fiecare strategie mixt are echivalent o unic strategie pur, sau fiecare strategie pur este echivalent cu fiecare strategie mixt generat de aceasta). Observaie Mai multe strategii mixte pot genera aceeai strategie pur. Pentru a determina echilibrele unui joc dinamic vom utiliza teorema Zermelo Kuhn:
Teorema Zermelo Kuhn Un joc finit n informaie perfect are un echilibru Nash n strategii pure.

Demonstraia acestei teoreme se face pe baza algoritmului lui Zermelo care este o generalizare a induciei recursive cu mai muli juctori (pe baza programrii dinamice). Cum jocul este finit, exist o mulime de noduri penultime, adic anterioare nodurilor terminale. n aceste noduri se determin ctigurile maxime pe care le pot avea juctorii ce trebuie s joace n acel moment. De aici vom avansa n sens invers n cadrul arborelui pn la nodul iniial, pentru care vom determina strategia de echilibru. Se verific uor c aceast strategie este un echilibru Nash al jocului dinamic. Observaie Dac vom slbi condiiile teoremei, atunci algoritmul lui Zermelo nu mai este eficient. De exemplu, pentru jocurile infinite sau pentru jocurile cu strategii nestrict dominate nu se poate determina echilibrul pornind de la acest algoritm.
22

Curs 1: Elemente ale teoriei jocurilor

Echilibrul perfect n subjoc Definiia 21. Vom numi subjoc propriu G al unui joc sub form extins T secvena de noduri i arce ce ncep dintr-un nod unic i se continu cu toi succesorii acelui nod (un subarbore al arborelui iniial). Definiie 22. Vom numi echilibru perfect n subjoc acea strategie p a jocului G care este echilibru Nash al oricrui subjoc propriu al lui G.

Observaii 1. Cum orice joc poate fi privit ca propriul sau subjoc, un echilibru perfect al subjocului este n mod necesar un echilibru Nash. 2. Echilibru perfect al subjocului este n cazul jocurilor finite acelai cu cel determinat prin algoritmul induciei recursive.
Jocuri repetate O categorie special o reprezint jocurile repetate. Definiia 23 Vom numi joc-etap acea secven de decizii (static sau dinamic) ce se repet de un numr T de ori (T eventual infinit).

Jocurile pot fi finit sau infinit repetate, n raport cu orizontul T n care se desfoar jocul. n continuare vom defini elementele fundamentale ale acestor tipuri de jocuri:
Vom nota cu G =(xAi,U ) jocul-etap i i spaiul distribuiilor de probabilitate asupra aciunilor Ai ale juctorului i; Jocurile se desfoar n informaie perfect i complet, respectiv la sfritul fiecrei etape orice juctor tie istoria jocului i ctigurile obinute.
t t ,..... a n ) aciunile alese de cei n juctori la momentul t, i atunci Vom nota cu a t = ( a 1t , a 2

). istoria jocului va fi h = (a , a ,....a O strategie pur n jocurile repetate este reprezentat de o secven de strategii pure ale joculuietap, de la nceput pn la sfritul jocului. O strategie mixt Pi va fi descris de o secven de strategii mixte i i . Funciile de ctig vor fi descrise prin:
U i = E p (1 ) t u i ( p t ( h t )) - pentru jocuri infinit repetate
t =0

t 1

Ui = Ep

1 1 T +1

t =0

u i ( p t (h t )) - pentru jocuri finit repetate, unde:

Ep = ctigul ateptat de strategia p; = factor de actualizare intertemporal (factor de discont); = 0 reprezint juctorii ce nu au rbdare s continue jocul i se opresc dup prima etap;

23

Curs 1: Elemente ale teoriei jocurilor

= 1 reprezint juctorii perfect rbdtori, pentru care ctigurile fiecrei perioade

sunt echivalente.
Criteriul urmat de juctori n alegerea strategiilor este maximizarea ctigului mediu (ateptat) pe unitatea de timp, respectiv:
max lim inf E ( 1 ) u i ( p t (h t )) T t =0 T
T

Pentru jocurile finit repetate soluia poate fi determinat prin algoritmul induciei recursive, iar acest algoritm arat faptul c echilibrul Nash al jocului finit repetat este repetarea n fiecare etap a echilibrului Nash al jocului etap.
Jocuri finit repetate

Vom considera urmtorul exemplu: fie jocul-etap G dilema prizonierului i este repetat de un numr T de ori, finit. Jocul finit repetat va fi G(T). Juctor 2 A N -8,-8 -10,0 0,-10 -2,-2

Juctor 1

A N

Determinnd echilibrul prin inducie recursiv obinem: la ultima etap, ambii juctori vor acuza deoarece nu au ncredere c jocul ar putea avea o desfurare cooperativ (adopt echilibrul Nash). La penultima etap, deja se cunoate (anticipat) rezultatul ultimei etape, deci juctorii vor adopta acelai comportament, respectiv se vor acuza reciproc. Continund raionamentul, atingem etapa iniial a jocului prin determinarea la echilibru n fiecare etap a echilibrului Nash pentru jocul-etap. Deci echilibrul jocului finit repetat este repetare de T ori a strategiei (A, A).
Propoziie Dac jocul-etap G are un echilibru Nash unic, atunci pentru orice joc finit repetat G(T) exist un echilibru perfect n subjoc unic: repetarea echilibrului Nash asociat joculuietap. Demonstraie Prin algoritmul induciei recursive, plecnd de la ultima etap se poate atinge pentru orice subjoc propriu repetarea echilibrului Nash al jocului-etap, aa cum a fost artat anterior. Critici la echilibrul perfect n subjoc Una dintre problemele care apare la interpretarea acestui rezultat este c acest echilibru nu este credibil. De exemplu, dac dilema prizonierului se va repeta de trei ori (T=3), atunci avem urmtoarele: la ultima etap juctorii vor alege strategia (A, A), dar pn atunci, cel puin o etap, este mai bine pentru ei s aleag o strategie de cooperare, respectiv (N, N). n cazul n care echilibrul jocului este repetarea strategiei (A, A) de trei ori (determinat prin inducie recursiv), atunci ctigul total al juctorului i va fi

vi (( A, A), ( A, A), ( A, A)) = (8) + i (8) + i2 (8) = (8)(1 + i + i2 ) = (8)

1 i3 1i

Dac cel puin prima etap juctorii vor coopera, respectiv vor alege strategia de a nega amndoi (N,N), atunci ctigurile vor fi:
24

Curs 1: Elemente ale teoriei jocurilor

vi' (( N , N ), ( A, A), ( A, A)) = (2) + i (8) + i2 (8)

Evident vi < vi , ()i = 1,2 , cu alte cuvinte pentru cel puin o perioad juctorii vor alege s coopereze, chiar dac jocul este necooperativ, deoarece ctigul adus de aceast strategie este mai mare dect cel de necooperare. Acest rezultat a fost sintetizat de Benoit i Krishna (1985) n urmtoarea teorem:
'

Teorema Benoit-Krishna o alt strategie astfel Fie un joc finit repetat G(T), pentru care s * este un echilibru, i fie s * ) > u ( s ) . Atunci exist un T<T, pentru T suficient de mare, astfel nct pentru T nct u ( s , iar pentru urmtoarele T-T perioade perioade echilibrul jocului finit repetat este repetarea lui s * repetarea lui s . Definiia 24. Vom numi ctig de rezerv u i pentru juctorul i, ctigul minim ce l poate

obine n cele mai proaste condiii pentru el, sau altfel spus u i = min[max u i ( si , s i )]
s i si

Fie m-i strategiile celorlali juctori pentru care se realizeaz u i , adic profilul minmax al strategiilor celorlali juctori. Atunci u i ( mi , m i ) = u i .
Jocuri infinit repetate Dac jocurile considerate sunt infinit repetate, atunci nu mai poate fi aplicat algoritmul induciei recursive pentru c nu exist o etap final a jocului de la care s pornim n sens invers. n aceste condiii echilibrul se va determina prin intermediul rezultatelor expuse de teorema folk (popular): Teorema folk Dat fiind jocul-etap G i jocul infinit repetat G() i u i ctigul minmax al

juctorului i, atunci pentru orice vector al ctigurilor v cu vi > u i , ()i , exist < 1 , astfel nct

() ( ,1) exist un echilibru Nash al jocului G() dat de repetarea strategiilor care asigur ctigul v .
M. Friedman (1971) a demonstrat aceast teorem n condiii slbite:
Teorema Friedman Fie * un echilibru al jocului-etap cu ctigul c. Atunci oricare ar fi u U cu u i > ci , ()i, () astfel nct () > strategia asociat lui u s fie un echilibru perfect n subjoc. Strategia de pedepsire i jocurile finit repetate n cazul jocurilor finit repetate strategia de a se repeta echilibrul Nash al jocului-etap pare a fi echilibrul jocului dinamic. Totui, am vzut c aceast strategie nu este credibil. n acest context apare ntrebarea dac putem adopta comportamentul de pedepsire astfel nct s fie determinai juctorii s adopte un comportament cooperativ chiar i n cadrul jocurilor finit repetate. Rspunsul la aceast ntrebare este afirmativ, cu observaia c n acest caz soluia depinde att de nivelul pragului dat de factorul de actualizare , ct i de durata jocului, respectiv de numrul de etape jucate T.
25

Curs 1: Elemente ale teoriei jocurilor

Astfel avem teorema: Teorem Dat fiind jocul-etap G i jocul finit repetat G(T), u i ctigul minmax al juctorului i, atunci pentru orice vector al ctigurilor v , cu vi > u i , ()i, () < 1 , pentru T suficient de mare, astfel nct () ( 1), ()T ' > 0 astfel nct repetarea de T ori a strategiilor ce asigur ctigul v constituie echilibrul Nash al jocului repetat pentru T etape.
Demonstraie Demonstraia se poate face analog cu cea a teoremei folk. Dac strategia adoptat este una de pedepsire, atunci exist un prag al rbdrii i un numr minim de etape T n care trebuie s se desfoare jocul pentru ca cel puin T etape juctorii vor adopta un comportament cooperativ adoptnd strategia care aduce ctigul v . u i = ctigul minmax al juctorului i; Fie

vi > u i - ctigul de cooperare al juctorului i; u i = max u (a ) - ctigul de deviere al juctorului i.

a

n cazul n care deviaz, ctigul juctorului i este:

u iD ( s ' ) =

T 1 i T ' 1 t T' v u t ui + + i i T +1 1 i t =0 t =T ' + 1

cu T numrul de etape n care juctorul i coopereaz, T<T. Ctigul de cooperare pe ntreaga perioad va fi :

u iC =

1 i T t vi 1 iT +1 t =0
T

Pragul de la care juctorul i nu este tentat s devieze este dat de inegalitatea

1i u u 1 iT +1
C i D i
T' T t

t vi
t =0
T'

T 1 i T ' 1 t T' t v + u + u i i i 1 iT +1 t =0 t =T ' +1

1 T T ' (1 ) T ' vi u i (u i vi ) (vi u i ) (u i vi ) (vi u i ) (*) 1 1 T T ' u i vi t =T ' +1 Dat fiind numrul de etape T ce se doresc a fi cooperative i un prag de semnificaie , se poate obine T, respectiv numrul de etape pe care le are jocul finit repetat ca juctorii s coopereze T perioade. Vom avea:
(1 ) 2T ' u i vi u i vi + T ' T T log T (1 ) 2T ' vi u i vi u i

Dac se d n schimb T i T atunci se poate determina , nivelul minim al factorului de actualizare pentru care juctorii vor coopera, din relaia (*).

26