Documente Academic
Documente Profesional
Documente Cultură
Curs SMA Studenti
Curs SMA Studenti
Curs SMA Studenti
Agent
Se numeste agent inteligent o entitate fizic sau virtual care are urmtoarele
caracteristici:
este capabil de a aciona ntr-un anumit mediu;
poate comunica direct cu ali ageni sau cu utilizatorul;
are un anumit scop;
este capabil de a percepe (ntr-o manier limitat) mediul n care evolueaz;
dispune de anumite resurse;
are anumite competene i ofer anumite servicii;
se poate eventual reproduce;
comportamentul su este determinat de tendina de a-i satisface obiectivele;
Prin entitate fizic nelegem o entitate care acioneaz ntr-o lume real, deci poate
fi: un robot, un avion, o main, etc. Ca entitate virtual poate fi: un modul informatic,
o component logic.
Aciunea este un concept fundamental al agenilor inteligeni. Agenii realizeaz
anumite aciuni prin care pot modifica mediul n care se afl sau pot comunica ntre ei.
Agenii sunt dotai cu autonomie, ceea ce nseamn c nu sunt dirijai de
comenzi venite de la utilizator, sau de la un alt agent, ci de un ansamblu de tendine
proprii, care pot lua diferite forme i pot fi influenate de mai muli factori. Agenii au
autonomie n ceea ce privete comportamentul i resursele de care dispun.
Agenii nu au dect o reprezentare parial a mediului n care se afl i nu au o
viziune global a lumii. Acetia sunt caracterizai de un anumit comportament, care se
rezum la modul de comunicaie, aciune, reproducere, realizarea necesitilor i
obiectivelor, plecnd de la celelalte elemente de care dispune: percepii, reprezentari,
aciuni, comunicaii i resurse.
Agentul poate fi astfel vzut ca: element dintr-o organizaie colectiv;
organizaie de nivel inferior i deci are toate caracteristicile unei organizaii.
Sisteme cu un singur agent. Un sistem cu un singur agent ar putea avea mai
multe entiti, civa actuatori sau chiar civa roboi. Fiecare entitate trimite rezultatele
i primete aciunile, pe care trebuie s le ndeplineasc, de la un singur proces central.
Agentul central modeleaz fiecare entitate.
Dei poate prea c sistemele cu un singur agent ar trebui s fie mai simple dect
sistemele multiagent, cnd exist un task complex, sistemele multiagent ofer mai mult
uurin de lucru. n general, un agent dintr-un sistem cu un singur agent modeleaz el
nsui mediul i interaciunile acestuia. Agentul este parte a mediului.
nu l ajut pe el direct, dar care permit altor ageni similari s fie mai eficieni n viitor.
3.2.2 Sisteme multiagent formate din ageni eterogeni necomunicativi.
Adaugnd posibilitatea de eterogenitate n domeniul sistemelor multiagent, se
obin sisteme cu un potenial mai ridicat. Agenii pot fi eterogeni n mai multe moduri:
ei pot avea scopuri, aciuni, cunotine diferite.
Ca i n cazul omogenitii, agenii sunt situai diferit n mediu si, astfel, ei au
intrri senzoriale diferite i deci pot avea scopuri, aciuni i/sau cunotine diferite.
Exist o multitudine de avantaje cauzate de existena eterogenitii.
Probleme i tehnici de rezolvare. Att timp ct agenii eterogeni necomunicativi pot
alege s fie complet omogeni, multe din problemele ce au aprut la agentii omogeni
necomunicativi pot fi prezente i aici. In plus, datorita eterogenitatii mai pot aparea
urmatoarele probleme:
Bunavoina vs. competitivitate. Una din cele mai importante probleme care
trebuie considerate la proiectarea unui sistem multiagent este dac agenii vor fi
binevoitori sau competitivi. Chiar dac ei au scopuri diferite, ei pot fi binevoitori i
doritori s ajute ali ageni sau pot fi egoiti, acionnd numai pentru a-i ndeplini
propriile scopuri. n partea opus se afl agenii care, n loc s i ndeplineasc scopul,
acioneaz opus altor ageni.
n unele situaii poate fi n interesul agentului s coopereze cu alt agent.
Ageni stabili vs. ageni care evolueaz. O alt caracteristic important este dac
agenii sunt stabili sau dac pot evolua. Agenii care evolueaz pot fi folositori n
medii dinamice.
Modelarea starii interne a altor ageni.. Si in acest caz, scopurile, aciunile i
cunotinele altor ageni pot fi necunoscute i de aceea au nevoie de modelare.
Astfel RMM este utila si pentru modelarea strii agenilor eterogeni. Un alt motiv
pentru care modelarea altor ageni este util este acela c uneori agenii depind unul
de altul pentru a-i ndeplini scopul. Pot exista aciuni care cer cooperare pentru o
execuie reuit.
Agenii pot nva i modele de echipe de ageni, dar cnd sunt implicate echipe de
ageni, situaia poate deveni mai complicat i este nevoie de modelarea rolului
fiecrui agent.
Managementul resurselor. Atunci cnd resursele folosite de ageni sunt limitate,
pot aprea probleme iar proiectanii de sisteme multiagent trebuie s decid cum vor
fi mprite aceste resurse ntre ageni.
3.2.3 Sisteme multiagent formate din ageni eterogeni necomunicativi.
SMA este mai puternic atunci cnd li se adaug agenilor i abilitatea de a
comunica unul cu altul, fcnd astfel posibil transformarea sistemului multiagent n
unul care este echivalent cu un sistem inteligent format dintr-un singur agent.
Un scenariu complet de sistem multiagent este prezentat n figura 4. n acest
scenariu gradul de eterogenitate al agenilor poate fi oricare (de la omogenitate pn la o
complet eterogenitate). Cheia este abilitatea agenilor de a transmite direct informaiile
unul altuia. Comunicrile pot fi de tip broadcast, astfel nct s poate fi interpretate de
oricine sau point to point adica au o int precis.
Comunicaia poate fi vzut si ca o parte a interaciunii dintre un agent i mediu.
7
Scopuri
Aciuni
Domeniu de cunotine
Scopuri
Aciuni
Domeniu de cunotine
Scopuri
Aciuni
Domeniu de cunotine
II
nedeterminist.
O interactiune oarecare h ntre agent i mediu:
a0
an
a1
a2
n 1
h : s0
s1
s2
....... a
sn
...
unde s0 reprezint starea iniial a mediului, si reprezint stri ale mediului si ai aciuni,
poate fi reprezentat ca istorie dac i numai dac:
Figura 1. Percepia i
aciunea unui agent.
foreach aA do
if non (Do(a)) then return a
endif
endfor
12
Se calculeaz mai nti toate comportamentele care se pot activa, i apoi pentru
fiecare comportament se determin dac exist un comportament cu prioritate mai mare.
Dac un astfel de comportament nu exist, se returneaz aciunea a corespunztoare
comportamentului. Dac nici un comportament nu se activeaz, se returneaz o aciune
nul (n momentul urmtor agentul nu va efectua nici o aciune).
Comparnd aceast abordare cu cea a agenilor bazai pe logic, din punct de
vedere al complexitaii, metoda este mai bun, asigurnd n cazul cel mai ru O(n2),
unde n este maximum dintre numrul de comportamente i numrul de elemente de
percepie.
Cteva din avantajele acestei arhitecturi sunt: simplicitate, robustee,
complexitate redus. Ea are drept model lumea real, evitnd n acest mod pstrarea
unui model intern al mediului. Dificultile care in de dinamica mediului sunt evitate
prin nlturarea oricror ncercri de predicie.
Dezavantajele sale sunt: agenii nu au un model al mediului si, astfel, ei trebuie
s aib suficient de multe informaii disponibile n mediul local pentru a determina
aciunea pe care s o urmeze; este dificil nzestrarea unor ageni reactivi cu abilitatea
de a nva i de a-i mbunti performanele n timp; deciziile sunt luate numai pe
baza informaiilor locale i de aceea sunt considerate ca fiind decizii pe termen scurt.
Unii cercettori au ncercat unificarea arhitecturilor raional i reactiv. n acest
caz, raionalitatea este dobndit prin utilizarea definiiilor pentru reducerea scopurilor
la o mulime de scopuri mai simple. Reactivitatea intervine prin folosirea
constrngerilor de integritate pentru simularea regulilor situaie-aciune i prin
formularea procedurilor de demonstrare a teoremelor n aa fel nct s poat fi
ntrerupte pentru efectuarea de observaii i executarea de aciuni.
2.3 Arhitecturi BDI-(Beliefs-Desires-Intentions)
n acest tip de arhitectur starea agentului este definit de trei caracteristici:
convingeri (beliefs"), dorine (desires") i intenii (intentions").
Modelul ncearc o adaptare n domeniul agenilor a filosofiei raionamentului
practic, care presupune mai nti stabilirea scopului i apoi evidenierea mijloacelor
disponibile pentru atingerea acelui scop. Pentru indeplinirea unui scop un agent BDI
trebuie sa parcurga urmatorii pasi:
14
Figura 2.
Diagrama unei
arhitecturi BDI.
Figura 3.
Stratificare
orizontal.
III
Agenii pot comunica pentru a-i realiza scopurile proprii sau pentru a realiza
scopurile comune. Comunicaia permite agenilor s-i coordoneze aciunile i
comportamentul ceea ce face ca sistemul multi-agent s fie mai coerent. Agenii
comunica prin mesaje. Ei pot trimite i recepiona mesaje folosind reeaua de
comunicaie. Mesajele pot fi: afirmaii i interogri. Pentru stabilirea si asigurarea
comunicarii intre agenti se folosesc protocoale de comunicatie. Exist protocoale
binare i protocoale n-are. Protocoalele binare presupun comunicaia ntre doi ageni,
iar cele n-are implic un agent care transmite informaie i mai muli ageni care
recepioneaz informaia.
Efectul comunicaiei ntre ageni asupra opiniilor acestora. Agenii detin
permanent informaii despre starea mediului. Cand mediul evolueaz i starea se
modific agenii trebuie s-i revizuiasc cunotinele pe care le au dac anumite fapte
sunt modificate. n urma revizuirii opiniilor, se formeaz alte opinii. Agentul face
observaii asupra mediului n care evolueaz atat prin interaciunile sale cu acesta cat i
prin interaciunile sale cu ali ageni. Pentru rezolvarea anumitor surse de incertitudine,
agenii i comunic ipotezele pe care le-au formulat plecnd de la cunotinele pe care
le au i eventual probele care susin aceste ipoteze.
Interaciunea ntre ageni - reprezint stabilirea unei relaii dinamice ntre
doi sau mai muli ageni, prin intermediul unor aciuni reciproce, n acelai timp.
Situaiile n care agenii interacioneaz sunt: ajutor reciproc, schimb de date, punerea n
comun de cunotine pentru rezolvarea unei probleme, repartiia sarcinilor pe mai multe
procesoare. Interaciunea este o component de baz a unei organizaii.
Surse ale interaciunii pot fi:
Scopuri compatibile/incompatibile (n cazul agenilor cognitivi);
Relaii asupra resurselor.
Resursele reprezint toate elementele din mediu i materialele utile necesare
pentru realizarea unei activiti (cunotine, capabilitati, informaii, experien, etc).
Folosirea resurselor din sistem poate genera conflicte daca mai muli ageni au nevoie
de aceleai resurse n acelai timp i cu aceleai drepturi. Pentru evitarea conflictelor au
fost dezvoltate o serie te tehnici, printre care:
ordonarea prioritilor;
tehnici de negociere intre agenti;
Clasificarea interaciunilor se face innd cont de sursele principale ale
interaciunii, si acestea pot fi:
interaciunile sunt date de alocarea sarcinilor i partajarea
simpla colaborare
cunotinelor;
agenii se tachineaz ntre ei n rezolvarea sarcinilor
ntreptrundere
date;
colaborare coordonat se realizeaz coordonarea aciunilor pentru realizarea
sarcinilor i alocrii resurselor;
18
19
Interaciune
conflicte
Interaciuni
suplimentare
rezolvare conflicte
generare conflicte
Coordonare
Cooperare
Competiie
Planificare
Negociere
Planificare
distribuit
Planificare
centralizat
conduc la unele rezultate mbuntite sau fac posibil utilizarea sa pentru ageni
necooperani.
Metode de partajare a task-urilor. O strategie importanta in cooperarea
dintre agenti este descompunerea i apoi distribuirea task-urilor. Scopul acestei strategii
este de a reduce complexitatea task-urilor, astfel incat agenii sa aiba nevoie de mai
puine resurse i de capabiliti mai reduse.
Descompunerea task-urilor - poate fi fcut spaial, conform organizrii i
siturii surselor de informaii i a punctelor de decizie, sau funcional, conform
capabilitilor agenilor disponibili.
La analizarea task-urilor este necesar a fi luate n consideraie i constrngeri
cum ar fi: controlul, datele sau resursele.
Distribuirea task-urilor - se poate face dup urmtoarele criterii:
evitarea suprancrcrii resurselor critice;
task-urile sunt atribuite agenilor care au capabilitile necesare
execuiei lor;
agenii care au capabiliti speciale pot avea sarcina de a atribui taskurile altor ageni;
atribuirea de responsabiliti care se suprapun agenilor pentru a
asigura coeren;
atribuirea de task-uri strns dependente agenilor care sunt n
vecintate spaial sau semantic;
task-urile care au prioritate sau urgen ridicat pot fi reasignate.
Mecanisme utilizate pentru distribuirea task-urilor:
o mecanisme de pia: task-urile sunt atribuite agenilor printr-un
proces de selecie mutual sau acord global;
o negociere: task-urile sunt atribuite agenilor printr-un proces de acord
ntre agenii interesai;
o structur organizaional: agenii au responsabiliti bine
determinate de rezolvare a unor anumite task-uri;
o planificare multi-agent: agenii de planificare au responsabilitatea
atribuirii task-urilor;
o blackboard: mecanism de rezolvare a problemelor n care agenii din
sistem i expun cunotinele individuale asupra unei probleme
pentru a fi considerate n gsirea unei soluii.
Criterii de evaluare. Aceste criterii se aplic ndeosebi n cazurile n care
decizia trebuie luat ntr-un sistem n care agenii sunt interesai sau necooperani.
Mecanismele pot fi evaluate conform mai multor criterii, cum ar fi:
Bunstarea social reprezint suma tuturor utilitilor agenilor pentru o soluie dat.
Acest criteriu poate fi utilizat pentru a compara diferite mecanisme comparnd
soluiile oferite de acele mecanisme.
Eficien Pareto. i acest criteriu poate fi utilizat pentru a compara diferite
mecanisme, comparnd soluiile oferite de acele mecanisme. O soluie x este
eficient Pareto dac nu exist nici o alt soluie x, astfel nct cel puin un agent
este mai satisfcut n x dect n x.
Raionalitate individual. Participarea ntr-o negociere este individual raional (IR)
pentru un agent dac rsplata agentului n urma participrii nu este mai mic dect
dac nu ar fi participat. Un mecanism este IR dac este IR pentru toi agenii.
21
23
1. Interaciunea in SMA.
1.1. Interaciunea agent-mediu - are la baz noiunea de percepie, definit ca
modalitatea prin care agentul preia informaii din mediu sau de la ali ageni.
Sistemul perceptiv poate fi:
pasiv - percepiile sunt ceea ce sesizeaz n mod direct agentul;
activ - percepiile sunt rezultatul construciilor care depind de scheme
perceptive anterioare, care sunt construite progresiv n decursul
interaciunilor agentului cu mediul, i/sau cu ali ageni.
Relaia ntre agent i mediul n care se afl pune problema de a ti dac agentul
dispune de o reprezentare simbolic explicit a mediului su, sau dac aceast
reprezentare se situeaz la nivel sub-simbolic, adic este integrat n capacitile sale
senzo-motorii. n primul caz, agenii sunt cognitivi, n cel de-al doilea caz, ageni sunt
reactivi.
1.2 Interaciunea ntre ageni. Interaciunea reprezint stabilirea unei relaii
dinamice ntre doi sau mai muli ageni, prin intermediul unor aciuni reciproce si
simultane. Situaiile n care agenii interacioneaz sunt: ajutor reciproc, schimb de date,
punerea n comun de cunotine pentru rezolvarea unei probleme, etc.
Interaciunea poate fi de doua tipuri:
prin comunicare;
prin modelarea strilor interne/intrrilor senzoriale ale altor ageni.
Surse ale interaciunii pot fi:
Scopuri compatibile/incompatibile (n cazul agenilor cognitivi);
Relaii asupra resurselor.
Folosirea resurselor din sistem poate genera conflicte daca mai muli ageni au
nevoie de aceleai resurse n acelai timp i cu aceleai drepturi. Pentru evitarea
conflictelor au fost dezvoltate o serie de tehnici, printre care:
ordonarea prioritilor;
tehnici de negociere intre ageni;
Principalele situaii de interaciune ntre agenii comunicativi sunt:
1. Rezolvarea n mod distribuit a unor probleme complexe n care ageni
cooperani sunt organizai pentru a lucra mpreun. Aceasta situaie se numete
cooperare; toi agenii au acelai scop. Datorit faptului c resursele sunt distribuite
ntre ageni, un agent nu este capabil sa-si rezolve ntotdeauna problema de unul singur
si astfel el trebuie sa coopereze.
Cooperarea poate fi :
simpla agenii interacioneaz doar pentru alocarea sarcinilor, resurselor i
partajarea cunotinelor, necesare ndeplinirii scopului individual;
24
IV
agent ofertant voluntar de informaie: agentul va verifica dac ali ageni pot
beneficia de acest rezultat. Dac da, atunci acest rezultat va fi expediat ctre acetia.
agent care reacioneaz la recepia de informaie voluntar: un agent primete date
n mod voluntar de la orice alt agent. Dac datele recepionate fac parte din datele de
intrare ale unui task n execuie sau care a fost deja executat, i dac sunt mai de
ncredere dect cele eventual existente, atunci respectivul task este reiniializat i
executat din nou. Dac datele recepionate completeaz datele de intrare necesare
pentru un anumit task, eventual cumulate cu cele deja existente, starea acestui task
se va modifica nainte de execuie.
2. Competiia n sistemele multi-agent.
2.1 Negocierea. Negocierea este forma cea mai utilizata in competiie.
Negocierea ntre doi sau mai muli ageni reprezint un schimb de mesaje bazat pe un
protocol, ce este destinat stabilirii unui acord asupra efecturii unei cooperri ulterioare.
Negocierea pentru partajarea task-urilor. Pentru ca doi sau mai muli ageni s
efectueze o cooperare de tip partajare de task-uri, agentul care pretinde ca alt
agent/ageni s realizeze un task dat, ncepe efectuarea unei negocieri cu acest/aceti
ageni, cu obiectivul de a nsrcina cel puin unul dintre ei s realizeze task-ul. Se pot
distinge urmtoarele dou mecanisme:
Client/Server: este procesul de negociere iniiat de un agent care dorete a fi ajutat
n realizarea unui task. Acesta, prin intermediul consultrii modelului de ageni
cunoscui, gsete numai un agent cu capacitatea de a realiza acest task. Negocierea
const ntr-un schimb de mesaje ntre agentul organizator i agentul colaborator ales,
cu scopul de a nsrcina acest agent cu realizarea task-ului. Rezultatul negocierii
poate fi nsrcinarea agentului colaborator cu realizarea task-ului pretins, dar poate
fi si verificarea faptului c acest agent nu reuete sau nu este dispus sa realizeze
acest task cu ndeplinirea restriciilor pretinse.
Reeaua contractual: diferena esenial fa de mecanismul client/server este
faptul c agentul colaborator gsete mai mult de un agent cu capacitatea de a
realiza task-ul dorit. In acest caz agentul organizator poate negocia simultan cu mai
mult de un agent sau chiar cu toi.
29
30
Unul din cazurile cele mai importante de conflicte este cel care apare la
partajarea rezultatelor, cnd diferii ageni care realizeaz acelai task, produc rezultate
inconsistente sau antagonice.
Rezolvarea conflictelor n partajarea rezultatelor. Propagarea rezultatelor
diferite obinute pentru un anumit tip de informaie ntr-o comunitate multi-agent,
conduce la obinerea de rezultate incorecte. Pentru evitarea acestei situaii se consider
dou metodologii de rezolvare i anume:
1. Dup ce agenii au detectat obinerea unor rezultate diferite pentru acelai tip de
informaii, ei intr n negociere n ideea obinerii unei soluii de compromis (de
exemplu pentru relaxarea condiiilor impuse respectivelor rezultate). In plus, este
necesar ca agenii s posede capaciti de a corecta rezultatele lor n comparaie cu
cele obinute de alt agent. Astfel, dac ntr-o anumit comunitate multi-agent, exist
mai mult de un agent care realizeaz un anumit task, trebuie ca fiecare din aceti
ageni s posede capacitatea de a-i corecta rezultatele pentru acest task; aceasta are
inconvenientul de a conduce la necesitatea multiplicrii capacitilor de a trata aceste
situaii de ctre diferii ageni.
2. Fiecare agent trebuie s dispun de mecanisme care s-i permit s detecteze dac
exist cel puin un alt agent care realizeaz un anumit task. Dac la un moment dat,
exist mai mult de un agent care execut un task determinat, exist posibilitatea s se
ajung la rezultate diferite. In acest caz rezultatele sunt trimise, nu numai agentului
care le-a cerut sau agenilor interesai de aceste rezultate, ci unui agent special, care
este nsrcinat cu rezolvarea conflictelor pentru acest tip de informaie. n mod
normal agentul care rezolv conflictele pentru un anumit tip de informaie, are si
capacitatea de a executa el nsui task-ul.
31
Organizaia n SMA
sistem de roluri, fiecare rol fiind un ansamblu de proprieti pe care, agentul care are
respectivul rol, le manifest n cadrul organizaiei (figura).
Rolurile unui agent determin poziia pe care o ocup agentul n cadrul
organizaiei i reprezint ansamblul de activiti ce trebuiesc realizate n cadrul
organizaiei pentru realizarea obiectivelor organizaiei.
Rolurile (planificator, executant, meditator, etc.) sunt fixe sau dinamice.
Rolurile pot fi, dup funciile lor, grupate n subsisteme (suborganizaii) ale organizaiei
principale i pot fi:
distribuite;
concentrate printre componentele organizaiei.
Agent
Sub-organizaie
asociat
unei funcii
Organizaie
Figura. Reprezentarea unui sistem multi-agent din punct de vedere funcional.
Aceasta analiza exprim opiunea ntre ageni cognitivi sau reactivi, determin
obiectivele propuse a fi realizate i contextul de realizare.
relaional
de mediu
personal
Pentru o anumit organizaie fiecare dintre funciile enumerate mai sus poate fi
implementat sau nu la nivelul unei anumite dimensiuni. De exemplu, ntr-o organizaie
reactiv tipic, dimensiunile sociale i relaionale nu exist, toate funciile fiind
implementate numai la dimensiunile fizic i de mediu.
34
35