Rzvan-Dorel CIOARG

Comportament emergent n medii colaborative robotizate

Studiul unor modele de reprezentare a tiparelor de

comportament colaborativ existente in literatura de
specialitate
Aplicaii ale tiparelor de comportament emergent se gsesc nu numai n cazuri
practice, reale a unor entitati fizice. Tiparele de comportament emergent inspirate din
studiul coloniilor de furnici se folosesc n mod frecvent la rezolvarea unor probleme
complexe a cror soluie este una euristic.
Fenomenele emergente rezulta din interactiunile simple care apar intre entitile
componente ale unui sistem. Exista, in consecin, o serie de probleme pentru care
gsirea unei soluii optime este dificila si uneori nepractic datorit lipsei unui aparat
matematic. Pentru rezolvarea acestor probleme se prefer identificarea unor tehnici
euristice pentru generarea unor soluii corespunztoare dar care nu sunt ntotdeauna
si optime [1, 2]. Printre metaeuristicile existente in momentul actual se numra
optimizarea bazata pe studiul coloniilor de furnici (Ant Colony Optimization [4 - 8]),
precum si convergenta globala (Global Convergence [9]). Dei aceste metaeuristici
se bazeaz pe un suport matematic semnificativ, nu exista o formalizare pentru
descrierea tiparelor de comportament emergent folosite, ci doar reprezentri pariale
urmrind in special efectul global pe care acestea l produc. De asemenea,
comportamentul local, predictibil, poate fi descris in termeni formali, insa
interaciunile dintre aceste comportamente locale care genereaz in final emergenta
nu pot fi cuantificate din cauza numrului mare al acestora.
Exist, n mod normal, o serie de probleme de complexitate combinatoric
pentru soluionarea crora gsirea unei soluii optime este dificil i uneori nepractic
datorit spaiului prea mare de soluii sau datorit unor cerine computaionale prea
mari generate de constrngeri existente. Pentru rezolvarea acestor probleme se
prefer identificarea unor tehnici euristice pentru generarea unor soluii
corespunztoare dar care nu sunt ntotdeauna i optime. Aceti algoritmi se folosesc
de cele mai multe ori de cunotine apriori asupra aplicaiei ceea ce restrnge extrem
de mult aria lor de aplicabilitate [1, 2].
Metaeuristicile reprezint un set mai general de tehnici si algoritmi euristici, ca
i cei descrii mai sus, dar care pot fi aplicai la probleme diverse cu mici modificri.
Exemple de metaeuristici sunt cutarea tabu (eng. tabu search) sau calcul
evolutiv (eng. evolutionary computation).
Metaeuristicile sunt reprezentate de algoritmi care sunt condui de o euristic
simpl, de baz, pentru a evada din capcana optimelor locale i o parte metaeuristic.
Acetia fie se folosesc de o euristic constructiv care pornete de la o soluie goal
la care se adaug mai apoi elemente necesare pentru a ajunge la o soluie acceptabil,
fie o euristic bazat pe cutri locale care pornesc de la o soluie complet creia i
modific elementele n mod iterativ pentru a ajunge la o soluie mai bun. Partea
metaeuristic permite ca folosirea mpreun cu euristica de baz s se obin
rezultate mai bune dect n cazul absenei acesteia, chiar i prin iterarea euristicii de

Comportament colaborativ

Comportament emergent n medii colaborative robotizate

Rzvan-Dorel CIOARG

baz. Mecanismul de mbuntire se folosete fie de introducerea constrngerilor,

fie de alegerea n mod aleator a soluiilor luate n vedere pentru cutarea local, fie
de combinarea elementelor extrase din soluii precedente diferite.
1.1.1 Optimizarea bazat pe studiul coloniilor de furnici
Studiul coloniilor de furnici
Studiul coloniilor de furnici aflate att n lumea real, ct i n laborator au
determinat o serie de fapte extrem de importante pentru aplicarea acestui studiu ntrun mediu computaional. Furnicile reale sunt capabile de a identifica drumul cel mai
scurt aflat ntre muuroi i sursa de hrana, fr a se folosi de dovezi vizuale. Aceste
furnici sunt totodat capabile de a se adapta la schimbrile de mediu, precum
invalidarea unui drum cunoscut ntre muuroi i o sursa de hran prin apariia unui
obstacol.
Muuroi

Mncare

Feromoni

Figura 1: Cale nentrerupt ntre muuroi i hrana

n figura de mai sus, furnicile se mic n linie dreapt ntre sursa de hran i
muuroi, nu exist nici un obstacol n calea lor.
Principalul mod de comunicaie la furnici const n folosirea feromonilor.
Furnicile depun o anumit cantitate de feromoni pe obiectele de interes sau chiar in
timpul mersului, marcnd astfel calea pe care o urmeaz. Ulterior, furnicile prefer s
urmeze direciile bogate n urme de feromoni, alegnd n majoritatea cazurilor
direciile cele mai bogate i cele mai recente n feromoni. Feromonii excretai de
furnici au capacitatea de a expira n timp ceea ce permite faptul ca o direcie
nefolosit s nu mai fie luat n considerare n cele din urm. Acest comportament
elementar al furnicilor este folosit pentru a explica metoda prin care furnicile pot
identifica n continuare drumul cel mai scurt care conecteaz dou puncte ntrerupte
ale cii de feromoni prin plasarea unui obstacol, dup cum se vede n figura
urmtoare.
Muuroi

Mncare

Feromoni

Obstacol

Figura 2: Obstacol care ntrerupe calea de feromoni ntre muuroi i hrana

Odat ce obstacolul apare, acele furnici care sunt chiar naintea acestuia nu mai
pot s urmreasc calea de feromoni, i de aceea trebuie s ia o decizie legat de

Comportament colaborativ

Rzvan-Dorel CIOARG

Comportament emergent n medii colaborative robotizate

direcia n care ar trebui s se mite: stnga sau dreapta. n mod probabilistic

jumtate din furnici vor alege s ocoleasc obstacolul prin dreapta, iar jumtate vor
alege s ocoleasc obstacolul prin stnga. O situaie similar se poate gsi de cealalt
parte a obstacolului, dup cum este reprezentat n figura urmtoare.

Muuroi

Mncare

Feromoni

Obstacol

Figura 3: Furnicile ncep s ocoleasc obstacolul

Acele furnici care au decis, datorit ansei, calea mai scurt de ocolire a
obstacolului vor reconstitui mai rapid calea de feromoni ntrerupt de obstacol dect
furnicile care au ales calea mai lung. Astfel, pe calea mai scurt se va depune o
cantitate mai mare de feromoni n unitatea de timp dect pe calea mai lung ceea ce
va determina un numr mai mare de furnici s aleag calea respectiv, fapt care la
rndul su va conduce la creterea cantitii de feromoni depus. Datorit acestui
proces autocatalitic (de rspuns pozitiv, positive feedback), toate furnicile vor
alege calea mai scurt foarte repede, dup cum se vede n figura urmtoare.

Muuroi

Mncare

Feromoni

Obstacol

Figura 4: Toate furnicile aleg calea cea mai scurt de ocolire a obstacolului
Un aspect interesant al acestui proces autocatalitic este faptul c identificarea
drumului cel mai scurt care ocolete obstacolul este o proprietate emergent a
interaciunii dintre forma obstacolului, modul n care aezat obstacolul i
comportamentul distribuit al furnicilor. Dei toate furnicile se mica aproximativ cu
aceeai vitez, i depun aproximativ aceeai cantitate de feromoni n unitatea de
timp, faptul ca un drum este mai scurt, conduce la acumularea mai rapid a cantitii
de feromoni. Acest lucru combinat cu preferina natural a furnicilor pentru urmarea
direciilor bogate n feromoni i cu proprietatea de expirare a feromonilor conduce la
faptul c ntr-un interval scurt de timp calea mai lung este abandonat n ntregime.

Comportament colaborativ

Comportament emergent n medii colaborative robotizate

Rzvan-Dorel CIOARG

A.C.O. Ant Colony Optimization

n mod uzual, metaeuristicile sunt inspirate din procese naturale precum
procesul de evoluie sau administrarea de ctre creier a structurilor de memorie. Una
dintre cele mai recente metaeuristici inspirate din mediul natural este optimizarea
bazat pe studiul coloniilor de furnici (eng. Ant Colony Optimization, ACO) [4 8]. Una din trsturile principale ale acestei metaeuristici este combinarea pentru
identificarea unei soluii semi-optime a unor informaii apriori despre structura
posibil a unei soluii cu informaii suplimentare despre structura unei soluii
precedente acceptate.
Un algoritm ACO funcioneaz pe baza urmtoarelor principii [4]:
y Un set de ageni asincroni i concureni, a cror reprezentare formal se
bazeaz pe descrierea unei colonii de furnici, se mic prin strile problemei
care corespund soluiilor pariale ale acesteia. Agenii se mic folosind un
set de decizii locale, stohastice care sunt luate pe baza valorilor a doi
parametri: ci de feromoni i atractivitate.
y Prin micri succesive, o furnic construiete soluia incremental soluia
problemei.
y La identificarea unei soluii acceptabile i complete, furnica evalueaz
soluia gsit i modific calea de feromoni existent care va fi folosit n
cutare de viitoarele furnici.
Algoritmii ACO prezint dou mecanisme de control importante [4]:
y Evaporarea cii de feromoni decrementeaz toate valorile cii de feromoni
pentru a evita acumularea nelimitat de informaie n cazul unor componente
ale soluiei.
y Aciuni centralizate folosite pentru a nnoi informaii globale ale sistemului.
O furnic este un agent computaional care construiete iterativ o soluie
pentru o problem dat. Soluiile pariale sunt reprezentate ca stri intermediare.
Nucleul fiecrui algoritm ACO este reprezentat de o bucl n care, la fiecare iteraie,
fiecare furnic se mic (execut un pas al algoritmului) de la o stare la o stare
care corespunde unei soluii pariale mai complete. Astfel, la fiecare pas , o
furnic k calculeaz Ak ( ) posibile stri viitoare i alege una dintre ele cu o
k
anumit probabilitate. Pentru o furnic k, probabilitatea p
de a trece de la starea
la starea depinde de combinaia a dou valori:
y Atractivitatea care este calculat pe baza unei euristici din informaii
apriori reprezentnd probabilitatea general de a muta n noua stare;
y Nivelul al cii de feromoni care indic ct de eficient a fost o anumit
micare n trecut, fiind o indicaie curent a probabilitii de micare n noua
stare;
Cile de feromoni sunt rennoite doar atunci cnd toate furnicile au determinat o
soluie complet prin incrementarea sau decrementarea nivelului cii care corespunde
micrilor care au generat soluii corespunztoare, respectiv necorespunztoare.

Comportament colaborativ

Rzvan-Dorel CIOARG

Comportament emergent n medii colaborative robotizate

1.1.2 Probleme reprezentative

Problema ordonrii secveniale
Dndu-se o mulime de orae V = {v1 vn}, un set de muchii A = {(i, j): i, j V} i
un cost dij = dji asociat muchiei (i, j) A, problema ordonrii secveniale sau
problema comis-voiajorului este problema gsirii unui drum de cost minim prin care
se viziteaz toate oraele. Dac dij dji atunci problema se numete problema
asimetric a comis-voiajorului [1, 2, 3, 6 - 8].
n lumea real, problema comis-voiajorului apare la planificarea produciei,
probleme de rutare i ghidare a unui singur vehicul cu constrngeri de preluare i
predare a mrfii sau probleme de transport n sisteme flexibile de producie.
Probleme de rutare a vehiculelor
Dndu-se o mulime de vehicule staionate la un depou, acestea trebuie s
deserveasc o mulime de clieni nainte de a se ntoarce la depou, iar obiectivul este
de a minimiza numrul de vehicule implicate precum i distana total parcurs de
vehicule. Exist o serie de constrngeri suplimentare precum constrngeri de
capacitate a vehiculelor care modific numrul de cltorii sau constrngeri derivate
din lumea real precum: ferestre de timp, timpi de ncrcare, lungimea maxim a
unei cltorii [9, 10].
Problema de atribuire cuadratic
Problema de atribuire cuadratic este problema atribuirii a n faciliti unui numr de
n locaii n aa fel nct costul de atribuire s fie minim, iar funcia costului de
atribuire este o funcie cuadratic.
Convergena global
Sistemele multiagent pe care se bazeaz optimizarea ACO ncearc s pun de acord
anumite constrngeri inconsistent. Pe de o parte, obiectivul general al sistemului este
definit global (ntreg sistemul trebuie s ating elul propus). Pe de alt parte, agenii
componeni ai sistemului au cunotine local despre mediul n care se desfoar.
Aceast aparent limitare este inspirat din mediul natural unde comunicaiile pe
mari distane sunt inexistente. Totodat, din punct de vedere computaional, este
impractic folosirea unui agent central cu rol de colectare i analiza a datelor din
ntregul sistem.
Un astfel de sistem este, de cele mai multe ori, lipsit de o logic formal, ceea ce
face ca proiectarea acestuia s in mai mult de domeniul empiricului dect al
tiinei, proiectanii folosind o serie de reete care au fost dovedite experimental c
funcioneaz. n cazul unui astfel de sistem, trebuie s nelegem n ce mod
cooperarea i interaciunea agenilor cu cunotine locale poate conduce la
ndeplinirea unui el global precum i msura n care acest el global a fost ndeplinit.

Comportament colaborativ

Comportament emergent n medii colaborative robotizate

Rzvan-Dorel CIOARG

Un mare numr de astfel de sisteme converg exponenial spre rezultatul dorit,

rata de convergen fiind cu att mai mare cu ct numrul de entiti folosite este mai
mare [9]. n [9] se identific n mod experimental curba care aproximeaz aceast
convergen cel mai bine; aceasta este o curb exponenial cu o form de tipul:
A Be-t
Gruparea informaiilor
Gruparea informaiilor (data clustering) este o sarcin important atunci cnd este
vorba de colectarea i analiza unei mari cantiti de date. Majoritatea algoritmilor
care ndeplinesc aceast sarcin sunt supui la dou constrngeri:
y Sunt centralizai n sensul c trebuie s aib acces la cel puin o structur de
date central (matricea de similaritate), ceea ce le face greu de distribuit mai
multor ageni pe msur ce crete cantitatea de date procesate.
y Au o structur de lot ceea ce presupune ca att populaia de date precum i
funcia de similaritate s rmn nemodificate, constante, pe parcursul
aplicrii algoritmului.
Un algoritm puternic descentralizat i continuu este inspirat din studiul
coloniilor de furnici. Furnicile adun obiecte de diferite tipuri precum hran sau alte
furnici moarte n muuroi. n timpul deplasrii acestora, furnicile pot ridica un obiect
cu o probabilitate u i l pot lsa jos cu o probabilitate d.

1.2 Referine bibliografice

[1]

[2]
[3]

[4]

[5]

[6]

[7]

Marco Dorigo, Luca Maria Gambardella; Ant Colony System: A Cooperative

Learning Approach to the Traveling Salesman Problem, IEEE Transactions on
Evolutionary Computation, Vol.1, No.1, 1997;
Marco Dorigo, Luca Maria Gambardella; Ant colonies for the traveling
salesman problem, BioSystems, Elsevier, 1997;
Privosnik, M.; Marolt, M.; Kavcic, A.; Divjak, S.; Evolutionary construction of
emergent properties in multi-agent systems; Electrotechnical Conference,
2002. MELECON 2002. 11th Mediterranean 7-9 May 2002;
Vittorio Maniezzo, Luca Maria Gambardella, Fabio de Luigi; Ant Colony
Optimization, New Optimization Techniques in Engineering, by Onwubolu, G.
C., and B. V. Babu, Springer-Verlag Berlin Heidelberg, 101-117, 2004;
LUCA MARIA GAMBARDELLA, MARCO DORIGO ; An Ant Colony
System Hybridized with a New Local Search for the Sequential Ordering
Problem; INFORMS Journal on Computing Vol.12, No.3, Summer2000;
R.Montemanni , L.M. Gambardella, A.E.Rizzoli,A.V.Donati; Ant Colony
System for a Dynamic Vehicle Routing Problem, Journal of Combinatorial
Optimization, 10, 327-343, December 2005;
Frederick Ducatelle, Gianni Di Caro, Luca Maria Gambardella; Using Ant
Agents to Combine Reactive and Proactive Strategies for Routing in Mobile

Comportament colaborativ

Rzvan-Dorel CIOARG

Comportament emergent n medii colaborative robotizate

Ad Hoc Networks; International Journal on Computational Intelligence and

Applications (IJCIA), Special Issue on Nature-Inspired Approaches to
Networks and Telecommunications, Volume 5, Number 2, Pages 169-184,
June 2005;
[8] Gianni Di Caro, Frederick Ducatelle and Luca Maria Gambardella;
AntHocNet: An Adaptive Nature-inspired Algorithm for Routing In Mobile
Adhoc Networks; European Transactions on Telecommunications, Euro. Trans.
Telecomms. 2005; 16:443455
[9] H. Van Dyke Parunak, S. Brueckner, J. Sauter, R. Matthews, Global
Convergence of Local Agent Behaviors, AAMAS05, July 25-29, 2005,
Utrecht, Netherlands, Page(s) 305 312;
[10] R.Montemanni , L.M. Gambardella; Exact Algorithms For The Minimum
Power Symmetric Connectivity Problem in Wireless Networks; Computers and
Operations Research, 32(11), 2891-2904, November 2005;

Comportament colaborativ