O abordare multi-agent pentru un sistem de conducere inteligent a autovehiculelor

Controlul inteligent al deplasrii autovehiculelor

Conceptul de sistem automatizat pentru autostrad (SAA) definete o nou relaie ntre
autovehicule i infrastructura autostrzii. Un astfel de sistem utilizeaz:
tehnologii de control care preiau responsabilitatea conducerii autovehiculului de la
conductorul auto uman;
tehnologii de comunicaie care recunosc i reacioneaz n timp real la condiiile de
trafic ale infrastructurii externe.
Conceptul SAA combin inteligena de la bordul autovehiculului cu o multitudine de
tehnologii inteligente instalate n cadrul infrastructurii de autostrad. Autovehiculele trebuie s
suporte evident dou moduri de control:
automat, pentru benzile de trafic unde sunt disponibile tehnologiile SAA i
manual (tradiional), pentru segmente de autostrad unde tehnologiile de control
automat nu sunt disponibile.
Studii efectuate asupra tehnologiilor SAA indic faptul ca un sistem SAA poate crete
numrul de autovehicule/band/or de 2 sau 3 ori, poate scurta timpul de deplasare cu 33- 50%,
i reduce potenial accidentele cu 50-80% (n SUA, anual i pierd viaa n accidente pe
autostrzi mai mult de 40000 de persoane, cauzele acestor accidente fiind n proporie de 90%
erori umane). De asemenea, de la un sistem SAA se ateapt mbuntirea siguranei traficului,
reducerea congestiei, reducerea consumului de carburant i a polurii.
ntre anii 1994 i 1998, Departamentul Transporturilor din Statele Unite a investit peste
56 milioane de dolari n programul de cercetare dedicat SAA, contractul fiind ctigat n 1994 de
ctre National Automated Highway System Consortium (NAHSC). NAHSC a fost un parteneriat
public/privat care includea General Motors Corp. i Delco Electronic Systems.
n prezent, exist numeroase proiecte care vizeaz contolul automat al autovehiculelor,
dintre care amintim:
ParkShuttle un autovehicul de mic capacitate, care navigheaz automat, autonom,
utiliznd un computer de bord i un sistem de navigaie electronic. Un proiect pilot este n curs
de implementare n Rotterdam, sub consultana Advanced Netherlands Transport. ParkShuttle
face legtura dintre parcul Rivium i staia de metrou Kralingse Zoom.
Sistemul japonez Advanced Cruise-Assist Highway System Research Association
(AHSRA), care reunete companii din domeniile auto, infrastructur i electronic ntr-un
parteneriat cu Ministerul Agriculturii, Infrastructurii i Transporturilor din cadrul guvernului
japonez. AHSRA a definit trei nivele de interes:

o AHS-i (informarea conductorului auto);

o AHS-c (control asistat pentru conductorul auto);
o AHS-a (operaiuni complet automatizate).
n anul 2000, n oraul Tsukuba a fost organizat o demonstraie n care 38 de maini
(automobile, autobuze i camioane) au ilustrat un sistem ideal pentru reducerea accidentelor pe
osele, utiliznd tehnologiile AHS-i i AHS-c.
Proiectul de cercetare ARCOS, care se nscrie n cadrul mai larg al Programului de
cercetare i inovare pentru transporturi terestre, iniiat i condus de ctre Ministerele Cercetrii,
Transporturilor, Mediului i Industriilor (Frana).
Obiectivul proiectului este acela de a realiza o conducere mai sigur a automobilelor pe
baza a patru funcii operaionale:
o controlul distanei dintre vehicule; o prevenirea coliziunilor cu obstacole fixe, sau cu
alte autovehicule care se deplaseaz cu vitez mic;
o prevenirea prsirii (inoportune a) benzii de circulaie;
o alertarea autovehiculelor privind incidente sau accidente care vizeaz sigurana de
deplasare.
Evenimente atmosferice ca precipitaii, cea, vnturi puternice, temperaturi extreme,
reduc capacitatea segmentului de autostrad afectat. Aceste evenimente pot cauza scderea
aderenei, viteze de deplasare mai mici i de variabilitate n timp crescut, care afecteaz
volumul traficului i escaladeaz riscul de coliziune. n consecin, este nevoie de o abordare
sistematic a managementului traficului n condiii de vreme nefavorabil.
Obiectivele unui sistem de management al traficului n funcie de condiiile atmosferice,
care s asigure suport decizional pentru managerii i operatorii din centrele de management al
traficului sunt:
asigurarea siguranei de deplasare prin reducerea riscului de coliziune;
mbuntirea mobilitii prin obinerea unui flux stabil de trafic;
minimizarea costurilor de operare.
Sarcina dezvoltrii unor sisteme inteligente pe ale cror aciuni i decizii s ne putem
baza implic mult responsabilitate i nu este deloc trivial. De obicei, aceasta presupune
investigarea i aplicarea mai multor metode, eventual complementare.
n continuare vom prezenta o metod pentru controlul inteligent al deplasrii
autovehiculelor, avnd ca fundament teoretic automate stochastice de nvare, care opereaz
ntr-un mediu nestaionar. Dei aceast abordare nu rezolv complet problemele legate de
managementul traficului, metoda propus ncearc s determine o cale de luare a unor decizii de
control inteligent n care obiectivele vizate sunt respectarea parametrilor de trafic impui de ctre

infrastructura autostrzii (sistemul de supervizare, management i control global) i sigurana

deplasrii, prin evitarea coliziunilor.
Ne propunem proiectarea unui sistem bazat de automate stochastice pentru controlul unui
autovehicul (cte unul pentru deplasarea longitudinal, respectiv lateral) care prin nvare s
determine aciunea optim care trebuie efectuat, bazndu-se pe informaii furnizate de senzori
aflai la bordul autovehiculului, sau recepionate de la infrastructur.
n cadrul modelului prezentat n figura 1, presupunem c un vehicul inteligent este
capabil de efectuarea a dou seturi de aciuni, pentru deplasare longitudinal, respectiv lateral.
Aciunile laterale sunt codificate astfel:
LEFT trecere pe banda din stnga;
RIGHT trecere pe banda din dreapta;
LINE_OK pstrarea benzii curente. Aciunile longitudinale sunt codificate astfel:
ACC accelerare;
DEC decelerare;
SPEED_OK pstrarea vitezei curente.
Un autovehicul care dispune de un sistem de control inteligent trebuie s fie capabil s i
perceap mediul (alte autovehicule din jurul su, banda pe care este poziionat, etc.) i s
rspund prompt schimbrilor petrecute n mediul respectiv. Perceperea mediului se poate face
prin dou metode, care nu se exclud reciproc:
autovehiculul este nzestrat cu patru senzori: un senzor frontal, pentru a determina
distana pn la autovehiculul din fa, doi senzori laterali, pentru a sesiza alte autovehicule pe
benzile laterale i un senzor de vitez;
n cazul navigrii gestionate de ctre infrastructur, adoptat ca model de implementare
n prezenta lucrare, informaiile necesare controlului inteligent se pot obine prin comunicare cu
infrastructura, care posed echipamente pentru localizarea precis a autovehiculelor (syste radar,
etc).

Figura 1 Automate stochastice pentru controlul inteligent conectate la mediul fizic

n figura 1 este prezentat modelul propus pentru planificarea i controlul schimbrii

benzii de mers, ct i pentru controlul vitezei de deplasare. Rspunsul mediului fizic este o
combinaie a ieirilor celor patru module de decizie, care la rndul lor primesc ca intrri
informaiile de localizare de la infrastructur (sau semnale de la proprii senzori, dac
automobilul este echipat cu acetia). Deoarece un parametru de intrare al blocurilor de decizie
este chiar aciunea aleas de ctre automatul stochastic, se impune utilizarea unor funcii
distincte F1 i respectiv F2 pentru maparea ieirilor blocurilor de decizie n intrri ale celor dou
automate stochastice utilizate i anume automatul longitudinal, respectiv automatul lateral.
Dup actualizarea vectorilor de probabiliti asociate aciunilor posibile n cadrul celor
dou automate stochastice, utiliznd diferite metode, ieirile automatelor (aciunile selectate)
sunt transmise nivelului de regularizare. Acesta trateaz distinct aciunile recepionate de la cele
dou automate, prin utilizarea a dou buffere de regularizare. Dac aciunea recepionat nu a
fost penalizat, ea va fi introdus n bufferul corespunztor automatului de la care provine, altfel
n buffer va fi introdus o valoare prestabilit, prin care se identific o aciune penalizat de ctre
mediul fizic. Dac considerm c un buffer de regularizare are dimensiunea k , o aciune va fi
executat de ctre nivelul de regularizare numai dac ea este recomandat de k ori consecutiv de
ctre automatul stochastic, deci bufferul va conine n toate cele k poziii aciunea respectiv.
Dup executarea unei aciuni, vectorul de probabiliti este iniializat astfel nct toate
probabilitile aciunilor s aib valori egale. De asemenea, se iniializeaz i bufferul de
regularizare corespunztor.

Implementarea unui simulator ca sistem multi-agent

Pentru implementarea sistemului multiagent au fost utilizate urmtoarele medii de

dezvoltare/framework-uri:
NetBeans 6.1 ca mediu de dezvoltare Java;
JADE 3.4.1 ca platform de dezvoltare a sistemelor multiagent.
NetBeans 6.1 poate fi utilizat pentru dezvoltarea unei game largi de aplicaii: aplicaii
desktop (J2SE), aplicaii la nivel de intreprindere (J2EE), aplicaii Web, portaluri, etc. Se
integreaz foarte uor cu JADE, avnd un sistem foarte elegant de management al bibliotecilor
Java.
JADE este o platform de dezvoltare a aplicaiilor multiagent peer-to-peer, dezvoltat
constant i susinut n ultimii ani, i distribuit de ctre Telecom Italia, sub licen LGPL2
(Lesser General Public License Version 2). Pe lng Telecom Italia, n susinerea acestui proiect
sunt implicate firme ca Motorola, Whitestein Technologies AG., Profactor GmbH, France
Telecom R&D.

Agentul Driver

Implementarea agentului Driver, asociat fiecrui autovehicul i responsabil de conducerea

automat a acestuia pe un segment de autostrad se bazeaz pe (3 variante distincte de
implementare):
O schem neliniar original de nvare cu ntrire, utilizat pentru controlul inteligent
al autovehiculului;
O schem original de nvare evolutiv bazat pe operatorul de co-mutaie LRMijn;
O schem original de nvare cu ntrire bazat pe modelul computaional WASP.
Agentul DriverAgent realizeaz controlul automat al deplasrii autovehiculului asociat
prin intermediul unui comportament de tip TickerBehaviour:

class Driving extends TickerBehaviour{

private Automobile auto;
private FrontalSLA frontalSLA;
private LateralSLA lateralSLA;
public Driving(Agent agent, int interval, Object recvObj){
super(agent,interval);
auto = (Automobile)recvObj;
frontalSLA = new
FrontalSLA(auto); lateralSLA = new LateralSLA(auto);
}
protected void onTick() {
float pos;
frontalSLA.learning();
lateralSLA.learning();
pos = auto.getCurrentSpeed()*DEPL + auto.getX();
if (pos < auto.getMaxX()) auto.setX(pos);
else {
myAgent.doDelete();
}
}
}
Controlul inteligent este asigurat de dou automate stochastice, frontal i respectiv lateral,
implementate n cadrul claselor FrontalSLA respectiv LateralSLA. Pentru fiecare automat au fost
implementate cte trei scheme de ntrire:
o schem neliniar absolut expedient;
o schem de ntrire evolutiv, bazat pe operatorul de co-mutaie LR-Mijn;
o schem de ntrire bazat pe modelul computaional WASP.
Implementarea schemei de ntrire neliniare
Actualizarea vectorului de probabiliti p[] corespunztor unui automat stochastic pentru
care se utilizeaz noua schem de ntrire neliniar se realizeaz astfel:

h = H(i);
p[i]=p[i]+f*(-t*h)*(1.0-p[i])-(1.0-f)*(-t)*(1.0-p[i]);
for (j=0; j < ACTIONS; j++)
if (j != i)
p[j]=p[j]-f*(-t*h)*p[j]+(1.0-f)*(-t)*p[j];

unde funcia H este de forma:

public double H(int i){
double h, temp;
h = p[i]/(t*(1-p[i]))-eps;
for (int j=0; j < ACTIONS; j++)
if (j!=i) {
temp=(1-p[j])/(t*p[j])-eps;
h = Math.min(h,temp);
}
h = Math.max(h,0);
h = Math.min(h,1);
return h;
}
iar t, eps sunt constante reale pozitive, ACTIONS reprezint numrul aciunilor posibile pe care
le poate executa automatul, iar f reprezint rspunsul mediului pentru aciunea i.

Implementarea schemei de ntrire evolutive

n cazul schemei de ntrire evolutive, se utilizeaz codificarea concatenat de punct fix

pentru a reprezenta n cadrul unui cromozom probabilitile asociate aciunilor unui automat
stochastic.
n general, presupunem c ntr-un cromozom se codific valori reale din domeniul ( )
a,b , fiecare valoare fiind reprezentat pe l bii. Domeniul de numere ntregi {0,..,2 1} l se
transform liniar n intervalul (a,b) astfel:
( a ,b )=a+

( ba ) unde {a , b} ( a ,b ) iar 1 {0, , 2l1 }

2 1
l

Unui numr real din intervalul (a,b) i se asociaz un numr ntreg din domeniul {0,..,
l

2 1} cu formula:

( 2l1 ) ( a ,b )a
ba

unde {a , b } {0, , 2 1 }

n cazul schemei de ntrire evolutive, codificm fiecare probabilitate pe 10 bii i avem: l

=10, a = 0, b =1 .
Algoritmul de nvare evolutiv propus, care asigur actualizarea vectorului de
probabiliti al unui automat stochastic este:
p[] function Learning-LR-Mijn(action)
begin
t=0
while not Terminare
for j = 1 to K-1 do
- alege aleator un element din cele mai bune T% din P(t)
- aplic LR-Mijn efectund o mutaie n cadrul genei care conine probabilitatea
corespunztoare aciunii action selectate de ctre automat
- insereaz cromozomul obinut n P(t)
end for
alege cel mai bun element din P(t) i introdu-l n P(t)
evalueaz P(t) prin funcia fitness
P(t+1) = P(t)
t = t + 1 end while
- determin cel mai bun individ din populaia P(t)
- obine prin decodificare din cromozomul respectiv valorile reale care reprezint
probabilitile asociate aciunilor automatului
- returneaz vectorul de probabiliti p[] astfel obinut
end
Notm cu:

 N numrul aciunilor ale cror probabiliti sunt memorate ntr-un cromozom;

k n p probabilitatea corespunztoare aciunii n memorat n cromozomul k ;
n rspunsul mediului la aciunea n ;

K dimensiunea populaiei.
Funcia de performan (fitness) pentru evaluarea (n vederea ordonrii) indivizilor din
populaie s-a definit astfel:
N

f : {1, , K } R , f ( k ) = p n ( 1 m )
k

n1

Pentru ca relaia

pkn =1, k { 1, , K }
n1

s aib loc i dup aplicarea operatorului

LRMijn n cadrul unui cromozom k , procedm astfel: se alege i indexul unei variabile

pkn

n=1
n 1

nemodificate de ctre LR-Mijn i se calculeaz:

Daca

S >1, atunci
pkn

1
pkn , n {1, , N } \{ i}
k
,
S

pi =0

Altfel
pki =1S k

Implementarea schemei de ntrire WASP

Fiecare automat stochastic (automatul longitudinal respective cel lateral) are asociat o
viespe. Fiecare viespe posed un set de valori-prag asociate rspunsurilor pentru stimuli:

= { w , 0 , . , w ,r }

unde r reprezint numrul de aciuni ale automatului, iar

w , i

pentru aciunea i a automatului. Aciunea i emite stimulul

Si

este valoarea prag a viespei

ctre automat, egal cu numrul

de apariii ale aciunii i n buffer-ul de regularizare al automatului. Automatul va alege aciunea i

pentru execuie cu probabilitatea:

P ( w ,i , S i )=

Si
2
2
S i +w ,i

Valorile prag

w , i

pot varia n intervalul [ min max].

Dac automatul va executa aciunea i , valoarea prag w,i este actualizat astfel:
w , i

= w , i - 1

( 1> 0

Pentru fiecare aciune j alta dect i, valoarea prag w, j este actualizat astfel:
w , i

= w , i - 2

( 2> 0

Scenarii de simulare Utiliznd pachetele JADE care faciliteaz controlul platformei din
aplicaii externe Java, s-a implementat un simulator al sistemului automatizat pentru autostrzi
(SAA), care permite construirea i studierea unor scenarii de trafic.
n figurile 2, 3, 4, 5 este prezentat evoluia unui scenariu de trafic, n care mainile de
culoare nchis ruleaz cu vitez mai mic dect cele de culoare deschis. n final, mainile care
ruleaz cu viteze superioare depesc mainile lente, dup o eventual schimbare de band.

Figura 2 Startul scenariului de simulare

Figura 3 Una dintre mainile cu vitez superioar a schimbat

Figura 4 O alt main cu vitez superioar a schimbat banda, pentru a atinge viteza dorit de
rulare

Figura 5 n final, toate mainile cu viteze superioare vor depi mainile lente