Universitatea POLITEHNICA din Bucuresti

Facultatea de Automatica si Calculatoare

Raport cercetare

Arhitectura sistemului multi-agent pentru controlul

retelelor de tip Microgrid

Teza de doctorat:
Controlul inteligent al retelelor Microgrid folosind Sisteme Multi-Agent
(Intelligent Control of Microgrids using Multi-agent Systems)

Doctorand: Ing. Marius Avramescu

Conducator stiintific: Prof. dr. ing. Adina Magda Florea
1. Introducere

Smart Grid
Smart Grid („Retea inteligenta”) este o retea electrica in care comunicarea intre toate
entitatile implicate in piata energiei se face in ambele sensuri. Conceptul de smart grid
integreaza unitati de productie mari, centralizate si unitati mici, descentralizate, alaturi de
consumatori intr-o singura structura. Smart Grid permite ca generarea de energie sa poata fi
realizata chiar si de catre consumatori, iar energia regenerabila de orice tip (vant, soare, etc)
poate fi integrata foarte usor in sistem. Smart Grid mareste fiabilitatea, eficienta si siguranta
retelei electrice existente. Multe tari dezvoltate au proiecte de implementare a retelelor
inteligente ce se intind pe cateva zeci de ani si care au alocate sume uriase de bani, motivele
fiind numeroasele avantaje oferite de Smart Grid atat din punct de vedere al economisirii
energiei electrice, al calitatii crescute a energiei sau al impactului asupra mediului.

De ce este nevoie de Smart Grid?

Lumea are de infruntat multe provocari energetice cum ar fi: schimbarea climei,
cresterea populatiei si cresterea cererii de energie. Reteaua energetica existenta imbatraneste
si este de multe ori folosita la capacitate maxima. Pe scurt, reteaua electrica de azi, o
infrastructura a secolului 20, trebuie sa faca fata cerintelor secolului 21. Pentru a rezolva aceste
probleme cu succes, a devenit o necesitate ca aceste retele sa devina „inteligente”.

Caracteristici Smart Grid

1. „Self healing” – implica reactie rapida in cazul perturbatiilor cu scopul minimizarii
efectelor negative asupra retelei
2. Participarea consumatorilor – consumatorii sunt implicati in procesul de productie si
distributie a energiei mai ales din punct de vedere al costurilor
3. Rezistenta la atacuri – securitate sporita a retelei
4. Calitate crescuta a energiei – monitorizarea energiei si incadrarea fluxului in limite
acceptabile
5. Integrarea si optimizarea diferitelor tipuri de generari si stocari de energie –
introducerea energiilor regenerabile in infrastuctura electrica existenta

Importanta calitatii energiei

Una din promisiunile Smart Grid-ului este o calitate a energiei crescuta. Continuitatea
acestui serviciu este unul din rezultatele importante ce vor fi livrate impreuna cu
implementarea „retelelor inteligente” in domeniul energetic. Daca este neglijata calitatea
energiei, atunci fenomene ca „blackouts”, „brownouts” pot aparea oricand, intrerupand toate
activitatile zonei afectate si bineinteles defectari ale aparatelor electronice nu pot fi evitate.
Aceste probleme pot fi usor rezolvate de Smart Grid si mai exact de arhitectura de sisteme
inteligente integrate in acest tip de retea.
Modernizarea infrastructurii si inlocuirea echipamentelor si dispozitivelor vechi este o
modalitate de a ajunge relativ rapid la standardele impuse de Smart Grid. O alta solutie de a
furniza energie de înalta calitate si non-poluanta este conceptul de Microgrid.
2. State of the Art

Microgrid (MG)
Retelele de tip Microgrid sunt vazute ca retele ce au un anumit grad de libertate fata de
gridul traditional si care permit generare de energie relativ aproape de consumul de energie
(ceea ce implica eliminarea transportului de energie). Gridul traditional livreaza energia in trei
etape: generare de energie, transport si distributie. Microgridul cu ajutorul DER (distributed
energy resources) si RES (renewable energy sources) ofera energie in doar 2 faze: generare si
distributie, respectand in acelasi timp toate cerintele pentru PQR (power quality and reliability).
Termenul de Microgrid este asociat intotdeauna cu termenul de DG (Distributed generation,
sau on-site generation, dispersed generation, embedded generation, decentralized
generation, decentralized energy, distributed energy) care inseamna generare de energie din
multe surse mici de energie, aflate foarte aproape de consumatori.
Retelele de tip Microgrid au inceput sa fie atractive pentru consumatori deoarece
prezinta multe avantaje. Ei pot folosi DG pentru a reduce costurile impuse de producatorul de
energie electrica sau pentru a produce energie cu nivel ridicat de calitate sau pentru a reduce
emisiile de mediu. DG poate fi folosit si de utilitatile electrice pentru a imbunatati sistemele de
distributie.
Conversia energiei in electricitate in vecinatatea consumatorilor finali creeaza
oportunitati pentru capturarea caldurii (obtinute inevitabil prin conversia energiei). De aceea
exista o tendinta ca retelele de tip Microgrid sa fie concepute luand in considerare si
producerea si distributia de energie termica, fenomen numit cogenerare sau CHP (combined
heat and power).

Directii de cercetare
America de Nord, Europa si Japonia au inceput cercetari in acest domeniu in jurul anului
2000. Au fost propuse diverse concepte si planuri de dezvoltare in functie de circumstantele
energetice din zonele respective. Uniunea Europeana a propus un plan pentru dezvoltarea de
energie in regiune ce implica constructia de smart grids ce vor integra centralele electrice
centralizate si microgriduri.
In SUA, Consortium for Electric Reliability Technology Solutions (CERTS) a obtinut
comutare fara efort intre cele doua moduri de functionare ale MG-ului – mod paralel si mod
insula.
O tendinta a cercetatorilor in domeniul controlului MG cu ajutorul MAS (Multi-agent
Systems) este de a crea tipuri de agenti in functie de rolul agentului in sistemul multi-agent. O
descriere de astfel de agenti este in [1]: e.g. MGM agent – agent de monitorizare, programare si
management de DER, Database agent, Load agent – agent de monitorizare, control si negociere
al nivelului de sarcina.
In [2], autorii folosesc un sistem multi-agent ierarhizat pentru o modelare de retea
electrica complexa in care Microgrid-urile sunt cei mai important actori. Sunt prezentate trei
nivele de agenti:
1) Distribution master station level – responsabil cu coordonarea mai multor substatii
(este de fapt un management al intregii retele electrice)
2) Distribution substation level – organizare pe regiuni a terminalelor de distributie
 3) Distribution terminal level (component level) – include agenti DER, agenti sarcina si
agenti substatie LV (low voltage)
Cercetatorii au folosit diverse simulatoare pentru a modela o retea Microgrid. Cei mai
numerosi au apelat la MATLAB/Simulink, e.g. in [2], [3], [4] sau [6]. Cateva componente folosite
in modelare sunt: PCC (point of common coupling), transformator, Static Switch (separator),
Circuit braker (intreruptor), Power Flow Controller comandat de un Energy Manager, baterii,
sarcini electrice, turbine de vant, panouri PV, etc.
Exista numeroase platforme pentru implementarea agentilor si a sistemelor multi-agent,
cel mai utilizat fiind JADE (The Java Agent DEvelopment Framework), platforma folosita de
exemplu in [7], unde autorii propun trei tipuri de agenti: Producer Agent, Consumer Agent si
Observer Agent. Agentul producator are ca responsabilitati: monitorizare putere activa/reactiva
actuala si disponibila, determinare performanta instantanee a componentei, da comenzi start,
stop, cantitate de energie produsa; agentul consumator este responsabil cu: monitorizare
putere consumata, comunicare informatii catre alti agenti despre capacitatea maxima de
consum iar agentul observator monitorizeaza diferiti parametri de functionare normala ai
retelei.
Fiecare MAS are o arhitectura specifica. Aceasta este aleasa in functie de domeniul de
aplicare a sistemului multi-agent. In domeniul energetic sunt folosite arhitecturi foarte variate
e.g in [2] arhitectura ierarhizata sau arhitectura BDI (Belief-Desire-Intention) in [8]. Tot in [8]
autorii propun doua tipuri de agenti (Resource Agent si Power User Agent) si un algoritm de
rezolvare a conflictelor folosind licitatii (auctions). De asemenea pentru a usura implementarea
complexitatii interne a agentilor, autorii au creat Delegate Agents, agenti care migreaza in
timpul executiei intre nodurile retelei.
Un “agent-based distributed energy resources microgrid” este foarte bine conturat in
[11], autorii punand accent pe notiunea de market in cadrul retelelor microgrid. Asadar, autorii
propun tipuri de agenti cum ar fi: Energy Selling Agent si Energy Buying Agent, alaturi de
agentii mobili intalniti si in [8]. Simularile au fost efectuate cu ajutorul limbajului de programare
Java si Eclipse tools.
Crearea de societati de agenti a fost solutia autorilor pentru crearea unui “Intelligent
Energy Management System” in [13]. Ei propun agenti de tipul: Broker, Policy Manage, Charge
Optimizer, sau cate un Physical Law Simulator pentru fiecare tip de sursa de energie.
Mecanismul propus functioneaza tinand cont de optimizarea globala a microgridului. Criteriile
de optimizare luate in considerare sunt cost si eficienta.
In domeniul energetic, pot avea loc intamplari neprevazute ce pot afecta intreaga retea
-in cascada- daca situatia nu este rezolvata rapid. Cum microgridul este controlat de MAS,
aceasta sarcina de tratare a hazardului (“man-made” sau natural) este atribuita agentilor.
Propuneri de sisteme ce trateaza astfel de evenimente sunt prezentate in [12], e.g. DrillSim,
DEFACTO, ALADDIN. Pentru fiecare sistem, autorii prezinta arhitectura precum si caracteristicile
si limitarile simulatorului in activitati de tipul:
- luarea unor decizii colective
- coordonare, colaborare sau coalitie intre agenti
- rezolvare distribuita a problemei
- raspunsul la dezastru
3. Context

3.1. Caracteristici si limitari Microgrid

-are un grad stabilit de autonomie
-are rol comercial deci este nevoie de o strategie de piata eficienta
-scalabilitate; noi entitati se pot conecta la reteaua existenta
-sarcini si generari de energie controlabile
-flux de energie optimizat
-comunicatie si control rapid in timp real
-ierarhie prestabilita de reguli si prioritati de functionare (generare si livrare de energie)
-are un PCC – punct de conexiune cu macrogridul; in trecut au fost experiente neplacute
cu fluctuatii de tensiune din cauza conectarii mai multor DG-uri direct la macrogrid;
solutia gasita este instalarea unui PCC intre gridul principal si resursele si sarcinile din
MG.
-MG poate functiona conectat la macrogrid sau complet autonom (in mod insula) in
functie de regulile dupa care functioneaza microgidul.
-cu cat MG-urile sunt construite mai inteligent, cu atat se va extinde mai rapid conceptul
de „grid-tied microgrids”, in care microgridurile ar putea fi „building blocks” pentru un
grid inteligent in care energia catre consumatori va proveni atat de la macrogrid cat si
din generarea distribuita.
-energie neintrerupta catre sarcini critice, e.g. spitale.
-fluctuatii de energii regenerabile (surse de energie intermitente)
-educarea consumatorilor cu privire la consumul de energie e.g. energia nu este infinita,
un mare procent din energie este obtinuta in moduri care polueaza mediul, planificare
in afara orelor de varf a unor activitati ce nu sunt urgente (de exemplu folosire masina
de spalat)

3.2. Bariere si provocari

Problemele la Microgrids sunt de doua tipuri: tehnice (hardware) si software. Solutii
pentru aceste bariere sunt in plina cercetare si dezvoltare, existand numeroase proiecte si
planuri puse in aplicare. Unii cercetatori au urmat calea de modelare a retelelor electrice în
timp ce altii au studiat solutii fizice pentru producerea de energie sau de stocare de energie,
cativa dintre ei au obtinut rezultate cu adevarat fascinante de exemplu, extragere energie din
aer comprimat stocat subteran.
Multa cercetare se face în domeniul de "stocare a energiei". Energia regenerabila nu
este o optiune viabila cu exceptia cazului in care energia poate fi stocata pe o scara larga [5]. De
aceea nici in viziunea mea nu lipseste entitatea ES (energy storage). Solutiile gasite pot fi foarte
exotice e.g., "Ultracapacitors" care pot stoca cantitati uriase de sarcina electrica în straturi
groase de atomi, alaturi de electrozi, si bobine cu fire superconductoare capabile sa stocheze
cantitati mari de curent care circula pe termen nelimitat [5].
Una dintre problemele foarte importante pentru stabilitatea si siguranta microgridului
este integrarea diferitelor surse DG. Alte probleme hardware sunt: Voltage Regulation,
Protection/coordination.
 Aplicatiile software care se ocupa de controlul fluxului de energie trebuie sa fie din
categoria sistemelor de incredere. Ca principale caracteristici ale sistemelor de incredere
(dependable systems) sunt: fiabilitatea (reliability), disponibilitatea (availability) si siguranta
(safety). Este vital ca intreruperile de energie sa fie minime sau chiar inexistente, iar in cazul
deconectarii diferitelor entitati, sistemul sa continue sa livreze energie si sa limiteze sau chiar sa
rezolve problemele care apar in Microgrid. De asemenea este foarte important ca deciziile luate
in cadrul aplicatiei software sa nu puna in pericol siguranta echipamentelor din retea sau a
oamenilor.
Scalabilitatea presupune extinderea retelei fara scaderea performantelor, iar acest lucru
nu poate fi realizat intr-o maniera centralizata la Microgrid. Este nevoie de o abordare
decentralizata pentru un control eficient al MG, volum de date/informatii mai mic si pentru
solicitare relativ egala a nodurilor retelei. Abordarea decentralizata (distribuita) este insa mult
mai complexa si de aceea necesita o perioada de testare mai mare a solutiei si o toleranta la
defecte sporita.
O alta problema care apare inevitabil in retele ce nu au o entitate centralizata de livrare
de energie este stabilirea costurilor pentru serviciul oferit. Intr-o retea in care orice entitate DG
poate stabili cantitatea si costul energiei produse, lucrurile devin mult mai complicate. In cazul
in care generarea de energie interna din MG este insuficienta se poate lua energie de la reteaua
traditionala si deci la pretul oferit de utilitatea respectiva, iar in cazul in care energia generata
intern in microgrid este prea mare chiar si dupa folosirea la maxim a unitatilor de stocare
existente in MG se poate lua decizia opririi unora dintre entitatile DG (criteriile fiind cele
economice, e.g.: unele tipuri de energii au cost mai mic de generare, sau unele entitati DG au
cost mai ridicat de oprire a generarii).

4. Arhitectura sistemului multi-agent

De ce Sisteme Multi-Agent?
Un sistem multi-agent este o combinatie de agenti care colaboreaza prin taskurile
efectuate pentru a atinge un scop final al sistemului. Sistemele multi-agent pot deveni o
unealta puternica in dezvoltarea de sisteme complexe care se folosesc de proprietatile
agentului: autonomie, sociabilitate (comunica prin intermediul unui limbaj de comunicare cu
ceilalti agenti), reactivitate (agentul percepe si reactioneaza in mediul in care se afla), chiar si
elemente proactive (poate lua initiative).
 Environment

Agent
Knowledge Base

Decision Block Communication Block

Action Block

Model general de functionare a unui agent

O abordare centralizata pentru controlul unei retele Smart Grid sau mai exact Microgrid
(retea locala ce poate functiona autonom daca este deconectata de la reteaua mare) s-ar
dovedi dificila si scumpa. Utilizarea agentilor pentru controlul unor astfel de retele aduce
avantajul unui control distribuit cat si avantajul oferit de autonomia agentilor. In functie de
inteligenta agentilor, ei pot actiona fara o urmarire constanta si deci fara interventie umana.
Agentii se pot adapta la mediul lor, ceea ce este extrem de util pentru o retea electrica
inteligenta in care unitatile de productie (generatoare de energie) se vor conecta si deconecta
de la retea intr-o maniera aleatoare. De asemenea, agentii isi pot da seama cand o noua unitate
de productie s-a conectat si foarte important, isi pot modifica comportamentul in functie de
tipul de unitate de productie conectat in vederea optimizarii operatiilor. Legat de calitatea
energiei, agentii pot monitoriza continuu incadrarea fluxului de energie in limite normale si
astfel pot lua in timp util masuri de compensare a fenomenelor electrice nedorite.

Idei
Spre deosebire de conceptele existente de MAS pentru MG, in viziunea mea agentii se
mapeaza pe entitatile microgridului: consumatori (loads), generatori (supplies), baterii (storage)
si substatie (smart substation) (fiecare microgrid are un PCC cu macrogridul). Nu este exclusa
adaugarea de noi tipuri de agenti, e.g. un facilitator. Fiecare agent isi va actualiza informatii
interne despre ceea ce vrea, ce trebuie sa stie sau ce crede in functie de entitatea pe care o
controleaza.
Agentii vor putea sa comunice intre ei atunci cand informatiile din mediu sunt
insuficiente sau in contradictie cu unele reguli de functionare normala si vor putea sa ajunga la
o decizie comun acceptata de catre toti agentii implicati. De asemenea propuneri legate de
generare/stocare suplimentara de energie pot fi comunicate si apoi acceptate/respinse de catre
„majoritate” in interiorul Microgridului. Toti agentii vor fi sinceri, pot participa la negocieri,
licitatii (auctions).
 Folosirea optima a DER (Distributed Energy Resources) si monitorizarea fluxului de
energie in MG sunt doar cateva din sarcinile sistemului multi-agent ce va controla Microgrid-ul.
Agentii sunt in stare sa ia decizii autonome ca raspuns la situatii imprevizibile avand in vedere
atat obiective ce tin de entitatea pe care o deserveste cat si de bunastarea intregului sistem
multi-agent.

Environment
Market External data Power system Unexpected events Other Agents

Agent
Decision Block

Knowledge Base Communication Block

Action Block

Model general de functionare a unui agent in Microgrid

Agentii vor avea o baza de cunostinte (KB knowledge base) alcatuita din mai multe KB-
uri din diverse domenii cum ar fi: sistemul energetic, mediul geografic si clima, informatii
meteorologice, piata (market), consumatori, etc. Un alt concept ce va fi integrat in arhitectura
sistemului multi-agent este acela de creare de prioritati in cadrul microgridului (unele entitati,
cum ar fi spitale sau pompieri („sarcini critice”) vor fi deservite inaintea altora in cazul in care
energia nu este suficienta pentru toti consumatorii).

5. Concluzii

Imi propun sa dezvolt un model si o implementare a unui sistem multi-agent de control

inteligent al unei retele de tip Microgrid care sa ajute la integrarea conceptelor de Smart Grid in
retelele electrice. Scopul principal al sistemului va fi utilizarea optima a resurselor de energie
respectand calitatea energiei electrice (monitorizarea energiei si incadrarea fluxului in limite
acceptabile). Sistemul inteligent ce va controla reteaua electrica va fi bazat pe agenti datorita
proprietatilor lor adecvate pentru aceasta sarcina.
Vor fi prezentate relatiile intre acestia, simulari de comportamente ale agentilor,
ordonare eficienta a prioritatilor in luarea deciziilor in functie de anumite criterii cum ar fi:
global welfare, self interest, informatii meteorologice, motive economice, mediu, etc.
Sistemul multi-agent va fi supus mai multor tipuri de simulari si teste. Pentru a raspunde
cat mai bine acestor teste, este necesara o strategie inteligenta care sa conduca sistemul multi-
agent catre cea mai buna solutie in orice situatie dificila sau neprevazuta. Strategia trebuie sa
tina cont de foarte multi factori cum ar fi: „piata”, raspunsul la dezastre, informatii de la
senzori, participarea agentilor la licitatii sau rezolvarea unor conflicte sau situatii neprevazute,
informatii despre fluxul de energie din retea sau analizarea de date externe cum ar fi conditiile
meteo sau interventii umane in mediu. Un alt aspect important in conceperea „strategiei
perfecte” este stabilirea de prioritati in utilizarea categoriilor de informatii; de asemenea
periodicitatea accesarii informatiilor poate duce catre luarea unor decizii proactive ale
agentilor, decizii ce pot imbunatati starea globala a sistemului. De aceea, o strategie care
utilizeaza eficient informatiile poate ajuta sistemul sa depaseasca situatii complicate si in acelasi
timp poate optimiza activitatea din sistem. O strategie inteligenta poate ajuta sistemul multi-
agent sa evolueze, sa invete sa controleze eficient fluxul de energie si entitatile din mediu.
Intr-o viziune extinsa a acestui sistem, agentii vor comunica si in afara Microgridului,
e.g. vor putea negocia intre ei costuri ale energiei sau vor comuta alimentarea cu energie a unei
retele, la o alta retea ce are prea multa energie stocata rezolvand astfel probleme in ambele
retele. Metodele existente de stocare a energiei nu sunt eficiente si astfel in timp, se pot pierde
cantitati insemnate de energie in loc sa fie distribuite catre o alta retea care are nevoie de
aceasta energie.
Tematica propusa va aduce contributii originale atat la nivel teoretic, prin adaptarea sau
dezvoltarea unor algoritmi specifici monitorizarii si controlului retelelor Microgrid cat si, in
special, contributii originale la nivelul cercetarii aplicative prin utilizarea tehnologiei multi-agent
la solutionarea unor probleme legate de modernizarea retelelor electrice.

Bibliografie

[1] T. Logenthiran and Dipti Srinivasan, “Multi-Agent System for Market Based Microgrid Operation in Smart Grid
Environment”, http://www.smartgridcontest.com/idea.php?id=63, last accessed 23 August 2011.
[2] Zhe Xiao, Tinghua Li, Ming Huang, Jihong Shi, Jingjing Yang, Jiang Yu and Wei Wu, “Hierarchical MAS Based
Control Strategy for Microgrid”, Energies, Volume 3, Issue 9 (September 2010), Pages 1622-1638,
www.mdpi.com/journal/energies.
[3] I. Vechiu, A. Llaria, O. Curea and H. Camblong, “Control of Power Converters for Microgrids”,
http://cmrt.centrale-marseille.fr/cpi/ever09/ever2009/conference.html.
[4] S.Jaganathan, S.Palaniswami, R.Adithya, M.Naresh Kumaar, “Synchronous Generator Modelling and Analysis for
a Microgrid in Autonomous and Grid Connected Mode”, International Journal of Computer Applications (0975 –
8887)Volume 13– No.5, Pages 3-7 , January 2011 .
[5] David Lindley, “The Energy Storage Problem”, Nature, Vol 463, Pages 18-20, 7 January 2010.
[6] Urs Zahnd, “Control Strategies for Load-Following Unbalanced MicroGrids Islanded Operation”,
http://vpaa.epfl.ch/webdav/site/vpaa/shared/Prix%20de%20recherche%2007/Master%20Thesis%20U.%20Zahnd.
pdf, last accessed 23 August 2011.
[7] C.M. Colson, M.H. Nehrir, R.W. Gunderson, “Multi-agent Microgrid Power Management”, the 18th IFAC World
Congress Milano (Italy), Pages 3678-3683, August 28 - September 2, 2011.
[8] Qiu Zhifeng, Deconinck Geert, Gui Ning, Belmans Ronnie, “A Multi-Agent System Architecture for Electrical
Energy Matching in a Microgrid”, Proceedings of Fourth IEEE Young Researchers Symposium in Electrical Power
Engineering, Eindhoven, The Netherlands, February 7-8, 2008.
[9] A. Dimeas, N. Hatziargyriou,” A MultiAgent System for Microgrids”,
http://www.microgrids.eu/micro2000/index.php?page=publications, last accessed 23 August 2011.
[10] Hak-Man Kim, Tetsuo Kinoshita and Myong-Chul Shin, “A Multiagent System for Autonomous Operation of
Islanded Microgrids Based on a Power Market Environment”, Energies, Volume 3, Issue 12, Pages 1972-1990,
December 2010, www.mdpi.com/journal/energies.
[11] Z.F.Qiu, G. Deconinck, N.Gu, R.Duan, R.Belmans, “A Market-based MAS Framework for Microgrids”,
Proceedings of the 17th World Congress The International Federation of Automatic Control, Pages 11053-11058,
Seoul, Korea, July 6-11, 2008.
[12] Swati Basak, Neelam Modanwal , Bireshwar Dass Mazumdar, “Multi-Agent Based Disaster Management
System: A Review”, International Journal of Computer Science & Technology, Vol2, Issue2, June 2011, Pages 343-
348.
[13] M. Cirrincione, M. Cossentino, S. Gaglio, V. Hilaire, A. Koukam, M. Pucci, L. Sabatucci, G. Vitale, “Intelligent
Energy Management System”, http://www.pa.icar.cnr.it/cossentino/paper/indin09.pdf, last accessed 23 August
2011.