Roboti Mobili

Investete n oameni!
FONDUL SOCIAL EUROPEAN Programul Operaional Sectorial Dezvoltarea Resurselor Umane 2007 2013 Axa prioritar 1 Educaie i formare profesional n sprijinul creterii economice i dezvoltrii societii bazate pe cunoatere Domeniul major de intervenie 1.5. Programe doctorale i post-doctorale n sprijinul cercetrii Titlul proiectului: Studii doctorale pentru dezvoltare durabil (SD-DD) Numrul de identificare al contractului: POSDRU/6/1.5/S/6
Beneficiar: Universitatea Transilvania din Braov
Universitatea Transilvania din Brasov

Scoala Doctorala Interdisciplinara Centrul de cercetare: Informatic industrial virtual i robotic
Ing. Mihai DUGULEAN
nvarea roboilor mobili pentru deplasare i manipulare n medii industriale
Learning mobile robots for movement and manipulation in industrial environments

Conductor tiinific Prof.dr.ing. Gheorghe MOGAN
BRASOV, 2011
DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale
MINISTERUL EDUCAIEI, CERCETARII, TINERETULUI I SPORTULUI
UNIVERSITATEA TRANSILVANIA DIN BRAOV

BRAOV, B-DUL EROILOR NR. 29, 500036, TEL. 0040-268-413000, FAX 0040-268410525 RECTORAT
D-lui (D-nei) .............................................................................................................. COMPONENA Comisiei de doctorat

Numit prin ordinul Rectorului Universitii Transilvania din Braov Nr. 4722 din 13.09.2011 PREEDINTE: Prof.dr.ing. Codrua JALIU Universitatea Transilvania din Brasov CONDUCTOR TIINIFIC: Prof.dr.ing. Gheorghe MOGAN Universitatea Transilvania din Brasov REFERENI: Prof.dr.ing. Inoceniu MANIU Universitatea Politehnica din Timioara Prof.dr.ing. Ioan DOROFTEI Universitatea Tehnic Gheorghe Asachi din Iai Prof.dr.ing. Francisc SISAK Universitatea Transilvania Braov
Data, ora i locul susinerii publice a tezei de doctorat: 14.10.2011, ora 12.00, sala VIII6, Corpul V (Str. Mihai Viteazul, nr. 5). Eventualele aprecieri sau observaii asupra coninutului lucrrii v rugm s le transmitei n timp util, pe adresa mihai.duguleana@unitbv.ro. Totodat v invitm s luai parte la edina public de susinere a tezei de doctorat. V mulumim.
Cuvnt nainte
Roboii sunt unul lucrurile indispensabile funcionrii societii umane a secolului XXI. ntlnii att n procesele de producie, ct i n alte arii de interes precum divertisment, transporturi, comunicaii, medicin sau agricultur, roboii mbuntesc performanele umane din punct de vedere cantitativ i calitativ. Roboii industriali sunt cel mai folosit tip, acetia fiind i primii care au aprut, ca rspuns la nevoia efecturii mai rapide i mai exacte a unor operaii repetitive, deseori ntlnite n procesele de producie. Marea majoritate a structurilor robotice folosite n industrie au baz fix, opernd ca brae robotice (manipulatoare) ntr-un mediu bine delimitat. n ultimele decenii, n vederea soluionrii problemelor legate de transport, au fost introduse vehiculele ghidate n mod automat (AGV Automated Guided Vehicle). Ideea de a reuni cele dou concepte (baza mobil i braul robotic) ntr-o singur entitate robotic capabil s efectueze sarcini n medii industriale semi-structurate nu este nou, dar realizarea acesteia a ntmpinat o serie de probleme cum ar fi integrarea echipamentelor hardware, folosirea unui sistem senzoristic capabil s trimit la unitatea de procesare date despre mediul de lucru n mod satisfctor, folosirea unei surse de energie care s asigure o funcionare continu pe o durat de timp determinat, evitarea obstacolelor n timpul micrilor robotului (fie de deplasare, fie de manipulare), asigurarea unei interaciuni om-robot ct mai naturale, limitarea situaiilor nesigure i altele. Un exemplu de soluie hardware complet este robotul PowerBot, robot folosit n cadrul experimentelor prezentate n aceast lucrare. Pentru a soluiona unele dintre problemele menionate mai sus, este propus ideea de a implementa i folosi atributul specific uman de nvare. Spre deosebire de roboii programai s execute activiti repetitive, roboii capabili de nvare nu sunt limitai la un simplu comportament reactiv, ci sunt capabili s participe la activiti noi, complexe, care necesit flexibilitate i adaptare. O bun cale de a testa algorimii de nvare concepui n timpul cercetrii efectuate este folosirea de echipamente i tehnologii de realitate virtual (RV). Simularea de scenarii n RV cu echipamente robotice are numeroase aspecte pozitive, n comparaie cu testarea direct a algoritmilor n mediul real. Pe lng faptul c sunt reduse ansele de accident, sunt eliminate i numeroasele costuri legate de folosirea unor echipamente scumpe, este redus timpul de testare, se mrete numrul de utilizatori care pot opera sistemul robotic iar interaciunea omrobot este mai apropiat de realitate. n aceast idee, n cadrul studiilor realizate, au fost concepute i implementate scenarii de deplasare i manipulare cu roboi mobili industriali pentru un mediu RV imersiv de tip CAVE. Interaciunea om-robot studiaz relaia care apare ntre operatorii umani i roboi n timpul colaborrii directe dintre acetia. n cazul n care avem de a face cu un operator uman instruit care dorete s lucreze cu un robot mobil industrial, realizarea unei interaciuni ct mai naturale i mai satisfctoare pentru operator nu este neaprat un desiderat, dar mbuntirea acesteia se reflect n mbuntirea productivitii muncii, mai ales n cazul unor operaii de manipulare direct om-robot. Doresc s mulumesc conductorului tinific, prof. univ. dr. Gheorghe Mogan, pentru sprijinul continuu acordat pe tot parcursul stagiului doctoral. Sunt de asemenea profund ndatorat colegilor i profesorilor din catedra DPR, pentru suportul acordat n ultimii 3 ani. Nu n ultimul rnd, mulumesc familiei mele pentru sigurana i nelegerea oferite pn n acest moment al vieii, precum i celorlalte persoane dragi din viaa mea. Septembrie, 2011 Ing. Mihai DUGULEAN
CUPRINS
Pg. teza Pg. rezumat
1. INTRODUCERE 1.1 Aspecte generale 1.2 Necesitatea i justificarea temei 1.3 Obiectivele cercetrii 1.4 Metodologia i etapele cercetrii 1.5 Structura i coninutul tezei 2. ROBOI MOBILI INDUSTRIALI. STADIUL ACTUAL 2.1 Introducere 2.2 Aspecte privind integrarea roboilor mobili n medii industriale 2.2.1 Robocare industriale 2.2.2 Funciile i integrarea roboilor mobili n medii industriale 2.3 Sistemele RMI 2.3.1 Sistemele mecanice ale RMI 2.3.1.1 Structurile platformelor RMI 2.3.1.2 Structurile manipulatoarelor RMI 2.3.2 Sistemele de acionare ale RMI 2.3.3 Sistemele senzoriale ale RMI 2.3.4 Sistemele de conducere ale RMI 2.3.4.1 Conducerea platformelor RMI 2.3.4.2 Conducerea manipulatoarelor RMI 2.4 Modelarea traseelor/traiectoriilor de navigare/manipulare ale RMI 2.4.1 Modelarea traseelor i traiectoriilor platformelor RMI 2.4.1.1 Modelarea cinematic a platformelor RMI 2.4.1.1.1 Modelarea cinematic direct a platformelor RMI 2.4.1.1.2 Modelarea cinematic invers a platformelor RMI 2.4.1.2 Modelarea geometric a mediilor de lucru 2.4.1.2.1 Generarea hrilor mediilor de lucru cu ARNL 2.4.1.3 Planificarea traseelor i traiectoriilor de navigare 2.4.2 Modelarea i planificarea traseelor i traiectoriilor manipulatoarelor RMI
15 15 15 16 16 18 21 21 22 22 23 25 26 26 28 29 31 32 32 34 35 35 35 35 36 37 38
13 13 13 13 14 15 16 16 17 17 17 17 17 18 18 19 19 20 21 21
2.4.1.2.2 Localizarea robotului n mediile de lucru cu ARNL 39 40
41
22
2.4.2.1 Modelarea cinematic a manipulatoarelor RMI 2.4.2.1.1 Modelarea cinematic direct a manipulatoarelor RMI 2.4.2.1.2 Modelarea cinematic invers a manipulatoarelor RMI 2.4.2.2 Planificarea traseelor i traiectoriilor de manipulare 2.5 Programarea RMI 2.5.1 Medii de programare a RMI 2.6 Concluzii 3. NVAREA ROBOILOR INDUSTRIALI 3.1 Introducere 3.2 Sisteme inteligente artificiale 3.2.1 Ageni inteligeni 3.2.1.1 Definire i clasificare 3.2.1.2 Modelarea agenilor inteligeni 3.3 Roboi mobili industriali ca ageni inteligeni 3.4 Sisteme de nvare specifice agenilor robotici inteligeni 3.4.1 nvarea nesupervizat 3.4.2 nvarea supervizat 3.4.3 nvarea prin ntrire 3.4.4 nvarea bazat pe reelele neuronale artificiale 3.4.4.1 Neuronul artificial 3.4.4.2 Reelele neuronale artificiale 3.4.4.3 Algoritmi de nvare 3.5 Concepia, dezvoltarea i testarea sistemului PLAN-TN de planificare a traseelor de navigare a RMI prin nvare 3.5.1 Descrierea mediului de navigare 3.5.2 Modelarea i planificarea traseelor de navigare cu nvare prin ntrire 3.5.2.1 Modelul matematic 3.5.2.2 Algoritmul de calcul i implementarea acestuia 3.5.2.3 Testarea algoritmului de planificare a traseelor de navigare cu nvare prin ntrire 3.5.2.3.1 Testarea pentru cazul 1 3.5.2.3.2 Testarea pentru cazul 2 5
41
22
42
22
44 45 46 48 50 52 52 53 54 54 56 57 59 60 60 60 63 64 64 66
24 25 25 26 26 26 27 27 27 28 28 28 -
68 68
28 29
69 69 71
29 29 31
74 75 75
33 33 33
3.5.2.3.3 Testarea pentru cazul 3 3.5.2.3.4 Testarea pentru cazul 4 3.5.2.4.5 Comentarii asupra rezultatelor testelor 3.6 Concepia, dezvoltarea i testarea sistemului PLAN-TM de planificare a traseelor de manipulare prin nvare 3.6.1 Modele de planificare a traseelor de manipulare cu RNA 3.6.2 Sistem de planificare a traseelor de manipulare cu RNA 3.6.2.1 Modelul matematic 3.6.2.2 Concepia algoritmului de planificare a traseelor de manipulare prin nvare cu RNA 3.6.2.3 Implementarea algoritmului de planificare a traseelor de manipulare prin nvare cu RNA 3.6.2.4 Testarea i evaluarea performanei sistemului de planificare a traseelor de manipulare prin nvare cu RNA 3.6.2.4.1 Teste i performane pentru cazul 1 (mediu de lucru fr obstacole) 3.6.2.4.2 Teste i performane pentru cazul 2 (mediu de lucru cu un obstacol) 3.6.2.4.3 Teste i performane pentru cazul 3 (mediu de lucru cu patru obstacole) 3.6.2.4.4 Comentarii privind rezultatele i performanele testelor 3.7 Baz de cunotine cu traseele planificate prin nvare 3.8 Motor de inferen pentru selectarea traseelor planificate prin nvare 3.9 Concluzii 4. SIMULAREA I TESTAREA NVRII RMI N MEDII VIRTUALE 4.1 Introducere 4.2 Echipamente i tehnologii de RV 4.3 Pachete software folosite pentru dezvoltarea aplicaiilor de RV 4.4 Concepia i dezvoltarea sistemului TEST-RV pentru simularea i testarea nvrii traseelor de navigare i manipulare 4.4.1 Generarea RMI virtuali i a mediilor de operare virtuale 4.4.1.1 Modelul virtual al RMI cu platforma PowerBot i manipulatorul PowerCube 6
75 75 76
33 34 34
77 77 79 79
35 35 35 36
80
36
82
83
38
85
38
87
39
89
40
90 91 91 92
41 41
93 93 93 96
42 42 42 43
97 97
44 44
97
44
4.4.1.2 Modelarea mediilor de lucru 4.4.1.2.1 Modelarea mediilor virtuale de navigare 4.4.1.2.2 Modelarea mediilor virtuale de manipulare 4.4.2 Controler virtual de conducere a proceselor de simulare i testare 4.4.3 Testarea traseelor planificate prin nvare i evaluarea rezultatelor 4.5 Concluzii 5. INTERACIUNEA OM-ROBOT N MEDII VIRTUALE I REALE 5.1 Introducere 5.2 Interfee HRI alternative adecvate proceselor de nvare a roboilor 5.2.1 Interaciunea om-robot cu BCI 5.2.2 Interaciunea om-robot cu dispozitive EOG 5.3 Aspecte privind calitatea interaciunii om-robot 5.3.1 Experiment de interaciune om-robot n mediul virtual 5.3.2 Experiment de interaciune om-robot n mediul real 5.3.3 Comentarii asupra rezultatelor experimentelor 5.4 Concluzii 6. EXPERIMENTE DE DEPLASARE I MANIPULARE N MEDII REALE 6.1 Introducere 6.2 Experimente de navigare 6.2.1 Construirea mediului de lucru 6.2.2 Realizarea experimentelor de navigare 6.2.3 Analiza rezultatelor experimentelor de navigare 6.3 Experimente de manipulare 6.3.1 Controler virtual pentru experiment 6.3.2 Construirea mediului de lucru 6.3.3 Realizarea experimentelor de manipulare 6.3.4 Analiza rezultatelor experimentelor de manipulare 6.4 Concluzii 7. CONCLUZII I CONTRIBUII 7.1 Concluzii finale 7.2 Contribuii proprii 7.3 Valorificarea rezultatelor cercetrii 7.3.1 Lucrri publicate 7.3.2 Participri la conferine 7
99 99
45 45
101 46 102 47 104 48 106 48 107 48 107 48 108 49 108 49 111 49 114 50 114 51 116 52 116 52 117 -
119 53 119 119 53 120 53 121 124 54 127 55 127 128 55 129 55 129 55 131 132 56 132 56 133 58 134 59 134 59 135 60
7.3.3 Participri la contracte de cercetare i dezvoltare 7.4 Direcii viitoare de cercetare BIBLIOGRAFIE ANEXE Anexa 1. SUBPROGRAMELE I FUNCIILE SISTEMULUI PLANTN Anexa 2. SUBPROGRAMELE I FUNCIILE SISTEMULUI PLANTM Anexa 3. SUBPROGRAMUL BLINK-EOG Anexa 4. SUBPROGRAMUL AMIGOBOT REZUMAT CV roman CV englez
135 60 135 60 137 61 152 -
153 -
160 171 179 181 62 182 63 183 64
CONTENTS
Pg. teza Pg. rezumat
1. INTRODUCTION 1.1 General aspects 1.2 Justification of subject 1.3 Study objectives 1.4 Methodology and research phases 1.5 Thesis contents and structure 2. INDUSTRIAL MOBILE ROBOTS. STATE OF THE ART 2.1 Introduction 2.2 Aspects concerning mobile robots integration in industrial environments 2.2.1 Industrial robocars 2.2.2 Functions and integration of mobile robots in industrial environments 2.3 RMI Systems 2.3.1 RMI mechanic systems 2.3.1.1 Structures of RMI platforms 2.3.1.2 Structures of RMI manipulators 2.3.2 RMI action systems 8
15 15 15 16 16 18 21 21 22 22 23 25 26 26 28 29
13 13 13 13 14 15 16 16 17 17 17 17 17 18 18
2.3.3 RMI sensorial systems 2.3.4 RMI driving systems 2.3.4.1 Driving RMI platforms 2.3.4.2 Driving RMI manipulators 2.4 Modeling RMI navigation and manipulation paths 2.4.1 Modeling paths for RMI platforms 2.4.1.1 Cinematic modeling of RMI platforms 2.4.1.1.1 Direct cinematic modeling of RMI platforms 2.4.1.1.2 Inverse cinematic modeling of RMI platforms 2.4.1.2 Geometric modeling of working environments 2.4.1.2.1 Generating a map of a working environment with ARNL 2.4.1.2.2 Robot localization in a working environment with ARNL 2.4.1.3 Path planning for movement 2.4.2 Modeling and path planning of RMI manipulators 2.4.2.1 Cinematic modeling of RMI manipulators 2.4.2.1.1 Direct cinematic modeling of RMI manipulators 2.4.2.1.2 Inverse cinematic modeling of RMI manipulators 2.4.2.2 Path planning for manipulation 2.5 RMI programming 2.5.1 RMI programming environments 2.6 Conclusions 3. LEARNING INDUSTRIAL ROBOTS 3.1 Introduction 3.2 Intelligent artificial systems 3.2.1 Intelligent agents 3.2.1.1 Definition and clasification 3.2.1.2 Modeling intelligent agents 3.3 Industrial mobile robots as intelligent agents 3.4 Learning systems for intelligent robot agents 3.4.1 Unsupervised learning 3.4.2 Supervised learning 3.4.3 Reinforcement learning 3.4.4 Learning based on artificial neural networks 9
31 32 32 34 35 35 35 35 36 37
19 19 -
38
20
39 40 41 41 42 44 45 46 48 50 52 52 53 54 54 56 57 59 60 60 60 63
21 21 22 22 22 24 25 25 26 26 26 27 27 27 28 28
3.4.4.1 Artificial neuron 3.4.4.2 Artificial neural networks 3.4.4.3 Learning algorithms 3.5 Conception, development and testing of PLAN-TN path planning system for RMI movement learning 3.5.1 Describing the navigation environment 3.5.2 Modeling learning path planning for movement through reinforcement learning 3.5.2.1 Mathematical model 3.5.2.2 Algorithm and implementation 3.5.2.3 Testing the path planning for movement through reinforcement learning algorithm 3.5.2.3.1 Testing case 1 3.5.2.3.2 Testing case 2 3.5.2.3.3 Testing case 3 3.5.2.3.4 Testing case 4 3.5.2.4.5 Discussion on testing results 3.6 Conception, development and testing of PLAN-TM path planning system for RMI manipulation learning 3.6.1 Models of path planning for manipulation with RNA 3.6.2 Path planning system for manipulation with RNA 3.6.2.1 Mathematical model 3.6.2.2 Conception of path planning algorithm for learning manipulation with RNA 3.6.2.3 Path planning algorithm for learning manipulation with RNA implementation 3.6.2.4 Testing and performance evaluation of path planning algorithm for learning manipulation with RNA 3.6.2.4.1 Case 1 tests and performance (working
64 64 66
28 -
68 68
28 29
69 69 71
29 29 31
74 75 75 75 75 76
33 33 33 33 34 34
77 77 79 79
35 35 35 36
80
36
82
83
38
environment with no obstacles) 3.6.2.4.2 Case 2 tests and performance (working
85
38
environment with one obstacle) 3.6.2.4.3 Case 3 tests and performance (working
87
39
environment with three obstacles) 3.6.2.4.4 Discussion on testing results and performance 10
89 90
40 41
3.7 Knowledge base for trajectories generated with path planning through learning 3.8 Inference engine for selection of trajectories generated with path planning through learning 3.9 Conclusions 4. SIMULATION AND TESTING OF LEARNING RMI IN VIRTUAL ENVIRONMENTS 4.1 Introduction 4.2 RV equipments and technologies 4.3 Software solutions used for development of RV applications 4.4 Conception and development of TEST-RV system for simulation and testing of learning movement and manipulation trajectories 4.4.1 Generating virtual RMI and working environments 4.4.1.1 Virtual model of RMI with PowerBot platform and PowerCube manipulator 4.4.1.2 Modeling working environments 4.4.1.2.1 Modeling virtual environments for movement 4.4.1.2.2 Modeling virtual environments for manipulation 4.4.2 Virtual controller for simulation and testing 4.4.3 Testing learned trajectories and results evaluation 4.5 Conclusions 5. HUMAN ROBOT-INTERACTION IN VIRTUAL AND REAL ENVIRONMENTS 5.1 Introduction 5.2 HRI alternative interfaces suitable for robot learning 5.2.1 Human-robot interaction with BCI 5.2.2 Human-robot interaction with EOG devices 5.3 Aspects concerning human-robot interaction quality 5.3.1 Human-robot interaction experiment in virtual environment 5.3.2 Human-robot interaction experiment in real environment 5.3.3 Comments upon experiments results 5.4 Conclusions 6. MOVEMENT AND MANIPULATION EXPERIMENTS IN REAL ENVIRONMENTS 6.1 Introduction 11 119 53 119 107 48 107 48 108 49 108 49 111 49 114 50 114 51 116 52 116 52 117 97 99 99 44 45 45 97 97 44 44 93 93 93 96 42 42 42 43 91 92 41 91 -
101 46 102 47 104 48 106 48
6.2 Navigation experiment 6.2.1 Building the working environment 6.2.2 Conducting the navigation experiment 6.2.3 Navigation experiment results analysis 6.3 Manipulation experiment 6.3.1 Virtual controller for experiment 6.3.2 Building the working environment 6.3.3 Conducting the manipulation experiment 6.3.4 Manipulation experiment results analysis 6.4 Conclusions 7. CONCLUSIONS AND ORIGINAL CONTRIBUTION 7.1 Final conclusions 7.2 Original contribution 7.3 Research results 7.3.1 Published papers 7.3.2 Conference participations 7.3.3 Participation in research and development contracts 7.4 Future work REFERENCES APPENDIX Appendix 1. Subprograms and functions of PLAN-TN system Appendix 2. Subprograms and functions of PLAN-TM system Appendix 3. BLINK-EOG Subprogram Appendix 4. AMIGOBOT Subprogram ABSTRACT Resume in romanian Resume in English
119 53 120 53 121 124 54 127 55 127 128 55 129 55 129 55 131 132 56 132 56 133 58 134 59 134 59 135 60 135 60 135 60 137 61 152 153 160 171 179 181 62 182 63 183 64
n rezumat s-au pstrat notaiile figurilor, relaiilor i tabelelor din teza de doctorat.
12
1. INTRODUCERE
1.1 ASPECTE GENERALE
Roboii industriali au aprut ca rspuns la necesitatea omului de automatizare a proceselor de producie, mai ales, a celor repetitive. Pe lng roboii industriali fici, construii, n principal, din nevoia de cretere a productivitii, n ultima perioad au fost folosii i roboii mobili. Principalele activiti care pot fi ntreprinse de roboii mobili industriali sunt legate de transportul i manipularea obiectelor precum i, uneori, de realizarea unor procese (de vopsire, de inspecie, de asamblare etc.). n scopul de a optimiza execuia acestor activiti, multe studii actuale din domeniu conduc spre programarea bazat pe atribute cognitive (raiune, percepie, nelegere i de nvare) care prin abstractizare, generalizare, specializare, reprezentare, cunoatere, concentrare, socializare confer roboilor un nivel ridicat de inteligen. Unul dintre atributele primare ale cogniiei este nvarea. Ideea de a nva o entitate de tip robot s manipuleze obiecte nu este nou, ns sunt puine studiile ce se adreseaz roboilor mobili industriali, n special, din considerente de eficien a programrii i interaciunii cu operatorul uman. Studiile prezentate, n continuare, n aceast lucrare aduc i ele contribuii la implementarea unor noi algoritmii de nvare originali n scopul dezvoltrii de sisteme inteligente care opereaz n mediile industriale.
1.2 NECESITATEA I JUSTIFICAREA TEMEI

Necesitatea acestui studiu provine din nevoia de cretere a productivitii i de uurare a muncii omului prin introducerea unor sisteme robotice mobile flexibile, capabile s se adapteze la situaii noi i s nvee din experienele anterioare. n prezent, utilizarea roboilor mobili pentru execuia de activiti n medii industriale este limitat de probleme, nc nesoluionate total, precum: percepia mediului de lucru, recunoaterea trsturilor, interaciunea natural om-robot, planificarea bazat pe sarcini, evitarea obstacolelor etc. Programarea clasic a roboilor, inclusiv a celor mobili, nu rspunde tendinelor actuale de integrare a acestora n medii parial sau chiar total nestructurate care implic aciuni de complexitate mrit (de ex. ocolirea obstacolelor statice i dinamice). n vederea eliminrii acestui dezavantaj s-a considerat c este oportun s se realizeze cercetri privind dezvoltarea de sisteme evoluate de programare, cu precdere bazate pe nvare, care s conduc la comunicri evoluate ale operatorului cu robotul precum i la nivele ridicate de flexibilitate i eficacitate de execuie a sarcinilor impuse. Astfel, se impune dezvoltarea de noi algoritmi de nvare care prin implementare confer sistemului integrat om-robot-mediul de operare valene de sistem inteligent. Ca urmare, dezvoltarea de cercetri privind nvarea roboilor presupune concepia, dezvoltarea, implementarea i testarea de algoritmi dedicai precum i studii privind logistica de integrare n practic privind posibilitile de comunicare om-robot i de integrare a tehnicilor i tehnologiilor de realitate virtual.
1.3 OBIECTIVELE CERCETRII

Obiectivul principal al tezei de doctorat este studiul, concepia, dezvoltarea, implementarea i testarea unui sistem de nvare pentru roboi mobili care execut activiti de deplasare i manipulare n medii industriale.
13
Obiectivele specifice: analiza bibliografic exhaustiv asupra cercetrilor teoretice i experimentale n domeniul roboilor mobili integrabili n medii industriale precum i a tehnicilor de nvare folosite n robotic; concepia unui sistem de nvare a roboilor mobili industriali pentru navigare i manipulare; concepia, dezvoltarea, implementarea i testarea unui subsistem de planificare a traseelor de navigare prin nvare a platformelor roboilor mobili industriali; concepia, dezvoltarea, implementarea i testarea unui subsistem de planificare a traseelor de manipulare prin nvare cu brae robot montate pe platforme mobile; concepia i dezvoltarea i unui sistem de simulare i de planificare prin nvare a traseelor de navigare i manipulare a roboilor mobili virtuali n medii industriale virtuale; implementarea algoritmilor de planificare prin nvare a navigrii i manipulrii pe platforma mobil PowerBot i manipulatorul PowerCube testarea prin experimente, att n realitate, ct i n medii virtuale, a algoritmilor de planificare prin nvare a traseelor de navigare i manipulare; integrarea de noi interfee om-robot ca mijloace alternative de interaciune a operatorilor umani cu roboii mobili n timpul proceselor de nvare; evaluarea calitii interaciunii om-robot n medii virtuale imersive i n medii reale, n cazul unor scenarii de deplasare i manipulare planificate prin nvare.
1.4 METODOLOGIA I ETAPELE CERCETRII

Pornind de la obiectivele impuse precum i de analiza critic privind realizrile teoretice i experimentale n domeniul roboticii mobile (v. cap. 2) s-a conceput sistemul integrat din fig. 1.1 n care s-au identificat nc de nceput locul i rolul cercetrilor dezvoltate precum i modul de implementare a rezultatelor acestora n practic. Astfel, n fig. 1.1 se evideniaz subsistemele Planificarea traseelor de navigare prin nvare i Planificarea traseelor de manipulare prin nvare ca rezultate principale ale cercetrilor teoretice de modelare, algoritmizare, programare, implementare i testare a planificrii traseelor de navigare i manipulare ale unui robot mobil dotat cu manipulator care opereaz n medii industriale (v. cap. 3). Avnd n vedere actualitatea i eficacitatea cercetrilor actuale prin intermediul tehnicilor i tehnologiilor realitii virtuale, s-a considerat c dezvoltarea de cercetri privind programarea prin nvare a roboilor reprezentai ca entiti virtuale care opereaz n medii virtuale conduce la avantaje semnificative privind integrarea roboilor mobili n activiti, cu precdere, de transport i de manipulare n medii virtuale (v. cap. 4). Odat conceput i dezvoltat un sistem nou de programare, n acest caz prin nvare, se impun cercetri privind implementarea acestuia pe platforme software i hardware existente. n cadrul acestei lucrri, rezultatele cercetrilor teoretice, n vederea validrii, au fost implementate i testate pe platforma mobil PowerBot dotat cu manipulatorul PowerCube (v. cap. 6). Pe de alt parte, pornind de faptul c un sistem nou de programare implic i noi ci de comunicare om-robot, s-au dezvoltat i cercetri privind mijloace i dispozitive alternative de interaciune a operatorului cu robotul (v. cap. 5). Sistemul de nvare dezvoltat n cadrul acestei lucrri poate funciona n trei regimuri distincte: nvare offline (fr folosirea robotului real) prin procesarea sarcinilor impuse de ctre subsistemele de planificare a traseelor de navigare sau de manipulare rezultate n urma cercetrilor, simularea i testarea traseelor obinute n medii de realitate virtual, evaluarea/validarea i stocarea rezultatului (traseul obinut) n baza de cunotine. 14
nvare online prin exerciii, prin procesarea sarcinilor, structurate ca secvene simple de aciune n mediul real, de ctre subsistemele de planificare a traseelor de navigare sau de manipulare, testarea traseelor obinute prin intervenia robotului real, corecii n timpul operrii n mediul real, evaluarea/validarea i stocarea rezultatului (traseul obinut) n baza de cunotine. nvare online prin operare ce implic cutarea (sortarea) de ctre motorul de inferen, pornind de la o sarcin impus, a unei succesiuni de secvene de navigare i/sau de manipulare n baza de cunotine cu secvene (trasee) nvate; execuia secvenelor obinute prin cutare; corecii rezultate n urma operrii n mediul real; evaluarea i validarea; stocarea rezultatului (traseul obinut) n baza de cunotine.
Fig. 1.1 Schema bloc a sistemului de nvare pentru deplasare i manipulare
1.5 STRUCTURA I CONINUTUL TEZEI DE DOCTORAT

n Capitolul 1, Introducere, sunt prezentate aspecte generale legate de studiul propus n cadrul acestei cercetri. n prima parte este descris i justificat tema lucrrii de doctorat, pornindu-se de la ideea de eficientizare a implementrii roboilor mobil n mediile de producie industriale. Este definit, n continuare, obiectivul principal al prezentei teze: studiul, concepia, dezvoltarea i implementarea unui sistem de nvare pentru roboi mobili care execut activiti de deplasare i manipulare n medii industriale; sunt, n plus, precizate 9 obiective specifice. n Capitolul 2, Roboi mobili industriali. Stadiul actual, se prezint sintetic aspecte privind integrarea roboilor mobili n medii industriale. Se sintetizeaz faptul c dintre mai multe operaii posibil a fi executate de roboii mobili n mediile industriale sunt cele de navigare i manipulare. n acest capitol sunt delimitate problematicile actuale necesare a fi rezolvate de aceast cercetare. Se sintetizeaz faptul c platforma PowerBot cu manipulatorul 15
PowerCube nu dispune de un sistem satisfctoar de programare i se impune concepia i dezvoltarea de noi sisteme bazate pe nvare, care s permit operaii de navigare i manipulare cognitive. n Capitolul 3, nvarea roboilor industriali, sunt prezentate aspecte generale legate de nvarea artificial, delimitndu-se roboii mobili industriali ca ageni inteligeni, precum i sistemele de nvare specifice acestora (nvarea supervizat, nvarea prin ntrire, nvarea cu reele neuronale artificiale). n acest capitol sunt concepute, dezvoltate i testate sistemul de planificare a traseelor de navigare prin nvare, PLAN-TN, i sistemul de planificare a traseelor de manipulare prin nvare, PLAN-TM. Algoritmii de navigare i manipulare concepui sunt analizai din punct de vedere al validitii, convergenei, siguranei i performanei, n scopul folosirii lor n medii virtuale i reale. n Capitolul 4, Simularea i testarea nvrii RMI n medii virtuale, sunt prezentate echipamentele i tehnologiile de realitate virtual cu aplicabilitate pentru simularea i testarea programrii prin nvare a RMI. Este conceput i dezvoltat un sistem de RV pentru simularea i testarea nvrii traseelor de manipulare i navigare. Dezvoltarea acestui sistem are la baz urmtoarele etape: Generarea mediului virtual, Implementarea sistemelor de planificare prin nvare, Generarea controlerului virtual i Testarea i evaluarea rezultatelor. Sunt dezvoltate modelele virtuale ale platformei PowerBot i manipulatorului PowerCube, precum i modelele virtuale ale mediilor de navigare i manipulare. Aceste modele sunt realizate n diferite medii de programare/simulare: MATLAB/Simulink, C++/OGRE, VRML sau XVR. n Capitolul 5, Interaciunea om-robot n medii virtuale i reale, sunt propuse 2 experimente care folosesc interfee om-robot alternative, avnd la baz prelucrarea semnalelor de tip EEG i EOG. Folosind un dispozitiv BCI (g.USBamp) sunt nregistrate i procesate semnalele de tip EEG, cu o aplicaie de recunoatere i selecie a unor simboluri (litere) care pot sta la baza conducerii RMI pentru antrenare n vederea navigrii sau manipulrii. n plus, n acest capitol este conceput i implementat un experiment de evaluare a calitii interaciunii om-robot, realizat att n mediul virtual imersiv CAVE, ct i n realitate. n Capitolul 6, Experimente de deplasare i manipulare n medii reale, sunt concepute i realizate, n coresponden cu cercetrile teoretice, experimente de navigare i de manipulare pentru testarea sistemelor de planificare prin nvare. Att n cazul navigrii, ct i n cel al manipulrii, sunt parcurse urmtoarele etape: construcia mediului de lucru, efectuarea testelor i analiza rezultatelor obinute. n Capitolul 7, Concluzii i contribuii personale, sunt prezentate concluziile finale, contribuiile personale, rezultatele tiinifice obinute n urma studiului (lista de lucrri publicate, participarea la conferine internaionale i implicarea n cadrul contractelor de cercetare), precum i direciile viitoare de cercetare.
2. ROBOI MOBILI INDUSTRIALI. STADIUL ACTUAL

2.1 INTRODUCERE
Robotul industrial a aprut ca rezultat firesc al existenei unor limite de flexibilitate legate de gradul de intervenie al omului n procesul de producie. n evoluia mainilor, utilajelor i sistemelor tehnologice de prelucrare i de asamblare cu cerine ridicate de productivitate i calitate, robotul poate fi considerat ca fiind un sistem complex capabil s asiste sau s nlocuiasc, parial sau total, aciunile operatorului uman n cadrul proceselor de producie a bunurilor materiale i serviciilor.
16
2.2 ASPECTE PRIVIND INTEGRAREA ROBOILOR MOBILI N MEDII INDUSTRIALE

Mediile industriale, spre deosebire de altele (extraterestre, subacvatice, urbane, agricole, forestiere etc.), au caracteristici specifice care au determinat folosirea unor structuri dedicate ale roboilor industriali fici i, n ultimul timp, induc personalizri specifice privind dezvoltarea i implementarea roboilor mobili universali [Stuckler, 2009] ca roboi mobili industriali (RMI). Printre caracteristicile i cerinele specifice ale mediilor industriale legate de implementarea roboilor, n special, a celor mobili, se evideniaz: structurarea parial a locaiilor de lucru [Nickerson, 1998; Jang, 2008; Zender, 2008]; nivelul crescut de securitate [Agostino, 2008; Or, 2009; Kabe, 2010], necesitatea unui sistem senzorial extern [Scharstein, 2001; Golnabi, 2003, 2007; Mehling, 2006; Wulf, 2006; Tessier, 2010] precum i necesitatea unor sistemele auxiliare.
2.2.2 FUNCIILE I INTEGRAREA ROBOILOR MOBILI N MEDII INDUSTRIALE

Robotul industrial opereaz n medii tehnologice cu urmtoarele scopuri: transport de piese, dispozitive sau scule n poziii i orientri diverse; execuie de operaii tehnologice de vopsire, de sudare, de polizare etc.; asamblare de produse sau subansamble ale acestora prin aezarea i fixarea elementelor componente n poziiile cerute de funcionalitate; inspecie n vederea identificrii i msurrii atributelor (dimensiuni, forme, culoare, greutate etc.) unor piese sau procese; monitorizare/supervizare sisteme i procese. La proiectarea, dezvoltarea i implementarea roboilor industriali (fici i mobili) se urmrete, pe de-o parte, mrirea eficienei aciunilor asupra mediilor tehnologice prin creterea vitezei i preciziei de execuie [Mogan, 2009] i, pe de alt parte, nlocuirea operatorilor umani care execut operaii simple repetitive sau care lucreaz n medii austere (cldur/frig, lumin/ntuneric, vibraii/zgomote etc.) i nocive (cu radiaii, poluate etc.).
2.3 SISTEMELE RMI

Roboii mobili industriali sunt considerai drept hipersisteme mecatronice complexe compuse din urmtoarele pri principale [Borangiu, 2001]: sistemul mecanic care realizeaz micarea dorit a obiectului manipulat n mediul de operare prin acionarea manipulatorului i/sau a platformei mobile; sistemul de acionare cu funcia de a pune n micare cuplele cinematice ale sistemului mecanic prin intermediul unor subsisteme de antrenare cu motoare legate la sursa de energie; sistemul senzorial prin care se culeg informaii privind valorile parametrilor interni care descriu starea sistemului robotului industrial, precum i valorile parametrilor externi asociai spaiului de operare i/sau sistemului perirobot; sistemul de conducere care proceseaz informaiile primite de la sursa de informaie (operatorul uman, sisteme de conducere similare i superioare) i/sau de la sistemul senzorial.
2.3.1 SISTEMELE MECANICE ALE RMI

2.3.1.1 STRUCTURILE PLATFORMELOR RMI Pentru realizarea funciei de navigare, RMI sunt echipai cu subsisteme de locomoie care asigur deplasarea n spaiul de operare pentru urmrirea traseului, evitarea coliziunilor cu obstacole (fixe sau mobile) sau retragerea la punctul de alimentare (docking). Subsistemele de locomoie ale roboilor mobili teretrii pot cu roi, cu enile/benzi sau cu picioare (lanuri cinematice construite din elemente rigide). Datorit avantajelor legate de mobilitate, 17
manevrabilitate i simplitate, RMI au n general subsisteme de locomoie bazate pe roi [Mogan, 2003; Doroftei, 2007]. n fig. 2.4 se prezint, schema platformei PowerBot aflat n dotarea laboratorului de Realitate Virtual i Robotic din cadrul Universitii Transilvania din Braov, pe care s-au dezvoltat cercetrile experimentele prezentate n aceast lucrare, i care este construit din 2 roi motoare orientate paralel, precum i 2 roi de susinere de tip castor a cror poziionare asigur o stabilitate mrit.
Fig. 2.4 Structura platformei robotului PowerBot
2.3.1.2 STRUCTURILE MANIPULATOARELOR RMI Un manipulator (bra robotic) este alctuit dintr-un lan cinematic nchis sau deschis, cu gradul de mobilitate dependent de numrul de cuple cinematice i de tipul acestora. Numrul gradelor de libertate este egal cu numrul de parametri independeni care trebuie specificai pentru a defini poziia neechivoc a tuturor elementelor lanului cinematic. n structurile manipulatoarelor roboilor sunt folosite, cu precdere, cuplele cinematice de rotaie i de translaie (fig. 5).
Fig. 2.5 Structura general a unui manipulator serie
2.3.2 SISTEMELE DE ACIONARE ALE RMI

Cuplele cinematice ale manipulatoarelor i roile motoare ale platformei RMI sunt antrenate de subsisteme de acionare motoare prin intermediul unor mecanisme de antrenare. Aceste mecanisme, pot fi acionate de motoare electrice, hidraulice sau pneumatice, liniare sau rotative.
18
Pentru RMI, avnd n vedere particularitile menionate mai sus, se folosesc cu precdere, pentru acionarea cuplelor cinematice ct i roilor motrice, motoare electrice de curent continuu alimentate de surse proprii care se rencarc n staii dedicate.
2.3.3 SISTEMELE DE SENZORIALE ALE RMI

Senzorul este un dispozitiv care detecteaz o schimbare a unui stimul fizic (mecanic, electric, magnetic, termic optic sau chimic) i o transform ntr-un semnal, frecvent electric, care apoi este msurat i nregistrat. Senzori interni (proprioceptivi) sunt folosii pentru monitorizarea strii interne a robotului prin msurarea poziiilor, vitezelor, acceleraiilor, tensiunilor i curenilor, temperaturilor, strilor acumulatorilor etc., cu scopul meninerii stabilitii cinematice i dinamice i, pe de alt parte, sesizrii i evitrii situaiilor nedorite de funcionare (de ex. de oprire n cazul coliziunii structurii cu obiecte din mediu). Senzori externi (exteroceptivi) sunt folosii cu scopul identificrii i msurrii caracteristicilor mediului i obiectelor din acesta (de ex. dimensiuni, forme, culori, stri de micare etc.). n general, senzorii externi montai pe platformele roboilor mobili sau n mediul de operare pot fi sisteme vision a (camere video 2D i/sau 3D [Bradski, 2008]) sau non-vision, bazai pe principii fizice diverse (mecanice, magnetice, electrice, optice, acustice, luminoase) opernd prin unde electromagnetice, laser, radio i altele. n fig. 2.9a este prezentat poziionarea senzorilor externi. Sistemul vision este folosit b pentru recunoaterea i localizarea de obiecte Fig. 2.9 Senzorii platformei PowerBot: a n spaiul de operare prin intermediul unei poziionarea pe carcas; b poziionarea camere PTZ. n cazul calibrrii geometrice, celulelor de tip sonar sistemul vision se poate folosi i pentru msurarea a distanelor de la robot la obstacole din mediu. Cele dou reele cu senzori de tip sonar se folosesc pentru determinarea distanelor prin msurarea timpului n care sunetele emise i reflectate de obiecte se ntorc la emitoarele poziionate n zon superioar fa i spate a platformei. Fiecare reea conine 14 celule sonar, poziionate n 2 sectoare, montate la 10o, 20o i respectiv 25o (fig. 2.9b). Spre deosebire de sistemul de senzori de tip sonar care permit scanri pn la 6m, cu citiri la fiecare 10 o, sistemul laser de tip SICK LMS200 permite robotului s scaneze obiecte la distane de pn la 50m, cu o citiri la fiecare grad (abateri mai mici de un grad). Senzorii de contact (bumpere) sunt senzori electro-mecanici, poziionai n barele de protecie fa i spate care semnaleaz coliziunea cu un obiect prin nchiderea i deschiderea unui circuit electric.
2.4 MODELAREA I PLANIFICAREA TRASEELOR I TRAIECTORIILOR DE NAVIGARE/MANIPULARE ALE RMI

2.4.1.2 MODELAREA GEOMETRIC A MEDIILOR DE LUCRU
Modelarea mediilor n care opereaz RMI presupune determinarea formelor, poziiilor i dimensiunilor obiectelor i obstacolelor de tip construcie (perei, stlpi, paravane etc.) care 19
stau la baza elaborrii unei hri necesare pentru planificarea traseelor de navigare. Problema navigrii roboilor mobili, inclusiv a celor industriali, n mediile care opereaz, presupune parcurgerea urmtoarelor etape: localizare (absolut sau relativ) bazat pe senzori (percepie), generare hart local (mapare), planificarea traseului (cii) i urmrirea acestuia. n practica modelrii mediilor de operare primele dou etape, fiind strns legate, se realizeaz de obicei simultan, sub denumirea de localizare i mapare simultan (SLAM Simultaneous Localization And Mapping) [Mountarlier, 1989; Durrant-Whyte, 2000; Choset, 2001; Dissanayake, 2001; Guivant, 2001; Leonard, 2001]. Platforma PowerBot dispune de pachetul performant ARNL (Advanced Robotics Navigation and Localization) care conine module software de generare a hrilor bazate pe metodologia SLAM, folosind pentru recunoatere sistemul de percepie cu senzori laser i sonar, i pentru localizare prin odometrie, sistemul de achiziie i date de la encoderele poziionate pe motoarele de antrenare ale roilor motoare [Leonard, 2001]. 2.4.1.2.1 GENERAREA HRILOR MEDIILOR DE LUCRU CU ARNL Pentru a realiza o hart a mediului de lucru cu pachetul ARNL, se parcurg succesiv etapele de scanare, filtrare i procesare a datelor i n final de generare a hrii. n cazul robotului PowerBot, scanarea mediului de lucru se realizat cu senzorul laser SICK LMS200 n timpul deplasrii acestuia n mediul de lucru condus prin intermediul joystickului, de la tastatur prin butoanele sus, jos, stnga, dreapta sau cu mouse-ul folosind modulul software MobileEyes. Pentru scanarea mediului, n funcie de acurateea impus, pachetul ARNL dispune de modulele arnlServer i sickLogger care au rezoluii de scanare de 1o i, respectiv, 0,5o.
Fig. 2.15 Generarea hrii dintr-o nregistrare laser: a secvena 1; b - secvenele 1 i 2; c secvenele 1, 2 i 3; d harta final
Generarea hrii se realizat cu modulul Mapper3, care transform fiierul cu datele procesate n urma unei sesiuni de scanare, stocate ntr-un fiier cu extensia .2d, ntr-o hart, salvat ntr-un fiier cu extensia .map [Gutmann, 1998, 2001, 2002] n fig. 2.15a,b,c se 20
evideniaz primele trei secvene de procesare din evoluia robotului pe traiectoria de scanare. n final, harta rezultat (fig. 2.15d) este curat de citiri nerelevante (pixeli singulari). Harta rezultat poate fi n continuare modificat prin editare manual (adugarea de noi zone int, de plecare sau interzise, precum i de noi linii/puncte care configureaz obstacole nescanate n cazul sesiunii anterioare). n plus, se pot terge unele entiti care pentru planificarea traseului nu reprezint obstacole permanente. 2.4.1.2.2 LOCALIZAREA ROBOTULUI N MEDIILE DE LUCRU CU ARNL Pentru o navigare fiabil n medii nchise (cazul marii majoriti a mediilor industriale), un robot mobil trebuie s se cunoasc n orice moment poziia n care se afl. Cele mai utilizate metode de localizare sunt bazate pe algoritmi probabilistici, reprezentativ fiind algoritmului Monte-Carlo (MCL Monte-Carlo Localization) [Dellaert, 1999]. Platforma PowerBot folosete senzorul laser SICK LMS200 pentru a se auto-localiza pe o hart construit anterior, mbinnd citirile laser i calculul odometric cu ajutorul algoritmului de localizare MCL. Aceast operaie se realizeaz prin intermediul modulului ArLocalizationTask din librria ARNL. 2.4.1.3 PLANIFICAREA TRASEELOR I TRAIECTORIILOR DE NAVIGARE Planificarea traseului, termen cunoscut n literatura de specialitate anglosaxon sub denumirea path planning, reprezint de fapt, n robotica mobil, procesul de detaliere a unei sarcini la nivelul deplasrii robotului ntr-un sistem bine definit [Alami, 2004; Amigoni, 2006; Valero, 2006; Wu, 2009; Ye, 2009]. Planificarea traiectoriilor de deplasare presupune parametrizarea traseelor de deplasare n raport cu variabila timp. n cazul calculrii traiectoriei de evitare a unei scene cu obstacole fixe, un traseu poate generat cu ajutorul unui algoritm de planificare clasic. Odat cu introducerea obstacolelor dinamice, dat fiind faptul c orice stare prezent este ireversibil, scopul algoritmilor de planificare a traiectoriei la un moment de timp ales este gsirea unui traseu care s nu intersecteze obstacolele statice sau dinamice. Metodele de planificare a traseelor roboilor mobili bazate pe hari ale mediului de operare, generate manual sau automat, sunt: grafice (metoda descompunerii n celule [Lingelbach, 2005]; diagrama vizibilitii obstacolelor [Borenstein, 1991]), grafo-analitice (diagramele Voronoi [Takahashi, 1989]) sau pur analitice. Pachetul de programe ARNL instalat pe robotul PowerBot include i modulul MobileEyes dedicat planificrii de traiectorii dintre poziii curente ale robotului i inte impuse Fig. 2.18 Algoritmul ferestrei dinamice de urmrire a cunoscnd o hart determinat traiectoriei: a starea iniial; b, c, d, e, f secvene preliminar (fig. 2.18a). Acest modul intermediare genereaz comenzi privind viteza i 21
orientarea robotului n timpul deplasrii de urmrire a traiectoriei generate. n plus, acest modul, n timpul urmririi prin intermediul ArLocalizationTask (v. subcap. 2.4.1.2.2), identific obstacolele necartografiate i produce modificri locale ale traiectoriei iniiale. n fig. 2.18b,c,d,e,f se prezint secvene intermediare asociate unor zone locale, marcate prin ferestre dinamice (FD) n care se produc modificri ale traiectoriei iniiale dependent de informaiile de localizare aferente. Astfel, procesul de urmrire a traiectoriei iniiale presupune parcurgerea succesiv a mai multor secvene localizare-modificare-urmrire, pn la atingerea punctului int (algoritmul ferestrei dinamice). Fereastra dinamic (FD) se repoziioneaz succesiv, pn cnd ultima secven conine punctul int.
2.4.2 MODELAREA I PLANIFICAREA TRASEELOR I TRAIECTORIILOR MANIPULATOARELOR RMI

2.4.2.1 MODELAREA CINEMATIC A MANIPULATOARELOR RMI Pentru controlul i comanda micrii unui bra robotic, este necesar exprimarea coordonatelor de poziie i de orientare ale efectorului final n funcie de parametrii variabili ai cuplelor cinematice, denumit cinematica direct, i mai ales, exprimarea invers (variabile cuplelor n funcie de coordonate efectorului final) denumit cinematica invers. 2.4.2.1.1 MODELAREA CINEMATIC DIRECT A MANIPULATOARELOR RMI n fig. 2.19 se prezint modelul geometric al braului robotic PowerBot care st la baza modelului cinematic direct pentru determinarea funciei cinematice directe, Fk 1,2,,6 = (x, y, z)1,2,,6 (2.13)
unde, 1,2,,6 sunt valorile unghiurilor de la cele 6 cuple, iar (, , )1,2,,6 - coordonatele
Fig. 2.19 Modelul geometric al braului robotic PowerCube: a sistemele de coordonate locale; b vedere general
22
carteziene ale centrelor celor 6 cuple. n general, modelul cinematic al unui manipulator serie se descrie prin asocierea fiecrei cuple cinematice a unui sistem de coordonate carteziene i a unei matrice de transformare. Conform metodei matriceale Denavit-Hartenberg (DH), consacrat pentru descrierea modelelor cinematice directe ale manipulatoarelor roboilor cu cuple de rotaie, se adopt pentru cupla cinematic i un sistem de coordonate asociat elementului antrenat, cu axa OZi pe direcia axei de rotaie a cuplei, axa OXi paralel cu direcia normalei la planul determinat de o paralel la axa OZi-1 a cuplei anterioare, i axa OZi curent (OXi = OZi1 OZi ) i axa OYi perpendicular pe axele OZi i OXi. Matricea de transformare care descrie poziia relativ a elementelor cuplei i, conform metodei DH, are forma,
cos i sin i 0 0 sin i cos i cos i cos i sin i 0 sin i sin i cos i sin i cos i 0 ri cos i ri sin i , di 1
Tii1
(2.14)
n care, i este unghiul de rotire n jurul axei OZ i-1, care aliniaz axa anterioar OXi-1 cu cea curent OXi; distana de la axa anterioar OZi-1 la normala la axa curent OZi; lungimea normalei de la axa anterioar OZi-1 la axa curent OZi; unghiul de rotire dup normala de la axa anterioar OZi-1 la axa curent OZi, care aliniaz axa anterioar OZi-1 cu axa OZi. Pentru determinarea poziiei punctului caracteristic asociat efectorului folosind matricele de transformare DH, se utilizez ecuaia matriceal,
i i2 1 0 n1 n2 T = Tn Tn1 Ti+1 Tii1 Ti1 T2 T1 ,
(2.15)
care pentru structura manipulatorului PowerCube cu 6 cuple cinematice de rotaie (fig. 2.19) devine,
Rx 0 Ry 0 EEx R z EEy 0 EEz 1
5 4 3 2 1 0 = T6 T5 T4 T3 T2 T1 .
(2.16)
n aceast relaie EEx, EEy, EEz sunt coordonatele punctului caracteristic asociat efectorului final i Rx, Ry, Rz matricele de rotaie ale axelor sistemului de coordonate asociat efectorului n raport cu sistemul de coordonate de referin,
cos 1 sin 1 0 0 0 sin 1 0 cos 1 1 0 0 0 0 0 1 0 11,5 cos 1 11,5 sin 1 , 0 1 0 0 , 0 1 0 0 , 30 1
0 T1 =
(2.17)
1 T2
cos 2 sin 2 0 0 cos 3 sin 3 0 0
sin 2 cos 2 0 0
(2.18)
2 T3 =
0 sin 3 0 cos 3 1 0 0 0
(2.19)
23
3 T4 =
cos 4 sin 4 0 0
sin 4 cos 4 0 0 0 0 1 0
0 17,25 cos 4 0 17,25 sin 4 , 1 0 0 1 sin 5 cos 5 0 0 0 0 , 0 1
(2.20)
4 T5 =
cos 5 sin 5 0 0 cos 6 sin 6 0 0
(2.21)
5 T6
sin 6 cos 6 0 0
0 0 0 0 , 1 17,7 0 1
(2.22)
unde 1,2, 6 sunt unghiurile cuplelor 1, 2, , 6. Valorile parametrilor DH Tab. 2.4 Parametrii DH ai manipulatorului PowerCube Cupla r d (rad) constructivi ai structurii PowerCube 1 L1=11,5 0 -1,571 folosii pentru calculul matricelor de 2 0 0 1,571 transformare (2.17 2.22) sunt prezentate n tab. 2.4. Pentru 3 0 L23=30 1,571 simplificarea relaiilor de calcul, 4 L4=17,25 0 0 pornind de invariana cinematicii 5 0 0 -1,571 manipulatorului n raport cu poziiile 6 0 L56=17,7 0 cuplelor 3 i 5, elementele 2 i 3 respectiv 5 i 6 se concateneaz, lungimile modificndu-se corespunztor (L23 = L2 + L3 i L56 = L5 + L6). Din ecuaia (2.16) rezult relaiile de calcul ale coordonatelor carteziene ale efectorului final,
= cos 1 cos 2 cos 3 17,7 sin 4+5 + 17,25 cos 4 + sin 2 17,7 cos 4+5 + +17,25sin4+30+11,5sin1sin317,7cos4+5+17,25sin4, (2.23) = sin 1 sin 2 cos 3 17,7 sin 4+5 + 17,25 cos 4 cos 2 17,7 cos 4+5 + +17,25sin4+30+11,5+cos1sin317,7cos4+5+17,25sin4, (2.24) = cos 2 17,7 cos 4+5 + 17,25 sin 4 + 30 sin 2 cos 3 17,7 sin 4+5 + +17,25cos4. (2.25)
2.4.2.1.2 MODELAREA CINEMATIC INVERS A MANIPULATOARELOR RMI Conducerea unui bra robotic presupune rezolvarea problemei de cinematic invers care umrete determinarea valorilor unghiurilor fiecrei cuple cinematice n funcie de coordonatele punctului caracteristic de pe o traiectorie impus [Ge, 2000; Kang, 2000; Rotenberg, 2005; Hasan, 2006; Dugulean, 2009b; Kumar, 2010]. Astfel, date fiind coordonatele carteziene EEx, EEz i EEx ale punctului caracteristic asociat efectorului, se impune, pornind de la funcia cinematic direct (v. rel. (2.13)) determinarea funciei cinematice invers [Sciavicco, 1998], Ik EEx , EEy, EEz = Fk 1 1,2,,6 (2.28)
24
Cea mai utilizat metod de rezolvare a problemei de cinematic invers are la baz modelul cinematic diferenial direct (2.27), din care rezult,
J
1
EE ,
(2.29)
unde este vectorul variaiilor unghiurilor cuplelor motoare ale braului, - deplasarea diferenial impus punctului caracteristic al efectorului (fig. 2.20), iar J -1 - matricea jacobian invers. Calculul inversei jacobianului este, n general, o problem complex, dificultatea fiind dat de faptul c matricea jacobian, de obicei, nu este o matrice ptratic. Acest lucru conduce deseori la soluii multiple (fig. 2.21) ale ecuaiei (2.29), mai ales, n cazul manipulatoarelor redundante. Astfel, se impune calculul unei matrice numit pseudo-invers, care se obine conform relaiei (matricea invers generalizat Moore-Penrose [Penrose, 1955]), + = ( )1 . (2.30)
2.5 PROGRAMAREA RMI

2.5.1 MEDII DE PROGRAMARE A RMI
Dintre mai multe medii de programare a roboilor mobili existente, n continuare, se prezint, cel implementat pe robotul mobil compus din platforma PowerBot i manipulatorul PowerCube i controlat cu ajutorul unei arhitecturi de tipul server-client. Microcontrolerele instalate pe acest robot rspund prin intermediul unor module program la nivel main de problemele de nivel inferior pentru meninerea unei anumite viteze i orientri ntr-un mediu cu asperiti, operarea senzorilor, managementul parametrilor interni, etc. Pachetele soft dezvoltate de compania productoare MobileRobots ofer controlul la nivel superior pentru evitarea de obstacole, planificarea traiectoriilor, localizarea, navigarea sau operarea braului robotic. Librria cu module program destinat folosirii robotului PowerBot n diverse aplicaii conine (fig. 2.25): programul pentru microcontroller ARCOS (Advanced Robot Control and
Fig. 2.25 Arhitectura software a robotului PowerBot
25
Operations Software), librrii precum ARIA (Advanced Robotics Interface for Applications), ARNL (Advanced Robotics Navigation and Localization), SonARNL, ACTS (ActivMedia Color Tracking System) sau aplicaii precum Mapper3 i MobileSim. ARNL este o dezvoltare software realizat de MobileRobots pentru rezolvarea problemei localizrii i navigrii autonome a robotului PowerBot (fig. 2.26). Cu ajutorul acestei colecii de programe pot fi generate i editate hri ale mediului de lucru. Principale componente ARNL sunt MobileEyes, ArnlServer, MobileSim i Mapper3. MobileSim este o aplicaie bazat pe programul open-source Stage, folosit pentru simularea i/sau controlul n timp real al deplasrii robotului. MobileSim Fig. 2.26 Arhitectura ARNL [***a] folosete serverul virtual ArnlServer pentru a accesa datele citite de la sisteme senzoriale laser precum i SONAR. MobileEyes ofer capabiliti de tip SLAM, posibilitatea editrii de scenarii de deplasare, posibilitatea planificrii unor traiectorii n puncte sau oportunitatea de a delimita obiective secundare precum staiile de ncrcare a bateriei.
2.6 CONCLUZII
n acest capitol sunt prezentate sintetic, pe de-o parte, aspecte privind particularitile mediilor industriale legate de posibilitile de integrare a roboilor mobili i, pe de alt parte, nivelul actual al dezvoltrilor teoretice i experimentale n robotica mobil cu, precdere, exemplificate pe robotul mobil compus din platforma PowerBot i manipulatorul PowerCube aflat n dotarea laboratorului de Informatic Virtual i utilizat pentru cercetrile experimentale din aceast lucrare. Controlul i comanda RMI n configuraie platform mobil cu manipulator implic un nivel de complexitate mult ridicat n raport cu cele folosite n cazul roboilor fici. n cazul RMI, modelele de deplasare i de manipulare luate separat, dar mai ales integrate, sunt mult mai complexe i necesit algoritmi de rezolvare dedicai. Aceste aspecte, se exemplific prin modele de cinematice asociate platformei PowerBot i manipulatorului PowerCube.
3. NVAREA ROBOILOR MOBILI INDUSTRIALI

3.1 INTRODUCERE
nvarea ca fenomen uman, dar i artificial, este procesul prin care oamenii i calculatoarele i mbuntesc interaciunea cu mediul, prin mbogirea cunotinelor i prin autoperfecionarea aciunilor. Un sistem inteligent cu nvare automat poate nva din erori, prin autoperfecionare, ghidat de un profesor, prin generalizare, prin analogie, sau bazat pe exemple (pozitive i/sau negative). Capacitatea de nvare a roboilor a fost tratat drept un atribut cognitiv primar, alturi de concepte precum percepia i luarea deciziilor [Minsky, 1986; Penrose, 1989; Scassellati, 2001; Dugulean, 2008]. Spre deosebire de roboii preprogramai s execute activiti deterministe, roboii dotai cu capabiliti de nvare nu sunt limitai la un simplu comportament reactiv, ci sunt capabili de a participa la activiti multiple cu grad mai mare de complexitate i de incertitudine [Dugulean, 2009c].
26
3.4 SISTEME DE NVARE SPECIFICE AGENILOR ROBOTICI INTELIGENI

nvarea poate fi definit ca orice schimbare dintr-un sistem care permite acestuia s efectueze mai bine a doua oar aceeai sarcin sau o alt sarcin descris n aceleai condiii de mediu [Simon, 1997; Nilsson, 1998]. Aceast definiie, personalizat pentru programele de nvare, conform Mitchell [Mitchell, 1997], evideniaz c un program nva din experienele (rulrile) anterioare dac performana curent se mbuntete n baza experienelor acumulate. nvarea mainilor, inclusiv a roboilor, este o disciplin tiinific care se ocup cu proiectarea i dezvoltarea de algoritmi care le permit s desfoare comportamente adaptive bazate pe semnalele primite de la senzori, datele aflate n baze de date i/sau cunotinele din baze de cunotine [Dietterich, 1985]. Capacitatea de nvare este conceput drept un atribut cognitiv primar, alturi de concepte precum percepia i luarea decizilor [Scassellati, 2001]. Spre deosebire de roboii clasici programai prin instruire sau programai off-line s execute sarcini riguros (determinist) definite, roboii dotai cu capabiliti de nvare sunt capabili s execute activiti multiple, cu grade mai mari de complexitate i cu incertitudini. nvarea roboilor se refer n general la aspecte precum evitarea obstacolelor, planificarea micrilor, mbuntirea percepiei (video prelucrare de imagini [Sang, 2005; Bradski, 2008]; audio recunoaterea vocal [Junqua, 1995]), controlul adaptiv [Astrom, 1989] i multe altele [Connell, 1993].
3.4.1 NVAREA NESUPERVIZAT

n cadrul nvrii agenilor inteligeni, nvarea nesupervizat reprezint o clas de probleme care au ca soluie determinarea tipului de organizare a datelor. Metodele folosite de nvarea nesupervizat se bazeaz, n principiu, pe operaiuni de tip data-mining, nvarea nesupervizat apropriindu-se ntr-o oarecare msur de problema estimrii densitii statistice. Una dintre cele mai des folosite tehnici de nvare nesupervizat este ntlnit n cazul algoritmilor de clustering [Duda, 2001]. Printre modelele bazate pe reele neuronale care folosesc paradigma de nvare nesupervizat se evideniaz algoritmul de auto-organizare topografic (Self-Organizing Map SOM) [Ferrer, 2010] sau teoria rezonanei adaptive (ART) [Hinton, 1999]. Datorit domeniului specific de aplicare, nvarea nesupervizat este mai puin folosit n aplicaiile de conducere inteligent a roboilor.
3.4.2 NVAREA SUPERVIZAT

nvarea supervizat are la baz procesarea inductiv a unui set de exemple n scopul construirii unei funcii de evaluare (ablon) care s permit clasificarea unor noi instane. Formal, setul de instane de antrenament este o mulime de perechi atribut-valoare (x, f(x)), unde x este instana iar f(x), clasa creia i aparine. inta nvrii se stabilete prin propunerea unei aproximri ct mai corecte a valorii f(x), pentru o instan x care nu face parte din setul de antrenament. Pentru a rezolva o problem de nvare supervizat, n general, se parcurg paii urmtori [Vapnik, 2000]: determinarea tipului de date din exemplele de antrenare; construirea unui set de antrenare reprezentativ; alegerea funciei de nvare h(x); alegerea algoritmului de nvare (bazat pe arbori de decizie, reele neuronale sau vectori suport); optimizarea unor parametri de control i testarea modelului; procesarea explicit a modelului; evaluarea acurateei soluiei; msurarea performanei pe un set de test diferit de setul de nvare. nvarea supervizat impune introducerea unor perechi intrare-ieire (rspunsuri corecte la un set de ntrebri) pentru funcia ce trebuie nvat.
27
3.4.3 NVAREA PRIN NTRIRE

nvarea prin ntrire (RL Reforcement Learning) este util n situaiile n care nu se dispune de un set de antrenament sau cnd nu se pot identifica cu precizie instane valide, din cauza complexitii de reprezentare sau a lipsei de informaii certe [Tsubone, 2007]. Modificrile de stare generate de aciunile agentului care folosete nvarea prin ntrire sunt msurate, evaluate i comparate cu o funcie de mbuntire (ntrire) asociat scopului propus. Altfel spus, dup ce se face o identificare a perechilor stare-aciune, se genereaz o recompens sub forma unui parametru scalar i se urmrete dezvoltarea de aciuni care s maximizeze suma recompenselor generate n perioada de de tranziie de la starea iniial la cea final. nvarea prin ntrire difer de nvarea supervizat prin faptul c perechile intrare-ieire nu sunt disponibile iniial. De exemplu, modelul Q-Learning bazat pe conceptul de nvare prin ntrire, pentru cazul planificrii traiectoriei unui manipulator robotic definete combinaia stare-aciune, Q : S A R , ca funcie scop, recompensa acordndu-se n cazul n care traiectoria curent este lipsit de coliziuni iar efectorul terminal se aproprie de int. Punctul forte al acestei abordri este dat de faptul c algoritmul rezolv practic problema lipsei de cunoatere despre mediul de lucru, folosind fiecare secven stare-aciune-rezultat drept un eantion n distribuia de probabilitate pe care o construiete. Aceast distribuie este folosit pentru a calcula parametrul recompens ce va conduce ctre valoarea optim. Deoarece, pentru a converge este necesar un numr mare de teste, Q-learning poate fi folosit mpreun cu o reea neuronal de tip feed-forward [Martin, 1997].
3.4.4 NVAREA BAZAT PE REELE NEURONALE ARTIFICIALE

3.4.4.2 REELELE NEURONALE ARTIFICIALE n funcie de modul de conectare al neuronilor, arhitecturile RNA pot fi tip feedforward sau recurente. Diferena dintre acestea este c cele de tip feedforward nu conin nici o bucl feedback ntre neuroni i informaia se proceseaz unisens, de la intrare, prin straturile de neuroni, la ieire, comparativ cu reelele neuronele recurente care conin cel puin un ciclu de feedback ntre neuroni. Dei reelele neuronale recurente par mai interesante din punct de vedere arhitectural, pn n acest moment, reelele de tip feedforward s-au dovedit a fi cele mai eficiente pentru rezolvarea de probleme practice [Haykin, 1994].
3.5 CONCEPIA, DEZVOLTAREA I TESTAREA SISTEMULUI PLAN-TN DE PLANIFICARE A TRASEELOR DE NAVIGARE A RMI PRIN NVARE
Planificarea traseelor de navigare a unui robot mobil presupune gsirea unei curbe ntre punctul de start i cel de destinaie, fr a intra n coliziune cu obstacolele din mediu. i n cazul navigrii platformelor mobile ale roboilor, planificarea traseelor se poate face prin rezolvarea problemei cinematice inverse. n ultimul timp, aceast problem este soluionabil prin metodologii bazate pe nvare [Eindhoven, 2003; Ramalho, 2008]. Sistemul de planificare a traseelor de navigare n medii de operare cu obstacole statice i dinamice propus n acest subcapitol are la baz metoda de nvare prin ntrire Q-learning (v. subcap. 3.4.3).
28
3.5.1 DESCRIEREA MEDIULUI DE NAVIGARE

Determinarea traseelor de navigare a RMI unui robot ntr-un mediu de operare presupune rezolvarea, preliminar, a dou probleme fundamentale: localizarea robotului i maparea mediului de navigare. Localizarea este procesul prin care se determin poziia i orientarea robotului relativ la repere i/sau obiecte din mediul de lucru (v. subcap. 2.4.1.2.2). n cazul n care se dorete Fig. 3.15. Poziionarea i orientarea RMI n elaborarea unui program nvare a robotului mediul de lucru pentru navigare, problema localizrii este esenial, poziia i orientarea robotului este necesar a fi cunoscut la orice moment de timp, accesnd valorile unui vector = (; ; ), cu (x;y) coordonatele carteziene ale centrului robotului iar , vectorul orientare (fig. 3.15). n plus, n baza sistemului senzorial, la orice moment de timp se impune cunoaterea distanelor pn la obiectele din spaiul de lucru. Maparea presupune generarea unei hri a mediului de navigare, prin intermediul unor sisteme dedicate. Pentru dezvoltarea sistemului de planificare prin nvare a traseelor de navigare PLAN-TN dezvoltat n aceast lucrare, s-au folosit hri generate n mediul de programare MATLAB.
3.5.2 MODELAREA I PLANIFICAREA TRASEELOR DE NAVIGARE CU NVARE PRIN NTRIRE

Planificarea traseelor de navigare a platformelor mobile cu evitarea de obstacole statice i/sau dinamice, fie i prin procedee de nvare, presupune elaborarea unui model matematic, conceperea unui algoritm de rezolvare a acestui model precum i elaborarea i implementarea unor module program [Ettlin, 2006]. 3.5.2.1 MODELUL MATEMATIC Descrierea mediului din punct de vedere matematic presupune definirea strilor curente precum i a celor viitoare care pot fi luate de robot la un moment dat, n vederea atingerii intei. Conform fig. 3.16 [Jaradat, 2010], distanele de la robot la int, respectiv, la obstacol se determin cu relaiile,
dt = do =
Fig. 3.16 Model geometric de poziionare i orientare a robotului (xrob xt )2 +(yrob yt )2 , (xrob xo )2 +(yrob yo )2 ,
(3.23) (3.24)
n care, (xrob , yrob ) sunt coordonatele carteziene ale centrului robotului, (xt , yt ) coordonatele intei, iar (xo , yo ), coordonatele obstacolului. Pornind de la ecuaia dreptei care unete punctul definit de coordonatele carteziene ale robotului cu punctul definit de coordonatele carteziene ale intei,
29

( y rob y t ) x ( x t y rob ) y x rob y t x t y rob 0 ,
(3.25)
se poate determina, distana minim fa de obstacol pe care robotul o atinge atunci cnd se deplaseaz spre int,
D ( y rob y t ) x o ( x t y rob ) y o x rob y t x t y rob ( y rob y t ) ( x t y rob )
2 2
(3.26)
i unghiul dintre direciile intei i obstacolului,

= arcsin(d ).
o
(3.27)
Coordonatele punctelor asociate robotului, intei i obstacolului din relaiile de mai sus sunt determinate preliminar, prin localizare i din harta generat anterior (v. subcap. 3.5.1). Pentru identificarea univoc a poziiilor robotului, intei i obstacolelor, spaiul de lucru raportat la sistemul de coordonate XY (fig. 3.17) este divizat conform celor patru cadrane trigonometrice [Jaradat, 2010]. Prin localizarea unghiului ntr-una dintre aceste zone se evit strile definite neunivoc. Astfel, mulimea strilor este reprezentat prin vectori cu forma,
st = R t , R o , Gn ,
(3.28)
unde, R t este cadranul n care este inta, R o cadranul n care se afl obstacolul, iar Gn (n{1,2,3}) - regiunea n care se ncadreaz valoarea unghiului . Indiferent, de combinaia valorilor posibile ale parametrilor Rt i Ro ({1,2,3,4}) i ale parametrului G n, spaiul strilor de poziionare este univoc determinat. Odat definit mulimea strilor, pentru determinarea unui traseu de navigare, n vederea Fig. 3.17 Divizarea i codificarea definirii strilor viitoare, se impune definirea unui spaiului de operare spaiu al aciunilor, at, definit de micrile de orientare, care pot fi luate de robot n preajma obstacolelor ca aciuni simple de virare la dreapta/stnga sau de micare nainte/napoi. Aciunile de ntoarcere nu sunt folosite dect atunci cnd acesta ntlnete un obstacol care nu poate fi ocolit prin aciuni simple. Pentru gsirea punctelor curente ale unui traseu, frecvent, se adopt tehnica cutrii n condiiile nvrii prin ntrire cu modelul Q-learning bazat pe strile curente (v. rel. (3.15)) [Russel, 2003; Jaradat, 2010], Q st , at = fs st , at + Max(Q, st+1 ) (3.29)
n care este un factorul subunitar de discontinuitate; - starea curent la momentul t; funcia de cutare, definit n relaia (3.31); - aciunea la momentul t; Max(Q, st+1 ), valoarea maxim a funciei Q calculat pentru toate aciunile posibile pentru noua stare la momentul anterior de timp. Pentru asigurarea unei cutri cu precizie mrit a punctului traseului cutat, se propune folosirea modelului Q-learning, cu luarea n considerare a strilor curente, st, precum i a aciunilor poteniale, at (v. rel. (3.16)), Q st , at = Q st , at + (fs st , at + Max(Q, st+1 )). 30 (3.30)
Funcia de cutare pentru o stare curent, S, ca evaluator al aciunii asociate strii curente, este definit de relaia [Jaradat, 2010], 2, S SS SF 1, S SN SS 0, S SN SN, do (n + 1) > do (n) fs = , 1, S SS SN ; S SN SN, do (n + 1) do (n) 2, S SN SE
(3.31)
n care, n este numrul de stare; SF - starea final, robotul atinge inta (dt dsol , v. fig. 3.16); SS - starea de siguran, robotul este departe de obstacol (do > dmin ); SN - starea de nesiguran, robotul este n vecintatea obstacolului ( dcol < do dmin ); SE - starea de eroare, robotul este n coliziune cu obstacolul ( dcol > do ). n aceste inegaliti, conform fig. 3.16, dsol este distana pn la soluie, d min - distana de siguran minim fa de un obstacol iar dcol - distana de coliziune. distana pn la soluie, d Conform acestei funcii, dac de exemplu, starea curent rezult n urma tranziiei dintr-o stare de siguran n starea final (SS SF), funcia scop fs are valoarea 2. 3.5.2.2 ALGORITMUL DE CALCUL I IMPLEMENTAREA ACESTUIA
Algoritmul asociat modelului matematic de mai sus presupune actualizarea iterativ a matricei Q-table cu valorile curente ale funciei Q, rel. (3.30), calculat pentru fiecare stare i aciune n parte. Actualizarea continu a acestei matrice reprezint practic etapa de nvare a sistemului PLAN-TN. Liniile matricei Q-table sunt asociate strilor posibile prin care trece robotul iar coloanele aciunilor luate pentru aceste stri. Dup fiecare iteraie, valorile matricei sunt modificate nsumnd valoarea curent a funciei de cutare, fs, la momentul t cu valoarea maxim a funciei Q din matricea Q-table calculat la iteraia anterioar ((, +1 )), pentru toate aciunile ce pot fi luate la noua stare rezultat. Acest algoritm a fost implementat n 2 variante de nvare a robotului. Prima variant presupune nvarea pentru soluionarea unui scenariu de navigare n mod direct, iar cea de-a doua variant face nvarea scenariului de navigare curent folosind scenarii de navigare multiple, nvate anterior. Diferena dintre cele 2 variante este aceea c, n cea de-a 2-a, pentru calculul traseului de navigare corespunztor scenariului curent, matricea Q-table conine valori antrenate, spre deosebire de varianta nti care presupune adoptarea de valori aleatoare. Pentru implementarea celor dou variante au fost generate 2 funcii specifice. Funcia qtrain realizeaz nvarea, cutnd reuita ntr-un un numr de pai succesivi, succ, i o limit de iteraii, limit (fig. 3.19). Algoritmul de nvare pornete cu iniierea unei noi iteraii, calculeaz valoarea funciei scop pentru starea curent (S) i cea de tranziie. Dac este atins o stare de siguran (SS) se continu nvarea cu urmtorul pas, dar nu nainte de a se testa dac este atins starea final (SF). n cazul n care nu se atinge o stare final, la parcurgerea tuturor iteraiilor, algoritmul se reia de la calcularea funciei scop a strii curente i a celei de tranziie. Dac nu se ajunge la o stare de tranziie se determin tipul ntoarcerii (prin dreapta sau prin stnga) sau se micoreaz distana pn la int, dt. Algoritmul alege varianta cea mai bun de ntoarcere, o execut, i nainteaz, de asemenea, o anumit distan nainte. n continuare, se calculeaz funcia scop a noii stri de tranziie i se actualizeaz tabela Q-table cu noile valori ale funciei Q calculate n baza relaiei (3.30). n cazul n care se nregistreaz o coliziune, algoritmul se oprete i, n caz contrar, continu cu pasul de testare a strii finale. Aceast succesiune este programat n mediul MATLAB (v. anexa 1).
31
Fig. 3.19 Schema bloc a funciei qtrain
Funcia qtest nva scenariul de navigare rob avnd la baz antrenamente anterioare, descrise n fiierele de configuraie files, n numrul de iteraii, limit. Algoritmul din fig. 3.20 ncepe prin a calcula funcia scop a strii curente i a strii de tranziie. Dac este atins o stare de siguran (SS), robotul nainteaz o anumit distan; pentru acest caz, se verific dac s-a atins o stare final (SF). n caz contrar, algoritmul iniiaz o nou iteraie,
Fig. 3.20 Schema bloc a funciei qtest
32
rencepnd calcularea funciei scop pentru noua stare, procesul repornind de la acest pas. n funcie de valoarea maxim a funciei Q din tabloul Q-table, se decide efectuarea uneia dintre aceste micri. n continuare, dac nu este nregistrat o coliziune, se verific dac este atins starea final (SF). Ca i n cazul algoritmului anterior, procesul repornete cu iniierea unei noi iteraii. i aceast succesiune este programat n mediul MATLAB (v. anexa 1). 3.5.2.3 TESTAREA ALGORITMILOR DE PLANIFICARE A TRASEELOR DE NAVIGARE CU NVARE PRIN NTRIRE Pentru a verifica eficacitatea soluiei propuse de planificare a traseelor de navigare prin nvare cu ajutorul metodei Q-learning, au fost implementate 4 scenarii (cazuri) diferite folosind, pentru vizualizare o interfa grafic dezvoltat n mediul de programare MATLAB. Procesul de nvare este progresiv presupune salvarea tabloului Q-table pentru fiecare iteraie n vederea folosirii pentru iteraiile viitoare. Pentru efectuarea testelor, au fost stabilite urmtoarele personalizri: spaiul de lucru este un ptrat cu latura 800; obstacolele mobile sunt cercuri cu raza 25; obstacolele fixe sunt ptrate cu latura 35,35; platforma robot are raza 49,5, dmin = 100; unghiul de virare stnga/dreapta, = 45; factorul de discontinuitate, = 0,9. 3.5.2.3.1 TESTAREA PENTRU CAZUL 1 Pentru primul scenariu se adopt vectorii: poziiei robotului, = 100; = 400; vitezei robotului, =3; =3; poziiei intei =400; =400 ; vitezei intei = 1; = 0 ; poziiei iniiale a obstacolului dinamic = 250; = 400 ; vitezei obstacolului = 1; = 0 . Dup cum se observ, att obstacolul, ct i inta, se deplaseaz spre dreapta cu viteza 1 pe axa OX; robotul avnd viteza de 3 pe ambele axe, poate depi obstacolul i ajunge inta. n fig. 3.21a sunt prezentate traiectoriile obiectelor din scen rezultate dup a 4-a iteraie a algoritmului PLAN-TN, iteraie care conine prima traiectorie valid a robotului (traiectorie care nu intersecteaz nici un obstacol). Robotul (desenat cu negru) intr n starea de nesiguran (SN) imediat dup pornire. Acesta i schimb direcia de deplasare dinspre int (desenat cu rou), deoarece aceasta este mascat de obstacolul dinamic (desenat cu albastru). De ndat ce distana fa de obstacol este mai mare dect distana limit dmin, robotul iese din starea de nesiguran i intr n starea de siguran (SS). Avnd o vitez mai mare dect obstacolul dinamic, robotul l depete i ncearc s se aproprie de int. Starea final (SF) este atins atunci cnd robotul ajunge inta. 3.5.2.3.2 TESTAREA PENTRU CAZUL 2 n acest scenariu, se pstreaz poziiile de plecare de la cazul 1 pentru robot, obstacol i int, dar viteza obstacolului pentru a intersecta traseul de deplasare al robotului este = 1; = 0 . n acest caz robotul atinge inta dup 4 iteraii, rezultnd traseul din fig. 3.21b. n mod asemntor cazului 1, robotul intr n starea de nesiguran imediat dup pornire, schimbndu-i direcia de deplasare. Dup evitarea obstacolului dinamic, robotul i schimb direcia de deplasare, ndreptndu-se ctre int. 3.5.2.3.3 TESTAREA PENTRU CAZUL 3 n acest caz, se pstreaz poziiile de plecare i vitezele pentru robot, obstacol i int i se adug un obstacol static poziionat n punctul (300; 500). n acest caz robotul atinge inta n 5 iteraii, rezultnd traseul din fig. 3.21c. Ca i n cazurile 1 i 2, robotul intr n starea de nesiguran imediat dup pornire, schimbndu-i direcia de deplasare. Dup evitarea 33

obstacolului dinamic, robotul i schimb direcia de deplasare, ndreptndu-se ctre int, evitnd n acelai timp i obstacolul static. 3.5.2.3.4 TESTAREA PENTRU CAZUL 4 Acest caz presupune nvarea unui scenariu mai complex (fig. 3.21d), n care mediul de lucru conine 7 obstacole statice (simbolizate prin ptrate) i 2 obstacole dinamice (simbolizate prin cercuri). inta este fix, robotul are viteza = 5; = 5 , iar cele 2 obstacole dinamice au vitezele 8 = 0; 8 = 5 i 9 = 5; 9 = 0 . La atingerea limitelor scenei, obstacolele mobile se deplaseaz n sens invers dup aceeai traiectorie. Dup 40 de iteraii rezult traseul prezentat n fig. 3.21d.

c d Fig. 3.21 Vizualizare trasee nvate: a - cazul 1; b - cazul 2; c - cazul 3; d - cazul 4;
3.5.2.4.5 COMENTARII ASUPRA REZULTATELOR TESTELOR Cele 4 cazuri prezentate mai sus au fost concepute pentru a pune evidenia modul de funcionare i problemele care apar n timpul utilizrii sistemului de planificare prin nvare a traseeelor de navigare ale unui robot care activeaz ntr-un mediu cu obstacole statice i dinamice. n vederea efecturii de teste, a fost conceput un program n MATLAB bazat pe modelul Q-learning, program ce folosete ca regul de modificare a matricei Q-table relaia (3.30). Spre deosebire de alte studii care pentru planificarea traseelor de deplasare a roboilor 34
mobili folosesc funcia scop (3.29) [Jaradat, 2010], n aceast lucrare a fost implementat abordarea cumulativ (prezent-trecut) a acestei funciei, descris de relaia (3.30). Algoritmul dezvoltat are convergen bun, reuind s convearg i n cazuri n care exist multiple obstacole statice i dinamice n mediul de lucru (cazul 4, fig. 3.21d). Rata de convergen a algoritmului poate fi mbuntit i prin modificarea factorul subunitar de discontinuitate . Pentru valori mai mici, ale acestui factor, algoritmul conduce la soluii cu discontinuitate mai mare, traseele fiind coluroase, iar pentru valori apropriate de 1, punctele trase sunt mai apropriate i traseele sunt netede.
3.6 CONCEPIA, DEZVOLTAREA I TESTAREA SISTEMULUI PLAN-TM DE PLANIFICARE A TRASEELOR DE MANIPULARE PRIN NVARE
RNA sunt capabile s modeleze funcii neliniare diverse [Hecht-Nielsen, 1988], inclusiv cea de planificare a traseelor de manipulare bazat pe cinematica invers (v. subcap. 2.4.2.1.2). Aceast problem este dificil de soluionat cu metodele clasice, mai ales, pentru cazurile manipulatoarelor redundante care opereaz n medii cu obstacole [Xia, 2001]. Unele studii care se ocup de rezolvarea problemei de cinematic invers, cu evitare de obstacole, se concentreaz pe minimizarea efectelor redundanei a manipulatoarelor care opereaz n medii cunoscute avnd unul sau maxim dou obstacole n mediul de lucru [Zhang, 2003, 2004, 2006, 2007, 2009]. Studiile descrise n acest subcapitol propun o metod de nvare a manipulrii, cu evitarea coliziunilor cu obstacolele din mediul de lucru. Soluia dezvoltat se bazeaz pe modelarea i implementarea unui sistem bazat pe RNA ce utilizeaz pentru antrenare metoda de nvare prin ntrire Q-learning [Touzet, 1999].
3.6.1 MODELE DE PLANIFICARE A TRASEELOR DE MANIPULARE CU RNA

Metodele clasice de planificare a traseelor de manipulare cu ocolirea de obstacole (v. sub. 2.4.2.2), au la baz, cu precdere, matricea jacobian [Ding, 1996; LaValle, 2006]. Rezolvarea problemei de planificare a traseelor de manipulare cu evitarea obstacolelor, utiliznd RNA, a fost abordat n literatur n numeroase studii [Hang, 1997; Tang, 2001; Hasan, 2006]. Primele experimente ncearc s identifice, cu ajutorul RNA, configuraii ale braului robotic care s nu intersecteze obstacolele din mediul de lucru, cunoscnd coordonatele carteziene ale intelor [Norwood, 1991]. Norwood nu se concentreaz i pe obinerea de traiectorii ale braului care s nu ating obstacolele. Bingul folosete structuri RNA pentru rezolvarea acestui tip de problem care n stratul de intrare are 20 de neuroni asociai matricei de transformare omogen baz-efector i, ca ieiri, unghiurile cuplelor braului robotic [Bingul, 2005]. Dei pentru soluionarea problemei au fost utilizate funcii de penalizare coroborate cu metoda acoperirii cu sfere [Mao, 1997], experimentele realizate au evideniat erori mari, inacceptabile pentru implementarea n aplicaii practice.
3.6.2 SISTEM DE PLANIFICARE A TRASEELOR DE MANIPULARE CU RNA

Abordarea planificrii traseelor de manipulare cu evitarea de obstacole cu brae robot redundante prezentat n acest studiu face un pas nainte fa de studiile clasice, propunnd o soluie care are la baz o reea neuronal dubl combinat cu tehnica de nvare prin ntrire, Q-learning [Dugulean, 2011b]. 35
3.6.2.1 MODELUL MATEMATIC Fie funcia cinematic direct f(q) cu f: Q6 X 3 , asociat modelului cinematic direct (v. subcap. 2.4.2.1.1), funcie surjectiv i neinjectiv, unde Q este mulimea vectorilor unghiurilor cuplelor robotului (de ex. manipulatorul PowerBot, are 6 cuple cinematice) i X vectorul coordonatelor efectorului (spaiul tridimensional). Pentru generarea traseelor de manipulare se impune determinarea reprezentrilor inverse posibile, G, descrise de relaia, G = g g = q = f 1 x }, (3.42)
cu q Q6 , x X 3 . Pornind de la seturile unghiurilor robot asociate configuraiilor de start, q1 , i int, qe , traseele, T(A), asociate centrelor cuplelor cinematice se descriu cu relaia, A q1 , qe =
tfinal t=0
qt qt G},
(3.43)
n care, qt este configuraia de unghiuri la momentul t. n plus, considernd mulimile de puncte O1, O2, ..., Om, asociate celor m obstacole, din mediul de operare (fig. 3.23), configuraia de start 1 i poziia int, , se pune problema gsirii configuraia destinaie, , astfel nct s fie ndeplinite urmtoarele relaii: f xe = qe , T A q1 , qe
m i=1 Oi
(3.44) = . (3.45)
Relaia (3.44) propune gsirea unei soluii cinematice, , fr a ine cont de poziia obstacolelor din mediu, soluie rezultat n urma rezolvrii cinematicii inverse pentru inta , , impus. n plus, relaia (3.45) determin cutarea traseelor T A q1 , qe printre traseele identificate cu relaia (3.44), care nu au puncte comune cu mulimea de puncte obinut prin reuniunea punctelor asociate m celor m obstacole, i=1 Oi (intersecia cu aceast mulime este mulimea vid). Aceast problem poate fi rezolvat cu ajutorul RNA, folosind nvarea prin ntrire bazat pe algoritmul Q-learning, prin care robotul poate s aleag ntre toate strile posibile care descriu traseele centrelor Fig. 3.23 Schema configuraiilor de manipulare cuplelor cinematice (fig. 3.23). 3.6.2.2 CONCEPIA ALGORITMULUI DE PLANIFICARE A TRASEELOR DE MANIPULARE PRIN NVARE CU RNA n fig. 3.24 este prezentat schema bloc a sistemului de planificare a traiectoriilor cu nvare prin ntrire, folosind algoritmul Q-learning. Acest sistem are la baza dou reele neuronale artificiale. Reeaua Theta Net cu structura (35-20-6) este de tip MPL i are 2 straturi de nivel ascuns. Aceasta modeleaz funcia scop exprimat de relaia (3.44), care reprezint soluia jacobian standard. Aceasta are ca intrri valorile unghiurilor cuplelor braului, adic poziia actual a braului robotic exprimat prin valorile , i ofer la ieire valorile gsite de soluia jacobian, exprimate printr-un vector cu 6 elemente. Au fost alese 2 straturi n nivelul 36
ascuns, pentru acoperirea neliniaritii problemei de cinematic invers [Hecht-Nielsen, 1988].
Fig. 3.24 Structura sistemului de planificare a traseelor de manipulare
Ponderile reelei neuronale Theta Net sunt adaptate la fiecare iteraie, folosind o funcia de adaptare ce are ca parametru de intrare coordonatele carteziene ale intei. Procesul folosete, ca funcie de instruire backpropagation, funcia de gradient descendent (v. subcap. 3.4.4.3). Dup ce se aplic funcia de adaptare, se obin datele de ieire exprimate sub forma unui vector cu 6 valori. Dac, n urma ncercrii de a muta braul robotic utiliznd valorile din vectorul de output, se nregistreaz eroare de coliziune sau numrul maxim de epoci este atins, ponderile reelei neuronale Theta Net sunt reiniializate iar algoritmul pornete o nou iteraie. Cea dea doua condiie impus sistemului, descris n relaia (3.45) se cuantific pentru fiecare stare prin parametrul Q-scor a crei valoare se obinute n felul urmtor: la sfritul fiecrei epoci (n cazul ntlnirii unui obstacol sau atingerii numrului maxim de iteraii), Qscor este actualizat ntr-o direcie opus celei actuale, pentru fiecare q aparinnd traiectoriei candidat T analizat la momentul respectiv. Cu ct numrul de eecuri este mai mare, cu att crete i valoarea Q-scor. Dac operaia reuete, adic nu exist nici o coliziune (relaia (3.45) este verificat)), valoarea Q-scor este diminuat, pentru a lsa s domine algoritmul de cinematic invers implementat de Theta Net. Dup fiecare iteraie, ponderile reelei Q-value Net sunt recalculate, inndu-se cont de valoarea Q-scor. Reeaua Q-value Net are structura (20-6) MLP (multilayer perceptor cu 1 strat n nivelul ascuns) i folosete aceeai funcie de transfer (purelin) ca i reeaua neuronal Theta Net. Utilizatorul acestui sistem introduce ca date de intrare coordonatele punctului int, xe. Reeaua neuronal Theta Net ofer la ieire valorile,, crora le sunt ataate valori Q-scor, obinute din modulul de detectare a obstacolelor. Pentru fiecare vector curent care nu este viabil din punctul de vedere al ocolirii obstacolelor, se actualizeaz Q-scor iar vectorul este recalculat. n concluzie, algoritmul de nvare a manipulrii, descris de modelul bazat pe relaiile (3.44) i (3.45), are la baz 2 reele neuronale Theta Net i respectiv Q-value Net ce sunt incluse n sistem de nvare prin ntrire din fig. 3.24. Aceste reele lucreaz mpreun, adic pentru fiecare ncercare de deplasare a braul robotic valorile returnate de acestea se cumuleaz, n scopul micrii braului robotic spre int, pe o traiectorie optim. Sintetic, principiul de funcionare al algoritmului se rezum la faptul c prin intermediul reelei Theta Net (3.44) conduce braul spre int, n timp ce reeaua Q-value Net (3.45) l ferete de eventualele coliziuni ce pot aprea n timpul deplasrii pe traseul generat. Dup cum se poate observa, algoritmul propus, nu conine condiii speciale legate de orientarea efectorului final. Dup cum se poate observa, structura sistemului de planificare propune folosirea a 2 reele neuronale care asigur convergena n diverse configuraii ale mediului de lucru. n marea majoritate a cazurilor, configuraia celor dou reele permite testarea unui numr suficient de mare de cazuri care s acopere cel puin o soluie. 37
3.6.2.4
TESTATREA I EVALUAREA PERFORMANEI SISTEMULUI DE PLANIFICARE A TRASEELOR DE MANIPULARE PRIN NVARE CU RNA
Pentru a testa i evalua performana sistemului de planificare prin nvare bazat pe cele 2 reelele neuronale prezentat mai sus, au fost efectuate o serie de teste, avnd n vedere urmtorii parametri: numrul de iteraii efectuate de programul MATLAB necesare pentru a atinge inta propus; numrul de epoci necesare pentru a atinge obiectivul n timpul unei iteraii (ultima iteraie valid); timpul scurs de la iniierea programului pn la gsirea unei soluii; procentul de convergen calculat n urm efecturii unui raport dintre numrul de cazuri care au condus la o soluie valid raportat la numrul total de cazuri testate; eroarea de distan, adic distana dintre efectorul final i int (care este mai mic dect eroarea setat n program ca eroare limit). n urma unor experimente iniiale, s-au stabilit numrul maxim de iteraii, nrIteraiiMax = 200, i numrul maxim de epoci greite ce poate fi analizat naintea iniierii unei noi iteraii, nrEpociMax = 100. Aceste numere au fost stabilite n urma unor rulri prealabile din care a rezultat c acestea conduc la capabiliti bune de nvare a sistemului propus. n fig. 3.28 sunt prezentate cele 4 puncte int, t1, t2, t3 i t4, precum i starea iniial a braului robotic de tip PowerBot reprezentat simplificat n mediul MATLAB. Pentru testarea i evaluarea planificatorului neuronal propus, au fost alese trei variante ale mediului de operare, sintetizate n urmtoarele cazuri: cazul 1 - mediu fr obstacole, cazul 2 - un obstacol (o bar cilindric), cazul 3 - 4 obstacole (o Fig. 3.28 Configuraia de start i punctele int asociate efectorului bar cilindric i 3 sfere). Pentru fiecare caz se realizeaz 4 teste n vederea atingerii celor 4 puncte int t1, t2, t3 i t4. Deoarece valorile care iniializ ponderile RNA Theta Net i Q-value Net sunt alocate n mod aleatoriu, date fiind aceleai condiii de pornire i de sosire (coordonatele punctelor de plecare, 1 , i inta, ), la teste repetate se obin traiectorii 1 , diferite. Este necesar efectuarea unui numr destul de mare de teste, pentru a evalua performana medie de lucru a planificatorului neuronal propus. 3.6.2.4.1 TESTE I PERFORMANE PENTRU CAZUL 1 (MEDIU DE LUCRU FR OBSTACOLE) n cazul n care nu exist nici un obstacol n mediul de lucru, sistemul propus trebuie s rezolve o simpl problem de planificare a traiectoriilor cu ajutorul cinematicii inverse, ca i n alte studii care urmresc folosirea reelelor neuronale [Oiama, 2005]. n tab. 3.2 se prezint valorile celor 3 parametri monitorizai: numrul de iteraii, numrul de epoci i timpul pentru realizarea experimentului. Configuraia de pornire a robotului (fig. 3.28) influeneaz modul n care acesta atinge punctele int. Numrul mediu de epoci este direct proporional cu timpul mediu de nvare la gsirea primului traseu adecvat, 1 , , pentru fiecare dintre punctele int. Dup ce prima int t1 este atins, n majoritatea cazurilor, performana algoritmului se mbuntete ca urmare a faptului c reeaua Theta Net este deja antrenat atunci cnd sunt cutate urmtoarele puncte int, t2,3,4. Cea mai bun performan este atins la cutarea ultimei inte. 38
Algoritmul converge din prima ncercare, iar reeaua Q-value Net nu ajunge s fie antrenat. Dupa 40 de teste, se poate concluziona c reeaua converge la soluie (cu o eroare de distan e 0,5 pentru fiecare punct int), dup prima iteraie, cu o medie a numrului total de epoci de 145,65 i ntr-o medie de timp de 54,4532 secunde.
Tab. 3.2 Rezultatele testelor pentru cazul 1 (fr obstacole)
Nr. de teste 5
10
20
40
Parametrii monitorizai Numrul de iteraii Numrul de epoci Timpul [s] Numrul de iteraii Numrul de epoci Timpul [s] Numrul de iteraii Numrul de epoci Timpul [s] Numrul de iteraii Numrul de epoci Timpul [s]
t1 1 86,400 25,980 1 70,800 21,878 1 71,150 21,495 1 63,825 20,260
t2 1 36,800 11,550 1 36,300 12,451 1 34,750 11,969 1 33,925 12,683
t3 1 27 12,430 1 25,700 12,150 1 24,600 11,769 1 27,150 11,666
t4 1 17 8,979 1 20,400 9,810 1 20,050 9,380 1 20,750 9,841
Medie 1 41,800 14,735 1 38,300 14,073 1 37,637 13,653 1 36,412 13,613
Total 4 167,200 58,942 4 153,200 56,292 4 150,550 54,613 4 145,650 54,453
3.6.2.4.2 TESTE I PERFORMANE PENTRU CAZUL 2 (MEDIU DE LUCRU CU UN OBSTACOL) Rezultatele prezentate n tab. 3.3 sunt colectate n timpul testelor ntr-un mediu ce conine o bar cilindric (fig. 3.32) cu o raz de 3 i cu nlimea de 80, poziionat n punctul de coordonate (5, 15, -40). Ca i n cazul anterior, exist aceleai 4 puncte int fiecare plasate ntr-unul din cele 4 cadrane ale sistemului de coordonate cartezian. Dup 40 de teste, numrul total mediu de epoci pentru a ajunge la toate cele 4 soluii cu aceeai eroare e 0,5, este 209,475, numrul total mediu de iteraii este 12,3, iar timpul mediu pentru a ajunge la toate cele 4 puncte int este de 84,79915 secunde. Ultimele 2 puncte int au cel mai mare numr mediu de iteraii, 3,65, respectiv 4,925.
a b Fig. 3.32. Starea iniial a braului robot pentru cazul 2 (un obstacol): a vedere spaial; b vedere de sus;
39
Nr. de teste 5
10
20
40
Tab. 3.3 Rezultatele testelor pentru cazul 2 (un obstacol) Parametrii t1 t2 t3 t4 monitorizai Numrul de iteraii 1,600 1 5,200 6 Numrul de epoci 71,400 24,400 73,400 14,6 Timpul [s] 23,952 10,239 32,925 13,991 Numrul de iteraii 2,500 3,700 3,400 4,100 Numrul de epoci 95,700 54,400 64,600 16,400 Timpul [s] 30,967 20,507 26,139 12,747 Numrul de iteraii 2,150 2,550 2,500 5,400 Numrul de epoci 85,450 54,050 50,400 37,550 Timpul [s] 27,096 19,546 20,616 21,374 Numrul de iteraii 1,775 1,950 3,650 4,925 Numrul de epoci 74,125 43,900 48,125 43,325 Timpul [s] 24,244 16,986 21,367 22,200
Medie 3,450 45,95 20,277 3,425 57,775 22,590 3,150 56,862 22,158 3,075 52,368 21,199
Total 13,800 183,800 81,108 13,700 231,100 90,361 12,600 227,450 88,633 12,300 209,475 84,799
Impunerea unei erori de distan e 0,5 conduce la o convergen mai lent i, implicit, la o precizie mai mare, precizie, de obicei, necesar n aplicaiile de manipulare. De notat este i faptul c valorile medii globale sunt influenate de doar cteva cazuri. Acestea apar datorit iniializrii aleatoare nefericite a ponderilor de start ale reelei neuronale duble. O antrenare prealabil a reelei sau o generare de ponderi pseudo-aleatoare ar conduce la eliminarea acestor cazuri care diminueaz performana medie a algoritmului propus. O alt soluie ar fi modificarea structurii stratului interior al reelei Theta Net, pentru includerea mai multor neuroni, fapt ce ar conduce la o apreciere mai fin a discontinuitii spaiului de soluii. 3.6.2.4.3 TESTE I PERFORMANE PENTRU CAZUL 3 (MEDIU DE LUCRU CU PATRU OBSTACOLE) Rezultatele prezentate n tabelul 3.4 sunt colectate n timpul testelor de planificare prin nvare a traseelor de manipulare ntr-un mediu cu o bar cilindric (poziionat n acelai punct ca i n cazul 2) i 3 sfere cu o raz de 4 (fig. 3.35), situate n puncte cu coordonatele (20,20,20), (-20, -20, -20 ) i (20, -20, -20).
a b Fig. 3.35 Starea iniial a braului robot pentru cazul 3: a vedere spaial; b vedere de sus;
40
Nr. de teste 5
10
20
40
Tab. 3.4 Rezultatele testelor pentru cazul 3 (patru obstacole) Parametrii t1 t2 t3 t4 Medie monitorizai Numrul de iteraii 3,600 2 8,400 8,600 5,650 Numrul de epoci 110,400 61,200 56,600 64,800 73,250 Timpul [s] 38,594 25,721 40,232 28,719 33,316 Numrul de iteraii 2,800 1,900 5,100 8,600 4,600 Numrul de epoci 92,900 58,300 42,900 60,900 63,750 Timpul [s] 31,299 23,286 28,168 31,369 28,531 Numrul de iteraii 2,400 1,600 4,700 7,850 4,137 Numrul de epoci 98,650 48,500 47,400 56,500 62,762 Timpul [s] 31,607 19,623 26,455 31,487 27,293 Numrul de iteraii 2,200 1,575 5,425 6,475 3,918 Numrul de epoci 78,500 48,625 55,375 46,975 57,368 Timpul [s] 26,171 19,115 28,264 28,406 25,489
Total 22,600 293 133,267 18,400 255 114,124 16,550 251,050 109,173 15,675 229,475 101,957
Dup 40 de teste, timpul mediu petrecut pentru a ajunge la cele 4 inte este de 101,9573 secunde. Datorit configuraiei atipice a mediului de lucru, cea mai rapid soluie este nregistrat pentru atingerea punctului int, t2, ntr-o medie de 19,11505 secunde. Pentru acest caz convergen de generare a traseului este 100%. 3.6.2.4.4 COMENTARII PRIVIND REZULTATELE I PERFORMANELE TESTELOR n subcap 3.6 sunt prezentate aspecte privind conceperea, modelarea, algoritmizarea, implementarea i testarea unui sistem de planificare a traiectoriilor unui bra robotic redundant prin nvare, n scopul evitrii obstacolelor din mediul de lucru (sistemul PLAN-TM). n vederea descrierii problemei a fost conceput un model matematic specific sintetizat de relaiile (3.44) i (3.45). Performanele sistemului PLAN-TM depind de mai multe variabile, printre care configuraia de start a braului robotic redundant, poziia obstacolelor n mediul de lucru sau valorile de iniializare ale ponderilor reelei neuronale duble. Dup rularea programelor, pentru cele 3 scenarii concepute, se poate concluziona c algoritmul converge spre intele t 1, t2, t3 i t4, n timpii medii, 54,4 s, 84,8 s i 101,95 s, corespunztori scenariilor 1, 2 i, respectiv 3.
3.9 CONCLUZII
Dup ce sunt prezentate aspecte legate de procesele de nvare artificial (supervizat, nesupervizat i prin ntrire) sunt detaliate dou modele cu algoritmii asociai bazate pe RNA i pe modelul Q-learning care au fost implementate ca sisteme originale de planificare a traseelor de nvare a deplasrii (PLAN-TN) i a manipulrii (PLAN-TM). La baza acestor sisteme au fost considerate modele matematice consacrate n domeniu, crora li s-au fcut adugiri n vederea obinerii de performane superioare. Algoritmizarea, programarea, implementarea i testarea modelelor de planificare a traseelor prin nvare s-a fcut cu luarea n considerare de situaiilor extreme (de ex. ocolirea obstacolelor mobile) precum i pentru obinerea de performane ridicate de rezolvare i uzabilitate. Sistemul, PLAN-TN, elaborat pentru planificarea prin nvare a traseelor de navigare, folosete modelul Q-learning pentru a soluiona problema de navigare a unei platforme robot n medii cu obstacole fixe i mobile. Algoritmul sistemului PLAN-TN este implementat n MATLAB. Funcionarea acestui sistem a fost testat pentru cazuri specifice diferite, 41
urmrindu-se aspectele de evitare a minimelor locale i a coliziunilor cu obstacole. n urma testelor efectuate, reiese faptul c PLAN-TN soluioneaz cu uurin situaiile de minim local. Dei nu sunt cele mai scurte, traseele obinute permit deplasarea sigur a platformei robot fr a intra n coliziune cu obstacole statice i dinamice cu nivele controlate de apropriere de acestea. Sistemul, PLAN-TM, elaborat pentru planificarea prin nvare a traseelor de manipulare, folosete RNA i modelul Q-learning pentru a soluiona problema de manipulare cu un bra robot cu 6 grade de mobilitate n medii cu obstacole. Algoritmul de rezolvare a problemei are la baz 2 reele neuronale, Theta Net i Q-value Net, integrate ca sistem de nvare cu modelul Q-learning. Este msurat performana acestuia n cazuri specifice diferite, urmrindu-se preponderent aspectele legate de evitare a coliziunilor i de performan din punct de vedere al timpului de soluionare. n urma analizei timpilor de rulare se eviden faptul c o mic parte din ele (aproximativ 10%) au numrul de iteraii mult mai mare dect media acestora, n special, n cazul mediilor complexe cu multe obstacole. Aceste cazuri pot aprea i datorit iniializrii aleatoare neadecvat a ponderilor de start ale reelei neuronale Theta Net i Q-value Net.
4. SIMULAREA I TESTAREA NVRII RMI N MEDII VIRTUALE

4.1 INTRODUCERE
Procesul de simulare n medii virtuale este folosit cu succes n educaie (platforme de nvare pentru elevi [Ramaswamy, 1999; Tzafestas, 2006]), n industrie (aplicaii n procesul de fabricaie [Jahangirian, 2009], n robotic (aplicaii de cinematic invers) [Zachmann, 2000; Weber-Jahnke, 2009]) i n divertisment [Colon, 2006; Booth 2007]. Spre deosebire de simulrile grafice clasice, simulrile n medii virtuale sunt superioare din punct de vedere calitativ, datorit folosirii unor interfee om-calculator care asigur operatorului stri perceptive de prezen, imersie i interaciune cvasireale [Or, 2009; Brbuceanu, 2011a; Brbuceanu, 2011b].
4.2 ECHIPAMENTE I TEHNOLOGII DE RV

Realitatea virtual este privit ca o interfa om calculator care ofer utilizatorului nivele ridicate de imersie i interaciune n timp real, folosind reprezentri computerizate ale lumilor reale i/sau imaginare (fig. 4.1). Calitatea unei reprezentri cu tehnologiile RV se evalueaz de operatorul uman prin cuantificarea Fig. 4.1 Structura unui sistem de RV senzaiilor de imersie, interaciune i prezen. Senzaia de imersie se exprim prin sentimentul operatorului de a fi n interiorul unui spaiu virtual. Imersia, ca percepie a lumii virtuale de ctre operator, se realizeaz prin intermediul interfeelor, cu precdere, video i audio. Interaciunea n mediile de RV este reprezentat de capacitatea utilizatorului de a modifica mediul virtual i de a primi feedback din partea acestuia. Capacitatea de interaciune d nivelul de realism al unei procesri virtuale. 42
Prezena, ca senzaie mental de a exista ntr-un spaiu, este legat de implicarea utilizatorului, i se bazeaz pe mbinarea eficient a senzaiei de imersie cu cea de interaciune [Carrozzino, 2010]. Cele mai simple aplicaii de RV sunt dezvoltate pe calculatoare obinuite de tip desktop. Un punct slab al aplicaiilor de RV destinate desktop-ului este slaba senzaie de imersie. Pentru a se diminua acest dezavantaj, au fost dezvoltate platforme complexe de tip CAVE. Pentru detectarea poziiilor i micrilor utilizatorilor, n procesele de comunicare prin micri ale corpului sau pri ale acestuia (mini, ochi, cap), sistemele RV sunt echipate cu dispozitive de urmrire bazate pe cmpuri magnetice [***b], procesare audio sau procesare video [Ipina, 2002]. Sitemul CAVE este dotat i cu dispozitive de urmrire optice de tip ART (Advanced Realtime Tracking; fig. 4.5a) ce utilizeaz surse de lumin n infrarou [LovellSmith, 2009; ***c], precum i cu dispozitive bazate pe cmpul eletromagnetic de tip Flock of birds (fig. 4.5b).
a b Fig. 4.5 Dispozitive de urmrire: a - optic de tip ART (Advanced Realtime Tracking) Track; b magnetic de tip Flock of Birds
Dispozitivele de urmrire optic folosesc markere receptoare active sau pasive [Mehling, 2006] pentru a localiza poziia int. Markerele pasive sunt sfere cu suprafee care reflect lumina infraroie i apar ca nite pete luminoase n imaginile camerelor de luat vederi (fig. 4.6). Markerele active sunt bazate pe emitoare luminoase, n principal, de tip LED. Dezavantajul acestei tehnologii const n faptul c fiecare int cu markeri activi trebuie echipat cu circuite electrice de alimentare, fapt ce complic soluia constructiv.
Fig. 4.6 Markere de urmrire pasive
4.3 PACHETE SOFTWARE FOLOSITE PENTRU DEZVOLTAREA APLICAIILOR DE RV

Pentru proiectare (modelarea solidelor), n urma analizei produselor software freeCAD, AutoCAD, NX, ProCAD, Solid Works, CATIA i Pro/ENGINEER, s-au reinut ca fiind adecvate pentru aplicaiile de RV pachetele Solid Works i CATIA [Toro, 2006]. Att CATIA, ct i SolidWorks, export modelele create n formate ce pot fi folosite pentru construirea de medii virtuale 3D n limbajele VRML/X3D sau COLLADA [Dugulean, 2010b]. Interpretarea modelelor solide transformate n format VRML se face cu pachetele de tip player video 3D precum Instant Player sau BS Contact. 43
Pentru dezvoltarea problemelor complexe de robotic virtual (de cinematic invers, detectarea coliziunilor etc.), fr a administra aspecte legate de controlul robotului, se pot utiliza pachetele software dedicate, Microsoft Robotics Developer Studio, Webots, Player Project, OpenRAVE etc. Limbajul XVR este folosit frecvent n realizarea de aplicaii de RV, n special cele care implic lucrul cu echipamente CAVE ce presupun ieiri video de tip stereoscopic. Dat fiind o scen 3D, precum i poziia i orientarea capului utilizatorului, XVR este capabil s distribuie imagini specifice separate ctre fiecare proiector n parte. XVR asigur o flexibilitate sporit, deoarece vizualizarea poate fi efectuat n orice browser web.
4.4 CONCEPIA I DEZVOLTAREA SISTEMULUI TESTRV PENTRU SIMULAREA I TESTAREA NVRII TRASEELOR DE NAVIGARE I MANIPULARE
n fig. 4.7 este prezentat algoritmul general de dezvoltare a sistemului TEST-RV, care are scopul de a simula i testa sistemele de planificare prin nvare a traseelor de navigare i manipulare, PLAN-TN i respectiv PLAN-TM, prezentate n cap. 3. n cadrul primei etape, Generarea mediului virtual, se realizeaz modelele virtuale ale instalaiilor i obiectelor din mediul de operare ct i al RMI, pornind de la modele solide generate folosind mediul CATIA. Tot aici sunt generate i structurile de tip mesh, utiliznd programul de editare 3DStudio Max ce permite exportarea acestora ntr-un format favorabil utilizrii lor att n mediul de programare C++/OGRE, ct i n Fig. 4.7 Algoritmul general de XVR. dezvoltare a sistemului n etapa a doua, Implementarea sistemelor de planificare prin nvare, sunt concepute i elaborate pachete software care permit simularea i testarea traseelor de navigare i manipulare planificate prin nvare. Etapa a treia, Generarea controlerului virtual, are ca scop concepia i elaborarea unui pachet software n mediul MATLAB care s coordoneze operaiile de poziionare, de micare i de coliziune ale obiectelor (inclusiv RMI) din mediile de RV, att n cazul navigrii, ct i n cel al manipulrii. Ultima etap, Simularea i testarea rezultatelor, presupune concepia i dezvoltarea de algoritmi de testare a traseelor planificate prin nvare precum i evaluarea rezultatelor ce in de percepia uman, performane (din punct de vedere financiar, al timpilor de implementare i de testare, etc.) precum i a celor de ordin social (sigurana n timpul experimentului, disponibilitatea subiecilor etc.).
4.4.1 GENERAREA RMI VIRTUALI I A MEDIILOR DE LUCRU VIRTUALE

4.4.1.1 MODELUL VIRTUAL AL RMI CU PLATFORMA POWERBOT I MANIPULATORUL POWERCUBE Pentru dezvoltarea de experimentelor de testare a traseelor planificate prin nvare a RMI care opereaz n medii reale i virtuale, s-a folosit robotul mobil PowerBot, pe care este montat manipulatorul PowerCube (fig. 4.8a). n fig. 4.8b este prezentat modelul CAD generat n CATIA. Modelele CAD obinute sunt transformate n format VRML i transferate n mediul C++/OGRE [Vajta, 2005]. Rezultatele obinute sunt prezentate n fig. 4.8c i, respectiv, n fig. 4.8d. 44
c d Fig. 4.8 Robotul mobil PowerBot/PowerCube: a vedere general a modelului real; b modelul CATIA; c modelul VRML; d modelul n C++/OGRE
4.4.1.2 MODELAREA MEDIILOR DE LUCRU 4.4.1.2.1 MODELAREA MEDIILOR VIRTUALE DE NAVIGARE Modelarea mediului de lucru n MATLAB este realizat cu ajutorul unui fiier de configurare structurat ierarhic, pe 2 nivele. n cadrul acestui fiier sunt definite entiti prin intermediul unor atribute distincte. Entitile de baz i atributele asociate sunt: zona de operare - rezoluia (res), lungimea (len), limea (wid); inta sau obstacolul coordonatele
b
Fig. 4.10 Mediul virtual: a 2D (MATLAB); b 3D (VRML)
45
centrului (pos), raza (radius), viteza (vel), tipul micrii (velmove rectilinie uniform, rndmove aleatorie, sinemove sinusoidal, trackmove de urmrire a unei entiti); reprezentare simbol (drawcir pentru cerc, drawsq pentru ptrat). La finalul anexei 1 este prezentat codul surs de configurare a mediului de operare din fig. 4.10a care, transformat n VRML, conduce la mediul virtual de operare 3D din fig. 4.10b. 4.4.1.2.2 MODELAREA MEDIILOR VIRTUALE DE MANIPULARE Pentru experimentele n mediile de RV, n scopul eliminrii cazurilor speciale, precum i din motive de simplitate pentru prezentul studiu, s-au definit 3 clase de obstacole care pot fi asociate unor utilaje tehnologice, echipamente periferice, depozite etc. Pentru configurarea acestor obstacole, se utilizeaz un program de generare ce conine parametrii de descriere. Obstacolele generate pot fi de tip (fig. 4.11): sfer cu parametrii, coordonatele centrului x, y, z i raza r; paralelipiped cu parametrii, coordonatele unui vrf x, y, z i dimensiunile (lungime, lime i nlime); cilindrul cu parametrii, coordonatele centrului unei baze x, y, z, raza cercului i nlimea. Obstacolele sunt modelate n MATLAB deoarece atributele acestora trebuie s se coreleze cu controlerul virtual de micare a braului, de asemenea implementat prin funcii MATLAB.
a Fig. 4.11 Mediul virtual de operare n MATLAB
b Fig. 4.12 Detectarea coliziunilor folosind metoda sphere covering
Cel mai important aspect al etapei de modelare a operrii robotului n mediul de lucru l reprezint conceperea i implementarea algoritmului de detectare a coliziunilor care are la baz metoda sphere covering. Acesta presupune reprezentarea fiecrui obiect virtual sub forma unui set de sfere cu centrele pe frontierele obiectelor virtuale i robotului virtual (fig. 4.12). n timpul micrilor robotului i obiectelor virtuale, se fac verificri pentru a se preveni ciocniri Fig. 4.13 Modelul geometric al coliziunii ntre seturile de sfere (distana dintre oricare 2 cercuri cu metoda sphere covering aparinnd unor seturi diferite trebuie s fie mai mare dect suma razelor, O1O2>R1+ R2 (fig. 4.13)). Procesul de grupare (clustering) pe seturi de sfere se realizeaz n MATLAB, cu ajutorul algoritmului statistic k-means [Ar, 2000]. Numrul de clustere este ales pe baza dimensiuni lumii virtuale. Deoarece, aceast abordare nu este n mod normal afectat de problemele clasice ale metodei k-means, algoritmul propus rencearc separarea i n cazul unei eventuale erori, ignor lipsa convergenei i are un numr redus de iteraii.
46
4.4.2 CONTROLER VIRTUAL DE CONDUCERE A PROCESELOR DE SIMULARE I TESTARE

Pentru integrarea etapelor anterioare i realizarea unor legturi ntre robotul virtual i mediul de lucru virtual i sistemul de conducere al robotului real, a fost conceput un controler virtual cu arhitectura prezentat n fig. 4.14 [Dugulean, 2010b]. Prin intermediul acesteia, dup generarea traseelor de navigare, respectiv, a celor de manipulare prin nvare, datele i cunotinele procesate n final sunt transpuse n micri n mediul virtual.
Fig. 4.14 Arhitectura controlerului virtual de conducere a proceselor de simulare i testare n RV
n fig. 4.16a se prezint scena virtual de simulare i testare a manipulrii dup trasee planificate prin nvare cu sistemul PLAN-TM, realizat n mediul MATLAB. n aceast scen virtual se observ un obstacol cilindric (definit n fiierul de configurare a obstacolelor, folosind parametrii x, y, z, raza i nlimea), precum i reprezentarea virtual simplificat a manipulatorului PowerCube. Mediul virtual 3D (fig. 4.16b) a fost realizat n limbajul C++, folosind motorul grafic OGRE.
Fig. 4.16 Scena virtual de manipulare reprezentat n planele XY i YZ: a reprezentare n MATLAB; b reprezentare n C++/OGRE
47
4.4.3 TESTAREA TRASEELOR PLANIFICATE PRIN NVARE I EVALUAREA REZULTATELOR

Traseele de testat, preluate prin intermediul interfeei descrise mai sus, sunt trimise prin partea de comunicaie ctre modulul software C++/OGRE/VRML/XVR. Spre exemplu, traseul din fig. 4.19a generat cu sistemul PLAN-TN, i corespunde scena virtual 3D (C++/VRML) prezentat n fig. 4.19b care este generat prin suprapunerea a 20 de imagini. Pentru obinerea unei traiectorii netede, coordonatele generate de sistemul PLAN-TN sunt
a b Fig. 4.19 Testarea traseelor de navigare: a traiectoria generat de PLAN-TN; b traseul virtual n modulul software C++/VRML
interpolate. Etapa de validare a traseului, simulat att la nivel desktop, ct i n cadrul CAVE, const n urmrirea corectitudinii acestuia, din punct de vedere al coliziunilor, al constrngerilor de ordin fizic i mecanic ale robotului i din perspectiva operrii/transportului n siguran.
4.5 CONCLUZII
n acest capitol este prezentat detaliat procesul de modelare CAD, modul de lucru pentru fiecare din mediile C++/OGRE, C++/VRML i XVR (pentru testarea de scenarii virtuale n CAVE) precum i interfaarea acestor medii cu algoritmii PLAN-TN i PLAN-TM implementai n MATLAB, cu ajutorul unui sistem de comunicare. Metodologia de dezvoltare a sistemului de RV presupune parcurgerea succesiv a urmtoarelor etape: Generarea mediului virtual, Implementarea sistemelor de planificare prin nvare, Generarea controlerului virtual i Simularea i testarea rezultatelor.
5. SISTEME DE INTERACIUNE OM-ROBOT PENTRU NVARE N MEDII VIRTUALE I REALE

5.1 INTRODUCERE
Interaciunea om-robot (HRI Human-Robot Interaction) se evideniaz ca domeniu tiinific distinct ncepnd cu anii 90, i se ocup cu studiul atributelor, proceselor i dispozitivelor care apar n relaia dintre operatorii umani i roboi. HRI este un domeniu multidisciplinar, deoarece include aspecte legate de robotic (matematic, fizic, programare), psihologie, lingvistic (tiine sociale), biologie i altele.
48
5.2 INTERFEE HRI ALTERNATIVE ADECVATE PROCESELOR DE NVARE A ROBOILOR

n prezent, marea majoritate a tehnicilor de HRI sunt dezvoltri i adaptri ale procedeelor i dispozitivelor HCI (Human-Computer Interaction). Dispozitivele BCI i de tip EOG msoar i proceseaz impulsurile electrice generate de creierul uman i de muchii ochiului. Cu ajutorul acestor dispozitive comunicarea om-robot devine mai natural, pentru operatorii sntoi, i mai accesibil pentru operatorii cu deficiene (locomotorii, de vedere, de auz) [Barea, 1999; Choudhury, 2005 Bao-Guo, 2008].
5.2.1 INTERACIUNEA OM-ROBOT CU BCI

n fig. 5.2 se prezint o paradigm de integrare a unui dispozitiv BCI pentru a realiza comunicarea unui operator cu un robot mobil care ndeplinete sarcini simbolice, sarcini ce pot fi dezvoltate ulterior n activiti de producie [Dugulean, 2009a]. Conform aceastei paradigme semnalele produse de creierul operatorului uman sunt amplificate i analizate de ctre unitatea de procesare a semnalului. Folosind tehnologia wireless, informaia este transmis la robotul mobil care, de asemenea, primete n mod activ informaii despre diveri stimuli din mediu, prin senzorii exteroceptivi. Robotul reacioneaz la comenzile date de operator, dup analizarea planului reactiv (RP Reactive Plan) care d ca rezultat o secven de comportament [Bryson, 2001]. Comportamentul adoptat va fi utilizat pentru ndeplinirea sarcinii desemnate.
Fig. 5.2 Schema de utilizare BCI pentru interfaarea cu un RMI
5.2.2 INTERACIUNEA OM-ROBOT CU DISPOZITIVE EOG

Micrile oculare pot fi nregistrate n 3 moduri: cu bobine magnetice, folosind procesarea video sau utiliznd EOG [Usakli, 2009]. Procesarea video i EOG sunt cele mai folosite tehnici. Dei cerinele pentru procesarea video sunt foarte uor de ndeplinit, fiind necesar o singur camer video, EOG tinde s produc rezultate mai bune n termeni de vitez i de precizie. n timp ce n cadrul abordrii video, camera scaneaz ochii subiectului i msoar deplasarea irisului, n cadrul abordrii EOG, se utilizeaz un dispozitiv simplu, care are un cost sczut. Acesta folosete una sau dou perechi de electrozi (senzori de cmp electric) pentru a msura potenialul retinei care fiind rezultatul micrilor globului ocular n cavitatea cranian, variaz proporional cu amplitudinea micrilor oculare [Barea, 1999]. n fig. 5.5 se prezint o paradigm bazat pe un sistem EOG de conducere a unui robot n timp real [Dugulean, 2010a]. Dispozitivul EOG montat pe capul subiectului trimite datele obinute la unitatea de procesare. 49
Fig. 5.5 Schema de operare n tip real bazat pe dispozitive EOG
Fig. 5.6 Experimentul EOG de control n timp real Pentru testarea acestei paradigme este prezentat un experiment realizat n cadrul laboratorului Telerobotics and Applications al Institutului Italian de Tehnologie (IIT), care folosete un dispozitiv EOG cu 4 electrozi (produs de compania Starlab) ce se fixeaz pe capul operatorului. n fig. 5.6 se prezint poziiile electrozilor - 2 sunt plasai lateral iar ceilali 2, deasupra fiecrui ochi circuitul de referin (DRL) este montant pe urechea dreapt a subiectului. Deoarece pentru clipire se folosesc muchii faciali, iar semnalul EOG asociat acestora este foarte puternic, montarea electrozilor se poate face n poziii aproximative. Montarea atent a circuitului DRL este deosebit de important, deoarece influeneaz calitatea msurtorilor. n acest sens este folosit un gel electroconductor, soluie ce mbuntete totodat i rezistena la zgomote [***d]. Dup 20 de sesiuni de msurare pe un singur subiect (313 clipiri), rata medie de recunoatere a unei clipiri este de 56.23%, iar rata recunoaterii unei clipiri duble este de 42.85% (28 de clipiri duble) [Dugulean, 2010a].
5.3 ASPECTE PRIVIND CALITATEA INTERACIUNII OM-ROBOT

Deoarece oamenii folosesc minile, n marea majoritate a cazurilor de operare, transferul obiectelor ntre roboi i oameni este o form fundamental de HRI. Unele studii au identificat un set generic de variabile HRI care pot fi msurate n timpul interaciunilor operator-robot (timpul de rspuns, aprecierea micrii, contientizarea scenariului), precum i un set de variabile specifice experimentelor de manipulare (gradul de dificultate mental a 50
experimentului, erorile de contact, timpul necesar ndeplinirii sarcinilor etc.) [Steinfeld, 2006]. n practic sunt identificate exemple care s ilustreze aceste atribute i pentru aplicaii de manipulare [Edsinger, 2004, 2007a, 2007b; Huber, 2008].
5.3.1 EXPERIMENT DE INTERACIUNE OM-ROBOT N MEDIUL VIRTUAL

Scenariul 1. Operatorul plaseaz obiectul int (care este automat asociat poziiei minii acestuia) la un loc prestabilit (fig. 5.8) n spaiul de lucru virtual care conine braul PowerCube, un obstacol (bar cilindric plasat la coordonatele carteziene (5, 15, -40)) i obiectul int. Braul robotic ateapt ca operatorul s plaseze obiectul, dup care, folosind algoritmul de planificare a traiectoriei PLAN-TM descris n subcap. 3.6 i sistemul de simulare de scenarii n RV, se deplaseaz pentru a atinge coordonatele obiectului int. Dup ce braul atinge sticla virtual, o prinde i o plaseaz automat la o a doua poziie, de asemenea, prestabilit.
Fig. 5.8 Experiment de HRI n CAVE Scenariul 2. Operatorul mic liber obiectul int ntr-un spaiu de lucru fr obstacole, pentru maximum 30 s. Braul robotic urmrete n mod dinamic inta. Dup atingerea sticlei virtuale, operatorul o prinde i o plaseaz automat la a doua poziie prestabilit n scenariul 1. Scenariul 3. Obiectul int este ataat efectorului braului robotic. Operatorul are sarcina de a lua sticla i de a o plasa la o poziie prestabilit. Atunci cnd mna operatorului ajunge n prejma sticlei la o distan mai mic de 0,5, aceasta este automat ataat poziiei carteziene returnate de senzorii optici. Acelai proces este repetat atunci cnd operatorul aproprie sticla la o distan mai mic de 0,5 fa de coordonatele carteziene ale intei secundare, sticla fiind automat ataat intei. 51
5.3.2 EXPERIMENT DE INTERACIUNE OM-ROBOT N MEDIUL REAL

Pentru a evalua interaciunea om-robot real, este conceput un scenariu similar scenariului 1 realizat n CAVE. Subiecii plaseaz o sticl de plastic n efectorul manipulatorului PowerBot. Braul robotic este apoi condus pentru a plasa sticla la o poziie prestabilit (fig. 5.9).
Fig. 5.9 Experiment HRI n mediul real: a utilizatorul ncepe experimentul; b utilizatorul introduce sticla n prehensor; c braul robotic ncepe micarea; d sticla atinge poziia prestabilit
5.3.3 COMENTARII ASUPRA REZULTATELOR EXPERIMENTELOR

Experimentele de mai sus au fost executate de mai muli operatori care au completat un chestionar, care st la baza cuantificrii informaiilor legate interaciunea om-robot (virtual i real). Chestionarul conine 12 ntrebri mprite n 3 grupe: - Seciunea de informaii biografice, conine ntrebri referitoare la atributele biologice i la cunotinele tehnologice ale subiecilor. - Seciunea de informaii specifice, se refer la particularitile HRI din timpul experimentului de manipulare. - Seciunea de evaluare a calitii interaciunii, conine ntrebri care ncearc s determine diferenele dintre interaciunea n mediul virtual i interaciunea n mediul real. Rspunsurile la ntrebrile din acest chestionar, sunt notate pe o scal de la 1 la 10. Rezultatele obinute prin testarea a 22 de studeni, 4 doctoranzi i 3 persoane din personalul administrativ al universitii sunt centralizate n tab. 5.1. n plus, n timpul experimentului au fost msurate i procentul de sarcini cu succes ndeplinite, 99.1379%; timpul mediu pentru a completa un scenariu, 4 minute i 8 secunde; timpul mediu pentru a completa toate cele 4 scenarii, 16 minute i 32 de secunde. Conform datelor centralizate pentru ntrebarea 10, prezena se evalueaz cu un scor de 7.7586. Raportat la aceast valoare, rezultatul de la ntrebarea 7 (9.1379) arat faptul c folosirea RV cu interfeele multimodale este o metod bun de a interaciona cu medii virtuale. Marea majoritate a subiecilor au apreciat n mod pozitiv interaciunea, att cu robotul virtual (8.5862), ct i cu cel real. 52
Tab. 5.1 Datele centralizate din chestionarul HRI

Seciune ntrebare 1.Vrst? Rspuns 21 ani 14; 26 ani 3; 22 ani 6; 39 ani 1; 23 ani 2; 40 ani 1; 25 ani 1; 44 ani 1; M 62% F 38% 7.7931 (1 nu am folosit niciodat; 10 folosesc n fiecare zi) 5.3448 (1 nu am interacionat niciodat; 10 interacionez n fiecare zi) 5.9655 (1 nu am auzit niciodat; 10 foarte familiarizat) 6.3103 (1 foarte ncet; 10 foarte repede) 9.1379 (1 foarte inexact; 10 foarte exact) 5.1724 (1 niciodat; 10 tot timpul) 7.6896 (1 foarte nesatisfctor; 10 foarte satisfctor) 7.7586 (1 foarte nerealiste; 10 foarte realiste) 8.5862 (1 neinteresant; 10 interesant) -
Informaii biografice
2.Sex? 3.Ct de des folosii calculatorul? 4.Ct de des interacionai cu roboi? 5.Ct de familiarizat suntei cu tehnologiile de RV?
Informaii specifice
6.Ct de repede se mic braul robotic? 7.Ct de exact este braul robotic n culegerea/prinderea/plasarea obiectului int? 8.Ct de des ai simit c braul robotic PowerCube (att cel virtual, ct i cel real) interacioneaz cu dumneavoastr? 9.Ct de satisfctor vi se pare algoritmul de control al braului robotic PowerCube? 10.Ct de reale vi s-au prut experimentele n RV, n comparaie cu experimentele n lumea real? 11.Ct de interesant vi s-a prut interaciunea cu robotul n RV? 12.Ce lipsete braului robotic virtual PowerCube pentru a fi mai aproape de braul real PowerCube?
Msurarea Prezenei
6. EXPERIMENTE DE NAVIGARE I MANIPULARE N MEDII REALE

6.2 EXPERIMENTE DE NAVIGARE
6.2.1 CONSTRUIREA MEDIULUI DE LUCRU
Pentru generarea hrii mediului de lucru cu obstacole fixe (v. subcap. 2.4.1.2.1), preliminar, s-a realizat scanarea mediului prin conducerea robotului cu ajutorul joystick-ului (fig. 6.4).
Fig. 6.4 Scanarea mediului de lucru prin conducerea platformei cu ajutorul joystick-ului
53
Corespondena dintre hrile n format .map, cea generat n MATLAB i cea construit n VRML este prezentat n fig. 6.5.
Fig. 6.5 Harta mediului de lucru n VRML (stnga sus), MATLAB (stnga jos) i Mapper3 (dreapta)
6.2.3 ANALIZA REZULTATELOR EXPERIMENTELOR DE NAVIGARE

Variaiile timpilor pentru parcurgerea traseelor generate cu cele dou sisteme (ARNL i PLAN-TN), sunt descrise n fig. 6.8 i 6.11. Diferenele de timp sunt n favoarea sistemului
40 30 Secunde 20 10
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Teste
Fig. 6.8 Variaiile timpilor de deplasare n cazul navigrii n mediul de lucru cu obstacole statice
60 50 Secunde 40 30 20 10 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Teste
Fig. 6.11 Variaiile timpilor de deplasare n cazul navigrii n mediul de lucru cu obstacole statice i dinamice
54
PLAN-TN deoarece odat traiectoria calculat, este posibil setarea unei viteze de deplasare mai mari dect viteza medie de navigare n cazul sistemului ARNL.
6.3 EXPERIMENTE DE MANIPULARE

6.3.2 CONSTRUIREA MEDIULUI DE LUCRU
Mediul de lucrul propus este un spaiu care are baza de aprox 80 cm2 (fig. 6.14), materializat prin suprafaa a 4 scaune, o bar de carton lung de 60 cm cu raza de aprox. 5 cm, precum i punctul int materializat prin puckul rou. Punctele int t1, t2 i t3 sunt poziionate n centrele celor 3 scaune.
6.3.3 REALIZAREA EXPERIMENTELOR DE MANIPULARE

Fig. 6.14 Mediul de lucru pentru Braul este deplasat n 3 poziii int diferite, experimentele de manipulare t1 (55,20,0), t2 (55,40,0) i t3 (5,40,0). Pentru fiecare din cele 3 inte sunt efectuate 10 teste de manipulare. n fig. 6.16 sunt prezentate secvene din micrile efectuate pentru atingerea celor 3 inte.
Fig. 6.16 Secvene din traiectoriile de deplasare spre intele t1, t2 i t3
6.3.4 ANALIZA REZULTATELOR EXPERIMENTELOR DE MANIPULARE

n urma efecturii celor 10 teste de manipulare pentru fiecare din cele trei inte, t 1, t2 i t3, rezult valorile timpilor medii pentru atingerea intelor, 112,6 s, 134,1 s i, respectiv, 151,4 s, iar numerele medii de secvene, 9,9, 13,8 i, respectiv, 17,9. n timpul experimentelor au fost urmrite secven cu secven deplasrile braului i nivelul de apropriere de obstacole a efectorului sau a elementelor braelor. Pe parcursul experimentelor nu s-au evideniat coliziuni cu obstacolele din mediu i se apreciaz c traiectoriile reale obinute sunt replici fidele ale traseelor planificate cu sistemul PLAN-TM i 55
deci, implementarea n mediul real i pe robotul real valideaz rezultatele (traseele) generate teoretic offline.
7. CONCLUZII I CONTRIBUII PROPRII

7.1 CONCLUZII FINALE
ntrebarea principal la care prezenta lucrare rspunde este Cum se poate mbuntii programarea roboilor mobili pentru efectuarea de operaii de navigare i manipulare n medii industriale?. nc de la nceput, roboii au fost concepui pentru realizarea de sarcini repetitive specifice. Folosirea roboilor mobili n medii industriale, n procesele de transport local i manipulare, raportat la roboii fici, aduce un plus de utilitate prin acoperirea unor spaii de lucru mai mari, precum i prin creterea adaptabilitii i flexibilitii. Roboii mobili industriali sunt integrai n medii industriale pentru manipulare i transport local de piese/scule/dispozitive, execuie de operaii tehnologice, asamblare de produse, inspecie de atribute i monitorizare/supervizare de sisteme i procese. n urma analizei stadiului actual al cercetrilor de adaptare i implementare a roboilor mobili n activiti din medii industriale, se evideniaz tendina de dezvoltare a acestora ca sisteme inteligente, cu capaciti evoluate de nvare i de interaciune cu operatorul. Dei exist algoritmi care rezolv sarcini specifice prin nvare, nu se poate concluziona c exist sisteme consacrate de nvare a roboilor pentru efectuarea de sarcinilor de lucru. Analiza critic efectuat asupra studiilor care trateaz algoritmii de nvare evideniaz c modelul Qlearning de nvare prin ntrire precum i reelele neuronale artificiale sunt adecvate pentru dezvoltarea i implementarea unor sisteme noi de planificare prin nvare a traseelor de navigare i manipulare ale roboilor mobili industriali. Prezenta cercetare are la baz 2 modele de nvare (RNA i Q-learning) cu algoritmii de nvare asociai, care au fost implementai n dou sisteme, unul pentru planificarea traseelor de navigare, PLAN-TN, i cellalt pentru planificarea traseelor de manipulare, PLANTM. Originalitatea acestor sisteme const n modul de concepie, algoritmizare, programare, implementare i testare. Sistemul PLAN-TN, elaborat pentru planificarea prin nvare a traseelor de navigare, folosete modelul Q-learning pentru a soluiona problema de navigare a platformei PowerBot n medii cu obstacole fixe i mobile. Algoritmul acestui sistem este implementat n mediul MATLAB. Funcionarea acestui sistem a fost testat pentru cazuri specifice diferite, urmrindu-se aspectele de evitare a minimelor locale i a coliziunilor cu obstacole. Sistemul PLAN-TM, elaborat pentru planificarea prin nvare a traseelor de manipulare, folosete RNA i modelul Q-learning pentru a soluiona problema de manipulare cu bra robot, PowerCube, cu 6 grade de mobilitate n medii cu obstacole. Algoritmul de rezolvare a problemei are la baz 2 reele neuronale, Theta Net i Q-value Net, integrate ca sistem de nvare bazat pe modelul Q-learning. Pentru validare, a fost msurat performana acestui sistem n cazuri specifice diferite, urmrindu-se preponderent aspectele legate de evitare a coliziunilor i de timpii de soluionare. Sistemele elaborate PLAN-TN i PLAN-TM pot fi folosite pentru programarea RMI prin nvare offline, cu testare n medii de RV, sau online, cu testare n medii reale. Aceste posibiliti sunt integrate ntr-un sistem general de nvare la nivel robot (v. fig. 1.1). Teza de doctorat propune un concept inovativ de simulare i testare a urmririi traseelor programate (planificate) prin nvare, prin intermediul unui robot mobil virtual care navigheaz n medii virtuale. Dezvoltarea unui sistem de RV, ca interfa ntre mediile de nvare PLAN-TN i PLAN-TM i mediile reale de lucru, conduce la o serie de avantaje, printre care se evideniaz timpii redui i flexibilitatea mrit de programare, eliminarea problemelor legate de utilizarea concurent a echipamentelor, facilitarea instruirii 56
utilizatorilor neexperimentai pentru a dezvolta aplicaii diverse fr a fi constrni s respecte aspectele legate de securitate. Metodologia de dezvoltare a sistemului de simulare i testare a programrii prin nvare n medii de RV, prin parcurgerea etapelor Generarea mediului virtual, Implementarea sistemelor de planificare prin nvare, Generarea controlerului virtual i Simularea i testarea rezultatelor, este original i are caracter de generalitate. n sintez, sunt parcurse succesiv etapele de modelare CAD n CATIA, modelare n format VRML i n medii de programare precum C++, OGRE i XVR, generare de medii virtuale 3D precum i a structurilor virtuale ale platformei PowerBot i manipulatorului PowerCube, interfaare a sistemelor PLAN-TN i PLAN-TM cu robotul i mediul virtual, generarea unui sistem de comunicare, i de dezvoltare a controlerului de coordonare a operaiilor de simulare i testare. Simulrile i testele efectuate au scos n eviden aspectele pozitive legate de introducerea programrii prin nvare n procesele de planificare a traseelor de deplasare i manipulare ale roboilor mobili industriali, precum i de soluionare a problemelor de evitare de obstacole sau mbuntire a modalitilor de control n cazul acestor operaii. Prin posibilitile de intervenie direct a operatorului asupra scenei virtuale, interacionnd n RV, se pot face corecii ale traseelor nvate pentru a se putea lua n considerare i aspectele care la programare au fost considerate ca ipoteze simplificatoare (de ex. formele simplificate ale obstacolelor). Dezvoltarea de sisteme de programare prin nvare a RMI, consecin a activitilor de interaciune specifice, implic i dezvoltri privind modalitile de interaciune a operatorului cu robotul. Conform analizei critice asupra realizrilor n domeniul HRI i HCI, n cazul roboilor mobili industriali, interaciunea om-robot se limiteaz la modelarea i dezvoltarea unor interfee interactive ntre operatorii umani i roboi, care s permit accesul facil asupra funciilor de conducere ale celor din urm, pentru creterea nivelului de autonomie i flexibilizarea schimbului de informaii. n acest sens, n tez se propune i implementeaz o metod de evaluare a calitii interaciunii om-robot, folosit la cuantificarea interaciunii n cazul operaiilor de manipulare n medii virtuale i reale. n lucrare sunt prezentate dou procedee alternative ce folosesc dispozitive cu senzori (electrozi) pentru a capta impulsurile electrice generate de creierul uman sau de muchii ochiului, i pentru a le procesa n scopul transmiterii de informaii sistemelor de conducere ale roboilor. Pentru fiecare procedeu, sunt concepute i dezvoltate experimente de implementare i de folosire ca dispozitive alternative pentru comunicare cu roboii mobili, pentru a mbuntii interaciunea om-robot, inclusiv pentru procesele de interaciune la nvare. Dispozitivul de comunicare om-robot bazat pe BCI, prin care preia i proceseaz semnalele electrice de la nivelul creierului, este integrat la nivel software, ca interfa, cu manipulatorul PowerCube. Aplicaia de recunoatere i selecie a unor simboluri (de ex. litere) poate fi integrat cu uurin n procesele de nvare, fie pentru conducerea robotului n mediul de lucru pentru a se antrena prin exerciii, fie pentru a interveni n timp real n procesele de nvare sau n cele de lucru. Dispozitivul de comunicare tip EOG, cu 4 electrozi, produs de compania Starlab, este implementat ca alternativ de comunicare om-robot, prin dezvoltri software pentru comunicarea cu roboii mobili, prin intermediul limbajului bazat pe clipiri. Se evideniaz capabilitile dar i limitele de folosire a acestor dispozitive pentru lucrul cu roboii mobili programaii prin nvare. Experimentele de navigare n medii reale au avut ca scop, pe de-o parte, implementarea produsului software PLAN-TN i, pe de alt parte, testarea i validarea traseelor de navigare generate cu acest produs. Pentru cazul navigrii n mediul de lucru cu obstacole statice, urmrirea traseelor generate cu sistemul bazat pe nvare PLAN-TN evideniaz o scdere a timpului cu peste 20%, n comparaie cu parcurgerea traseelor planificate cu ARNL, caz n care planificarea pentru deplasare implic procese online de localizare i calcul a traseului (metodologia SLAM). n cazul navigrii n medii cu obstacole 57
statice i dinamice, dup trasee PLAN-TN, PowerBot s-a deplasat ntre punctul de start i punctul int ntr-un timp cu aproximativ 33% mai mic dect n cazul deplasrii dup trasee generate cu ARNL. Experimentele de manipulare cu braul robot PowerCube n medii reale au avut ca scop, pe de-o parte, implementarea produsului software PLAN-TM i, pe de alt parte, testarea i validarea traseelor de manipulare generate cu aceste produs. Pentru a se putea urmrii implementarea acestor trasee, s-a conceput i realizat un controler dedicat care a permis urmrirea traiectoriei secven cu secven, cu acceptul operatorului. n timpul experimentelor au fost urmrite deplasrile braului i nivelul de apropriere de obstacole a efectorului sau a elementelor braelor. Pe parcursul experimentelor nu s-au evideniat coliziuni cu obstacolele din mediu, i se apreciaz c traiectoriile reale obinute sunt replici cu nivel de fidelitate ridicat ale traseelor planificate cu sistemul PLAN-TM.
7.2 CONTRIBUII PROPRII

Prezenta lucrare de doctorat are un profund caracter inovativ, autorul aducnd o serie de contribuii originale n ceea ce privete conceperea, implementarea i testarea unor sisteme de nvare a deplasrii i manipulrii roboilor mobili industriali. Autorul propune o metodologie de cercetare care acoper aspecte variate legate de scopul i obiectivele tezei, n urma creia rezult urmtoarele contribuii proprii: 1. Analiza critic a funciilor i a modului de integrare a roboilor mobili n medii industriale, precum i stadiul actual al cercetrilor n domeniul roboticii mobile i nvrii artificiale, cu accent pe metodologiile de nvare a roboilor mobili pentru navigare i manipulare. 2. Modelele geometrice i cinematice pentru cazul particular al platformei mobile PowerBot i manipulatorului PowerCube. 3. Modele CAD ale platformei mobile PowerBot i manipulatorului PowerCube, realizate n CATIA. 4. Modelele geometrice i cinematice ale platformei mobile PowerBot i manipulatorului PowerCube, implementate n MATLAB. 5. Algoritm de planificare prin nvare a traseelor de navigare n medii industriale cu obstacole fixe i mobile a platformelor RMI, bazat pe modelul Q-learning. 6. Algoritm de planificare prin nvare a traseelor de manipulare n medii industriale cu obstacole fixe a manipulatoarelor RMI, bazat pe RNA i modelul Q-learning. 7. Sistemul, PLAN-TN, care are la baz algoritmul de planificare prin nvare a traseelor de navigare bazat pe metoda Q-learning. Acest sistem, implementat n mediul MATLAB, a fost testat pentru cazuri funcionale diferite. Procesarea rezultatelor obinute cu acest sistem pentru diferite cazuri specifice evideniaz viabilitatea pentru navigarea n medii cu obstacole fixe i mobile cu performane ridicate privind tratarea coliziunilor precum i timpul de obinere a rezultatelor. 8. Sistemul, PLAN-TM, care are la baz algoritmul de planificare prin nvare a traseelor de manipulare bazat pe dou RNA i metoda Q-learning. Acest sistem, implementat n mediul MATLAB, a fost testat pentru cazuri funcionale diferite. Procesarea rezultatelor obinute cu acest sistem pentru diferite cazuri specifice evideniaz viabilitatea pentru manipularea n medii cu obstacole fixe cu performane ridicate privind tratarea coliziunilor. 9. Metodologie de dezvoltare a unui sistem de simulare i testare n medii virtuale a funcionrii sistemelor PLAN-TN i PLAN-TM precum i a traseelor obinute cu acestea. Sistemul de simulare i testare este legat cu sistemele PLAN-TN i PLAN-TM prin intermediul unui controler virtual care are la baza comunicarea TCP/IP de tip server-client ntre mediile MATLAB i, respectiv, C++/OGRE /VRML/XVR.
58
10.
11.
12. 13.
Concepia, dezvoltarea i implementarea unei interfee om-robot bazat pe dispozitive de tip BCI, care nregistreaz i prelucreaz semnalele EEG, pentru conducerea RMI n procesele de nvare. Concepia, dezvoltarea i implementarea unei interfee om-robot bazat pe dispozitive care nregistreaz i prelucreaz semnalele EOG, pentru conducerea RMI n procesele de nvare. Metod de evaluare a calitii interaciunii om-robot la operarea braelor robotice n medii virtuale i reale. Programe i metodologii de experimentare pentru evaluarea i validarea sistemelor de nvare elaborate i a rezultatelor teoretice obinute.
7.3 VALORIFICAREA REZULTATELOR CERCETRII

7.3.1 LUCRRI PUBLICATE
n cadrul cercetrii pentru realizarea prezentei teze de doctorat, autorul a publicat 11 lucrri tiinifice dintre care la 8 este prim autor, i la 3 coautor: Jurnale internaionale 1. Dugulean, M., Barbuceanu, F., Teirelbar, A.; Mogan, G.: Obstacle avoidance of redundant manipulators using neural networks based reinforcement learning, Journal of Robotics and Computer Integrated Manufacturing (factor de impact 1.254), USA, acceptat pentru publicare la 15 Iulie, 2011 (http://authors.elsevier.com, v. anexa 5). Reviste cotate BDI 1. Dugulean, M., Barbuceanu, F.G., Designing of Virtual Reality Environments for Mobile Robots Programming, Solid State Phenomena, vol. 166-167, pag. 185-190, 2010. 2. Dugulean, M.; Mogan, G.: Aspects Concerning A Mobile Robot Cognitive System, Buletinul Universitii Transilvania, Transilvania University Press, Romnia, 2008. 3. Dugulean, M.: Learning Mobile Robots, Buletinul Universitii Transilvania, Transilvania University Press, Romnia, 2009. Conferine cu proceedings ISI 1. Dugulean, M.: Towards Development Of Brain-Computer-Based Human-Robot Interaction, DAAAM 2009 Conference, Viena, Austria, 2009. 2. Dugulean, M.; Mogan, G.: Using Eye Blinking in an EOG-Based Human-Robot Interaction, DoCEIS'10 Conference, Lisabona, Portugalia, 2010. 3. Dugulean, M.; Brbuceanu, F.; Mogan, G: Evaluating Human-Robot Interaction during a Manipulation Experiment Conducted in Immersive Virtual Reality, HCI11 Conference, Orlando, USA, 2011. 4. Brbuceanu, F.; Csaba, A.; Dugulean, M.; Zoltan, R.: Attentive User Interface for Interaction within Virtual Reality Environments Based on Gaze Analysis, HCI11 Conference, Orlando, USA, 2011. 5. Brbuceanu, F.; Dugulean, M.; Nedelcu, A.; Stoianovici, V.: Evaluation of the Average Selection Speed Ratio between an Eye Tracking and a Head Tracking Interaction Interface, DoCEIS'11 Conference, Lisabona, Portugalia, 2011. 6. Postelnicu, C.; Grbacia, F.; Dugulean, M.; Talab, D.: EOG-Based Teleoperation of a Mobile Robot, ICFCC 2011 Conference, Iai, Romnia, 2011. Conferine internaionale 1. Dugulean, M.: An Approach to Solving Kinematics Models and Motion Planning for Manipulators with Mobile Base, RAAD 2009 Conference, Braov, Romnia, 2009. 59
7.3.2 PARTICIPRI LA CONFERINE

n perioada elaborrii tezei de doctorat autorul a prezentat lucrri tiinifice n cadrul urmtoarelor conferine: 1. Robotics in Alpe-Adria-Danube Region Conference (RAAD 2009), Braov, Romnia, 2526 Mai, 2009. 2. Danube-Adria-Association-for-Automation-and-Manufacturing Conference (DAAAM 2009), Viena, Austria, 25-28 Noiembrie, 2009. 3. Doctoral Conference on Computing, Electrical and Industrial Systems Conference (DoCEIS'10), Lisabona, Portugalia, 22-24 Februarie, 2010. 4. Robotics 2010, Cluj, Romnia, 23-25 Septembrie, 2010. 5. Human-Computer Interaction Conference (HCI11), Orlando, USA, 9-14 Iulie, 2011.
7.3.3 PARTICIPRI LA CONTRACTE DE CERCETARE I DEZVOLTARE

n perioada studiilor doctorale autorul a participat ca membru n cadrul contractelor POSDRU/6/1.5/S/6 i PNII IDEI 775/2008.
7.4 DIRECII DE CERCETARE VIITOARE

Cercetrile realizate precum i rezultatele teoretice, experimentale i practice obinute, integrate ntr-o structur logic de obinere de sisteme robotice inteligente (v. fig. 1.1), acoper doar parial diversitatea problematicilor aprute. Din analiza studiilor realizate n cadrul acestei lucrri se evideniaz trei direcii principale de continuare a acestora: - Planificarea traseelor de manipulare cu brae robot pe platforme mobile; aceasta implic dezvoltarea de studii n care manipularea i navigarea se realizeaz simultan precum i elaborarea unui sistem, similar sistemelor PLAN-TN i PLAN-TM de planificare prin nvare a traseelor. - Optimizarea mediilor de RV dedicate nvrii roboilor mobili cu manipulator precum i dezvoltarea unui produs performant dedicat. - Studii privind interfeele multimodale de comunicare om-robot corelate cu noile tendine de programare cognitiv a roboilor.
60
BIBLIOGRAFIE SELECTIV
1. [Ar, 2000] 2. [Aranibar, 2004] 3. [Arkin, 1998] 4. [Bainbridge, 2008] Ar, S., Chazelle, B., Tal, A., Self-Customized BSP Trees for Collision Detection, Computational Geometry: Theory and Applications, vol. 15 (1-3), pag. 91 102, 2000. Aranibar, D., Alsina, P.J., Reinforcement Learning-Based Path Planning for Autonomous Robots, Congresso da Sociedade Brasileira de Computao, Salvador, BA, Brasil, 08/2004. Arkin, R. C., Behavior-Based Robotics, Cambridge, MA, USA, MIT Press, 1998. Bainbridge, W. A., Hart, J., Kim, E. S., Scassellati, B., The effect of presence on human-robot interaction, ROMAN 2008 - The 17th IEEE International Symposium on Robot and Human Interactive Communication, IEEE 2008, pag. 701-706, 2008. Bao-Guo., X., Song, A.G., Pattern Recognition of Motor Imagery EEG using Wavelet Transform, Journal of Biomedical Science and Engineering, vol. 1, pag. 64-67, 2008. Brbuceanu, F., Csaba, A., Dugulean, M., Zoltan, R., Attentive User Interface for Interaction within Virtual Reality Environments Based on Gaze Analysis, Proceedings of HCI11 Conference, Orlando, USA, 2011. Borangiu, T., Arhitectura de control reactiv pentru roboti mobili, Al II-lea Workshop National de Roboti Mobili, 2001. Bryson, J., Intelligence by Design: Principles of Modularity and Coordination for Engineering Complex Adaptive Agents, PhD thesis, Massachusetts Institute of Technology, 2001. Cioi D., Vatau, S. Maniu, I., Virtual Reality Laboratory for Robot Systems, Proceedings of SACI 2006, 3rd Romanian-Hungarian Joint Symposium on Applied Computational Intelligence, Timisoara, pag. 634-641, 2006. Conn, K. G., Supervised-Reinforcement Learning for a Mobile Robot in a Real-World Environment, Vanderbilt University, 2005. Dahl, T. S., Behaviour-Based Learning, Department of Computer Science, University of Bristol, 2002. Doroftei, I., Grosu, V., Spinu, V., Omnidirectional Mobile Robot - Design and Implementation, Bioinspiration and Robotics: Walking and Climbing Robots, Book edited by: Maki K. Habib, ISBN 978-3902613-15-8, pp. 511-528, I-Tech, Vienna, 2007. Dugulean, M., Towards Development Of Brain-Computer-Based Human-Robot Interaction, Proceedings of DAAAM 2009 Conference, Viena, Austria, 2009. Dugulean, M., Learning Mobile Robots, Buletinul Universitii Transilvania, Transilvania University Press, Romnia, 2009. Dugulean, M., Mogan, G., Using Eye Blinking in an EOG-Based Human-Robot Interaction, Proceedings of DoCEIS'10 Conference, Lisabona, Portugalia, 2010. Dugulean, M., Barbuceanu, F.G., Designing of Virtual Reality Environments for Mobile Robots Programming, Solid State Phenomena, vol. 166-167, pag. 185-190, 2010. Dugulean, M., Barbuceanu F., Evaluating Human-Robot Interaction during a Manipulation Experiment Conducted in Immersive Virtual Reality, Procedings of Human-Computer Interaction, HCII11, USA, 2011. Dugulean, M., Barbuceanu, F., Teirelbar, A.; Mogan, G., Obstacle avoidance of redundant manipulators using neural networks based reinforcement learning, Journal of Robotics and Computer Integrated Manufacturing USA, acceptat pentru publicare la 15 Iulie, 2011. Edsinger, A., A Behavior Based Approach to Humanoid Robot Manipulation, Artificial Intelligence, 2004. Edsinger, A., Kemp, C. C., Human-Robot Interaction for Cooperative Manipulation: Handing Objects to One Another, RO-MAN 2007 - The 16th IEEE International Symposium on Robot and Human Interactive Communication, pag. 1167-1172, 2007. Ekvall, S., Robot Task Learning from Human Demonstration, PhD thesis, Suedia, 2007. Gat, E., Integrating reaction and planning in a heterogeneous asynchronous architecture for mobile robot navigation, SIGART Bull, vol. 2, pag. 70-74, 1991. Guger, C., Holzner, C., Gronegrass, C., Edlinger, G., & Slater, M. , Brain-computer interface for virtual reality control, Proceedings of ESANN 2009, pag. 443-448, 2009. Jaradat, M. A. K., Al-Rousan, M., & Quadan, L., Reinforcement based mobile robot navigation in dynamic environment, Robotics and ComputerIntegrated Manufacturing, vol. 27, pag. 135-149, 2010. Kim, J., Khosla, P.K., Real-time obstacle avoidance using harmonic potential functions, IEEE Transactions on Robotics and Automation, vol. 3, pag. 338-349, 1992. LaValle, S. M., Planning Algorithms, Cambridge: Cambridge University Press, 2006. Leonard, J.J., Durrant-Whyte, H.F., Simultaneous map building and localization for an autonomous mobile robot, Princeton, USA, 2001. Mao, Z., Hsia, T. C., Obstacle avoidance inverse kinematics solution of redundant robots by neural networks, Robotica, vol. 15, pag. 3-10, 1997. Meystel, A., Autonomous mobile robots: vehicles with cognitive control, World Scientific Publishing Co., Inc. River Edge, NJ, USA, 1991. Minsky, M., The Society of Mind, Simon & Schuster, USA, 1986. Mitchell, T. M., Machine Learning, McGraw-Hill, 1997. Mogan, Gh., Proiectarea structurilor mecanice ale sistemelor mecatronice. Roboi industriali, Ed. Universitatii Transilvania, 2003. Norwood, J.D., A neural network approach to the redundant robot inverse kinematic problem in the presence of obstacles, Ph.D thesis, Rice University, 1991. Russell, S.J., Norvig, P., Artificial Intelligence: A Modern Approach, 2nd ed., New Jersey: Prentice-Hall, 2003. Scassellati, B. M., Foundations for a Theory of Mind for a Humanoid Robot, PhD thesis, Electrical Engineering and Computer Science, MIT, USA, 2001. Siegwart, R., Nourbakhsh, I. R., Introduction to Autonomous Mobile Robots, MIT Press, 2004. Spong, M.W., Hutchinson, S., Vidyasagar M., Robot Modeling and Control, John Wiley & Sons, 2005. Sutton, R. S., Integrated architectures for learning, planning, and reacting based on approximating dynamic programming, Proceedings of the Seventh International Conference on Machine Learning, pag. 216-224, 1990. Zhang, Y., Ma, S., Minimum-Energy Redundancy Resolution of Robot Manipulators Unified by Quadratic Programming and its Online Solution, Proceedings of the IEEE International Conference on Mechatronics and Automation, pag. 3232-3237, 2007. PowerBot Manual, MobileRobots, descrcat de pe www.mobilerobots.com, 2008.
5. [Bao-Guo, 2008] 6. [Brbuceanu, 2011a] 7. [Borangiu, 2001] 8. [Bryson, 2001] 9. [Cioi, 2006] 10. [Conn, 2005] 11. [Dahl, 2002] 12. [Doroftei, 2007]
13. [Dugulean, 2009a] 14. [Dugulean, 2009c] 15. [Dugulean, 2010a] 16. [Dugulean, 2010b] 17. [Dugulean, 2011a] 18. [Dugulean, 2011b]
19. [Edsinger, 2004] 20. [Edsinger, 2007a]
21. [Ekvall, 2007] 22. [Gat, 1991] 23. [Guger, 2009] 24. [Jaradat, 2010] 25. [Kim, 1992] 26. [LaValle, 2006] 27. [Leonard, 2001] 28. [Mao, 1997] 29. [Meystel, 1991] 30. [Minsky, 1986] 31. [Mitchell, 1997] 32. [Mogan, 2003] 33. [Norwood, 1991] 34. [Russell, 2003] 35. [Scassellati, 2001] 36. [Siegwart, 2004] 37. [Spong, 2005] 38. [Sutton, 1990] 39. [Zhang, 2007]
40. [***a]
61
REZUMAT
Prezenta tez de doctorat are un caracter pluridisciplinar, construindu-se n baza unor concepte din domenii precum robotic, matematic, sociologie, nvarea artificial, sau neurobiologie. n ideea mbuntirii operaiilor de navigare i manipulare executate de roboi mobili n medii industriale, este propus implementarea i folosirea atributului uman de nvare. Sunt concepute, dezvoltate i implementate 2 sisteme de nvare specifice sarcinilor de deplasare i respectiv, manipulare, cu algoritmii de nvare asociai bazai pe reele neuronale artificiale i tehnica Q-learning de nvare prin ntrire. Sistemul elaborat pentru planificarea prin nvare a traseelor de navigare folosete tehnica Q-learning pentru a soluiona problema de navigare a platformei PowerBot n medii cu obstacole fixe i mobile. Sistemul elaborat pentru planificarea prin nvare a traseelor de manipulare rezolv problema manipulrii n medii cu obstacole fixe. Algoritmul de nvare al acestui sistem are la baz 2 reele neuronale i tehnica Q-learning. n scopul validrii, funcionarea ambelor sisteme a fost testat pentru cazuri specifice, urmrindu-se aspectele de evitare a minimelor locale i a coliziunilor cu obstacole. Este dezvoltat de asemenea un sistem de testare a scenariilor de deplasare i manipulare a roboilor mobili n realitate virtual, ca interfa ntre sistemele de nvare i mediile de lucru reale. n lucrare sunt prezentate dou interfee de control ce folosesc dispozitive cu electrozi pentru a capta impulsurile electrice generate de creierul uman sau de muchii ochiului, i pentru a le procesa, n scopul transmiterii de informaii sistemelor de conducere ale roboilor. Pentru fiecare interfa, sunt concepute i dezvoltate experimente de implementare i de folosire ca dispozitive alternative de comunicare cu roboii mobili, n scopul mbuntirii interaciunii om-robot.
ABSTRACT
This doctoral thesis has a multidisciplinary character, operating with concepts from fields such as robotics, mathematics, sociology, artificial learning or neurobiology. In order to improve navigation and manipulation tasks performed by mobile robots in industrial environments, the author proposes the usage of the human attribute called "learning". Two learning systems are designed, developed and implemented for the specific tasks of movement and manipulation, with associated learning algorithms based on artificial neural networks and Q-learning technique. The system developed for planning navigation routes using Q-learning technique, solves the problem of navigation in environments with static and dynamic obstacles. The system developed for planning manipulation calculates arm trajectories in environments with fixed obstacles. The learning algorithm of this system is based on two neural networks and Q-learning technique. In order to validate the operation of both systems, specific cases were tested, aiming at solving local minima issues and avoiding collisions. A test system for analizing movement and handling scenarios in virtual reality was built, as an interface between learning systems and real environments. The paper also presents two control interfaces, based on devices that use electrodes to capture electrical impulses generated by the human brain or by eye muscles, and process them to transmit information to robots control systems. For each interface, several experiments are designed and developed in order to test the alternative devices as means to communicate with mobile robots, as humanrobot interaction improvements.
62
Curriculum Vitae
Nume: DUGULEAN MIHAI Data i locul naterii: 14 Februarie 1985, Piteti Naionalitate: Romn Adres: Calea Bucureti, nr. 97, Braov, Romnia E-mail: mihai.duguleana@unitbv.ro; duguleanamihai@yahoo.com
Studii: Octombrie, 2008 Septembrie, 2011, Universitatea Transilvania din Braov, Facultatea de Design de Produs i Mediu, Centrul de Cercetare: Informatic Virtual Industrial i Robotic (D10): Program de cercetare tiinific, Titlul tezei de doctorat nvarea roboilor mobili pentru deplasare i manipulare n medii industriale. Octombrie, 2009 Iunie, 2010, Scuola Superiore SantAnna, Pisa, Italia i Universitatea Transilvania din Braov, Romnia: International Master on Virtual Environments Technologies for Industrial Application. Octombrie, 2008 Februarie, 2010, Universitatea Transilvania din Braov, Facultatea de Inginerie Electric i tiina Calculatoarelor, Catedra de Electronic i Telecomunicaii: Master n Sisteme i Tehnologii Informatice de Comunicaie. Octombrie, 2005 Iunie, 2008, Academia de Studii Economice Bucureti, Facultatea de Finante, Asigurari, Banci si Burse de Valori. Octombrie, 2003 Iunie, 2008, Universitatea Politehnica Bucureti, Facultatea de Automatic i Calculatoare, Secia Calculatoare. Experien profesional: 2006 - prezent , Administrator, S.C. DOLEDO TEAM S.R.L., Braov. Iunie 2008, Stagiu de practic, Raiffeisen Lujerului, Bucuresti. Iulie August 2006, Stagiu de practic, SIVECO Romnia, Bucureti. Iulie August 2005, Stagiu de practic, Societatea Electrica Transilvania, Brasov. Cunotine n domeniul tiintelor inginereti i al calculatoarelor: Limbaje de programare: C, C++, Java, PHP, HTML/CSS Proiectare i simulare: Matlab Simulink, CATIA
Programe editare: Office, Photoshop
Web: SEO Publicaii: 11 articole Limbi strine: Englez avansat Francez mediu Italian nceptor
1 lucrare n Jurnal ISI cu factor de impact (ca prim autor) 6 lucrri n proceedings ISI i IEEE (3 ca prim autor) 3 lucrri indexate BDI (3 ca prim autor) Participare la conferine internaionale n USA, Austria, Portugalia i Romania
63
Curriculum Vitae
Name: DUGULEAN MIHAI Date and birth place: 14 Feb. 1985, Piteti Nationality: Romn Adress: Calea Bucureti, nr. 97, Braov, Romnia E-mail: mihai.duguleana@unitbv.ro; duguleanamihai@yahoo.com
Studies: October 2008 - September, 2011, Transilvania University of Brasov, Faculty of Product Design and Environment, Research Center: Virtual Industrial Informatics and Robotics (D10): Program of scientific research, Thesis name - Learning mobile robots for movement and manipulation in industrial environments. October 2009 - June, 2010, Scuola Superiore Sant'Anna, Pisa, Italy and Transylvania University of Brasov, Romania: International Master on Virtual Environments Technologies for Industrial Application. October 2008 - February, 2010, Transilvania University of Brasov, Faculty of Electrical Engineering and Computer Science, Department of Electronics and Telecommunications: Master in Information Systems and Technologies of Communication. October 2005 - June, 2008, Academy of Economic Studies, Faculty of Finance, Insurance, Banking and Stock Exchange. October 2003 - June, 2008, Polytechnic University of Bucharest, Faculty of Computer Science, Department of Computer Science. Professional experience: 2006 - Present, Administrator, S.C. DOLEDO TEAM srl, Brasov. June 2008, Internship, Raiffeisen Lujerului, Bucharest. July-August 2006, Internship, SIVECO Romania, Bucharest. July-August 2005, Internship, company Electrica Transilvania Brasov. Engineering and computer science skills: Programming Languages: C, C + +, Java, PHP, HTML / CSS Design and Simulation: Matlab - Simulink, CATIA Editing Software: Office, Photoshop Web: SEO Publications: 11 articles One paper in an ISI journal with impact factor (as first author). 6 papers in IEEE/ISI Proceedings (3 as first author) 3 papers in BDI publications (3 as first author) Participation at international conferences in USA, Austria, Portugal and Romania Languages: English advanced French medium Italian beginner
64

Roboti Mobili

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Roboti Mobili

Încărcat de

Drepturi de autor:

Formate disponibile

Investete n oameni!

Beneficiar: Universitatea Transilvania din Braov

Universitatea Transilvania din Brasov

Ing. Mihai DUGULEAN

nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

Learning mobile robots for movement and manipulation in industrial environments

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

MINISTERUL EDUCAIEI, CERCETARII, TINERETULUI I SPORTULUI

UNIVERSITATEA TRANSILVANIA DIN BRAOV

D-lui (D-nei) .............................................................................................................. COMPONENA Comisiei de doctorat

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

2.4.1.2.2 Localizarea robotului n mediile de lucru cu ARNL 39 40

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

135 60 135 60 137 61 152 -

160 171 179 181 62 182 63 183 64

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

environment with no obstacles) 3.6.2.4.2 Case 2 tests and performance (working

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

101 46 102 47 104 48 106 48

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

1.2 NECESITATEA I JUSTIFICAREA TEMEI

1.3 OBIECTIVELE CERCETRII

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

1.4 METODOLOGIA I ETAPELE CERCETRII

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

Fig. 1.1 Schema bloc a sistemului de nvare pentru deplasare i manipulare

1.5 STRUCTURA I CONINUTUL TEZEI DE DOCTORAT

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

2. ROBOI MOBILI INDUSTRIALI. STADIUL ACTUAL

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

2.2 ASPECTE PRIVIND INTEGRAREA ROBOILOR MOBILI N MEDII INDUSTRIALE

2.2.2 FUNCIILE I INTEGRAREA ROBOILOR MOBILI N MEDII INDUSTRIALE

2.3 SISTEMELE RMI

2.3.1 SISTEMELE MECANICE ALE RMI

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

Fig. 2.4 Structura platformei robotului PowerBot

Fig. 2.5 Structura general a unui manipulator serie

2.3.2 SISTEMELE DE ACIONARE ALE RMI

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

2.3.3 SISTEMELE DE SENZORIALE ALE RMI

2.4 MODELAREA I PLANIFICAREA TRASEELOR I TRAIECTORIILOR DE NAVIGARE/MANIPULARE ALE RMI

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

2.4.2 MODELAREA I PLANIFICAREA TRASEELOR I TRAIECTORIILOR MANIPULATOARELOR RMI

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

cos 2 sin 2 0 0 cos 3 sin 3 0 0

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

0 17,25 cos 4 0 17,25 sin 4 , 1 0 0 1 sin 5 cos 5 0 0 0 0 , 0 1

cos 5 sin 5 0 0 cos 6 sin 6 0 0

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

2.5 PROGRAMAREA RMI

Fig. 2.25 Arhitectura software a robotului PowerBot

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

3. NVAREA ROBOILOR MOBILI INDUSTRIALI

DUGULEAN M. nvarea roboilor mobili pentru deplasare i manipulare n medii industriale

3.4 SISTEME DE NVARE SPECIFICE AGENILOR ROBOTICI INTELIGENI