Documente Academic
Documente Profesional
Documente Cultură
Suceava,
2012
Cuprins
Introducere ................................................................................................................................................... 3
Abstract ..................................................................................................................................................... 3
Descriere ................................................................................................................................................... 5
Principii de funcionare ................................................................................................................................. 6
Diagrama claselor...................................................................................................................................... 6
Comportament pentru ARCamera ............................................................................................................ 7
Comportament pentru ImageTarget ........................................................................................................ 9
Extinderea realitii................................................................................................................................. 10
Desfurarea proiectului ............................................................................................................................. 12
Alegerea i crearea imaginii int ........................................................................................................... 12
Modelarea lumii virtuale......................................................................................................................... 15
Aplicaia pentru realitate augmentat ................................................................................................... 16
Setrile proiectului unity..................................................................................................................... 18
Prezentarea rezultatului ............................................................................................................................. 19
Concluzie ..................................................................................................................................................... 20
Anex .......................................................................................................................................................... 21
Bibliografie .................................................................................................................................................. 22
Pag. 2
Introducere
Abstract
Termenul Realitate Augmentat a fost introdus n 1990 de ctre Thomas Caudell, pe atunci angajat al
Boeing. Realitatea augmentat este considerat o extensie a realitii virtuale un spaiu virtual n care
timpul, fizica i materialele din lumea real pot fi depite. Mai jos este prezentat celebra ilustraie a
continuumului Real-Virtual.
Astfel, realitatea augmentat este o tehnologie ce suprapune o lume virtual generat de ctre
computer peste lumea real, nregistrat de ctre sensor-ul video al dispozitivului. Lumea virtual poate
fi format din obiecte bi- sau tri-dimensionale de orice tip.
ntreaga tehnologie se bazeaz pe civa termeni, descrii n continuare:
Vederea real se refer la fluxul video produs de camera telefonului; este aceeai vedere
obinut atunci cnd este utilizat camera video a dispozitivului; aplicaia capteaz imaginilie din
fluxul video i augmenteaz n timp real cu obiecte virtuale pentru a crea o realitate extins.
nregistrare i observare descrie metodele disponibile pentru a alinia obiectul virtual la
vederea real; aceasta implic senzorii de locaie, cum este GPS-ul, compasul digital i
accelerometrul (observare bazat pe locaie) sau un sistem de recunoatere a imaginii
(observare optic); unele aplicaii folosesc ambele metode.
Punctul de interes este un item individual, de obicei, asociat cu o locaie
geografic(longitudine, latitudine, altitudine) sau un model vizual (marker, coperta unei cri, o
imagine, etc.) ce poate fi redat de ctre aplicaie; datele punctului de interes conin descrierea
locaiei sau referina imaginii folosite pentru observare i tipul de coninut pentru a fi generat.
De obicei, coninutul nsui nu este parte a punctului de interes, dar n schimb este furnizat o
legtur ctre acesta.
Pag. 3
Obiectul virtual coninutul digital generat de ctre aplicaie i suprapus peste vederea real;
acest coninut poate include modele 3D, 2D, pictograme i text.
Canale, nivele i lumi se refer la grupurile ce public obiectele virtuale ale punctului de
interes asociat.
Augmentare bazat pe marker este cazul n care pentru observarea optic
sunt folosite imagini artificiale intenionat create pentru a servi aplicaiei de
realitate augmentat.
Augmentare fr marker-e - este situaia n care la observarea optic sunt utilizate imagini
naturale, nemodificate.
Observare bazat pe locaie obiectul virtual este suprapus peste fluxul real, lund n calcul
informaiile geo-locaionale obinute de la senzorii
terminalului.
6 grade de libertate se refer la capabilitatea
sistemului de observare de a menine alinierea la un
obiect real ntr-un spaiu tridimensional; senzorii de
n fa
locaie sunt capabili s ofere informaii referitoare la
direciile nainte/napoi(1), stnga/dreapta(2),
sus/jos(GPS-ul)(3), giraie(compasul)(4),
nclinare(5) i rostogolire(accelerometrul)(6).
Near Field Communication tehnologie bazat pe wireless de raz scurt (pn n 4 cm); implic
un chip iniiator activ i unul int pasiv care poate fi activat de ctre cmpul magnetic al
iniiatorului; aadar, inta nu are nevoie de baterii i poate avea forme flexibile i
portabile(carduri, stick-ere, tag-uri); NFC-ul se presupune a fi nlocuitorul marker-elor.
Datorit dispozitivelor mobile tot mai performante, au aprut diverse aplicaii ce implementeaz
realitatea augmentat. Dintre acestea, cele mai rspndite sunt aa-numitele browser-e: Junaio,
Layar, Sekai Camera, Wikitude Worlds Browser, LibreGeoSocial Open Source Browser .a. Exist i o
multitudine de alte aplicaii n diverse domenii cum ar fi cel educaional, distractiv, publicitar,
.a.m.d.
Aplicaia BMW de asisten a tehnicianului la reparaia
motorului.
Pag. 4
Descriere
Prezenta lucrare descrie modul n care poate fi realizat o aplicaie de realitate augmentat pentru un
dispozitiv cu sistemul de operare Android.
Pentru realizarea aplicaiei a fost utilizat instrumentul de dezvoltare a jocurilor, Unity3d cu add-on-ul
pentru Android(disponibil gratis pn pe 08 aprilie 2012) i extensia pentru acesta - Vuforia a celor de la
Qualcomm. Unity3d a fost ales pentru simplitatea cu care se poate crea o aplicaie de realitate
augmentat. Pentru extensia Vuforia, realizat de Qualcomm, s-a optat datorit perfomanelor i
suportului pe care comunitatea Qualcomm l ofer. Astfel, a fost posibil crearea aplicaiei fr a scrie
nicio linie de cod.
Vuforia permite diverse implementri ale realitii augmentate: modelul peste care se suprapune lumea
virtual este o imagine n acest caz suport o int unic; modelul este un marker de tipul Qualcomm
sunt posibile inte multiple. De menionat c marker-ul Qualcomm este un marker specific i trebuie
obinut de la Qualcomm(gratis). Proiectul n cauz folosete o imagine peste care va suprapune un
model 3D. Acest obiect este creat cu setul de instrumente Blender, disponibil, la fel, gratis.
Modelul, denumit de Qualcomm Image Targets, este imaginea pe care Vuforia o poate detecta i urmri.
Sunt folosii algoritmi sofisticai pentru a detecta i urmri proprietile imaginii. inta este recunoscut
prin compararea acestor caracteristici naturale cu proprietile imaginii pstrate ntr-o baz de date.
Odat recunoscut, inta va fi urmrit att timp ct ea se afl, cel puin parial, n cmpul de vizibilitate
al camerei. Aceasta este una din performanele Vuforia obiectul 3D este redat chiar i la unghiuri
apropiate de 1800 sau la distane, relativ, mari fa de imaginea model. Aceste target-uri sunt create online pe site-ul Vuforia(necesit crearea unui cont) din fiiere .jpg sau .png(sunt suportate doar imagini
RGB sau n gam de gri), utiliznd un sistem de management al intelor Target Management System.
Caracteristicile extrase sunt pstrate ntr-o baz de date i folosite pentru comparaiile din runtime.
Toate intele sunt organizate n seturi de date datasets. Vuforia permite ncrcarea, activarea,
dezactivarea i eliminarea dataset-urilor n runtime. O aplicaie poate conine mai multe dataset-uri,
care pot fi interschimbate n timpul execuiei aplicaiei.
Prezentul proiect utilizeaz un set de date format dintr-o singur imagine. Aplicaia urmrete i
recunoate doar o int unic n scen.
n calitate de development phone este utilizat dispozitivul Samsung Galaxy S cu sistemul de operare
Android Ice-Cream Sandwich versiunea 4.0.4.
Pag. 5
Principii de funcionare
Pachetul unity Image Target, oferit de Qualcomm, conine deja script-ul necesar pentru funcionarea
aplicaiei. Astfel, fiierele C# cu script-ul dorit se ataeaz obiectelor scenei 3D pentru a determina
comportamentul acestora. Proiectul dat specific 3 tipuri de comportament pentru obiectul camer
ARCamera i 3 pentru obiectul imagine int ImageTarget. Script-ul pentru nchiderea aplicaiei a
fost ataat obiectului ARCamera. Celelalte fiiere C# sunt pstrate pentru dezvoltri ulterioare.
Diagrama claselor
Obiect ARCamera
QCARBehaviour
DataSetLoadBehaviour
closeApp
MonoBehaviour
Obiect ImageTarget
TrackableBehaviour
TurnOffBehaviour
DefaultTrackable
EventHandler
DataSetTrackableBehaviour
ITrackableEventHandler
ImageTargetBehaviour
Fig. 2 Organizarea claselor
Pag. 6
QCARBehaviour;
DataSetLoadBehaviour;
closeApp.
QCARBehaviour este responsabil cu urmrirea imaginii int i generarea obiectului virtual pe suprafaa
acesteia. Funcia motenit Update este apelat la fiecare cadru i actualizeaz scena cu noile valori de
urmrire.
Pag. 7
CloseApp a fost adugat pentru a permite utilizatorului s prseasc aplicaia prin apsarea butonului
Back. De remarcat, dac se apas butonul Home aplicaia nu este prsit, ci doar pus n modul sleep.
La fiecare frame se verific dac nu a fost apsat butonul Back.
Pag. 8
ImageTargetBehaviour;
TurnOffBehaviour;
DefaultTrackableEventHandler.
Pag. 9
Extinderea realitii
Principiul operaional este foarte simplu:
-
Resursele intei
Camer
Cadrul
camerei
Conversie
format
pixel-i
Obiect de stare
Cadre
convertite
Aplicaie
Verific
obiectul de
stare
Cadre
convertite
Tracker
Actualizeaz
logica
aplicaiei
Red obiectul
grafic
Captur
int
Red
previzualizare
Stare
Poziie
ImageTarg
et
Pag. 10
Obiectul camer asigur c fiecare cadru video este captat i transmis ctre tracker. Cadrul este transmis
n mod automat, ntr-un format i dimensiune dependente de dispozitiv. Convertorul de imagine este
necesar pentru a converti din formatul camer(cum ar fi, YUV12) ntr-un format acceptabil pentru
redarea OpenGL ES(de exemplu, RGB565) i pentru urmrire. Aceast conversie, de asemenea, include
subeantionarea pentru ca imaginile furnizate de camer s fie disponibile n diverse rezoluii n stiva
cadrelor convertite. Tracker-ul conine algoritmii ce permit detecia i urmrirea obiectelor reale n
cadrele video. Rezultatele recunoaterii sunt pstrate ntr-un obiect de stare, folosit de ctre modulul ce
genereaz imaginea. Acest modul red imaginea ce trebuie s apar pe ecranul terminalului.
Pentru fiecare cadru procesat, obiectul de stare este actualizat i este apelat metoda de generare a
coninutului grafic. ntregul proces se rezum la paii:
1. verificarea obiectului de stare pentru apariia unor imagini detectate sau actualizri ale
imaginilor(schimbarea poziiei);
2. actualizarea logicii cu noi date de intrare;
3. redarea graficii augmentate.
Pag. 11
Desfurarea proiectului
Alegerea i crearea imaginii int
Dup cum a fost menionat n descriere, imaginea int mpreun cu setul de date necesar pentru
detecie i urmrire este creat prin intermediul sistemului celor de la Qualcomm - Target Management
System. Dimensiunea intei se refer la dimensiunea real a imaginii n uniti ale scenei 3D. Aceast
dimensiune este foarte important, ntruct poziionarea lumii virtuale va fi realizat respectnd aceeai
scar. Astfel, dac modelul are n lime 16 uniti, atunci, la deplasarea camerei din partea stng a
modelului spre dreapta, obiectul virtual i va modifica poziia cu 16 uniti.
Dimensiunea actual a imaginii imprimate se recomand a fi cuprins ntre 20 i 100 cm ns, sunt
posibile i valori mai mari sau mai mici. De asemenea, se recomand ca dimensiunea intei, n uniti ale
scenei 3D, s fie raportat la dimensiunea intei imprimate. Astfel, se poate presupune c unei uniti i
corespunde 1 centimetru din imaginea imprimat.
Pentru a beneficia de performanele pe care Vuforia le poate oferi, este necesar s fie ales un model
int ct mai bun, uor detectat i urmrit de ctre aplicaie. Pentru a obine o int ideal, sunt
recomandate imaginile:
Bogate n detalii(o scen din strad, un grup de persoane, colaje i amestecuri de obiecte, scen
din sport, etc.).
Cu un contrast bun, dispunnd att de regiuni ntunecate ct i de regiuni luminoase.
Bine iluminate.
Care nu au zone terse n luminozitate sau culoare.
Care nu au structuri repetitive cum ar fi un cmp cu iarb, faada unui bloc, tabla de ah .a.
Pentru imprimare, se recomand ca rezoluia imaginii s depeasc 200-300 dpi. inta trebuie s aib
aceleai proporii cu ale imaginii imprimate i s fie ntr-o oarecare msur identic cu aceasta, n sensul
c luminozitatea, contrastul .a.m.d. s fie corelate. Pentru crearea intelor, sunt acceptate imagini n
format .png sau .jpg mai mici de 2MB.
Crearea modelelor se poate face fie ntr-un nou proiect, fie ntr-un proiect existent. Pentru noua int se
specific numele, limea i tipul Single Image. Celelalte dou sunt Multi Target reprezint mai
multe imagini combinate din care se creeaz o int unic. Mutli Target este folosit n cazul n care
imaginea model reprezint un obiect tridimensional.
n figura 9 este prezentat fereastra pentru setarea numelui, tipului i dimensiunii modelului.
Pag. 12
Dup ncrcarea imaginii, sistemul o analizeaz i ntoarce setul de date necesar pentru detecia i
urmrirea ei. Calitatea intei, din punctul de vedere al recunoaterii i deteciei, este apreciat pe o
scar de 5 stele. Figura 10 prezint o imagine evaluat cu 5 stele.
Pag. 13
Pentru a ajunge la acest rezultat au fost necesare cteva transformri asupra imaginii originale.
Pentru comparaie, n figura 11 este prezentat diferena ntre cele dou imagini.
Imagine original
Mrire contrast;
Mrire luminozitate;
Micorare midtone;
Mrire saturaie;
Micorare hue;
Primele 3 transformri pentru imaginea obinut.
Pag. 14
Pag. 15
Pentru proiectul de fa a fost folosit exemplul de aplicaie cu imagine int. Astfel, pachetul unity
respectiv este ncrcat n proiect, iar apoi se nlocuiesc sau se terg componentele neutilizate.
Figura 14 prezint modul n care se adaug pachetele necesare ntr-un proiect .unity.
Pag. 16
Pag. 17
Este important s fie adugat un nou obiect numit Directional Light (din meniul GameObject>Create Other) pentru a ilumina suprafaa imaginii int, altfel ea va fi ntunecat i nu va
corespunde cu imaginea int imprimat.
Imaginea int trebuie s fie printe pentru toate obiectele 3D ce vor fi generate peste modelul int
imprimat.
n seciunea Data Set Load Behaviour, se va selecta un set de date existent pentru Activate Data
Set.
Pe lng aceste setri, pot fi i altele, precum Camera Device Mode, Synchronous Video .a.
Acum se poate trece la faza de compilare i execuie, care va crea fiierul .apk i va instala aplicaia pe
dispozitiv.
Pag. 18
Prezentarea rezultatului
Dup ce imaginea int a fost imprimat(poate fi gsit n anex), se poate lansa n execuie aplicaia.
Camera telefonului trebuie orientat ctre imaginea imprimat. Ca efect, pe ecranul telefonului se
observ obiectul 3D modelat, adic o cas din buteni.
Pag. 19
Concluzie
Realizarea unei aplicaii ce implementeaz realitatea augmentat implic un proces complex prin care se
specific fiecare detaliu privind extinderea realitii. n general, acest proces poate fi divizat n 3 etape:
1. setarea imaginii int, fie ea o imagine oarecare sau un marker;
2. modelarea anturajului virtual;
3. descrierea funcionalitii prezentul proiect utilizeaz limbajul C#(iar Vuforia pentru SDK-ul
Android folosete Java).
O provocare este realitatea augmentat pe dispozitivele mobile, ntruct acestea recunosc i pot reda
doar un anumit gen de modele grafice cele triangulate, discutate n cadrul documentaiei date.
Scopul aplicaiei realizate a fost de a face o introducere n domeniul realitii augmentate pe telefoane
cu Android. Astfel, realizarea este departe de a fi perfect(aici este menionat i obiectul 3D), eventuale
mbuntiri viznd modelarea lumii virtuale, adugarea a noi funcionaliti aplicaiei precum
implementarea unor butoane virtuale, utilizarea mai multor imagini int n cadrul aceleiai activiti
Android cu scopuri diferite .a.
Realitatea augmentat este o tehnologie aflat n etapa de dezvoltare. Din acest motiv, nc nu au fost
elaborate standarde care s specifice modul n care utilizatorii interacioneaz cu aplicaia i cum s fie
realizat augmentarea n fiecare din domeniile de activitate uman. Interaciunea utilizatorului cu
realitatea augmentat este o alt problem cu care se confrunt dezvoltatorii de aplicaii. Deja exist
blogger-i care au ajuns n valea dezamgirii precum Illya Vedrashko, care a concluzionat n analiza sa
asupra microsite-urilor despre realitate augmentat c wow a degradat rapid la meh, i David Klein,
care a abordat tema ciudeniei sociale cnd un telefon este inut n fa pentru cteva minute, n
postarea de pe blog-ul su You Look Ridiculous: The Other Augmented Reality Issue. Totui, viitorul
realitii augmentate este unul luminos, avnd n vedere ritmul cu care se dezvolt tehnologiile; aici
trebuie menionat proiectul GoogleEye al celor de la Google ce presupune realizarea unor ochelari,
obinuii la exterior, care s implementeze realitatea augmentat.
Aprut cu peste un deceniu n urm, realitatea augmentat a fost disponibil doar n laboratoarele de
cercetare. Prezentul proiect demonstreaz c acum aceast tehnologie este accesibil unui public mai
larg la costuri, relativ, reduse.
Pag. 20
Anex
Pag. 21
Bibliografie
History of Mobile AR, Christian Doppler Laboratory for Handheld Augmented Reality,
https://www.icg.tugraz.at/~daniel/HistoryOfMobileAR/
BMW Augmented Reality Workshop, BMW Research,
http://www.bmw.com/com/en/owners/service/augmented_reality_workshop_1.html
Imaginality Building The Human Heart demonstration,
http://www.mindspacesolutions.com/imaginality/html/build_the_heart.html
Augmented Reality Year in Review 2010, Thomas Carpenter,
http://thomaskcarpenter.com/2011/01/03/augmented-reality-year-in-review-2010
Lester Madden, Nitin Samani iPhone Augmented Reality Applications Report, June 2010,
Augmented Planet
http://www.augmentedplanet.com/wpcontent/uploads/report/iPhoneApplicationReport_v1.pdf
Foteini Valeonti , Getting To Know Augmented Reality, May 2010, http://valeonti.com/?p=331
Feng Zhou, Henry Been-Lirn Duh, Mark Billinghurst, "Trends in augmented reality tracking,
interaction and display: A review of ten years of ISMAR," Mixed and Augmented Reality, IEEE /
ACM International Symposium on, pp. 193-202, 2008 7th IEEE/ACM International Symposium on
Mixed and Augmented Reality, 2008.
Douglas Dixon , February 2010, Augmented Reality Goes Mobile: Trends in Augmented
Reality for Mobile Devices, http://www.manifest-tech.com/society/augmented_reality.htm
Milgram, Paul; H. Takemura, A. Utsumi, F. Kishino (1994). "Augmented Reality: A class of
displays on the reality-virtuality continuum" (pdf). Proceedings of Telemanipulator and
Telepresence Technologies. pp. 235134.
http://vered.rose.utoronto.ca/publication/1994/Milgram_Takemura_SPIE1994.pdf
Six Degrees of Freedom Wikipedia, http://en.wikipedia.org/wiki/File:6_degrees_freedom.png
Qualcomm AR, http://developer.qualcomm.com/ar
Unity 3d, http://unity3d.com/unity/
Gartner 2010 Emerging Technologies Hype Cycle, September 2010,
http://blogs.gartner.com/hypecyclebook/2010/09/07/2010-emerging-technologies-hypecycleis-here/
IIlya Vedrashko, May 2009, Augmented Reality Microsites: First Impressions,
http://adverlab.blogspot.com/2009/05/augmented-reality-microsites-first.html
David Klein, March 2010, You Look Ridiculous: The Other Augmented Reality Issue,
http://gigaom.com/apple/you-look-ridiculous-the-other-augmented-reality-issue/
The Case Against Augmented Reality, January 2010, Augmented Planet,
http://www.augmentedplanet.com/2010/01/the-case-against-augmented-reality/
http://www.readwriteweb.com/archives/codefree_augmented_reality_in_under_5_minutes_video.php
Pag. 22