TEHNOLOGII INDUSTRIE 4.

Realitate virtuală și augmentată

Realitate virtuală

Nivelul 6 de învățământ superior (licență)

CARUS - An Innovative Higher Education Institution Training Toolbox to Effectively Address the European Industry 4.0 Skills Gap and Mismatches
This project has been funded with support from the European Commission. The content reflects the views only of the authors, and the Commission or the National Agency cannot be held responsible for any use which may
 Bine ati venit la aceast modul

Acest conținut a fost produs de parteneri de consorțiu ICARUS prin

intermediul Erasmus+, KA2 .

Proiect:
ICARUS - UN SET INOVATOR DE INSTRUMENTE DE FORMARE A INSTITUȚIILOR DE ÎNVĂȚĂMÂNT
SUPERIOR PENTRU A ABORDA ÎN MOD EFICACE LACUNELE ȘI NECONCORDANȚELE ÎN MATERIE DE
COMPETENȚE ALE INDUSTRIEI EUROPENE 4.0

Proiect Nr: 2019-1-MT01-KA203-051265

www.icarusproject.edu.mt
icarus@um.edu.mt
2
Scopul modulului

Scopul acestui modul este de a oferi cititorului o perspectivă asupra

tehnologiei realității virtuale și a diferitelor elemente care alcătuiesc un
sistem VR.

Competenţe: • Competența 1. Înțelegeți diferențele dintre grafica 2D a

computerului și mediile de realitate virtuală.
• Competența 2. Identificați elementele cheie care alcătuiesc un
sistem de realitate virtuală.
• Competența 3. Descrieți tehnologiile generice cheie care
permit implementarea sistemelor de realitate virtuală.
• Competența 4. Oferiți exemple cu privire la diferitele utilizări și
aplicații ale sistemelor de realitate virtuală.
Cuprins

− Introducere în realitatea virtuală

− Sisteme VR – Scurt istoric
− Sisteme VR – Vizualizare și interacțiune
− Tehnologii generice esențiale VR
− Aplicații VR
− Concluzii și lecturi suplimentare

4
 Introducere în realitatea
virtuală

CARUS - An Innovative Higher Education Institution Training Toolbox to Effectively Address the European Industry 4.0 Skills Gap and Mismatches
This project has been funded with support from the European Commission. The content reflects the views only of the authors, and the Commission or the National Agency cannot be held responsible for any use which may
Fundamentele realității virtuale
Motivare

20%
din materialul dobândit
sonor este stocat de
creier.

“Aud și uit.
Văd și îmi amintesc. 75%
Eu fac și am înțeles.” din materialul aplicat
vizual și practicat este
- Confucius (551-479 B.C.) – stocat.

Source: NTL Institute (2009)

6
Fundamentele realității virtuale
Definiție

“Într-adevăr, în afișajul final nu se va privi acea lume printr-o fereastră, ci va fi

cufundat în ea.”
(I. Sutherland, 1966)

“Realitatea virtuală (VR) se referă la utilizarea dispozitivelor de afișare

tridimensională pentru a explora medii generate de computer în timp real.“
(S. Bryson, 1993)

“Realitatea virtuală se referă la medii imersive, interactive, multi-senzoriale,

centrate pe privitor, tridimensionale generate de computer și la combinația de
tehnologii necesare pentru a construi aceste medii.“
(C. Cruz-Neira, 1993)

7
Fundamentele realității virtuale
Previziunile și tendințele viitoare ale VR

Potențialul de aplicare
Prognoza veniturilor globale din realitatea
virtuală (în milioane de dolari SUA)
Gaming
18000
16000
Healthcare and Medical Devices
14000
12000 Education
10000
8000 Manufacturing and Automotive
6000
4000 Movies and Television
2000
0 Workforce Development
2018 2019 2020 2021 2022 2023
Revenues Consumer Revenues Enterprise Marketing and Advertising

Sursă: Artillery Intelligence (2020) 0% 20% 40% 60% 80% 100%

Application Potential

Sursă: Perkinscoie (2018)

8
Fundamentele realității virtuale
Caracteristici ale VR față de grafica convențională a computerului

Modelul de interacțiune al PC-urilor convenționale în comparație cu realitatea virtuală:

Conform definiției VR, utilizatorul se află în lumea simulată de computer și este complet izolat de
lumea exterioară reală.

Conținut virtual
Lumea reală

Grafică 2D pe calculator Realitate virtuală

Sursă: Rekimoto & Nagao (1995)
9
Fundamentele realității virtuale
Caracteristici ale VR față de grafica convențională a computerului
Grafică 3D pe calculator
Prezentare pur vizuală
Prezentarea nu este neapărat critică pentru
timp
Prezentare independentă de privitor
(perspectivă exocentrică)
Scenă statică sau animație precalculată
Interacțiune 2D (mouse, tastatură)
Prezentare non-imersivă
Realitate virtuală
Prezentarea multimodală (adică mai multe
modalități senzoriale atrăgătoare, de exemplu
prezentarea simultană vizuală, acustică și
haptică)
Prezentare în timp real
Prezentare dependentă de privitor (perspectivă
egocentrică)
Interacțiune și simulare în timp real
Interacțiune 3D (mișcare corporală, gesturi ale
mâinii, capului și corpului)
Prezentare captivantă Sursă: Doerner et al. (2019)
10
Fundamentele realității virtuale
Domenii de aplicare și cazuri de utilizare a VR

Domenii actuale de aplicare a tehnologiei VR

Datorită dezvoltării continue a tehnologiei VR există din ce în ce mai multe domenii de aplicare în
care VR creează valoare adăugată:

Jocuri video Expoziții de Mass-media Vizualizare Vizualizare Simularea

artă și film în în inginerie mediului de
amenajarea lucru
teritoriului/
arhitectură
11
 Istoria sistemelor VR

CARUS - An Innovative Higher Education Institution Training Toolbox to Effectively Address the European Industry 4.0 Skills Gap and Mismatches
This project has been funded with support from the European Commission. The content reflects the views only of the authors, and the Commission or the National Agency cannot be held responsible for any use which may
Fundamentele realității virtuale
Istorie I

1965
− Istoria VR începe cu cercetările lui Ivan Sutherland privind
tehnologiile imersive.
− Sistemul dezvoltat de head-mounted display (HMD) ("The
Ultimate Display") a permis privitorului să vizualizeze un
mediu 3D pur și simplu simulat în perspectivă.

1992
− La Universitatea din Illinois, Experiența Vizuala este
dezvoltată ca o alternativă la HMD-urile montate pe cap.
− Cu toate acestea, a fost folosită doar de câteva companii
mari din cauza costurilor ridicate, a cerințelor ridicate de
spațiu și a cheltuielilor mari cu echipamentele.

Source: Doerner et al. (2019)

13
Fundamentele realității virtuale
Istorie II

1995
− Nintendo lansează "Virtual Boy".
− Cu toate acestea, consola de jocuri nu face descoperirea
din cauza capacității insuficiente a computerului și a
plăcilor grafice slabe și a calității slabe a imaginii și a
plăcilor grafice rezultate.

2012
− Startup-ul Oculus VR creează un progres în dezvoltarea
dispozitivelor de realitate virtuală odată cu lansarea
Oculus Rift.

Source: Doerner et al. (2019)

14
Fundamentele realității virtuale
Dezvoltarea calității graficii computerizate
1997 vs. 2015 Grafică reală vs. VR

15
 Sisteme VR

CARUS - An Innovative Higher Education Institution Training Toolbox to Effectively Address the European Industry 4.0 Skills Gap and Mismatches
This project has been funded with support from the European Commission. The content reflects the views only of the authors, and the Commission or the National Agency cannot be held responsible for any use which may
Sistem de realitate virtuală
Prezentare generală

Interacțiunea diferitelor tehnologii pentru introducerea, prelucrarea și ieșirea conținutului real și

virtual. Componentele individuale formează împreună un sistem VR coerent.

Senzori ca
Intrare Ieşire

Om
Procesare și
randare

Adopted from: Doerner et al. (2019)

17
Sistem de realitate virtuală
Vizualizare
Accelerometru
Vorbitor
Urmărire optică
Afişează
Microfon
Platforma de mișcare
Aparat foto
Senzori ca
Feedback-ul forței
Intrare Senzori de presiune Ieşire

Urmărire mecanică …

Om
Procesare și
randare

Fuziunea
Simulare / AI Bază de date Traducere
senzorului

Rețea
Adoptat de la: Doerner et al. (2019)
18
Sisteme de realitate virtuală
Exemple I

VR Headset

− Căștile VR creează un sentiment de imersiune pentru

utilizator.
− Pentru a transmite o impresie spațială, două imagini din
Oculus Quest perspective diferite sunt generate și afișate utilizatorului
(proiecție stereo).
− Dispozitive speciale de intrare, cum ar fi fly stick-uri,
mănuși de date și controlere 3D sunt necesare pentru
interacțiunea cu lumea virtuală.
Primax 5K Plus − Dispozitivele de intrare pot funcționa simultan ca
dispozitive de ieșire, oferind utilizatorului "feedback de
forță".

19
Sisteme de realitate virtuală
Exemple I Căști VR de ultimă generație

Oculus Quest HTC Vive HTC Vive Pro Eye

With eye tracking technology included

~500 Euro ~900 Euro ~10.000 Euro

20
Sisteme de realitate virtuală
Exemple II

Mediu VR

− CAMERA VR este un spațiu VR accesibil pentru

imersiunea completă în mediul virtual.
VR
− Toate cele trei până la șase suprafețe de bază sunt
potrivite pentru afișarea materialului de imagine 3D.
− Utilizatorii se află în mijlocul mediului virtual și pot
acționa și se pot mișca liber în SPATIU.
− Diverse aplicații, de la vizualizări ale clădirilor, jocuri
video la artă.

21
Sisteme de realitate virtuală
Interacțiune VR I

Touch Controller Oculus Rift Controller gloves

Game Controller

Leap Motion
22
Sisteme de realitate virtuală
Interacțiune VR II
Virtualized handheld objects

Archer’s bow

VR treadmill

Baseball bat Squash racket & ping-pong paddle

23
 Tehnologii generice esențiale VR

CARUS - An Innovative Higher Education Institution Training Toolbox to Effectively Address the European Industry 4.0 Skills Gap and Mismatches
This project has been funded with support from the European Commission. The content reflects the views only of the authors, and the Commission or the National Agency cannot be held responsible for any use which may
Sisteme de realitate virtuală
Tehnologii generice cheie - Afișaje

Afișaje duale Display

în căști VR
tipice
− Imersiunea în mediul virtual depinde de calitatea
reprezentării vizuale;
− Rezoluția superioară a afișajului (densitate mai mare a
pixelilor) permite mai multe aplicații, de exemplu cele
care necesită citirea textului;
− O desincronizare (decalaj) între mișcarea unui utilizator
și imaginea afișată de o cască VR poate introduce rău
de mișcare. Afișajele mai rapide și mai receptive pot
ajuta la eliminarea acestei probleme;
− Tehnologia de afișare mai bună poate reduce oboseala
ochilor utilizatorilor în comparație cu afișajele
tradiționale ale monitoarelor.
Creșterea rezoluției afișajului cu fiecare generație

25
Sisteme de realitate virtuală
Tehnologii generice esențiale – Tehnologii de urmărire

Tehnologii de urmărire
− Un alt factor care oferă o imersiune mai bună este
urmărirea exactă a mișcării capului și controlerului unui
utilizator;
− Tehnologiile actuale utilizate pentru urmărirea poziției
variază în ceea ce privește precizia și capacitățile;
− Dezvoltarea senzorilor de mișcare în stare solidă va
îmbunătăți precizia de urmărire a orientării.
Urmărire optică utilizând surse duale în infraroșu (HTC Vive)

Urmărirea folosind
Urmărirea orientării
Bord
folosind senzori de
Camere
mișcare

26
Sisteme de realitate virtuală
Tehnologii generice esențiale – Feedback-ul forței

Feedback-ul forței
− Feedback-ul de forță poate fi folosit pentru a oferi
feedback tactil utilizatorilor atunci când manipulează
obiecte virtuale sau atunci când interacționează în alt
mod cu mediul virtual;
− O mai bună interacțiune cu mediul virtual crește
imersiunea experienței;
− Poate oferi rezultate mai bune și mai rapide în aplicațiile
HaptX glove
de învățare VR;

Manus VR gloves Haptic tele-robot

27
Sisteme de realitate virtuală
Tehnologii generice esențiale - Baterii

Baterii

− Echipamentele VR se bazează fie pe sursa de

alimentare cu fir, fie pe stocarea bateriei;
− Stocarea bateriei permite libera circulație a
utilizatorului, fără o legătură de cablu;
− Îmbunătățirea tehnologiei bateriilor va îmbunătăți
aceste abilități.

Configurare VR wireless cu computer

Firele pot împiedica mișcarea integrat în sursa rucsacului: HP
utilizatorului

28
Sisteme de realitate virtuală
Tehnologii generice esențiale - Crearea de rețele

Networking

− Tehnologiile de rețea cloud și 5G permit o mai bună

distribuție a resurselor;
− Calculul intensiv al resurselor necesar pentru randarea
VR poate fi mutat pe un server dedicat din cloud;
Învățare VR colaborativă multi-utilizator
− Echipamentele VR pot fi miniaturizate, iar
echipamentele cu fir pot deveni wireless;
− Poate transforma experiența VR de la un singur
utilizator la un utilizator multiplu.

Întâlnire de colaborare VR. sursa: HTC

29
 Sisteme de realitate virtuală
Tehnologii generice cheie - Limite

Boundaries
Definirea limitei
virtuale
în Oculus Quest − Imersiunea VR separă utilizatorul de lumea reală;
− În aplicațiile în care este necesară deplasarea
utilizatorului, siguranța utilizatorului trebuie să fie
garantată;
− Limitele virtuale care declanșează feedback-ul forței în
Mediu real cu limită căști sau controler sunt adesea folosite;
virtuală − Hamurile pot fi utilizate pentru aplicații precum benzile de
în Oculus Quest alergare VR.

Mediu VR cu limită
virtuală
în Oculus Quest
Harness for VR treadmill

30
Sisteme de realitate virtuală
Tehnologii generice cheie – Instrumente pentru dezvoltatori I

Instrumente pentru dezvoltatori

− Disponibilitatea și ușurința accesului la conținutul VR

depind de activitatea dezvoltatorilor;
− Ușurința integrării este esențială pentru companiile care
adoptă VR;
Unitate 3D mediu de dezvoltare

Set de instrumente de formare VR de dezvoltare rapidă pentru

Oculus Medium – Instrument de creare a activelor VR 3D Unitate prin innoactive
31
Sisteme de realitate virtuală
Tehnologii generice cheie – Instrumente pentru dezvoltatori II

SDK-uri realizate de producătorii de

dispozitive
− SDK-urile sunt furnizate de producătorii de dispozitive
pentru ca dezvoltatorii să-și implementeze dispozitivele în
aplicații VR;
− Ușurința integrării este esențială pentru companiile care
Oculus Quest hand tracking in Unity
adoptă VR;
−

Leap Motion SDK for Unity Motor de interacțiune Leap Motion

32
 Aplicații VR

CARUS - An Innovative Higher Education Institution Training Toolbox to Effectively Address the European Industry 4.0 Skills Gap and Mismatches
This project has been funded with support from the European Commission. The content reflects the views only of the authors, and the Commission or the National Agency cannot be held responsible for any use which may
Sisteme de realitate virtuală
Aplicații VR

Învățare VR Reabilitare medicală VR. sursa: imotions Vr de lucru de colaborare de la distanță. sursa:
spatiala

Aplicație VR în comerț. sursa: IKEA VR ca mediu sursă de aplicații de proiectare: Divertisment VR. sursă: Holodance
flyingshapes

34
Fundamentele realității virtuale
Aplicații VR Live

Rollercoaster realitate virtuală VR Downhill Streif Kitzbühl

35
 Concluzii și lecturi suplimentare

CARUS - An Innovative Higher Education Institution Training Toolbox to Effectively Address the European Industry 4.0 Skills Gap and Mismatches
This project has been funded with support from the European Commission. The content reflects the views only of the authors, and the Commission or the National Agency cannot be held responsible for any use which may
Fundamentele realității virtuale
Potențialul de perturbare

SOCIAL JOCURI
FILM
„Lucrând la dezvoltarea jocurilor,
„Realitatea imersivă, virtuală și
încercăm întotdeauna să creăm un nou
augmentată va face parte din viața de "Tehnologia VR va da startul"
zi cu zi a popoarelor “ tip de experiență" Peter Jackson
(Lord of the Rings)
Shuheu Yoshia
Marc Zuckerberg (Facebook)
(Sony)

MUZICĂ
PUBLICITATE FILM
„Pentru a putea avea mai mulți oameni
„VR este un schimbător de percepție „VR va fi foarte important pentru
care experimentează concertele mele
pentru orice agent de publicitate “ educație “
prin VR ... ar fi epic"
Mitch Gelman Palmer Lucky
Miley Cyrus (Gannet Digital) (Creator Occulus Rift)
(Singer)

37
Sugestii de lectură
Simularea evenimentelor discrete și utilizarea realității
virtuale în industrie: noi oportunități și tendințe viitoare
https://doi.org/10.1109/THMS.2016.2596099

38
Bibliografie

NTL Institute. (2009). Learning Pyramid.

http://cw.routledge.com/textbooks/professional/978041542360-1/resources/soar-figure-3-2.pdf
Perkinscoie. (2018). Augmented and Virtual Reality Survey Report.
https://www.perkinscoie.com/images/content/1/8/v2/187785/2018-VR-AR-Survey-Digital.pdf
Artillery Intelligence. (2020). VR Global Revenue Forecast. https://artillry.co/artillry-intelligence/vr-
global-revenue-forecast-2018-2023/
Rekimoto, J., & Nagao, K. (1995). The world through the computer. Proceedings of the 8th Annual
ACM Symposium on User Interface and Software Technology - UIST ’95, 1–8.
https://doi.org/10.1145/215585.215639
Dörner, R., Broll, W., Grimm, P., & Jung, B. (2019). Virtual und Augmented Reality (VR/AR).
Springer Publishing.

39
Fundamentele realității virtuale
Videoclipuri

− The Future of Virtual Reality | TED Talk

− https://www.youtube.com/watch?v=d-HRgfJbPvk
− Virtual and Mixed Reality for Medical Education
− https://www.youtube.com/watch?v=PzPKdlFbvYM
− The Fight for Falluja | 360 VR Video | The New York Times
− https://www.youtube.com/watch?v=_Ar0UkmID6s
− Virtual Reality Motor Maintenance by Mechatraining
− https://www.youtube.com/watch?v=dq2RSlslQcU

40
Project:
ICARUS - AN INNOVATIVE HIGHER EDUCATION INSTITUTION TRAINING TOOLBOX TO EFFECTIVELY
ADDRESS THE EUROPEAN INDUSTRY 4.0 SKILLS GAP AND MISMATCHES

Project Nr: 2019-1-MT01-KA203-051265

www.icarusproject.edu.mt
icarus@um.edu.mt

41