VP2 sisteme multimedia

1. Domenii de aplicare a sunetului (enumerare 8 domenii: sunete generate cu

ajutorul calculatorului, stocarea si procesarea sunetului, comunicaii digitale,
serviciu de raspuns, sinteza vorbirii, recunoasterea vorbirii, call center
omputerizat, sonificarea)
2. Proprietile sunetului: banda de frecventa, domeniul dinamic, proprietile
frecvenei, efectul de timp, mascarea, faza, auzul stereophonic si localizarea.
Banda de frecventa: oameni pot auzi sunete cuprinse intre 20hz si 20khz.
Domenii dinamice: limita 0db, pragul durerii 100-120 db, la nivelul durerii
amplitudinea poate fi de 1mil de ori mai mare decta limita, auzul este un simt
care nu poate fi direct masurat.
Proprietati ale frecventei: sunetele natural se formeaza ca si niste sunete
a mai multor frevente, frecventele se pot calcula cu analiza fourier, sunetele
natural contin frecv armonice ale unor sunete de baza, urechea este foarte
sensibila la varfuri si vai ale sunetului, un format repr o parte distinctive
dintrun semnal.
Efectul de timp: orice instrument este alcatuit din 3 parti: atac stabil
decadere. In sinteza obisnuita sunetul se genereaza cu comp de frecventa,
amplitudinea se poate schimba in diverse etape in realitate comp de
frecventa ale spectrului se schimba urechea umana este sensibila in partea
de atac a semnalului.
Miscarea: sunetele se pot masca unele pe altele fie in parte, sau complet,
un anumit semnal avand o anumita frecventa poate schimba limita de
audibiliytate a unui spectru mai larg
3. *Prezentarea digitala a sunetelor: enumerare, codificarea in domeniul
timpului, transformari,
predictia liniara, codificarea parametrica, transferul digital audio.
- Transformarea
- Predictia liniara
- Codificarea in domeniul timpului
- Transferal audio digital
Transformari: se folosesc pentru a reda continutul in diferite domenii.
Scopul este faptul ca transferal semnalului sa se efecueze robust si
efficient.
Predictia liniara: vorbirea poate fi codificata prin sinteza si cu
decodificator, primeste informatiile digitale si le introduce intr-un filtru de
sinteza. Acest filtru extrage mimica vorbirii prin folosirea predictiei liniare.
Avem semnale de control simple care produc vorbirea in interiorul
codificatorului incearca mai multe semnale de control si il incarca pe cel
mai bun adica cel care produce cel mai apropiat sunet de intrare.

4. *Codificarea in domeniul timpului, modularea in impulsuri de cod si alte

metode de codificare, DCPA, ADPCM
5. *Transformarile. Marja de frecventa
6. *MPEG audio
Utilizeaza codificare subbanda, semnalul este divizat in 32 benzi. Divizarea se
face in grupuri de cate 34 de esantioane. Transf. foarte rapide sunt utilizate
pentru a gasi benzile cu semnale sinusoidale perfecte. Doar canalele care
sunt de interes se codeaza si alocarea de biti pe canal poate varia:- nivelul 1
128 kbps/canal
- Nivel 2 128 kbps/canal, nrul de esantioane creste la 1152. Apar
3 factori de scalare si avem 30 de benzi de frecventa
- Nivel 3 64 kbps/canal avem bancuri de filtrare
7. *Standardul JPEG: Obiective, cele 4 arhitecturi (secventiala, progresiva,
ierarhica, fara pierderi) cu grafice
Atat rata de compresie raportata la calitatea imaginii pot fi selectate.
Lucreaza pe orice tip de imagini. Exista si implementare hard si soft.
4 metode de codificare:
1. Secventiala
2. Progresiva
3. Fara pierderi
4. Ierarhica
In modul obisnuit vom folosi coeficienti dct cu marimea de 8x8 pixeli a unui
bloc, modul secvential trimite coeficienti dct bloc dupa bloc. Cea progresiva
trimite acesti coeficienti in grupuri, cea ierarhica codifica mai multe rezolutii
in acelasi timp.
8. *Coeficienti DCT, cuantizare si eficienta imaginii
Coeficienti dct se reprezinta ca si o matrice.
Cuantizarea se face folosind o tabela de cuantizare. Coeficienti sunt pusi apoi
in zig zag de catre blocul cu acelasi nume. El va plasa si coeficienti 0 la
sfarsit. Codificarea rear-length elimina coeficienti de 0.
Eficienta:
- 0,25 0,5 bpp img acceptabila buna
- 0.5 0.75 bpp buna f buna
- 0.75 1,5 bpp f.buna
- 1,5 2 bpp img identica cu originalul
9. Semnalul video. Rata imaginii, sincronizare, rezolutie
Scanarea incepe din coltul stanga sus si se termina in coltul dreapta jos
Rata img. Raportul dintre distant ape orizontala si vertical. In TV standardul
este 4:3, tv widescreen 16:9
Rezolutia: in tv reprezinta capacitatea unei emisiuni redate de a repeat
detalii, astfel rez orizontala reprez capacitatea unei liniiii de a repeat punctele
distincte, nrul de puncte individuale depinde de dimensiunea de scanare
folosita si rezolutia se masoara prin numararea repetitiei de linii vertical resp

orizontale, astfel apare un semnal de frecv inalta 80 linii, frecv 1mhz. in sist
American sunt 360 linii 4,5 mhz, European : francez, german 625
10.Sisteme color (cum se obtine imaginea in televiziune si cinematografie).
Semnalul de luminanta si crominanta. Sistemul TV color cu 3 senzori si cu 1
senzor.
- Semnalele de luminata resp crominanta sunt folosite ptr contrast sip t
culoare, culorile negative pot fi eliminate prin eliminarea unui semnal de
contrats y si a 2 de crominanta x,z.
11.Semnal compus. Sisteme de televiziune (NTSC, PAL, SECAM). Camerele de
cinematografie
12.Compensarea miscarii. Algoritmi, standardele H261, CIF, Standardele video
MPEG. Arhitectura si frecventa BitStream
13.Formate de interschimb a informatiei.
14.Exemple de formate de interschimb a informatiei (Quicktime ,MHEG ,HTML
,XML ,FLASH ,Shockwave )
15.Authoring tools: Introducere, Fazele de productie (Concept, Planul proiectului,
Scripturi, Interfata utilizator, Prototip, Implementare, Testare, Produsul finit)
Authorint tools: o aplicatie multimedia poate fi produsa prin intermediul
diferitelor tool-uri care se numesc autjoring tools. Aplicatii interactive, medii
virtuale 3d , primele aplicatii apar in anii 60, o mare problema este lipsa
standardelor
Procesul de prod: prod unui continut mm este ceva intre software si audio,
video, nu avem un model mm clar, trebue sa avem cunostinte in domeniul
soft, a comunicatiei si a graficii.
Conceptprojectplan -> script->userinterface->prototip->implementare>testare->produs
Concept de regula producerea unui obiect mm are un producator si un client,
intre prod si client exista cativa contractori, productia este implementata de
obicei ca si un proect pt care trebue sa definim urmatoarele: obiectivul, orar
al declararii proectului, resurse necesare, costuri
Planul obiectivul urmarit este Acela de a ne lamurii asupra productiei
continutului, va trebui sa defineasca conceptual ca si un proect ce trebue
implementat, acest plan este inima contractului intre producator si client, se
defines si informatiile necesare pt a putea demara proectul
Scriptul de cele mai multe ori un serviciu mm are si un script deci serviciul
este de foarte multe ori o productie audio, video, scriptul poate fi scris ca si
un scenariu, daca actiunile sunt interactive si scriptul este interactiv
Interfata utilizator este o intefata grafica utilizator interactive, dispozitivele
de intrare iesire sunt diferite, pot fi tv, celulare, display-uri. Uzabilitatea
trebue sa fie luata in considerare inca din acesta faza de proectare a
interfetei utilizator. Obiective ce trebuesc atinse: grupul de utilizatori,
scenario, analiza de task, displayuri cheie, prototipuri, implementare a
interactive
Prototip pot fi utilizate pt a dezvolta ui sip t dezvoltarea tehnologiei,
obiectivul principal este testarea functiilor cheie, sunt testate de catre experti

sau utilizatori obisnuiti, aceste teste vor determina atat functionalitatea cat si
gradukl de usurinta in utilizare
Implemenatrea este un process iterative, putem avea diferite produse pt
diferite tehnologii si grupe de utilizatori, se realizeaza mai multe versiuni
simultan, cea mai buna tehnologie este selectata, apoi este versionat pe
celelate tehnologii, gradul de usurinta in utilizare trebue sa fie confirmat din
fazele ulterioare, erorile soft au fost eliminate din fazele anterioaare, aceasta
testare finala ar trebui sa elimine ulimele buguri, de mnulte ori un produs
este lansat pe piata inainte de ai fi gata, ulterior noi versiuni vor fi
disponibiule catre utilizatori finali.
16.Software-uri folosite pentru crearea de animatii si grafica. Exemple
17.Aplicatii software folosite pt, modelarea 3D. Generalitati. Exemple (cel putin
5)