Definire

modalitati multiple de utilizare text, audio, imagini, desene, animatie si video in diferite aplicatii de uz general ca: -teleconferinta video; -lectura distribuita in invatamantul superior; -telemedicina; -medii de lucru in cooperare; -cautarea de obiecte vizuale in baze de date foarte mari video sau de imagini; -realitate imbunatatita: plasarea de grafica pe calculator si video de tip real-appearing in scene filmate; -transformarea unor componente multimedia in component editabile. originea multimediei -> in domeniile educatiei si artelor, unde exista o indelungata traditie de experimentari asupra modului de transmisie a informatiei. traditia existenta + un nou tip de multimedia - bazata pe tehnologia digitala.

Definire
Interesul asupra domeniului multimedia este universal. Grupurile educationale exploreaza noi aplicatii, iar industria calculatoarelor, telecomunicatiilor si electronicii noi tehnologii. In Understanding Media: McLuhan -> media = o extensie a omului, tehnologii si produse care permit accesul la viitoarele forme de informatii. Media: in format digital ( digital media ) in format natural ( natural media ). Distinctia intre cele doua forme de media nu este intotdeauna foarte clara, dar ideea este ca media in format natural rezida pe elementele fizice (hirtie, cerneala si culori, instrumente muzicale ), in timp ce media in format digital rezida pe calculatoare. Obiectele produse intr-un mediu particular -> artifacts. Datele media = reprezentari pe calculator ale obiectelor create intr-un anume mediu, ca de exemplu: picturi, carti, inregistrari muzicale,filme, clipuri video. Datele media corespunzatoare acestora constau din imagini digitale, inregistrari video digitale, inregistrari audio digitale.

Definitii
Datele media - de fapt biti si octeti utilizati de calculator - pot reprezenta obiecte (artifacts ) din media in format natural sau digital. Imaginile digitale produse prin scanarea unei fotografii sau desen sint reprezentari ale unor obiecte naturale, in timp ce imaginile digitale produse de un program sunt reprezentari ale unor obiecte digitale. Obiect multimedia ( multimedia artifact ) = o compunere de obiecte (artifacts ) ce provin din diverse media. Exista diverse tehnici de compunere care depind de mediile implicate. Aceasta compunere poate fi divizata in doua categorii : compunere spatiala ( juxtapunerea a doua imagini ) compunere temporala ( adaugarea sunetului la o secventa vizuala ) Prin analogie cu definitia datelor media, putem defini datele multimedia ca fiind reprezentari pe calculator ale obiectelor multimedia. Aceste obiecte pot fi naturale, digitale sau o combinatie a acestora.

Hardware pentru multimedia

Una din problemele cu care se confrunta dezvoltatorii de software multimedia -> varietatea hardware-ului si a echipamentelor inrudite. Hardware-ul cerut de o aplicatie particulara depinde de natura aplicatiei ( daca prezinta informatia, sau poate sa o creeze si modifice ), tipurile de media folosite, posibilitatile de interactiune. Clasificarea echipamentelor hard pentru multimedia dupa functionalitatea lor :

 dispozitive pentru media digital dispozitive pentru media analogic

Dispozitive pentru media digital :

Procesul de creare a unei reprezentari digitale a unui obiect multimedia = capturare. Procesul invers de recreare a obiectului multimedia =prezentare. Cele doua operatii se bazeaza pe hard-ul care face translatia intre ,,lumea interna digitala a calculatoarelor si ,,lumea analogica externa a sunetelor si imaginilor perceptibile. In aceasta categorie intra si hardware-ul specializat folosit pentru procesarea datelor multimedia, cum ar fi decodificarea reprezentarii compresate, adaugarea unor efecte speciale, sau conversia dintr-o reprezentare in alta. Clasificare: - echipamente de capturare ( tastatura, tastatura MIDI, scaner, digitizor video sau audio ) - echipamente de prezentare ( display, imprimanta, sintetizator MIDI, convertor audio digital-analogic ) - echipamente de procesare ( echipamente pentru efecte audio sau video, codificator si decodificator audio sau video)

Dispozitive pentru media analogic

Adeseori, echipamentele pentru media in format digital se conecteaza la dispozitive analogice, cum ar fi microfoane sau display-uri. Desi acestea trateaza media analogic, ele pot fi sub controlul calculatorului. Clasificare: - surse ( produc semnal analogic : microfoane, camera video, camere foto, casetofon, magnetofon, videodisc) - receptori ( consumatori de semnal analogic : display video, video si audio recorder ) - filtre ( convertesc un mediu analogic intr-un alt mediu analogic : mixer audio, echipamente pentru efecte video sau audio analogic)

Dispozitive mm
dispozitive de uz general : echipamentele care proceseaza tipuri de media arbitrare, ca de exemplu CDROM-uri, discuri magnetice, procesoare cu scop general. Cele mai multe echipamente din aceasta categorie sint digitale. dispozitive de interactiune : Aplicatiile multimedia interactive ofera multe posibilitati de interactiune. Echipamentele de interactiune ofera utilizatorului controlul direct asupra comportarii aplicatiei. In aceasta categorie intra mouse-ul, joystick-ul, creionul electronic, tastatura. dispozitive de sincronizare : Prezentarea simultana si manipularea unor medii multiple cere adesea asistenta hard pentru a mentine un timing corespunzator. platforme multimedia : Asamblarea unei platforme multimedia pp adesea instalare de placi, adaugare de memorie, selectarea cablurilor, alte activitati consumatoare de timp. Platformele multimedia reduc aceste probleme prin inglobarea tuturor functionalitatilor necesare intr-un singur produs. Platformele multimedia curente includ statii de lucru obisnuite si calculatoare personale cu suport incorporat pentru citeva tipuri de media.

Retele pentru multimedia

Sistemele de videoconferinta si alte aplicatii multimedia distribuite necesita retele digitale pentru transferul datelor audio si video. Multe dintre retelele existente nu sint corespunzatoare pentru aceste aplicatii, deoarece protocolul lor si latimea de banda limitata sint improprii pentru traficul audio sau video digital. Aceste retele sint proiectate special pentru trafic multimedia, in special audio si video digital. Caracteristici: latimea de banda : Un flux video digital, chiar si daca este compresat are o rata de citiva Mbiti/secunda. Daca video digital este trimis la aceasta rata, numai citeva fluxuri video pot satura o retea locala precum Ethernet. Retelele multimedia trebuie sa aiba latimea de banada de ordinul Gbitilor/secunda sau mai mult. Acest lucru este esential in sectiunile lungi ale retelelor unde pot apare mai multe fluxuri video simultan. multicasting : Aplicatiile multimedia distribuite cer adesea adresare multipla, adica transmiterea datelor de la o sursa la mai multe destinatii. Protocoalele pentru retelele multimedia permit ca setul destinatiilor sa

fie schimbat in timp. Acest lucru poate fi necesar, de exemplu, in cazul lectiilor electronice unde studentii pot intra sau iesi dupa cum doresc.

Caracteristici:
constringeri de timp : Transmisia unor date multimedia este subiectul unor constringeri de timp, si anume: limite in ceea ce priveste intirzierea transmisiilor, limite ale ,,fluctuatiilor in livrarea datelor. Acest lucru este esential pentru aplicatiile care au surse ,,live sau trebuie sa prezinte fluxuri audio si video sincronizate. siguranta : In retelele multimedia, siguranta este un aspect al calitatii.Datele audio si video, in comparatie cu textul sau datele numerice sint mai putin sensibile la erori sau pierderi datorate transmisiei. Pierderea citorva pixeli dintr-un cadru video sau primirea unor esantioane audio eronate pot genera numai erori observabile de prezentare, dar rezultatul nu este catastrofal. Totusi, retelele multimedia nu pot ignora complet gradul de siguranta, pentru ca se poate ajunge la o prezentare inacceptabila a datelor multimedia. calitatea serviciului : Aplicatii diferite pot avea cerinte de comunicatii diferite. Un sistem de conferinta unde datele sint prezentate o singura data si apoi livrate poate tolera o rata de erori mai mare decit in cazul in care se inregistreaza un flux de date multimedia pentru a fi redate ulterior. Desi mai putin sensibile la erori, sistemul de videoconferinta necesita o livrare rapida, cit timp pentru aplicatia de inregistrare, intirzierile in transmisie nu au importanta.

Domenii mm
prelucrare si codificare multimedia: analiza de continut multimedia, regasire multimedia pe baza de continut, securitate multimedia, prelucrare audio, imagine si video, compresie, etc; suport de sistem si prelucrare in retea multimedia: protocoale de retea, Internet, sisteme de operare, servere si clienti, calitate a serviciului (QoS quality of service), baze de date; instrumente multimedia, end-systems si aplicatii: sisteme hipermedia, interfete utilizator, sisteme authoring; interactiune si integrare multi-modala: dispozitive web raspandite (web-everywhere), educatie multimedia incluzand invatare colaborativa bazata pe calculator (Computer Supported Collaborative Learning), proiectare si aplicatii de medii virtuale.

Hipermedia vs multimedia
hipertext = un text care poate fi citit neliniar, urmand linkuri care indica alte parti ale documentului sau alte documente. hipermedia =o extensie logica a termenului de hipertext, poate sa fie mai mult decat un hypertext (impreuna cu hiperlinkuri), incluzand si alte medii ca grafica, imagini, dar in special medii continue, sunet si video. Cel mai bun exemplu de aplicatie hipermedia este World Wide Web. multimedia = reprezentarea informatiilor din calculator prin audio, grafica, video si animatie alaturi de media traditionala.

Exemple de aplicatii multimedia:

-sisteme de editare si productie video digitale; -reviste si ziare electronice; -World Wide Web; -enciclopedii, jocuri, etc on-line; -comert on-line; -televiziune interactiva; -cursuri multimedia; -conferinta video; -video la cerere (video-on-demand); -filme interactive.

Instrumente software multimedia

 -secventiere si notatie muzicala; -audio digital; -grafica si editare de imagini; -editare video; -animatie; -multimedia authoring.

Secventiere si notatie muzicala:

-Cakewalk (Pro Audio): termenul de secventiator provine de la dispozitive mai vechi care memorau secvente de note. Permite de asemenea inserare de fisiere WAV (de la WAVE sau Audio for Windows, format audio dezvoltat de Microsoft si IBM) si comenzi Windows MCI (Media Control Interface sunt drivere care furnizeaza programelor Windows capabilitati independente de dispozitiv pentru controlul hardware-ului si software-ului multimedia, incluzand dispozitive audio, secventiatoare MIDI (Musical Instrument Digital Interface), dispozitive CD audio, dispozitive digitale audio) in piste audio. -Cubase: program de secventiere/editare cu capabilitati similare cu cele de la Cakewalk, incluzand cateva instrumente de editare audio digitale. -Macromedia Soundedit: creare audio pentru proiecte multimedia si web, care se integreaza foarte bine cu alte produse Macromedia ca Flash si Director.

Audio digital pentru accesarea si editarea sunetelor esantionate:

-Cool Edit emuleaza un studio audio profesional pentru productii multipista si editare de fisiere de sunete, incluzand efecte DSP. -Sound Forge program sofisticat pentru editarea fisierelor WAV. -Pro Tools: mediu high-end integrat de productie audio si editare, incluzand manipulare si creare MIDI, mixare audio, inregistrare si editare

Grafica si editare de imagini

-Adobe Illustrator: instrument puternic de publicare, utilizand grafica vectoriala, grafica poate fi exportata pe web. -Adobe Photoshop: instrument de grafica prelucrarea imaginilor si manipulare, permitand straturi de imagine, grafica si text care se pot manipula separat. -Macromedia Fireworks: software dedicat realizarii de grafica pentru web. -Macromedia Freehand: instrument de editare text si grafica care suporta numeroase formate ca GIF, PNG si JPEG.

Editare video:
-Adobe Premiere: instrument intuitiv, simplu de editare video neliniara (clipurile video pot fi puse in orice ordine). Datele audio si video sunt aranjate in piste, permitand un numar mare de piste. Ofera o biblioteca larga de tranzitii, filtre si miscari pentru clipuri, obtinand productii multimedia cu efort redus. -Adobe After Efects: instrument de editare video pentru adaugarea si schimbarea de filme existente, permitand efecte ca iluminare, umbrire, blurring de miscare, straturi. -Final Cut Pro: numai pentru Macintosh.

Animatie:

 -API-uri multimedia: -Java3D: construirea si generarea de grafica 3D, furnizand un set de baza de primitive pentru realizarea scenelor. Este un nivel de abstractizare realizat peste OpenGL sau DirectX (utilizatorul poate sa selecteze care dintre ele). -DirectX: API Windows pentru video, imagini audio si animatie 3D. -OpenGL: API 3D foarte portabil si popular. -instrumente rendering: -3D Studio Max: include un numar de instrumente profesionale pentru animatia personajelor, dezvoltarea de jocuri si productia de efecte vizuale. -Softimage XSI: pachet puternic pentru modelare, animatie si rendering utilizat pentru animatie si efecte speciale in filme. -Maya: pachet concurent pentru Softimage, fiind de asemenea un pachet de modelare complet. -pachete de animatie GIF: solutie mai simpla de animatie, permitand dezvoltarea rapida de mici animatii pentru web.

Multimedia authoring
-Macromedia Flash: permite crearea de filme interactive (bazat pe metafora de scor linie de timp cu secvente de evenimente paralele). -Macromedia Director: permite crearea de prezentari interactive (bazat pe metafora film), incluzand un limbaj scripting Lingo (pentru crearea de filme interactive complexe). -Authorware: produs authoring bazat pe metafora Iconic/Flowcontrol. -Quest: asemanator Authorware, dar utilizeaza metafora de un tip de grafic (flowchart), nodurile sale incapsuland informatie intr-un mod mai abstract.

Categorii de aplicatii multimedia- 1

jocuri electronice : cea mai raspindita forma de multimediainteractiva o reprezinta jocurile electronice. Fiecare joc reprezinta o aplicatie multimedia interactiva care prezinta animatie 2D cu efecte sonore si muzica sincronizata. browser hypermedia : Hypermedia reprezinta o modalitate de a organiza informatia multimedia prin crearea de legaturi intre elemente.Elementele legate se numesc noduri, iar intregul ansamblu este o retea hypermedia. Legaturile reprezinta relatii semantice - cind intre doua noduri exista o legatura, ele sint inrudite intr-un fel. De exemplu, o imagine digitala poate fi legata de o descriere textuala a imaginii, care la rindul ei poate fi legata de un material audio sau video. Un browser hypermedia permite utilizatorului sa vizualizeze nodurile si sa treverseze legaturile de la un nod la altul. sisteme de prezentare multimedia : este un ,,motor care afiseaza, sincronizeaza, furnizeaza suport pentru interactivitate si, in general, manipuleaza material multimedia. Aceasta categorie se suprapune cumva peste cele prezentate anterior. In aceasta categorie putem include softwareul de prezentare a materialelor multimedia si browsere pentru documente multimedia. sisteme de creare multimedia

Sisteme de creare multimedia

Un sistem de dezvoltare multimedia = o colectie de instrumente software care permit parcurgerea etapelor de productie multimedia. Etape: capturare : Datele multimedia pot fi obtinute prin capturarea obiectelor dintr-un anumit mediu. Sistemele de creare multimedia usureaza capturarea datelor prin furnizarea interfetelor pentru scanere de imagini, digitizoare video si alte dispozitive de capturare conversie : Se stie ca imaginile, clip-urile audio, secventele de animatie exista intr-o mare varietate de formate. Un sistem multimedia bine echipat trebuie sa dispuna de de un set de utilitare care sa permita conversia intre formatele cele mai uzuale. editare : Dupa ce datele au fost capturate si convertite in formatul

sistemului de creare multimedia, pot fi necesare unele operatii pentru imbunatatirea modului de prezentare, ca de exemplu inlaturarea zgomotelor dintr-un clip audio, sau accentuarea imaginilor. Sistemele de dezvoltare multimedia furnizeaza editoare specifice pentru acesteoperatii.

Etape - continuare
compunerea : O parte foarte importanta a unui sistem de creare multimedia o reprezinta instrumentul pentru combinarea diferitelor tipuri de media si specificarea relatiilor temporale si spatiale ale acestora. crearea interactivitatii : Sistemele de dezvoltare multimedia furnizeaza modalitati pentru includerea interactivitatii in materialul multimedia, ceea ce presupune adaugarea la elementele de media de butoane, meniuri, ferestre de dialog, care sint memorate impreuna cu acestea si activate la prezentare. Sistemele puternice de creare multimedia permit si atasarea de proceduri arbitrare la elementele de media. pregatirea materialului pentru distributie : Acest pas presupune, de exemplu, determinarea asezarii pe CD-ROM pentru a obtine o performanta buna, sau pregatirea formatelor de playback pentru diverse platforme. Un sistem de dezvoltare multimedia tine evidenta elementelor care apar in productia multimedia si le asambleaza in formatul de distribuire.

Categorii de aplicatii multimedia -2

sisteme multimedia de posta electronica : Gestioneaza mesajele electronice ce contin audio, grafica, sau alte tipuri de media. Sint necesare trei componente: unul pentru crearea mesajelor, un serviciu de transfer al mesajului si o componenta pentru prezentarea mesajului. Respectarea standardelor este obligatorie, astfel incit un mesaj creat de un sistem sa poata fi prezentat pe un altul. sisteme de conferinta : Un calculator echipat cu microfon, difuzoare si o camera video amplasat intr-o retea multimedia poate stabili conexiuni audio si video intre alte echipamente similare. Acest lucru sta la baza videoconferintelor unde calculatorul joaca rolul unui dispozitiv de comunicatie multimedia. Puterea acestor sisteme poate creste prin utilizarea unor instrumente multi-user, ca de exemplu editoarele de grup, care permit participantilor la video conferinte sa partajeze documentele si datele. Participantii pot edita simultan obiectele partajate si vizualiza schimbarile efectuate de ceilalti. servicii multimedia : Multe dintre aplicatiile multimedia se incadreaza in categoria ,,serviciilor multimedia. Exemplele include vinzari interactive, operatiuni bancare, servicii educationale si medicale, sau video la cerere

Sisteme de operare multimedia

Prelucrarea datelor de tip audio si video digital necesita resurse de calcul importante, de exemplu pentru codificarea si decodificarea datelor, magistrale corespunzatoare pentru transferul catre dispozitivele de memorare. Mai mult, aceste task-uri sint supuse unor constringeri de timp impuse de frecventa de esantionare audio sau frecventa cadrelor video. Sistemele de operare multimedia trebuie sa ofere citeva facilitati, si anume: planificarea proceselor in timp real lucrul cu tipuri de media continue : Tipurile de date audio si video digital pot fi denumite continue, deoarece atit intrarea ( inregistrarea ), cit si iesirea (redarea ) sint activitati continue. Sistemele de fisiere traditionale nu sint proiectate pentru acces continuu. Ca rezultat, aplicatiile de redare se pot confrunta cu problema in care bufferele nu contin suficiente date, deoarece sistemul de fisiere nu furnizeaza datele suficient de rapid. In mod similar, in timpul inregistrarii datelor bufferele pot fi depasite daca sistemul de fisiere nu poate sustine rata de intrare a datelor. Fiecare caz prezentat mai sus conduce catre o calitate inacceptabila, ca de exemplu intreruperi pe pista audio.

Sisteme de baze de date multimedia

Sistemele traditionale de gestiune a bazelor de date lucreaza in special cu date de tip numeric sau caracter. In comparatie cu acestea, sistemele de baze de date multimedia gestioneaza date de tip text, imagine, grafic, audio si video. Ele trebuie sa ofere citeva facilitati suplimentare, si anume : - valori mari ale datelor : Imaginile digitale si video au dimensiuni foarte mari, astfel incit sint necesare tehnici speciale pentru memorare si optimizarea accesului la ele. In acest sens au fost propuse asa numitele ,,blobs ( binary large objects )- obiecte binare mari, care sint accesate unul cite unul.In acest fel aplicatiile pot memora si regasi direct astfel de valori in baza de date fara sa solicite sistemul de fisiere.

 -tipuri suplimentare : Bazele de date multimedia trebuie sa cunoasca tipul obiectelor memorate. Fiecare atribut dintr-o baza de date relationala are un tip. Aceasta informatie este utilizata de managerul bazei de date pentru a determina cererile care nu corespund tipului ( ca de exemplu sa se adune salariul cu virsta ) si sa se execute operatii specifice tipului. Bazele de date multimedia admit tipuri suplimentare , ca de exemplu audio si video, asupra carora se pot executa operatiile specifice tipului respectiv. - limbaje de interogare extinse : Limbajele de interogare traditionale, ca de exemplu SQL nu sint potrivite pentru accesarea anumitor tipuri de date multimedia. De exemplu, operatia de regasire in limbajul SQL se face cu comanda SELECT care permite gasirea datelor ce satisfac un predicat de interogare si transferarea lor din baza de date in aplicatie. Aceasta modalitate de schimb de date intre aplicatie si baza de date nu corespunde fluxului continuu care apare in timpul inregistrarii si playback-ului unor date multimedia. Deci, limbajele de interogare pentru bazele de date multimedia necesita operatii care sa creeze conexiuni de tip flux continuu (stream) intre baza de date si aplicatie. - operatii lungi in timp real : Controlul concurentei in sistemele de baze de date traditionale implica planificarea unor operatii scurte care implica citirea si scrierea articolelor din / in baza de date. De exemplu, transferarea unei sume dintr-un cont bancar in altul se realizeaza cu citeva operatii asupra bazei de date, care presupun selectia si actualizarea inregistrarilor corespunzatoare. Fiecare dintre aceste operatii au o durata scurta. Ca urmare, schimbarile in ordinea de executie a operatiilor nu conduc la intirzieri foarte mari in executia aplicatiilor. Aceste operatii sint planificate in ideea de a maximiza performanta si de a mentine integritatea datelor. Aceasta abordare nu este potrivita in bazele de date multimedia unde inregistrarea si redarea unor date poate dura minute sau ore si trebuie sa se efectueze in timp real. Ele nu pot fi intrerupte de alte cereri. Deci, bazele de date multimedia trebuie sa suporte operatii lungi, supuse unor constringeri de timp si sa asigure alocarea unor resurse suficiente pentru executia lor.

CAP. 2 Sisteme de creare multimedia

Un sistem de dezvoltare multimedia = o colectie de instrumente software care permit parcurgerea etapelor de productie multimedia. Etape: capturare : Datele multimedia pot fi obtinute prin capturarea obiectelor dintr-un anumit mediu. Sistemele de creare multimedia usureaza capturarea datelor prin furnizarea interfetelor pentru scanere de imagini, digitizoare video si alte dispozitive de capturare conversie : Se stie ca imaginile, clip-urile audio, secventele de animatie exista intr-o mare varietate de formate. Un sistem multimedia bine echipat trebuie sa dispuna de de un set de utilitare care sa permita conversia intre formatele cele mai uzuale. editare : Dupa ce datele au fost capturate si convertite in formatul sistemului de creare multimedia, pot fi necesare unele operatii pentru imbunatatirea modului de prezentare, ca de exemplu inlaturarea zgomotelor dintr-un clip audio, sau accentuarea imaginilor. Sistemele de dezvoltare multimedia furnizeaza editoare specifice pentru aceste operatii.

Etape - continuare
compunerea : O parte foarte importanta a unui sistem de creare multimedia o reprezinta instrumentul pentru combinarea diferitelor tipuri de media si specificarea relatiilor temporale si spatiale ale acestora. crearea interactivitatii : Sistemele de dezvoltare multimedia furnizeaza modalitati pentru includerea interactivitatii in materialul multimedia, ceea ce presupune adaugarea la elementele de media de butoane, meniuri, ferestre de dialog, care sint memorate impreuna cu acestea si activate la prezentare. Sistemele puternice de creare multimedia permit si atasarea de proceduri arbitrare la elementele de media. pregatirea materialului pentru distributie : Acest pas presupune, de exemplu, determinarea asezarii pe CD-ROM pentru a obtine o performanta buna, sau pregatirea formatelor de playback pentru diverse platforme. Un sistem de dezvoltare multimedia tine evidenta elementelor care apar in productia multimedia si le asambleaza in formatul de distribuire.

Categorii de aplicatii multimedia -2

 sisteme multimedia de posta electronica : Gestioneaza mesajele electronice ce contin audio, grafica, sau alte tipuri de media. Sint necesare trei componente: unul pentru crearea mesajelor, un serviciu de transfer al mesajului si o componenta pentru prezentarea mesajului. Respectarea standardelor este obligatorie, astfel incit un mesaj creat de un sistem sa poata fi prezentat pe un altul. sisteme de conferinta : Un calculator echipat cu microfon, difuzoare si o camera video amplasat intr-o retea multimedia poate stabili conexiuni audio si video intre alte echipamente similare. Acest lucru sta la baza videoconferintelor unde calculatorul joaca rolul unui dispozitiv de comunicatie multimedia. Puterea acestor sisteme poate creste prin utilizarea unor instrumente multi-user, ca de exemplu editoarele de grup, care permit participantilor la video conferinte sa partajeze documentele si datele. Participantii pot edita simultan obiectele partajate si vizualiza schimbarile efectuate de ceilalti. servicii multimedia : Multe dintre aplicatiile multimedia se incadreaza in categoria ,,serviciilor multimedia. Exemplele include vinzari interactive, operatiuni bancare, servicii educationale si medicale, sau video la cerere

Sisteme de operare multimedia

Prelucrarea datelor de tip audio si video digital necesita resurse de calcul importante, de exemplu pentru codificarea si decodificarea datelor, magistrale corespunzatoare pentru transferul catre dispozitivele de memorare. Mai mult, aceste task-uri sint supuse unor constringeri de timp impuse de frecventa de esantionare audio sau frecventa cadrelor video. Sistemele de operare multimedia trebuie sa ofere citeva facilitati, si anume: planificarea proceselor in timp real lucrul cu tipuri de media continue : Tipurile de date audio si video digital pot fi denumite continue, deoarece atit intrarea ( inregistrarea ), cit si iesirea (redarea ) sint activitati continue. Sistemele de fisiere traditionale nu sint proiectate pentru acces continuu. Ca rezultat, aplicatiile de redare se pot confrunta cu problema in care bufferele nu contin suficiente date, deoarece sistemul de fisiere nu furnizeaza datele suficient de rapid. In mod similar, in timpul inregistrarii datelor bufferele pot fi depasite daca sistemul de fisiere nu poate sustine rata de intrare a datelor. Fiecare caz prezentat mai sus conduce catre o calitate inacceptabila, ca de exemplu intreruperi pe pista audio.

Sisteme de baze de date multimedia

Sistemele traditionale de gestiune a bazelor de date lucreaza in special cu date de tip numeric sau caracter. In comparatie cu acestea, sistemele de baze de date multimedia gestioneaza date de tip text, imagine, grafic, audio si video. Ele trebuie sa ofere citeva facilitati suplimentare, si anume : valori mari ale datelor : Imaginile digitale si video au dimensiuni foarte mari, astfel incit sint necesare tehnici speciale pentru memorare si optimizarea accesului la ele. In acest sens au fost propuse asa numitele ,,blobs ( binary large objects )- obiecte binare mari, care sint accesate unul cite unul.In acest fel aplicatiile pot memora si regasi direct astfel de valori in baza de date fara sa solicite sistemul de fisiere. -tipuri suplimentare : Bazele de date multimedia trebuie sa cunoasca tipul obiectelor memorate. Fiecare atribut dintr-o baza de date relationala are un tip. Aceasta informatie este utilizata de managerul bazei de date pentru a determina cererile care nu corespund tipului ( ca de exemplu sa se adune salariul cu virsta ) si sa se execute operatii specifice tipului. Bazele de date multimedia admit tipuri suplimentare , ca de exemplu audio si video, asupra carora se pot executa operatiile specifice tipului respectiv. - limbaje de interogare extinse : Limbajele de interogare traditionale, ca de exemplu SQL nu sint potrivite pentru accesarea anumitor tipuri de date multimedia. De exemplu, operatia de regasire in limbajul SQL se face cu comanda SELECT care permite gasirea datelor ce satisfac un predicat de interogare si transferarea lor din baza de date in aplicatie. Aceasta modalitate de schimb de date intre aplicatie si baza de date nu corespunde fluxului continuu care apare in timpul inregistrarii si playback-ului unor date multimedia. Deci, limbajele de interogare pentru bazele de date multimedia necesita operatii care sa creeze conexiuni de tip flux continuu ( stream ) intre baza de date si aplicatie. - operatii lungi in timp real : Controlul concurentei in sistemele de baze de date traditionale implica planificarea unor operatii scurte care implica citirea si scriereaarticolelor din / in baza de date. De exemplu, transferarea unei sume dintr-un cont bancar in altul se realizeaza cu citeva operatii asupra bazei de date, care presupun selectia si actualizarea inregistrarilor corespunzatoare. Fiecare dintre aceste operatii au o durata scurta. Ca urmare, schimbarile in ordinea de executie a operatiilor nu conduc la intirzieri foarte mari in

executia aplicatiilor. Aceste operatii sint planificate in ideea de a maximiza performanta si de a mentine integritatea datelor. Aceasta abordare nu este potrivita in bazele de date multimedia unde inregistrarea si redarea unor date poate dura minute sau ore si trebuie sa se efectueze in timp real. Ele nu pot fi intrerupte de alte cereri. Deci, bazele de date multimedia trebuie sa suporte operatii lungi, supuse unor constringeri de timp si sa asigure alocarea unor resurse suficiente pentru executia lor.

FORMATE DE FISIERE PENTRU IMAGINI

DOMENIUL PRELUCRARILOR DE IMAGINI CLASE DE IMAGINI FORMATE DE FISIERE PENTRU IMAGINI STRUCTURI DE DATE PENTRU ANALIZA IMAGINILOR PERCEPTIA UMANA A IMAGINILOR

DOMENIUL PRELUCRARILOR DE IMAGINI

Tehnicile de prelucrare a imaginilor digitale: inceputul anilor 1920 (s-au transmis pentru prima oara imagini digitizate ale agentiilor de stiri prin cablu submarin intre New York si Londra). Aplicatiile conceptelor de prelucrare a imaginilor digitale: larga raspandire de la mijlocul anilor 1960 (a treia generatie de calculatoare). Prelucrarea imaginilor: obiect de studiu interdisciplinar (aplicatii ingineresti, fizica, chimie, biologie, medicina, geografie, meteorologie, studiul spatiului cosmic etc). Prelucrarea datelor reprezentand imagini -> trei arii: grafica ("graphics"), prelucrarea imaginilor ("image processing") si recunoasterea formelor din imagini ("pictorial pattern recognition").

Prelucrarea datelor reprezentand imagini

Grafica: generarea imaginilor din informatii nonimagini. Aplicatii: reprezentarea grafica a unei functii sau set de date experimentale, generarea de imagini pentru programe jocuri, producerea de scene din programele simulatoare de zbor, arta pe calculator, animatia computerizata. Prelucrarea imaginilor: atat intrarea cat si iesirea (rezultatul) sunt imagini. Aplicatii: sisteme de transmisie a imaginilor (cu tehnici de inlaturare a zgomotelor si compactare a datelor), imbunatatirea imaginilor subexpuse sau neclare (cu tehnici de imbunatatire a contrastului), modificarea drastica a imaginilor (schimbarea iluminarii, modificarea contururilor unor obiecte), crearea unei imagini noi dintr-un set de imagini existente (exemplu: in medicina, obtinerea reprezentarii unor organe interne din imagini cu raze x sau scintigrafice). Recunoasterea formelor din imagini: producerea fie a unei descrieri a imaginii de intrare sau asignarea imaginii la o clasa particulara. Aplicatii: sistem de sortare a corespondentei (detecteaza si identifica cifrele codului postal de pe plic), sistem de diagnostic medical (detecteaza anumite anomalii de pe radiografii sau alte imagini medicale) etc.

Cele trei domenii de aplicaii ale tehnicii de calcul care opereaz cu imagini

Clase de imagini
Clasa 1: imagini color si cu niveluri de gri (reprezentare fidela a realitatii) ->matrici de valori intregi (pixeli - "picture element). Imaginile color reprezentate prin trei matrici (RGB - "red", "green", "blue") sau printr-o singura matrice (diferiti biti ai fiecarui element corespunzand la culori diferite). Ochiul uman nu poate distinge diferente de iluminare sub 1%, deci un octet /culoare / pixel este suficient. Clasa 2: imagini binivel sau cu putine culori, exemplu: imagini alb-negru -> matrici cu un singur bit / pixel. Alta solutie: descrierea de zone avand o culoare constanta (imagini cu putine culori). Clasa 3: linii si curbe continue -> secvente de puncte reprezentate prin coordonatele lor x,y sau prin diferentele succesive x, y. Solutii ineficiente ! => Coduri de inlantuire (vectorul care uneste doua puncte succesive un simbol dintr-un set finit). Solutie si mai eficienta: cod de inlantuire diferential (punct reprezentat prin diferenta dintre doua coduri absolute succesive). Clasa 4: puncte sau poligoane -> seturi de puncte discrete la distanta, nu se pot reprezenta prin coduri de inlantuire. Solutia: tablouri de coordonate x,y eventual, prin hardware, aceste puncte pot fi unite prin linii drepte sau curbe simple => poligoane.

Tipuri de operatii

 imagine de intrare a[m,n] -> imagine de iesire b[m,n] : Operatii punctuale (complexitate/pixel constanta): valoarea de iesire pentru o anumita coordonata este dependenta numai de valoarea de intrare din punctul respectiv ; Operatii locale (complexitate/pixel p2, unde vecinatatea punctului este p*p) : valoarea de iesire depinde numai de valorile pixelilor dintr-o vecinatate a punctului respectiv ; Operatii globale (complexitate/pixel N2, unde imaginea intreaga are dimensiunea N*N) : valoarea de iesire pentru un pixel depinde de valorile tuturor punctelor din imagine.

Tipuri de vecinatati
Vecinatate (esantionare) rectangulara de conectare 4 : utilizeaza o retea de esantionare rectangulara, iar vecinatatea fiecarui pixel este reprezentata prin cei patru pixeli vecini din directiile N, S, E, V ; Vecinatate (esantionare) rectangulara de conectare 8 : este asemanatoare solutiei precedente, cu diferenta ca vecinatatea fiecarui pixel este formata din opt pixeli din imediata apropiere a acestuia ; Vecinatate (esantionare) hexagonala de conectare 6 : reteaua de esantionare este hexagonala iar vecinatatea fiecarui pixel contine cei sase pixeli adiacenti acestuia.

FORMATE DE FISIERE PENTRU IMAGINI

Memorarea imaginilor -> doua categorii de tipuri de fisiere : -fisiere de tip rastru (colectie de puncte de imagine); -fisiere de tip vectorial (colectie de segmente sau vectori). GIF (Graphics Interchange Format): la sfarsitul anilor 1980 pentru transferuri de imagini prin retele. -restrictii: limitarea numarului maxim de culori la 256; -metoda de compresie a datelor: tehnica LZW (Lempel-Ziv-Welch), bazat pe un tabel de coduri pentru sabloane (reprezentand blocuri de date). -header cu dimensiunile imaginii, rezolutia de culoare, dimensiunea hartii de culori (colormap); formatul PNG introdus mai recent pentru inlocuirea formatului GIF; -GIF si PNG sunt formate fara pierderi, deci o imagine astfel codificata poate fi refacuta in intregime ! JPEG

RGB
O reprezentare a mixrii aditive a culorilor. La suprapunerea culorilor primare, se formeaz culorile secundare; prin unirea celor trei culori rezult culoarea alb. Modelul cromatic rou-verde-albastru RGB - Red Green Blue) -> un model aditiv de culoare, n care luminile albastre, roii i verzi sunt amestecate n diverse moduri pentru a produce o gam larg de culori. scopul paletei de culori RGB - a reprezenta imagini pe sistemele electronice, ca TV i calc.; a fost folosit i n fotografie. RGB este un model cromatic dependent de dispozitive: dou monitoare diferite pot reprezenta o anumit valoare RVA diferit, deoarece rspunsul elem. Chimic ce da culoarea difer de la productor la productor sau chiar la acelai dispozitiv, odat cu trecerea timpului. O valoare RVA nu definete aceeai culoare pe toate dispozitivele fr un fel de gestiune a culorilor. Disp. de I tipice RGB sunt camerele de filmat, scannerele, ap. Foto; de O: tv - plasma, LCD, LED, CRT, monitoarele, ecranele tel. mobile, proiect. video, afisoarele cu leduri colorate. Imprimantele - > modelul cromatic CMYK

Formatul JPEG
JPEG utilizeaza standardul de compresie Joint Photographics Experts Group (grupul infiintat in 1986, standardul emis in 1992, aprobat in 1994 ca ISO-10918-1).

Luminanta
Reprezint mrimea fotometric ce exprim densitatea intensitii luminoase ntr-o direcie dat. Luminana (exprimata cu 'L' n formule) este descris de cantitatea de "lumin" vizibil care pleac dintr-un punct pe o suprafa ntr-o direcie dat. Aceasta "suprafa" poate fi o suprafa fizic sau un plan imaginar. Luminana este utilizat pentru a caracteriza emisia sau reflexia de la suprafeele netede, difuze. Indic ce flux luminos va fi perceput de un ochi uman care privete o suprafa dintr-un anumit unghi. Luminana este un indicator pentru ct de strlucitoare este o suprafa . n acest caz unghiul solid de interes este unghiul solid dat de pupila ochiului. Luminana este utilizat i n industria video pentru a caracteriza strlucirea monitoarelor sau ecranelor. n aceast industrie, nitul este unitatea de msur ce reprezint raportul dintre candel i metrul ptrat. Un monitor de calculator standard emite ntre 50 i 300 nit. Crominanta = informatie referitoare la ponderea culorilor fundamentale (rosu, verde, albastru).

BMP (Microsoft Windows Bitmap)

format propriu Microsoft Windows. Consta dintrun header, urmat de informatiile de imagine. Header-ul are doua parti: -header de fisier: BITMAPFILEHEADER (14 octeti); -header de informatii: BITMAPINFO (40 de octeti). Header-ul de fisier (BITMAPFILEHEADER): informatii despre tipul, dimensiunea si reprezentarea fisierului (DIB Device Independent Bitmap), conform structurii: TIFF (Tagged Image File Format) - format foarte flexibil. Poate salva mai multe imagini intrun fisier. Permite diferite rutine de compresie (LZW, JPEG, Huffman, RLE sau nici o compresie), ordine little endian si big endian pentru octeti, reprezentarea de imagini binare, cu niveluri de gri, RGB sau indexate. => software-ul pentru citirea imaginilor TIFF este complex. Alte formate: HDF (Hierarchical Data Format) utilizat pentru imagini stiintifice; PCX utilizat initial pentru software-ul PC Paintbrush sub MS-DOS; XWD (X Window Dump) utilizat la memorarea de imagini ecran sub Xwindow (UNIX); ICO pentru afisarea de icoane in sistemul de operare Microsoft Windows, permitand imagini multiple intr-un fisier; CUR format pentru afisarea cursorului mouse-ului in sistemul de operare Microsoft Windows.

STRUCTURI DE DATE PENTRU ANALIZA IMAGINILOR

Imaginile pot fi reprezentate pe mai multe niveluri: -imagine iconica (iconic images) este imaginea initiala obtinuta prin diferite tehnici, reprezentata printr-o matrice de valori intregi corespunzatoare pixelilor; -imagine segmentata, continand parti ale imaginii initiale, grupate impreuna, apartinand acelorasi obiecte; -reprezentare geometrica continand informatii despre forme 2D sau 3D; -model relational care permite prelucrarea datelor la un nivel mai inalt de abstractizare. Pentru reprezentarea imaginilor: diverse structuri de date, cum sunt matrici, lanturi, grafuri, liste de proprietati ale obiectelor, baze de date, etc.

Matrici
Matricile: structurile de date cele mai utilizate pentru reprezentarea imaginilor la un nivel coborat. Elementele unei matrici = valori intregi corespunzand nivelurilor de gri sau componentelor de culoare ale pixelilor din imagine. Aceste valori se obtin direct de la un echipament de achizitie de imagine (exemplu un scanner).

Structuri de date ierarhice

Vederea cu ajutorul calculatorului (computer vision) volum mare de calcule. Structurile de date ierarhice permit utilizarea de algoritmi care determina o strategie a procesarii pe baza unui volum mic de date si numai in portiunea de interes iau in considerare intreaga rezolutie. Piramida M sau piramida matriciala (M-pyramid): secventa {ML, ML-1, ..., M0} de imagini, unde ML este imaginea initiala, Mi-1 este obtinuta din Mi prin reducerea rezolutiei la jumatate, etc, iar M0 este imaginea redusa la un singur pixel. Evident ca este necesar ca imaginea sa fie patrata de dimensiune putere a lui 2. Solutia este utila atunci cand se doreste sa se prelucreze imaginea simultan la rezolutii diferite. Numarul de pixeli necesari pentru reprezentarea in memorie a unei, piramide M (memorarea tuturor matricilor) este:

CURS 3 MM STRUCTURI DE DATE PENTRU ANALIZA IMAGINILOR

Imaginile pot fi reprezentate pe mai multe niveluri: -imagine iconica (iconic images) este imaginea initiala obtinuta prin diferite tehnici, reprezentata printro matrice de valori intregi corespunzatoare pixelilor; -imagine segmentata, continand parti ale imaginii initiale, grupate impreuna, apartinand acelorasi obiecte; -reprezentare geometrica continand informatii despre forme 2D sau 3D; -model relational care permite prelucrarea datelor la un nivel mai inalt de abstractizare. Pentru reprezentarea imaginilor: diverse structuri de date, cum sunt matrici, lanturi, grafuri, liste de proprietati ale obiectelor, baze de date, etc.

Matrici
Matricile: structurile de date cele mai utilizate pentru reprezentarea imaginilor la un nivel coborat. Elementele unei matrici = valori intregi corespunzand nivelurilor de gri sau componentelor de culoare ale pixelilor din imagine. Aceste valori se obtin direct de la un echipament de achizitie de imagine (exemplu un scanner).

REPREZENTAREA DATELOR AUDIO DIGITALE

Unde audio
Intelegerea undelor de sunet => studiul actiunii acestora asupra microfoanelor. Doua categorii de microfoane: -microfoanele electrodinamice (dinamice) opereaza pe baza unei spirale sau benzi mobile; -microfoanele electrostatice (microfoane cu condensatoare) se bazeaza pe capacitoare care necesita o sursa externa de tensiune. Ambele: modificarile de presiune a aerului actioneaza asupra componentelor microfonului si sunt transformate in unde electrice.

Acustica
Cand o parte mobila a unui disp. se misca => unde de presiune care se propaga. Diferentele de presiune sunt transf. de urechea umana in impulsuri electrice preluate de creier si percepute ca sunete Caracteristici sunet: amplitudine frecventa tonalitate Pt. perceptia sunetului o sg. ureche; pt. localizare amandoua Gama de frecvente percepute de om 20 Hz 20 kHz Infrasunete ....1kHz...5KHz..........Ultrasunete Volumul (intensit.) unui sunet = dif. intre intensit sunetului si o valoare de referinta pe o scara log. (dB) Puterea sonora = o caracteristica a generatoarelor de sunete (W) Tonalitatea (pitch) = subiectiva depinde de frecventa, intensit. si forma undei sonore

MIDI vs Digital Audio

MIDI (Musical Instrument Digital Interface) = un standard de comunicatie (80) pt. a permite interconectarea mai multor instrumente electronice (sintetizatoare, generatoare) intre ele si cu placa de sunet a C. Se pot interschimba note, secvente de note, partituri. Datele MIDI nu sunt digitizate -> sunt doar o reprezentare electronica a unei partituri => sunetul MIDI depinde de posibilitatile tehnice de redare ale C. sau instrum. electronic Datele audio digitale = o reprezentare reala a sunetului, in forma numerica. Nu depind de C., dar ocupa multa memorie Tehnica digital audio = conversia unui semnal analogic cu frecventa cuprinsa in spectrul sonor intr-o succesiune de date numerice numite semnal digital Digitizarea foloseste doua procedee: esantionarea temporala si cuantizarea amplitudinii

PCM si digitizarea audio

PCM (pulse code modulation) introdus in 1937 de Alec Reeves de la Intenational Telephone and Telegraph, atunci orientat pe transmiterea semnalelor audio => alternativa la modularea analogica in frecventa si amplitudine: semnalele audio erau esantionate in puncte discrete in timp, fiecare esantion cuantizat si codificat in binar, iar bitii erau transmisi ca impulsuri reprezentand 0 si 1. Fisierele PCM contin date audio digitizate, dar necomprimate. S-au dezvoltat si o serie de alternative cu reducerea cantitatii de informatie (in special in domeniul telefoniei pentru pastrarea largimii de banda). Deoarece amplitudinea vorbirii umane nu se modifica dramatic de la un moment la momentul urmator, se poate reduce dimensiunea fisierului memorand diferentele dintre esantioanele succesive (DPCM differential pulse code modulation). Algoritmul poate fi imbunatatit: nivelul de cuantizare varieaza in concordanta cu caracteristicile de schimbare dinamica a sablonului de vorbire, furnizand rate mai bune de compresie (ADPCM adaptive differential pulse code modulation). Pentru memorarea datelor audio digitale este necesar sa se specifice rata de esantionare si adancimea de biti. Rata de esantionare se specifica in Hz, rate obisnuite: -8 kHz mono, pentru telefonie voce; -44.1 kHz stereo doua canale pe 16 biti fiecare canal, pentru sunet de calitate CD;

-48 kHz banda audio digitala (DAT digital audio tape); -96 sau 192 kHz stereo doua canale DVD cu 24 de biti per canal. Se poate utiliza o acuratete mai mare la digitizare (exemplu esantioane pe 32 de biti) pentru prelucrare ulterioara prin program, iar apoi se reduce rezolutia inainte de compresie (exemplu: se pastreaza esantioane pe 16 biti).

Cuantizarea si eroarea de cuantizare

Decibeli. Interval dinamic.
Amplitudinea sunetului: determinata la cuantizare si indica intensitatea acestuia. Fenomenul fizic corespunzator este modificarea presiunii aerului prin care se propaga sunetul. Presiunea: masurata in pascali (Pa) sau newton/m2 (N/m2). Presiunea atmosferica normala la nivelul marii = aprox. 105 Pa. Pragul de auzire a sunetului (la 1000 Hz) = variatia fata de presiunea atosferica cu 210-5 Pa. Pentru a masura schimbarile de presiune a aerului se poate utiliza decibelul: nu este o unitate absoluta de masura, trebuie sa se precizezez un punct de referinta pentru marimea masurata (decibelul se poate utiliza si in alte domenii, nu numai presiune). Pentru sunet punctul de referinta = presiunea aerului pentru pragul de auzire => se numeste dB_SPL (decibels-soundpressure- level). Rata de esantionare insuficienta => aliasing. Utilizarea unui numar prea mic de biti pentru cuantificare => distorsiuni(zgomot de cuantificare).

Dithering audio
Dithering (tremur, freamat) este o solutie de compensare a erorii de cuantizare, prin adunarea de valori mici aleatoare la esantioane. In procesul de cuantizare se face o rotunjire, cand anumite esantioane de amplitudine mica sunt aproximate cu zero, rezultand intreruperi in cadrul sunetului. Adaugand la fiecare esantion o valoare mica aleatoare (intre 0 si din valoarea minima posibila) se obtine ca unele esantioane mici sa aibe in final valori diferite de zero: acest zgomot este preferat zonelor de discontinuitate a sunetului. Dithering se realizeaza de catre convertoarele A/D inainte de etapa de cuantizare. In graficul urmator se prezinta semnalul initial, semnalul cuantizat (cu 16 niveluri) si eroarea de cuantizare. De remarcat: suma dintre semnalul cuantizat si semnalul eroare de cuantizare este chiar semnalul initial.

Semnalul de eroare este periodic (are perioada semnalului initial) si se aude la redarea sunetului digital ca distorsiune (mai suparatoare chiar decat un zgomot aleator). La fiecare esantion se aduna o valoare cuprinsa intre -1 si 1, pe baza unei functii de densitate de probabilitate triunghiulara (TPDF triangular probability density function). Alte functii de dithering sunt: -RPDF (rectangular probability density function) genereaza aleator valori in intervalul -1 la 1; -PDF Gaussian (functia de densitate de probabilitate este o Gaussiana) creaza un zgomot de fond asemanator de exemplu histerezisului benzii; -dithering colorat produce zgomot de frecvente mai inalte decat poate distinge urechea umana.

Formarea zgomotului
Formarea zgomotului (noise shaping): o alta metoda de compensare a erorii de cuantizare. Nu este chiar dithering, dar se utilizeaza cu acesta. Ideea: redistribuirea erorii de cuantizare astfel incat zgomotul sa fie

concentrat in frecventele mai inalte, unde urechea umana este mai putin sensibila. In algoritmii de formare a zgomotului (dezvoltati prima data de Utler in anii 1950) este necesar sa se adune eroarea de cuantizare de la esantionul curent la esantionul urmator inainte ca acesta sa fie cuantizat. Se considera un tablou F de esantioane audio. Se defineste bucla de feedback de ordinul intai pentru formarea zgomotului:

Cuantizare neliniara
Codificarea neliniara sau companding (schema de codificare necesita compresie si apoi expandare) a rezultat din necesitatea de compresie a semnalelor telefonice pe linii de banda joasa. Etape principale: -semnalul digital pe n biti este recuantizat pe m biti (m<n) printr-o metoda de cuantizare neliniara; -se transmite semnalul; -expandeaza semnalul la n biti la receptie (anumite informatii sunt pierdute, cuantizare cu pierderi) => micsoreaza eroarea pentru semnale de amplitudine mica, in comparatie cu cuantizarea liniara. Baza codificarii neliniare: sistemul auditiv uman percepe mici diferente intre sunete slabe, dar pe masura ce nivelul creste scade abilitatea de percepere a diferentelor => mai multe niveluri de cuantizare pentru nivelurile mici si mai putine pentru niveluri mari => metode de codificare neliniara -law si A-law pentru transmisiile telefonice.

ANALIZA DE FRECVENTA
Domeniile timp si frecventa
Un semnal audio poate fi reprezentat atat in domeniul timp, cat si in domeniul frecventa. In domeniul timp: variatia amplitudinii semnalului in timp (pe axa orizontala este timpul, iar pe axa verticala amplitudinea seamnalului) => cea mai intuitiva solutie de reprezentare a unui semnal unidimensional. In domeniul frecventa: componentele de frecventa ale semnalului (frecventa fundamentala si multipli intregi ai acesteia, frecventele armonice). Exista doua solutii de baza: 1) In reprezentarea analizei de frecventa (analiza de spectru) pe axa orizontala se plaseaza valorile de frecventa, iar pe axa verticala amplitudinile componentelor de frecventele respective. Se ia in considerare un anumit interval de timp pentru care se face analiza de frecventa. Se mai utilizeaza si termenul de energie (reprezentat de aria de sub graficul frecventei). 2) In reprezentarea spectrala (spectrul) pe axa orizontala se plaseaza timpul , pe cea verticala frecventele, iar amplitudinile diferitelor component spectrale se reprezinta prin culori diferite (de exemplu de la albastru la rosu si chiar pana la alb, pe masura ce amplitudinile cresc).

CURS4 - REPREZENTAREA DATELOR VIDEO DIGITALE

Film, televiziune, cinema si video
Filmul si video se bazeaza pe acelasi fenomen de perceptie umana, persistenta vederii, tendinta ochiului uman de a continua sa vada o imagine pentru inca un scurt interval de timp dupa ce aceasta a disparut. Un alt fenomen implicat este fuziunea de flicker, abilitatea sistemului vizual uman de a fuziona imagini succesive intr-o singura imagine in miscare. Astfel o imagine in miscare este creata printr-o secventa de imagini statice numite cadre (frames). Viteza cu care sunt afisate aceste imagini este rata de cadre. Experimental s-a stabilit ca este necesara o rata de 40 de cadre /sec pentru a evita flickerul. Rata de cadre pentru filme a fost adoptata la 24 cadre/sec, dar obiectivul aparatului de proiectie (oblon shutter) arata fiecare cadru de doua ori, fiind astfel afisate 48 de imagini pe secunda. Film. Denumirea de film provine de la suportul folosit (banda de celuloid), dotata cu perforatii pentru antrenarea prin aparatul de proiectie. Pe film exista si o pista de sunet. Un film tipic are 35 mm latime cu 4 perforatii pe fiecare cadru. Nu exista o rezolutie ca in cazul digital, dar calitatea filmului este data de granulatia acestuia. La trecerea unui film in format digital (pe video) se utilizeaza scannere cu rezolutie mare, utilizand 12 biti/pixel/culoare (in loc de 8), ceea ce genereaza o cantitate foarte mare de informatie (se utilizeaza compresia pentru reducerea volumului de date). Filmele mute si primele filme sonore au fost realizate pe film de 16 mm (introdus de Eastman Kodak in 1923), cu raport de aspect (aspect ratio), adica raportul latime: inaltime, 1.33:1 (raport de aspect Academie sau apertura Academie, dupa Academy of Motion Picture Arts and Science).

Dupa aparitia televiziunii pentru captarea publicului a aparut raportul de aspect 1.85:1 (ecran lat wide screen), utilizand solutii ca: -Vista Vision de la Paramount Pictures (anii 1950) prin rotirea cadrului cu 90 grade, filmul fiind derulat pe orizontala; -lentile anamorfice, o lentila preia imaginea panoramica si o introduce stramtata pe un film de 35 mm, iar la redare o alta lentil alungeste si proiecteaza imaginea pe ecran lat (rezulta rapoarte de 2.35:1 si 2.39:1).

Un ecran si mai lat se poate obtine pe film de 70 mm (referit ca 65 mm, ceea ce intra in proiector plus 5 mm pentru pista de sunet). Raportul standard este de 2.2:1. La cinema IMAX pe filmul de 70 mm se atinge raportul de 1.43:1, filmul fiind derulat pe orizontala (ca la Vista Vision). Aceste aspecte ale filmelor se regasesc si la video. Televiziune. Televiziunea standard SDTV (standard-definition television), raport de aspect 4:3, a fost transmisa prin unde radio, prin statii terestre, iar incepand din anii 1970 s-au utilizat si sateliti pentru transmisie. DBS (Direct Broadcast Satelite) s-a receptionat direct in locuinta in anii 1980 si 1990, cu ajutorul unei antene parabolice. Prima mare companie DBS din America de Nord a fost DirectTV (1994), in competitie cu Disk Network a lui EchoStar. In 1981 compania de transmisie japoneza NHK a inceput sa transmita ceea ce va deveni HDTV (high-definition television), in forma analogica cu 1125 linii/cadru, raport de aspect 16:9 si rata de 30 cadre/s. HDTV curent are raportul 16:9, sunet surround si una din rezolutiile 1920x1080 (scanare intretesuta), 1920x1080 (scanare progresiva) sau 1280x720 (scanare progresiva), referite ca 1080i, 1080p si respectiv 720p. Pentru transmisia diferitelor tipuri de televiziuni TV analog, DTV si HDTV se utilizeaza cablul sau satelitii, tendinta fiind catre televiziunea digitala.

Standarde video
In televiziune exista trei standarde importante: NTSC (dezvoltat de National Television Systems Committee), PAL (Phase Alternating Line) si SECAM (Systme Electronique Couleur Avec Mmoire). NTSC este utilizat in America de Nord, Japonia, Taiwan si zone din America Caraibiana si de Sud. Primul program de televiziune comerciala monocroma (alb-negru!?) a fost transmis in SUA in 1941, cu standard dezvoltat de NTSC. Standardul NTSC color a fost publicat in 1954, acoperind VCR (video cassette

recorder), televiziune digitala prin cablu, HDTV si video digital. Deoarece in Europa s-a utilizat o tehnologie diferita a fost necesar un standard diferit, PAL, utilizat in Europa (Italia, Belgia, Austria, Germania, Anglia), Australia, Asia, Africa si America de Sud. SECAM a fost dezvoltat in Franta si acceptat pentru transmisie color in1967, fiind adoptat in Europa de Est. Cu dezvoltarea video digital erau necesare standarde pentru transmisia si stocarea datelor video digitale. ITU (International Telecommunication Union) din cadrul United International System reunind reprezentati ai guvernului si sectorului privat, a dezvoltat standarde pentru telecomunicatii globale. Are trei departamente: ITUR (radio communication), ITU-T (telecom standardization) si ITU-D (telecom development). SMPTE (Society for Motion Picture and Television Engineers) a contribuit la dezvoltarea de standarde video digitale internationale. Impreuna cu ITU a lucrat la interschimbul fisierelor video digitale NTSC, PAL si SECAM. In anii 1990 s-au dezvoltat standardele internationale de transmisie a televiziunii digitale (DTV). Exista trei organizatii principale de standarde pentru DTV: ATSC in America de Nord, DVB in Europa si ISDB in Japonia. Toate cele trei standarde utilizeaza compresia video MPEG-2 si compresia audio Dolby, diferenta majora constand in schemele de modulatie in frecventa radio utilizate pentru transmisie. ATSC (Advanced Television Systems Committee) este o organizatie nonprofit internationala care dezvolta standarde pentru televiziunea digitala. A dezvoltat standarde DTV pentru SUA si Canada. DVB (Digital Video Broadcasting Project) a dezvoltat standard pentru televiziunea digitala in Europa. Este un consortiu de fabricanti, transmitatori, operatori de retea, dezvoltatori de software. Standardele DVB au fost promulgate de ETSI (European Telecommunications Standards Institute). In Japonia standardele video digital au fost dezvoltate de ISDB (Integrated Services Digital Broadcasting). La fel ca ATSC si DVB, ISDB utilizeaza compresia video MPEG-2 si compresia audio Dolby. Primul system HDTV a fost lansat la sfarsitul anilor 1960, utilizand transmisia prin satelit, guvernat de sistemul de transmisie publica NHK. Initial a fost analogic. Versiunea din 1990, esential analogica, dar cu metode de compresie din tehnologia digitala, a fost cunoscuta in SUA ca MUSE (Multiple sub-Nyquist Sampling Encoding), avand urmatoarele caracteristici: 1125 lini/cadru, 30 cadre/s, raport de aspect 16:9 si o largime de banda de 24 MHz (televiziunea standard are largimea de banda de 6MHz). Simultan cu evolutia HDTV, au fost dezvoltate standarde pentru televiziunea digitala in SUA, Europa si Japonia. In SUA noua tehnologie a fost denumita advanced television system, reprezentand SDTV si HDTV. In 1990 General Instruments Corporation a introdus primul sistem HDTV complet digital, iar apoi inca trei. S-a format Grand Alliance, consortiu industrial incluzand General Instruments, AT&T, Massachusetts Institute of Technology, David Sarnoff Research Center, Philips, Zenith si Thomson Electronics. Grand Alliance a propus un sistem HDTV, care a inclus si DTV (fiind adaugat SDTV digital). In 1996 propunerea de DTV a fost adoptata ca standard ATSC A/53. In Europa in 1993 a fost organizat proiectul DVB pentru crearea unui sistem complet digital, rezultand standardul DVB-T aprobat in 1995, utilizand compresia MPEG-2 pentru video. Japonia a inceput dezvoltarea unui standard de televiziune digitala in1994, culminand in 1999 cu un sistem de transmisie terestra aprobat de ITU-R, numit Integrated Services Digital Broadcasting for Terrestrial (ISDB-T), aplicabil pentru televiziune si radio. De asemenea utilizeaza MPEG-2 pentru compresia video si o forma MPEG pentru compresia audio. Standardele ATSC, DVB si ISDB au fost adoptate si in afara statelor de origine. Astfel: -ATSC: Canada, Taiwan, Corea de Sud, Argentina si Mexic; -DVB: Anglia, Spania si Suedia; -ISDB: numai in Japonia. Un sumar al standardelor pentru televiziunea digitala terestra:

Afisare video si film

Atat video cat si filmul se afiseaza printr-o succesiune de imagini discrete, astfel: film 24 cadre/s, video NTSC 30 cadre/s, video PAL si SECAM 25 cadre/s. In timp ce cadrul de film este o imagine continua, cadrul video este impartita in linii. Numarul de linii la video analog este: NTSC 525 linii/cadru, iar la PAL si SECM 625 linii/cadru. Video este afisat (si inregistrat) prin scanare de rastru (deplasari stanga-dreapta si sus-jos). Dupa terminarea unei linii are loc intoarcerea pe orizontala, iar dupa un cadru intoarcerea pe verticala. Pana nu demult dispozitivul de baza de afisare a fost tubul catodic (cathode ray tube CRT). Fasciculul de electroni baleiaza ecranul activand celulele fosforescente (cate o celula pentru fiecare pixel la tubul monocrom, respectiv cate trei celule la tubul color RGB). Scanarea se poate face fie intretesut, fie progresiv. In scanarea intretesuta, utilizata de monitoarele de televiziune analogica, un cadru este impartit in doua campuri: campul de sus (impar) continand liniile impare si campul de jos (par) continand liniile pare. Standardele video sunt caracterizate mai degraba de rata de campuri decat rata de cadre. Astfel PAL si SECAM utilizeaza 50 campuri/s (deci 25 de cadre/s), iar NTSC 59.94 campuri/s (deci 29.97 cadre/s). Scanarea intretesuta rezolva problema flikerului (ochiul uman necesita minim 40 cadre/s pentru a percepe o miscare continua). In scanarea progresiva fiecare cadru este scanat linie cu linie de sus in jos (un cadru are un singur camp, deci rata de cadre este identica cu rata de campuri). Se utilizeaza in multe monitoare de calculator si in DTV. Pentru unele specificatii video se adauga sufixul i sau p indicand tipul de scanare intretesuta sau progresiva. Raportul de aspect pentru televiziunea standard bazata pe CRT este 4:3 (1.33:1). Cu dezvoltarea HDTV mai ales dupa anul 2000 au fost dezvoltate noi echipamente de afisare, cu rezolutie mare si raport de aspect largit. Display LCD se bazeaza pe cristale lichide carora li se aplica curenti electrici emitand lumina. Avantaj: echipament plat (nu necesita spatiu ca la CRT). Furnizeaza o imagine foarte clara. Se utilizeaza pentru calculatoare si televiziune. Display plasma utilizeaza un gaz inert (xenon sau neon) caruia i se aplica tensiuni electrice. Curentul electric genereaza eliberarea de fotoni, care excita fosforul ce emite lumina vizibila. De asemenea poate fi plat si furnizeaza o imagine clara. Display DLP (digital light processing) utilizeaza un DMD (digital micromirror device), care are milioane de oglinzi microscopice aranjate intr-o arie rectangulara. Oglinzile sunt inclinate in unghiuri variabile pentru a proiecta lumina si deci culori pe ecranul display-ului. Popularitatea a rezultat din dimensiunile mai mari decat LCD si plasma, oferind claritate si rezolutie mare la un pret bun. Dezavantaj: nu este plat. Display-urile LCD, plasma si DLP au dimensiuni intre 30 si 100, un raport de aspect 16:9 (1.78:1), in trei versiuni: 1080i 1920x1080 cu scanare intretesuta 1080p 1920x1080 cu scanare progresiva 720p 1280x720 cu scanare progresiva. Acestea sunt valori de pixeli logici, adica poate accepta semnal cu aceste rezolutii per cadru. Rezolutia fizica de fabricatie poate sa fie diferita (de exemplu 1024x768), caz in care pixelii logici sunt mapati in pixelii fizici. De asemenea la redarea unui video DVD cu format standard 720x480 (3:2) pe ecranul unui calculator, se realizeaza maparea pixelilor logici in pixeli fizici, de exemplu 640x480 (4:3). O comparatie a rapoartelor de aspect 4:3 si 16:9 se face in figura urmatoare:

O alta caracteristica: raport de aspect pentru pixel. La televizor standard raportul este 0.9:1, iar la calculator este patrat 1:1. Trebuie sa se tina cont daca de exemplu se insereaza intr-un video o imagine realizata pe calculator.

Fiecare pixel este o combinatie a celor trei culori de baza RGB integrarea acestor culori intr-una singura se face de catre ochiul uman.

Camere video
In practica se utilizeaza trei formate de transmisie color (in ordinea descrescatoare a calitatii): componenta, S-video si compusa. Modelele color impart culoarea in trei componente. Pentru imagini digitale statice se utilizeaza adesea modelul RGB, culoarea fiind separata in trei componente rosu, verde si albastru. In video analogic modelele de luminanta/crominanta (cum sunt YUV si YIQ) sunt mai eficiente, acestea necesitand o componenta de luminanta si doua de crominanta. Cele trei componente de informatii se pot transmite intruna din cele trei modalitati: componenta, S-video si compusa, indiferent daca se transmit prin cablu sau prin aer. In video component (component video) se transmite cate un semnal separat pentru fiecare din cele trei componente de luminanta/crominanta. Exista trei conectori separati. Reprezinta cea mai buna si precisa solutie, eliminand interferentele.

S-video utilizeaza doua cai de date: una pentru luminanta si una pentru cele doua componente de crominanta. Conectorul:

Standardul S-video este utilizat de video Hi-8 si S-VHS.

Video compus (composite video) este un semnal video care este transmis numai printr-un singur canal, deci un singur canal de transmisie sau o singura conexiune fizica intre dispozitive. Exemplu: recorder VCR (video cassette recorder) cu banda VHS. Dezavantaj: pot sa apara interferente intre componentele de culoare si luminanta, astfel este cea mai slaba solutie.

Banda video. Initial transmisiile de televiziune erau live. Ulterior emisiunile au fost inregistrate prin tehnica kinescopie (se filma ecranul unui televizor, apoi filmul era proiectat si capturat din nou cu o camera video pentru tranmisie). Banda video a fost inventata in 1956 si a inlocuit treptat procesul kinescop. Camera video memoreaza pe o banda de plastic magnetizata imaginea linie cu linie, informatia video fiind depusa in diagonala, iar cea audio pe marginea benzii.

Camere video analogice. Camera video cea mai populara in SUA in anii 1980 (impreuna cu VCR corespunzator) a fost VHS, fiind apoi inlocuita cu formate avand rezolutie mai mare si o calitate mai buna a culorilor S-VHS si Hi-8, cu semnal S-video, caseta mai mica, deci si camera mai mica. De o calitate mai buna au fost camerele Betacam, utilizate in televiziune. Rezolutia verticala este data de numarul de linii dintr-un cadru. Numarul de linii pentru standardele NTSC, PAL si SECAM este 525, 625, respectiv 625. Rezolutia orizontala este doar o estimare (video analogic trimite un semnal continuu). Camere video digitale. Camera video digitala preia de asemenea intensitatea luminoasa care trece prin lentile, dar in loc sa o transforme in semnal analogic continuu, o codifica in valori de pixeli care pot fi memorati pe o banda video. Intre 1980 si 2000 formatele digitale au evoluat fiind desemnate prin D1 pana la D12 (fara D4 si D8). D1 reprezenta video digital necomprimat memorat pe banda de 19 mm (3/4) si transmis prin semnal component utilizand subesantionarea YUV 4:2:2, necesitand astfel o banda larga. D2 reduce largimea de banda prin transmiterea semnalului compus. Formatele video digitale comprimate apar in 1996 si sunt referite ca DV. Standardul DV, inclusiv compresia DV, a fost lansat oficial in 1999 si descris in documentul Blue Book, numit astazi IEC 61834 (International Electrotechnical Commisision, organizatie de standarde legata de ITU). Au urmat o serie de variante ale standardului, dintre care cel mai popular este Mini-DV (compact). Formatele DV au fost extinse pentru a include HDTV, primul a fost D6, format necomprimat, subesantionare de crominanta 4:2:2 si rata de biti 1.2 Gb/s. In 1997-1998 Sony a introdus HDCAM, un format de banda video HDTV, cu rezolutie 1440x1080, scanare intretesuta sau progresiva, subesantionare de crominanta 3:1:1 (preia un esantion de crominanta pentru fiecare trei esantioane de luminanta, reducand de la 9 la 5 octeti pentru fiecare 3 pixeli), compresie M-JPEG cu o rata de 135 Mb/s. HDV este un format de inalta definitie, lansat de JVC si Sony, adoptat de Canon si Sharp. Rata de date este 19.7 Mb/s pentru 720p si 25 Mb/s pentru 1080. Utilizeaza compresia MPEG-2. Utilizeaza aceeasi banda ca mini-DV.

Rezolutia si largimea de banda video analogic

Se considera o singura linie dintr-un cadru video: se poate reprezenta ca o forma de unda a carei amplitudine variaza in functie de intensitatea luminoasa (nivelul de gri) din imagine. Video analogic (cat si cel digital) are o rezolutie verticala fixa, numarul de linii per cadru. Rezolutia orizontala este o chestiune diferita: se poate specifica precis rezolutia orizontala pentru video digital, dar nusi pentru cel analogic. Pentru video analogic se pot specifica limitele, care depind de echipamentul video si de largimea de banda a semnalului. Se considera trei linii video, cu reprezentarea semnalelor corespunzatoare:

Rezolutia orizontala este o functie de componenta de frecventa cea mai mare a undei. In tabela de Camere video analogice se prezinta cateva valori pentru rezolutia orizontala. Se observa ca VHS are rezolutie mai mica decat Video-8, iar acesta mai mica decat S_VHS. Rezolutia orizontala este legata de largimea de banda (numarul de schimbari ale semnalului in unitatea de timp), masurata in cicluri pe secunda (este o masura de frecventa). Largimea de banda este setata de standardul video. De exemplu: NTSC specifica largimea de banda de 6 MHz (4.2 MHz pentru luminanta, 1.5 MHz pentru crominanta si restul pentru audio).

Relatia dintre largimea de banda si frecventa. Se considera o unda de frecventa maxima f, reprezentand schimbarile de luminanta (punctele de maxim sunt puncte albe, iar cele de minim sunt puncte negre). Astfel un ciclu (o perioada) a semnalului poate comunica doua puncte (piese de informatie): un punct alb si unul negru, puncte care daca sunt considerate esantioane rezulta o rata de esantionare 2f. Exemplu: frecventa maxima a undei este 10.000 cicluri/s, rezulta o rata maxima de 20.000 esantioane/s.

Rezolutia si largimea de banda video digital

In video digital standardul BT 601 a avut un rol determinant pentru trecerea de la video analogic la video digital. Un scop principal a fost interschimbul de fisiere video NTSC, PAL si SECAM. BT 601 a adoptat numarul de linii care erau standarde pentru NTSC si PAL analogic si a impartit liniile in esantioane, specificand din numarul total de linii si numarul total de esantioane, care este zona vizibila:

Medii de distributie video digital

Aceste medii sunt prezentate in tabelul urmator:

Productia de video digital, film si televiziune

Avantajele video digital in raport cu cel analogic:

-calitate mai buna, in special la nivelul consumatorului; -video analogic este mai susceptibil la zgomote; -este mai simplu de copiat video digital; -video digital poate fi editat neliniar, nu este necesara parcurgerea fisierului pana in punctul de editare; -editarea neliniara poate face separarea activitatii pentru imagine si pentru sunet; -munca de editare este mai usoara; -aplicarea unor efecte speciale (fade ins/outs, miscare lenta, background mattes, green screening, color adjustments) este mai usoara; -rezultatele inregistrarii pot fi vazute mult mai repede; -unele scene pot fi simulate digital, pentru a vedea daca pot fi functionale; -se elimina degradarea in timp a inregistrarii analogice.

Productia de film. Chiar daca inregistrarile video digitale sunt utilizate in cinematografie, multi producatori prefer inregistrarile pe film, deoarece filmul este furnizat intr-o varietate larga de granulatii si sensibilitati la lumina, ceea ce permite adaugarea unei tente artisitice in realizarea peliculei. Telcinema si pulldown. Telecinema inseamna procesul de transfer de pe film pe video, dar reprezinta si masina care face acest lucru (scanarea filmului cu inalta rezolutie). Scanarea se face cadru cu cadru. Unele dispozitive (flying spot scanners) exploreaza un cadru cu ajutorul unui spot subtire de lumina, care ajunge pe un receptor captusit cu fosfor, care separa undele corespunzatoare culorilor de baza R, G, B, rezultand un semnal electric video. Alte dispozitive utilizeaza tehnologia CCD, lumina trecand prin intregul cadru, fiind receptionata de CCD si translatata in semnal electric video. Dificultatea principala consta in ratele diferite de cadre (29.97 cadre/s la NTSC sau 25 cadre/s la PAL, respectiv 24 cadre/s pentru film). O solutie este sa se scaneze cele 24 de cadre/s, dar la redare sa se redea la rata standard video (merge pentru PAL si SECAM cu 25 de cadre/s, rezultand o accelerare usoara a miscarii). Integrare film si video digital pentru realizarea de productii comerciale. Etapele realizarii unei productii clasice sunt: preproductia (elaborarea scenariului, crearea bugetului, asamblarea echipei, selectarea locatiilor), productia (filmarile), postproductia (editarea filmului, efecte speciale, ajustarea culorilor si luminii, realizarea filmului final) si distributia (repartizarea la cinematografe, publicitate). In toate aceste etape se utilizeaza si calculatoare. In continuare se prezinta patru diagrame cu etapele pentru realizarea de productii comerciale:

Diagramele 3 si 4 prezinta cinematografia digitala, in care un consortiu de studiouri Digital Cinema Initiatives (DCI) impreuna cu SMPTE a dezvoltat un format comun de proiectoare si sisteme de sunet in sali de cinematograf digitale, care prevede rezolutii de 2048x1080 sau 4096x2160, 36 biti/pixel in modelul de culoare XYZ, compresie JPEG 2000, o rata maxima de 250 Mb/s si 24 biti/esantion audio cu o rata de esantionare de 48 sau 96 kHz necomprimat. Dintre avantajele cinematografiei digitale: usurinta de copiere a filmelor.

Curs 5 Textul Textul

Textul : Bloc informativ; Hypertext; Element de navigare; Element grafic care contine informatie.

Fonturi si caractere
Typeface = fata tipografica = o familie de caractere grafice care include mai multe marimi si fonturi Font = un set de caractere de o singura marime si stil si apartine unei fete tipografice particulare

 Ex. de stiluri tipice pt. un font = Bold (aldin), italic (cursiv) Marimea fontului -> data de puncte (dots) = 1/72=0.138 inch Elemente: Inaltime majuscula Inaltime Ascender Linie mediana Descender

Spatierea
Pe verticala: Spatiul adaugat sub descender = leading (in puncte) Un leading mediu = 20% din marimea caracterului Pe orizontala: Regular normala Condensed Expanded Kerning = ajustarea fina a spatiului intre perechi individuale de litere. Spatiul dintre 2 caractere alaturate se mareste o data cu cresterea dimensiunii lor aspect dizgratios (ex. A+V, T+A, Y+o) Fonturi monospatiate Courier Fonturi proportionate

Alinierea
Cel mai lizibil text = alinierea la stanga Cea mai estetica = alinierea la dreapta; lizib. proasta Cea mai formala, sigura, banala = alinierea centrata Alin. Justified = ilizib., inestetica, enervanta

Decoratii
Serif: Times, Bookman, Palatino Sans Serif: Arial, Futura, Zurich Tiparit: Serif in paragrafe ghideaza ochiul Sans-Serif titluri Computer: Sans-Serif la dimensiuni mici ale fontului

PostScript
1985 Apple Macintosh interfata grafica + program de editare texte + imprimanta= documente de calitate profesionala Caracterele desenate pe ecran de catre program si tiparite pe hartie ca niste contururi umplute cu pixeli de dimensiuni mici. Software-ul Adobe PostScript (PS) descrierea unei imagini in termeni matematici folosind curbe Bezier (grafica vectoriala) Desenarea vectoriala a tuturor elementelor grafice in PS: linii drepte (pozitia punctului de inceput resp. de sfarsit al liniei), arce (raza cercului), curbe (o pereche de ecuatii in functie de punctele finale si de control al curbei)

Standardul PS
Caracterele pot fi usor marite sau micsorate, arata identic la diverse marimi, afisarea se face mult mai repede (vs citit caracter de la tastatura, cautare intr-o tabela specifica fiecarui font, afisare forma caracter pe ecran ca bitmap corespunzator marimii)

 Fonturi PS: tipul 3 si tipul 1 Standardul TrueType - in 1989 exclusiv pt. tiparirea si afisarea fonturilor

Hipermedia
MM = text+grafica+imagini+sunete MM interactiva = utilizatorul decide ce si cand vizioneaza/aude Hipermedia = aplicatia dispune si de o structura de elemente legate intre ele prin care utiliz. poate naviga neliniar si interactiona Daca hipermedia include mult text => indexarea textului si legarea elementelor sale pt. acces rapid => sistem hypertext

Hipertext
Legaturi intre diferitele elemente ale structurii de date a unui doc. O legatura = o referinta la o componenta a doc. Elementul de la care se pleaca = element de ancorare (ancora) si poate fi un cuvant, o propozitie, un paragraf pt. hipertext sau o imagine, un grafic etc pt hipermedia

Parcurgerea doc.
Orice compon. a unui doc. Organizat ierarhic poate fi accesata parcurgand o anumita succesiune de legaturi. Exista 2 modalitati de parcurgere: Daca se cauta o anumita informative particulara particularizarea Daca se doreste sa se colecteze toate informatiile disponibile referitoare la un subiect diversificarea

Orientarea in hipertext
Avantajul doc hipertext accesarea neliniara, flexibila, a informatiilor Sunt permise definiri de legaturi atat catre alte doc., cat si dinspre alte doc. Pt. orientarea in hipertext: Drumul de intoarcere: punerea la dispozitia utilizatorului a unui mecanism de revenire in documentul anterior Pagina initiala (home page) orice document hipertext are un document de baza din care incepe explorarea Parcurgerea ghidata: autorii documentului propun utilizatorului un mod de parcurgere adecvat subiectului urmarit Accesarea prin continut: pp extragerea tuturor documentelor componente ce contin un anumit element de informatie

Software
Microsoft Word: doc. pe mm pag, coloane,figuri, modificarea fina a parametrilor unui font - calitate slabA Adobe Pagemaker- editor profesional Macromedia Fontographer LaTeX

MULTIMEDIA
1. Textul - Pentru mrimea caracterelor trebuie respectate urmtoarele reguli: Textul tiprit alb-negru pe format A4 cu caractere standard trebuie s fie de 12 puncte; Acelasi text pe un format mai mare care va fi citit de la o distant de sub 1 metru se recomand de 16 puncte; Pentru textul care se citeste de la o distant ntre 1 si 5 m se recomand 36-60 d puncte; Afisele tiprite de mare publicitate sunt scrise cu caractere mari care se msoar n centimetri Pe ecran cnd distanta de la ecran la public este de 15-50 de centimetri se recomand 14-16 puncte si de 12 puncte pentru informatia mai putin important; Odat cu cresterea distantei pn la 5 metri se folosesc caractere de 72 de puncte, (sub 5 metri se folosesc caractere de 24 de puncte dispuse pe cel mult 8-10 puncte).

2. Grafica - designul informational al aplicatiei care va determina culorile, structura si stilul graficii. Principii: Vizibilitatea Unicitatea subiectului Respectarea unei palete coloristice Contrastul. Regularitatea. Liniile cadrului. 3. Sunetul - permite interactiunea direct a utilizatorului cu aplicatia. unidirectional cnd aplicatia utilizeaz voce, muzic si alte sunete (bipuri). bidirectional - pe lng sunetul furnizat de aplicatie exist o optiune de interactiune a utilizatorului cu aplicatia (ex: nregistrarea de voce). nu se utilizeaz muzic impreuna cu voce dect n cazul n care muzica este de sine stttoare si nu se suprapune niciodat cu alte sunete sau voce! 4. Animatia reprezint elementul care deosebeste o aplicatie interactiv de celelalte sisteme media. Animatiile trebuie s respecte design-ul informational, precum si regula amplasrii obiectelor n pagin. Reguli: Background-ul animatiei s nu difere de cel al aplicatiei; Amplasarea luminii n aplicatie trebuie s tin cont de structura luminii (contrastului) graficii din pagina anterioar si posterioar; Cromatica utilizat n animatie nu trebuie s difere foarte mult de culorile folosite n aplicatie; Existenta unui contrast dintre paginile anterioare si ulterioare si animatie trebuie s fie realizat prin miscare, nu prin schimbarea structurii aplicatiei. Animatiile realizate pentru web trebuie astfel realizate nct s nu se distrug conceptul informational propriu al paginii, fiind concepute ca un element activ si preponderent informational al paginii.

PRINCIPII IN UTILIZAREA DE ELEMENTE MULTIMEDIA

Clipurile audio video sunt filmele formate din imagini n miscare captate de o camer video si apoi editate n cea mai clasic metod de film printr-o tehnologie digital. Este recomandat ca asezarea clipurilor s se fac spre mijlocul ecranului.

Curs 6 - Dezvoltarea aplicatiilor multimedia

Fazele de dezvoltare (ciclul de viata) ale unui sistem software:
Analiza cerintelor Proiectarea sistemului Implementarea Instalarea si integrarea Operarea si mentenanta Testarea si validarea Managementul

Aplicatii multimedia
o serie de cerinte specifice care necesita o abordare oarecum diferita accentul se va pune in primul rand pe realizarea unei interfete adecvate si pe satisfacerea cerintelor de timp real si de sincronizare a datelor multimedia si aici este necesara alegerea unui ciclu de viata adecvat si urmarirea unor proceduri si standard de dezvoltare in scopul obtinerii unei calitati maxime

Aspecte specifice diferitelor fazeale ciclului de viata Analiza

se va porni de la stabilirea cat mai precisa a grupurilor tinta carora le este adresata aplicatia. Apoi se vor analiza tipul si cantitatea de date avute in vedere. Se va tine cont in special ca planificarea fazelor sa aiba in vedere disponibilitatea acestor date. In multe situatii colectarea datelor poate avea o pondere foarte importanta in timpul total de dezvoltare. Pentru o cat mai buna planificare vor trebui consultati pe langa beneficiari si programatorii, web-designerii, administratorii sistemelor etc. Intrari: discutii cu clientii, documente de la clienti, modele oferite de client etc. Iesiri: planul de lucru, estimarea costurilor, estimarea personalului necesar, specificarea necesarului de software/hardware, consemnarea cerintelor, aprobari. Specificarea cerintelor: La specificarea cerintelor se va pleca de la consemnarea cerintelor identificate in faza de analiza. Acestea sunt analizate de echipa de dezvoltare si daca este necesar sunt discutate individual cu clientii, propunandu-le eventual si variante alternative. Dupa ce toata lumea le aproba, acestea sunt trecute explicit in documentul final impreuna cu responasbilitatile, termenele de executie si costuri implicate. Intrari: raportul de consemnare a cerintelor. Iesiri: documentatie de specificare completa a cerintelor, folosita atat de catre beneficiar cat si de echipa de dezvoltare.

Proiectarea aplicatiei
In dezvoltarea unei aplicatii multimedia se pleaca de obicei prin crearea unui prototip care sa prefigureze atat aranjarea interfetei si cat si aspecetele legate de navigare. Urmatoarea faza -> proiectarea stocarii datelor (de obicei intr-o baza de date) si rutinelor de afisare/prelucrare a acestora. Datorita complexitatii datelor, de obicei se prefera identificarea a cat mai multor componente externe care vor putea fi integrate in aplicatie. Intrari: documentul de specificare a cerintelor. Iesiri: proiectul aplicatiei incluzand prototipul interfetei sau machete utilizabile la implementare.

Implementarea aplicatiei
O faza initiala presupune conlucrarea resposabililor cu crearea interfetei cu persoanele responsabile cu editarea continutului. Importanta aceastei faze -> la o astfel de aplicatie accentul este pus pe continut si maniera de prezentare, nu pe prelucrarea complexa a datelor. Urmeaza apoi scrierea codului utilizand unul sau mai multe limbaje de uz general sau specializate. In aceasta faza atentia este concentrata pe integrarea armonioasa a aspectelor dinamice a.i. sa nu se modifice aspectul creat la proiectarea interfetei. In acest scop se vor folosi extensiv machetele propuse de catre designeri. Eventualele elemente de interactiune necesare suplimentar vor fi create impreuna cu responsabilii cu crearea interfetei. In aceasta faza se va scrie si documentatia de implementare si cea de utilizare. Implementarea fiecarei functionalitati va fi urmata de un set de teste care sa o valideze. Intrari: documentul de specificare a cerintelor. Iesiri: proiectul aplicatiei incluzand prototipul interfetei sau machete utilizabile la implementare.

Testarea
Si in cazul acestor aplicatii se pot folosi metode de testare clasice. Cu toate acestea exista si particularitati ale fazei de testare. O prima particularitate -> testele relationate de verificare a ratelor de transfer al datelor si uneori a perceptiei de calitate din partea unui utilizator uman. O alta particularitate este specifica mai ales aplicatiilor Web si se refera la testarea latimii de banda a aplicatiei, care va rula implicit intr-un mediu multiutilizator. Acest test de scalabilitate este greu de realizat pentru ca numarul de conexiuni care vor apare in situatia reala este greu de estimat. Un alt factor util este testarea timpului mediu de incarcare complete a unei pagini Web. In acest sens de un real folos este considerarea utilizarii tehnologiei Ajax pentru evitarea unor eventuale probleme. Intrari: executabilul (sau site-ul Web ruland pe un server), specificatia cerintelor si documentatia de utilizare a programului. Iesiri: rapoarte de testare, fisiere log de erori.

Instalarea, rularea si intretinerea

Instalarea aplicatiei necesita incarcarea pe un server Web si respectiv instalarea bazei de date aferente (daca este cazul). In cazul aplicatiilor Web trebuie avuta in vedere copierea tuturor fisierelor care sunt utilizate de respectivul site. Tot in acest caz in cadrul acestei faze apare si o operatie suplimentara numita "Promovare". Aceasta se refera la inregistrarea adresei pe site-uri de cautare, adaugarea unor meta-taguri utilizate de robotii de cautare Web si eventual plasarea unor bannere pe alte site-uri Web. Rularea aplicatiei implica verificari continue a scalabilitatii raportat in general la un contor de accese. Operatia de intretinere se aplica de obicei la modificarea datelor cuprinse in aplicatie (daca acestea nu sunt preluate "live" dintr-o baza de date a companiei). Tot aici trebuiesc facute si corectii daca se constata deficiente la rulare sau modificari dictate de aparitia unor noi tehnologii la serverele si browserele de Web. Intrari: executabilul (sau arhiva site-ului), date ale aplicatiei. Iesiri: aplicatie in stare de rulare.

Limbajul SMIL
Synchronized Multimedia Integration Language (SMIL) a fost creat in ideea de a reprezenta pentru multimedia ceea ce HTML reprezinta pentru hypertext. se bazeaza pe XML si pemite crearea de prezentari distribuite care sa integreze si sincronizeze elemente multimedia avand cele mai diferite formate. Incepand cu versiunea 2.0 SMIL a fost definit ca un meta-limbaj cu ajutorul notiunilor de modularizare si profilare. Din el pot fi derivate diverse limbaje ca subseturi ale standardului SMIL. Versiunea actuala este SMIL 3.0 si specificatia sa complete se gaseste pe paginile W3C SMIL 3.0. Ea este sprijinita de diverse companii in domeniul dezvoltarii de media printer care Macromedia, Adobe si RealNetworks. Microsoft s-a alaturat de asemenea acestui standard contribuind prin tehnologia proprie (HTML+TIME) si prin suportul in Internet Explorer.

Structura unui document SMIL

Un document SMIL - similar ca si structura cu un document HTML. Este compus din: o sectiune <head> care va cuprinde formatarea generala si metainformatiile o sectiune <body> care va contine prezentarea cu informatiile de sincronizare si interactivitate. Sectiunea <body> cuprinde in general o combinatie de entitati definite prin trei taguri structurale (<seq>, <par> si <excl>). Prin tagul <seq> se pot defini playlist-uri simple, secventiale; prin <par> -> zone si straturi multiple de redare in paralel; prin <excl> -> evenimente exclusive declansate prin intreruperi. SMIL utilizeaza adrese URL pentru a desemna obiecte media, permitand reutilizarea acestor obiecte si pastrearea lor in mod distribuit pe diverse servere. Pentru transferuri se poate preciza si largimea de banda asociata acestora.

Structura de baza a unui document SMIL

Se aseamana cu cea a unei pagini HTML: <smil> <head> <meta> informatii </meta> <layout> <!-- pozitionare si afisare --> </layout> </head> <body> <!-- componente multimedia si sincronizare --> </body> </smil>

Sectiunea <layout>
Permite crearea "scenei" pe care vor evolua entitatile multimedia din prezentare. Entitatile (componentele) multimedia din sectiunea <body> sunt definite prin adrese URL, li se atribuie un nume (handler) si pot avea diverse formate: imagini, animatii, streamuri video, clipuri audio sau video, fisiere text, fisiere flash si alte formate pentru care exista instalate playere specifice. Metainformatii SMIL Metainformatiile din sectiunea <meta> reprezinta atribute ale documentului. Cele mai folosite atribute sunt: abstract, author, base, copyright si title. Ex: <meta name="title" content="My SMIL Presentation"/>

Modulul SMIL Media Objects

Limbajul SMIL nu permite crearea de elemente media. Pentru realizarea unei aplicatii obiectele media trebuie referite extern. Tipuri de elemente media (tipul final este identificat din continutul fisierului sau de tipul MIME transmis de catre server): <animation> Utilizat pentru animatii (ex. SVG sau GIF animat). <audio> Utilizat pentru secvente audio (ex. mp3 sau rm). <brush> Permite specificarea unei culori, poate fi utilizat si pentru umplrea unei regiuni in locul unui element. <img> Utilizat pentru imagini digitale (ex. gif, jpg, png). <param> Utilizat pentru transmiterea de parametrii pentru elemente complexe (ex. prezentari flash). <ref> Utilizat pentru un tip de media pe care nu stim singur cum sa-l incadram. <text> Utilizat pentru definirea de text static. Poate proveni si dintr-un fisier text sau HTML. <textstream> Utilizat pentru text dinamic. <video> Utilizat pentru fisiere video (avi, mpeg, rm). Atribute specifice: - alt Permite specificarea unui text alternativ ce va fi afisat daca elementul respectiv nu este suportat de catre player. - clipBegin, clipEnd Permit specificarea unei portiuni dintr-un clip care va fi redata de catre player. - color Permite specificarea unei culori pentru un element de tip brush (nume culoare sau RGB in hexa). - erase Permite specificarea comportamentului dupa incheierea rularii clipului (whenDone obiectul este eliminat din scena, never - obiectul este pastrat pe scena). - src Permite specificarea adresei unui obiect extern care va fi referit pentru a fi inclus in prezentare. - sensitivity Permite specificarea modului in care obiectul interactioneaza cu utilizatorul (daca este opaque va opri evenimentul utilizatorului iar daca este transparent va lasa sa treaca evenimentul spre elementele de sub el). - title Permite specificarea titlului unui obiect. Cand devine activ playerul va afisa acest titlu (nu exista insa un mod standard de afisare).

Modulul SMIL Transition Effects

Acest modul permite controlul modului in care se face trecerile intre elementele unei prezentari. El contine doua elemente: <transition> Utilizat la definirea in sectiunea head a fiecarui fel de tranzitie posibil de folosit cu elemtele din sectiunea body. Un fel include un anumit tip de tranzitie, de o anumita durata si avand diferiti parametrii specifici prestabiliti. <transitionFilter> Utilizat daca se doreste specificarea unei tranzitii direct la un element. Pentru aceasta va fi definit direct ca si copil a acelui element. Atribute specifice: - begin, end Permit specificrea momentelor in care incepe / se incheie o tranzitie. Observatia este ca tranzitia nu poate influenta timpul total de afisare a obiectului (daca

timpul de afisare se incheie inaintea incheierii tranzitiei, obiectul va dispare de pe ecran inainte de terminarea tranzitiei). - direction Permite specificarea directiei in care actioneaza tranzitia (forward sau reverse). - dur Permite specificarea duratei tranzitiei. - fadeColor Permite specificarea culorii de final a unei tranzitii. - from, to Permite specificarea portiunii de tranzitie care ruleaza (intre 0.0 si 1.0). - horzRepeat, vertRepeat Permit duplicarea tranzitiei pe suprafata obiectului pe orizontala si verticala (>=1). - mode Permite specificarea sensului tranzitiei (in sau out). - type, subtype Permite specificarea tipului si subtipului tranzitiei (fade, slideWipe, barWipe, boxWipe, fourBoxWipe, barnDoorWipe, diagonalWipe, bowTieWipe, veeWipe, barnVeeWipe, zigZagWipe, barnZigZagWipe, irisWipe, triangleWipe, eyeWipe, starWipe, clockWipe, spiralWipe etc.) / (left, up, right, down, horizontal, vertical, topLeft etc.).

Modulul SMIL Animation

Modulul de animatii permite cresterea expresivitatii unei prezentari SMILE. A fost introdus din versiunea SMILE 2.0. Principalele elementele pachetului sunt: <animate> Implementeaza diverse tipuri de animatii controlabile prin parametrii specifici. <set> Permite schimarea valorii unui parametru asociat unui element (ex. pozitia) pentru o anumita perioada de timp. <animateMotion> Implementeaza deplasarea unui element dealungul unui drum liniar definit prin punctul de destinatie. <animateColor> Implementeaza animarea culorii unui element pentru o anumita perioada de timp (ex. schimbarea culorii unui text). Atributele specifice sunt: - attributeName Permite specificarea atributului care va fi modificat de animatie (ex. left, soundLevel, panZoom etc.). - from, to Permite specificarea punctului de unde incepe / se termina animatia. - by Permite specificarea unui deplasament relativ. - values Permite specificarea unei liste de valori pentru animatia curenta. Continutul listei depinde de atributul (attributeName) modificat de animatie. - dur Permite specificarea duratei animatiei. - begin /end Permit specificarea inceputului / sfarsitului unei animatii.

CURS 7 - Paradigme de programare (design) multimedia

Paradigm de sistem authoring = metodologia prin care acesta ajunge la rezultatul de proiectare propus Limbaje scripting Paradigma script - cea mai apropiat de programarea tradiional. Paradigma este cea a unui limbaj de programare care specific elemente multimedia, secvene, sincronizri, etc, n liste de comenzi executate fr a interaciona cu utilizatorul. Un limbaj de programare script puternic i orientat pe obiecte este n general centrul unui asemenea sistem. Editarea elementelor (grafic, video, audio) n cadrul programului este minim sau inexistent. Limbajele script sunt variate (difer i ct de mult sunt orientate pe obiecte). Paradigmele script consum mai mult timp de programare (necesit mai mult timp pentru codarea fiecrei interaciuni), ns dau posibilitatea unei mai puternice interactiviti i dinamism. Cum cele mai multe script-uri sunt interpretate i nu compilate, ctigul n viteza de rulare asupra altor paradigme este minimal. Exemple: Limbajul Lingo dezvoltat de Macromedia, JavaScript dezvoltat de Netscape.

Controale cu pictograme i linie de derulare

Aceasta pare a fi metoda cea mai rapid de proiectare multimedia. Multe dintre aceste instrumente sunt optimizate pentru dezvoltarea unor programe de nvare cu ajutorul calculatorului (CBT - Computer-Based Training). Centrul acestei paradigme este paleta de iconuri ce conine funciile i interaciunile posibile din program i linia de derulare ce conine legturile dintre icon-uri. Programele sunt lente deoarece fiecare interaciune conine toate permutrile posibile. Authorware sau IconAuthor sunt programe puternice i sunt afectate cel mai puin de viteza de derulare.

Distribuire / Notare / Script-uri

Elementele sincronizate sunt prezentate ca bare orizontale (track-uri) cu simultaneitate pe coloane verticale. Avantajul acestor instrumente const n posibilitatea de a descrie printr-un script derularea i caracteristicile fiecrui membru repartizat. Unul dintre cele mai utilizate instrumente este Macromedia Director, care este utilizat n multe dintre aplicaiile comerciale. Aceste programe sunt cele mai potrivite pentru aplicaii sincronizate, sau cu mult animaie.

Proiectare cu Tag-uri
Acest gen de proiectare utilizeaz tag-uri (adnotri) n fiiere text, pentru legturi ntre pagini, inserare de elemente multimedia, sau interactive. Exemple: SGML, HTML, VRML, 3DML

Design Multimedia
Proiectarea coninutului Proiectarea tehnic Proiectarea vizual

Proiectarea coninutului -1
n multimedia sunt cinci ci de formare i transmitere a informaiei: aceasta poate fi scris, ilustrat, auzit, transmis prin animaii, sau interactiv. Scrierea informaiei: nelegerea auditoriului i adresarea corect ctre acesta. Pstrarea unei forme ct mai scurte (ex. scrierea ntregului mesaj i apoi scurtarea formei). Asigurai-v c tehnicile utilizate se completeaz reciproc. Grafica (ilustrarea): Utilizarea de imagini care transmit efectiv un mesaj. Creai-v singuri grafica (desen, scanare, photo-CD,...) sau pstrai imaginile clasice din Works. Personalizarea stilurilor pentru font-uri i culori (pastelate, naturale, metalice, culori primare, culori neon). Audio: Tipuri de aplicaii multimedia audio: Muzic (potrivirea la caracterul aplicaiei, amplificarea emoiilor, sublinierea ideilor) Efecte sonore (pentru marcri specifice, de ex. zgomote de ui, explozii, vnt, ...) Vocal - cel mai direct mesaj, adesea cel mai eficient. Animaii: Tipuri de animaie: animarea caracterului - umanizarea obiectelor (de ex. a unei cutii de Cola, a unei periue de dini, a unei maini).Factori n alegerea caracterului: - emoia (fericit, suprat, distractiv, ...) - micarea (este rapid, ncet, mpiedicat) - stilul vizual (consistena culorii sau texturii cu restul) - Copyright (verificarea dreptului de autor) adecvarea (potrivirea n diferite posturi) efecte de strlucire (luminozitate) i de spargere sau ptrundere (ex. ptrunderea unui cuvnt n sau dinspre ecran, spargerea unui logo) pentru atragerea ateniei. micarea textului (ex. efect de main de scris, efecte pulsatorii, creterea / micorarea cuvntului sau schimbarea culorii de cteva ori.

Proiectarea coninutului -2
OBS: a nu se mica ncet ntreaga linie de text fiindc nu este lizibil; n loc de aceasta micai spre interior sau spre exterior marcaje ca sgei, cercuri, etc. Video ++ : mai puternic dect imaginile statice ++ : de cele mai multe ori mai uor de obinut dect animaiile grafice -- : ocup spaiu mare pe disc -- : uneori necesit hardware special Cnd folosim animaia: pentru mrirea impactului emoional ex. - un porumbel d uor din aripi - pace explozia unui air bag + micri dezordonate - accident de main pentru sublinierea unei idei ex. - inserarea unui cip de memorie ntr-o plac de baz (mai sugestiv dect prezentarea unei diagrame) pentru mbuntirea transmiterii informaiei ex. - distorsionarea sau "pulsarea" cuvintelor (spre / dinspre ecran) pentru indicarea scurgerii timpului ex. - ceas / clepsidr pentru indicarea rulrii programului text animat pentru invitaie la interaciune / rspuns pentru marcarea tranziiei ctre urmtorul capitol ex. - efect de rsfoire a crii sau micare a ntregii imagini, fcnd loc celei noi efect de dizolvare - imaginea curent se distorsioneaz ntr-o form neinteligibil, fcnd loc celei noi efect de tergere treptat total, urmnd pagina urmtoare, ca evideniere a schimbrii totale a ideii efect de tiere pentru evidenierea nchiderii unui capitol Interactivitatea introducei interactivitate n sistemele multimedia!!! mul reine 70% din ceea cu ce interacioneaz Tipuri de aplicaii multimedia: programe / prezentri cu meniuri i submeniuri ntr-o structur ierarhic Hipermedia: ++ : - mai puin structurat, cu legturi ntre subcapitolele aceluiai subiect - neliniar, acces mai rapid la informaie. ++ : - introducerea simpl a facilitilor multimedia - - : - se poate pierde din esenial din prea mult navigare Simulatoare / teste de performan

Proiectarea tehnic
Factori tehnici ce pot limita ambiiile prezentrilor multimedia: Parametrii tehnici care afecteaz proiectarea i transmiterea aplicaiilor multimedia: modul video i platforma computerului (PC, Macintosh) - exist software "portabil" sau "cross - platform", dar multe programe i pierd din calitate i performan prin translatare. Modul Video Rezoluia Nr. culori ------------------------------------------- CGA 320 x 200 4 MCGA 320 x 200 256 EGA 640 x 350 16 VGA 640 x 480 256 S-VGA 1.024 x 768 >= 256 S-VGA 1.280 x 1.024 >= 256 mrimea memoriei i spaiul pe disc suportul de furnizare (prezentri directe - "live", pe disket, pe CD, electronic - ftp, www)

Proiectarea vizual
Factori ce trebuie luai n considerare n proiectarea vizual a prezentrilor multimedia: Teme i stiluri - o prezentare multimedia trebuie s aib o tem (stil) consistent i nu trebuie s fie segmentat n teme multiple - alegerea unei teme sau stil se face n concordan cu caracterul i emoiile auditoriului Lungimea capitolelor i pauzelor - asigurai pentru fiecare bloc de text timpul necesar de a fi citit ncet de dou ori - timpul de tranziie trebuie adecvat efectului (la efectul de dizolvare trebuie asigurat un timp suficient) - lungimea prezentrii: - prezentri auto - derulabile: 2-3 min. - interaciune limitat: 5-6 min. - demonstraie analitic complet < 15 min. - ntrebri, discuii > 30 min. - asigurai pauze pentru prezentri lungi Schema general (a) Titlu, (b) Arie de acoperire, (c) Naraiune, (d) Dialog, (c) Controale interactive - asigurai o cale neregulat, cu tranziii interesante de furnizare a informaiei - utilizai sublinieri, subtitluri, marcaje colorate, butoane, font-uri, texturi, fundaluri pentru mbuntirea aspectului vizual.

CURS 8 - Sisteme de watermarking pentru securizarea coninutului multimedia Watermarking scurt istoric
informaie ascuns n text, imagini, date audio sau video modificare perceptibil (watermark vizibil) sau imperceptibil (watermark invizibil) a acestora Termenul watermarking n secolul al XIII-lea n Fabriano, Italia pentru marcarea i identificarea hrtiei watermarking deoarece urmele formate de marcajele prin fire erau percepute ca suprafee de ap pe articolele marcate subdomeniu al steganografiei steganografie: steganos (acoperit, ascuns) graphia (scris) steganografia = scrierea ascuns criptografia - codeaz mesajul pentru a fi neinteligibil pentru persoane neautorizate steganografia - ascunde existena mesajului Exemple istorice: Egipt, acum 4000 de ani informaii n mormntul unui nobil prin substituiri de simboluri hieroglifice Grecia Antic mesaj scris sub vopseaua unei mese tunderea mesagerului i tatuarea mesajului sau a unei imagini pe cap marcarea diferitelor litere dintr-un text cu cerneal invizibil Exemple istorice: watermark vizibil pentru marcarea bancnotelor Johannes Trithemius (1462-1526), un clugr german, a codat litere folosind cuvinte religioase Giovanni Baptista Porta (1593) - utilizarea unei mti Exemple istorice: sec. XVII, episcopul Francis Godwin

 watermarking pentru protecia drepturilor de autor nume n prima liter a fiecrui capitol din cartea sa Bach watermark audio scriind B-A-C-H n notemuzicale prin numrul de apariii a unor note 1950 Muzak Corporation identificare autor prin watermarking audio aplicarea intermitent a unui filtru ngust n semnalul audio folosind un cod bazat pe codul Morse n al doilea rzboi mondial tehnicile de steganografie erau deja larg rspndite serviciul potal din SUA a interzis mai multe obiecte ce ar fi putut ascunde mesaje (jocuri de ah, reviste de cuvinte ncruciate, fragmente de ziar) mesaj transmis de un spion german: Apparently neutrals protest is thoroughly discounted and ignored. Isman hard hit. Blockade issue affects pretext for embargo on by-products, ejecting suets and vegetable oils. extrgnd a doua liter a fiecrui cuvnt se obine: Pershing sails from NY June 1. tehnicile steganografice folosite ca amprent: Premierul Margaret Thatcher a ordonat ca editoarele de text s fie astfel reprogramate identitatea utilizatorului s fie codat n spaierea dintre cuvinte n 1988, Komatsu i Tominaga au fost primii care au folosit termenul digital watermarking pentru sistemul lor de autentificare a imaginilor nceputul unei cercetri intense a fost o lucrarea scris de Cox i al. n 1996: Secure Spread Spectrum Watermarking for images, audio and video watermark digital = semnal digital inserat ntr-un document digital (text, audio, imagine, video) Clasificare n funcie de perceptibilitate watermark vizibil descurajarea utilizrii neautorizate reducere a valorii comerciale a documentului watermark invizibil watermark imperceptibil pentru ochiul/urechea uman poate fi extras de ex. pentru a caracteriza proprietarul WATERMARK VIZIBIL:

Watermark digital
Motivaie: distribuia coninutului multimedia digital este tot mai mai rapid, mai facil utilizatorii multimedia au posibilitatea s modifice, s produc copii ale coninutului digital i s le distribuie ilegal produsele i serviciile multimedia digitale nu pot fi lansate corespunztor n comerul electronic necesitatea rezolvrii acestei probleme de securitate Abordri convenionale: n lumea analogic semnturi, tampile, portrete, sigla n lumea digital criptografie watermarking Criptografie odat ce documentul digital este decriptat, nu mai este protejat poate fi copiat i retransmis Watermarking Informaia de copyright este ascuns n documentul digital nu se pierde la copiere/retransmitere obiectivul este s rmn permanent n documentul gazd i s nu poat fi eliminate

Cerinele unui sistem de watermarking

Transparen perceptual s nu poat fi detectat de ochiul/urechea uman s nu afecteze datele gazd Robustee s rmn permanent n datele gazd rezistent la procesri de semnal i distorsiuni neintenionate rezistent la atacuri intenionate Securitate cunoaterea exact a algoritmului de ascundere i de extragere a watermark-ului nu ajut o parte neautorizat s extrag watermark-ul

nu e uor s inserezi un watermark robust teoretic orice watermark poate fi eliminat practic, eliminarea poate face datele inutilizabile efortul de eliminare > valoarea datelor originale provocare: compresia datelor orice spaiu liber pentru inserare poate fi eliminate prin compresie

Domenii de aplicabilitate
Protecia drepturilor de autor Amprentarea Protecia la copiere Monitorizarea emisiei Autentificarea datelor Indexarea Sigurana medical Ascunderea datelor

Watermarking invizibil pentru text

Codarea distanei ntre linii (Line Shift Coding) Codarea distanei ntre cuvinte (Word Shift Coding)

Tehnici de watermarking pentru imagini

Cele mai utilizate tipuri de metode: 1. Metode LSB (Least Significant Bits) 2. Metode cu spectru mprtiat (spread spectrum) 3. Metode bazate pe cuantizare

Metode LSB
cele mai simple metode de watermarking biii cei mai puini semnificativi conin informaie invizibil pentru ochiul uman se modific aceti bii pentru a insera biii de watermark de regul se aplic n domeniul spaial metode rapide metode puin robuste la atacuri

A. nlocuire a planului de bii

se nlocuiete bitul i cel mai puin semnificativ al luminanei sau componentei de culoare cu un bit de watermark un bit de watermark n LSB al fiecrui pixel => capacitate mare: Imagine cu nuane de gri de 512x512 pixeli:

Watermarking cu spectru mprtiat

watermarking = sistem de comunicaii imaginea (sau o transformat) = canal de comunicaie watermark = semnal transmis prin canal watermark-ul este mprtiat n banda disponibil, ponderat i nsumat peste semnal

Tehnici de watermarking bazate pe cuantizare

Modulaia indicelui de cuantizare (QIM) watermark inserat n datele gazd prin cuantizarea acestora n domeniul spaial sau orice domeniu transformat fie watermark-ul fie X un eantion al datelor gazd: luminana, crominana unui pixel (domeniul spaial) coeficientul unei transformate a imaginii (domeniul transformat)

mbuntirea calitii imaginilor cu watermark

exploatarea efectelor de mascare ale sistemului vizual uman (SVU) mascare de contrast sensibilitate spaial mascare de luminan mascare temporal fenomene de focalizare a ochiului uman analiz prin teste perceptuale toate acestea cresc complexitatea algoritmului

mbuntirea calitii imaginilor cu watermark

Exemplu ochiul uman mai puin sensibil la zgomot n zone cu textur dect n zone uniforme ale unei imagini compresia pstreaz intacte zonele cu textur i marginile, cuantiznd n schimb zonele uniforme cu un Q mare => watermark-ul ar trebui inserat n zone perceptual importante ale imaginii => un atacator nu poate ndeprta uor watermark-ul fr a cauza o distorsiune important

mbuntirea calitii imaginilor cu watermark

principiul de mascare de contrast a SVU scderea vizibilitii unui semnal n prezena altui semnal mai puternic efect mai puternic dac ambele componente sunt de aceeai fr.

 Ex: ponderarea energiei watermark-ului n funcie de valoarea coeficientului din domeniul frecven

mbuntirea calitii imaginilor cu watermark

sensibilitatea spaial a SVU fenomenul de difereniere mai uoar a modificrilor din regiuni de contrast sczut, n comparaie cu schimbrile din regiunile de contrast mare Ex: determinarea puterii i regiunii de inserare a watermark-ului n funcie de energia total a coeficienilor AC din acel bloc

mbuntirea calitii imaginilor cu watermark

principiul de mascare de luminan a SVU ochiul uman este mai puin sensibil la contrast n zone ntunecate sau luminoase, n comparaie cu zonele de luminan medie watermark-ul este ponderat cu o masc vizual, avnd la baz acest lucru Ex: putere mai mare a watermark-ului n zone de intensitate foarte mic sau foarte mare praguri de contrast, pentru determinarea locaiei i puterii watermark-ului pragul de contrast = nivelul minim de contrast pentru ca o gril sinusoidal s fie vizibil creterea pragurilor de contrast pentru caracteristicile de mascare ale SVU

Creterea robusteii la atacuri

posibiliti de a crete robusteea la atacuri a unei metode date: inserare redundant a aceluiai watermark Ex: acelai watermark n fiecare bloc de 8x8 coeficieni DCT inserarea de watermark-uri diferite

 Ex: watermark-uri care sa fie rezistente la diferite tipuri de atacuri utilizare de coduri corectoare de erori

Creterea robusteii la atacuri

Utilizare de coduri corectoare de erori Permit decodorului s decodeze corect mesajul ntr-un mediu zgomotos Exemplu: A -> 00 -> 00000 B -> 01 -> 10110 C -> 10 -> 01011 D -> 11 -> 11101 cod [m, n] cu dimensiunea cuvntului de informaie de n bii i dimensiunea cuvntului de cod de m bii acesta reduce dimensiunea util a watermark-ului de R = m/n ori

Creterea robusteii la atacuri

distana Hamming d(x,y) dintre dou cuvinte de cod x i y este nr. de poziii n care biii difer Ex: pentru exemplul anterior: d(A,B) = 3, d(A,D) = 4, fie C un cod [m, n] distana Hamming a codului C este: d = min { d(x,y) | x, y fac parte din C, x y} Ex: pentru codul din exemplu d = 3

Creterea robusteii la atacuri

Fie C un cod [m, n] avnd distana Hamming d=2e+1 Atunci: C poate corecta e erori C poate detecta 2e erori pentru codul din exemplu d=3 poate corecta 1 eroare poate detecta 2 erori