Aplicaii multimedia

Cap. 2 sunetul

Marius Oteteanu

Ce este sunetul? (I)

Sunetul reprezint energia unei vibraii transmis printr-un mediu Pentru ca sunetul s existe pentru oameni sunt necesare:
Generare Transmisie mediu solid (pmnt) lichid (ap) gazos (aer) absena mediului (vid sau spaiu cosmic) lipsa sunetului Percepie urechile recepioneaz sunetul i convertesc presiunea aerului n impulsuri nervoase transmise la creier

Ce este sunetul? (II)

Presiunea sunetului + Presiunea atmosferic T t

Constituie sunet:
Muzica (tipare ce se repet, simple sau complexe) Zgomotul (n absena tiparelor perceptibile) Vorbirea (comunicare inteligibil)

Scri diatonice i cromatice (I)

Scara diatonic (8 trepte) provine din proprietile unei corzi care vibreaz:
O coard care vibreaz genereaz un anumit nivel (pitch): nivel fundamental Intervalele din scara diatonic pot fi obinute n urmtorii pai:
1/2 L 2 n o octav 1/3 L 3/2 n 1/4 L 4/3 n 1/5 L 5/4 n
1 9/8 5/4 4/3 3/2 5/3 15/8 2

L - lungime; n - nivel

Scri diatonice i cromatice (II)

Problema:
diferite 9:8 10:9 16:15 intervale ntre tonuri: ton major ton minor semiton DA: ncepnd cu c NU: ncepnd cu e

Soluia:
scara cromatic (13 trepte) Acelai interval: 1.0595 Semiton cromatic

Surse de sunet
Sursa de sunet voce normal voce puternic clarinet flaut violoncel trompet pian org orchestr Putere acustic [W] 25 50 10-6 1 10-3 0,05 0,06 0,16 0,3 0,3 0,4 13 50 70 Banda de frecvene [Hz] 100 8000 100 8000 140 10000 250 9000 70 9000 160 9500 70 6500 30 9000 35 14000

Mrimi uzuale:
Banda de frecven necesar: 30 15000 Hz Dinamica intensitii: 0.00001 100 W (7 decade)

Decibelul (I)
Urechea uman are o caracteristic logaritmic a sensibilitii permite auzirea sunetelor de intensitate foarte sczut mpiedic rnirea urechii de ctre zgomote de nivel foarte ridicat Astfel, pentru exprimarea nivelului de sunet este adecvat utilizarea mrimilor logaritmice, cum ar fi decibelul Nivelul este comparat cu o valoare de referin i se poate scrie sub forma: tensiune: U nU = 20 log X [dB ] U REF putere:

nW = 10 log

PX P REF

[dB ]

Decibelul (II)

Exerciiu:
Calculai n dB banda necesar: 0.00001 100 W Cte decade tensiune? vor corespunde puterii acustice

pentru

banda

de

Nivelul sunetului (I)

dB
> 130 130 120 110 100 90 100000 1000000 1013 1012 1011 1010 109

U/UREF

P/PREF

Sursa sunetului i efectele acestuia

poate cauza pierdrea instantanee i permanent a auzului orchestr cu 75 instrumente cntnd fortissimo ciocan-dalt mare main de nituit automobil pe autostrad erori la locul de munc (dac sunt frecvente duc la pierderea auzului)

Nivelul sunetului (II)

dB 80 70 60 150 40 30 20 10 100 1000 U/UREF 10000 P/PREF 108 10000000 1000000 100000 10000 1000 100 Sursa sunetului i efectele acestuia imposibil utilizarea telefonului tren (provoac aciune colectiv puternic) magazin (provoac ameninri de aciune colectiv) birou (provoac plngeri izolate) zon rezidenial n timpul nopii oapt foarte nceat sunet de studio

Timbru (I)
S1

T1

S2

T2 = T1

Sunetele muzicale nu sunt pure frecvene nesingulare amestec complex de frecvene similare: frecvena fundamental frecvenele sale armonice Aceast complexitate furnizeaz calitatea caracteristic a sunetului, numit timbru Aprecierea timbrului rezult din nvare i asocieri anterioare Oamenii pot distinge aproximativ 400000 sunete diferite (rezoluie ridicat a sunetului)

Timbru (II)

Exemplu:
Aceeai not (un La)este cntat la un oboi i un pian Nota are aceeai frecven fundamental (440 Hz) Cele dou instrumente sunt diferite prin frecvene armonice (forma semnalului) Sunetele sunt diferite, permind urechii s disting ntre cele dou note

Diagrama de audibilitate

(I)

domeniul infrasonic

domeniul de audibilitate uman 20 Hz

domeniul ultrasonic

17 20 kHz

Oamenii percep
o variaie neliniar cu frecvena sunetului (mai bine n banda 1 4 kHz) o foarte larg gam de nivele (gam dinamic mare)

Diagrama de audibilitate
[dB] 120 100 80 60 40 20 0 pragul de audibilitate 100 1k muzic muzic voce

(II)

pragul senzaiei dureroase

10k

f[Hz]

Sensibilitatea urechii umane (I)

nivelul sunetului C A B nivel de audibilitate

f[Hz] 20 200 2k 20k

Mascarea componentelor sonore

sensibilitatea variaz neliniar cu frecvena sunete de acelai nivel sunt percepute diferit: A nivel nalt sunet auzit B nivel sczut sunet auzit C nivel nalt sunetul nu se aude

Sensibilitatea urechii umane (II)

nivelul sunetului A B nivel de audibilitate modificat temporar

f[Hz] 20 200 2k 20k

dac componente cu frecvene apropiate apar concomitent mascarea sunetelor cu nivel sczut: A nivel mai nalt sunet auzit B nivel nalt sunetul nu se aude dac componente succesive cu aceeai frecven sunt apropiate n timp mascarea sunetelor cu nivel sczut care urmeaz

Muzic n multimedia
Motive pentru utilizarea muzicii n multimedia: s atrag un public s asigure ambiana s accentueze emoii (folosirea pianului la filmele mute) s creeeze un context (o pies clasic dintr-o anumit perioad sau regiune geografic) s exprime lucruri care nu pot fi spuse s furnizeze indicii despre oameni, animale s permit suprapunerea sunetelor Aceste motive sunt practic identice cu cele din cinematografie genul filmului va afecta selecia muzicii o arie fascinant care adesea este neglijat de designerii multimedia este legtura dintre muzic i emoii

Voce i sunet n multimedia (I)

Folosirea vocii i a sunetului n aplicaii multimedia are avantaje i dezavantaje, n funcie de aplicaia particular care trebuie proiectat Dezavantajele sunetului
necesit o capacitate mare de stocare calitatea reproducerii poatevaria ntre maini poate ncetini viteza altorelemente multimedia pentru a produce sunetul este nevoie de timp sunetele necorespunztoare pot deranja utilizatorul suprtoare pentru cei aflai n apropiere

Voce i sunet n multimedia (II)

Avantajele vocii
fiind o form natural de comunicare, implic pregtire limitat poate aduga curiozitate sunt posibile versiuni n mai multe limbi prezint interes pentru utilizator datorit noutii este hands free, oamenii se pot misca liber n timpul derulrii aplicaiei folositoare oamenilor cu control redus asupra membrelor sau cu deficiene motoare permite utilizatorilor orbi s interacioneze cu sistemele

Achizitia sunetului
Calitatea sunetului utilizat n aplicaiile multimedia depinde de diversi factori care trebuie maximizai: studio de nregistrare pentru calitate ridicat mediu ct de silenios posibil tipul microfonului adecvat sursei sonore i mediului poziia microfonului conform cu regulile tehnice cablarea distan scurt i zgomot sczut stocarea sunetului determin calitatea final a sunetului reducerea zgomotului tehnici standard (DNR, Dolby) rata de eantionare un compromis cu spaiul de stocare experimentul sunt necesare cteva nregistrri mastering recomandabil pe suport digital (DAT) post-producie procesare digital a semnalului pe PC (editare, reducerea zgomotului)

Microfonul (I)

Traductor care convertete energia sonor ntr-un semnal electric analogic Calitatea sunetului captat este determinat de diveri factori, cum ar fi:
calitatea mediului acustic amplasarea microfonului n mediul respectiv proiectarea microfonului nsi

Microfonul (II)
Microfoanele se pot clasifica dupa dou criterii:
1. tipul traductorului dinamic condensator ceramic carbon 2. proprietile acustice omni-direcional (a) direcional bidirecional (b) cardioid (c) hipercardioid (d)

Reducerea zgomotului la redare (I)

Zgomot = semnal de nivel sczut i cu frecven medie spre nalt un astfel de semnal poate fi identificat i rejectat (poart de zgomot)

Exemplu: limitatorul dinamic de zgomot de la Philips DNL (Dynamic Noise Limiter)

IN inversor 180 FTS 4 kHz amplificator limitator comutator controlat

cale direct

OUT

IN: semnal cu zgomot OUT: semnal cu un RSZ mbuntit cu 8 dB

Reducerea zgomotului la redare (II)

Avantaj:
compatibil cu orice sistem de nregistrare pe orice sistem de redare

Dezavantaj:
nu poate face semnalul real diferena ntre zgomot i

Sisteme de nregistrare i de reducere a zgomotului la redare (I)

Sistemele realizeaz:
procesarea semnalului nainte de nregistrare procesarea invers dup redare

nregistrare normal

Zgomot de nregistrare

Redare normal

nivele diferite frecvene diferite

RSZ diferit

Sisteme de nregistrare i de reducere a zgomotului la redare (II)

Pre-procesare

Post-procesare

amplificator selectiv i neliniar

RSZ mbuntit

Avantaj: semnalul real nu este alterat i este obinut cu un RSZ ridicat Dezavantaj: funcioneaz doar pe acelai sistem (nregistrare i redare)

Sistemul Dolby (I)

nivel[dB]
0 -10 -20 -30

f[kHz] 20 200 2k 20k

Zgomot:
nalt frecven (1 15 kHz) nivel sczut (-20 -40 dB)

Circuite Dolby:
n timpul nregistrrii amplific neliniar i selectiv realizeaz procesarea invers la redarea semnalului mrete RSZ cu 9 dB

Sistemul Dolby (II)

cale direct

A+D nregistrare

cale direct

A+D

adugare Dolby

scdere Dolby

-D

Parametrii pentru discretizarea sunetului (I)

Frecvena de eantionare
f [kHz] 8 11,025 16 18,9 22,05 32 37,8 44,1 48 88,2; 96 Aplicaie telefonie, G711 1/4 f din CD telefonie, G712 CD ROM/XA, CD-I 1/2 f din CD NICAM, DAT LP CD ROM/XA, CD-I CD DAT DAT non-standard

Parametrii pentru discretizarea sunetului (II)

Bii de cuantizare Gama dinamic [dB] 44 92 116

n bii

Aplicaie

8 16 20

plci de sunet vechi CD i DAT aplicaii i mastering profesionale

24

140

rezoluie maxim pentru sisteme digitale gama dinamic mai mare dect gama urechii umane

Debite la nregistrarea audio digital (I)

f[kHz] n bii kB/ s S 172 16 M 44.1 S 8 M S 16 M 22.05 S 8 M 22 43 43 43 86 86 86
nregistrare la calitate audio

Observaii
calitate CD standard de

Compromis bun pentru nregistrri de calitate ridicat a surselor mono (voce) Calitate maxim pe dispozitive low-end (majoritatea plcilor de sunet pentru PC) Compromis mono adecvat nregistrrii unei surse

Sunet mai degradat dect calitatea CD, dar ntreg i prezent Nu este o alegere rea (recomandabil ns cu 8 bii) Alegere uzual rezonabile pentru pentru voce stereo

nregistrri

Un sunet mai slab, dar utilizabil

Debite la nregistrarea audio digital (II)

f[kHz]

n bii S

kB/s 22 11 16 8 5

Observaii
La aceast rat de eantionare scazut sunt puine avantaje pentru a utiliza nregistrarea stereo Limita inferioar utilizabile pentru rezultate

11

8 M S

Ineficient pentru stereo Similar unei legturi telefonice bune La fel de bun ca o legtur telefonic proast

8 5.5

8 M 8 M

Tehnici de cuantizare a semnalului (I)

Valori continue 19 V 4.75 V

Valori discrete 1111 0011

Mrimea treptei
uniform (fix) neuniform i fix neuniform i adaptiv

Valoarea codat
amplitudinea eantionului diferena dintre eantioane

Tehnici de cuantizare a semnalului (II)

Tehnici folosite
PCM uniform amplitudine Delta uniform diferen Legile A i neuniform i fix amplitudine ADPCM Neuniform adaptiv diferen

Cuantizare Uniform Fix Adaptiv

Amplitudine PCM PCM legea A APCM

Diferen Delta DPCM ADPCM

Cuantizare uniform
n cuantizarea uniform:
ieire digital

intrare analogic

nivele de decizie (intrare analogic) uniforme nivele de cuantizare (ieire digital) uniforme trepte de cuantizare (q) constante pentru semnal de nivel mic pentru semnal de nivel mare zgomot de cuantizare (eroare): -q/2 q/2 semnal de cuantizare semnal de cuantizare nivel mic cu eroare de constant RSZ sczut nivel mare cu eroare de constant RSZ ridicat

zgomot de cuantizare q/2

Rezultat:

-q/2

Concluzie: per ansamblu (calitate) sczut

RSZ

CAN cu aproximari succesive (I)

intrare analogic

+
Comparator registru cu aproximri succesive
ieire digital (b1 b2 b3 b4 b5 ...)

Ux

tensiune de referin

CNA

UCNA

CAN cu aproximari succesive (II)

UMAX UMAX/8 UX UMAX/2 UMAX/4 b1=1 b2=0 b3=1 b4=1 b5=1 t

PAS 1: 1000.0000 UCNA = UMAX/2 decizie: b1 PAS 2: b1100.0000 UCNA = b1 UMAX/2 + UMAX/4 decizie: b2

PAS 3: b1b210.0000 UCNA = b1 UMAX/2 + b2 UMAX/4 + UMAX/8 decizie: b3

Problem conversie analog-numeric liniar

Un CAN de 8 bii, cu domeniul -10 V 10 V, cuantizeaz un eantion de tensiune cu valoarea Ux = 3,14V. Analizai paii aproximrii succesive, completnd tabelul.
PAS COD TENSIUNE CAN [V] COMPARATOR DECIZIE

Rezultat: .............. Tensiune echivalent: ..... V Eroare: ..... %

Soluie conversie analog-numeric liniar

Un CAN de 8 bii, cu domeniul -10 V 10 V, cuantizeaz un eantion de tensiune cu valoarea Ux = 3,14V. Analizai paii aproximrii succesive, completnd tabelul.
PAS 1 2 3 4 5 6 7 8 COD 1000 0000 1100 0000 1010 0000 1011 0000 1010 1000 1010 1100 1010 1010 1010 1001 TENSIUNE CAN [V] 0 5 2,5 3,75 3,125 3,437 3,218 3,203 COMPARATOR 1 0 1 0 1 0 0 0 DECIZIE b1 = 1 b2 = 0 b3 = 1 b4 = 0 b5 = 1 b6 = 0 b7 = 0 b8 = 0

Rezultat: Ux = 1010 1000 Tensiune echivalent: 3,125 V Eroare: 0,075 %

Cuantizare neuniform
n cuantizarea neuniform:
ieire digital nivele de decizie (intrare analogic) neuniforme nivele de cuantizare (ieire digital) neuniforme trepte de cuantizare diferite mici pentru semnal de nivel mic mari pentru semnal de nivel mare zgomot de cuantizare (eroare): variabil

intrare analogic

Rezultat:
zgomot de cuantizare semnal de nivel mic cuantizare mic RSZ semnal de nivel mare cuantizare mare RSZ cu eroare de mare cu eroare de mare

Concluzie: per ansamblu (calitate) ridicat

RSZ

Compresie logaritmic
ieire digital LINIAR LOGARITMIC intrare analogic intrare analogic ieire digital comprimat

CUANTIZARE NELINIAR nivele de cuantizare neliniare utilizeaz puini pai numere mari pentru codarea treptei nu exist compresie de date

CUANTIZARE COMPRIMAT nivele de cuantizare liniare acelai numr mic de pai numere mici pentru codarea treptei exist compresie de date (renumerotarea treptelor)

Compandare legea A (I)

COMPRESIE + EXPANDARE = COMPANDARE
Ux tensiune analogic Y valoare digital comprimat Uz semnal analogic refcut Y = s l1 l2 l3 v1 v2 v3 v4
Ux Y

UZ Ux Y

S semnul semnalului l1 l2 l3 numrul segmentului v1 v2 v3 v4 numrul treptei

Compandare legea A (II)

nivel mic
rezoluie: 12 bii (zgomot redus)

nivel mare
rezoluie: 6 bii (zgomot ridicat)

RSZ mare de valoare constant compresia datelor 12 8 bii

3 l bii 8 segmente (cuantizare neuniform) 4 v bii 16 trepte / segment (cuantizare uniform)

Forma digital a legii de compresie A

Ieire digital
1 7/8 6/8

7 6 5

5/8

4
1/2

Compresia rezult folosind: nivele de decizie neuniforme (intrare) nivele de cuantizare uniforme (ieire)

3
3/8

2
2/8

2 1 Intrare analogic
2-2 2-1 1

1
1/8 0

0
2-4 2-3

0
2-7 2-6 2-5

Problem conversie analog-numeric dup legea A

Un CAN cu compresie 12 8 bii (conform legii A) cu domeniul -10 V 10 V, cuantizeaz un eantion de tensiune cu valoarea Ux = 3,14V. Analizai paii aproximrii succesive, completnd tabelul.
PAS COD TENSIUNE CAN [V] COMPARATOR DECIZIE

Rezultat: .............. Tensiune echivalent: ..... V

Soluie conversie analog-numeric dup legea A

Un CAN cu compresie 12 8 bii (conform legii A) cu domeniul -10 V 10 V, cuantizeaz un eantion de tensiune cu valoarea Ux = 3,14V. Analizai paii aproximrii succesive, completnd tabelul.
PAS 1 2 3 4 5 6 7 8 COD 1000 0000 1100 0000 1110 0000 1111 0000 1110 1000 1110 0100 1110 0110 1110 0101 TENSIUNE CAN [V] 0 0,625 2,5 5 3,75 3,125 3,437 3,281 COMPARATOR 1 1 1 0 0 1 0 0 DECIZIE b1 = 1 b2 = 1 b3 = 1 b4 = 0 b5 = 0 b6 = 1 b7 = 0 b8 = 0

Rezultat: Ux = 1110 0100 Tensiune echivalent: 3,125 V

Modulaia delta (I)

Aproximarea delta (UCNA)

TS

Ieire digital 11111000000010...

Intrare analogic (Ux)

Modulaia delta (II)

Ux + Comparator UCNA CNA Ieire fs = 1/Ts SUS Numrtor JOS

Avantaj debit minim 1 bit / eantion Dezavantaj erori mari de urmrire

Soluie frecvena de esantionare ridicat Rezultat debit mare

Compresia audio (I)

Semnalele audio sunt dificil de comprimat, dar exist tehnici dezvoltate

cu reducerea redundanei datelor pe cale matematic modelare complex a auzului uman de companii telefonice calitate telefonic productori de echipamente de nregistrare calitate ridicat

Compresia audio (II)

Tehnici uzuale:
CCITT G.711 legea A, legea (PCM, compresie 12 8 bii, telefonie) CCITT G.723 legea A, legea (ADPCM, compresie 12 4 bii, ISDN) GSM 6.10 Audio (Groupe Special Mobile debite de compresie ridicate pentru calitate vocal) Codare cu predicie liniar (descrierea vocii pentru sintetizarea vorbirii) IMA ADPCM (Interactive Multimedia Association ADPCM) MicroSoft ADPCM (PCM adaptiv i diferenial) Truespeech (produs de DSP Inc. pentru compresia vocii)

Interfaa digital a instrumentelor muzicale (I)

MIDI a fost introdus la nceputul anilor 80 drept un standard internaional pentru muzica digital:
conexiune electric i cablare protocol serial de comunicare (calculatoare, instrumente i echipamente electronice pot lucra mpreun) formatul fiierelor

Interfaa digital a instrumentelor muzicale (II)

Avantaje
furnizeaz o metod standard pentru controlul instrumentelor muzicale compatibile MIDI permite controlul centralizat al mai multor instrumente MIDI, un singur muzician poate cnta la org i n acelasi timp s utilizeze alt instrument fiierele MIDI sunt foarte mici, de exemplu un fiier MIDI de 8 k poate conine aceeai pies de 2 minute ca un fiier wave de 1,5 MB (8 bii, 11 kHz) fiierele MIDI sunt mai cheaper to communicate i pot fi preloaded n memorie calitatea audio este pstrat deoarece nu exist nici o pierdere a calitii sunetului ntre paii necesari convertirii fiierelor MIDI n audio

Interfaa MIDI (I)

Semnal audio digital

CAN

CNA

Sunet analogic

Sunet digital

Interfaa MIDI (II)

Interfaa digital a instrumentelor muzicale interfa serial, asincron, digital cu 31 250 bii/s
Controlul datelor

Sunet sintetizat

Standardul MIDI general (I)

Pentru a prelucra fiiere MIDI
software de ordonare (sequencer)(Midisoft Studio pentru Windows) sintetizator de sunet (pe placa de sunet a PCului) claviatur MIDI (opional)

Redarea se realizeaz cu
formule matematice (sinteze FM) nregistrri digitale scurte ale instrumentelor propriu-zise (redare eantion)

Standardul MIDI general (II)

Standardul MIDI general
programul standardizat modific sistemul de reprezentare i setul standard de sunete: 128 sunete de orchestr, sunete de la sintetizator i efecte speciale asigur o polifonie minim i satisface necesitile canalului 24 note simultan i mesaje MIDI simultan pe 16 canale standardized percussion&instrument channel assignments and patch mapping 12 canale pentru prile melodice, 2 pentru prile de percuie i 2 neutilizate

Interfaa multicanal MIDI

expandor multi-timbru interfa de mare vitez expandor multi-timbru claviatur principal expandor multi-timbru tob electronic generator de efecte speciale

mixer automat

matrice de distribuie interfa MIDI multiport

Formate de fiiere audio (I)

Formatul fiierelor

Avantaje
redare fiabil, preferat la sunetele multimedia suport software bun pe PC cea mai mare calitate audio

Dezavantaje
fiiere mari pentru calitate ridicat suprancarcare ridicat a procesorului imposibil manipularea detaliilor unei compoziii

WAVE

Formate de fiiere audio (II)

Formatul fiierelor Avantaje
dimensiune compact a fiierului, indiferent de calitatea redrii (200 1000 de ori mai mic) suprancarcare scazut a procesorului poate suna mai bine dac se utilizeaz sunete MIDI de nalt calitate manipularea tuturor detaliilor (not) abilitatea de a scala timpul (tempo) fr a modifica frecvena

Dezavantaje

MIDI

redare nefiabil, cu excepia zonelor controlate mai dificil de lucrat necesit cunotine muzicale nu poate produce vorbire

Audio MPEG3 (I)

Standard de codare pentru compresia fiierelor audio, cunoscut sub o mulime de nume: MPEG3, MPEG Layer 3, MPEG Audio, MP3

nregistrare calitate CD fs = 44.1 kHz n = 16 bii, stereo 1 cntec 50 MB

nregistrare MP3 compresie calitate CD 1 cntec 4 5 MB MP3 12 : 1

Audio MPEG3 (II)

Exist dou tipuri de fiiere MPEG3 (n funcie de extensie):
mp3 pentru a fi descrcate (sau extrase de pe HDD) i redate m3u pot fi redate imediat ce datele au fost recepionate, fr a fi nevoie de restul fiierului Orice fiiere MPEG3 pot fi redate n mod cursiv

Codoare i decodoare MPEG3

disponibile pentru o diversitate de platforme: PC-uri, staii SUN, Linux, MAC att codarea ct i decodarea utilizeaz o mare cantitate din resursele mainii