Documente Academic
Documente Profesional
Documente Cultură
________________________________________________________________
METODE ADAPTIVE
DE PRELUCRARE
A SEMNALELOR
Cartea face o expunere exaustivă a principiilor úi metodelor utilizate în
prelucrarea adaptivă a semnalelor, un subiect de largă aplicabilitate în multe
domenii de vârf ale tehnicii actuale. Rod al unei experienĠe îndelungate, fapt
evidenĠiat de vasta bibliografie utilizată, ea conĠine numeroase aplicaĠii úi
probleme care completează în mod fericit materialul teoretic de înaltă Ġinută.
Lucrarea se constituie într-un util instrument de lucru dedicat tuturor
celor interesaĠi de prelucrarea digitală a semnalelor, în special de
telecomunicaĠii. Ea este adresată în primul rând studenĠilor electroniúti
masteranzi care studiază disciplina Traitement adaptatif du signal, dar poate fi
utilă doctoranzilor úi cercetătorilor care se specializează în domeniul prelucrării
adaptive a semnalelor.
I. Gál János
621.391.8
Prof.dr.ing. Andrei CÂMPEANU Asist ing János GÁL
METODE ADAPTIVE
DE PRELUCRARE
A SEMNALELOR
EDITURA POLITEHNICA
TIMIùOARA - 2009
Copyright © Editura Politehnica, 2009
Toate drepturile sunt rezervate editurii. Nici o parte din această lucrare nu
poate fi reprodusă, stocată sau transmisă prin indiferent ce formă, fără acordul
prealabil scris al Editurii Politehnica.
EDITURA POLITEHNICA
Bd. Republicii nr. 9
300159 Timiúoara, România
Tel. 0256/403.823
Fax 0256/403.823
E-mail: editura@edipol.upt.ro
Metodele adaptive reprezintă în momentul de faţă una din temele majore de studiu ale
disciplinei care se ocupă cu prelucrarea semnalelor. Începând cu anii 60, aceste metode
au cunoscut un avânt remarcabil, datorat dezvoltării tehnicilor de calcul numeric şi
creşterii constante a capacităţii calculatoarelor, permiţând implementarea în timp real a
unor algoritmi din ce în ce mai sofisticaţi şi mai puternici. Domeniile care au beneficiat
de impactul dezvoltării tehnicilor de prelucrare adaptivă a semnalelor includ în primul
rând telecomunicaţiile, dar şi aplicaţii radar sau sonar, aplicaţii în multimedia, analiza
datelor seismice şi teledetecţie, etc. În aceste aplicaţii, metodele adaptive realizează
operaţii precum identificarea şi modelarea parametrilor unor sisteme, filtrarea şi
predicţia unor semnale sau suprimarea interferenţelor şi zgomotelor din componenţa
semnalelor recepţionate.
Obiectivele pe care cartea îşi propune să le trateze sunt următoarele:
Să expună principiile de bază şi metodele generale de filtrare adaptivă sub
forma unor idei simple şi clare.
Să dea un acces rapid şi direct la algoritmii adaptivi cei mai utilizaţi, facilitând
înţelegerea şi stăpânirea lor în vederea alegerii celei mai convenabile soluţii
pentru o aplicaţie dată.
Să ofere instrumentele matematice şi rezultatele necesare studiului
convergenţei algoritmilor de filtrare adaptivă.
Scopul principal al acestei cărţi este să ajute atât studenţii cât şi inginerii din
producţie să înţeleagă principiile matematice fundamentale care stau la baza metodelor
de filtrare adaptivă, să aprecieze limitările lor inerente şi să furnizeze detalii suficiente
pentru implementarea lor practică. Limbajul matematic utilizat este accesibil studen-
ţilor din ciclul doi de studii şi inginerilor de profil electric ce au cunoştiinţe standard în
domeniul algebrei lineare, al calculului probabilităţilor şi al prelucrării semnalelor.
În studiul filtrelor adaptive, simulările pe calculator constituie un complement
important în raport cu analizele şi deducţiile teoretice. Pentru realizarea acestora, se
utilizează, pe tot parcursul lucrării, programul MATLAB. Din carte fac parte integrantă
de asemenea, exerciţii şi probleme pe care le propunem la sfârşitul fiecărui capitol.
Lucrarea se deschide în Capitolul 1 cu o privire generală asupra structurii şi
principalelor categorii de aplicaţii ale filtrelor adaptive. Sunt trecute în revistă în acest
capitol mai multe exemple de aplicaţii ca modelarea de sistem, egalizarea de canal,
suprimarea ecourilor şi reţelele de antene.
VI PREFAŢĂ
Andrei Câmpeanu
János Gál
Cuprins
Prefaţă ................................................................................................................................ V
1 Introducere ............................................................................................................. 1
1.1 Filtre lineare .................................................................................................................. 1
1.2 Structura filtrelor adaptive ........................................................................................... 2
1.3 Algoritmii adaptivi ........................................................................................................ 5
1.4 Aplicaţiile filtrelor adaptive .......................................................................................... 5
1.4.1 Modelarea .............................................................................................................. 6
1.4.2 Modelarea inversă .................................................................................................. 7
1.4.3 Predicţia lineară ..................................................................................................... 9
1.4.4 Anularea interferenţelor ...................................................................................... 14
1.5 Filtrarea spaţială ......................................................................................................... 18
2 Semnale şi sisteme în timp discret ........................................................................ 21
2.1 Transformarea Z ......................................................................................................... 21
2.2 Proprietăţile transformării Z ....................................................................................... 22
2.3 Sisteme lineare invariante în timp (SLIT)..................................................................... 23
2.4 Cauzalitate şi stabilitate ............................................................................................. 25
2.5 Sisteme de fază minimă .............................................................................................. 26
2.6 Transformarea Fourier în timp discret ........................................................................ 27
2.7 Transformarea Fourier discretă .................................................................................. 27
2.8 Implementarea convoluţiei cu ajutorul transformării DFT ......................................... 28
2.8.1 Metoda Overlap-Add (Suprapune şi însumează) .................................................. 29
2.8.2 Metoda Overlap-Save (Suprapune şi salvează) .................................................... 31
2.9 Transformarea cosinus discretă (Discrete Cosine Transform - DCT) ........................... 32
Probleme ................................................................................................................................. 34
3 Procese aleatoare în timp discret .......................................................................... 37
3.1 Caracterizarea statistică a proceselor aleatoare în timp discret ................................ 37
3.1.1 Descrierea prin funcţii de probabilitate ............................................................... 38
3.1.2 Descrierea prin medii statistice de ordinul unu sau doi ....................................... 39
3.1.3 Categorii de procese aleatoare ............................................................................ 40
3.1.4 Procese aleatoare staţionare ............................................................................... 41
3.2 Caracterizarea temporală a proceselor aleatoare în timp discret .............................. 43
3.2.1 Medii temporale ................................................................................................... 44
3.2.2 Procese aleatoare ergodice .................................................................................. 44
3.3 Descrierea în domeniul frecvenţă a proceselor staţionare ......................................... 45
3.3.1 Densitatea spectrală de putere – definiţie şi proprietăţi ..................................... 45
3.3.2 Zgomotul alb ........................................................................................................ 48
3.4 Trecerea semnalelor aleatoare prin sisteme lineare invariante în timp ..................... 48
VIII CUPRINS
1 Introducere
istemele care prelucrează semnalele prin metode adaptive poartă numele generic
Figura 1.1 În cazul filtrării adaptive, rolul filtrului este de a modifica semnalul de
intrare în sensul realizării identităţii semnalului de ieşire cu semnalul dorit.
u n au1 n bu2 n , unde a şi b sunt două constante arbitrare, va fi
y n ay1 n by2 n . Această proprietate determină o serie de rezultate interesante
în teoria sistemelor lineare. În particular, un sistem linear este caracterizat complet de
răspunsul lui la impuls unitar sau de transformata Fourier a acestui răspuns, care este
denumită funcţie de transfer.
Figura 1.1 prezintă o structură generală de filtrare care evidenţiază scopul pentru
care sunt utilizate filtrele în această carte. În particular, filtrul din figură acţionează
asupra anumitor semnale de intrare în asemenea mod încât ieşirea să reprezinte o bună
estimare a semnalului dorit. Procesul prin care parametrii filtrului sunt modificaţi astfel
încât să se obţină o cât mai bună armonizare a semnalului de ieşire cu semnalul dorit,
se face prin optimizarea unei aşa-numite funcţii de performanţă. În cazul în care se
recurge la o abordare statistică, cea mai utilizată funcţie de performanţă este valoarea
medie pătratică a semnalului de eroare reprezentat de diferenţa dintre semnalul dorit şi
ieşirea filtrului. Dacă semnalul de ieşire şi semnalul dorit sunt staţionare, minimizarea
erorii medii pătratice conduce la bine-cunoscutul filtru Wiener-Hopf, care, din acest
motiv, se spune că este optimal în sensul erorii medii pătratice. În abordarea
deterministă, funcţia de performanţă este suma ponderată a pătratelor semnalului de
eroare. Minimizarea acestei funcţii conduce la un filtru care este optim pentru setul de
date de intrare considerat. Totuşi, în anumite condiţii şi ipoteze statistice, soluţia
deterministă se apropie de soluţia statistică, adică se ajunge la filtrul Wiener pentru
lungimi de date importante.
unde w n sunt ponderile filtrului (coeficienţii) iar M este lungimea filtrului. Refe-
*
i
Putem remarca faptul că structura de combinator linear este mai generală decât cea
de filtru transversal. Filtrul transversal poate fi considerat ca un caz particular al
combinatorului întrucât se alege ui n u n i .
Structurile din Figura 1.2 şi Figura 1.3 sunt filtre nerecursive, adică calculul ieşirii
M 1
e n d n wi* n u n i (1.4)
i 0
reprezinte cea mai bună estimare a unui semnal dorit. Parametrii filtrului sunt
actualizaţi în urma efectuării unui set de măsurători asupra semnalelor existente, rezul-
tatele măsurătorilor fiind aplicat algoritmului de filtrare adaptivă. Acesta acţionează
asupra parametrilor filtrului astfel încât diferenţa dintre ieşirea filtrului şi răspunsul
dorit să fie minimizată sau în sens statistic sau în sens determinist. În acest context,
putem identifica patru clase de bază de aplicaţii ale filtrării adaptive, şi anume
modelarea, modelarea inversă, predicţia lineară şi anularea interferenţelor. În
încheierea capitolului, vom face o trecere în revistă a acestor aplicaţii (Ciochină şi
Negrescu 1999, Farhang-Boroujeny 1998).
1.4.1 Modelarea
Figura 1.5 descrie problema modelării în contextul filtrării adaptive. Scopul este de a
estima parametrii modelului W z a unui sistem necunoscut G z . Pe baza unei
cunoaşteri apriori a sistemului G z , se alege pentru început o funcţie de transfer
W z cu un anumit număr de parametri ajustabili. Parametrii lui W z sunt apoi aleşi
astfel încât diferenţa dintre ieşirea sistemului d n şi ieşirea filtrului adaptiv y n să
fie minimizată.
Figura 1.9 Sistem de transmisie a datelor în banda de bază echipat cu un egalizor adaptiv de
canal.
Figura 1.9 prezintă detaliile unui sistem de transmisiuni în banda de bază înzestrat
cu un egalizor adaptiv. Acesta este, de obicei, implementat sub forma unui filtru
transversal. Iniţial, egalizorul se găseşte în modul de învăţare (antrenare), utilizând
drept semnal dorit d n o replică întârziată a simbolurilor de date transmise, generată la
recepţie. Evident, secvenţa de antrenare este emisă şi de sursa de date, fiind utilizată
pentru adaptarea iniţială a ponderilor filtrului egalizor. Drept urmare, ieşirea
egalizorului va fi ideal identică cu simbolurile de date transmise. Simbolurile secvenţei
de învăţare sunt, de obicei, specificate prin standarde iar modemurile de date,
indiferent de producător, le respectă.
La sfârşitul modului de antrenare, coeficienţii egalizorului au valori apropiate de
valorile optimale. Simbolurile detectate sunt în acest moment similare cu simbolurile
transmise, probabilitatea acestui lucru fiind apropiată de unitate. În continuare prin
urmare, simbolurile detectate pot fi considerate că reprezintă semnalul dorit pentru
adaptarea în continuare a egalizorului astfel încât posibilele variaţii ale canalului să
poată fi urmărite. Acest mod de funcţionare a egalizorului este denumit mod orientat
pe decizie (decision oriented mode). Egalizorul poate funcţiona în modul orientat pe
decizie un timp îndelungat, de fapt, câtă vreme variaţiile de canal sunt suficient de
lente încât algoritmul adaptiv să poată să urmărească satisfăcător variaţiile canalului.
u n
M u n e n
a z
i 1
i
i
Codarea vorbirii
Printre numeroasele tehnici de prelucrare a semnalului aplicate semnalului vocal,
predicţia lineară s-a dovedit cea mai promiţătoare, dând numeroşi algoritmi utili. De
fapt, mare parte din teoria predicţiei s-a dezvoltat în contextul prelucrării vorbirii.
Există două tehnici principale de codare a vorbirii care utilizează predicţia lineară
(Jayant şi Noll 1984). Scopul ambelor metode este reducerea numărului de biţi utilizaţi
la codare, determinând astfel economii în dimensiunea fişierelor memorate sau în
banda de semnal transmisă. Prima metodă care se încadrează în clasa codarea sursei,
urmăreşte producerea de voce digitală cu rate de biţi cuprinse între 2 şi 10 kb/s. Vocea
sintetizată nu este, totuşi, de calitate înaltă, pentru că „sună” sintetic şi pierde din
naturaleţe, făcând dificilă recunoaşterea vorbitorului. Cea de a doua tehnică, pe care o
încadrăm în clasa codarea semnalului, dă rezultate mult mai bune cu costul unei rate
de bit mai mari (tipic, 32 kb/s).
Principala cauză a utilizării pe scară largă a predicţiei lineare la codarea vorbirii
este că semnalele vocale pot fi precis modelate ca în Figura 1.13. Aici, filtrul all-pole
constituie modelul tractului vocal al vorbitorului. Excitarea pentru acest model, x n ,
este sau zgomot alb în cazul sunetelor „surde” (consoane fricative ca s,f, etc) sau un
tren de impulsuri în cazul sunetelor „sonore” (vocale ca i). Durata trenului de impul-
suri, denumită durata tonului (în engleză, pitch period) precum şi puterea zgomotului
alb, denumită nivel de excitare, sunt parametrii modelului vorbirii care trebuie identifi-
caţi în procesul de codare.
Codarea predictivă lineară (LPC ~ Linear Predictive Coding). Vorbirea reprezintă un
proces profund nestaţionar. Forma tractului vocal este supusă la variaţii importante
pentru a genera diferitele sunete ce alcătuiesc fiecare cuvânt. Având în vedere acestea,
în LPC în scopul codării vorbirii, aceasta este partiţionată în segmente de 10 pâna la 30
ms lungime. Aceste segmente sunt suficient de scurte pentru ca forma tractului vocal să
rămână aproape staţionară pe durata lor, astfel ca parametrii modelului de producere a
vorbirii din Figura 1.13 să poată fi presupuşi fixaţi. În continuare, pentru obţinerea
parametrilor fiecărui segment, sunt urmaţi paşii de mai jos:
1. Se obţin, pentru segmentul dat, coeficienţii predictorului ai pe structura de filtru
semnal e n . Prin urmare, dacă stabilitatea buclei alcătuite din predictor şi algoritmul
de adaptare ar putea fi garantată, atunci valoarea de regim permanent a vorbirii
reconstruite la decodor, adică u ' n , va fi egală cu acea de la codor, u n , pentru că
efectul condiţiilor iniţiale ale buclelor codorului şi decodorului care nu sunt egale va
dispărea după o fază tranzitorie.
replici din semnalul primar rezultă o ieşire curăţată de interferenţe, ceea ce explică
numele de anulare a interferenţelor dat acestui tip de aplicaţie (Farhang-Boroujeny
1998).
Configuraţia de anulare a interferenţei din Figura 1.15 este diferită de cazurile
anterioare de aplicaţii ale filtrării adaptive, în sensul că eroarea reziduală (care în cele-
lalte cazuri era eliminată) este aici semnalul curăţat de perturbaţii. Semnalul dorit din
cazurile anterioare este înlocuit aici de o versiune zgomotoasă (coruptă) a semnalului
dorit. Mai mult, utilizarea termenului “referinţă” pentru a desemna intrarea filtrului
adaptiv este legată direct de rolul acestei intrări în aplicaţie.
Anularea ecoului pe liniile telefonice
Un ecou este versiunea întârziată şi distorsionată a unui semnal original care se întoar-
ce spre sursa sa. În unele aplicaţii (radar, sonar sau ultrasunete), ecoul reprezintă
semnalul util; însă, în comunicaţii, ecoul este un semnal nedorit care trebuie eliminat.
Există două tipuri de ecou în sistemele de comunicaţii: (i) ecouri electrice sau de linie,
care sunt generate electric datorită neadaptării de impedanţă de-a lungul mediului de
transmisie, şi (ii) ecouri acustice, care se datorează reflexiei undelor acustice şi cuplajul
acustic dintre microfon şi difuzor.
În continuare vom discuta despre eliminarea ecourilor electrice în comunicaţiile de
date, urmând ca despre anularea ecourilor acustice în aplicaţiile de tip teleconferinţă să
discutăm în paragraful următor.
Ecouri electrice pot fi observate pe legăturile telefonice de mare distanţă. Figura
1.16 face o reprezentare simplificată a unui asemenea circuit. Conexiunea utilizatorului
la centrala telefonică constă dintr-un circuit cu două fire bidirecţional, în timp ce legă-
tura dintre centralele telefonice se face pe patru fire, ceea ce include toate tipurile de
conexiuni, inclusiv legătura prin satelit. Trecerea de la circuitele pe două fire la circui-
tele pe patru fire se realizează prin circuite speciale denumite hibrizi sau transforma-
toare diferenţiale (în engleză, hybrids). Un hibrid ideal permite (i) trecerea semnalului
de intrare către ieşirea pe două fire fără vreo atenuare pe portul de ieşire şi (ii) trecerea
semnalului de la circuitul pe două fire către portul său de ieşire fără reflexie. În
practică, datorită neadaptărilor de impedanţă, hibrizii nu funcţionează perfect. Drept
urmare, o parte din energia de intrare în circuit se întoarce către sursă ca un ecou (vezi
Figura 1.16). Ecoul, care, de obicei, este mai mic cu 11 dB în raport cu semnalul
original, face dificilă purtarea unei conversaţii, dacă întârzierea dus-întors depăşeşte 40
ms. În cazul legăturilor prin satelit, datorită plasării sateliţilor la altitudini mari, aceste
întârzieri ating 500-600 ms.
Suprimarea ecoului s-ar putea efectua pe baza estimării transmisiei semnalului de
la punctul C la punctul D (vezi Figura 1.17). Dacă funcţia de transfer a ecoului este
cunoscută, ar putea fi realizat un filtru care să producă o copie (sau replică a semna-
lului ecou pornind de la semnalul din punctul C. Scăderea replicii ecoului din semnalul
din punctul D îl va elimina fără să distorsioneze semnalul din B care poate fi prezent în
punctul D. Rezultă configuraţia de anulare adaptivă a ecoului prezentată în Figura 1.17.
În practică, caracteristicile canalului nu sunt în general cunoscute. Pentru legăturile
telefonice pe fir, canalele diferă de la convorbire la convorbire, iar caracteristicile cana-
lelor radio sau de microunde se modifică semnificativ în timp. Prin urmare, nu se poate
realiza un circuit fix de anulare a ecoului cu performanţe satisfăcătoare pentru orice
conexiune posibilă. Există două căi posibile de rezolvare a problemei:
1. Realizarea unui circuit de anulare a ecoului fix „de compromis” bazat pe o „medie”
a căii de ecou, presupunând că există suficiente informaţii despre conexiunile pe
care le poate vedea acesta.
2. Realizarea unui circuit de anulare a ecoului adaptiv care poate „învăţa” caracteristi-
cile căii de ecou atunci când este pornit, iar după aceea, poate urmări variaţiile
acestora, fără vreo intervenţie suplimentară din exterior. Pentru că un filtru adaptiv
se adaptează mai bine la caracteristicile variabile ale căi de ecou, rezultatele sunt
mai bune decât cele obţinute cu un circuit fix de anulare a ecoului reglat pe bază de
compromis.
Vom sublinia că principala sarcină a circuitului de anulare este de a estima semna-
lul de ecou cu suficientă precizie; estimarea funcţiei de transfer a ecoului este doar
calea prin care se realizează acest scop. Performanţa circuitului se măsoară prin atenua-
rea în decibeli a ecoului, parametru care este cunoscut sub numele de creşterea atenuă-
rii de ecou. Filtrul adaptiv realizează acest scop prin modificarea răspunsului său, utili-
zând semnalul rezidual de ecou, aşa cum am arătat mai sus.
Circuitele de anulare a ecoului sunt utilizate pe scară largă în telecomunicaţiile
vocale, iar organizaţia de standardizare internaţională CCITT a emis setul de
1.4 Aplicaţiile filtrelor adaptive 17
Figura 1.19 Principiul anulării acustice a ecoului prin utilizarea filtrării adaptive.
18 INTRODUCERE - 1
filtre adaptive foarte lungi. Pe parcursul lucrării, vom vedea cum pot fi depăşite aceste
dificultăţi.
2 Semnale şi sisteme în
timp discret
relucrarea adaptivă a semnalelor se face atât cu circuite sau sisteme analogice
P (Carusone şi Johns 2000) cât şi digital. De fapt, imensa majoritate a filtrelor adaptive
sunt implementate digital, datorită beneficilor evidente pe care le oferă această
abordare: flexibilitate şi precizie în calcule (Haykin 1996). Acesta este motivul, pentru care
în această lucrare, ne vom limita la a aborda doar problemele semnalelor şi sistemelor în
timp discret.
Vom folosi prezentul capitol pentru a reaminti cititorilor noştri unele din principiile şi
proprietăţile fundamentale ale secvenţelor de numere variabile care reprezintă funcţii de
timp eşantionate uniform. În primul rând, vom avea în vedere modalităţile utilizate pentru
trecerea de la reprezentarea semnalului în domeniul timp discret în domeniul frecvenţă, ceea
ce oferă utilizatorului o altă imagine asupra secvenţei transformate. Sunt utilizate în cazul
nostru atât transformata Z (de variabilă complexă) cât şi transformata Fourier în timp discret
(DFT), ce poate fi considerată un caz particular al celei dintâi şi care este o funcţie de
variabilă reală (frecvenţa) (Naforniţă, ş.a. 1995, Oppenheim, ş.a. 1998).
După scurta trecere în revistă a proprietăţilor secvenţelor discrete şi a transformatelor
lor, vom aborda şi câteva subiecte mai evoluate din aceiaşi arie de interes, utile în abordarea
unor tehnici de filtrare adaptivă particulare (implementarea convoluţiilor prin transformarea
DFT şi transformarea cosinus discretă).
2.1 Transformarea Z
Considerăm seria temporală alcătuită din eşantioanele u n , u n 1, u n 2, , unde n
reprezintă timpul discret. Vom utiliza în continuare notaţia simplă u n pentru a desemna
această secvenţă. Transformata Z a secvenţei u n se defineşte prin:
U z Z u n u n z n
(2.1)
n
22 SEMNALE ŞI SISTEME ÎN TIMP DISCRET - 2
u1 n u2 n u i u n i
1 2 U1 z U 2 z (2.6)
i
unde RC include intersecţia RC a celor două secvenţe. Prin urmare, convoluţia a două
secvenţe din domeniul temporal se transformă în domeniul frecvenţă în produsul
transformatelor lor Z.
a j u n j b j v n j
j 0 j 0
(2.10)
1 c z
N
U z
a z j
j
a0 k
1
H z
j 0
k 1
(2.11)
V z
1 d
N N
b z j b0 1
j k z
j 0 k 1
h n
k
(2.13)
Cerinţele pot fi satisfăcute numai şi numai dacă toţi polii lui H z se găsesc în interiorul
cercului de rază unitate (vezi Figura 2.3). Nu există în schimb restricţii relativ la poziţia
zerourilor.
H H e j H e j e
j arg H e j
(2.14)
Recunoaştem în ultima expresie cele două funcţii reale utilizate pentru caracterizarea
comportării în frecvenţă a SLIT: amplificarea, H e j şi răspunsul de fază sau defa-
zarea, arg H e j .
SLIT de fază minimă sunt o clasă specială de filtre ale căror amplificări şi funcţii de fază
sunt legate unic între ele, astfel încât dacă este dată una dintre funcţii, cealaltă poate fi
stabilită în mod unic. Un filtru de fază minimă îşi ia numele de la faptul că pentru o funcţie
de amplificare dată, răspunsul de fază este minim posibil pentru toate valorile z de pe cercul
unitate.
Pentru ca un SLIT să fie de fază minimă se impun restricţii asupra poziţiei zerourilor
funcţiei de transfer a filtrului H z şi anume:
1. zerourile lui H z pot fi plasate în interiorul şi pe circumferinţa cercului
unitate;
2. zerourile de pe cercul unitate trebuie să fie simple.
2.7 Transformarea Fourier discretă 27
u n
k
(2.15)
U e jn e jn d
1
u n
2
şi (2.17)
rezultatul astfel obţinut este echivalent cu convoluţia circulară a celor două secvenţe
originale.
Având în vedere diferenţa marcantă dintre convoluţia circulară şi convoluţia lineară, se
pune problema modului în care poate fi utilizată transformarea DFT pentru a se calcula
convoluţia lineară. Pentru a ilustra modul în care poate fi aceasta realizată, vom considera
două secvenţe discrete v n şi h n de lungimi L , respectiv P . Convoluţia lineară a aces-
tor două secvenţe este o secvenţă finită de durată L P 1 . Observând faptul că prin
convoluţia a două secvenţe periodice se obţine o altă secvenţă periodică de aceiaşi perioadă,
putem proceda după cum urmează:
Se adaugă un număr corespunzător de eşantioane nule la v n şi h n astfel încât
fiecare dintre cele două secvenţe să devină secvenţe de N puncte, unde
N L P 1 ; acest proces poartă numele de zero padding.
Se calculează transformatele Fourier discrete în N puncte a versiunilor adăugite
ale secvenţelor v n şi h n , se multiplică apoi transformările DFT şi în final se
calculează transformarea DFT inversă a produsului.
Se foloseşte o perioadă a convoluţiei circulare astfel calculate drept convoluţie
lineară a secvenţelor originale v n şi h n .
Procedura descrisă înainte, funcţionează perfect în cazul secvenţelor de durată finită.
Dar cum pot fi rezolvate aplicaţiile de filtrare lineară care presupun, din raţiuni practice, că
semnalul de intrare este de durată infinită? În situaţii de acest fel, se poate recurge la două
procedee larg utilizate, ce sunt descrise mai departe.
unde
v n rQ , n 0,1, ,Q 1
vr n (2.22)
0, în rest
În continuare, fiecărei secţiuni i se adaugă câte P 1 eşantioane nule în scopul
completării unei perioade a secvenţei periodice de lungime N , cum prezintă Figura 2.5.
Prima secţiune astfel obţinută poate fi descrisă prin
30 SEMNALE ŞI SISTEME ÎN TIMP DISCRET - 2
v n , n 0,1, , N P
v0 n (2.23)
0, n N P 1, , N 1
Convoluţia circulară a lui v0 n cu h n dă secvenţa de ieşire u0 n prezentată în primul
Figura 2.5 (a) Descompunerea semnalului din Figura 2.4 în secţiuni adiacente de
lungime Q care nu se suprapun. (b) Rezultatul convoluţiei fiecărei
secţiuni cu h n .
2.8 Implementarea convoluţiei cu ajutorul transformării DFT 31
Figura 2.6 (a) Descompunerea semnalului v n din Figura 2.4 în secţiuni de lungime
N care se suprapun. (b) Rezultatul convoluţiei fiecărei secţiuni cu h n ;
sunt indicate porţiunile din fiecare secţiune filtrată care sunt eliminate
pentru realizarea convoluţiei lineare.
32 SEMNALE ŞI SISTEME ÎN TIMP DISCRET - 2
u n
2 N 1
kmU m cos
2n 1 m , n 0,1,
N m0 2N
, N 1 (2.25)
u n ,
n 0,1, , N 1
u n (2.27)
u 2 N n 1 ,
n N , N 1, , 2N 1
În acest fel, u n este o extensie pară a lui u n . Transformarea DFT a secvenţei u n este
dată de:
2 N 1 j 2 mn N 1 j 2 mn 2 N 1 j 2 mn
U m u n e 2N
u n e 2N
u ne 2N
(2.28)
n 0 n 0 n N
n0 n N
j 2 m n 1
(2.29)
N 1
j 2 mn
u n e 2N
e 2N
n0
Introducem apoi în ecuaţia (2.29) defazajul m 2 N şi factorul de ponderare km 2 , pentru
a scrie
1
jm
1 N 1 j 2 n 1 m j 2 n 1 m
km e 2 N U m km u n e 2 N e 2 N
2 2 n 0 (2.30)
N 1
km u n cos
2n 1 m
n 0 2N
Recunoaştem în membrul drept al ecuaţiei (2.30), definiţia transformatei DCT a
secvenţei iniţiale u n . Rezultă prin urmare, că transformarea cosinus discretă U m a
secvenţei u n şi transformata Fourier discretă U m a secvenţei extinse u n sunt legate
prin relaţia:
jm
1
U m km e 2 N U m , m 0,1, , N 1 (2.31)
2
34 SEMNALE ŞI SISTEME ÎN TIMP DISCRET - 2
Această relaţie arată că, în timp ce transformarea DFT este periodică de perioadă N ,
perioada transformării DCT este de valoare 2N .
Probleme
P 2.1 Să se determine transformata Z a semnalelor:
(a) xa n n , (b) xb n 0.5 n n 1 ,
,
xc n 0.5n n , (d ) xd n 0.5 .
n
(c )
Să se precizeze în fiecare caz RC şi să se reprezinte constelaţia de poli şi zerouri. În
expresiile de mai sus, n este impulsul unitar iar n impulsul treaptă unitate.
P 2.2 Să se determine pentru toate RC posibile, semnalele în timp discret care corespund
următoarelor transformate Z:
X a z 2 1 z 1 1 z 2 ,
1
(a) b X2 z
1 1 1 1
1 z 1 z
4 2
P 2.3 Se consideră sistemul în timp discret a cărui răspuns la semnalul x n este dat de
relaţia:
n n0
y n x k
k n n0
arg H e j funcţiei de sistem.
(c) Care este răspunsul sistemului la următoarele semnale de intrare:
n
i xi n n,
1 1
ii xii n n n 1
2 2
P 2.6 Consideraţi funcţia de sistem
1 z 1 6 z 2
H z
1 1
1 z 1 z 2
4 8
(a) Arătaţi că sistemul H z nu este un sistem de fază minimă.
(b) Construiţi un sistem de fază minimă H min z astfel încât:
H min e j H e j
Fie x n 0,9 n .
n
P 2.7
(a) Determinaţi analitic expresia lui x n x n şi reprezentaţi primele 101
eşantioane.
(b) Trunchiaţi x n la primele 51 de eşantioane. Calculaţi şi reprezentaţi convoluţia
x n x n utilizând funcţia MATLAB conv.
(c) Presupuneţi că x n este răspunsul la impuls al unui sistem SLIT. Determinaţi
pentru funcţia MATLAB filter coeficienţii vectorilor a şi b. Utilizând funcţia
filter, calculaţi şi reprezentaţi primele 101 eşantioane ale convoluţiei
x n x n .
(d) Comentaţi graficele obţinute. Care din procedurile MATLAB utilizate este cel mai
bine adaptată la calculul convoluţiei unor secvenţe de lungime infinită şi de ce?
P 2.8 Fie x n o secvenţă sinusoidală de frecvenţă 0 şi de lungime finită N:
A cos 0 n, 0 n N 1
x n
0, în rest
În acest fel, x n poate fi privit ca o sinusoidă de lungime infinită multiplicată
printr-o fereastră dreptunghiulară de lungime N.
(a) Dacă transformarea Fourier în timp discret a lui x n se exprimă prin părţile ei
reale şi imaginare astfel:
36 SEMNALE ŞI SISTEME ÎN TIMP DISCRET - 2
X e j X R jX I
3 Procese aleatoare în
timp discret
ermenul de semnal aleator sau semnal stochastic descrie evoluţia în timp a unui
În funcţie de caracterul lui n şi al lui , există patru posibile interpretări ale lui
x n, , după cum relevă Figura 3.1 (Manolakis, ş.a. 2005):
x n, este o variabilă aleatoare dacă n este fixat iar este variabil.
x n, este o realizare dacă este fixat iar n este variabil.
x n, este un număr dacă atât n cât şi sunt fixate.
x n, este un proces stochastic dacă atât n cât şi sunt variabile.
r n, n E u n
2
(3.6)
Funcţia de autocovarianţă este:
c n1 , n2 E u n1 n1 u n2 n2 r n1 , n2 n1 n2
(3.7)
Dacă în (3.7) se consideră n1 n2 n , se obţine varianţa (sau momentul centrat de ordinul
doi) 2 n , un parametru deosebit de important în caracterizarea proceselor stochastice:
40 PROCESE ALEATOARE ÎN TIMP DISCRET - 3
2 n E u n n E u n n
2 2 2
(3.8)
Cele trei funcţii introduse realizează o caracterizare parţială a procesului, dacă se cunosc
valorile lor pentru diverse valori ale lui n1 şi n2. Sunt două avantaje ce se obţin prin utilizarea
acestei descrieri parţiale:
1. Poate fi stabilită prin măsurări practice,
2. Este bine adaptată la efectuarea de operaţiuni liniare asupra proceselor stochastice.
Relaţia statistică dintre două procese aleatoare u n şi v n , distribuite mutual (adică
definite pe acelaşi spaţiu eşantion S ) poate fi descrisă prin funcţiile de intercorelaţie (pe
scurt corelaţie) şi intercovarianţă (covarianţă) definite astfel:
ruv n1 , n2 E u n1 u n2 ,
(3.9)
cuv n1 , n2 E u n1 n1 u n2 n2 ruv n1 , n2 n1 * n2
*
r n1 , n2 (3.12)
n1 * n2 ,
n1 n2
Proces ortogonal sau secvenţă de variabile aleatoare ortogonale
n1 n1 , n1 n2
2 2
r n1 , n2 E u n1 n1 n2
2
(3.13)
n1 n2
0,
3.1 Caracterizarea statistică a proceselor aleatoare în timp discret 41
Aceste definiţii se pot extinde la cazul a două procese aleatoare mutual. Spunem că
procesele aleatoare u n şi v n sunt
Independente statistic dacă pentru toate valorile lui n1 şi n2
fuv u, v; n1 , n2 fu u; n1 f v v; n2 (3.14)
Necorelate dacă pentru orice n1 şi n2
cuv n1 ; n2 0 sau ruv n1; n2 u n1 v n2 (3.15)
Ortogonale dacă oricare ar fi n1 şi n2
ruv n1 ; n2 0 (3.16)
r 0 2 0,
2
(3.22)
r 0 r n , n
Prima parte rezultă din ecuaţia (3.21), cea de a doua parte poate fi demonstrată utilizând
inegalitatea E u n l u n 0 .
2
Proprietatea implică faptul că funcţia de corelaţie îşi atinge valoarea maximă la întârzie-
re nulă şi că această valoare este pozitivă. Mărimea
2
reprezintă puterea medie de curent
continuu (cc) iar este puterea medie de curent alternativ (ca) a secvenţei aleatoare.
2
De remarcat că, datorită dependenţei de o singură realizare, orice medie temporală este ea
însăşi o variabilă aleatoare.
Corespunzător fiecare medii pe ansamblu discutate anterior, putem defini o medie
temporală corespunzătoare:
Valoare medie = u n ,
Varianţă = u n u n
2
,
Autocorelaţie = u n u * n l , (3.26)
Autocovarianţă = u n u n u n l u n l
*
,
Intercorelaţie = u n v* n l ,
Intercovarianţă = u n u n v n l v n l
*
În general U N este o funcţie complexă, având pătratul modulului stabilit prin ecuaţia de
mai jos
46 PROCESE ALEATOARE ÎN TIMP DISCRET - 3
N 1 N 1
U N U N U N* u N n u N* k e
2 j n k
(3.33)
n 0 k 0
Se poate recunoaşte în media din membrul drept al lui (3.34) pe rN n k , funcţia de auto-
corelaţie a lui u N n , care, potrivit definiţiei (3.31), poate fi exprimată prin autocorelaţia lui
u n :
E u n u k r n k , 0 n, k N 1
*
rN n k (3.35)
0, altfel
Prin urmare, ecuaţia (3.34) capătă forma
N 1 N 1
E U N r n k e
2 j n k
(3.36)
n 0 k 0
N
l N 1 N
(3.37)
Pe măsură ce N tinde la infinit, valoarea parantezei rotunde din membrul drept al ecuaţiei
(3.37) tinde către unu, astfel încât se poate scrie:
1
E U N r l e j l
2
lim (3.38)
N l
n
Dacă limita din ecuaţia (3.39) există, o interpretare a mărimii S d îi atribuie aces-
teia semnificaţia de valoare medie a contribuţiei la puterea totală a semnalului aleator staţio-
nar în sens larg a componentelor de frecvenţă cuprinse între frecvenţele şi ;
media este realizată pe toate realizările posibile ale procesului (Haykin 1996). Drept urmare,
S este, pe scurt, densitatea spectrală de putere a procesului aleator, ceea ce ne permite
să rescriem acum ecuaţia (3.38), astfel:
3.3 Descrierea în domeniul frecvenţă a proceselor staţionare 47
S r l e jl
, (3.40)
l
k 1 k
unde Re este operatorul parte reală. Ecuaţia (3.42) arată că densitatea spectrală de putere
S este o funcţie cu valori reale de .
Proprietatea 3: Densitatea spectrală de putere a unui proces aleator staţionar în
timp discret este o funcţie nenegativă:
S 0, , (3.43)
Proprietatea rezultă direct din formula fundamentală (3.39).
Proprietatea 4: Valoarea medie pătratică a unui proces aleator staţionar în timp
discret este egală, cu excepţia factorului de scală 1 2 , cu aria de sub curba
S pentru .
Proprietatea rezultă direct din ecuaţia (3.41) evaluată pentru l 0 :
1
r 0 S d (3.44)
2
48 PROCESE ALEATOARE ÎN TIMP DISCRET - 3
Figura 3.2 (a) Transmisia unui semnal aleator printr-un sistem linear. (b) Sistem echivalent
ce are la intrare secvenţa de autocorelaţie a intrării de la punctul (a).
acest paragraf pentru a stabili relaţiile intrare-ieşire pe care le stabileşte sistemul precum şi
proprietăţile statistice ale procesului aleator de la ieşirea acestuia.
Semnalul de la ieşirea sistemului reprezintă rezultatul convoluţiei dintre semnalul de
intrare şi funcţia pondere a sistemului, h n :
y n h n u n h k u n k (3.49)
k
k
sau ruy l h k r l k h m r l m
*
u
*
u
k m
E y n y n l h k E u n k y n l
k
sau ry l h k r l k h l r l
k
uy uy (3.54)
sau ry l rh l ru l (3.56)
unde rh l h l h l h n h n l
(3.57)
n
În aceste condiţii, valorile funcţiei de autocorelaţie a semnalului sunt reprezentate sub forma
unei matrici pătrate, matricea de corelaţie a procesului (Bellanger 1989, Haykin 1996).
u n u n u n 1 u n M 1
T
(3.60)
unde indicele T este pentru operaţia de transpunere, iar u n este un proces aleator staţio-
nar în sens larg.
Se defineşte matricea de corelaţie a procesului în timp discret aleator reprezentat prin
acest vector, media statistică:
R E u n u n
H
(3.61)
unde indicele H indică operaţia de transpunere hermitică (conjugare + transpunere).
Înlocuirea lui (3.60) în (3.61) şi utilizarea condiţiilor de staţionaritate în sens larg condu-
ce la matricea R de dimensiune M M :
r 0 r 1 r M 1
r 1 r 0 r M 2
R (3.62)
r M 1 r M 2 r 0
unde r k E u nu n k (3.63)
este funcţia de autocorelaţie a vectorului u n . Elementul r 0 de pe diagonala principală
este întotdeauna real. În schimb pentru serii u n complexe, restul elementelor lui R au
valori complexe.
Deci, în cazul unui proces aleator în sens larg sunt necesare doar M valori ale lui r k ,
k 0,1, , M 1 pentru a defini complet pe R , care poate fi acum scris sub forma
r 0 r 1 r M 1
r 1
r 0 r M 2
R (3.66)
r M 1 r M 2 r 0
În cazul special al vectorului de date u n real, r k este real pentru k , iar R este o
matrice simetrică.
Proprietatea 2: Matricea de corelaţie a unui proces aleator în timp discret
staţionar are proprietatea Toeplitz, adică toate elementele de pe diagonala prin-
cipală şi de pe orice altă diagonală paralelă cu cea principală sunt egale între ele.
Este important de observat că proprietatea Toeplitz a matricii de corelaţie R este o
consecinţă directă a presupunerii că procesul stochastic în timp discret reprezentat de
vectorul de observaţie u n este staţionar în sens larg.
Proprietatea 3: Matricea R este pozitiv semidefinită. Această proprietate
înseamnă că pentru orice vector complex nenul x de dimensiune M 1 ,
M M
x H R x r i j xi x j 0 (3.67)
i 1 j 1
Într-adevăr,
xH R x x H E u n u H n x E x H u n u H n x E x H u n 0
2
Consecinţa acestei proprietăţi în cazul inegalităţii stricte implică faptul că determinantul lui
R împreună cu toţi minorii săi principali sunt mai mari decât 0, ceea ce atrage consecinţa că
matricea de corelaţie a unui proces staţionar este nesingulară, adică este inversabilă.
Proprietatea 4: Dacă ordinea elementelor vectorului de observaţie u n este
inversată, efectul este echivalent cu transpunerea matricii de corelaţie a
procesului.
Notăm prin u B n , vectorul M 1 obţinut prin inversarea ordinii elementelor vecto-
rului de date:
u BT n u n M 1 u n M 2 u n
T
(3.68)
unde indicele B reprezintă rearanjarea, prin inversarea ordinii, a elementelor unui vector.
Matricea de corelaţie a acestui vector este:
3.5 Matricea de corelaţie 53
r 0 r 1 r M 1
r 1 r 0 r M 2
E u B n u BH n (3.69)
r M 1 r M 2 r 0
Prin urmare, comparând matricea de corelaţie extinsă din (3.69) cu cea din ecuaţia (3.66), se
observă că
E u B n u BH n RT (3.70)
Proprietatea 5: Matricele de corelaţie R M şi R M 1 ale unui proces aleator în timp
discret staţionar corespunzătoare la M respectiv M 1 observaţii asupra proce-
sului sunt legate prin următoarele relaţii:
r 0 rH R M r B
R M 1 sau echivalent R M 1 (3.71)
r R M r BT r 0
r M r M 1 r M 2 r 0
Identic se demonstrează şi partea a doua a ecuaţiei (3.71).
2 (3.78)
v
Un caz particular al situaţiei descrise anterior este cel în care din componenţa procesului
aleator (3.74) dispare zgomotul. Prin urmare, . De asemenea, pentru comoditate,
M 3 . Particularizând în (3.77), matricea de corelaţie a acestei serii temporale este:
3.6 Vectori şi valori proprii ale matricii de corelaţie 55
1 exp j exp j 2
R exp j 1 exp j
2
(3.79)
exp j 2 exp j 1
Este simplu de observat din (3.79) că atât determinantul lui R cât şi determinanţii tuturor
minorilor principali ai acestuia sunt nuli. Prin urmare, această matrice de corelaţie este
singulară.
O generalizare a rezultatului de mai sus se referă la un proces u n ce constă din
M eşantioane obţinute prin însumarea a K sinusoide ( K M ) şi care nu conţine zgomot
aditiv. Matricea de corelaţie a unui asemenea proces este, de asemenea, singulară.
Atunci când ecuaţia caracteristică (3.82) are rădăcini multiple, se spune că matricea R are
valori proprii degenerate.
Să notăm prin i , o valoare proprie a lui R . De asemenea, fie q i un vector nenul,
astfel că:
Rqi i qi (3.83)
Vectorul q i se numeşte vector propriu asociat lui i . Un vector propriu poate cores-
punde unei singure valori proprii. Totuşi, o valoare proprie poate avea mai mulţi vectori
proprii, întrucât dacă q i este un vector propriu asociat valorii proprii i atunci şi a q i are
aceiaşi proprietate, a 0 . Putem spune, în consecinţă, că, dacă R are M valori proprii
distincte i , acestora le corespund M vectori proprii distincţi până la un factor de scară.
Dacă, în schimb, m este o valoare proprie degenerată a lui R repetată de p ori, atunci
rangul matricii R m I se reduce astfel încât soluţia ecuaţiei (3.80), q m poate fi orice
vector dintr-un subspaţiu p-dimensional al spaţiului vectorial cu M dimensiuni.
Exemplul 3.2: Zgomot alb
Matricea de corelaţie de dimensiune M M a unui proces de zgomot alb este
diagonală (vezi (3.47) şi (3.62)):
R diag 2 , 2 , , 2
unde 2 este varianţa procesului. Matricea R are o singură valoare proprie dege-
nerată de multiplicitate M egală cu 2 . Orice vector de dimensiune M 1 poate
reprezenta un vector propriu asociat.
Exemplul 3.3: Sinusoidă complexă
Fie matricea de corelaţie de dimensiune M M a unei serii de timp a cărei
elemente sunt eşantioanele unei sinusoide complexe de fază aleatoare şi putere
unitară:
1 e j e j M 1
j
e 1 e j M 2
R
e j M 1 e j M 2
1
unde este frecvenţa sinusoidei complexe. Vectorul de dimensiune M 1
q 1 e j e j M 1
este un vector propriu al matricii R , iar valoarea proprie corespunzătoare este M
(adică dimensiunea matricii R ). Cu alte cuvinte, o sinusoidă complexă este un
vector propriu al propriei sale matrici de corelaţie, cu excepţia operaţiei triviale
de conjugare complexă.
3.6 Vectori şi valori proprii ale matricii de corelaţie 57
q
i 1
i i 0, (3.85)
atunci se spune că vectorii q i sunt linear dependenţi. Vom presupune că relaţia (3.85) este
satisfăcută fără ca toţi scalarii i să fie nuli iar valorile proprii i sunt toate distincte. În
continuare, multiplicăm repetat pe (3.85) cu R k , k 0,1, , M 1 şi folosim Proprieta-
tea 1 pentru a scrie
M M
Cum toate valorile i sunt distincte, matricea pătrată din (3.86) este nesingulară, fiind o
matrice Vandermonde. Prin urmare, postmultiplicând ambii termeni ai ecuaţiei (3.86) cu
inversa matricii Vandermonde, se obţine:
1q1 2q 2 M qM 0 (3.87)
Întrucât vectorii proprii q i nu sunt nuli, singurul mod în care relaţia (3.87) poate fi înde-
plinită este ca toţi coeficienţii i să fie nuli. Consecinţa este că (3.85) nu este îndeplinită,
oricare ar fi setul de scalari nenuli i , ceea ce implică faptul că vectorii q i sunt linear
independenţi.
Conform acestei proprietăţi , vectorii proprii lineari independenţi q1 , q2 , , q M pot
servi drept bază pentru reprezentarea unui vector arbitrar w de aceleaşi dimensiuni ca şi
vectorii proprii. În particular, w se exprimă printr-o combinaţie lineară de vectori proprii
astfel:
M
w i qi (3.88)
i 1
q Hj Rqi i q Hj qi (3.94)
Pe de altă parte, calculăm transpusa hermitică a celei de a doua ecuaţii din (3.93) şi
avem în vedere că matricea de corelaţie R este hermitică, R H R :
q Hj R j q Hj (3.95)
Postmultiplicăm în continuare ecuaţia (3.95) cu vectorul q i :
q Hj Rqi j q Hj qi , (3.96)
şi scădem ecuaţia (3.96) din (3.94):
q
i j
H
j qi 0 (3.97)
Întrucât valorile proprii ale matricii R se presupun a fi distincte i j , rezultă că
ecuaţia (3.97) este îndeplinită dacă şi numai dacă:
q Hj qi 0, i j (3.98)
Proprietatea 5: Transformarea unitară de similaritate
Fie vectorii proprii q1 , q2 ,...., q M care corespund valorilor proprii distincte 1 , 2 ,
, M ale matricii de corelaţie R de dimensiune M M . Din vectorii proprii se
constituie matricea de dimensiune M M :
Q q1 q2 qM (3.99)
unde
1, i j
qiH q j . (3.100)
0, i j
Se defineşte matricea diagonală de dimensiune M M :
Λ diag (1 , 2 ,, M ) (3.101)
În aceste condiţii, matricea originală R se poate diagonaliza astfel:
QH RQ Λ (3.102)
Condiţia ca q qi 1 pentru i 1,2, , M cere ca fiecare vector propriu să fie
H
i
vectorii proprii q1 , q2 ,...., q M formează un set ortonormat. Prin definiţie, vectorii proprii
q1 , q2 ,...., q M satisfac ecuaţiile (vezi (3.83))
Rqi i qi , i 1,2,, M (3.103)
Matricea Q de dimensiune M M are drept coloane setul ortonormat de vectori
proprii q1 , q2 ,...., q M , cu alte cuvinte:
Q q1 q2 qM (3.99)
Matricea diagonală Λ de dimensiune M M are valorile proprii 1 , 2 , , M drept ele-
mente ale diagonalei sale principale:
Λ diag (1 , 2 ,, M ) (3.101)
Drept urmare, se pot scrie cele M ecuaţii (3.103) ca o singură ecuaţie matricială:
RQ = QΛ (3.104)
Dată fiind natura ortonormată a vectorilor proprii, aşa cum sunt definiţi prin ecuaţia
(3.100), se scrie:
QH Q = I
ceea ce este echivalent cu:
Q1 QH (3.105)
O matrice ce se bucură de această proprietate este denumită matrice unitară.
Premultiplicând ambii membrii ai ecuaţiei (3.104) cu Q H şi ţinând cont de (3.105), se
obţine transformarea unitară de similaritate:
QH RQ = Λ (3.106)
Dacă postmultiplicăm ambele părţi ale ecuaţiei (3.104) cu matricea inversă Q 1 şi se
utilizează apoi proprietatea (3.105), rezultă:
M
R = QΛQH i qi qiH (3.107)
i 1
1
Q S d
2
qiH Rqi (3.115)
2 i
i
Vom nota prin Smin respectiv Smax valorile minime şi maxime absolute ale densităţii
spectrale de putere S . Rezultă că
Q S d S Q
2 2
i min i d (3.118)
şi
Q S d S Q
2 2
i max i d (3.119)
Se deduce, prin urmare, că valorile proprii i sunt mărginite de către valorile maxime şi
minime ale densităţii spectrale de putere asociate astfel:
Smin i Smax , i 1, 2, ,M (3.120)
Facem acum o digresiune necesară pentru a introduce mărimea denumită numărul de
condiţionare A a unei matrici A . Mărimea descrie calitatea unei matrici din punctul de
vedere a operaţiei de inversare. Cu cât numărul de condiţionare a unei matrici este mai mare,
cu atât sunt mai mari erorile care apar la inversarea ei, fapt ce ar putea provoca probleme la
rezolvarea sistemelor de ecuaţii, operaţie care implică calculul lui R 1 . Se spune în acest
caz că matricea considerată este rău condiţionată . Pentru o matrice de corelaţie R ,
numărul de condiţionare este dat de raportul valorilor proprii asociate extreme max şi min ,
fiind denumit din acest motiv şi grad de împrăştiere a valorilor proprii:
R max (3.121)
min
Revenind la relaţia (3.120), ea implică o limitare a valorilor R , aşa cum evidenţiază
relaţia de mai jos
max Smax
R (3.122)
min Smin
3.6 Vectori şi valori proprii ale matricii de corelaţie 63
u n QH u n (3.128)
este atins atunci când coeficienţii filtrului optim sunt stabiliţi de relaţia
w 0 s0 (3.142)
În concluzie, în cazul filtrării optimale a unui semnal de formă cunoscută, coeficienţii
filtrului optimal reprezintă o replică la scară a formei cunoscute a semnalului util s n .
Proprietatea (3.142) a filtrului optimal face ca acesta să poarte în acest caz numele de
filtru adaptat. Este un dispozitiv utilizat pe larg în aplicaţii de telecomunicaţii şi radiolocaţie.
De observat că, dacă un vector w 0 maximizează raportul RSZ o din (3.139), atunci orica-
re ar fi constanta cu care se multiplică acesta, această proprietate se păstrează. Prin urma-
re, alegerea constantei rămâne arbitrară. Aici, constanta a fost aleasă astfel, încât să avem
w 0H s0 1 .
Este evident că elementele vectorului w sunt ortogonale iar valorile kl sunt momen-
tele lor de ordinul doi. Drept urmare, această transformare pare a fi similară unei transfor-
mări ortogonale. Totuşi, spre deosebire de o transformare ortogonală, LDU nu constă într-o
simplă rotaţie a vectorului u (Manolakis, ş.a. 2005). Pentru a înţelege transformarea, să
observăm pentru început că B L1 este, de asemenea, o matrice unitară inferior triunghiu-
lară. Atunci, (3.149) se poate scrie astfel:
w1 1 0 0 u1
wi bi1 1 0 ui (3.151)
wM bM 1 bMi 1 uM
unde bik sunt elemente ale lui B . Ecuaţia (3.151) evidenţiază că wi este o combinaţie linea-
ră de uk , k i , componente ale vectorului de intrare:
i
wi bik uk , 1 i M (3.152)
k 1
Dacă vectorul semnalului de intrare este alcătuit din eşantioane succesive ale procesului
aleator în timp discret u n , adică u u n u n 1 u n M 1 , atunci
T
70 PROCESE ALEATOARE ÎN TIMP DISCRET - 3
în care U este o matrice unitară superior triunghiulară, U H este o matrice unitară inferior
triunghiulară iar DU este o matrice diagonală cu elemente pozitive. Trebuie remarcat că
U H L şi DU DL . Urmând aceeaşi analiză ca şi în paragraful precedent, avem
det R det DU i 1iu . Întrucât A U1 este o matrice unitară superior triunghiu-
M
Dacă u este o secvenţă de eşantioane succesive ale unui semnal în timp discret, (3.155) se
constituie într-o operaţie de filtrare anticauzală a acestei secvenţe.
zgomot alb gaussian. În termeni statistici, seria temporală de la intrarea sistemului din
Figura 3.4 se descrie astfel:
2 , k n
E v n 0, n şi E v n v* k v (3.156)
0, altfel
Filtrul linear din Figura 3.4 poate avea diferite structuri care corespund unor modele
distincte pentru semnalul de ieşire. Pot fi identificate trei tipuri clasice de modele lineare
stochastice:
Model cu medie alunecătoare (MA – Moving Average),
Model autoregresiv (AR – Autoregressive),
Model mixt autoregresiv cu medie alunecătoare (ARMA).
În cele ce urmează, vom descrie aceste modele.
unde coeficienţii g0* , g1* , , g L* 1 definesc răspunsul la impuls al filtrului, fiind denumiţi în
acest caz parametri MA iar v n este un proces de zgomot alb de medie zero şi varianţă
v2 . La ieşirea filtrului se obţine procesul MA u n . Este vorba după cum s-a arătat în
Capitolul 2 de un filtru având numai zerouri şi a cărui funcţie de transfer este un polinom în
z 1 :
L 1
G z gi* z i (3.158)
i 0
În sfârşit, ordinul funcţiei de transfer din (3.158) stabileşte ordinul procesului MA. Deci, în
cazul de faţă, u n este un proces stochastic de ordinul L 1 .
Pentru a determina funcţia de autocorelaţie a ieşirii u n , se aplică relaţia (3.55) şi se au
în vedere caracteristicile zgomotului alb, aşa cum sunt definite prin (3.156). Rezultă:
2 L 1 k
v gl gl k , k L
*
r k u l u k l l 0 (3.159)
l 0 0, k L
Calculăm media şi varianţa procesului de ieşire:
L 1
E glv n l gl E v n l 0, 2 r 0 v2 g k
2
(3.160)
l 0 k 0 k 0
Având în vedere faptul că răspunsul la impuls al filtrului este de lungime finită şi funcţia
de autocorelaţie a procesului de ieşire este nulă pentru întârzieri mai mari decât L 1 .
Sunt posibile două interpretări pentru ecuaţia (3.163) în funcţie de modul în care este
privit procesul AR: intrare sau ieşire a sistemului H a z . Acestea sunt:
ai* z i
i 0
1
Hg z (3.167)
1 p1 z 1 p2 z 1
1
1 p Mz
1
Condiţia necesară şi suficientă pentru ca procesul AR generat să fie staţionar în sens larg
este ca filtrul din Figura 3.6 să fie stabil, ceea ce, după cum s-a arătat în Capitolul 2, impune
ca polii acestuia să fie toţi plasaţi în interiorul cercului de rază unitate al planului Z
pk 1, k (3.168)
Pentru a defini în mod unic modelul generator AR de ordin M din Figura 3.6, valorile
funcţiei de autocorelaţie a acestuia, r 0 , r 1 , , r M 1 se consideră date iniţiale ale
problemei. Vom stabili în continuare ecuaţiile Yule-Walker care determină pe baza datelor
iniţiale, parametrii AR a1 , a2 , , aM şi varianţa v2 a zgomotului alb v n . În acest scop se
multiplică ambii membri ai relaţiei (3.161) cu u* n l iar apoi se aplică operatorul de
mediere statistică:
M
E ak*u n k u* n l E v n u * n l (3.169)
k 0
Membrul drept al ecuaţiei se simplifică în urma observaţiei că E v nu* n l 0 pentru
l 0 , astfel că ecuaţia (3.169) devine
M
a r l k 0,
k 0
*
k l 0 (3.170)
a r k l r l ,
k 1
k l
*
l 1 (3.171)
Acestea sunt ecuaţiile Yule-Walker, care se pot scrie şi într-o formă mai compactă
Ra r (3.173)
unde a a1 a2 aM şi r r * 1 r * 2 r * M .
T T
M
v2 ak r k (3.174)
k 0
unde a0 1 . Prin urmare, fiind cunoscute valorile funcţiei de autocorelaţie r 0 , r 1 ,
,r M , se poate determina varianţa zgomotului alb v2 .
G z g z * i
i
H z G z Hg z i 0
(3.175)
Ha z M
a z
i 0
* i
i
unde v n este zgomotul alb gaussian aplicat la intrarea modelului iar u n procesul
ARMA modelat.
O relaţie directă între funcţia de autocorelaţie şi coeficienţii modelului ARMA se obţine
înmulţind cei doi termeni ai ecuaţiei precedente cu u* n k şi aplicând apoi operatorul de
medie statistică, avem:
L M
r k gi* E v n i u* n k ai*r k i (3.177)
i 0 i 1
Se poate verifica că relaţiile dintre funcţiile de autocorelaţie şi coeficienţi devin nelineare din
cauza primului termen din ecuaţia (3.177).
Din punctul de vedere a calculelor, modelul AR are un atu important în faţa modelelor
MA şi ARMA. În particular, calculul coeficienţilor modelului AR din Figura 3.6 este dat de
sistemul de ecuaţii lineare Yule-Walker (3.172) şi (3.174). Pe de altă parte, calculul coefi-
cienţilor MA pentru modelul din Figura 3.5 precum şi al coeficienţilor ARMA sunt mult
mai complicate, vezi în acest sens relaţiile (3.159) ce pot fi utilizate la determinarea
coeficienţilor MA. Din aceste motive, în practică, modelele AR sunt mult mai utilizate decât
modelele MA şi ARMA.
Exemplul 3.5: Consideraţi procesul MA de ordinul 2 u n care satisface ecuaţia
cu diferenţe finite
u n v n 0,75v n 1 0,25v n 2
76 PROCESE ALEATOARE ÎN TIMP DISCRET - 3
unde v n este un proces aleator de zgomot alb cu medie zero şi varianţă unitară,
v2 1 . Să se determine:
a. Funcţia de autocorelaţie ru k a procesului aleator u n ,
b. Să se aproximeze procesul MA cu procesul AR de ordinul M 3 x n ,
calculându-se coeficienţii procesului AR.
Soluţie: Funcţia de autocorelaţie ru k a procesului u n se poate calcula
direct din ecuaţia de definiţie, dacă aceasta se multiplică cu u* n k iar apoi se
aplică media statistică relaţiei ce rezultă. Relaţia (3.159) sintetizează aceste
rezultate:
ru 0 12 0,75 0, 25 1,625; ru 1 0,75 1 0, 25 0,75 0,9375;
2 2
ru 2 0, 25 1 0, 25; ru k 0, k 2
Procesul AR de ordinul M 3 x n aproximează procesul MA dacă rx k
ru k pentru k 3 . Considerăm că egalitatea are loc, ceea ce permite să
determinăm coeficienţii procesului AR prin rezolvarea ecuaţiilor Yule-Walker
(3.172):
rx 0 rx 1 rx 2 a1 rx 1
rx 1 rx 0 rx 1 a2 rx 2
rx 2 rx 1 rx 0 a3 rx 3
Soluţiile sunt: a1 0,75; a2 0,3182; a3 0,0682 . În concluzie, procesul gene-
rator AR x n de ordinul M 3 este descris de ecuaţia cu diferenţe finite:
x n 0,75x n 1 0,3182 x n 2 0,0682 x n 3 v n .
Probleme
P 3.1 Fie procesul aleator w n generat de aruncarea unei monezi „corecte” pentru
fiecare moment de timp n, n , definit prin:
S "Cap" Pr C 0,5
w n
S "Pajură" Pr P 0,5
unde S este o constantă.
(a) Caracterizaţi procesul din punctul de vedere a independenţei şi staţionarităţii,
calculând în primă instanţă media şi varianţa lui.
Vom defini, în continuare, un nou proces aleator, x n , n 1 , prin
PROCESE ALEATOARE ÎN TIMP DISCRET Probleme 77
x 1 w1
x 2 x 1 w 2 w 1 w 2
n
x n x n 1 w n w i
i 1
Acest proces aleator poartă în literatură numele de „proces discret Wiener” sau în
engleză „random walk”.
(b) Calculaţi media şi varianţa lui x n şi stabiliţi dacă este proces staţionar sau
nu.
P 3.2 Pentru fiecare proces aleator din lista care urmează, stabiliţi dacă acesta este: (1)
staţionar în sens larg sau (2) ergodic în sens larg.
(a) x n A , unde A este o variabilă aleatoare distribuită uniform între 0 şi 1.
(b) x n A cos 0 n, unde A este o variabilă gaussiană cu media 0 şi varianţa 1.
(c) x n este un proces Bernoulli cu Pr x n 1 p şi Pr x n 1 1 p .
P 3.3 O secvenţă aleatoare staţionară x n de medie x 4 şi autocovarianţă
4 n n 3
cx n
0 în rest
se aplică la intrarea unui sistem SLIT cu răspunsul la impuls h n dat de
h n n n 4
unde n este impulsul treaptă unitate. Semnalul de ieşire al sistemului este o
altă secvenţă aleatoare y n . Determinaţi pentru acest proces:
(a) media y n ,
(b) funcţia de intercovarianţă cxy n1 , n2 ,
oricare ar fi l.
(b) Determinaţi care dintre matricile pătrate de mai jos reprezintă matrici de corelaţie:
1 0,5 0, 25
1 1
1 R1 2 R 2 0,5 1 0,5
1 1 0, 25 0,5 1
1 0,5 1
1 1 j
3 R3 4 R 4 0,5 2 0,5
1 j 1
1 1 1
P 3.6 Fie matricea de corelaţie R .
(a) Utilizând transformarea unitară de similaritate (vezi paragraful 3.6.2), arătaţi că
pentru orice n număr întreg, R n QΛnQH .
(b) Matricea R1 2 , cu proprietatea R1 2 R1 2 R , este definită drept rădăcină pătrată
a lui R . Arătaţi că R1 2 QΛ1 2QH .
(c) Arătaţi că identitatea R QΛ QH este valabilă pentru orice număr raţional α.
P 3.7 Se consideră matricea de corelaţie R a vectorului de observaţii u n . Se defineşte
vectorul
u n R 1 2u n
unde R 1 2 este inversa matricii R1 2 definită în problema P 3.6. Arătaţi că
matricea de corelaţie a lui u n este matricea identitate.
P 3.8 Consideraţi procesul u n au n 1 w n , unde w n este un proces aleator
gaussian de medie nulă şi varianţă w2 .
(a) Arătaţi că matricea de corelaţie a procesului de dimensiune M M este Toeplitz
simetrică, fiind dată de
1 a a m 1
2
a 1 a m2
R w2
1 a
m 1
a a m2 1
(b) Verificaţi că
PROCESE ALEATOARE ÎN TIMP DISCRET Probleme 79
1 a 0 0
a 1 a2 a 0
1
R 1 2 0 a
w
1 a2 a
0 0 a 1
(c) Arătaţi că dacă
1 0 0
a 1 0
L
0
0 0 a 1
atunci LT RL 1 a 2 I .
P 3.9 Calculaţi şi comparaţi autocorelaţiile următoarelor procese:
(a) ua n v n 0,3v n 1 0,4v n 2 şi
(b) ub n v n 1,2v n 1 1,6v n 2
unde v n este un proces normal de zgomot alb de medie nulă şi varianţă unitară.
Explicaţi rezultatele obţinute.
P 3.10 Consideraţi modelul MA(2) de proces aleator
u n v n 0,1u n 1 0,2u n 2
unde v n este un proces normal de zgomot alb de medie nulă şi varianţă unitară.
(a) Este procesul u n staţionar? De ce?
(b) Este modelul considerat un model de fază minimă? De ce?
(c) Determinaţi funcţia de autocorelaţie a procesului.
P 3.11 Un proces real de ordinul întâi autoregresiv (AR) u n satisface ecuaţia cu
diferenţe finite reală
u n a1u n 1 v n
unde a1 este o constantă iar v n este un proces de zgomot alb de varianţă v2 .
(a) Arătaţi că dacă media lui v n este nenulă, atunci procesul AR u n este
nestaţionar.
(b) În cazul în care v n are media nulă iar constanta a1 satisface condiţia a1 1 ,
arătaţi că varianţa lui u n este
80 PROCESE ALEATOARE ÎN TIMP DISCRET - 3
v2
var u n
1 a12
(c) Pentru condiţiile specificate la punctul (b), stabiliţi funcţia de autocorelaţie a
procesului AR u n . Reprezentaţi grafic funcţia de autocorelaţie pentru cazurile
0 a1 1 şi 1 a1 0
P 3.12 Utilizaţi ecuaţiile Yule-Walker pentru a determina funcţiile de autocorelaţie ale
modelelor AR de mai jos, presupunând că v n este un proces normal de zgomot
alb de medie nulă şi varianţă unitară:
(a) u n 0,5u n 1 v n ,
(b) u n 1,5u n 1 0,6u n 2 v n
Care este varianţa u2 a procesului rezultat?
P 3.13 Dorim să generăm în MATLAB eşantioane dintr-un proces gaussian cu funcţia de
autocorelaţie ru l 12 12 , l .
l l
(a) Găsiţi ecuaţia cu diferenţe finite care generează procesul u n , atunci când
excitaţia este un proces normal de zgomot alb de medie nulă şi varianţă unitară.
(b) Generaţi N 1000 eşantioane ale procesuluişi estimaţi densitatea de probabilitate
utilizând histograma şi funcţia de autocorelaţie normată.
(c) Verificaţi valabilitatea modelului, reprezentând pe acelaşi grafic (i) densitatea de
probabilitate reală şi estimată a lui u n şi (ii) funcţiile de autocorelaţie reale şi
estimate.
P 3.14 Determinaţi filtrul adaptat pentru impulsul determinist s n cos 0 n pentru
0 n M 1 şi zero în rest, atunci când zgomotul este (a) alb cu varianţa v2 şi
(b) colorat cu funcţia de autocorelaţie rv l v2 l 1 , 1 1 .
2
A
cest capitol este dedicat studierii clasei de filtre lineare optimale cunoscute sub
numele de filtre Wiener. După cum vom vedea în capitolele următoare, conceptul
de filtru Wiener se constituie într-un instrument esenţial în înţelegerea şi aprecierea
filtrelor adaptive. Mai mult, filtrarea Wiener este generală şi aplicabilă în toate categoriile de
aplicaţii care presupun estimarea unui semnal (denumit semnal dorit) printr-un alt semnal
asociat.
Semnalele care intervin în teoria filtrelor Wiener sunt presupuse a fi procese aleatoare
iar filtrul este realizat utilizând statistici obţimute prin mediere pe ansamblu. Această
abordare este urmată pe tot parcursul dezvoltării şi analizei teoretice a filtrelor Wiener.
Totuşi, din punctul de vedere a implementării algoritmilor de filtrare adaptivă, vom avea în
vedere în capitolele următoare şi utilizarea mediilor temporale în locul celor statistice.
Teoria filtrelor optimale a fost dezvoltată în timp continuu de Wiener (1942) şi
Kolmogorov (1939) iar în timp discret, Levinson (1947) a reformulat teoria filtrelor FIR şi a
proceselor staţionare, dezvoltând un algoritm elegant de rezolvare eficientă a ecuaţiilor
normale care exploatează structura Toeplitz a matricii de corelaţie R (Farhang-Boroujeny
1998, Manolakis, ş.a. 2005). Acesta este motivul pentru care filtrele optimale sunt denumite
filtre Wiener.
criteriu statistic pe care urmează să-l stabilim în continuare. Utilizarea de semnale cu valori
complexe se datorează faptului că în multe aplicaţii practice (comunicaţii, radar, sonar, etc),
reprezentarea semnalelor în banda de bază se face în format complex. Evident că semnalele
reale reprezintă un caz particular pentru abordarea noastră.
Vom impune, din start, două restricţii asupra filtrului (Haykin 1996):
1. Filtrul este linear, ceea ce facilitează tratarea matematică a problemei;
2. Filtrul funcţionează în timp discret, ceea ce permite implementarea prin structuri
digitale hard/soft.
Este acum momentul să decidem în privinţa a două caracteristici importante care
influenţează profund performanţele filtrului adaptiv:
1. Ce fel de răspuns la impuls are filtrul utilizat: finit (FIR) sau infinit (IIR)?
2. Ce tip de criteriu statistic este utilizat pentru optimizarea parametrilor filtrului.
În ceea ce priveşte prima dilemă, dezvoltarea iniţială a teoriei filtrării optimale presupu-
ne că filtrul din Figura 4.1 are un număr infinit de coeficienţi wi , ceea ce înseamnă că trata-
rea include atât cazul FIR cât şi cel mai general, IIR. Totuşi, cea mai mare parte din lucrare
este dedicată exclusiv filtrelor FIR, pentru că acestea sunt inerent stabile iar structura lor nu
cuprinde decât căi directe de semnal între intrare şi ieşire. Filtrele IIR au în structură cel
puţin o cale de reacţie inversă de la ieşire spre intrare, ceea ce poate conduce, în anumite
condiţii, la pierderea stabilităţii circuitului. Deşi stabilitatea este un parametru ce poate fi
bine controlat, combinarea acestei probleme cu cea a adaptivităţii coeficienţilor filtrului, face
din filtrul IIR o opţiune nu foarte atractivă pentru implementarea filtrării adaptive. Acestea
sunt motivele care fac ca filtrele FIR să fie preferate celor IIR în probleme de filtrare
adaptivă, chiar dacă implementarea filtrelor IIR necesită mai puţină putere de calcul decât
filtrele FIR.
În ceea ce priveşte problema alegerii criteriului de optimizare, trebuie spus că multe
aplicaţii practice (ca de exemplu codarea vorbirii, a imaginilor, etc.) necesită criterii
subiective care sunt dificil de exprimat matematic. Drept urmare, ne vom îndrepta atenţia
către criterii de performanţă care:
1. depind numai de eroarea de estimare e n ;
2. asigură o evaluare suficientă a satisfacţiei utilizatorului, şi
3. conduc la o problemă tratabilă matematic.
Pentru că în cele mai multe aplicaţii eroarea este la fel de dăunătoare indiferent de
semnul pe care îl are, criteriul acordă ponderi egale atât erorilor pozitive cât şi celor
negative. Această cerinţă este satisfăcută de funcţii ca cele reprezentate în Figura 4.2: (i)
4.1 Filtrarea optimală lineară: punerea problemei 83
trebuie să aibă în vedere şi caracterul stochastic al semnalelor din Figura 4.1, implicit al
erorii e n . Printre potenţialele funcţii de cost, alegerea se face între:
1. eroarea pătratică medie (EPM):
E e n e n E e n
2
J (4.1)
2. suma pătratelor erorii:
n2
E n1 , n2 e n
2
(4.2)
n n1
În cazul filtrării optimale Wiener, se alege prima funcţie, cea de a doua funcţie fiind
utilizată în cazul metodei celor mai mici pătrate (LS) ce va fi tratată în Capitolul 9 al cărţii.
Utilizarea erorii medii pătratice ca funcţie de cost oferă un cadru matematic convenabil,
conduce la soluţii aplicabile în practică şi, serveşte drept etalon pentru estimarea algoritmilor
de filtrare adaptivă. Vom mai preciza aici că metoda mediei pătratice a fost dezvoltată iniţial
de Gauss în secolul XIX şi a constituit de a lungul timpului obiectul studiului mai multor
generaţii de matematicieni.
În concluzie, problema filtrării adaptive Wiener se defineşte astfel (Haykin 1996):
84 FILTRE LINEARE OPTIMALE - 4
wi wi
min J min e n
2
(4.5)
k j , k 0,1, 2, (4.7)
ak bk
Prin urmare, în cazul aplicării operatorului funcţiei de cost J , se obţine vectorul
multidimensional complex J cu elementul k dat de
J J
k J j , k 0,1, 2, (4.8)
ak bk
Operatorul gradient se utilizează în problemele de determinare a punctelor staţionare
ale unei funcţii de mai multe variabile (Ştefănescu şi Zidăroiu 1981). În consecinţă, funcţia
de cost J îşi atinge valoarea minimă când toate componentele vectorului gradient sunt
simultan nule, adică:
k J 0, k 0,1,2, (4.9)
Cu aceste condiţii îndeplinite, filtrul este optim din punctul de vedere a erorii pătratice
medii.
În conformitate cu ecuaţia (4.1), funcţia J este un scalar independent de momentul de
timp n . Prin urmare, aplicând (4.8) asupra lui (4.1) se obţine:
e n * e* n e n * e* n
k J E e n e[n] j e n j e n (4.10)
ak ak bk bk
Din (4.4) şi (4.6) se obţin valorile derivatelor parţiale care apar în ecuaţia (4.10):
e n e n
u n k ; ju n k ;
ak bk
(4.11)
e* n e* n
ju n k ; u n k ;
*
bk ak
Valorile obţinute se înlocuiesc în (4.10) şi, după anularea termenilor comuni, se obţine în
final:
k J 2E u n k e* n (4.12)
Se pot specifica acum condiţiile necesare pentru minimizarea funcţiei de cost. Fie eo
valoarea pe care o atinge eroarea de estimare atunci când filtrul a atins optimul. Condiţiile
specificate în (4.9) sunt, după cum se observă, echivalente cu:
E u n k eo* n 0, k 0,1, (4.13)
Cu alte cuvinte, ecuaţia (4.13) afirmă:
„Condiţia necesară şi suficientă pentru ca funcţia de cost J să atingă valoarea
minimă este ca valoarea corespunzătoare a erorii eo n să fie ortogonală pe
fiecare eşantion al semnalului de intrare ce intră în estimarea răspunsului dorit la
momentul de timp n ”.
86 FILTRE LINEARE OPTIMALE - 4
Această propoziţie constituie principiul ortogonalităţii. Ea reprezintă una dintre cele mai
elegante teoreme din domeniul filtrării lineare optimale, constituind de asemenea baza
matematică a unor proceduri ce testează dacă filtrul linear funcţionează în condiţii optimale.
din plan, avem eo u n k , k , ceea este este de fapt enunţul principiului ortogonalităţii
(4.13). Se remarcă de asemenea că perpendiculara eo reprezintă segmentul de lungime
minimă care poate fi dus din vârful vectorului d la „planul” Un .
Pe parcursul prezentării noastre, vom remarca de mai multe ori utilitatea interpretării
geometrice a principiului ortogonalităţii în cazul filtrării optimale. De exemplu, aplicarea
Teoremei lui Pitagora în triunghiul dreptunghic format din vectorii dˆ , eo şi d din Figura 4.3
conduce la relaţia
2
dˆ eo
2 2
d
E d E dˆ E eo
2 2 2
sau (4.17)
care descompune puterea semnalului dorit în două componente, una care este corelată cu
datele de intrare şi alta care este necorelată cu acestea.
unde woi este coeficientul al i -lea al răspunsului la impuls al filtrului optimal. Dezvoltarea
ecuaţiei, urmată de rearanjarea termenilor duce la:
w r i k p k ;
i 0
oi k 0,1,2,.... (4.22)
Sistemul de ecuaţii (4.22) defineşte coeficienţii filtrului optimal, în funcţie de două funcţii de
corelaţie: autocorelaţia secvenţei de la intrare şi intercorelaţia intrării cu semnalul dorit.
Ecuaţiile sunt denumite ecuaţiile Wiener-Hopf sau ecuaţiile normale.
M 1
w r i k p k ;
i 0
oi k 0,1,2,..., M -1 (4.23)
u n u n u n 1 u n M 1
T
(4.25)
Dezvoltarea lui R este:
r 0 r 1 r M 1
r 1 r 0 r M 2
R (4.26)
r M 1 r M 2 r 0
Similar, vectorul de intercorelaţie dintre semnalul de intrare u n şi răspunsul dorit
d n se notează cu p :
wo wo 0 woM 1
T
wo1 (4.29)
Ecuaţiile Wiener-Hopf pot fi rezolvate dacă matricea de corelaţie R este nesingulară.
Înmulţind ambii termeni ai ecuaţiei (4.28) cu R 1 , inversa matricii R , se obţine:
wo R 1 p (4.30)
Prin urmare, calculul vectorului coeficienţilor optimali w o necesită cunoaşterea a două
mărimi:
1. matricea de corelaţie R a secvenţei de intrare,
2. vectorul de corelaţie mutuală p a secvenţei u n cu răspunsul dorit d n .
Exemplul 4.1: Semnalul de intrare u n al unui filtru FIR (vezi Figura 4.5) este
alcătuit dintr-o componentă utilă s n perturbată de zgomotul alb v n de
varianţă v2 ce este necorelat cu s n :
90 FILTRE LINEARE OPTIMALE - 4
u n s n v n
Semnalul s n este şi el un proces aleator cu funcţia de autocorelaţie dată prin
relaţia
rs l , 0 1
l
p rs 0 rs 1 1
T T
1 2 2 v2 1 v2 2 2 v4
2 2
Pout , s w R s w o
H v
,
1 2
o 2
2
v
Pout ,v w R v w o
H
1
2
v
2 2 2 4
v
v2
1
o
2 2 2
v
Prin urmare:
1 2 2 v2 1 v2 2 2 v4
2 2
Pout , s
RSZout
v
Pout ,v
v2 1 v2 2 2 v4
2
În sfârşit, în scopul evidenţierii efectului pozitiv al filtrului optimal, vom calcu-
la raportul RSZout la RSZin
RSZout 2 v2 1 v2 2
1
1 v2 2 2 v4
2
RSZin
Funcţia de cost a structurii de filtru transversal din Figura 4.4 este media pătratului erorii
de estimare e n :
J w E e n e n E e n
2
E d n w H u n d n u H n w
Prin urmare:
92 FILTRE LINEARE OPTIMALE - 4
(4.32)
w E u n u
H H
n w
unde vectorul u n definit prin (4.25) este secvenţa de date, d n este semnalul dorit la
momentul de timp curent iar vectorul w descrie ponderile filtrului
w w0 w1 wM 1 (4.33)
În membrul drept al expresiei (4.32) pot fi identificate patru medii statistice:
1. Varianţa răspunsului dorit d n , pe care îl presupunem a fi proces aleator de medie
nulă:
d2 E d n
2
(4.34)
2. Mediile E u n d n şi E d n uH n se scriu astfel:
E u n d n
p 0
E u n 1 d n
p 1 p
E u n d n
(4.35)
p M 1
E u n M 1 d
n
Ecuaţia (4.38) afirmă faptul că, în cazul în care semnalul de intrare în filtrul FIR şi
răspunsul dorit sunt mutual staţionare, funcţia de cost sau eroarea EPM J este o funcţie de
gradul doi de coeficienţii filtrului w0 , w1 , , wM 1 , fiind o suprafaţă paraboidală (de tip
cupă) în spaţiul M 1 dimensional cu M grade de libertate reprezentate de coeficienţii
filtrului. Această suprafaţă este caracterizată printr-un minim unic. Este denumită suprafaţa
erorii pătratice medii (vezi Figura 4.6) sau, pur şi simplu suprafaţă de eroare. Valoarea
minimă a erorii, notată prin J min este atinsă în punctul în care vectorul gradient J este
identic nul. Cu alte cuvinte se ajunge la ecuaţia:
k J w 0, k 0,1,...., M -1 (4.39)
4.4 Suprafaţa de eroare 93
Figura 4.6 (a) Suprafaţa de eroare medie pătratică pentru un filtru FIR cu
M 2 , (b) Curbele de contur ale aceluiaşi filtru.
(4.42)
d2 p H R 1p w R 1p R w R 1p
H
Ultima expresie subliniază încă odată două caracteristici esenţiale ale filtrului FIR optimal.
În primul rând, termenul w R 1p R w R 1p este pozitiv întrucât matricea R este
H
pozitiv definită, anulându-se doar pentru w R 1p , adică exact valoarea optimă a
coeficienţilor filtrului. În al doilea rând, atunci când w R 1p , se anulează ultimul termen
din relaţia (4.42) şi funcţia de cost ia valoarea minimă specificată prin ecuaţia (4.41).
Exemplul 4.3: Pentru ca filtrarea optimală să fie eficientă din punctul de vedere
a EPM, intercorelaţia semnalului dorit d n cu vectorul semnalului de intrare
4.4 Suprafaţa de eroare 95
u n trebuie să fie nenulă. Pentru a sublinia acest lucru vom considera două
cazuri.
Drept prim exemplu fie semnalul dorit, obţinut printr-o simplă întârziere cu 2
eşantioane a semnalului de intrare, împreună cu o atenuare de valoare a :
d n au n 2
Semnalul de intrare u n este necorelat, şi drept urmare:
R 2I M
În consecinţă, din (4.36) se scrie:
p E u n d n 0 0 a 2
T
0 0
Soluţia matricială a ecuaţiei Wiener-Hopf se scrie:
wo R 1p 0 0 a 0 0
T
p E u n 1 u n 0
Filtrul optimal are în acest caz coeficienţii:
wo 0 (4.43)
Filtrul „optimal” este, prin urmare, filtrul nul. Rezultatul se explică prin aceea că
în cazul unui semnal necorelat nu poate fi prezis corect eşantionul care urmează.
Orice altă predicţie ar fi eronată şi ar mări valoarea erorii J . Cea mai bună
predicţie este (4.43), întrucât menţine nivelul EPM la J 2 .
96 FILTRE LINEARE OPTIMALE - 4
r31 (4.51)
r31 1l20 l20
1
r32 1l20l10*
r32 1l20l10* 2l21 l21
2
r22 1 l20 2 l21 3 2 r33 1 l20 2 l21
2 2 2 2
m 1
Pentru i 1, 2, ,M,
p i 1 i 2
ki li 1, M kM 1
i m0
Pentru i M , M 1, ,1,
M
wo,i ki l
m i 1
*
m 1,i 1 wo,m
1 l10* l20
*
wo,1 k1 wo,3 k3
*
0 1 l21 wo,2 k2 wo,2 k2 l21wo,3
*
(4.54)
0 0 1 wo,3 k3 wo,1 k1 l10* wo,2 l20
*
wo,3
Consecinţa substituţiei în ordine „inversă” este că în cazul în care se doreşte să se
calculeze încă un coeficient al filtrului optimal, se modifică valorile tuturor
coeficienţilor calculaţi anterior.
Tabelul 4.1 generalizează rezultatul din Exemplul 4.4, formulând algoritmul de rezol-
vare a ecuaţiilor normale prin descompunerea LDLH . Descompunerea triunghiulară nece-
sită M 3 6 operaţii iar soluţia unui sistem triunghiular presupune efectuarea a
M M 1 2 M 2 2 operaţii.
Descompunerea LDLH din (4.44) oferă o abordare simplă a calculului EPM minime a
filtrului optimal J min fără a recurge la calculul coeficienţilor acestuia. În acest scop, prin
utilizarea relaţiilor (4.40), (4.44) şi (4.49), se obţine:
J min d2 p H wo d2 k H L1R L1 k d2 k H Dk
H
(4.55)
M
J min d2 i ki
2
sau, sub formă scalară: (4.56)
i 1
minime şi, prin urmare, conduce la o estimare mai bună a semnalului dorit (Manolakis, ş.a.
2005). În sfârşit, pentru că determinantul unei matrici unitare inferior triunghiulare este egal
cu unu, din (4.44) se obţine:
transformarea de similaritate.
100 FILTRE LINEARE OPTIMALE - 4
În general, prin multiplicarea unui vector cu o matrice se schimbă atât lungimea cât şi
direcţia vectorului. Definim o transformare de coordonate a vectorului coeficienţilor
filtrului optimal prin
w 'o QH wo sau wo Qw 'o (4.64)
2
M M p 'i (4.70)
p ' w 'oi
2 2
i
d i d
i 1 i 1
nate, având originea în w o şi axele determinate de axele elipsei v1 şi v 2 . Cele două axe
sunt ortogonale, iar sistemul rezultat este cunoscut sub numele de sistem principal de
coordonate. Transformarea de la sistemul „vechi” la cel „nou” se face în doi paşi:
Translaţie: w w wo
(4.71)
Rotaţie: v QH w
unde rotaţia schimbă axele spaţiului pentru a le alinia cu axele elipsoidului. Expresia EPM
(4.42) devine
J v J min w H Rw J min w H QΛQ H w
M (4.72)
J min v H Λv J min i vi
2
i 1
care arată că penalitatea plătită pentru deviaţia unui parametru de la valoarea sa optimală
este proporţională cu valoarea proprie corespunzătoare.
Utilizând transformarea de similaritate (4.60), avem
M
qiH p M
p 'i
w o R 1p QΛ 1Q H p qi qi (4.73)
i 1 i i 1 i
iar semnalul optimal de la ieşirea filtrului poate fi scris astfel
M
q u n
p 'i
d n Un yo n w H u n (4.74)
i
i
i 1
ceea ce conduce la reprezentarea filtrului optimal din Figura 4.8. Filtrele de valori proprii
q i decorelează vectorul de intrare u n în componentele sale principale, care, în continuare,
sunt ponderate şi însumate pentru a furniza semnalul de ieşire optim.
102 FILTRE LINEARE OPTIMALE - 4
w r i k p k
i
oi k , 2, 1,0,1,2, (4.76)
Relaţia (4.76) poate fi considerată ca fiind generală, astfel încât putem să recurgem în
continuare la exprimarea ei în domeniul frecvenţă. În acest scop vom scrie pentru început
răspunsul în frecvenţă al filtrului FIR caracterizat de vectorul coeficienţilor w o :
Wo w
k
ok e jk (4.77)
De asemenea, aşa cum s-a stabilit în Capitolul 3, transformata Fourier în timp discret a
funcţiei de autocorelaţie r l este Su , densitatea spectrală de putere a procesului aleator
u n . În ceea ce priveşte membrul drept al ecuaţiei(4.76), p k E u n k d * n este
funcţia de intercorelaţie, p k rud k a cărei transformare Fourier în timp discret
poartă, aşa cum s-a introdus în Capitolul 3, numele de densitate spectrală mutuală de putere
*
sau interspectru: Sud Sdu .
4.8 Egalizarea de canal 103
Wo
*
Sud
Sdu
(4.79)
Su Su
Vom spune că răspunsul în frecvenţă al filtrului Wiener optimal la o frecvenţă dată
i este determinat de raportul dintre densitatea spectrală mutuală a proceselor d n
şi u n şi densitatea spectrală de putere a procesului u n la i .
Expresia în domeniul frecvenţă a erorii pătratice medii (EPM) minime pentru filtrul
Wiener optimal se obţine prin înlocuirea relaţiei (4.79) în ecuaţia (4.40). În condiţiile în care
răspunsul filtrului se întinde de la n la n , aceasta poate fi rescrisă astfel:
J min J w o d2 p H w o d2 p k w
k
*
o,k (4.80)
şi înlocuim suma de convoluţie din (4.80) cu echivalentul său din domeniul frecvenţă. Se
obţine:
1
Sud Wo d
2
J min d2 (4.82)
Ultima expresie este corectă, indiferent de tipul filtrului optimal, FIR sau IIR, atâta timp cât
în relaţia (4.80) sunt utilizate limitele corecte pentru sumă.
unde n este impulsul unitate. Similar, putem exprima răspunsul la impuls al canalului
prin:
c n ck n k (4.84)
k
c0 c N 1 c N c N 1 c2 N h N 0
cN 1 c0 c1 c2 c N 1 h1 0
cN c1 c0 c1 c N h0 1 (4.91)
cN 1 c2 c1 c0 c N 1 h1 0
c c0 hN 0
2N cN 1 cN cN 1
În concluzie, dacă se cunoaşte răspunsul la impuls al canalului, caracterizat de
coeficienţii c N , , c1 , c0 , c1 , , cN , se utilizează ecuaţia (4.91) pentru a determina coefi-
cienţii necunoscuţi ai filtrului egalizor h N , , h1 , h0 , h1 , , hN .
În literatura de specialitate (Lucky, ş.a. 1968), un egalizor proiectat în conformitate cu
ecuaţia (4.91) poartă numele de egalizor cu forţare de zero (zero-forcing equalizer).
Egalizorul este denumit astfel, întrucât dacă se transmite un singur impuls pe canal, el
„forţează” ieşirea receptorului să fie nulă la toate momentele de eşantionare, cu excepţia
momentului de timp ce corespunde impulsului transmis.
Principalul inconvenient al egalizoarelor zero-forcing (Manolakis, ş.a. 2005) este acela
că ignoră prezenţa zgomotului pe canal şi prin urmare, amplifică zgomotul care apare în
vecinătatea frecvenţelor la care amplificarea pe canal este nulă. De asemenea nu
funcţionează corect decât la valori mari ale raportului semnal/zgomot. Acestea sunt motivele
pentru care, la nivele de zgomot importante sunt preferate aşa-numitele egalizoare cu EPM
minimă (Minimum MSE Equalizers) care sunt mai robuste întrucât iau în considerare atât
ISI cât şi proprietăţile statistice ale zgomotului (Qureshi 1985).
M 1
y n wk*u n k (4.92)
k 0
w e
k 0
c * j o k
ok g (4.96)
apoi se egalează acesta cu zero. Aplicând o procedură similară celei utilizate în paragraful
4.2.1 se stabileşte că componenta k a gradientului J c este
M 1
k J c 2 wi r i k *e jo k (4.98)
i 0
Fie woi c componenta i a vectorului coeficienţilor filtrului optimal w oc . Atunci, condiţia de
optim pentru filtrul transversal se scrie astfel:
M 1
*
w r i k 2 e
i 0
c
oi
j o k
, k 0,1, , M 1 (4.99)
Sistemul de M ecuaţii simultane (4.99) definesc valorile optime ale coeficienţilor filtrului
optimal cu constrângerea (4.96). Sistemul are o formă similară cu cea a ecuaţiei Wiener-
Hopf din (4.22).
În acest punct al expunerii este mai comod să trecem la formularea matricială a
problemei de optimizare, întrucât sistemul de M ecuaţii lineare din (4.99) se exprimă în
aceste condiţii astfel:
*
Rw oc s o (4.100)
2
Ca şi în restul capitolului, R este matricea de corelaţie M M iar w oc e vectorul ponde-
rilor optimale ale filtrului optimizat cu constrângerea (4.96). În sfârşit, s o este vectorul
1
w o H Rw o
c c c
J min (4.106)
s o R 1s o
H
s 1 e j e j M 1
T
unde: (4.108)
Probleme
P 4.1 Fie un filtru Wiener determinat de matricea de corelaţie R a vectorului de intrare
u n , vectorul de intercorelaţie a lui u n cu răspunsul dorit d n şi varianţa
răspunsului dorit d2 , definite prin
1 0,7 0,5
R , p şi d 2
2
0,7 1 0,25
(a) Calculaţi coeficienţii filtrului Wiener şi EPM minimă produsă de acest filtru
Wiener.
(b) Determinaţi expresia funcţiei de cost şi reprezentaţi suprafaţa de eroare, utilizând
MATLAB.
(c) Formulaţi o reprezentare a filtrului Wiener utilizând valorile proprii şi vectorii
proprii asociaţi ai matricii R.
P 4.2 Să se examineze problema de egalizare adaptivă din Figura 4.12. Simbolurile
generate de sursa s n se presupun a fi eşantioane ale unui proces de zgomot alb
de varianţă unitară.
(a) Să se determine matricea de corelaţie R a semnalului de la intrarea egalizorului şi
vectorul de intercorelaţie p dintre semnalul de intrare şi semnalul dorit.
(b) Să se determine valorile optime ale coeficienţilor egalizorului.
(c) Care este EPM minimă de la ieşirea egalizorului.
(d) Se pot explica rezultatele obţinute la punctele (b) şi (c) fără a recurge la toate
calculele efectuate? Cum şi de ce?
P 4.3 Fie procesul aleator armonic d n A cos 0 n de amplitudine şi frecvenţă
fixe dar necunoscute şi fază aleatoate, distribuită uniform pe intervalul 0 2 .
Procesul este afectat de zgomotul aditiv alb gaussian v n de medie nulă şi
varianţă v2 . Semnalul rezultat u n d n v n este disponibil pentru
procesare.
(a) Să se calculeze coeficienţii filtrului Wiener de ordinul doi cu intrare u n şi
semnal dorit d n pentru A 0,5, 0 0,1 şi v2 0,5 .
02 E A0
2
unde
s 0 1 e j0 e j0 M 1
T
şi
v n
1 4z 1
d n
y n
1 2 w0 w1 z 1 e n
s n 1 z 1 u n
Figura 4.13 Schema de modelare din problema P 4.6.
(c) Repetaţi punctul (a) pentru un filtru de ordinul trei şi verificaţi dacă există vreo
îmbunătăţire în acest caz.
P 4.6 Se consideră problema de modelare de sistem prezentată în Figura 4.13. Semnalul
s n este de tip zgomot alb cu dispersia unitară, iar semnalul v n are dispersia
v2 0.1 .
(a) Să se găsească matricea de corelaţie R a coeficienţilor de intrare ai filtrului
precum şi vectorul de intercorelaţie p dintre vectorul de intrare u n şi semnalul
dorit d n .
(b) Să se găsească coeficienţii optimali ai filtrului Wiener.
(c) Care este eroarea pătratică medie minimă ? Să se determine această eroare atât
în mod analitic cât şi prin inspectarea directă a schemei din figură.
P 4.7 Consideraţi procesul aleator armonic
d0 n A cos 0 n
cu amplitudine şi frecvenţă fixe dar necunoscute, şi faza aleatoare distribuită
uniform pe intervalul 0,2 . Acest proces este afectat de zgomotul alb gaussian
aditiv v n de medie nulă şi varianţă v2 , care este necorelat cu d0 n . Semnalul
rezultat d n d0 n v n este disponibil utilizatorului pentru prelucrare.
(a) Arătaţi că funcţia de autocorelaţie a procesului d0 n este
rd0 l A2 2 cos 0l .
(b) Scrieţi o funcţie MATLAB w=opt_fir(A,omega0,var_v,M) pentru a
proiecta filtrul FIR optimal de ordinul M cu răspunsul la impuls w n . Utilizaţi
funcţia toeplitz din MATLAB pentru a genera matricea de corelaţie R.
(c) Utilizaţi MATLAB pentru a determina şi reprezenta răspunsul în amplitudine al
filtrului optimal FIR de ordinul 20 pentru A 0,5, omega0 0,05 şi v2 0,5 .
114 FILTRE LINEARE OPTIMALE - 4
5 Predicţia lineară
redicţia lineară joacă un rol major în multe domenii teoretice şi practice ale prelucrării
Filtrul realizează o predicţie lineară a valorii curente a semnalului de la intrare. Notând prin
Un1 spaţiul M-dimensional al eşantioanelor de intrare, valoarea prezisă uˆ n Un 1 este
definită prin:
M
uˆ n Un 1 wf ,k u n k wf u n 1 (5.1)
k 1
PM E f M n
2
(5.4)
Deoarece se presupune că semnalul de intrare este de medie nulă, eroarea de predicţie
înainte f M n va fi de asemenea medie nulă. În aceste circumstanţe, PM este egală cu
varianţa erorii înainte. El poate fi privit ca puterea erorii de predicţie, în condiţiile în care
f M n este o tensiune aplicată pe o rezistenţă de 1Ω.
În vederea obţinerii vectorului optimal w f , rezolvarea ecuaţiilor Wiener-Hopf necesită
determinarea a doua mărimi:
1. Matricea de corelaţie a procesului de intrare u[n 1] :
R M E u n 1 u H n -1
r 0 r 1 r M 1
r 1 r 0 r M 2 (5.5)
r M 1 r M 2 r 0
R M are aceiaşi expresie ca şi în cazul filtrării Wiener pentru că matricea unui
proces staţionar rămâne invariantă la deplasarea în timp a semnalului:
u n u n 1 .
5.1 Predicţia lineară înainte (directă) 117
r 1 r 1
r 2 r 2
r E u n 1 u n (5.6)
r M r M
În sfârşit pentru a evalua PM este necesară o a treia mărime, u2 , varianţa lui u n :
3. Varianţa lui u n este egală cu r 0 , întrucât semnalul este de medie nulă.
În consecinţă adaptarea ecuaţiilor Wiener-Hopf la problema predicţiei lineare directe
este:
RM w f r (5.7)
Similar, din (4.40) şi (5.6), puterea erorii de predicţie înainte se calculează cu:
PM u2 r H w f r 0 r H w f (5.8)
Din ultimele două ecuaţii şi din (5.6), rezultă că vectorul de dimensiune M 1 al coefi-
cienţilor predictorului înainte şi puterea erorii de predicţie sunt determinate numai de setul
de M 1 valori ale funcţiei de autocorelaţie a procesului de intrare pentru întârzierile
0,1, , M .
Vom nota prin aM ,k , k 0,1, M coeficienţii unei noi structuri de filtrare transversală. Ei
sunt legaţi de coeficienţii predictorului înainte prin relaţia:
1, k 0
aM ,k (5.10)
w f ,k , k 1, 2, , M
În aceste condiţii, cei doi termeni din membrul drept al relaţiei (5.9) pot fi combinaţi într-o
unică sumă:
M
f M n aM ,k u n k (5.11)
k 0
118 PREDICŢIA LINEARĂ - 5
Această relaţie intrare-ieşire este reprezentată de filtrul transversal din Figura 5.2, care se
numeşte filtrul erorii de predicţie înainte. După cum îi spune şi numele şi după cum rezultă
din relaţia (5.11), filtrul furnizează la ieşire semnalul de eroare de predicţie înainte f M n .
Relaţia dintre filtrul de eroare de predicţie înainte şi filtrul predictor înainte este ilustrată
în Figura 5.3. De remarcat că lungimea filtrului erorii de predicţie este mai mare decât
lungimea filtrului predictor cu o unitate. Totuşi ambele filtre au acelaşi ordin M , pentru că,
conţin M elemente de întârziere.
aleator analizat. Chiar dacă procesul nu este autoregresiv, totuşi analiza prin predicţie lineară
poate furniza o aproximare a procesului (Haykin 1996).
Din cele discutate anterior mai rezultă observaţie importantă, care porneşte de la ideea
evidentă că filtrul generator AR şi filtrul erorii de predicţie fac unul în raport cu celălalt ope-
raţii inverse. Concluzia logică care urmează acestei observaţii este că, în condiţiile în care la
intrarea filtrului de predicţie înainte se aplică un proces staţionar iar lungimea acestuia, M,
este suficient de mare, semnalul de ieşire tinde către zgomot alb, identic cu semnalul de la
intrarea filtrului AR. Prin urmare, în condiţiile specificate, eşantioanele erorii de predicţie
înainte tind să devină independente statistic unul de celălalt. Se spune că filtrul erorii de
predicţie înainte are rolul de „a albi” procesul staţionar aplicat la intrarea sa (Bellanger
1989, Michaut 1992).
n v2
r n , n
1 2
Coeficienţii optimi ai filtrului predictor de ordinul 2 sunt soluţiile ecuaţiei
matriciale:
1 wo 0 wo 0
1 w 2 w 0
o1 o1
Prin urmare, ieşirea filtrului predictor este
uˆ n Un1 y n u n 1
unde wb,1 , wb, 2 , , wb, M sunt coeficienţii filtrului de predicţie înapoi reprezentat în Figura
5.5.
Coeficienţii filtrului se presupun a fi optimizaţi în conformitate cu teoria filtrării Wiener.
Astfel, răspunsul dorit este acum:
d n u n M (5.19)
iar eroarea de predicţie înapoi are expresia:
bM n u n M uˆ n M Un (5.20)
Prin PM este notată valoarea medie pătratică minimă a erorii de predicţie înapoi sau
puterea erorii de predicţie înapoi:
PM E bM n
2
(5.21)
Faptul că se utilizează o unică notaţie PM pentru puterea erorii de predicţie, atât înainte cât
şi înapoi, indică că aceste două mărimi sunt egale, lucru care va fi demonstrat pe parcursul
acestui paragraf.
Următoarele mărimi sunt utilizate pentru rezolvarea ecuaţiilor Wiener-Hopf ale
predicţiei înapoi.
1. Matricea de corelaţie R M a vectorului semnalului de intrare u n :
R M E u n u H n (5.22)
Ecuaţia (5.34) exprimă relaţia dintre vectorii coeficienţilor filtrului predictor înainte şi
înapoi. Expresia scalară a relaţiei este:
wb, M k 1 wf ,k , k 1,2, ,M
Relaţia (5.41) este transpusă în Figura 5.7. Comparând această reprezentare cu cea din
Figura 5.2 pentru filtrul erorii de predicţie înainte, devine evident faptul că cele două filtre se
obţin unul din celălalt prin inversarea ordinii coeficienţilor şi conjugare complexă.
M
0, i 0,1, , M 1
sau: a
r l i
M , M i (5.43)
i 0 PM , i M
Ecuaţiile (5.42) şi (5.43) poartă numele de ecuaţii Wiener-Hopf extinse pentru predicţia
înapoi de ordinul M . Ecuaţia (5.42) este echivalentă ecuaţiei (5.14) pentru predicţia înainte.
Având în vedere că R M 1 este atât o matrice Toeplitz cât şi hermitică, ultima ecuaţie
întăreşte relaţia stabilită dintre coeficienţii filtrului erorii de predicţie înapoi şi ai filtrului
erorii de predicţie înainte.
M
şi eMi n u n i uˆ n i g Mi ,k u n k cu g Mi ,i 1 (5.45)
k 0
Coeficienţii wg ,k care apar în ecuaţia (5.44) sunt elementele vectorului ponderilor filtrului
T
de predicţie generalizate: w g wg ,0 wg ,1 wg , M . Ecuaţia (5.45) defineşte filtrul
erorii de predicţie generalizate de ordinul M, elementele g Mi ,k constituind coeficienţii
acestui filtru: gMi g M ,0 g M ,1
T
g M , M . Filtrul erorii de predicţie generalizate este
reprezentat în Figura 5.8. Relaţiile dintre coeficienţii celor două filtre sunt de aceiaşi formă
cu cele scrise în paragrafele 5.1.2 şi 5.2.3 pentru predicţia înainte şi înapoi:
1, k i
g Mi ,k (5.46)
wg ,k , k 1, 2, , M , k i
O imagine sugestivă a similitudinilor dar şi a diferenţelor care se stabilesc între predicţia
generalizată, predicţia înainte şi predicţia înapoi este prezentată în Figura 5.9 (Manolakis,
ş.a. 2005). Se remarcă că, în toate cele trei cazuri, predicţia este realizată pe baza aceluiaşi
set de eşantioane, diferit fiind doar termenul seriei temporale care se estimează.
Pentru a obţine ecuaţiile Wiener-Hopf care definesc valoarea minimă a EPM în cazul
filtrului de predicţie generalizată, se partiţionează ecuaţia (5.45) astfel:
i 1 M
eMi n g M ,k u n k u n i g
M ,k u n k
k 0 k i 1 (5.47)
g M ,1 u1 n u n i g M ,2 u 2 n g M u n
i H i H i H
Relaţia se obţine, combinând (5.48), (5.50) şi (5.51) într-o singură ecuaţie matricială
0
R g PM i linia i
i
M 1 M (5.52)
0
Aceasta este ecuaţia Wiener-Hopf extinsă a predicţiei generalizate.
Dacă M 2L şi i L , atunci se obţine aşa-numitul filtru de netezire simetric g M .
Acesta produce o estimare a eşantionului median ce utilizează L eşantioane anterioare şi L
eşantioane posterioare.
Pm 1 m 1
Pm
0 0m 1 m 0m 1 (5.66)
m Pm 1
M 1
În concluzie, dacă relaţia de recursie (5.53) este corectă, atunci ecuaţia (5.66) este un
rezultat direct al acestei recursii. Invers, dacă condiţiile descrise de ecuaţia (5.66) se aplică,
vectorul coeficienţilor filtrului erorii de predicţie înainte, poate fi calculat ca în ecuaţia
(5.53).
Din ecuaţia (5.66) se pot trage două concluzii importante:
1. Din prima linie a vectorilor ecuaţiei (5.66) rezultă:
Pm Pm1 m m1 (5.67)
2. Din ultima linie a vectorilor din ecuaţia (5.66) se scrie:
0 m1 m Pm1 (5.68)
Rezultă imediat valoarea constantei m :
m 1
m (5.69)
Pm 1
132 PREDICŢIA LINEARĂ - 5
unde m1 este definită prin ecuaţia (5.60). Mai mult m1 se poate elimina între ecuaţiile
(5.67) şi (5.68), furnizând relaţia de calcul prin recursie al puterii erorii de predicţie:
Pm Pm1 1 m
2
(5.70)
M
PM P0 1 m
2
(5.72)
m 1
De subliniat că:
f0 n b0 n u n
unde u n este intrarea filtrului erorii de predicţie la momentul n . Prin urmare, din ecuaţia
(5.75) se poate stabili că 0 are valoarea:
0 E b0 n 1 f0 n E u n 1u n r 1
Cunoscând 0 şi P0 , se poate calcula, folosind relaţiile de recurenţă (5.69) şi (5.70),
coeficientul 1 :
r 0
1
0
P0
r 1
; P1 P0 1 12
şi aşa mai departe până la ordinul M . Coeficienţii m1 se calculează cu formula de
definiţie (5.60) şi, utilizând relaţiile de recurenţă, se pot calcula succesiv Pm , m şî am
pornind de la m 0 .
Ecuaţiile (5.69) şi (5.70) se pot utiliza pentru a dezvolta o interpretare diferită a para-
metrului m . În particular, întrucât Pm 1 poate fi văzut drept valoarea medie pătratică a ero-
rii de predicţie înainte f m1 n , se poate scrie
Membrul drept al ecuaţiei (5.76), cu excepţia unui semn, poartă numele de coeficient de
corelaţie parţială (PARCOR), terminologie larg utilizată în literatura de specialitate.
2m 2 M
M
Întregul algoritm necesită m1
2
3M înmulţiri / împărţiri şi
M
m 1
2m M 2 M adunări. Timpul total de calcul este proporţional cu M 2 .
134 PREDICŢIA LINEARĂ - 5
Tabelul 5.2 Implementarea algoritmului
Levinson-Durbin.
Pe de altă parte, ecuaţia Wiener-Hopf extinsă (5.17) a filtrului erorii de predicţie înainte se
poate scrie în formele
m
a r i k r i ,
k 1
m,k i 1, 2, ,m (5.80)
a r i k 0,
k 0
m,k i 1, 2, ,m (5.81)
În cazul filtrului erorii de predicţie înapoi de ordinul m având coeficienţii notaţi prin
cm, k , se defineşte similar secvenţa yb ,m i :
m
yb,m i cm,k r i k (5.84)
k 0
În sfârşit, coeficienţii de reflexie m pot fi calculaţi recursiv dacă se face apel pentru
momentul m la relaţia de recurenţă (5.88) şi la proprietatea (5.82)
y f ,m m y f ,m1 m m yb,m1 m 1 0 (5.91)
y f , m1 m
Prin urmare: km (5.92)
yb,m 1 m 1
Algoritmul Schür calculează recursiv coeficienţii de reflexie ai predictorului optim,
făcând apel la valorile funcţiei de autocorelaţie şi la relaţiile (5.90),(5.91), (5.92), (5.88) şi
(5.89). El este prezentat în Tabelul 5.3. Parcurgerea unui ciclu al algoritmului presupune
efectuarea următoarelor operaţiuni matematice (Ciochină şi Negrescu 1999):
O împărţire pentru calculul lui m ;
M m înmulţiri şi M m adunări în primul ciclu după i ;
M m 1 înmulţiri şi M m 1 adunări în al doilea ciclu după i .
Într-un ciclu sunt 2M 2m 2 înmulţiri/împărţiri şi 2m 2M 1 adunări, ceea ce face în
total M 2 M înmulţiri/împărţiri şi M 2 adunări.
Modalitatea de organizare practică a algoritmului este următoarea:
Se iniţializează algoritmul. Se constituie „matricea generatoare”:
0 r 1 r 2 r M
G0 (5.93)
r 0 r 1 r 2 r M
Se deplasează spre dreapta cu o unitate, linia a doua a matricii G 0
0 r 1 r 2 r M
G '0 (5.94)
0 r 0 r 1 r M 1
Raportul cu semn schimbat al elementelor de pe coloana a doua stabileşte valoarea
coeficientului de reflexie 1 .
Se constituie matricea
1 1
K1 * (5.95)
1 1
Se calculează
0 0 y f ,1 2 y f ,1 M
G1 K1' G '0 (5.96)
0 yb,1 1 yb,1 2 yb,1 M
unde s-a avut în vedere relaţiile de recurenţă şi faptul că y f ,1 1 0 .
În continuare se repetă ultimele trei operaţii.
Exemplul 5.6: Să se calculeze prin algoritmul Schür coeficienţii de reflexie ai
unui predictor de ordinul 3. Valorile funcţiei de autocorelaţie sunt: r 0 1;
r 1 0,75; r 2 0,5; r 3 0,25 .
Soluţie: Se constituie matricile G 0 şi G '0
0 0,75 0,5 0,25 0 0,75 0,5 0,25
G0 , G 0'
1 0,75 0,5 0,25 0 1 0,75 0,5
0,75 3 1 0,75
Rezultă: 1 , K1
1 4 0,75 1
Se reia calculul pentru m 1
0 0 1 16 1 8 0 0 1 16 1 8
G1 K1G 0' , G1'
0 7 16 3 8 5 16 0 0 7 16 3 8
1 16 1 1 7
2 1 7 , K2
7 16 1 7 1
Pentru m 2
0 0 0 1 14 0 0 0 1 14
G 2 K 2G1' , G '2
0 0 3 7 5 14 0 0 0 3 7
140 PREDICŢIA LINEARĂ - 5
1 14
3 1 6
37
a m 1, k r k m m Pm 1 (5.97)
k 0
Prin urmare, dacă se dă setul de numere r 0 , 1 , 2 , , M , prin utilizarea relaţiei (5.98)
împreună cu ecuaţiile de recursie Levinson-Durbin (5.54) şi (5.70) , se poate genera recursiv
setul de numere care le corespunde: r 0, r 1, , r M .
Vom presupune, în continuare, că este dat setul de valori ale funcţiei de autocorelaţie
r 1 , , r M . Atunci se poate calcula recursiv setul corespunzător de numere 1 , 2 ,
, M prin utilizarea relaţiei:
1 m1
M am1,k r k m
Pm1 k 0
(5.99)
Ultima relaţie se obţine prin rezolvarea ecuaţiei (5.97) pentru m . În ecuaţia (5.99) se presu-
pune că Pm 1 este nenul. Dacă Pm 1 este nul, din (5.70) rezultă că m1 1 , iar secvenţa
coeficienţilor de reflexie 1 , 2 , , m1 este terminată.
5.6 Proprietăţile filtrelor erorii de predicţie 141
k 0 k 0
unde, în linia a doua s-a utilizat faptul că am1, m 0 . Secvenţa de numere am 1.k , k 0,1,
, m 1 defineşte răspunsul la impuls al unui filtru al erorii de predicţie înainte de ordinul
m 1 , iar secvenţa am1,m1k , k 0,1, , m 1 defineşte răspunsul la impuls al unui filtru al
erorii de predicţie înapoi de acelaşi ordin. Înlocuind funcţiile menţionate în (5.101), se scrie:
H f , m z H f , m1 z m z 1Hb, m1 z (5.102)
Similar, se scrie relaţia de recurenţă pentru filtrul erorii de predicţie înapoi de ordinul m :
Hb, m z z 1H f , m1 z m Hb, m1 z (5.103)
înainte. Drept urmare, este suficient să se demonstreze prima parte a proprietăţii pentru că
cea de a doua rezultă automat din (5.104)
Nu vom face aici demonstraţia proprietăţii, întrucât aceasta depăşeşte cadrul lucrării.
Cei interesaţi pot consulta demonstraţia ingenioasă din Vaidyanathan, ş.a. (1997) reluată şi
în Manolakis, ş.a. (2005).
Proprietatea 4. Filtrul erorii de predicţie înainte are proprietatea de „a albi” un
proces stochastic staţionar în timp discret, cu condiţia ca ordinul filtrului să fie
suficient de mare.
Putem justifica această proprietate dacă ne referim la afirmaţia făcută în paragraful 5.1.3 cu
privire la faptul că generarea unui proces staţionar pornind de la zgomot alb şi utilizând un
model AR pe de o parte, şi predicţia lineară a aceluiaşi proces pe de alta, sunt două operaţii
inverse, una în raport cu cealaltă. Consecinţa este că, dacă ordinul filtrului erorii de predicţie
este, cel puţin, egal cu cel al procesului AR, atunci procesul aleator de la ieşirea filtrului va fi
necorelat, adică zgomot alb.
Dintr-un alt punct de vedere, procesul de predicţie se bazează pe prezenţa corelaţiei
dintre eşantioanele adiacente ale procesului de intrare. Implicaţiile acestei observaţii este că,
pe măsură ce ordinul filtrului erorii de predicţie creşte, succesiv se reduce corelaţia dintre
eşantioanele adiacente ale procesului de intrare, până când se ajunge la punctul în care filtrul
are un ordin suficient de mare pentru ca ieşirea sa să fie alcătuită dintr-o secvenţă de
eşantioane necorelate.
bM n aM , M u n aM , M 1u n 1 aM ,0u n M
Aceste M 1 ecuaţii lineare se pot combina într-o singură ecuaţie matricială, sub
forma:
b n Lu n (5.105)
unde u n este vectorul de intrare de dimensiune M 1 1 :
u n u n u n 1 u n M
T
b n b0 n b1 n bM n
T
Conform principiului ortogonalităţii, media statistică din (5.109) este nulă atâta vreme cât
0 k i . Prin urmare, pentru m i şi 0 k i :
E bm n bi n 0, m i
De asemenea, atunci când m i , ecuaţia (5.109) se reduce la
E bm nbi n E bm nbm n Pm , m i
Pi E bi n , i 0,1,
2
,M (5.112)
0 a
amB B m m 1 (5.55)
am 1 0
Să considerăm pentru început filtrul erorii de predicţie înainte de ordinul m cu vectorul
de intrare u n , u n 1, , u n m . Vectorul um1 n poate fi partiţionat sub forma:
u m n
u m 1 n (5.113)
u n m
u n
sau, echivalent: u m 1 n (5.114)
u m n 1
În continuare formăm produsul scalar al vectorilor a m şi um1 n :
1. Pentru membrul stâng al ecuaţiei (5.53):
f m n amH um1 n (5.115)
unde f m n este eroarea de predicţie înainte produsă la ieşirea filtrului erorii de
predicţie înainte de ordinul m.
2. Pentru primul termen din membrul drept al ecuaţiei (5.53) utilizăm partiţia lui
um1 n din ecuaţia (5.113):
u m n
a H
m 1 0 u m 1 n a
H
m 1 0
u n m (5.116)
a m 1u m n f m 1 n
H
unde f m1 n este eroarea de predicţie înainte produsă la ieşirea filtrului erorii de
predicţie înainte de ordinul m 1 .
3. Pentru a doua matrice din membrul drept al ecuaţiei (5.53) se utilizează partiţia lui
um1 n din ecuaţia (5.114):
u n
0 a m 1u m n 1 bm 1 n 1
BT BT
a m 1 (5.117)
u m n 1
unde bM 1 n 1 este eroarea de predicţie înapoi întârziată produsă la ieşirea
filtrului erorii de predicţie înapoi de ordinul m 1 .
Combinând ultimele trei relaţii, se obţine:
5.7 Structuri lattice pentru filtrele de eroare de predicţie 147
3. Modularitatea structurii. Dacă problema o cere, se pot adăuga una sau mai multe
celule fără a fi afectate celulele anterioare.
J m E f m 1 n E bm 1 n 1 1 m
2 2 2
(5.124)
2 m E f m 1 n bm 1 n 1 2 m E f m1 n bm 1 n 1
În general, coeficientul de reflexie este o mărime complexă m m j m . Vom dife-
renţia funcţia de cost J m în raport atât cu partea reală cât şi cea imaginară a lui m pentru a
obţine gradientul complex al acesteia
5.8 Recursia lui Burg 149
Jm Jm
J m
m m
(5.125)
2 m E f m 1 n E bm 1 n 1 4 E f
2
2
m 1 nbm1 n 1
Egalând acest gradient cu zero, vom determina valoarea optimă a coeficientului de reflexie
care minimizează funcţia de cost J m :
2 E f m1 n bm 1 n 1
m ,o , m 1, 2,
,M (5.126)
E f m1 n bm1 n 1
2 2
Ecuaţia (5.126) pentru coeficientul de reflexie este cunoscută sub numele de formula Burg.
Utilizarea sa oferă două proprietăţi interesante:
1. Coeficientul de reflexie m,o satisface condiţia
m,o 1 m (5.127)
Cu alte cuvinte, formula Burg furnizează întotdeauna o structură de filtru de fază
minimă pentru predictorul lattice.
2. Valorile medii pătratice ale erorilor de predicţie înainte şi înapoi la ieşirea etajului m
sunt legate de erorile de predicţie aplicate la intrarea etajului astfel:
E f m n 1 m,o
2
2
E f m 1 n
2
(5.128)
şi
2
2
2
E bm n 1 m,o E bm1 n 1
(5.129)
Formula Burg, aşa cum este descrisă de relaţia (5.126), presupune utilizarea mediilor pe
ansamblu. Presupunând că procesul de intrare u n este ergodic, mediile pe ansamblu pot fi
înlocuite prin medii temporale. Se ajunge astfel la estimatorul Burg al coeficientului de
reflexie al etajului m al predictorului lattice
N
2 b n 1 f n
m 1
m 1
ˆm n m 1
, m 1, 2, M (5.130)
f n
N
bm 1 n 1
2 2
m 1
n m 1
operaţii matematice, volum de memorie redus şi formule de recursie după timp extrem de
convenabile.
Probleme
P 5.1 Se consideră procesul staţionar în sens larg u n caracterizat prin următoarele
valori ale funcţiei de autocorelaţie:
r 0 1, r 1 0,8, r 2 0,6, r 3 0,4
(a) Folosiţi recursia Levinson-Durbin pentru a evalua coeficienţii de reflexie 1 , 2 şi
3
(b) Implementaţi un predictor de tip lattice cu trei celule elementare, folosind valorile
coeficienţilor de reflexie găsiţi la punctul anterior.
(c) Evaluaţi puterea medie a erorii de predicţie la ieşirea fiecărei celule din acest
predictor. Trasaţi apoi un grafic al puterii erorii de predicţie în funcţie de ordinul
predicţiei. Comentaţi rezultatelor obţinute.
P 5.2 Se consideră structura de filtrare din Figura 5.13 în care întârzierea este un
număr întreg mai mare decât unu. Se cere să se aleagă vectorul coeficienţilor
filtrului FIR, w astfel încât să minimizeze valoarea pătratică medie a erorii de
estimare e n . Să se determine valoarea optimă a lui w n .
P 5.3 Se consideră predicţia liniară a unui proces autoregresiv staţionar u n , generat
de ecuaţia cu diferenţe finite de ordinul I:
u n 0.9u n 1 v n
unde v n este un proces de zgomot alb cu media nulă şi dispersia unitară.
Ordinul de predicţie este doi.
(a) Determinaţi coeficienţii filtrului erorii de predicţie înainte a2,1 şi a2,2 .
(b) Determinaţi coeficienţii de reflexie 1 şi 2 ai predictorului lattice corespunzător.
Comentaţi rezultatele obţinute.
P 5.4 Vectorul u n este caracterizat prin următoarele valori ale funcţiei de autocore-
laţie: r 0 1, r 1 0,8, r 2 0,4, r 3 0,1 . Se doreşte realizarea predicţiei
eşantionului curent u n pe baza eşantioanelor anterioare.
(a) Să se determine filtrul de predicţie optimal cu un singur coeficient.
(b) Să se determine filtrul de predicţie optimal cu doi coeficienţi.
(c) Să se determine filtrul de predicţie optimal cu trei coeficienţi.
(d) Utilizând rezultatele de la punctele anterioare să se determine EPM minimă, Pi
pentru fiecare filtru. Se consideră d 2 1 .
P 5.5 Utilizaţi algoritmul Levinson-Durbin pentru a rezolva sistemul de ecuaţii
1,0 0,8 0,5 0, 2 w0 0,8
0,8
1,0 0,8 0,5 w1 0,5
0,5 0,8 1,0 0,8 w2 0, 2
0, 2 0,5 0,8 1,0 w3 0
P 5.6 Consideraţi procesul AR(1) u n u n 1 v n , unde v n este zgomot alb de
medie nulă şi varianţă v2 iar 1 1 .
(a) Determinaţi matricea de corelaţie a procesului, R M 1 .
(b) Determinaţi predictorul linear înainte de ordinul M, utilizând algoritmul Levinson-
Durbin.
P 5.7 Dacă r l cos 0l , determinaţi filtrul erorii de predicţie de ordinul doi şi
verificaţi dacă este un filtru de fază minimă.
P 5.8 Consideraţi o secvenţă aleatoare cu funcţia de autocorelaţie r 0 1; r 1 0,8;
r 2 0,6; r 3 0,4 .
(a) Determinaţi coeficienţii filtrului erorii de predicţie înainte a m şi valoarea minimă a
erorii de predicţie înainte Pm pentru m 0,1,2,3 .
(b) Determinaţi şi reprezentaţi structura lattice a filtrului erorii de predicţie de ordinul
trei.
P 5.9 Fiind dată secvenţa de autocorelaţie r 0 1; r 1 r 2 0,5; r 3 0,25 ,
calculaţi coeficienţii structurii lattice a filtrului erorii de predicţie prin utilizarea
algoritmului Schür.
P 5.10 Problema îşi propune să stabilească prin predicţie lineară un model AR(2) pentru
un semnal sinusoidal cu fază aleatoare înecat în zgomot aditiv. Secvenţa de autoco-
relaţie este dată de relaţia
r l P0 cos 0l v2 l
unde l este impulsul unitate.
152 PREDICŢIA LINEARĂ - 5
1 1 2, 2 1 4 .
(a) Determinaţi coeficienţi filtrului FIR corespunzător.
(b) Determinaţi valorile funcţiei de autocorelaţie r 1 , r 2 şi r 3 .
(c) Determinaţi valoarea r 4 astfel încât valoarea minimă a pătratului erorii de
predicţie P4 a filtrului de predicţie de ordinul patru corespunzător să fie minim
posibilă.
6 Metode de gradient
n Capitolul 4 am stabilit că prin rezolvarea ecuaţiei Wiener-Hopf pot fi obţinute valorile
Î optimale ale coeficienţilor unui filtru Wiener transversal, cu condiţia cunoaşterii caracte-
risticilor statistice ale semnalelor de interes. Reamintim că soluţia ecuaţiei Wiener-Hopf
este obţinută prin minimizarea unei funcţii de cost care, de obicei, depinde printr-o expresie
pătratică de coeficienţii filtrului. O cale alternativă de a determina ponderile optime ale
filtrului transversal este de a utiliza un algoritm iterativ de căutare, care porneşte dintr-un
punct iniţial, ales arbitrar în spaţiul vectorului coeficienţilor filtrului, deplasându-se, prin paşi
progresivi, spre vectorul coeficienţilor optimi ai filtrului. Fiecare pas al algoritmului se efec-
tuează astfel încât să determine reducerea funcţiei de cost. Pentru o funcţie de cost convexă,
ceea ce se întâmplă în cazul unui filtru FIR, o asemenea procedură de găsire a minimului
converge în mod garantat către soluţia optimă. Principiul determinării vectorului optim al
coeficienţilor prin minimizarea progresivă a funcţiei de cost este fundamental în dezvoltarea
algoritmilor adaptivi, care fac obiectul următoarelor capitole ale cărţii. Prin urmare, o înţele-
gere aprofundată a metodelor iterative de căutare, atât din punctul de vedere a dezvoltării
lor, cât şi din cel a proprietăţilor de convergenţă pe care le au, este esenţială în studiul
algoritmilor adaptivi (Widrow şi Stearns 1985).
În acest capitol vom prezenta două metode de căutare iterativă bazate pe determinarea
gradientului funcţiei de cost, care permit stabilirea valorii coeficienţilor filtrului Wiener
transversal ce corespund minimului acestei funcţii. Aceste metode reprezintă versiuni ideali-
zate ale unei clase de algoritmi care, sub numele generic de algoritmi LMS vor fi introduşi
în capitolul următor. Vom presupune pe parcursul capitolului că sunt cunoscute à-priori
matricea de corelaţie a eşantioanelor de intrare precum şi vectorul de intercorelaţie dintre
semnalul dorit şi semnalul de intrare.
Prima metodă prezentată este denumită în limba engleză „Steepest Descent”, ceea ce se
traduce în română sub numele de metoda pantei descendente maxime. Pe lângă utilizarea
denumirii româneşti, vom folosi frecvent şi numele metoda SD, făcând apel la prescurtarea
denumirii din limba engleză. Conceptul care stă la baza acestei metode este simplu. Indife-
rent de punctul iniţial al suprafeţei de eroare din care se porneşte, algoritmul va face un pas
în direcţia pe care funcţia de cost descreşte cel mai rapid, adică pe direcţia pantei descenden-
te maxime, direcţie dată de gradientul la suprafaţa de eroare. De aici şi denumirea alternativă
154 METODE DE GRADIENT - 6
pe care o are metoda SD: metoda gradientului. Repetând succesiv paşii de dimensiune
convenabilă făcuţi pe direcţia pantei descendente maxime, convergenţa metodei SD este
asigurată.
De multe ori metoda SD prezintă o convergenţă slabă şi lentă. Cea de a doua metodă
introdusă în acest capitol depăşeşte acest neajuns cu preţul unei complexităţi mai mari.
Cunoscută sub numele de metoda Newton, ea poate, cel puţin din punct de vedere teoretic,
să stabilească într-un singur pas poziţia minimului suprafeţei de eroare.
6.1 Metoda SD
6.1.1 Introducere
Considerăm filtrul transversal ce are drept intrări eşantioanele u n , u n 1, ,
u n M 1 extrase dintr-un proces aleator stator staţionar în sens larg de medie nulă şi
matrice de corelaţie R . Setul corespunzător de coeficienţi ai filtrului transversal este:
w0 n , w1 n , , wM 1 n . În plus, răspunsul dorit d n constituie un cadru de referinţă
pentru acţiunea de filtrare optimală. Figura 6.1 descrie configuraţia de filtrare utilizată.
Notăm prin u n vectorul eşantioanelor de la intrările filtrului din momentul n. Estima-
rea răspunsului dorit de la ieşirea filtrului este desemnată prin dˆ n Un , unde Un este
spaţiul subîntins de intrările u n , u n 1, , u n M 1 . Comparând această estimare
cu răspunsul dorit d n , se generează eroarea de estimare, e n :
e n d n dˆ n Un d n w H n u n (6.1)
w n w0 n w1 n wM 1 n
T
(6.2)
u n u n u n 1 u n M 1
T
şi (6.3)
6.1 Metoda SD 155
Rw o p (6.5)
Eroarea pătratică medie este egală cu (vezi ecuaţia (4.40)):
J min J wo d2 p H wo (6.6)
unde J ak şi J bk , k 0,1 sunt derivatele parţiale ale funcţiei de cost J în raport cu
partea reală ak respectiv partea imaginară bk a coeficientului wk al filtrului. În (6.7) relaţia
este prezentată pentru un filtru având M 2 coeficienţi; extinderea ei la M arbitrar este
imediată. Proiecţia acestui gradient pe contururile funcţiei de cost este prezentată în Figura
6.3.
Să presupunem acum că în punctul w 0 , J 0 se pune o bilă. Dacă i s-ar da drumul,
atunci bila s-ar rostogoli înspre minimul suprafeţei, adică într-o direcţie opusă celei pe care
viteza de creştere a funcţiei este maximă. Această direcţie este opusa celei a gradientului în
punctul considerat sau echivalent, este direcţia „pantei descendente maxime” (SD). Prin
urmare, metoda SD rezolvă ecuaţiile Wiener-Hopf printr-o metodă matematică similară
descrierii calitative a procesului de rostogolire al bilei înspre minimul suprafeţei paraboidale.
Dacă s-ar lua „instantanee” la intervale discrete de timp asupra poziţiei bilei, bila s-ar
deplasa în paşi discreţi către minimul suprafeţei de eroare. Din fiecare nouă poziţie de timp
discret, bila ar aluneca înspre minimul global pe o direcţie dependentă de gradientul lui J în
punctul considerat.
Generalizând acum, poziţia bilei la momentul de timp 1 în planul w este:
w 1 w 0 w J 0
unde este o constantă oarecare, ce va fi definită mai târziu. La momentul de timp 2 se
scrie:
w 2 w 1 w J 1
iar formula generală de recursie se exprimă prin:
w n 1 w n w J n (6.8)
Relaţia (6.8) exprimă algoritmul matematic care corespunde la alunecarea bilei către
minimul suprafeţei de eroare pătratică medie. Vectorul w n din (6.8) este setul coeficienţi-
lor filtrului adaptiv la iteraţia n. Această recursie exprimă noul vector al coeficienţilor în
funcţie de vechea sa valoare la care se adaugă un termen de corecţie care depinde de
proprietăţile funcţiei de cost în poziţia anterioară.
Pentru a aplica metoda gradientului la cazul filtrului adaptiv, trebuie estimat gradientul
suprafeţei de eroare. Aplicarea derivatei vectoriale expresiei (6.4) furnizează:
w J n 2p 2Rw n (6.9)
Relaţia (6.9) este universal valabilă, indiferent de punctul de pe suprafaţa de eroare în
care este ea calculată. Înlocuirea expresiei gradientului (6.9) în relaţia de recursie (6.8),
produce următoarea formulare pentru recursia SD:
w n 1 w n 2p 2Rw n (6.10)
Întrucât este o constantă, se obişnuieşte să se definească valoarea pasului algoritmu-
lui SD prin:
2 (6.11)
ceea ce conduce la forma utilizată pentru descrierea metodei de recursie SD:
w n 1 w n p Rw n (6.12)
Ultima relaţie poate fi scrisă şi în forma:
w n 1 I M R w n p (6.13)
unde I M este matricea identitate de dimensiune M M .
În concluzie, metoda gradientului poate fi aplicată la stabilirea problemei filtrării opti-
male după cum urmează (Alexander 1986):
1. Se calculează pentru început estimări ale matricii de corelaţie R şi ale vectorului de
intercorelaţie p.
158 METODE DE GRADIENT - 6
Ecuaţia (6.16) poate fi folosită pentru a calcula vectorul coeficienţilor după oricare
iteraţie n, pentru că valorile lui p şi R sunt cunoscute. Totuşi, calculele sunt greoaie, iar
expresia matematică nu evidenţiază convergenţa lui w n către w o . Este nevoie, prin
urmare, de o metodă care să simplifice interpretarea ecuaţiei (6.16). Vom aplica în acest
scop asupra vectorului coeficienţilor w n transformări lineare, transformări ale căror
proprietăţi au fost discutate în Capitolul 3. În acest scop, definim vectorul de eroare al coefi-
cienţilor la momentul n:
c n w n w o (6.17)
Înlocuim pe w n cu c n în ecuaţia (6.12), scăzând valoarea optimă w O din ambii
termeni ai ecuaţiei:
c n 1 w n 1 w o w n w o p Rw n
(6.18)
c n p Rw n
Ecuaţia (6.18) poate fi exprimată doar în funcţie de vectorul de eroare, dacă în termenul
drept se adună şi se scade factorul Rw o :
c n 1 c n R w n wo p Rwo (6.19)
În (6.19), ultima paranteză este nulă, ceea ce conduce la ecuaţia de recursie în formă
vectorială:
6.2 Soluţia directă a ecuaţiei de recursie SD 159
c n 1 I M R c n (6.20)
Ultima formă, ecuaţia (6.20) este mult mai uşor de evaluat decât soluţia directă (6.13).
Soluţia generală (6.16) se prezintă acum sub forma:
c n I M R c 0
n
(6.21)
Deşi (6.21) reprezintă o îmbunătăţire în raport cu ecuaţia (6.16) în evidenţierea compor-
tării dinamice a soluţiei w n , nu este încă clar modul în care termenul din dreapta ecuaţiei
tinde către zero pentru n . Dificultatea întâmpinată este un rezultat direct al faptului că,
componentele vectorului c n sunt legate unele de celălalte ca urmare a faptului că
I M R nu este o matrice diagonală. Este necesară prin urmare, aplicarea transformării
unitare de similaritate (vezi Capitolul 3, ecuaţia (3.107)) pentru a transforma setul de ecuaţii
lineare cuplate (6.21) într-un set de ecuaţii decuplate, în care fiecare componentă scalară să
fie funcţie de o singură pondere scalară. Prin transformare, R se descompune astfel:
R QΛQH (6.22)
Coloanele matricii Q sunt constituite din setul ortogonal de vectori proprii asociaţi valorilor
proprii ale matricii R. Matricea Q este denumită matricea unitară a transformării. Matricea
Λ este diagonală şi are drept elemente diagonale valorile proprii ale matricii de corelaţie R.
Aceste valori proprii notate prin 1 , 2 , , M , sunt toate reale şi pozitive. Fiecare valoare
proprie este asociată vectorului propriu corespunzător sau coloanei corespunzătoare a
matricii Q.
Se porneşte de la ecuaţia de bază a recursiei (6.13) în care se aplică matricii de corelaţie
transformarea (6.22):
w n 1 Q I M Λ QH w n p (6.23)
unde s-a folosit proprietatea matricilor ortogonale QQH I M . Se defineşte în continuare,
vectorul coeficienţilor necuplaţi w n , prin transformarea:
w n Q H w n (6.24)
Aceiaşi transformare dă şi setul de coeficienţi optimali necuplaţi:
wo QH w o (6.25)
Pentru a obţine soluţia în această situaţie, se înmulţeşte ecuaţia (6.23) cu Q şi se înlocuieşte
H
Se observă că fiecare componentă wi n 1 este funcţie doar de wi n şi nu este funcţie de
nici o altă componentă wj n , oricare ar fi j i . Aceasta este exact proprietatea necesară
pentru a scrie sistemul de ecuaţii (6.34) ca un set de M ecuaţii scalare necuplate:
wi n 1 1 i wi n pi, 1 i M (6.35)
Aceste ecuaţii pot fi rezolvate în cazul general, obţinându-se întregul set de soluţii pentru
1 i M .
j 0
astfel încât forma finală a relaţiei (6.38) ce dă soluţia necuplată a coeficienţilor filtrului
adaptiv este
1 in
wi n in wi 0 p (6.40)
1 i
2
0 (6.44)
i
Ultima relaţie trebuie să fie valabilă pentru orice i, 1 i M şi, prin urmare, trebuie
găsită valoarea minimă a lui pentru care orice i îndeplineşte condiţia (6.42). Cazul cel
mai defavorabil se produce atunci când i max , valoarea proprie maximă a matricii de
corelaţie R. Domeniul valorilor lui care asigură convergenţa este prin urmare:
2
0 (6.45)
max
Pentru situat în limitele mai sus menţionate, avem 0 i 1 şi utilizând (6.40), se
obţine prin trecere la limită:
p
lim wi n i (6.46)
n i
De observat că acesta este exact rezultatul pentru w o , soluţia optimă pentru coeficienţii
necuplaţi obţinută prin relaţia (6.33). Prin urmare, coeficienţii obţinuţi prin metoda pantei
descendente maxime converg către setul de valori optimale ce reprezintă soluţiile ecuaţiilor
Wiener-Hopf, cu condiţia ca să se găsească între limitele impuse de relaţia (6.45).
1 in pi
vi n in wi 0 pi (6.49)
1 i i
Este o relaţie, care după prelucrări ulterioare conduce la:
p
vi n wi 0 i 1 i
n
(6.50)
i
De remarcat că termenul din paranteza dreaptă a membrului drept al ecuaţiei este o constan-
tă dacă se aleg coeficienţii filtrului la momentul 0, wi 0 . În aceste condiţii, desemnăm
această constantă prin vi 0 . Prin urmare ecuaţia (6.50) poate fi scrisă mai simplu sub
forma:
vi n 1 i vi 0
n
(6.51)
Din examinarea relaţiei (6.51) este evident că în cazul în care vi 0 0 , coeficienţii
centraţi necuplaţi vi n converg exponenţial către 0 cu o constantă de timp ce depinde de
raportul dintre valoarea lui şi valorile proprii ale lui R. Reamintind definiţia lui vi n ,
această constatare implică faptul că vectorul coeficienţilor w n converge prin recursia SD
către valorile optime w o în aceiaşi manieră în care v n converge către 0. O altă observaţie
importantă din ecuaţia (6.51), este că vi n tinde către 0 indiferent de valoarea iniţială a lui
vi 0 , ceea ce este echivalent cu afirmaţia că w n converge către w o , fără ca valoarea
iniţială aleasă w 0 să conteze. Este o proprietate foarte importantă a metodei SD ce se
păstrează la toţi algoritmii adaptivi ce se bazează pe această metodă.
unde J min este valoarea minimă a erorii pătratice minime. Comportarea tranzitorie a compo-
nentei k a vectorului coeficienţilor centraţi necuplaţi vk n este dictată de ecuaţia (6.51).
Prin înlocuirea lui (6.51) în ecuaţia (6.52) se obţine:
M
J n J min k 1 k vk 0
2n 2
(6.53)
k 1
164 METODE DE GRADIENT - 6
unde vk 0 este valoarea iniţială a lui vk n . Dacă metoda SD este convergentă, adică dacă
pasul algoritmului este ales în limitele definite de ecuaţia (6.45), se observă că, indiferent
de condiţiile iniţiale,
lim J n J min (6.54)
n
J n J n 1 (6.55)
R 1
unde: R max min (6.56)
este numărul de condiţionare a matricii R. Reamintim că R a fost introdus în Capitolul
3 prin relaţia (3.120) şi reprezintă gradul de împrăştiere a valorilor proprii a matricii de
corelaţie.
Să observăm că vectorii proprii ce corespund lui min şi max indică direcţiile de curbu-
ră minimă respectiv maximă a suprafeţei de eroare. Vom remarca că convergenţa se reduce
pe măsură ce contururile funcţiei de cost (vezi Figura 6.3) devin din ce în ce mai turtite. În
cazul unor contururi circulare, ce corespund condiţiei R 1 , algoritmul converge rapid,
dar situaţia se degradează rapid pe măsură ce gradul de împrăştiere a valorilor proprii creşte.
Chiar dacă matricea R are M 1 valori proprii egale şi una diferită mult de acestea,
convergenţa algoritmului este foarte lentă.
Viteza de convergenţă poate fi caracterizată de constanta de timp i definită prin:
1 1
1 i exp 1 (6.57)
i i
care defineşte timpul (sau numărul de iteraţii) în care componenta i a vectorului
coeficienţilor necuplaţi şi centraţi vi n (vezi ecuaţia (6.51) se reduce la 1 e din valoarea sa
iniţială vi 0 . Atunci când 1 , se poate scrie:
6.3 Convergenţa metodei SD 165
1
i (6.58)
i
În mod similar, există o constantă de timp i , EPM pentru eroarea pătratică medie J n , care
este, în conformitate cu (6.53) şi (6.57):
1
i , EPM (6.59)
2i
În concluzie, se poate considera că constanta de timp (a coeficientului vk ) a algoritmu-
lui gradientului este 1 min , care împreună cu condiţia 2 max , conduc la:
max 2min 2 . Prin urmare, cu cât mai mare este gradul de împrăştiere a valori-
lor proprii a matricii de corelaţie R, cu atât mai îndelungat va fi timpul necesar ca algorit-
mul SD să realizeze convergenţa.
În exemplul care urmează, vom calcula proprietăţile unui predictor linear cu trei coefi-
cienţi, ilustrând proprietăţile metodei SD.
Exemplul 6.1: Se consideră semnalul u n generat de procesul autoregresiv de
ordinul doi
u n a1u n 1 a2u n 2 v n (6.60)
unde v n este zgomot alb de medie nulă şi varianţă v2 . Parametrii a1 şi a2 sunt
astfel aleşi încât sistemul (6.60) să fie de fază minimă. Ne propunem să calculăm
un filtru adaptiv care să utilizeze eşantioanele u n 1 şi u n 2 pentru a prezice
valoarea u n (răspunsul dorit).
Soluţie: Dacă multiplicăm (6.60) cu u n k , k 0,1,2 , şi aplicăm
operatorul de mediere statistică în ambii termeni, se obţin ecuaţiile lineare:
r 0 a1r 1 a2 r 2 v2
r 1 a1r 0 a2 r 1 0 (6.61)
r 2 a1r 1 a2 r 0 0
care pot fi utilizate pentru a exprima autocorelaţia lui u n în funcţie de
parametrii modelului a1 , a2 . Soluţiile sistemului sunt
1 a2 v2
r 0 u2 ,
1 a2 1 a2 2 a12
a1 a2
r 1 r 0 , r 2 a2 1 r 0
1 a2 1 a2
Alegem u2 1 , astfel încât
166 METODE DE GRADIENT - 6
1 a2 1 a2 a12
2
2
1 a2
v
v k
v1 k 1 2 v1 0
k
a obţine algoritmul Newton în cazul funcţiilor de eroare pătratică medie, pornim de la algo-
ritmul SD dat prin ecuaţia (6.12). Utilizând egalitatea p Rw o , relaţia (6.12) devine
w n 1 w n R w n w o (6.62)
Ultima ecuaţie evidenţiază faptul că prezenţa lui R în (6.62) provoacă probleme datorită
împrăştierii valorilor proprii ale acestei matrici. Metoda Newton rezolvă aceste probleme
prin înlocuirea parametrului scalar de pas din (6.8) prin matricea A de dimensiuni
M M . În aceste condiţii, ecuaţia de recursie (6.8) se scrie astfel:
1
w n 1 w n A wn J
2
(6.63)
Pentru a stabili valoarea pasului matricial A care permite atingerea soluţiei optime
w o dintr-o singură iteraţie, vom relua ecuaţia (6.20), punând în locul lui pe A :
w n 1 wo I M AR w n wo (6.64)
w n wo 1 w 0 w o
n
(6.67)
Ultima relaţie ne permite să concluzionăm că stabilitatea algoritmului Newton este garantată
atunci când 1 1 sau, echivalent
0 2 (6.68)
În concluzie, comportarea tranzitorie a algoritmului Newton este caracterizată de o
singură exponenţială, metoda Newton evidenţiindu-se printr-un unic mod de convergenţă,
acesta fiind determinat numai de mărimea pasului algoritmului şi nu şi de valorile şi
gradul de împrăştiere a valorilor proprii i ale matricii de corelaţie ca în cazul algoritmului
SD.
u n QH u n (6.69)
unde Q este matricea de dimensiune M M a cărei coloane sunt vectorii proprii ai matricii
de corelaţie R E u n u H n . Reamintim că în Capitolul 3 s-a arătat că componentele
vectorului transformat, desemnate prin u1 n , u2 n , uM n reprezintă un set de variabi-
le aleatoare mutual necorelate. Mai mult, conform relaţiei (3.131), valorile medii pătratice
ale acestora sunt egale cu valorile proprii ale matricii de corelaţie R :
E ui n i , i 1,2,
2
,M (6.70)
Vom defini prin uN n vectorul ale cărui componente se exprimă prin
uN ,i n i1 2ui n , i 1,2, ,M (6.71)
Indicele N indică faptul că uN ,i n este normat pentru o valoare unitară a puterii. Ecuaţiile
(6.71) pot fi grupate în ecuaţia vectorială
uN n Λ1 2u n (6.72)
unde matricea Λ este diagonală, fiind compusă din valorile proprii 1 , 2 , M . Se demon-
strează imediat, pornind de la faptul că Q este o matrice unitară, faptul că matricea de
corelaţie a vectorului transformat normat uN n este
R N e uN n uNH n I M (6.73)
unde I M este matricea identitate de dimensiune M M .
METODE DE GRADIENT Probleme 173
unde woN R N p N p N .
1
Probleme
P 6.1 Să se arate că, dacă în algoritmul SD valoarea iniţială a vectorului coeficienţilor
w 0 este vectorul nul, atunci după n iteraţii el va fi egal cu
w n I I 2 R w o
n
unde w o reprezintă valorea optimă a vectorului coeficienţilor.
174 METODE DE GRADIENT - 6
P 6.2 Se consideră procesul autoregresiv (AR) de ordinul întâi u n , descris prin ecuaţia
cu diferenţe finite:
u n au n 1 v n
unde a este parametrul AR al procesului, iar v n este un zgomot alb de medie
nulă şi varianţă v2 .
(a) Să se determine un predictor liniar de ordinul unu pentru calculul parametrului a .
Să se utilizeze metoda SD pentru calculul prin recursie al soluţiei Wiener pentru
parametrul a .
(b) Să se reprezinte curba de eroare pentru această problemă, identificând punctul de
minim al curbei în funcţie de parametrii cunoscuţi.
(c) Ce condiţie se impune pasului algoritmului pentru ca acesta să fie stabil? Justi-
ficaţi răspunsul!
P 6.3 Se consideră un filtru Wiener cu doi coeficienţi caracterizat de următorii
parametrii:
1 0.8 2
R şi p
0.8 1 1
unde R este matricea de corelaţie a intrării, u n , iar p este vectorul de inter-
corelaţie dintre semnalul de intrare u n şi ieşirea dorită d n .
(a) Să se determine pentru pasul intervalul de valori care asigură convergenţa
metodei SD. Să se specifice, dacă rezultatul obţinut este influenţat de vectorul de
intercorelaţie p .
(b) Utilizând MATLAB, să se ruleze algoritmul SD pentru parametrii
0,05;0,1;0,5 şi 1 şi să se traseze traiectoriile corespunzătoare în planul
w0 , w1 .
(c) Să se reprezinte grafic pentru 0,05 , separat, evoluţia coeficienţilor w0 k şi
w1 k în funcţie de indicele de iteraţie k 0,1, ,200 .
(d) Pe graficele obţinute la punctul (c) ar trebui să se observe că evoluţia fiecărui
coeficient este influenţată de două constante de timp diferite. Aceasta implică că
variaţia coeficienţilor poate fi descompusă în suma a două serii exponenţiale
distincte. Să se dea o explicaţie acestei observaţii.
P 6.4 Se consideră procesul u n generat de modelul AR(3)
u n 0,729u n 3 v n
METODE DE GRADIENT Probleme 175
unde v n este un zgomot alb de medie nulă şi varianţă unitară. Utilizând metoda
SD se proiectează un predictor linear al lui u n definit prin
y n uˆ n Un-1 wo,1u n 1 wo,2u n 2 wo,3u n 3
(a) Determinaţi matricea de corelaţie R a lui u n de dimensiune 3 3 şi calculaţi
valorile proprii 1 , 2 , 3 .
(b) Determinaţi vectorul de intercorelaţie p de dimensiune 3 1 .
(c) Alegeţi pasul SD astfel încât răspunsul algoritmului să fie supraamortizat. Apoi
implementaţi algoritmul în MATLAB şi reprezentaţi traiectoriile coeficienţilor
filtrului wi n
3
în funcţie de n.
i 1
(d) Repetaţi punctul (c), alegând pentru o asemenea valoare încât răspunsul să fie
subamortizat.
P 6.5 Se consideră un filtru transversal având vectorul semnalului de intrare u n şi
vectorul ponderilor w . Ieşirea y n este dată de:
y n w H x n
Definim vectorul u n R 1 2u n unde R E u n u H n . Fie u n vectorul
de intrare într-un filtru al cărui semnal de ieşire se calculează cu relaţia
y n w H x n
unde w este vectorul coeficienţilor noului filtru.
(a) Să se deducă o ecuaţie pentru coeficienţii w astfel încât ieşirile celor două filtre
y n şi y n să fie identice.
(b) Să se determine ecuaţia de recursie SD pentru vectorul ponderilor w .
(c) Să se deducă o relaţie care să demonstreze evoluţia coeficienţilor filtrului pe
măsură ce evoluează algoritmul SD determinat la punctul (b) .
(d) Determinaţi constantele de timp ale curbei de învăţare a algoritmului.
(e) Să se demonstreze că ecuaţia de recursie determinată la punctul (b) este
echivalentă cu algoritmul lui Newton.
P 6.6 Ecuaţia (6.53) defineşte comportarea tranzitorie a EPM J n în cazul aplicării
algoritmului SD. Vom nota prin J 0 şi J valoarea iniţială respectiv
valoarea finală a lui J n . Vom aproxima răspunsul tranzitoriu printr-o singură
exponenţială astfel: J n J 0 J e n
J unde este denumit
constantă de timp efectivă. Vom alege pe astfel încât J 1 J 1 .
176 METODE DE GRADIENT - 6
k 0
k 0
7
Capitolul
7 Algoritmul gradientului
stochastic (LMS)
n acest capitol vom deduce, vom analiza performanţele şi vom prezenta câteva aplicaţii
Î practice ale algoritmului adaptiv LMS (Least Mean Squares – media pătratică minimă).
Denumirea „gradient stochastic” are scopul de a diferenţia algoritmul LMS de metoda
SD, care utilizează în calculul recursiv al filtrului Wiener un gradient calculat determinist.
Algoritmul LMS, introdus de Widrow şi Hoff Jr. (1960), împreună cu toate variantele sale
este cel mai larg utilizat în practică datorită simplităţii, eficienţei computaţionale şi perfor-
manţelor excelente, indiferent de condiţiile în care el este utilizat. Mai mult, el nu necesită
nici măsurarea sau calculul funcţiilor de corelaţie şi nici realizarea operaţiei de inversare a
matricii de corelaţie. Algoritmul gradientului stochastic reprezintă un standard în raport cu
care sunt comparate performanţele altor algoritmi de filtrare adaptivă.
răspunsului dorit d n , aşa cum sunt definite, în urma renunţării la operaţia de mediere
statistică, prin:
Rˆ n u n u H n (7.2)
şi respectiv pˆ n u n d * n (7.3)
În mod corespunzător, estimatul instantaneu al vectorului gradient este:
ˆ J n 2u n d * n 2u nu H n w
ˆ n (7.4)
ˆ n
În general, estimatul este deplasat, din cauză că estimatul vectorului coeficienţilor w
este un vector aleator care depinde de vectorul semnal de intrare u n . De observat, că esti-
matul ˆ J n poate fi, de asemenea, văzut ca operatorul gradient aplicat erorii pătratice
instantanee e n .
ˆ n . Procedura
corecţia ce se aplică asupra estimării curente a vectorului coeficienţilor w
ˆ 0 .
iterativă porneşte de la o estimare iniţială w
Algoritmul descris de ecuaţiile (7.7)-(7.9) reprezintă forma complexă a algoritmului
adaptiv LMS. La fiecare iteraţie sau actualizare a vectorului coeficienţilor, el necesită
cunoaşterea celor mai recente valori u n , d n şi wˆ n . Algoritmul LMS face parte din
familia algoritmilor de gradient stochastic. În particular, atunci când algoritmul LMS
operează asupra unui set de semnale aleatoare, setul permis de direcţii pe care algoritmul
adaptiv le adoptă de la o recursie la alta este destul de aleator, astfel încât acestea nu pot fi
privite ca fiind direcţiile adevărate ale gradientului. De aici, explicaţia denumirii pe care o
aplicăm acestei categorii de algoritmi adaptivi.
Figura 7.1 prezintă graful algoritmului LMS sub forma unui model cu reacţie. Acest
model se aseamănă cu modelul utilizat pentru descrierea algoritmului SD. Graful ilustrează
simplitatea extremă a algoritmului LMS. În particular, din figură rezultă, că algoritmul
necesită doar 2M 1 multiplicări complexe şi 2M adunări complexe pe iteraţie, unde
M este numărul de coeficienţi ai filtrului transversal adaptiv. Cu alte cuvinte, complexitatea
de calcul a algoritmului LMS este 0 M .
Estimările instantanee ale lui R şi p date prin ecuaţiile (7.2) şi (7.3) au varianţe relativ
importante. La prima vedere, drept urmare, se poate face observaţia că algoritmul LMS este
incapabil de performante bune întrucât utilizează estimări instantanee. Totuşi, să ne reamin-
tim, că algoritmul gradientului stochastic este prin natura lui recursiv, ceea ce are drept
consecinţă faptul că algoritmul însuşi face efectiv media acestor estimări pe parcursul adap-
tării. Sistemul adaptiv controlat de algoritmul de gradient stochastic este prezentat în Figura
180 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7
7.2. În Tabelul 7.1 sunt rezumate operaţiunile necesare implementării algoritmului LMS
(Ciochină şi Negrescu 1999).
eo n d n u H n wo (7.12)
Înlocuind (7.11) în ecuaţia (7.10), se obţine în urma rearanjării
cˆ n 1 I u nu H n cˆ n eo* nu n (7.13)
unde I este matricea identitate. Prin aplicarea operatorului de mediere statistică ambilor
termeni ai ecuaţiei (7.13), se obţine
E cˆ n 1 E I u n u H n cˆ n E eo* n u n
(7.14)
E I u n u H n cˆ n
unde ultima egalitate rezultă din faptul că, în conformitate cu principiul ortogonalităţii,
E eo* n u n 0 .
Principala dificultate pe care o întâmpină orice analiză mai elaborată a membrului drept
al ecuaţiei (7.14) este evaluarea momentului de ordinul trei al vectorului
E u n u H n cˆ n , ceea ce, în general, este o sarcină matematică dificilă. Pentru a depăşi
această dificultate matematică, cercetătorii au adoptat diferite strategii. Cele mai multe dintre
aceste abordări presupun că eşantioanele de date curente ( u n , d n ) sunt independente de
observaţiile anterioare ( u n 1 , d n 1 ),( u n 2 , d n 2 ),...; vezi de exemplu Feuer
şi Weinstein (1985) şi Farhang-Boroujeny (1998). Această abordare se numeşte Ipoteza de
Independenţă. Conform ipotezei, putem argumenta că, întrucât cˆ n depinde numai de
observaţiile anterioare ( u n 1 , d n 1 ),( u n 2 , d n 2 ,...,) el este independent în
raport cu u n , astfel încât
E u n u H n cˆ n E u nu H n E cˆ n (7.15)
182 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7
De fapt, în cele mai multe din cazurile practice, ipoteza de independenţă este
discutabilă. De exemplu, vectorii de intrare u n şi u n 1 au M 1 termeni comuni din
M . Cu toate acestea, practica algoritmului LMS a arătat că presupunerile făcute pe baza
ipotezei de independenţă se armonizează bine cu simulările făcute pe calculator şi cu
performanţele algoritmului LMS în practică. Vom încerca o explicaţie pentru această
situaţie în cele ce urmează.
ˆ n este afectat de toată evoluţia
La orice moment de timp, vectorul coeficienţilor w
eşantioanelor observate ( u n 1 , d n 1 ),( u n 2 , d n 2 ),... Atunci când pasul
ˆ n
algoritmului este mic, ponderea ultimelor M observaţii în valoarea actuală a lui w
este redusă, şi astfel putem afirma că u n şi w ˆ n sunt slab dependente. Rezultatul
evident al afirmaţiei este că relaţia (7.15) poate fi acceptată cu un anumit grad de
aproximare. Oricum, acest gen de raţionament poate fi acceptat mai uşor decât ipoteza de
independenţă. Indiferent de aceste consideraţii, analiza algoritmului LMS, pe care o facem
în continuare, se bazează pe (7.15) şi alte aproximări similare.
Înlocuim (7.15) în ecuaţia (7.14), pentru a obţine:
E cˆ n 1 I R E cˆ n (7.16)
Filtru Wiener d n
wo
u n y n e n
Filtru stochastic
cˆ w
ˆ wo
unde max este cea mai mare valoare proprie a lui R . Totuşi, vom sublinia aici că
îndeplinirea inegalităţii (7.17) nu garantează, în mod necesar, stabilitatea algoritmului LMS.
Convergenţa algoritmului LMS presupune convergenţa în medie a lui w ˆ n către w o şi,
ˆ n către anumite valori limită.
de asemenea, convergenţa varianţei componentelor lui w
După cum vom arăta în continuare, pentru a garanta stabilitatea algoritmului LMS,
valabilitatea relaţiei (7.17) devine discutabilă.
Exemplul 7.1: Algoritmul LMS cu „pierderi” (leaky-LMS) este caracterizat de
ecuaţia (Diniz 2008, Håkansson 2004):
ˆ n 1 1 w
w ˆ n u n e* n (7.18)
unde 0 1 . Se cere:
a. Să se calculeze domeniul valorilor lui necesar pentru a asigura conver-
genţa în medie a coeficienţilor.
b. Care este expresia funcţiei de cost J l n pe care o minimizează acest
algoritm.
c. Ce se întâmplă cu coeficienţii filtrului adaptiv în situaţia în care eroarea
şi/sau semnalul de intrare devin nule.
Soluţie:
a. Dezvoltăm expresia erorii din ecuaţia de ajustare a coeficienţilor algorit-
mului leaky-LMS:
ˆ n u n d * n u H n w
ˆ n 1 1 w
w ˆ n
I u n u H n I w
ˆ n u n d * n
Aplicăm în continuare ultimei expresii operatorul de mediere:
ˆ n 1 I R I E w
E w ˆ n p
184 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7
evoluează. Vom folosi rezultatele comunicate de Feuer şi Weinstein (1985) şi reluate apoi în
tratatele scrise de Haykin (1996) şi Farhang-Boroujeny (1998). Vom urmări direct,
condiţiile în care are loc convergenţa algoritmului LMS. Presupunerile pe care ne bazăm
sunt următoarele:
7.2 Analiza performanţelor algoritmului LMS 185
(7.21)
E eo n u H n cˆ n E eo* n cˆ H n u n
Cel de-al doilea termen din membrul drept al ecuaţiei (7.21) se calculează, pe baza ipotezei
de independenţă şi a egalităţii cˆ H n u n u H n cˆ n , astfel:
E cˆ H n u n E cˆ H n u n u H n cˆ n
2
(7.22)
E cˆ H n E u n u H n cˆ n E cˆ H n Rcˆ n
continuare
(7.23)
E tr cˆ H n Rcˆ n
186 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7
unde tr reprezintă urma unei matrici, iar în scrierea ultimei egalităţi am utilizat
proprietatea operatorilor lineari „urmă” şi „medie” de a putea fi schimbaţi între ei. Acest
rezultat poate fi simplificat mai mult dacă folosim un rezultat din algebra matricială şi
anume că pentru orice pereche de matrici A şi B de dimensiuni N M respectiv M N
se poate scrie
tr AB tr BA (7.24)
Utilizarea identităţii (7.24) conduce la:
E tr cˆ H n Rcˆ n E tr cˆ H ncˆ n R tr E cˆ H ncˆ n R (7.25)
unde J min E eo n este eroarea pătratică medie (EPM) minimă a ieşirii filtrului.
2
În vederea unei analize mai detailate, acest ultim rezultat poate fi pus într-o formă mai
convenabilă, dacă ne reamintim că în Capitolul 3 matricea de corelaţie R s-a descompus
astfel
R QΛQH (7.31)
7.2 Analiza performanţelor algoritmului LMS 187
unde Q este matricea de dimensiune M M a cărei coloane sunt vectorii proprii ai matricii
R iar Λ este matricea diagonală alcătuită din valorile proprii 1 , 1 , , M ale lui R . Prin
introducerea lui (7.31) în relaţia (7.30) şi utilizarea identităţii (7.24), se obţine
J n J min tr ΛX n (7.32)
unde X n QH K n Q . În plus, utilizând (7.26) şi relaţia (6.47) v n QH c n din
Capitolul 6, matricea X n poate fi definită prin
X n E vˆ n vˆ H n (7.33)
K n 1 E cˆ n 1 cˆ H n 1
E I u n u H n cˆ n cˆ H n I u n u H n
H
E I u n u H n cˆ n eo n u H n (7.35)
E u n eo* n cˆ H n I u n u H n
H
2 E u n eo* n eo n u H n
K n 1 K n RK n K n R
(7.40)
2 RK n R R tr RK n 2 J min R
λ 1 2 M
T
(7.45)
Ρ λ diag 1 , 2 , M
(7.46)
k 1 k 0, 1 k M
2
bij 2 (7.47)
i j ,
i j
Ecuaţia stochastică cu diferenţe finite (7.43) poate fi utilizată la studiul stabilităţii
algoritmului LMS. Aceasta este garantată dacă elementele lui x n rămân mărginite odată
cu creşterea lui n . Condiţia necesară şi suficientă este ca toate valorile proprii ale matricii
B să fie subunitare. Feuer şi Weinstein (1985) au dat, pe această bază condiţiile de
190 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7
stabilitate. În lucrarea noastră, vom stabili condiţiile de stabilitate într-un mod indirect după
ce vom determina expresii convenabile pentru EPM în exces şi dezadaptare.
Atunci când algoritmul LMS este convergent, x n converge către o valoare de regim
permanent mărginită şi putem spune că x n 1 x n , atunci când n . Cu această
observaţie, din ecuaţia (7.43) se obţine
x n 2 J min I B λ
1
(7.49)
Înlocuim ultima expresie în (7.48) pentru a avea:
J exc 2 J min λT I B λ
1
(7.50)
În primul rând să remarcăm că J exc este proporţional cu J min , observaţie intuitiv de
ˆ n se situează într-o vecinătate a lui w o , varianţa
înţeles, dacă se remarcă că atunci când w
elementelor vectorului gradientului erorii este proporţională cu J min . De asemenea, ca şi
J min , J exc este o putere. Pentru a avea o măsură absolută a degradării datorate lui J exc , se
obişnuieşte să se normeze J exc la J min . Rezultatul poartă numele de dezadaptare
(misadjustment) şi este notat prin M :
J exc
2 λT I B λ
1
M (7.51)
J min
Structura specială a matricei I B ne permite să-i stabilim inversa.
Remarcăm din (7.44) şi (7.46) că
7.2 Analiza performanţelor algoritmului LMS 191
Este util să simplificăm acest rezultat prin câteva aproximări adecvate, astfel încât
rezultatul să poată fi utilizat la alegerea pasului algoritmului, . În practică se obişnuieşte să
se aleagă o astfel de valoare pentru încât să se realizeze o dezadaptare M de 10%
( M 0,1 ) sau chiar mai mică. În cazul considerat, se poate face simplificarea
M
i M
2
i 1
2
i 1
i
2
tr R (7.55)
i
Justificarea aproximării este dată de observaţia că pentru valori mici ale lui M , suma din
membrul stâng al lui (7.55) este, de asemenea mică. Mai mult, pentru o valoare mică a lui
M , se poate face aproximarea 2 i 2, 1 i M , iar numitoarele termenilor din
sumele aflate în membrul drept al ecuaţiei (7.54) dispar. Se obţine astfel
tr R
M (7.56)
2 tr R
În plus, se observă că pentru valori mici ale lui M , de exemplu M 0,1 , valoarea expre-
siei tr R este, de asemenea, mică, şi astfel ea poate fi ignorată la numitorul relaţiei
(7.56) pentru a da aproximarea:
M tr R (7.57)
2
Ultima ecuaţie este extrem de convenabilă în practică, întrucât tr R este egală cu
suma puterii eşantioanelor de semnal de la intrarea filtrului. Aceasta poate fi uşor măsurată
şi folosită la alegerea pasului algoritmului, , astfel încât să se realizeze un anumit nivel al
dezadaptării. Mai mult, atunci când procesul de la intrarea filtrului nu este staţionar,
192 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7
estimarea pentru tr R poate fi actualizată recursiv iar pasul algoritmului , ales astfel
încât să menţină un anumit nivel de dezadaptare.
şi notăm că
M (7.59)
1
De observat că noua variabilă este o funcţie strict crescătoare de , întrucât:
M i
(7.60)
i 1 2 i 2
Similar, se poate arăta că M este o funcţie crescătoare de . În consecinţă, dezadaptarea
M definită prin (7.54) este, de asemenea, o funcţie crescătoare de . Astfel, pornind de la
0, limita inferioară a parametrului , şi crescând pe , găsim că atât cât şi M pornesc
de la zero şi cresc odată cu . Se remarcă că, pe măsură ce se apropie de unu, M tinde
la infinit. Această condiţie coincide evident cu limita superioară a lui , valoare sub care
trebuie să se situeze pasul algoritmului, dacă se doreşte asigurarea stabilităţii acestuia.
Astfel, valoarea maximă a lui se obţine în urma stabilirii primei rădăcini pozitive a
ecuaţiei:
M
i
1 (7.61)
i 1 2 i
M
i
i 1
M
1 (7.62)
2 i
i 1
satisface şi inegalitatea
M
i
1 (7.63)
i 1 2 i
În plus, orice valoare a lui situată între zero şi soluţia ecuaţiei (7.62) satisface condiţia
(7.63). Consecinţa este că (7.62) stabileşte o limită superioară pentru suficientă pentru
stabilitatea algoritmului LMS, dar care, în general, nu este necesară. Notând prin max solu-
ţia lui (7.62), se obţine:
1 1
max (7.64)
M
tr R
i
i 1
O altă expresie care primeşte o reformulare mai practică este (7.57), referitoare la
dezadaptarea M :
M
M
2
i 1
i
2
Puterea vectorului de intrare (7.68)
Prin urmare, dacă se impune, pentru stabilitate, condiţia practică (7.67), se asigură automat
nu numai convergenţa algoritmului ci şi realizarea unei dezadaptări M mai mici decât ½.
Se poate defini pentru matricea de corelaţie R o valoare proprie medie prin
M
1
M
i 1
i (7.69)
rezultatele matematice şi performanţele reale ale filtrelor adaptive sunt verificate de obicei
prin simulări pe calculator.
Vom prezenta în continuare câteva exemple de simulări pe calculator. Este vorba de trei
aplicaţii diferite ale filtrării adaptive:
Predicţia lineară
Identificarea de sistem
Egalizare de canal.
În primul caz, vom relua din Capitolul 6 problema de predicţie lineară şi vom compara pe
exemplul ales performanţele algoritmului LMS cu cele ale metodei SD. A doua aplicaţie
este o problemă de modelare de sistem în condiţiile în care ieşirea sistemului este înecată în
zgomot iar semnalul de intrare este un zgomot „colorat”. Ultimul exemplu studiază apli-
carea egalizării adaptive LMS la minimizarea interferenţei intersimbol de pe un canal de
comunicaţii dispersiv.
Obiectivele urmărite prin aceste exemplificări sunt
Să-i ajute pe cititori să se familiarizeze cu simulările pe calculator.
Să verifice acurateţea rezultatelor teoretice obţinute.
Să îmbunătăţească înţelegerea rezultatelor teoretice prin examinarea şi interpre-
tarea atentă a rezultatelor simulărilor.
Toate rezultatele prezentate în continuare au fost obţinute prin utilizarea mediului de progra-
me pentru calcule ştiinţifice şi tehnice MATLAB. Pe lângă funcţii şi operatori matematici de
uz general, MATLAB include şi instrumente specifice „Toolboxes” dedicate în mod explicit
realizării şi analizei performanţelor filtrelor adaptive (Douglas şi Losada 2002).
n 0
suprapusă peste contururile
H z Z h n
H 2 z Z h2 n 0,35 z 0,35 z
1 2
Alegerea primei expresii conduce la o valoare a împrăştierii R 1,45 , apro-
piată de cea a zgomotului alb. În schimb, utilizarea celei de a doua variante dă un
semnal de intrare mult mai „colorat”, întrucât R 28,7 . Conform proprietăţii
a 7-a a valorilor şi vectorilor proprii ale lui R (vezi Capitolul 3), valoarea
gradului de împrăştiere R poate fi aproximată din graficul densităţii spectrale
de putere (DSP) a procesului considerat. Figura 7.7 reprezintă DSP pentru cele
două funcţii de transfer considerate. Pentru a reprezenta graficele din Figura 7.7,
s-a avut în vedere că spectrul procesului u n se obţine prin aplicarea relaţiei
(3.58) la cazul examinat:
Su H Sv
2
Figura 7.8 Curbele de învăţare ale algoritmului LMS pentru problema de identificare de
sistem din Figura 7.6, pentru cele două variante de procese de intrare discutate.
i 0,1, , M 1. Fiecare curbă reprezentată în Figura 7.8 este obţinută printr-o
mediere statistică pe 100 de rulări independente ale experimentului. Se observă că
eroarea minimă este J min E eo n o2 , valoare atinsă atunci când coefi-
2
Figura 7.9 Modelul unui egalizor adaptiv dintr-un sistem de transmisiuni de date.
202 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7
2
0,5 1 cos n 2 , n 1, 2,3
h n W (7.72)
0,
în rest
unde parametrul W este utilizat pentru a controla mărimea distorsiunii de canal.
Distorsiunea creşte odată cu creşterea lui W . Generatorul de zgomot aleator
furnizează secvenţa de zgomot alb gaussian v n , care modelează zgomotul
canalului. Secvenţa de intrare în egalizor este:
3
u n h k d0 n k v n (7.73)
k 1
LMS în egalizorul adaptiv, valorile iniţiale fiind nule: w ˆ 0 0 . Pentru fiecare
caz studiat, s-au executat 100 de realizări independente ale secvenţelor aleatoare,
M 11 iar varianţa zgomotului de canal este v2 103 . S-au efectuat rulări
pentru două valori distincte ale parametrului de canal: W 2,9 şi W=3,5 respec-
tiv pentru patru valori ale lui : 0,01; 0,02; 0,04 şi 0,08. Rezultatele sunt prezen-
tate în Figura 7.11. Figura 7.12 evidenţiază faptul că răspunsul la impuls al
filtrului adaptiv este simetric în raport cu cel de-al 7-lea coeficient al filtrului,
exact aşa cum s-a prevăzut, în timp ce Figura 7.13 prezintă realizări particulare ce
se obţin cu egalizorul LMS prezentat pentru secvenţa transmisă, recepţionată
respectiv egalizată.
În legătură cu rezultatele obţinute, subliniem următoarele:
Efectul împrăştierii valorilor proprii. Curbele de învăţare ale erorii pătratice
medii pentru W 2,9 şi W 3,5 din Figura 7.11(a) indică faptul că rata de
convergenţă a EPM descreşte odată cu creşterea lui W (sau, echivalent, cu
creşterea lui R ), ceea ce era de aşteptat. Pe de altă parte, valoarea de regim
permanent a EPM se măreşte, atunci când W creşte.
Efectul pasului μ. Figura 7.11(b) prezintă curbele de învăţare ale EPM obţinute
pentru trei valori diferite ale lui . Acestea evidenţiază că afectează rata de
convergenţă ca şi valoarea de regim permanent a erorii. Pentru 0,08 , algorit-
mul converge în aproximativ 100 de iteraţii, în timp ce atunci când 0,01 sunt
necesari în jur de 500 de paşi ai algoritmului.
(Håkansson 2006, Morgan 1980) în cazul primului algoritm menţionat respectiv între
semnalul de eroare şi algoritm (Elliott 2001, Wan 1996) în cazul celui de al doilea.
j 0 j 0 i 0
Ideea care stă la baza aplicării algoritmilor adaptivi în sistemele de control activ este că
variaţia în timp a coeficienţilor filtrului adaptiv wˆ i este mult mai lentă decât dinamica siste-
mului de control, astfel încât într-o primă aproximaţie, filtrul adaptiv poate fi considerat ca
fiind invariabil în timp. În aceste condiţii, se poate face aproximaţia: wˆ i n j wˆ i n ,
i 0,1, , M 1, j 0,1, I 1 şi:
I 1 M 1 M 1 I 1
c j wˆ i n j u n j i wˆ i n c ju n i j
j 0 i 0 i 0 j 0
(7.76)
Expresia din membrul drept al ecuaţiei (7.76) indică posibilitatea echivalării configuraţiei
Figura 7.14 (a) Versiunea simplificată a schemei bloc a unui sistem adaptiv
de control activ. (b) Versiunea rearanjată a schemei din (a) în
cazul unor sisteme liniare şi invariante în timp.
206 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7
din Figura 7.14(a) cu cea din Figura 7.14(b), ceea ce este justificat pentru un sistem linear
invariant în timp. Drept urmare, pentru a aplica sistemului de control activ din Figura
7.14(a) algoritmul LMS, ne vom referi la schema echivalentă din Figura 7.14(b), ecuaţia
LMS de recursie a vectorului coeficienţilor (7.9) luând acum forma:
ˆ n 1 w
w ˆ n r n e n (7.77)
unde r n este răspunsul sistemului de control c la secvenţa de intrare u n :
r n r n r n k r n M 1 ,
T
I 1 (7.78)
cu: r n k c j u n k j
j 0
Rescriem ultima ecuaţie într-un format alternativ, prin efectuarea schimbării de variabilă
n n j n n j :
E e 2 n 2 I 1 N
wk
lim
N 2 N 1
u n k c j e n j
j 0 n j N
(7.84)
Notăm prin f n rezultatul convoluţiei necauzale dintre semnalul de eroare cu răspunsul
inversat în timp al sistemului de comandă:
208 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7
I 1
f n c j e n j (7.85)
j 0
u n I 1 u n I 1 u n I u n I M 2
T
unde: (7.89)
Semnalul întârziat de eroare filtrat, care ar fi utilizat într-o implementare practică a
algoritmului, are expresia
I 1 I 1
fˆ n I 1 cˆ j e n j 1 cˆI 1 j e n j (7.90)
j 0 j 0
unde cˆ j sunt coeficienţii răspunsului la impuls al unui model FIR al sistemului de control,
care se presupune că are I coeficienţi. Forma finală a ecuaţiei (7.90) se obţine făcând
schimbarea de variabilă j I 1 j şi subliniind că semnalul de eroare este acum filtrat
cauzal prin utilizarea unei versiuni inversate în timp a modelului sistemului de control. Dacă
transformata Z a acestui model este:
I 1
Cˆ z cˆ j z j (7.91)
j 0
7.4 Algoritmi LMS pentru aplicaţii de control activ 209
Figura 7.16 Schema bloc a algoritmului LMS cu filtrarea erorii în care eroarea este
filtrată de un filtru care este o versiune inversată şi întârziată a
modelului sistemului de comandă.
atunci funcţia de transfer a filtrului necesar pentru a genera versiunea întârziată a semnalului
de eroare filtrat fˆ n I 1 din semnalul de eroare e n poate fi scrisă astfel
I 1
z I 1Cˆ z 1 cˆ j z j 1 I (7.92)
j 0
Rezultatul obţinut este schema bloc a algoritmului LMS cu filtrarea erorii prezentată în
Figura 7.16. Numele de algoritm LMS adjunct utilizat adesea pentru a desemna algoritmul
se datorează faptului că modelul utilizat pentru filtrarea erorii are drept funcţie de transfer
adjuncta funcţiei sistemului de control (Wan 1996).
În cazul sistemelor de control activ mono-canal, algoritmul LMS cu filtrarea erorii nu
oferă nici un avantaj în raport cu algoritmul LMS cu filtrarea referinţei, pentru că şi într-un
caz şi în celălalt este necesar ca la fiecare iteraţie să se calculeze convoluţia cu toţi
coeficienţii modelului utilizat. Totuşi, în cazul sistemelor multi-canal situaţia este diferită,
avantajul fiind de partea algoritmului LMS adjunct (Elliott 2001).
În măsura în care pasul algoritmului LMS cu filtrarea erorii este mic, nu există diferenţe
între performanţele acestui algoritm şi cele ale algoritmului LMS cu filtrarea referinţei.
Diferenţe apar în favoarea algoritmului LMS cu filtrarea referinţei odată cu creşterea facto-
rului , datorită întârzierii suplimentare de I 1 eşantioane introdusă de algoritmul LMS
cu filtrarea erorii în scopul asigurării cauzalităţii filtrului adjunct.
Exemplul 7.5: În scopul comparării performanţelor algoritmilor LMS utilizaţi în
aplicaţii de control activ se utilizează în experiment schema de principiu din
Figura 7.14(a). Semnalul de referinţă u n este zgomot alb de medie nulă şi
varianţă unitară. Schema de control activ are scopul să compenseze semnalul
perturbator d n , obţinut prin trecerea lui u n prin filtrul FIR, D cu carac-
teristica de transfer din Figura 7.19 şi însumarea la rezultatul obţinut a unui
zgomot alb de varianţă v2 104 . Sistemul de comandă C z aflat în structura
schemei de control activ, şi modelul acestuia Ĉ z utilizat de algoritmii LMS de
control activ (vezi Figura 7.15 şi Figura 7.16) sunt filtre FIR cu 32 de coeficienţi,
proiectate prin metoda ferestrei Hamming.
210 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7
apară doar semnalele sosite pe o anumită direcţie particulară, în timp ce semnalele sau
perturbaţiile având alte direcţii de propagare sunt atenuate. Din punct de vedere matematic,
condiţia impusă reprezintă o problemă de optimizare cu constrângeri, enunţată în Capitolul
4 prin ecuaţiile (4.79) şi (4.80). Vom relua în continuare aceste condiţii, la un nivel mai înalt
de generalizare şi adaptate scopului propus:
212 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7
min
wˆ c
E y n 2 min w
wˆ c
ˆ c H n E u n u H n w
ˆ c n
(7.93)
min
c
ˆ
w
ˆ
w cH
n Rwˆ n
c
2
J c n E y n λ n S H w
ˆ c n g (7.95)
w
ˆ cH
n Rwˆ n λ n S
c H
ˆ
w c
n g
unde λ n este vectorul coeficienţilor Lagrange.
Acţiunea algoritmului LMS cu constrângeri (Diniz 2008, Frost_III 1972) constă în
ˆ c n 1 care să satisfacă atât setul de constrângeri
căutarea unui vector al coeficienţilor w
7.5 Algoritmul LMS cu constrângeri liniare 213
ˆ c n 1 w
w
1
ˆ c n ˆ ç J c n
2 w
(7.96)
w
1
ˆ c n 2R
2
ˆ n w ˆ n Sλ n
unde R ˆ n este estimarea matricii de corelaţie a semnalului de intrare la momentul n. De
ˆ c n este:
remarcat că gradientul funcţiei de cost în raport cu w
wˆ ç J c n 2Rw
ˆ n Sλ n
ˆ n se alege ca în
În cazul particular al algoritmului LMS cu constrângeri, matricea R
(7.2) drept estimarea instantanee u n u H n , ceea ce face ca relaţia (7.96) să devină
1
ˆ c n 1 w
w ˆ c n u n u H n w
ˆ n Sλ n (7.97)
2
ˆ c n 1 g , şi
Aplicăm în expresia de mai sus constrângerea liniară (7.94) sub forma S H w
rezultă
ˆ c n S H u n u H n w
ˆ n S H Sλ n
1
ˆ c n 1 g S H w
SH w
2 (7.98)
1
ˆ c n y* n S H u n S H Sλ n
SH w
2
Rezolvăm ecuaţia de mai sus pentru 1 2 λ n şi obţinem:
1 2 λ n S H S
ˆ c n y* n u n S H S g
1 1
SH w (7.99)
Acum, pentru a ajunge la forma finală a ecuaţiei de recursie, rămâne să înlocuim (7.99) în
ecuaţia (7.97), ceea ce conduce la
ˆ c n 1 P w
w
ˆ c n y* n u n g S (7.100)
unde g S S S H S iar P I S S H S S H .
1 1
Putem face observaţia că actualizarea vectorului coeficienţilor din ecuaţia (7.100) constă
ˆ 0 a unei soluţii LMS neconstrânse
în efectuarea proiecţiei pe hiperplanul definit prin S H w
la care se adaugă un vector g S ce readuce soluţia proiectată în hiperplanul cu constrângeri.
Dacă în configuraţia beamformer-ului din Figura 7.20 este inclusă şi o intrare de
referinţă ca în Figura 1.23 ce furnizează semnalul dorit d n , ecuaţia de actualizare (7.100)
capătă expresia
214 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7
Tabelul 7.2 Algoritmul LMS cu constrângeri
w
ˆ c n 1 P w
ˆ c n e* n u n g S (7.101)
c
unde wˆ k sunt coeficienţii beamformer-ului iar i , i 1,2 reprezintă frecvenţa
spaţială a reţelei în raport cu cele două unde electrice (vezi relaţia (1.8)):
2 d
i cosi , i 1, 2
i
În relaţia de mai sus, i şi i sunt parametrii celor două unde incidente.
Expresia matricială a constrângerilor este:
ˆ c g
SH w
Q e n u n e n u n b n (7.102)
M
R = QΛQH i qi qiH (7.106)
i 1
q qiH b
M
1 1
R 1b
i 1
i
1
i (7.107)
Termenii care corespund celor mai mici valori proprii domină această sumă, pentru că
proiecţiile vectorului erorilor de cuantizare pe vectorii proprii care le corespund sunt nenule.
Efectele acestor erori sistematice se cumulează, astfel încât este posibil, chiar şi pentru erori
de cuantizare reduse, ca valoarea coeficienţilor să crească şi să provoace depăşiri înainte ca
limita prescrisă de ecuaţia (7.105) să fie atinsă. Dacă se produce depăşire atunci
performanţele se deteriorează semnificativ. Şi mai serios este faptul că algoritmul LMS nu
va mai converge până ce coeficienţii nu sunt resetaţi, cu alte cuvinte se produce aşa-numita
„agăţare” a adaptării (Cioffi 1987). În plus, valorile mici ale pasului contribuie la
creşterea erorilor de rotunjire cu un termen invers proporţional cu .
Probleme
P 7.1 Algoritmul LMS este utilizat pentru a face predicţia înainte cu un pas a semnalului
u n cos n 3 , utilizând un filtru FIR cu trei coeficienţi, primul coeficient
având valoarea fixată la 1, prin minimizarea valorii medii pătratice a lui y n .
Calculaţi o valoare adecvată pentru pasul algoritmului , semnalul de ieşire al
filtrului şi coeficienţii filtrului pentru primele 10 iteraţii. Valoarea iniţială a
coeficienţilor este wT 0 1 0 0 .
P 7.2 Semnalul u n 0,85u n 1 v n
este aplicat la intrarea unui predictor cu doi coeficienţi, unde v n este zgomot alb
gaussian cu varianţă v2 0,3 . Se recomandă utilizarea MATLAB la rezolvarea
problemei.
(a) Calculaţi soluţia Wiener.
(b) Alegeţi o valoare adecvată pentru şi reprezentaţi curba de învăţare a algo-
ritmului LMS pe suprafaţa de eroare EPM.
(c) Reprezentaţi curbele de învăţare ale EPM şi ale coeficienţilor filtrului, obţinute atât
printr-o rulare unică cât şi prin medierea a 25 de rulări.
P 7.3 Consideraţi procesul AR(1) u n au n 1 v n , unde v n este zgomot alb
gaussian de varianţă v2 . Dorim să proiectăm un predictor linear de ordinul unu
într-un pas, utilizând algoritmul LMS de mai jos:
ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) Probleme 219
uˆ n aˆ n 1 u n 1
e n u n uˆ n
aˆ n aˆ n 1 e n u n 1
unde este pasul algoritmului.
(a) Determinaţi funcţia de autocorelaţie r l , predictorul linear de ordinul unu optim
şi EPM minimă corespunzătoare.
(b) Utilizând ipoteza de independenţă, determinaţi mai întâi iar apoi rezolvaţi ecuaţia
cu diferenţe finite pentru E aˆ n .
(c) Utilizând MATLAB, pentru a 0,95; 0,025; v2 1 şi 0 n N 500 ,
determinaţi media pe ansamblu a lui E aˆ n utilizând 200 de rulări
independente şi comparaţi rezultatul cu curba teoretică obţinută la punctul (b).
(d) Utilizând ipoteza de independenţă, determinaţi mai întâi iar apoi rezolvaţi ecuaţia
cu diferenţe finite pentru P n E e n .
(e) Reluaţi punctul (c) pentru P n şi comentaţi rezultatele obţinute.
P 7.4 Utilizaţi algoritmul LMS pentru a identifica un sistem cu funcţia de transfer
1 z 12
H z
1 z 1
Semnalul de intrare este zgomot alb uniform distribuit cu varianţă u2 1 iar
zgomotul de măsurare este zgomot alb gaussian necorelat cu intrarea şi de
varianţă v2 103 . Filtrul adaptiv are 12 coeficienţi. Utilizaţi MATLAB pentru
rezolvare.
(a) Calculaţi max , valoarea maximă a pasului algoritmului, care asigură stabilitatea
acestuia.
(b) Rulaţi algoritmul pentru max 2, max 10 şi max 50 . Comentaţi comportarea
algoritmului în fiecare dintre aceste cazuri.
(c) Măsuraţi dezadaptarea M în fiecare din cazurile studiate la punctul (b) şi
comparaţi cu rezultatele obţinute prin ecuaţia (7.57).
(d) Reprezentaţi răspunsul în frecvenţă al filtrului FIR în fiecare din cazurile studiate
la punctul (b) şi comparaţi acesta cu caracteristica de frecvenţă a sistemului necu-
noscut.
P 7.5 Secvenţa u n cos no n reprezintă eşantioanele unui semnal modulat în
fază de bandă îngustă. Faza semnalului n este aleatoare, dar variază lent în
timp, adică n n 1 n 2 . Scopul problemei este detectarea
220 ALGORITMUL GRADIENTULUI STOCHASTIC (LMS) - 7
unde max este cea mai mare valoare proprie a matricii de corelaţie R .
P 7.7 Consideraţi sistemul de anulare a zgomotului prezentat în Figura 7.27. Semnalul
util este sinusoida s n cos 0 n , unde 0 16 şi faza este o varia-
bilă aleatoare uniform distribuită pe intervalul 0 şi 2 . Semnalele de zgomot sunt
date de v1 n 0,9v1 n 1 w n şi v2 n 0,75v2 n 1 wn , unde
secvenţa w n este zgomot alb gaussian de medie nulă şi varianţă unitară.
Din cauza înlocuirii erorii e n prin semnul ei, implementarea acestei ecuaţii de recursie
poate fi mult mai simplă şi eficientă decât utilizarea algoritmului LMS standard, în special în
aplicaţiile de mare viteză unde este necesar ca recursia de adaptare să fie realizată în
hardware. Mai mult, de obicei pasul se al algoritmului este o putere a lui doi, astfel încât
Tabelul 8.1 Algoritmul LMS cu semnul erorii
pentru a implementa ecuaţia (8.2) nu este necesară vreo operaţie de multiplicare. Operaţii de
deplasare combinate cu adunări sau scăderi sunt suficiente pentru a actualiza coeficienţii
filtrului adaptiv.
O justificare pentru algoritm pleacă de la observaţia că, dacă algoritmul LMS se obţine
pornind de la criteriul minimizării erorii pătratice medii (EPM), pentru derivarea algoritmu-
lui LMS cu semnul erorii se utilizează criteriul minimizării valorii absolute medii a erorii
(Benesty 2004):
J a n E e n E d n wT u n (8.3)
Deşi din punct de vedere a formei sunt similare, algoritmul LMS cu semnul datelor are
performanţe mult mai bune decât algoritmul LMS cu semnul erorii.
În acest caz, estimatul folosit este mai zgomotos faţă de cazurile precedente, performanţele
fiind, în consecinţă, mai slabe. Totuşi, această variantă cunoaşte o largă răspândire, constitu-
ind standardul CCITT pentru transmisiile ADPCM (Adaptive Differential Pulse Code
Modulation) (Treichler, ş.a. 1986).
Vom remarca că, chiar dacă în multe cazuri algoritmii simplificaţi par să conveargă
către soluţia Wiener-Hopf optimă, în general, această afirmaţie nu poate fi susţinută. De
exemplu, algoritmul semn-semn converge către un set de coeficienţi care satisfac ecuaţia
E sgn e n u n 0 (8.15)
care, în general, poate să nu fie echivalentă cu principiul ortogonalităţii care conduce la
soluţia Wiener-Hopf:
E e n u n 0 (8.16)
8.2 Algoritmul LMS normalizat 227
Cu toate acestea, în cele mai multe cazuri, soluţiile obţinute prin (8.15) şi (8.16) sunt, de
obicei, identice.
Exemplul 8.1: În scopul evaluării şi comparării performanţelor algoritmilor cu
semn şi ale algoritmului LMS standard, s-a utilizat problema de identificare de
sistem introdusă în Exemplul 7.3 din Capitolul 7. La intrare s-a aplicat semnalul
furnizat de filtrul H 2 z , caracterizat de gradul de împrăştiere R 28,7 .
Valoarea parametrilor de pas pentru diverşii algoritmi s-a stabilit experimental
astfel încât, indiferent de algoritm, în regim staţionar să se atingă aceiaşi valoare
a erorii pătratice medii. Curbele de învăţare ale EPM prezentate în Figura 8.1
sunt rezultatul al 100 de rulări independente.
Principalele concluzii care pot fi trase pe baza graficului din Figura 8.1 evidenţiază în
primul rând faptul că algoritmul LMS cu semnul datelor este numai uşor mai lent decât
versiunea standard a algoritmului. Totuşi, algoritmii cu semnul erorii şi semn-semn sunt
ambele mult mai lente decât algoritmul convenţional. Modul în care se produce convergenţa
în aceste cazuri este particular: iniţial, viteza de convergenţă este extrem de redusă, aceasta
crescând mult, pe măsură ce nivelul EPM se reduce.
rea făcută de Goodwin şi Sin (1984), care au formulat algoritmul NLMS ca o problemă de
optimizare cu constrângeri. Pentru simplificarea aparatului matematic, vom aborda cazul în
care atât semnalul cât şi coeficienţii filtrului au valori reale (Alexander 1986). Soluţia în
cazul general, în care mărimile sunt complexe, este o generalizare a soluţiei particulare la
care vom ajunge.
În cazul algoritmului LMS pentru valori reale, corecţia w ˆ n 1 w
ˆ n 1 w
ˆ n
cu care se face actualizarea vectorului ponderilor este de forma:
ˆ n 1 u n e n
w (8.17)
fiind direct proporţională cu mărimea semnalului de intrare. Dacă norma lui u n este
mare, are loc fenomenul de amplificare a zgomotului de estimare a gradientului. Această
dificultate poate fi depăşită de algoritmul LMS normalizat în care pasul de adaptare este
invers proporţional cu norma semnalului de intrare.
Algoritmul LMS normalizat poate fi privit ca o problemă de optimizare cu constrângeri
alcătuită dintr-o condiţie de optimizare cu constrângeri şi o constrângere:
ˆ n 1 ,
1. Condiţia de optimizare impune ca valorile actualizate ale coeficienţilor, w
să fie determinate astfel încât variaţia vectorul ponderilor:
ˆ n 1 w
w ˆ n 1 w
ˆ n (8.18)
să fie minimă.
2. Constrângerea impusă este:
ˆ T n 1 u n d n
w (8.19)
Cu alte cuvinte: valoarea noilor coeficienţi după actualizare, ar fi anulat la
momentul anterior valoarea erorii.
În cazul problemelor de optimizare cu constrângeri, se utilizează metoda multiplicatori-
lor Lagrange (vezi paragraful 7.5 al acestei lucrări). Funcţia de cost J c n este astfel
definită încât să reflecte cele două condiţii care stabilesc problema de optimizare. Metoda
minimizează în cazul nostru funcţia de cost definită prin relaţia:
ˆ n 1 w
J c n w ˆ T n 1 uˆ n d n
2
(8.20)
unde reprezintă aşa-numitul multiplicator al lui Lagrange. Şi în acest caz, rezolvarea
problemei constă în determinarea soluţiei care anulează gradientul funcţiei de cost. Deci:
J c n 0 (8.21)
Începem calculul gradientului funcţiei de cost prin dezvoltarea expresiei (8.20):
J c n w ˆ T n w
ˆ T n 1 w ˆ n w
ˆ n 1 w ˆ T n 1 u n d n
ˆ T n 1 w
w ˆ n 1 w
ˆ T n 1 w
ˆ n w
ˆ T n w
ˆ n 1 (8.22)
ˆ T n w
w ˆ n w
ˆ n 1 u n d n
8.2 Algoritmul LMS normalizat 229
ˆ n 1 . Avem succesiv:
Gradientul se calculează în raport cu noile ponderi w
w
ˆ T n 1 w n 1 2w
ˆ n 1 ,
w
ˆ T n 1 w
ˆ n w ˆ n 1 2w
ˆ T n w ˆ n, (8.23)
w
ˆ T n 1 u n u n .
Prin urmare: J c n 2w
ˆ n 1 2w
ˆ n u n (8.24)
Egalând cu zero expresia (8.24) se obţine relaţia de actualizare a coeficienţilor:
1
wˆ n 1 w
ˆ n u n (8.25)
2
Determinarea valorii multiplicatorului Lagrange se face impunând constrângerea (8.19).
În ecuaţia (8.25) înmulţim la stânga ambii membri cu uT n :
1
uT n w
ˆ n 1 uT n w
ˆ n uT n u n (8.26)
2
În continuare, în relaţia (8.26) putem distinge:
uT n w
ˆ n 1 d n şi uT n u n u n
2
(8.27)
Prin urmare, multiplicatorul Lagrange are valoarea:
Compararea ultimei expresii cu ecuaţia care defineşte algoritmul LMS, (8.1), duce la consta-
tarea imediată, că algoritmul LMS normalizat poate fi echivalat cu algoritmul gradientului
stochastic, dacă considerăm că în cazul algoritmului NLMS locul pasului fix al algoritmului
LMS standard, , este luat de pasul variabil, n :
n (8.31)
u n
2
230 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8
adunări. Acest efort de calcul poate fi redus, dacă se utilizează M locaţii suplimentare de
memorie şi se face apel la formula de tip fereastră alunecătoare:
M 1
u n u n k u n 1 u n u n M
2 2 2 2 2
(8.32)
k 0
unde u 1 0 . Efortul de calcul al formulei (8.32) s-a redus astfel la o înmulţire şi două
2
adunări.
În practică, pentru a evita împărţirea cu zero, dacă u n 0 , se adaugă la numitor o
mică cantitate, 0 :
ˆ n 1 w
w ˆ n u n e n (8.33)
u n
2
În Tabelul 8.2 sunt rezumate operaţiunile necesare implementării algoritmului LMS norma-
lizat.
w n
1
ˆ n 1 w
w ˆ n N R
ˆ 1
ˆ J n (8.39)
2
8.3 Algoritmul LMS-Newton 233
i 0
unde în practică, este un factor mic ales în gama 0 0,1 . Acest domeniu de valori
ale lui permite un bun echilibru între valorile prezente şi trecute de informaţie. Calculând
media statistică în ambii membri ai relaţiei (8.43) şi presupunând că n , rezultă
n
ˆ n 1 n i E u i uT i R, n
E R (8.44)
i 0
ˆ n 1 R n 1 u n u n R n 1
1 ˆ 1 T ˆ 1
ˆ 1 n 1 R
R (8.46)
1 u n R n 1 u n
1 T ˆ 1
ˆ 1 n este mai puţin complexă de actualizat (numărul
Ecuaţia de calcul al lui R
multiplicărilor este de ordinul a M 2 operaţii) decât inversarea directă la fiecare iteraţie a
ˆ n (multiplicări de ordinul a M 3 operaţii).
matricii R
Algoritmul LMS-Newton complet este prezentat în Tabelul 8.3. Trebuie remarcat că
sunt posibile şi alte proceduri de iniţializare decât cea utilizată în tabel.
După cum am subliniat în Capitolul 7, direcţia gradientului estimat are tendinţa să se
apropie de direcţia ideală a gradientului. Similar, vectorul care rezultă din produsul lui
Rˆ 1 n cu gradientul estimat tinde să se apropie de direcţia Newton. În consecinţă, putem
concluziona că algoritmul LMS-Newton converge într-o manieră mult mai directă spre
minimul suprafeţei de eroare decât alţi algoritmi LMS. Se poate arăta, de asemenea că în
cazul algoritmului LMS-Newton, convergenţa acestuia este independentă de împrăştierea
valorilor proprii ale lui R .
Algoritmul LMS-Newton este matematic identic cu algoritmul RLS dacă factorul de
uitare al algoritmului RLS se alege astfel încât 2 1 (Diniz 2008). Întrucât vom
discuta pe larg despre algoritmul RLS ceva mai târziu, vom încheia aici discuţia despre
algoritmul LMS-Newton.
1. Iniţializare:
Rˆ 1 1 I ( este o constantă pozitivă mică)
ˆ 0 u 1 0 0 0
T
w
2. Se calculează ieşirea curentă a filtrului:
y n wˆ T n u n
3. Se determină eşantionul curent al secvenţei de eroare:
e n d n y n
4. Se calculează estimatul inversei matricii de corelaţie:
1 ˆ 1 Rˆ 1 n 1 u n uT n R ˆ 1 n 1
R n
ˆ 1
R n 1 1
1 u n R n 1 u n
T ˆ 1
5. Se calculează vectorul pondere pentru pasul următor:
wˆ n 1 wˆ n N e n R ˆ 1 n u n
6. Se incrementează variabila contor n n 1 şi se execută salt la
2.
8.4 Algoritmi LMS cu transformare de domeniu 235
J n E e n d2 w
ˆ H pT pTH w
ˆ w
ˆ H RT w
ˆ
2
(8.50)
236 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8
tul lui J n cu zero se obţine ecuaţia Wiener-Hopf ce dă coeficienţii filtrului TDAF
optimal:
wo RT1pT (8.51)
Înlocuim ultima valoare în (8.50) iar rezultatul obţinut este valoarea minimă a erorii pătrati-
ce medii a filtrului cu transformarea unitară T:
J min d2 pTH RT1pT (8.52)
Vom compara eroarea minimă (8.52) cu valoarea EPM minime obţinute în cazul unui
filtru adaptiv convenţional. În acest scop, calculăm:
RT E u n u H n TE u nu H n TH TRTH (8.53)
w n Tw n (8.56)
Înainte de a intra în detaliile filtrării TDAF, vom prezenta în următorul paragraf caracte-
ristici deosebite ale transformărilor ortogonale care le fac foarte promiţătoare din punctul de
vedere a algoritmilor cu transformare de domeniu.
3
k=0
7
2.5
1 2 3 4 5 6
2
Amplitudine
1.5
0.5
0
0 0.1 0.2 0.3 0.4 0.5
Frecventa normalizata
Figura 8.4 Caracteristicile de frecvenţă ale filtrelor DCT
pentru M 8 .
căror coeficienţi sunt chiar ckl , l 0,1, M 1 . Figura 8.4 prezintă răspunsul la impuls al
filtrelor DCT pentru M 8 . Aceste curbe reflectă clar proprietatea de separare în benzi a
filtrelor DCT. Fiecare răspuns are un lob principal care poate fi identificat drept banda de
trecere a filtrului precum şi un număr de lobi secundari situaţi în banda de blocare. Caracte-
ristici similare de frecvenţă prezintă şi celelalte transformări ortogonale utilizate în filtrarea
TDAF, de exemplu DFT.
Proprietăţii de separare în benzi pe care o au transformările ortogonale îi corespunde în
domeniul timp proprietatea de ortogonalizare. Proprietatea de ortogonalizare poate fi expli-
cată intuitiv pornind chiar de la separarea în benzi. Se ştie că două procese ce au benzi
spectrale ce se exclud mutual, sunt necorelate unul cu celălalt (Papoulis 1991). Pe de altă
parte, din proprietatea de separare în benzi, se observă că elementele vectorului transformat
de la ieşire u n reprezintă un set de procese aleatoare cu benzi de frecvenţă separate
aproximativ între ele. Aceasta implică faptul că componentele lui u n sunt (cel puţin)
aproximativ necorelate între ele. Ultima constatare are drept consecinţă faptul că matricea de
corelaţie a procesului transformat RT E u n u H n este mai apropiată de o matrice
diagonală decât matricea de corelaţie a procesului iniţial R . Vom exemplifica acest raţiona-
ment prin exemplul care urmează.
Exemplul 8.3: Pentru a demonstra proprietăţile de decorelare a transformatelor
DCT şi DFT se consideră procesul aleator u n cu matricea de corelaţie de
ordinul M 4 :
1,000 0,900 0,810 0,729
0,900 1,000 0,900 0,810
R
0,810 0,900 1,000 0,900
0,729 0,810 0,900 1,000
Matricile transformărilor utilizate sunt:
8.4 Algoritmi LMS cu transformare de domeniu 239
E u n 2 0 0
0
E u1 n
2
0 0
D (8.61)
E uM 1 n
2
0 0
iar operaţia de normare este descrisă prin relaţia
1
u N n D 2 u n (8.62)
unde u N n este vectorul normat. Matricea de corelaţie asociată vectorului u N n este
1 1
RTN D 2 RT D 2
(8.63)
Mai mult, este de observat că D diag RT , (8.64)
unde diag RT este matricea diagonală ce constă din elementele diagonale ale lui RT .
Drept rezultat al acestei normări, toate componentele vectorului u N n au valoarea medie
pătratică egală cu unu şi acelaşi lucru se întâmplă cu elementele de pe diagonala lui RTN .
Trebuie remarcat că relaţia dintre matricile de corelaţie R şi RTN nu mai este una de
similaritate, şi drept urmare, gradul de împrăştiere a valorilor lor proprii este diferit.
Exemplul 8.4: Ne propunem să normalizăm matricile RC şi R F obţinute în
Exemplul 8.3 iar apoi să calculăm RTN în cele două cazuri.
Aplicăm pentru început (8.64) şi continuăm cu operaţia de normare din (8.63).
Rezultatele sunt:
1,000 0,000 0,141 0,000
0,000 1,000 0,000 0,023
R CN
0,141 0,000 1,000 0,000
0,000 0,023 0,000 1,000
1,000 0,052 0,052i 0,000 0,052 0,052i
0,052 0,052i 1,000 0,317 0,317 j 0, 450 j
R FN
0,000 0,317 0,317 j 1,000 0,317 0,317 j
0,052 0,052i 0, 450 j 0,317 0,317 j 1,000
Gradul de împrăştiere a valorilor proprii ale matricilor este RCN 1,33
pentru transformarea DCT şi R FN 3,60 pentru DFT.
8.4 Algoritmi LMS cu transformare de domeniu 241
Figura 8.5 a. Contururile suprafeţei EPM iniţiale, b. Suprafaţa de eroare rezultată în urma
transformării de domeniu, c. Suprafaţa de eroare obţinută prin normalizare.
ecuaţia (8.65) este echivalentă cu utilizarea de paşi diferiţi pentru fiecare din componentele
vectorului ponderilor filtrului în cazul filtrării TDAF. Fiecare parametru de pas este ales
proporţional cu inversa puterii componentei corespunzătoare de intrare în filtru. Din acest
motiv recursia din (8.65) este denumită recursie LMS cu pas normalizat. Pentru a preveni
confuzia dintre acest algoritm şi algoritmul LMS normalizat îl vom numi în continuare
algoritm LMS cu pas normalizat.
Apariţia factorului D ˆ 1 în ecuaţia (8.65) este echivalentă cu operaţia de normare a
vectorului transformat descrisă în paragraful anterior prin ecuaţiile (8.62) şi (8.63). Pentru a
1
demonstra aceasta, dacă premultiplicăm şi postmultiplicăm cu D̂ 2 ecuaţia (8.65), obţinem
ˆ N n 1 w
w ˆ N n u N n e* n (8.67)
242 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8
1
unde u N n e definit prin (8.62) iar w ˆ N n D
ˆ 2wˆ n . Cu alte cuvinte, algoritmul LMS
cu pas normalizat poate fi echivalat cu un algoritm LMS convenţional dacă vectorul care se
aplică pe intrările filtrului este normalizat, u N n având componente de putere unu.
Pentru implementarea lui (8.65) este necesar să se facă estimarea puterii semnalului de
intrare pe fiecare dintre celulele filtrului adaptiv în domeniu transformat, adică a valorilor
ˆ u2i n . Se utilizează în acest scop ecuaţia de recursie
1. Iniţializare:
ˆ u2i 1 , i 0,1, , M 1 ( este o constantă pozitivă mică)
ˆ 0 u 1 0 0
w 0
T
că doi vectori de date succesivi { u n 1 , u n } au comune cea mai mare parte a elemen-
telor:
este identic, având în vedere cele discutate înainte, cu forma pe care o ia recursia (8.65)
atunci când se utilizează TKL ca transformare de domeniu. Pe de altă parte, se poate
considera că algoritmul LMS-Newton încearcă să facă o estimare a transformării Karhunen-
Loève, atunci când detemină R ˆ 1 n . În sfârşit, şi algoritmul NLMS este un caz particular
al algoritmului LMS-TDAF, pentru că utilizează o transformare identitate T I şi o
estimare instantanee a puterii semnalului de intrare dată de norma u n .
2
ˆ n J n
1 1
ˆ n 1 w
w ˆ n N I R ˆ n ˆ
w
2 (8.71)
1
wˆ n I R
ˆ n pˆ n R ˆ n wˆ n
ˆ n şi pˆ n sunt estimările mărimilor corespunzătoare făcute la momen-
În ecuaţie, R
tul de timp n, iar algoritmul de proiecţie afină, spre deosebire de alţi algoritmi realizează o
mai bună aproximare a acestora. În acest scop se alege un număr pozitiv întreg K (de regulă
K M , unde dimensiunile vectorului w sunt M 1 ) iar estimările R ˆ n şi pˆ n se
calculează prin următoarele aproximaţii instantanee:
n n
ˆ n 1
R u j u j ,
H
pˆ n
1
u jd j*
(8.72)
K j n K 1 K j n K 1
respectiv semnalul dorit la momentul j . Cu alte cuvinte, la fiecare iteraţie n sunt utilizaţi cei
mai recenţi K vectori de intrare şi cele mai recente K observaţii pentru a calcula prin mediere
temporală valorile aproximative ale lui R şi p:
246 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8
Rˆ n 1 A H n A n şi pˆ n 1 A H n d n (8.74)
K K
Drept urmare, reformulăm expresia ecuaţiei de recursie Newton (8.71), în care înlocuim cu
relaţiile din (8.74) şi K :
ˆ n I A H n A n A H n d n A n w
ˆ n
1
ˆ n 1 w
w (8.75)
adunări). Concluzia este că ordinul de mărime a numărului de operaţii la care se ridică costul
APA este O K 2 M pe iteraţie, o valoare foarte mare, atunci când o comparăm cu costul
LMS standard. Există, trebuie să spunem, multe variante mai rapide ale algoritmului (Albu,
ş.a. 2007, Sayed 2008) care utilizează în scopul reducerii numărului de operaţii, redundanţa
care există în datele prelucrate.
Exemplul 8.6: Figura 8.7 compară performanţele a patru implementări ale algo-
ritmului APA cu algoritmul LMS standard pentru experimentul realizat în
conformitate cu schema bloc din Figura 7.10, canalul de comunicaţii fiind modelat
Tabelul 8.5 Algoritmul de proiecţie afină
e n d n A n w
ˆ n (8.78)
şi vectorul de eroare aposteriori:
ε n d n A n w
ˆ n 1 (8.79)
Dacă primul dintre ei măsoară eroarea care se face la estimarea lui d n prin utilizarea
produsului A n w
ˆ n . adică prin utilizarea coeficienţilor disponibili înainte de actualizare.
cel de al doilea măsoară eroarea la estimarea lui d n prin A n w ˆ n 1 , adică după utili-
zarea noilor coeficienţi. Vectorul aposteriori se poate exprima în funcţie de vectorul apriori
ˆ n 1 prin ecuaţia de recursie (8.77):
dacă în relaţia(8.79) se înlocuieşte w
ε n d n A n wˆ n A H n I A n A H n e n
1
(8.80)
I A n A H n I A n A H n e n
1
ˆ n 1 care rezolvă următorul
În concluzie, algoritmul APA determină coeficienţii w
criteriu de optimizare cu constrângeri:
min w
ˆ n 1
w
ˆ n 1 w
ˆ n
2
cu condiţia: (8.81)
ε n I A n A H n I A n A H n e n
1
ˆ n 1 cel mai apropiat în sensul normei euclidiene de
Cu alte cuvinte, se caută vectorul w
ˆ n şi supus unei constrângeri dată de egalitatea (8.80).
w
Se poate demonstra (Sayed 2008) că constrângerea din (8.81) este îndeplinită atâta
vreme cât pasul algoritmului îndeplineşte condiţia
0 2 (8.82)
min w
ˆ n 1
w
ˆ n 1 w
ˆ n
2
cu condiţia: εn 0 (8.83)
sau, echivalent:
250 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8
min w
ˆ n 1
w
ˆ n 1 w
ˆ n
2
cu condiţia: dn Anwˆ n 1 (8.84)
Se utilizează denumirea „afin” pentru a indica că hiperplanul nu trece în mod necesar prin
originea w ˆ 0 . Pornind de la vectorul w ˆ n şi îndeplinind condiţia (8.86), NLMS
ˆ n 1 care este cel mai aproape de w
selectează acel vector particular w ˆ n în sensul
ˆ n 1 se obţine prin proiecţia lui w
normei euclidiene. Vom spune prin urmare, că w ˆ n
pe subspaţiul afin Mn .
Pe de altă parte, atunci când K 1 , se observă din condiţia (8.86) că recursia (8.85)
impune satisfacerea a K egalităţi (spre deosebire de una ca în cazul NLMS):
d n u H n w
ˆ n 1 , d n 1 u H n 1 w
ˆ n 1 , ,
, d n K 1 u H n w
ˆ n K 1
m E bm n E bm n m bm* n bm* n m bm n 2E bm n f m*1 n
2
Deci: m J m n 2E f m* nbm1 n 1 bm n f m*1 n (8.90)
unde f m1 n este eroarea de predicţie înainte iar bM 1 n 1 este eroare de predicţie înapoi
întârziată, ambele măsurate la intrarea blocului.
Principiul de bază al algoritmilor LMS enunţat în Capitolul 7 prin relaţiile (7.2)-(7.4)
este de a înlocui media statistică utilizată în calculul gradientului funcţiei de cost prin esti-
marea instantanee a acesteia. Aplicarea acestui principiu ecuaţiei (8.90), ne permite să
scriem estimarea instantanee a lui m J m n :
ˆ J n 2 f * nb n 1 b n f * n
(8.91)
m m m m 1 m m 1
ecuaţia (7.5) la calculul acestei estimări, însumând la ˆm n un termen de corecţie propor-
ţional cu estimarea gradientului m J m n :
1
ˆm n 1 ˆm n m ˆ J m n
2 m
(8.92)
unde m este pasul algoritmului asociat celulei m a structurii lattice. Înlocuind ecuaţia
(8.91) în (8.92), se obţine:
ˆm n 1 ˆm n m f m* nbm1 n 1 bm n f m*1 n (8.93)
Ultima ecuaţie este expresia algoritmului LMS pentru celula m a structurii lattice
(LMS-GAL). Este evident că, pentru a asigura stabilitate, pasul algoritmului m poate avea
o valoare distinctă pentru fiecare celulă a structurii, ceea ce afectează mult aplicabilitatea
practică a algoritmului sub această formă.
O modalitate mai bună de utilizare a algoritmului LMS este de a face apel la varianta
normalizată a algoritmului LMS. În algoritmul NLMS-GAL, parametrul de adaptare depinde
de energia semnalelor de la intrarea celulei:
m m n (8.94)
Em 1 n
n
Em 1 n f m 1 i bm 1 i 1 Em 1 n 1 f m 1 n bm 1 n 1
2 2 2 2
unde (8.95)
i 1
Pentru ca algoritmul să prezinte o convergenţă robustă, se alege 0,1 (Haykin 1996).
Parametrul Em1 n reprezintă suma totală a energiilor erorilor de predicţie înainte şi înapoi
la intrarea celulei m, măsurate până la momentul curent n.
În practică, de obicei se utilizează o modalitate diferită de (8.95) pentru estimarea ener-
giei semnalului de intrare în celulă (Clarkson 1993, Griffiths 1977):
Em1 n Em1 n 1 1 f m1 n bm1 n 1
2 2
(8.96)
D diag E b0 n , E b1 n ,
2
2
2
E bM n diag P0 , P1 , , PM (8.99)
Recursia (8.98) scrisă mai sus la nivelul vectorului coeficienţilor poate fi descompusă în
M 1 ecuaţii scalare de recursie:
hˆi n 1 hˆi n bi n e* n , i 0,1, ,M (8.100)
ˆ n
2
bi
unde ˆ b2i n este o estimare a lui E bi n . Acest fapt arată că prezenţa lui D
ˆ 1 în
2
ecuaţia (8.99) este echivalentă cu utilizarea de paşi diferiţi pentru fiecare din componentele
vectorului ponderilor filtrului hˆ n .
Pentru implementarea lui (8.98) este necesar să se facă estimarea puterii semnalului de
intrare pe fiecare dintre celulele filtrului adaptiv în domeniu transformat, adică a lui ˆ b2i n .
Se utilizează în acest scop ecuaţia de recursie
ˆ b2 n ˆ b2 n 1 1 bi n , i 0,1, , M
2
i i
(8.101)
unde este o constantă pozitivă, apropiată dar mai mică decât unu. Tabelul 8.6 se consti-
tuie într-un rezumat al operaţiunilor algoritmului LMS-GAL.
În ansamblul său, sistemul adaptiv reprezentat în Figura 8.10 este descris prin două
seturi de coeficienţi adaptivi: coeficienţii de reflexie ai structurii lattice ˆi , i 0,1, , M şi
coeficienţii structurii de filtru transversal hˆi , i 0,1, , M . Cele două seturi se adaptează
simultan în paralel: prin coeficienţii ˆi se urmăreşte ortogonalizarea intrărilor structurii în
scară, prin coeficienţii hˆi se realizează adaptarea secvenţei de intrare u n la semnalul dorit
d n . Marele avantaj al acestei structuri adaptive în comparaţie cu filtrele adaptive transver-
sale este că structura lattice furnizează setul ortogonal al erorilor de predicţie înapoi b0 n ,
b1 n , , bM n , ceea ce are drept consecinţă faptul că intrările structurii în scară sunt
„decuplate”. În consecinţă, funcţionarea secţiunii în scară a structurii din Figura 8.10 nu este
afectată de problemele cauzate de împrăştierea valorilor proprii ale semnalului de intrare.
Bine înţeles, această comportare se produce numai după ce a fost obţinută convergenţa
coeficienţilor de reflexie ˆi . În practică, pe parcursul procesului de adaptare, există o
anumită dependenţă între erorile de predicţie înapoi, astfel încât structura în scară resimte pe
această perioadă efectul împrăştierii valorilor proprii. De remarcat că adaptarea
256 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8
Tabelul 8.6 Algoritmul LMS-GAL de filtrare adaptivă
1. Parametri:
M 1 - ordinul filtrului adaptiv
, - constante în intervalul 0 , 1
, 0,1
2. Iniţializare: Pentru i 0,1, , M 1
f 0 b 0 ˆ 0 hˆ 0 0
i 1 i 1 i 1 i
Em 1 n Em 1 n 1 1 f m 1 n bm 1 n 1
2 2
,
ˆm n 1 ˆm n
Em 1 n
f nb n 1 b n f n ,
*
m m 1 m
*
m 1
ˆ b2 n ˆ b2 n 1 1 bm n
2
m m
Probleme
P 8.1 Algoritmul LMS cu semnul erorii este utilizat pentru a face predicţia înainte cu un
pas a semnalului u n sin n 3 , utilizând un filtru FIR cu trei coeficienţi,
primul coeficient având valoarea fixată la 1, prin minimizarea valorii medii pătra-
tice a lui y n . Calculaţi o valoare adecvată pentru pasul algoritmului , semna-
lul de ieşire al filtrului y n , şi coeficienţii filtrului pentru primele 10 iteraţii.
ˆ T 0 1 0 0 .
Valoarea iniţială a coeficienţilor este w
P 8.2 Într-o problemă de identificare de sistem, semnalul de intrare este generat de un
proces AR dat de ecuaţia
u n 1,2u n 1 0,81u n 2 v n
unde v n este zgomot alb gaussian de medie nulă şi varianţă v2 1 . Sistemul
necunoscut are funcţia de transfer
H z 1 0,9 z 1 0,1z 2 0,2 z 3
Filtrul adaptiv este un filtru transversal cu patru coeficienţi. Utilizând algoritmul
LMS cu semnul erorii implementat în MATLAB:
(a) Să se aleagă o valoare adecvată pentru , apoi să se ruleze un ansamblu de 20 de
experimente şi să se reprezinte curba de învăţare mediată a algoritmului.
(b) Să se măsoare EPM în exces şi să se compare rezultatul cu valoarea teoretică.
P 8.3 Expresia algoritmului LMS cu „pierderi” (leaky-LMS) (Manolakis, ş.a. 2005) este
ˆ n 1 w
w ˆ n 1 e* nu n
unde coeficientul de pierderi este 0 1.
(a) Arătaţi că ecuaţia de recursie a coeficienţilor poate fi obţinută prin minimizarea
funcţiei de cost
J n e n w
ˆ n
2 2
(c) Arătaţi că dacă 0 2 max , unde max este cea mai mare valoare
proprie a lui R, atunci
ALGORITMI DERIVAŢI DIN ALGORITMUL LMS Probleme 259
ˆ n R I p
1
lim E w
n
ˆ wo R 1p .
ceea ce înseamnă că, în regim staţionar, E w
P 8.4 Repetaţi problema P 8.2 utilizând algoritmul LMS normalizat.
P 8.5 Să considerăm secvenţa sinusoidală înecată în zgomot
d n a sin n v n
unde v n este o secvenţă de zgomot. Frecvenţa este cunoscută apriori, ampli-
tudinea a şi faza sunt necunoscute. Pentru a obţine o estimare a acestor parame-
tri, se alege un filtru FIR cu doi coeficienţi la intrarea căruia se aplică semnalul
u n sin n şi ale cărui ponderi sunt astfel adaptate încât diferenţa dintre d n
şi ieşirea filtrului y n să fie minimizată în sensul celor mai mici pătrate. Ieşirea
filtrului y n este, în aceste condiţii, estimarea „nezgomotoasă” a secvenţei
sinusoidale obţinută prin algoritmul LMS.
(a) Utilizând mediile temporale, găsiţi matricea de corelaţie R a semnalului de intrare.
(b) Determinaţi pasul algoritmului LMS care să permită realizarea unei dezadaptări
M 5% .
(c) Pentru valoarea pasului determinată la punctul (b), stabiliţi constantele de timp
ale curbei de învăţare a filtrului şi arătaţi că convergenţa algoritmului LMS devine
mai lentă pe măsură ce descreşte.
(d) Arătaţi că problema convergenţei lente a algoritmului LMS poate fi rezolvată dacă
se utilizează un algoritm TDAF cu matricea de transformare
1 1 1
T
2 1 1
P 8.6 Repetaţi problema P 8.2 utilizând algoritmul cu transformare de domeniu LMS-
DCT. Comparaţi rezultatele cu cele obţinute la P 8.2 şi P 8.4.
P 8.7 Utilizaţi algoritmul de proiecţie afină cu K 3 pentru a egaliza un canal de
comunicaţii cu funcţia de transfer
H z 0,34 0,27 j 0,87 0,43 j z 1 0,34 0,21 j z 2
Semnalul de intrare este de tip QAM cu patru simboluri, reprezentând secvenţe
binare generate aleator cu RSZ la receptor u2ˆ v2 20 , unde û n este semnalul
util recepţionat fără a lua în considerare zgomotul adiţional de pe canal, v n .
Filtrul adaptiv are 10 coeficienţi. Se va utiliza MATLAB în rezolvare.
(a) Rulaţi algoritmul pentru 0,1 0,4 şi 0,8 . Faceţi comentarii cu
privire la convergenţă pentru fiecare caz.
260 ALGORITMI DERIVAŢI DIN ALGORITMUL LMS - 8
(b) Reprezentaţi părţile reale şi părţile imaginare ale semnalului recepţionat înainte şi
după egalizare.
(c) Măriţi numărul de coeficienţi la 20 şi repetaţi experimentul de la punctul (b).
P 8.8 Repetaţi problema P 8.7 în cazul utilizării algoritmului LMS normalizat.
P 8.9 O modificare a algoritmului LMS cunoscută sub numele de MLMS (momentum
LMS) este definită prin:
w n w n 1 e* nu n u n 1 u n 2
unde 1 (Manolakis, ş.a. 2005).
(a) Rescrieţi ecuaţia de mai sus pentru a demonstra că algoritmul are structura unui
filtru trece-jos ( 0 1 ) sau trece-sus ( 1 0 ).
(b) Explicaţi intuitiv efectul termenului de „moment” u n 1 u n 2 asupra
convergenţei algoritmului.
(c) Repetaţi experimentul cu egalizorul adaptiv din Exemplul 7.4, utilizând atât LMS
cât şi MLMS pentru a compara performanţele în următoarele cazuri:
i. W 3,1 LMS MLMS 0,01 0,5.
ii. W 3,1 LMS 0,04 MLMS 0,01 0,5.
iii. W 3,1 LMS MLMS 0,04 0,2.
iv. W 4,0 LMS MLMS 0,03 0,3.
9
Capitolul
P poate fi formulată atât din punct de vedere statistic cât şi determinist. Până acum,
începând cu Capitolul 4 al acestei cărţi, a fost examinat punctul de vedere statistic.
Filtrul Wiener şi versiunea sa adaptivă (algoritmul LMS şi algoritmii derivaţi din acesta)
reprezintă abordarea statistică a acestui proces, întrucât realizarea filtrului se bazează pe
minimizarea unei mărimi statistice, eroarea pătratică medie (EPM). În continuare, vom
examina metoda bazată pe abordarea deterministă şi care conduce la o clasă distinctă de
algoritmi adaptivi. Este vorba de metoda celor mai mici pătrate (LS – Least Squares în lite-
ratura de limbă engleză).
Metoda celor mai mici pătrate se constituie într-o alternativă la teoria filtrării optimale.
În principiu, filtrele Wiener se obţin, pornind de la medii statistice, cu rezultatul că filtrul
este optim din punct de vedere probabilistic în raport cu toate realizările procesului aleator
presupus staţionar în sens larg. Pe de altă parte, abordarea pe care o realizează metoda celor
mai mici pătrate este deterministă, pentru că utilizează medii temporale, ceea ce are drept
consecinţă faptul că filtrul depinde de numărul şi valoarea eşantioanelor luate în considerare.
0 n N 1 .
Ca şi în cazul filtrului optimal Wiener-Hopf, problema LS constă în estimarea răspunsu-
lui dorit d n de către semnalul de ieşire al combinatorului linear y n . Eroarea de
estimare este definită prin
e n d n y n d n w H n u n (9.2)
iar coeficienţii structurii lineare din Figura 9.1 sunt astfel determinaţi încât să fie minimizată
funcţia de cost, care este în acest caz suma pătratelor erorilor definită prin
N 1
e n
2
E (9.3)
ń 0
n 0,1, , N 1 astfel:
e 0 d 0 u H 0 w
e 1 d 1 u H 1 w
(9.4)
e N 1 d N 1 u H N 1 w
Se introduc vectorii
e e 0 e 1 e N 1
H
d d 0 d 1 d N 1
H
(9.5)
y y 0 y 1 y N 1
H
şi matricea de dimensiune N M
u0 0 u0 1 u0 N 1
H
u 0 u1 1 u1 N 1
A u 0 u 1 u N 1 1
H
(9.6)
uM 1 0 uM 1 1 uM 1 N 1
Prin urmare, ecuaţiile (9.4) se exprimă matricial astfel
e d y d Aw (9.7)
Matricea de date A poate fi partiţionată atât după coloane cât şi după linii, după cum
urmează
u H 0
H
u 1
A u 0 u1 u M 1
(9.8)
H
u N 1
unde coloanele u k ale lui A
Figura 9.3 Implementarea la nivel de schemă bloc a metodei celor mai mici pătrate.
9.1 Formularea problemei celor mai mici pătrate 265
d H d w H A H d d H Aw w H A H Aw (9.9)
ˆ
E w H pˆ pˆ H w w H Rw
d
N 1
Ed d H d d n
2
unde: (9.10)
n 0
N 1
ˆ A H A u nu H n
R (9.11)
n 0
N 1
pˆ A H d u n d * n (9.12)
n 0
Dacă împărţim mărimile definite prin relaţiile (9.10)-(9.12) la numărul de eşantioane de date
N atunci observăm că mărimile Ed , R ˆ şi p̂ reprezintă estimări mediate în timp ale puterii
răspunsului dorit d2 , ale matricii de corelaţie a vectorului de date de intrare R, respectiv ale
vectorului de intercorelaţie dintre răspunsul dorit şi vectorul de date, p.
Concluzia observaţiei de mai sus este evidentă şi se referă la faptul că toate formulele
obţinute prin aplicarea criteriului erorii pătratice medii (EPM) minime în cazul filtrării
optimale Wiener-Hopf rămân valabile şi în cazul metodei celor mai mici pătrate (LS) dacă
se înlocuieşte media statistică E prin operatorul de mediere temporală
1 N n0
N 1
(Manolakis, ş.a. 2005). Acest lucru rezultă din faptul că ambele criterii de
minimizare conduc la funcţii de cost pătratice. Având în vedere această echivalenţă dintre
cele două abordări ale problemei filtrării adaptive, vom trece în continuare la deducerea
ecuaţiilor normale ale metodei LS.
Valoarea vectorului w LS al coeficienţilor combinatorului linear din Figura 9.1 care
minimizează expresia energiei erorii din relaţia (9.9) se obţine prin egalarea cu zero a
gradientului complex al lui E calculat în raport cu vectorul coeficienţilor:
E 2A H d 2A H Aw 2pˆ 2Rw ˆ 0 (9.13)
w
Vom concluziona, prin analogie cu cazul filtrului optimal din paragraful 4.3, că coefi-
cienţii estimatorului LS, w LS , sunt daţi de soluţia ecuaţiei normale:
ˆ
LS p
Rw ˆ (9.14)
266 METODA CELOR MAI MICI PĂTRATE - 9
Înlocuim soluţia (9.14) în expresia sumei pătratelor erorii pentru a stabili valoarea
minimă a acesteia, ELS :
ELS E w LS Ed pˆ H R
ˆ 1pˆ E pˆ H w
d LS (9.15)
În ceea ce priveşte rezolvarea problemei celor mai mici pătrate prin relaţia (9.14),
trebuie subliniat că din punct de vedere a efortului de calcul, acesta este mai mare la forma-
rea ecuaţiilor normale decât în rezolvarea lor. Într-adevăr, în cazul în care R̂ este o matrice
pozitiv definită, soluţia ecuaţiilor normale poate fi obţinută prin descompunerea LDLH sau
prin factorizarea Cholesky ca în paragraful 4.5. În schimb, calculul unui singur element, rˆíj ,
al estimării mediate în timp a matricii de corelaţie R̂ presupune efectuarea produsului scalar
al doi vectori cu N elemente:
N 1
rˆij uiH u j ui n u*j n, i 0,1, , M 1; i j M 1 (9.16)
n 0
Matricea R̂ fiind hermitică, doar elementele situate în partea superior triunghiulară a aceste-
ia trebuiesc calculate, adică sunt necesare M M 1 N 2 operaţiuni aritmetice pentru
formarea acesteia. La acestea se adaugă şi efortul necesar pentru calcularea membrului drept
al ecuaţiei (9.14) care constă din M produse scalare de tipul
N 1
pˆ i uiH y ui n y* n, i 0,1, M 1, (9.17)
n 0
Estimarea prin metoda LS a răspunsului dorit pe intervalul de timp 0, N 1 este conţinută
în vectorul semnalului de ieşire
M
y w LS dˆ Aw LS wLS ,k u k (9.20)
k 1
d e d dˆ
LS
wLS ,1u1
wLS ,0u0
u1 u0
d̂
Figura 9.4 Interpretarea geometrică a estimării prin metoda LS pentru
cazul N 3 (dimensiunea spaţiului datelor) şi M 2 (dimen-
siunea subspaţiului de estimare).
Cei M vectori u k definesc un subspaţiu M-dimensional, denumit spaţiu de estimare,
care este spaţiul definit de coloanele matricii de date A . Ceea ce este evident este faptul că
orice vector y este plasat în spaţiul de estimare pentru că este combinaţie lineară de u k , în
timp ce vectorul răspunsului dorit d se găseşte în general în afara spaţiului de estimare.
Figura 9.4 ilustrează modul în care are loc estimarea LS pentru cazul M 2 şi N=3 .
Vectorul de eroare e uneşte în figură vârful vectorului estimării LS, d̂ cu vârful vectorului
semnalului dorit, d . Pătratul lungimii lui e este minim atunci când e este perpendicular pe
spaţiul de estimare, adică e uk pentru 0 k M 1 .
Afirmaţia anterioară se constituie în principiul ortogonalităţii a cărui formulare mate-
matică este:
N 1
uk , e u kH e uk n e n 0, 0 k M 1 (9.21)
n0
Soluţia problemei celor mai mici pătrate separă vectorul de răspuns dorit d în două
componente ortogonale, şi anume vectorul semnalului de ieşire optimizat în sens LS
y w LS dˆ şi vectorul de eroare e LS . Prin urmare:
2
d dˆ e LS
2 2
(9.24)
268 METODA CELOR MAI MICI PĂTRATE - 9
cu alte cuvinte, matricea este pozitiv definită şi, în consecinţă nesingulară. În schimb, dacă
coloanele lui A sunt linear dependente atunci există cel puţin un vector z 0 0 astfel încât
Az 0 . Prin urmare, A H Az 0 , ceea ce înseamnă că matricea R ˆ A H A este
0 0
singulară.
Pentru ca o matrice să aibă coloane liniar independente, numărul de linii trebuie să fie
mai mare sau egal cu numărul de coloane; altfel spus, trebuie să existe mai multe ecuaţii
decât necunoscute. În concluzie, o problemă LS supradeterminată ( N M ) are soluţia
unică (9.14) dacă matricea de corelaţie mediată în timp R̂ este pozitiv definită sau echi-
valent, dacă coloanele matricii de date A sunt liniar independente (Manolakis, ş.a. 2005).
În condiţiile de mai sus, soluţia problemei celor mai mici pătrate se exprimă sub forma
ˆ 1pˆ A H A A H d A d
w LS R
1
(9.26)
A A
1
unde: A H
AH (9.27)
este o matrice de dimensiune M N cunoscută sub numele de pseudo-inversa matricii A
(Golub şi Van_Loan 1996).
Estimarea lui d prin metoda celor mai mici pătrate pe care ieşirea structurii de filtrare
din Figura 9.1, y w LS dˆ , o furnizează, poate fi exprimată prin
dˆ Pd (9.28)
P A AH A AH
1
unde: (9.29)
9.1 Formularea problemei celor mai mici pătrate 269
1 3 1 3 2 3
dˆ Pd 1 3 4 3 5 3 .
T
De exemplu:
În sfârşit, soluţia obţinută verifică principiul de ortogonalitate împreună cu
corolarul său: uT0 eLS u1T e LS dˆ T e LS 0 .
Pachetul de programe MATLAB oferă multiple posibilităţi de rezolvare a problemei
celor mai mici pătrate. Operaţiunea de divizare la stânga X\y este soluţia în sensul celor mai
mici pătrate a unui sistem de ecuaţii supradeterminat unde X este o matrice pătrată M N
iar y vector coloană de lungime N , M N . În acelaşi scop este folosită şi funcţia w =
lscov(X,y). De exemplu, soluţia în Exemplul 9.1, se obţine prin comanda w =
lscov(A,d), unde A este matricea de date iar d vectorul răspunsului dorit.
w LS w o A H A A H eo
1
(9.37)
9.1 Formularea problemei celor mai mici pătrate 271
Pentru analiza efectuată vom considera că A este o matrice de constante iar pentru
vectorul de zgomot e o , vom admite următoarele:
1. este de medie nulă: E eo 0 , (9.38)
2. are componente necorelate de varianţă constantă o2 . Expresia matricii de corelaţie
a vectorului e o este:
R o E eoeoH o2I , (9.39)
3. nu este corelat cu matricea de date A .
Pentru început, vom calcula media statistică a coeficienţilor filtrului LS. Aplicând
operatorul de mediere relaţiei (9.37), obţinem:
E w LS E w o A H A A H E eo w o
1
(9.40)
pentru că A este deterministă iar E eo 0 . Concluzia este că estimatorul în sensul celor
mai mici pătrate w LS realizează o estimare „nedeplasată” a vectorului w o (Haykin 1996).
Evaluăm în continuare matricea de covarianţă a coeficienţilor estimatorului LS, Γ LS ,
utilizând relaţiile (9.37) şi (9.39):
Γ LS E w LS w o w LS w o
H
(9.41)
A H A A H E eoeoH A A H A o2 A H A o2 R
1 1 1
ˆ 1
Este interesant de remarcat că în cazul estimării în sensul celor mai mici pătrate a para-
metrilor semnalului, energia erorii de estimare ELS poate servi pentru a face o estimare
nedeplasată a varianţei vectorului erorii de măsurare o2 . În acest sens, vom nota prin N
numărul de observaţii efectuate şi prin M numărul de coeficienţi ai filtrului LS de estimare.
Utilizând relaţiile (9.30) şi (9.36), se scrie:
eLS I P d Aw o A A H A A A w I P e I P e
1 H
o o o (9.42)
ceea ce, având în vedere relaţia (9.32), conduce la
ELS eLS e LS eoH I P I P eo eoH I P eo
H H
(9.43)
Pentru că ELS depinde de e o , ea este o variabilă aleatoare ce are valoarea medie:
E ELS E eoH I P eo E tr I P eoeoH (9.44)
tr I P E eoeoH o2 tr I P
tr I P tr I A A H A A H tr I N A A H A A H
1 1
(9.45)
tr I N tr A H A A H A tr I N tr I M N M
1
E ELS
Rezultă prin urmare: o2 (9.46)
N M
Relaţia (9.46) dovedeşte că energia erorii de estimare în sens LS, ELS , reprezintă un
estimator „nedeplasat” al varianţei vectorului erorii de măsurare, o2 (Manolakis, ş.a.
2005).
e n
2
E eH e (9.49)
n Ni
274 METODA CELOR MAI MICI PĂTRATE - 9
Filtrul FIR optimizat în sensul celor mai mici pătrate se determină prin rezolvarea
ecuaţiilor normale ale estimatorului LS
AH A w LS AH d sau Rw
ˆ
LS p
ˆ (9.50)
Valoarea minimă a energiei erorii are expresia
ELS Ed pˆ H w LS (9.15)
unde Ed este energia semnalului de răspuns dorit.
Spre deosebire de cazul general de estimator LS tratat în paragraful precedent, există o
serie de diferenţe în cazul descrierii filtrului FIR LS datorate faptului că în acest ultim caz,
coloanele matricii A sunt replici deplasate ale primei coloane. Astfel, elementele matricii
de corelaţie mediate în timp R̂ sunt date de
Nf
rˆij uiH u j u n 1 i u n 1 j ,
n Ni
*
1 i, j M (9.51)
unde u i sunt coloane ale matricii de date A . O simplă manipulare a expresiei (9.51)
conduce la o relaţie care stabileşte o legătură între elementele matricii R̂ ce sunt localizate
pe aceiaşi diagonală:
rˆi 1, j 1 rˆij u Ni i u* Ni j u N f 1 i u* N f 1 j , 1 i, j M (9.52)
Utilizarea recursiei (9.52) permite reducerea semnificativă a volumului de calcul pe care îl
necesită calcularea matricii R̂ (Manolakis, ş.a. 2005).
Există patru modalităţi de alegere a intervalului de timp Ni n N f pe care se fac
însumările pentru filtrele FIR cu estimare LS:
Fără decupare (No windowing): Limitele de sumare sunt Ni M 1 şi
N f N 1 . În acest caz, se utilizează numai datele disponibile şi nu există
distorsiuni datorate includerii în calcul a unor date cu valori artificiale.
Cu predecupare (Prewindowing): Limitele de sumare sunt Ni 0 şi N f N 1 ,
ceea ce înseamnă forţarea u 1 u M 1 0 . Drept urmare, termenul
u M i u M j dispare din relaţia (9.52). Este o metodă utilizată pe larg în
*
în practică.
Cu decupare completă (Full windowing): Metoda combină cele două proceduri
anterioare, domeniul de sumare fiind cuprins între Ni 0 şi N f N M 2 şi are
9.3 Tehnici de ortogonalizare utilizate în calculul estimării LS 275
drept consecinţă reducerea ecuaţiei (9.52) la egalitatea rˆi 1, j 1 rˆij . Drept urmare,
elementele rˆij depind doar de diferenţa i j iar matricea R̂ este Toeplitz.
Este evident că pentru N M , diferenţele dintre performanţele diverselor metode
devin nesemnificative. Metodele no-windowing şi full-windowing sunt cunoscute în literatu-
ră sub numele de metoda de autocorelaţie respectiv metoda de covarianţă (Makhoul 1975).
Evităm utilizarea acestor termeni pentru că pot conduce la confuzii.
este larg utilizată în practică, există unele aplicaţii care necesită metode de rezolvare cu
proprietăţi numerice mai bune. Atunci când consideraţiile privind precizia numerică prezintă
un interes major, tehnicile de ortogonalizare discutate în acest paragraf şi descompunerea în
valori singulare ce constituie obiectul următorului paragraf sunt metode care oferă perfor-
manţe superioare în rezolvarea problemei LS.
Transformarea ortogonală este o schimbare liniară de variabilă care nu modifică
lungimea vectorului:
y Qx (9.53)
unde y şi x sunt doi vectori oarecare iar Q o matrice ortogonală, adică
Q1 QH QQH I (9.54)
Din această proprietate, se poate vedea simplu că multiplicarea unui vector cu o matrice
ortogonală nu schimbă lungimea vectorului:
y y H y x H QH Qx x H x x
2 2
(9.55)
Drept urmare, utilizarea transformărilor ortogonale nu amplifică erorile de rotunjire în
calcule, conducând la algoritmi care sunt numeric mai precişi. Există două căi de folosire a
tehnicilor de ortogonalizare în rezolvarea problemei LS:
Utilizarea matricilor ortogonale pentru a transforma matricea de date A într-o
ˆ A
formă care simplifică soluţia ecuaţiilor normale fără a afecta matricea R ˆ HA
ˆ.
Oricare ar fi matricea ortogonală Q , se scrie:
H
ˆ HA
ˆ A
R ˆ A
ˆ H QQ H A
ˆ QH A
ˆ ˆ
QH A (9.56)
276 METODA CELOR MAI MICI PĂTRATE - 9
Evident, această operaţie poate fi repetată de câte ori se doreşte, până când matricea
A H Q1Q2 ajunge într-o formă care să simplifice problema LS.
Având în vedere că transformările ortogonale conservă lungimea unui vector,
multiplicând vectorul de eroare e d Aw printr-o matrice ortogonală nu se
modifică suma pătratelor erorii. Drept urmare, se poate scrie:
min e min d Aw min Q H d Aw (9.57)
w w w
Astfel, scopul în această abordare este găsirea unei matrici Q care să simplifice
rezolvarea problemei LS.
În cazul factorizării QR se găseşte o matrice ortogonală Q de dimensiune N N care
satisface relaţia
R
A Q (9.58)
0
unde, în practică, matricea Q este astfel concepută încât matricea R de dimensiune
M M să fie superior triunghiulară. Utilizând relaţia (9.57), se obţine:
e QH e QH d QH Aw (9.59)
1. Factorizarea QR
R
A Q
0
2. Transformarea şi partiţionarea lui d
z
z QH d 1
z 2
3. Substituţie în ordine inversă w LS
R w LS z1
4. Calculul energiei erorii în sens LS
ELS z 2
2
Tabelul 9.1 rezumă etapele rezolvării problemei celor mai mici pătrate prin factorizare
QR.
Exemplul 9.2 Să se rezolve problema LS din Exemplul 9.1 prin metoda factori-
zării QR.
T
2 2 0
, d 0 1 2
T
A
1 4 3
Soluţie: Se calculează factorizarea QR cu funcţia MATLAB
[Q,R]=qr(A):
0,7071 0, 4082 0,5774 2,8284 3,5355
Q 0,7071 0, 4082 0,5774 , R 0
3,6742
0 0,8165 0,5774 0 0
Se parcurg în continuare etapele de rezolvare din Tabelul 9.1 utilizând secvenţă de
comenzi MATLAB:
z=Q’*d;
wls=R(1:2,1:2)\z(1:2);
Els=sum(z(3).^2);
Soluţia problemei celor mai mici pătrate este:
w LS 0,4444 0,5556 , ELS 0,3333
T
12
N 2
unde: sk xi (9.73)
i k
În general, o matrice A de dimensiune N M cu N M , poate fi diagonalizată
printr-o secvenţă de M transformări Householder
HM H2 H1A R (9.74)
sau A QR (9.75)
unde Q H1H2 HM (9.76)
Trebuie remarcat că pentru M N sunt necesare doar M 1 reflexii.
Exemplul 9.3: Să se calculeze, utilizând reflexiile Householder, factorizarea QR
a matricii A din Exemplul 9.1:
T
2 2 0
A
1 4 3
Calculăm vectorul z1 0,9239 0,3827 0
T
Soluţie: şi matricea de
reflexie Householder H1 pentru prima coloană a lui A cu relaţiile (9.72) şi
(9.68). Matricea A modificată este:
2,8284 3,5355
H1A 0 2,1213
0 3
Similar, se efectuează calculele pentru coloana a doua a matricii H1A . Se obţine
z 2 0 0,881 0,4597 şi, în continuare, rezultatele finale:
T
j
u j rij qi , j 0,1, , M 1 (9.90)
i 0
care este deja ortogonal pe q1 . Apoi, se modifică restul vectorilor rămaşi pentru a-i face
ortogonali pe q 2 :
ui 2 xi1 q2H ui1 q2 , i 3, ,M (9.93)
Continuând într-o manieră similară, expresiile lui q m şi ale vectorilor xmi sunt:
umm 1
qm (9.94)
umm 1
şi
ui m ui m1 qmH ui m1 qm , i m 1, ,M (9.95)
Implementarea algoritmului Gram-Schmidt modificat este prezentată în Tabelul 9.2.
Proprietăţile numerice superioare ale algoritmului modificat rezidă din faptul că vectorii
succesivi ui m generaţi prin ecuaţia (9.95) au dimensiuni descrescătoare iar produsul scalar
qmH ui m1 poate fi calculat mai precis decât produsul q mH ui .
9.4 Rezolvarea problemei LS prin descompunerea în valori singulare 285
Tabelul 9.2 Ortogonalizarea unui set de vectori prin
algoritmul Gram-Schmidt modificat.
For m 1,2, ,M
rmm um
2
qm um rmm
For i m, m 1, , M ,
rmi qmH ui
ui ui 1 rmi qm
next i
next m
AV2 0 (9.98)
Dacă se defineşte U1 AV1Σr 1 (9.99)
atunci relaţia (9.97) devine U1H U1 I , cu alte cuvinte, coloanele matricii U1 sunt unitare.
În consecinţă, poate fi formată matricea unitară U U1 U2 printr-o alegere convenabilă
a componentelor matricii U 2 , astfel încât aceasta să îndeplinească condiţiile U2H U1 0 şi
U2H U2 I . Atunci:
U1H U1H AV1 U1H AV2 Σr 0
U AV H A V1
H
V2 H
U 2H AV2 0 0
(9.100)
U2 U 2 AV1
În deducerea lui (9.100) s-au avut în vedere relaţiile (9.97), (9.98) şi egalitatea
U2H AV1 U2H U1 Σr 0 , care derivă din definiţia (9.99).
Figura 9.8 face o descriere grafică a descompunerii SVD a matricii A .
a. Primele r coloane ale lui U formează o bază ortonormală pentru spaţiul definit de
coloanele lui A (spaţiul de coloane al lui A ).
b. Primele r coloane ale lui V formează o bază ortonormală pentru spaţiul definit de
liniile lui A (spaţiul de linii al lui A ).
c. Ultimele M r coloane ale lui V formează o bază ortonormală pentru spaţiul de
vectori ortogonal la liniile lui A (spaţiul nul al lui A ).
d. Ultimele N r coloane ale lui V formează o bază ortonormală pentru spaţiul nul
al lui A H .
Descompunerea SVD a unei matrici A poate fi calculată prin formarea matricilor
pătrate A H A şi AA H urmat de calculul valorilor şi vectorilor lor proprii. Totuşi, această
abordare este, în general evitată din din cauză că „ridicarea la pătrat” a lui A pentru a forma
aceste matrici de corelaţie, conduce la o pierdere de informaţie (Manolakis, ş.a. 2005). În
practică se folosesc algoritmi performanţi ca de exemplu algoritmul R-SVD descris în Chan
(1982). Pachetele de programe matematice LA-PACK şi LINPACK includ algoritmi nume-
rici performanţi de calcul al SVD (Press, ş.a. 1992).
Definind mărimile d U H d şi w V H w
obţinem valoarea energiei erorii în estimarea LS sub forma:
r N
d Aw d Σw di i wi d
2 2 2 2
i (9.108)
i 1 i r 1
care este minimizată dacă şi numai dacă wi di i pentru i 1,2, , r . Se observă că
atunci când r M , termenii wr1 , , wM nu apar în relaţia (9.108). Drept urmare, aceştia
nu au nici un efect asupra erorii totale şi pot fi aleşi arbitrar. Pentru a justifica ultima
afirmaţie se poate utiliza interpretarea geometrică a problemei LS din Figura 9.4. Există
numai o unică combinaţie lineară a vectorilor lineari independenţi u0 şi u1 care să conducă
la estimarea LS optimă. Dacă matricea de date are încă o coloană u 2 aşezată în acelaşi plan
cu celelalte două, atunci există o infinitate de combinaţii lineare w0u0 w1u1 w2u2 care să
satisfacă criteriul erorii LS minime. Pentru a obţine o unică soluţie LS, dintre toate soluţiile
care minimizează norma d Aw , se alege soluţia cu w de lungime minimă. Matricea
9.4 Rezolvarea problemei LS prin descompunerea în valori singulare 289
d u
2
ELS d Aw
2 2 H
iar i i d (9.111)
i r 1 i r 1
utilizarea soluţiei din (9.115) conduce la ecuaţiile normale din (9.22). Dacă
N M rang A atunci A A1 . Prin urmare, relaţia (9.115) are un caracter general,
indiferent dacă matricea A este pătrată sau dreptunghiulară, indiferent dacă este de rang
maxim sau nu. Formal, A poate fi definită independent de problema LS ca fiind unica
matrice X care satisface cele patru condiţii Moore-Penrose:
AXA A AX AX
H
(9.116)
XAX X XA XA
H
290 METODA CELOR MAI MICI PĂTRATE - 9
Tabelul 9.3 Etapele rezolvării problemei celor mai mici pătrate prin
metoda descompunerii în valori singulare.
5,5338 0 0
0 0,6989 0,0063 0,7152
V 0,3754 0,8544 0,3593
1,5139 0
Σ ,
0 0 0, 2924
0,6088 0,5196 0,5994
0 0 0
Se observă direct că rangul matricei A este r 3 , ceea ce este şi rezultatul
funcţiei MATLAB r=rank(A). Paşii 3, 4 şi 5 din Tabelul 9.3. dau:
5,1167
1,1821 3,0
d U d
T , w LS 1,5 , ELS 1,5
0,9602
1,0
1, 2247
Probleme
P 9.1 La intrarea unui combinator linear cu trei coeficienţi ce implementează metoda
celor mai mici pătrate, sunt furnizate următoarele înregistrări instantanee:
u 0 1 1 0 , u 1 2 1 1 ,
T T
u 2 1 1 1 , u 3 0 1 1
T T
u k z 1
d k
w0 w1
e k
y k
Figura 9.9 Filtrul FIR din problema
P 9.2.
292 METODA CELOR MAI MICI PĂTRATE - 9
(a) Enunţaţi problema ca o problemă de filtrare în sens LS, stabilind expresii pentru
matricea de date de intrare A, vectorul semnalului dorit d , vectorul de eroare e,
funcţia de cost E şi vectorul coeficienţilor filtrului, w.
(b) Calculaţi soluţia de la punctul (a) care minimizează funcţia de cost ELS şi
stabileşte valorile optime pentru vectorul coeficienţilor, w LS .
(c) Implementaţi în MATLAB rezolvarea cazului practic în care
d n 1,5 0,035n v n pentru n 0,1, ,N
unde v n este zgomot alb gaussian de medie nulă şi varianţă unitară şi N 100 .
P 9.7 Determinaţi a şi b astfel încât funcţia f x axb să realizeze cea mai bună
aproximare în sensul celor mai mici pătrate a următorului set de date
experimentale:
x 0,5 1,0 1,5 2,0 2,5
y 0,49 1,60 3,36 6,44 10,16
n
şi pˆ n n j
u jd * j (10.4)
j 0
n
Ed n d j
n j 2
unde (10.6)
j 0
ˆ n g n u n
R (10.12)
ecuaţia (10.11) se poate scrie astfel
w n w n 1 g n e* n (10.13)
Ultima ecuaţie dezvăluie modul în care apare câştigul de adaptare g n în ecuaţia de
recursie a vectorului coeficienţilor.
Exemplul 10.1 Vom determina în cele ce urmează ecuaţiile care guvernează
funcţionarea unui filtru LS adaptiv cu un singur coeficient. În acest caz particular,
M 1 , estimarea matricii de corelaţie R ˆ n devine scalarul E n . În sfârşit,
u
e n d n w* n 1 u n
1
w n w n 1 u n e* n
Eu n
Ultima ecuaţie este similară cu ecuaţia unui algoritm LMS normalizat, pentru
că pasul LMS al algoritmului este n 1 Eu n . Pe de altă parte, ecuaţia
descrie un algoritm optim în sens LS.
n d n w H n 1 n g H n u n
e n n g H n u n
e n
sau n (10.18)
n
unde n 1 g H nu n 1 1u H n R
ˆ 1 n 1u n (10.19)
este cunoscut sub numele de factor de conversie. Prin urmare, pentru a calcula eroarea
aposteriori n înainte de a realiza actualizarea vectorului coeficienţilor filtrului se pot
utiliza ecuaţiile (10.19) şi (10.18). Acest artificiu de calcul face posibilă implementarea
algoritmului adaptiv LS aposteriori. Dacă R ˆ n 1 este o matrice inversabilă, n 1 şi
n e n , n .
Pentru a dezvolta o relaţie între vectorii de câştig adaptiv apriori şi aposteriori, se
compară relaţiile (10.13) şi (10.16), şi se face apel la definiţia factorului de conversie din
(10.18). Rezultatul:
g n
g n (10.20)
n
demonstrează că cele două câştiguri de adaptare sunt vectori ce au o direcţie unică dar
lungimi diferite. Totuşi, întrucât ecuaţiile (10.13) şi (10.16) descriu o unică realitate,
termenii de corecţie g n e* n şi g n * n sunt egali.
Un alt factor de conversie, ce se defineşte în funcţie de vectorul de câştig g n este
n 1 u H n R
ˆ 1 nu n 1 u H n g n (10.21)
Acesta are câteva interpretări interesante. Astfel, folosim relaţia (10.20) şi avem:
u H n g n
n 1 ,
n
n n n 1 1 u H n g n 1
1
sau n (10.22)
n
ceea ce arată că cei doi factori de conversie sunt unul inversul celuilalt. Având în vedere că
estimarea matricii de corelaţie este pozitiv semidefinită, adică îndeplineşte condiţia
u H n R
ˆ 1 nu n 0 , relaţia (10.21) implică
0 n 1 (10.23)
300 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10
Tabelul 10.1 Operaţiuni matematice utilizate în implementarea filtrelor adaptive LS
apriori şi aposteriori.
Filtrul adaptiv LS apriori Filtrul adaptiv LS aposteriori
ˆ n R
Matricea de corelaţie R ˆ n 1 u nu H n ˆ n R
R ˆ n 1 u nu H n
Vectorul de câştig ˆ n g n u n
R ˆ n 1 g n u n
R
Eroarea apriori e n d n w
n 1un
H
e n d n w H n 1u n
Factorul de conversie n 1 g nu n n 1 g H n u n
H
Prin urmare, factorul de conversie n este cuprins între 0 şi 1. Această limitare permite
interpretarea factorului ca fiind o variabilă unghiulară (Lee, ş.a. 1981) iar monitorizarea lui
n oferă informaţii despre modul în care acţionează algoritmul RLS. Se poate arăta (vezi
problema P 10.4) că
ˆ n 1
det R
n M (10.24)
det Rˆ n
adaptivă în cazul filtrului adaptiv LS apriori. În legătură cu acestea, se pot face două
observaţii importante (Manolakis, ş.a. 2005, Sayed 2008):
Câştigul de adaptare depinde strict numai de semnalul de intrare. Răspunsul dorit
afectează doar amplitudinea şi semnul termenului de corecţie a coeficienţilor prin
intermediul semnalului de eroare.
Cel mai mare efort de calcul în filtrarea adaptivă LS este reprezentat de calculul
vectorului de câştig adaptiv. Acest calcul presupune rezolvarea unui sistem de ecuaţii
lineare, care necesită un număr de O M 3 operaţii la fiecare iteraţie a algoritmului.
g n R
ˆ 1 n u n (10.25)
sau g n 1R
ˆ 1 n 1u n (10.26)
Pentru a deduce algoritmul recursiv, începem prin a utiliza pentru inversa matricii de
corelaţie notaţia consacrată în literatură:
P n R
ˆ 1 n (10.27)
În aceste condiţii, expresia relaţiei de calcul recursiv (10.7) devine
P1 n P1 n 1 u nu H n (10.28)
În continuare, facem apel la lema de inversare matricială a cărei enunţ este (Ciochină şi
Negrescu 1999, Sayed 2008):
Fie matricile X, A, B, C şi D de dimensiuni M M , M M , M N , N N
respectiv N M , dintre care X, A şi C sunt nesingulare, care satisfac relaţia
X A BCD (10.29)
În aceste condiţii, inversa matricii X este dată de:
X1 A1 A1B C1 DA1B DA1
1
(10.30)
Pentru a aplica lema (10.30) relaţiei de recursie (10.28), facem identificările:
X P1 n , A P1 n 1, B u n, C 1, D u H n
şi înlocuind în (10.28), obţinem:
302 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10
P n 1
P n 1 (10.31)
1 1u n P n 1 u n
H
1. Iniţializare:
w 1 0, P 1 1I,
constantă mică pozitivă
2. Pentru fiecare n 0,1,2, se calculează:
a. Calculul vectorului câştigului de adaptare:
g n P n 1 u n
gH n u n
g n
g n
P n 1 P n 1 g n gH n
b. Filtrare şi calculul erorii:
e n d n wH n 1 u n
c. Ecuaţia de recursie a coeficienţilor
w n w n 1 g n e* n
3. Se incrementează contorul n n 1 şi se execută salt la 2.
Emin n Ed n 1 d n d * n pˆ H n g n e* n
d n u H n w n 1 pˆ H n 1 w n 1
Rearanjăm termenii din ultima ecuaţie şi facem din nou apel la (10.5) pentru a scrie
Emin n Ed n 1 pˆ H n 1 w n 1 d n pˆ H n g n e* n
Emin n 1 d n pˆ H n R
ˆ 1 n R
ˆ n g n e* n
Emin n 1 d n w HLS n u n e* n
ˆ n şi inversa sa sunt hermitice.
unde pentru ultima ecuaţie se are în vedere că matricea R
Ultima expresie conduce la ecuaţiile de recursie dorite
Emin n Emin n 1 n e* n
(10.35)
Emin n 1 n n
2
e n
2
n
E n n w n j d j w H u j
2 2
(10.37)
j 0
care ia locul expresiei (10.1). Dacă în aceste condiţii, semnalul de intrare este anulat, adică
u n 0 , atunci relaţia (10.32) devine P n 1P n 1 , o recursie instabilă în condiţiile
în care 1 .
ˆ 1 n 1
E R R 1 , n M (10.41)
nM
o2
Drept urmare: K n R 1 , n M (10.42)
nM
Deviaţia pătratică medie (DPM) este o măsură a mediei pătratului distanţei dintre coefi-
cienţii filtrului adaptiv şi cei ai filtrului optimal corespunzător. Deşi DPM nu este măsurabilă
în practică, ea este utilă în studiul pe care îl realizăm. Definiţia DPM este:
D n E w n w o
2
(10.43)
Având în vedere definiţia matricii K n din (10.40), este simplu de remarcat că D n este
urma acestei matrici şi, prin urmare
o2 M
D n tr K n
1
nM
i 1
(10.44)
i
unde i sunt valorile proprii ale lui R , care nu trebuie să fie confundate cu factorul de
„uitare” . Ultima ecuaţie indică, pe de o parte că DPM este amplificat de cea mai mică
valoare proprie a lui R , iar pe de altă parte că DPM descreşte aproape linear cu timpul.
Parametrul eroare pătratică medie în exces, notată prin Pexc n , defineşte mărimea cu
care EPM a filtrului adaptiv E e n depăşeşte valoarea minimă a EPM a unui filtru
2
adaptiv, valoare realizată de filtrul Wiener. Pentru a calcula acest parametru în cazul studiat,
avem în vedere că formula (7.48) stabilită pentru algoritmul LMS sub ipoteza de
independenţă îşi păstrează valabilitarea pentru orice algoritm apriori:
Pexc n tr RK n 1 (10.45)
Particularizând pentru algoritmul RLS, vom substitui pe (10.42) în (10.45) pentru a obţine:
M
Pexc n o2 (10.46)
n M 1
ceea ce arată că Pexc n tinde către zero atunci când n .
c n 1 R
ˆ 1 n u n e* n
o
u j u1 j u2 j uM j
T
unde (10.59)
în cazul în care se utilizează un combinator linear şi
u j u j u j 1 u j M 1
T
(10.60)
dacă se face filtrare FIR. Trebuie subliniat că w n este menţinut constant pe intervalul de
optimizare 0 j n . Utilizând matricea de dimensiune n 1 M
u1 0 u1 1 u1 n
u 0 u2 1 u2 n
A H n u 0 u 1 u M 2 , (10.61)
uM 0 uM 1 uM n
n
dˆ n n j u j d * j Λ n A n Λ n d n
H
iar (10.69)
j 0
1
Spre deosebire de Capitolul 9 unde pentru descompunerea QR s-a scris QH A R , în acest capitol
vom utiliza notaţia utilizată în literatura tehnică, nu matematică: QH A R .
10.4 Algoritmi RLS cu factorizare QR 313
În cazul aplicaţiilor care necesită doar valorile erorilor apriori şi aposteriori, rezolvarea
ecuaţiei (10.77) poate fi evitată. Într-adevăr, dacă se defineşte vectorul de inovaţie2 LS w n
prin relaţia
R H n w n u n (10.78)
se obţine n d n w H n u n d n k H n w n (10.79)
şi e n d n w H n 1u n d n k H n 1 w n , (10.80)
ecuaţii care pot fi folosite pentru a calcula erorile fără a se cunoaşte vectorul coeficienţilor
w n . Mai mult, întrucât ambele sisteme de ecuaţii (10.74) şi (10.78) sunt inferior triun-
ghiulare, determinarea erorilor n şi e n se face recursiv după ordinul filtrului de la 1 la
M.
Din discuţia efectuată în paragraful 10.1 a rezultat că partea centrală a algoritmului RLS
este reprezentată de calculul vectorului de câştig
ˆ n g n u n
R (10.81)
ˆ n 1 g n u n . Utilizând ecuaţiile (10.73),
sau, al vectorului de câştig alternativ R
(10.78) şi (10.81), se obţine
R n g n w n (10.82)
Ultima ecuaţie exprimă vectorul de câştig prin intermediul matricii Cholesky R n şi al
vectorului de inovaţie w n . Similar cu relaţia (10.77), ecuaţia (10.82) pierde avantajul de a
putea fi rezolvată prin eliminare înainte, deci nu este recursivă după ordinul filtrului.
În concluzie, dacă pentru matricea Cholesky a lui R ˆ n sau a lui R
ˆ 1 n ar putea fi
găsită o relaţie de recursie, atunci s-ar putea dezvolta algoritmi exacţi RLS care să furnizeze
atât valorile erorilor de filtrare şi vectorul coeficienţilor sau numai erorile de filtrare.
Relaţiile importante pentru dezvoltarea acestor algoritmi sunt rezumate în Tabelul 10.3.
Vom sublinia că dacă metoda de descompunere Cholesky determină factorii R n şi k n
prin factorizarea matricii A n d n Λ2 n A n d n , atunci metodele de
H
2
O explicaţie completă a noţiunii de inovaţie în contextul filtrării adaptive este dată în Capitolul 11.
314 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10
Tabelul 10.3 Algoritmii RLS cu descompunere triunghiulară realizează sau
recursia erorii şi a vectorului coeficienţilor sau numai recursia
directă a erorii.
Recursie erori şi coeficienţi Recursie numai pentru erori
R H n w n u n R H n k n pˆ n
R n g n w n R H n w n u n
e n d n w H n 1u n e n d n k n 1 w n
w n w n 1 g n e* n
de zerouri din (10.86) nu are vreun efect asupra asupra construcţiei matricii
Qˆ n , construcţia lui Q
ˆ n este echivalentă cu găsirea unei matrici unitare
care să realizeze factorizarea QR a matricii din (10.83).
Cea de a doua lemă este cunoscută sub numele de lema de factorizare matricială
(Golub şi Van_Loan 1996, Sayed şi Kailath 1998). Lema este un mijloc elegant de imple-
mentare a algoritmilor QR-RLS.
Lema 10.2 Dacă X şi Y sunt două matrici N M N M , atunci
XH X Y H Y (10.87)
dacă şi numai dacă există o matrice unitară Q ( Q Q I ) de dimensiune
H
efectuate. În acest scop, vom arăta că dacă există o matrice unitară Q n care să anuleze
vectorul u H n din ultima linie a matricii din membrul stâng al relaţiei
R n 1 k n 1 0 R n k n w n
Q n H (10.92)
u n d n
*
1 0H e* n n
YH Y R H n w n u n X H X (10.95)
13 13
YH Y k H n w n e n n d n XH X (10.96)
23 23
YH Y w H n w n 2 n 1 X H X (10.97)
33 33
În primul rând, trebuie observat că (10.93) este identic cu ecuaţia de recursie (10.7) a
matricii de corelaţie. Prin urmare, R n este factorul Cholesky al lui R ˆ n . De asemenea,
(10.94) este identic, datorită lui (10.74), cu relaţia de recursie a vectorului de intercorelaţie
pˆ n , iar (10.95) este identic cu definiţia din (10.78) a vectorului de inovaţie. Pentru a
dezvălui semnificaţia fizică a mărimilor e n şi n , vom remarca că prin compararea
relaţiilor (10.96) şi (10.79) se obţine
n e n n (10.98)
ceea ce arată că e n este o versiune scalată a erorii aposteriori. Pornind de la (10.97) şi
utilizând (10.77), (10.73) şi (10.21), obţinem
2 n 1 w H n w n 1 u H n R
ˆ 1 nu n n (10.99)
sau n n (10.100)
3
ij
denotă elementul ij al unei matrici bloc.
10.4 Algoritmi RLS cu factorizare QR 317
Prin urmare, vom spune că g n este versiunea scalată a vectorului de câştig RLS. Ecuaţia
de recursie în timp pentru calculul vectorului coeficienţilor se poate scrie, înlocuind
rezultatul găsit în (10.13):
w n w n 1 g n e* n (10.108)
Metoda de recursie a vectorului w n prezentată mai sus poartă numele de algoritmul
RLS extins (Sayed şi Kailath 1994, Yang şi Böhme 1992). Acest algoritm nu este larg utili-
zat pentru că recursia simultană a matricilor R n şi R H n poate conduce la probleme
numerice, în special în implementările de precizie finită. Această problemă este evitată de
algoritmul QR-RLS invers ce este discutat în continuare.
1
u H n R 1 n 1 1 1 H 1 H
R n 1 u n R n 1
1 1
R n 1 0 1 0 H
H 1 (10.113)
0 0 R H n
n
1 g H n
g n
R 1 n n
n
n
unde R 1 n este o matrice superior triunghiulară. Din (10.113) şi Lema 10.2 rezultă că
există o matrice unitară Q n astfel încât egalitatea de mai jos să fie satisfăcută.
1 H 1 H 0 R H n
R n 1 u n R n 1 1
Q n g H n
(10.114)
1 n n
H
0
Se demonstrează astfel că, prin anularea lui R H n 1u n w n , se
realizează actualizarea factorului Cholesky R H n , a vectorului de câştig normalizat
g n n şi a factorului de conversie n . Ca şi în cazul celorlalţi algoritmi QR,
singura cerinţă pe care trebuie să o îndeplinească matricea Q n este să anuleze vectorul
linie u H n R 1 n 1 . Acest algoritm ca şi algoritmul RLS standard se iniţializează
prin impunerea condiţiei R H 1 1I , unde este un număr pozitiv foarte mic.
şi vom arăta cum pot fi anulate elementele lui u H n unu câte unu, utilizând o secvenţă de
M rotaţii Givens. Să reamintim aici că matricea R n 1 este superior triunghiulară. În
primul pas se construieşte matricea de rotaţie Givens G 1 n care operează asupra primei şi
ultimei linii a lui R n în scopul anulării primului element al lui u H n . Pentru a stabili
parametrii rotaţiei c1 şi s1 se utilizează primul element din prima linie şi primul element din
ultima linie a matricii, iar apoi se aplică rotaţia restului de M perechi de pe cele două linii.
Mai exact, dorim să găsim o rotaţie Givens care să realizeze operaţia:
c1 0H s1* r11 n 1 r12 n 1 r1M n 1 k1 n 1
0 I 0 0
s1 0 H
c1 u1* n u2* n uM* n d * n
r11 n 1 r12 n 1 r1M n 1 k1 n 1
0
0 u2 2 n uM n
2
d n
2
rii n 1 ui n
i
unde ci si (10.117)
rii n rii n
şi
rii n rii2 n 1 ui n
i
2 12
(10.118)
10.4 Algoritmi RLS cu factorizare QR 321
În concluzie, dacă cele M i 1 perechi de rotaţii elementare din (10.116) sunt realiza-
te pentru i 1, 2, , M se realizează anularea primelor M elemente de pe ultima linie a
matricii R n , aceasta fiind convertită în forma triunghiulară din relaţia (10.115). Acest
proces necesită un număr total de M M 1 2 perechi de rotaţii elementare. Matricea de
ortogonalizare este:
Q n G n nG1 n
M
G
2
(10.119)
1
1
ci n si n
*
unde G i n (10.120)
1
1
si n ci n
sunt matricile de rotaţie de dimensiune M 1 M 1 ce au toate elementele diagonale
nule, cu excepţia celor plasate în locaţiile i, M 1 şi M 1, i .
Relaţia (10.92) evidenţiază faptul că n este egal cu ultimul element de pe diagonala
matricii Q n . În plus, dacă luăm în considerare structura specială a lui G i n precum şi
relaţia (10.119), obţinem:
M
n ci n (10.121)
i 1
adică, n este produsul termenilor cosinus din cele M rotaţii Givens. Ultima observaţie
explică interpretarea de variabile unghiulare care se dă factorilor de conversie n şi
n 2 n .
Chiar dacă soluţia unei probleme LS nu este definită atunci când n M , algoritmul de
rotaţie Givens se poate iniţializa cu R 1 0 şi k 1 0 . Tabelul 10.4 prezintă
algoritmul QR-RLS cu rotaţii Givens. Pentru fiecare iteraţie, algoritmul operează 2M 2
multiplicări, 2M divizări şi M rădăcini pătrate.
Algoritmul din Tabelul 10.4 poate fi implementat printr-o structură de calcul paralel
care utilizează o reţea triunghiulară de procesoare după cum ilustrează Figura 10.4 pentru
M 3 . Întreaga reţea funcţionează cu un tact unic, ccea ce face ca în reţea să se producă
transferul de date în mod regulat. Datorită gradului ridicat de paralelism, se pot realiza viteze
foarte mari de prelucrare a datelor. Modul de funcţionare regulat şi paralel a făcut ca aceste
322 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10
rii n rii2 n 1 ui n
i
2 12
rii n 1 ui n
i
ci si
rii n rii n
(dacă rii n 0 c 1 şi s 0 )
For j i 1, i 2, , M
u cu j n srij n 1
rij n crij n 1 s*u j n
u j n u
next j
e ce n ski n 1
ki n cki n 1 s*e n
e n e , n c n
next i
e n
n e n n sau e n
n
10.4 Algoritmi RLS cu factorizare QR 323
1
w n R H n 1 u n (10.122)
1
şi scalarul ˆ 2 n 1 w H n w n (10.123)
n
pentru a rescrie ecuaţia (10.114) astfel
1 H
w n R n 1 0 R H n
Q n
n g H n
(10.124)
1 0H
1 w1* n
Soluţia sistemului: c1 n , s1 n
ˆ1 n ˆ1 n
10.4 Algoritmi RLS cu factorizare QR 325
furnizează parametrii primei matrici de rotaţie G 1 n . Similar, poate fi determinată rotaţia
G 2 n care urmăreşte să anuleze elementul w2 n al vectorului din membrul drept al
ecuaţiei (10.125). Parametrii rotaţiei sunt acum
1 w2* n
c2 n , s2 n
ˆ 2 n ˆ 2 n
ˆ 22 n 1 w1 n w2 n ˆ12 n w2 n
2 2 2
unde
reprezintă formula de calcul recursiv al lui ˆi n . Restul elementelor vectorului w n se
pot anula, dacă se continuă similar procedura descrisă. În general, pentru i 1,2, , M se
calculează:
ˆi n ˆi21 wi n
2 12
, ˆ 0 n 1
ˆi 1 n wi* n
(10.126)
ci n , si n
ˆi n ˆi n
şi ˆ n ˆ M n .
Vom nota elementele matricii R H n prin pij n iar prin g j n elementele vecto-
i
1 H p11 n 0 0
R n 1
G 1 n
(10.127)
H
0 g11 n 0
0
1
se obţine p11 n c1 n p11 n 1
1
g11 n s1 n p11 n 1
Multiplicarea lui (10.127) cu G 2 n actualizează cea de a doua linie a matricii
R H n 1 şi modifică primele două elemente ale lui g H n . În general, rotaţia i
actualizează linia i a lui R H n 1 şi modifică primele i elemente ale lui g H n
conform formulelor:
1
pij n ci n pij n 1 si* n g ji 1 n (10.128)
326 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10
Tabelul 10.5 Algoritmul QR-RLS invers cu rotaţii Givens.
ˆi n ˆi21 wi n
2 12
ˆi 1 n w* n
ci n , si n i
ˆi n ˆi n
For j 1,2, ,i
1
pij n ci n pij n 1 si* n g ji 1 n
1
g ji n ci n g ji 1 n si n pij n 1
next j
next i
e n
e n
ˆ M n
For m 1,2, ,M
wm n wm n 1 g ji * n e * n
next m
1
g ji n ci n g ji 1 n si n pij n 1 (10.129)
pentru 1 i M şi 1 j i . Aceste recursii se iniţializează cu g j n 0, 1 j M şi
i
furnizează mărimile calculate după M rotaţii. Algoritmul invers QR-RLS este rezumat în
Tabelul 10.5, o implementare a sa într-o reţea de calcul sistolic fiind prezentată în Pan şi
Plemmons (1989).
10.5 Clasificarea algoritmilor RLS 327
4
Termenii algoritmi cu filtrare de informaţie sau covarianţă sunt utilizaţi în contextul teoriei
filtrului Kalman (Kailath 1981). Vezi şi Capitolul 11.
328 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10
Toţi algoritmii la care ne-am referit înainte sunt aplicabili, indiferent de tipul vectorilor
de intrare şi necesită un număr de O M 2 operaţii aritmetice pentru fiecare recursie de
timp. Totuşi, dacă vectorul de date de intrare are o structură invariantă la deplasarea în timp,
toţi algoritmii conduc la versiuni simplificate care execută un număr de O M operaţii arit-
metice pe recursie. Aceşti algoritmi care pot fi utilizaţi în aplicaţii de filtrare şi predicţie LS
sunt discutaţi în Capitolul 12.
Probleme
P 10.1 Verificaţi valabilitatea lemei de inversare matricială.
P 10.2 Consideraţi că matricea de corelaţie R ˆ n este definită prin ecuaţia
ˆ n I u n u H n
R
unde u n este vectorul de date de intrare iar este o constantă pozitivă de
valoare mică. Să se calculeze P n R ˆ 1 n , utilizând lema de inversare
matricială.
P 10.3 Să considerăm definiţia (10.10) a erorii de estimare apriori:
e n d n w H n 1u n
unde d n este răspunsul dorit, u n este vectorul de date iar w n 1 este
vechea estimare a vectorului coeficienţilor. Pe de altă parte, eroarea de estimare
aposteriori este definită de (10.15):
n d n w H n u n
unde w n este estimarea curentă a vectorului coeficienţilor. Pentru semnale de
intrare având valori numere complexe, atât e n cât şi n au valori numere
complexe. În aceste condiţii, demonstraţi că produsul e n * n este întotdeauna
un număr real.
P 10.4 Demonstraţi ecuaţia (10.24) utilizând identitatea
det I1 AB det I 2 BA
unde matricile unitate I1 şi I 2 şi matricile A şi B au dimensiuni compatibile.
Pentru demonstraţie se pune ecuaţia (10.7) sub forma I1 AB .
P 10.5 Consideraţi problema de identificare de sistem în care sunt disponibile semnalul de
intrare u n şi ieşirea sistemului necunoscut afectată de zgomot
d n do n v n pentru 0 n N 1 . Funcţia de transfer a sistemului
necunoscut este
330 SOLUŢII RECURSIVE ALE PROBLEMEI LS - 10
0 n n0
11 Filtrul Kalman
cest capitol completează studiul filtrelor optimale lineare prin trecerea în revistă a
Figura 11.1 Reprezentarea prin graf de semnal a unui sistem în timp discret linear şi
dinamic
Noţiunea de stare joacă un rol esenţial în această reprezentare. Vectorul de stare de dimen-
siune M 1 desemnat prin x n în Figura 11.1 se defineşte ca orice ansamblu de mărimi
suficiente pentru a descrie comportarea dinamică neforţată a sistemului la momente de timp
n i n . Cu alte cuvinte, starea unui sistem reprezintă un rezumat de informaţii suficiente
ce permit descrierea evoluţiei sistemului. Vectorul de stare x n nu este în mod necesar
direct accesibil pentru a fi măsurat, astfel încât pentru a fi evaluat se utilizează un set de date
observabile, descrise în Figura 11.1 prin vectorul y n de dimensiune N 1 .
În termeni matematici, graful de semnal din Figura 11.1 încorporează următoarea pereche de
ecuaţii:
1. O ecuaţie de proces
x n 1 F n 1, n x n v1 n (11.1)
unde F n 1, n este o matrice de tranziţie a stărilor de dimensiune M M ce este
cunoscută şi care exprimă legătura dintre stările sistemului la momentele n 1 şi
n . Vectorul v1 n de dimensiune M 1 reprezintă semnalul de intrare al procesu-
lui. De obicei, în cazul abordării statistice a modelării sistemului, el este zgomotul
de proces, un proces de zgomot alb cu media nulă, şi are matricea de corelaţie
Q n , n k
E v1 n v1H k 1 (11.2)
0, nk
2. O ecuaţie de măsurare, ce descrie vectorul de observaţie prin relaţia:
y n C n x n v 2 n (11.3)
unde C n este o matrice de măsurare de dimensiune N M cunoscută. Vectorul
v 2 n de dimensiune N 1 este denumit zgomot de măsurare. Este, de obicei,
modelat printr-un proces de zgomot alb ce are matricea de corelaţie
Q n , n k
E v 2 n v 2H k 2 (11.4)
0, nk
11.2 Procesul de inovaţii 333
n
xˆ i Yn E x i α H k R 1 k α k
k 1
n 1
E x i α H k R 1 k α k E x i α H n R 1 n α n
k 1
În ultima relaţie s-a folosit faptul că α k depinde numai de datele observate y 1 , y 2 ,
, y k , şi prin urmare din ecuaţia (11.13) se observă că y n şi α k sunt ortogonali
pentru 0 k n . Putem atunci rescrie suma din membrul drept al ecuaţiei (11.25) după
cum urmează:
n 1 n 1
k 1
H 1
(11.27)
F n 1, n xˆ n Yn 1
Vom introduce în continuare câteva definiţii fundamentale, necesare pentru formularea
problemei filtrării Kalman.
E x n 1 α H k F n 1, n E x n α H k
F n 1, n E x n C n є n, n 1 v 2 n
H
(11.30)
F n 1, n E x n є H n, n 1 CH n
є n 1, n F n 1, n x n xˆ n Yn 1
(11.35)
G n y n C n xˆ n Yn 1 v n
1
În continuare, folosim ecuaţia (11.3) pentru a elimina vectorul y n din ecuaţia (11.35). Se
obţine ecuaţia cu diferenţe finite de mai jos, care se utilizează la calculul recursiv al vectoru-
lui de predicţie al erorii de stare:
є n 1, n F n 1, n G nC n є n, n 1 v1 n G n v 2 n (11.36)
(11.38)
Q1 n G n Q2 n G H n
unde Q1 n şi Q2 n sunt matricile de corelaţie ale lui v1 n respectiv v 2 n . Dezvol-
tăm, în continuare, membrul drept al ecuaţiei (11.38) şi apoi utilizăm ecuaţiile (11.33) şi
(11.16) pentru matricea de câştig Kalman. Se obţine ecuaţia cu diferenţe finite Riccati ce
permite calculul recursiv al matricii de corelaţie a predicţiei erorii de stare:
K n 1, n F n 1, n K n F H n 1, n Q1 n (11.39)
unde matricea pătrată K n de dimensiune M M este definită prin ecuaţia de recursie:
K n K n, n 1 F n, n 1 G n C n K n, n 1
(11.40)
I F n, n 1 G n C n K n, n 1
calculatorului ecuaţiei Riccati, prin aceea că fiind dată vechea valoare K n, n 1 , el calcu-
lează valoarea curentă K n 1, n .
Ecuaţiile (11.33), (11.19), (11.15), (11.29), (11.40) şi (11.39), în ordinea enunţată,
definesc algoritmul Kalman de predicţie înainte într-un pas.
Această definiţie este similară definiţiei vectorului de inovaţii α n din (11.15), cu excepţia
faptului că estimarea stării prin filtrare xˆ n Yn a înlocuit estimarea stării prin predicţie
xˆ n Yn 1 . Înlocuind relaţiile (11.29) şi (11.46) în (11.47), se obţine
e n y n C n xˆ n Yn 1 C n F n, n 1 G n α n
α n C n F n, n 1 G n α n (11.48)
I C n F n, n 1 G n α n
Mărimea matricială din interiorul parantezei rotunde a ecuaţiei (11.48) este numită factor de
conversie, furnizând o formulă pentru conversia vectorului de inovaţii α n în vectorul de
eroare a estimării filtrate e n . Facem apel la ecuaţia (11.33) pentru a elimina matricea de
câştig Kalman G n din această definiţie, şi îndepărtând termenii comuni, putem rescrie
relaţia (11.48) în forma echivalentă:
e n Q2 n R 1 n α n (11.49)
unde Q2 n este matricea de corelaţie a procesului de zgomot de măsurare v 2 n , iar
matricea R n se defineşte prin relaţia (11.19) ca matricea de corelaţie a procesului de
inovaţii α n . Astfel, cu excepţia premultiplicării cu matricea Q2 n , relaţia (11.49) arată
că matricea inversă R 1 n joacă rolul unui factor de conversie în teoria filtrării Kalman.
Într-adevăr, în cazul special în care Q2 n este egală cu matricea unitate, matricea inversă
R 1 n reprezintă exact factorul de conversie care face obiectul acestui paragraf.
є n x n xˆ n Yn (11.50)
Înlocuind ecuaţiile (11.29) şi (11.46) în (11.50) şi recunoscând faptul că produsul
F n, n 1 F n 1, n este egal cu matricea unitate, se obţine
є n x n xˆ n Yn 1 F n, n 1 G n α n
(11.51)
є n, n 1 F n, n 1 G n α n
unde є n, n 1 este vectorul erorii de predicţie a stării la momentul de timp n pe baza
datelor existente până la momentul n 1 iar α n este vectorul procesului de inovaţii.
Prin definiţie, matricea de corelaţie a vectorului erorii de filtrare a stării є n este egală
cu media statistică E є n єH n . În consecinţă, utilizând ecuaţia (11.51), se poate
exprima această medie după cum urmează:
E є n є H n E є n, n 1 є H n, n 1
F n, n 1 G n E α n α H n G H n F H n, n 1 (11.52)
2 E є n, n 1 α H n G H n F H n, n 1
În urma examinării membrului drept al ecuaţiei (11.52) se poate stabili faptul că cele trei
medii statistice din componenţa sa pot fi interpretate individual după cum urmează:
1. Prima medie este egală cu matricea de corelaţie a erorii de predicţie a stării:
K n, n 1 E є n, n 1 єH n, n 1
2. Media statistică din cel de al doilea termen este egală cu matricea de corelaţie a
procesului de inovaţii α n :
R n E α n α H n
3. Media din cel de-al treilea termen poate fi exprimată după cum urmează:
E є n, n 1 α H n E x n xˆ n Yn1 α H n E x n α H n
unde, ultima expresie s-a obţinut în urma observaţiei că estimarea xˆ n Yn 1 este
ortogonală pe procesul de inovaţii α n , ce reprezintă intrarea filtrului Kalman. În
continuare din ecuaţia (11.26) se observă că, punând k n şi premultiplicând apoi
ambii membri ai relaţiei cu matricea inversă F1 n 1, n F n, n 1 se obţine
E x n α H n F n, n 1 E x n 1α H n F n, n 1G n R n
344 FILTRUL KALMAN - 11
unde în ultima relaţie s-a făcut apel la ecuaţia (11.28). Prin urmare:
E є n, n 1 α H n F n, n 1G n R n
În continuare, putem utiliza aceste relaţii în ecuaţia (11.52) pentru a obţine
E є n єH n K n, n 1 F n, n 1G n R nG H n F H n, n 1 (11.53)
Ultima relaţie poate fi simplificată în continuare observând din (11.33) că:
G n R n F n 1, n K n, n 1CH n (11.54)
Drept urmare, utilizând relaţiile (11.53) şi (11.54) şi având în vedere faptul că produsul
F n, n 1 F n 1, n este egal cu matricea unitate, obţinem rezultatul dorit pentru matricea
de corelaţie a erorii filtrate de stare:
E є n єH n K n, n 1 K n, n 1 CH n G H n F H n, n 1
K 1,0 E x 1 E x 1 x 1 E x 1 Π
H
(11.57)
0
11.5 Algoritmul de filtrare Kalman 345
Tabelul 11.1 Trecerea în revistă a variabilelor care definesc filtrarea Kalman.
Această modalitate de selectare a condiţiilor iniţiale nu numai că satisface intuitiv dar are de
asemenea avantajul de a furniza o estimare filtrată a stării xˆ n Yn care este nedeplasată.
Presupunând că vectorul de stare x n este de medie nulă, putem simplifica relaţiile (11.56)
şi (11.57), impunând
xˆ 1 Y0 0
α n y n C n xˆ n Yn 1
xˆ n 1 Yn F n 1, n xˆ n Yn 1 G n α n
K n K n, n 1 F n, n 1 G n Cn K n, n 1
K n 1, n F n 1, n K n F H n 1, n Q1 n
Condiţii iniţiale
xˆ 1 Y0 E x 1
K 1,0 E x 1 E x 1 x 1 E x 1 Π
H
0
vectorial Yn , iar ieşirea este estimarea filtrată xˆ n Yn a vectorului de stare. Tabelul 11.2
face un rezumat al operaţiunilor matematice ce definesc filtrul Kalman (inclusiv condiţiile
iniţiale) care implementează algoritmul de predicţie într-un pas.
Figura 11.5 face o reprezentare grafică a funcţionării filtrului Kalman de predicţie
într-un pas. Acesta este alcătuit din trei blocuri funcţionale:
Blocul de calcul al matricii de câştig Kalman, descris prin schema din Figura 11.2,
Blocul care realizează predicţia Kalman descris prin diagrama din Figura 11.3,
Blocul care rezolvă ecuaţiile Riccati (11.39) şi (11.40) reprezentat prin diagrama
din Figura 11.4.
Exemplul 11.1 Se dă procesul AR(2) (autoregresiv de ordinul doi) x n descris
prin ecuaţia cu diferenţe finite
x n 1,8x n 1 0,81x n 2 v1 n (11.58)
unde zgomotul de stare v1 n este un zgomot alb de medie nulă şi varianţă unitară,
iar x 1 x 2 0 . Să se determine prin filtrarea Kalman a semnalului
observat
y n x n v2 n (11.59)
11.5 Algoritmul de filtrare Kalman 347
K 1,0 E x 1 E x 1 x 1 E x 1 Π
H
0
xˆ n 1 Yn 1 2 I 1 2 K n u n u H n xˆ n Yn 1
(11.79)
1 2 K n u n y n
Dar, din ecuaţia (11.74), se poate deduce cu uşurinţă următoarea relaţie:
1 2I 1 2K nu nu H n 1 2K n K 1 n 1 (11.80)
Conform ultimei relaţii, ecuaţia (11.79) se poate simplifica astfel:
xˆ n 1 Yn 1 2K n K 1 n 1 xˆ n Yn1 1 2K nu n y n
K 1,0 E x 1 E x 1 x 1 E x 1 Π
H
0
K 1 n 1 xˆ n 1 Yn 1 2 K 1 n 1 xˆ n Yn 1 u n y n
xˆ n 1 Yn K 1 n K 1 n xˆ n 1 Yn
1
numerice ce apar atunci când valorile numerice sunt reprezentate în calculator prin cuvinte
de lungime finită, poartă numele de fenomen de divergenţă.
Divergenţa filtrului Kalman poate fi depăşită prin utilizarea de transformări matriciale
unitare numeric stabile la fiecare iteraţie a algoritmului de filtrare Kalman (Kaminski, ş.a.
1971, Morf şi Kailath 1975). În particular, locul matricii de corelaţie K n este luat în
algoritmul Kalman de rădăcina pătrată a acesteia, obţinută prin factorizare Cholesky:
K n K n K H n (11.83)
unde K n reprezintă o matrice inferior triunghiulară iar K H n este transpusa ei hermitică.
Subiectul descompunerii triunghiulare a unei matrici hermitice a fost introdus în paragraful
4.6 şi utilizat în Capitolele 9 şi 10. În algebra lineară, factorul Cholesky K n este în mod
obişnuit denumit rădăcină pătrată a matricii K n . Drept urmare, orice variantă de
algoritm de filtrare Kalman bazată pe factorizarea Cholesky poartă numele de filtrare de
rădăcină pătrată. Ceea ce trebuie subliniat aici este că produsul matricial K n K H n nu
poate deveni negativ definit, întrucât produsul oricărei matrici pătrate cu transpusa ei hermi-
tică este întotdeauna pozitiv definit. Într-adevăr, în ciuda erorilor de rotunjire, condiţionarea
numerică a factorului Cholesky K n este mult mai bună decât cea a lui K n .
Algoritmul de filtrare informaţională poate fi de asemenea implementat prin metode de
rădăcină pătrată, cu diferenţa că în acest caz recursia se face pe rădăcina pătrată K 1 n şi
354 FILTRUL KALMAN - 11
G f n K n, n 1 CH n C n K n, n 1CH n Q2 n
1
(11.89)
K n 1, n F n 1, n K n F H n 1, n Q1 n (11.90)
K n I G f nC n K n, n 1 (11.91)
În continuare, vom face apel la un model mai elaborat al sistemului dinamic. În loc de
ecuaţiile de stare (11.1) şi (11.3), vom utiliza modelul alternativ:
x n 1 F n 1, n x n v1 n d n (11.92)
y n C n x n v 2 n (11.93)
unde d n este un vector cunoscut (adică nealeator). Se verifică uşor în acest caz că ecuaţii-
le Kalman (11.87) până la (11.91) rămân nemodificate, excepţie făcând prima ecuaţie
(11.86) care devine:
xˆ n 1 Yn F n 1, n xˆ n Yn d n (11.94)
Această modificare va fi utilizată la deducerea filtrului Kalman extins ce va fi efectuată în
continuare.
După cum a fost menţionat anterior, filtrul Kalman extins (EKF) este o soluţie aproxi-
mativă care oferă posibilitatea extinderii principiului filtrării Kalman la modele nelineare în
spaţiul stărilor (Ljung şi Söderström 1983). În particular, modelul nelinear, pe care îl vom
considera în continuare, are următoarea formă:
x n 1 F n, x n v1 n (11.95)
y n C n, x n v 2 n (11.96)
unde, ca şi mai sus, v1 n şi v 2 n sunt procese de zgomot alb de medie nulă şi necorelate
cu matrici de corelaţie Q1 n respectiv Q2 n . În schimb, aici, funcţionala F n, x n
reprezintă o matrice de tranziţie nelineară, posibil variabilă în timp. În cazul linear, ea se
reduce pur şi simplu la situaţia tratată anterior:
F n, x n F n 1, n x n
x1 n 1 x1 n x22 n v1,1 n
x2 n 1 nx1 n x1 n x2 n 1 v1,2 n
y n x1 n x22 n v2 n
În acest exemplu avem
x n x22 n
F n, x n 1
nx1 n x1 n x2 n 1
şi C n, x n x1 n x22 n
Ideea fundamentală a filtrului Kalman extins constă în linearizarea modelului în spaţiul
stărilor din ecuaţiile (11.95) şi (11.96) la fiecare moment de timp în jurul celei mai recente
estimări de stare, care poate fi atât xˆ n Yn cât şi xˆ n Yn 1 , în funcţie de forma
particulară a funcţionalei utilizate. Odată obţinut modelul linear, se aplică ecuaţiile standard
ale filtrului Kalman.
Mai explicit, aproximarea se face în doi paşi.
Pasul 1. Se construiesc următoarele două matrici
F n, x n
F n 1, n (11.97)
x
x xˆ n Yn
C n, x
şi C n (11.98)
x x xˆ n Y
n1
F n, x n F n, xˆ n Yn F n 1, n x n xˆ n Yn (11.99)
C n, x n C n, xˆ n Yn1 C n x n xˆ n Yn1 (11.100)
Pe baza ultimelor două relaţii, se poate acum trece la aproximarea ecuaţiilor de stare
nelineare (11.95) şi (11.96) prin expresiile care urmează:
x n 1 F n 1, n x n v1 n d n (11.101)
şi y n C n x n v 2 n (11.102)
În (11.101) şi (11.102) s-au introdus două noi mărimi:
y n y n C n, xˆ n Yn1 C n xˆ n Yn1 (11.103)
şi
d n F n, xˆ n Yn F n 1, n xˆ n Yn (11.104)
F n 1, n xˆ n Yn F n, xˆ n Yn F n 1, n xˆ n Yn
F n, xˆ n Yn
xˆ n Yn xˆ n Yn 1 G f n α n (11.105)
α n y n C n xˆ n Yn 1
y n C n, xˆ n Yn 1 C n xˆ n Yn 1 C n xˆ n Yn 1
y n C n, xˆ n Y
n 1
358 FILTRUL KALMAN - 11
apar la filtrul Kalman standard sunt înlocuiţi prin termenii aproximaţi F n, xˆ n Yn şi
respectiv C n, xˆ n Yn1 care sunt specifici filtrului Kalman extins. Aceste diferenţe sunt
de asemenea puse în evidenţă la compararea grafului de semnal din Figura 11.3 pentru
predicţia într-un pas făcută cu filtrul Kalman standard şi cel din Figura 11.8 pentru predicţia
într-un pas făcută cu filtrul Kalman extins.
α n y n C n, xˆ n Yn 1
xˆ n Yn xˆ n Yn 1 G f n α n
xˆ n 1 Yn F n, xˆ n Yn
K n I G f n C n K n, n 1
K n 1, n F n 1, n K n F H n 1, n Q1 n
Observaţie: Matricile linearizate F n 1, n şi C n sunt calculate din
omoloagele lor nelineare F n, x n şi C n, x n prin
utilizarea relaţiilor (11.97) şi, respectiv, (11.98).
Condiţii iniţiale
xˆ 1 Y0 E x 1
K 1,0 E x 1 E x 1 x 1 E x 1 Π
H
0
unde w o sunt parametrii parametrii procesului de regresie ce sunt identificaţi prin filtrare
(coeficienţii optimali ai filtrului adaptiv) iar u n este semnalul la intrarea filtrului adaptiv.
Vom arăta în cele ce urmează că algoritmul RLS poate fi dedus exact direct din
algoritmul de filtrare Kalman de covarianţă prezentat în paragraful 11.6.2, utilizând un
model în spaţiul stărilor care se adaptează perfect problemei RLS (Sayed şi Kailath 1994).
Modelul de stare utilizat în acest caz este prin formularea sa natural stochastic. Această
abordare alternativă a soluţiei problemei RLS este deosebit de importantă întrucât ne permi-
te să stabilim o listă de corespondenţe unu la unu între variabilele RLS şi variabilele Kalman
bazate pe modelul de stare. Cu o asemenea listă la dispoziţie, putem utiliza vasta literatură
consacrată filtrelor Kalman pentru a rezolva problema algoritmilor RLS într-o manieră
unificată, ceea ce reprezintă obiectivul nostru final.
360 FILTRUL KALMAN - 11
y n n 2u H n x n v n
Echivalent, se poate scrie
y 0 u H 0 x 0 v 0
1 2 y 1 u H 1 x 1 1 2 v 1
(11.111)
n 2 y n u H n x n n 2v n
Sistemul de ecuaţii (11.111) reprezintă o caracterizare stochastică a modelului dinamic
neforţat, corespunzând astfel la o abordare din punct de vedere Kalman a problemei.
Vom considera în continuare formularea deterministă a problemei, adică vom încerca să
o privim din punctul de vedere a algoritmului RLS. Adaptăm în acest scop la problema
examinată modelul de regresie lineară din ecuaţia (11.106):
11.8 Filtrul Kalman şi algoritmul RLS 361
d * 0 u H 0 w o eo* 0
d * 1 u H 1 w o eo* 1
(11.112)
d * n u H n w o eo* n
Avem astfel două sisteme de ecuaţii lineare simultane pentru rezolvarea în esenţă a
aceleiaşi probleme. Un sistem, (11.111), este stochastic, bazat pe teoria filtrării Kalman;
celălalt sistem, (11.112), este determinist, bazat pe teoria estimării după cele mai mici pătra-
te. Intuitiv, ne-am aştepta ca ambele abordări să conducă exact la aceiaşi soluţie pentru
problema examinată. Mai mult, recunoscând că aceste două sisteme de ecuaţii au aceiaşi
formă matematică, pare rezonabil pentru noi să stabilim
x 0 w o (11.113)
şi, în consecinţă xˆ n Yn1 n 2 w n 1 (11.114)
Pe această bază, o comparaţie între ecuaţiile stochastice (11.111) şi ecuaţiile deterministe
(11.112) dezvăluie imediat corespondenţele unu la unu:
y n n 2 d * n (11.115)
v n n 2eo* n (11.116)
unde asteriscul reprezintă operaţia de conjugare complexă. Variabilele care apar în membrii
din partea stângă a ultimelor două ecuaţii se referă la modelul din spaţiul stărilor, iar cele
situate în partea dreaptă a ecuaţiilor se referă la modelul de regresie lineară.
1
Pentru a face distincţia dintre vectorii de câştig RLS şi Kalman, desemnaţi anterior prin g n , vom
indica vectorul de câştig RLS prin g RLS n iar vectorul de câştig Kalman prin g K n .
362 FILTRUL KALMAN - 11
w n w n 1 g RLS n e* n (11.119)
P n 1P n 1 1g RLS nu H n P n 1 (11.120)
Semnificaţiile mărimilor utilizate în ecuaţiile de mai sus este următoarea: g RLS n este
vectorul câştigului de adaptare, P n este inversa estimatei matricii de corelaţie a procesului
de intrare calculată la momentul n, e n este eroarea apriori de la ieşirea filtrului la acelaşi
moment de timp, iar este factorul de uitare, 0 1 .
Comparăm ecuaţia (11.119) cu relaţia echivalentă de calcul recursiv al algoritmului
Kalman (11.29) adaptată la modelul special utilizat:
xˆ n 1 Yn 1 2 xˆ n Yn1 g K n y n u H n xˆ n Yn1 (11.121)
Rescriem relaţia de mai sus în termenii algoritmului RLS, făcând substituţiile (11.114) şi
(11.115):
n1 2 w n 1 2 n 2 w n 1 g K n n 2 d * n n 2u H n w n
* n d * n n 1 2u H n xˆ n 1 Yn
d * n n 1 2u H n 1 2 xˆ n Yn 1 g K n K n
d * n u H n w n 1 1 2u H n g K n e* n (11.125)
1 1 2u H n g K n e* n
u H n K n 1 u n *
u n K n 1 u n 1
1 H e n r 1 n e* n
Conform ultimei ecuaţii, factorul de conversie RLS RLS n 2, care transformă eroarea RLS
apriori e n în eroarea RLS aposteriori n , este egal cu factorul de conversie Kalman
(inversa varianţei variabilei de inovaţii), r 1 n , definit prin relaţia (11.49).
În concluzie, calculele efectuate mai sus demonstrează că filtrul RLS standard este
echivalent cu filtrarea Kalman de covarianţă ce se aplică modelului unui sistem dinamic
neforţat atunci când între cele două proceduri se utilizează echivalenţele descrise de Tabelul
11.6 (Haykin 1996, Sayed 2008). Această legătură strânsă care există între filtrul Kalman şi
algoritmii RLS permite ca literatura de specialitate foarte bogată în ceea ce priveşte
diversele variante de algoritmi Kalman să fie utilizată nemijlocit la dezvoltarea şi
fundamentarea matematică a filtrelor RLS.
Probleme
P 11.1 Vectorul de eroare a predicţiei de stare se defineşte prin
є n, n 1 x n xˆ n Yn1
2
Pentru a evita confuziile, s-a notat variabila de inovaţii Kalman prin K n iar factorul de
conversie RLS prin RLS n .
364 FILTRUL KALMAN - 11
Tabelul 11.6 Corespondenţe între variabilele filtrului Kalman şi variabilele algoritmului RLS
echivalent.
Kalman RLS
Descriere Variabilă Variabilă Descriere
Valoare iniţială a x 0 wo Vector necunoscut al
vectorului de stare coeficienţilor de regresie
Vector de stare x n n 2wo Versiune ponderată
exponenţial a vectorului
coeficienţilor
coeficienţilor
Semnalul de referinţă y n n 2 d * n Răspunsul dorit
(măsurat)
Zgomot de măsurare v n n 2e* n Eroarea de măsurare
Vector de stare a xˆ n 1 Yn n 1 2
ˆ n
w Estimare vectorului
predicţiei într-un pas coeficienţilor
Matrice de corelaţie a K n 1P n Inversă a matricii de
erorii de predicţia de stare corelaţie a vectorului de
intrare
Vector de câştig Kalman g K n 1 2g RLS n Vector de câştig
Inovaţii K n n 2e* n Eroare de estimare apriori
Inovaţii K n n 2r n e* n Eroare de estimare
aposteriori
Varianţă a inovaţiilor r n RLS
1
n Inversă a factorului de
conversie
Condiţii iniţiale xˆ 1 Y0 0 ˆ 0 0
w Condiţii iniţiale
K 0 1P 0
E xˆ n Yn1 x n
12
Capitolul
n
ˆ n n j u j u H j
R m 1 m 1 m 1
j 0
(12.5)
R ˆ n rˆb n Em n rˆmfH n
bHm m
f
rˆm n Em n m rˆm n Rˆ n 1
m
12.1 Predicţie liniară în context LS 367
ˆ n .
partiţia inferior-dreapta a lui R m 1
Formele identice ale relaţiilor (12.2) şi (12.5) implică faptul că relaţiile recurente după
ordin precum şi structurile modulare de predicţie dezvoltate în Capitolul 5 pentru filtrele de
predicţie în sens optimal pot fi utilizate şi pentru predicţia în sens LS cu predecupare. Pentru
a face trecerea de la filtrarea optimală la filtrarea LS, se înlocuieşte, pur şi simplu, operatorul
de medie statistică E cu operatorul de medie temporală n j , iar termenul
n
j 0
um n 1 u n 1 u n 2 u n m
T
um n u n u n 1 u n m 1
T
înapoi sunt
am n am,1 n am,2 n am,m n
T
Principalele categorii de algoritmi care pot fi încadrate sub apelativul de algoritmi RLS
rapizi sunt enumerate în continuare (Manolakis, ş.a. 2005):
1. Algoritmi RLS rapizi fără recursie de ordin pentru filtre FIR cu structură directă
ce calculează recursiv în mod explicit vectorii de câştig RLS g n şi g n .
2. Algoritmi RLS rapizi cu recursie după ordin pentru filtre FIR cu structură lattice-
scară ce-şi actualizează indirect sau direct coeficienţii.
3. Algoritmi RLS cu descompunere QR pentru filtre FIR cu structură lattice-scară ce
utilizează rotaţii Givens.
370 ALGORITMI RLS RAPIZI - 12
Vom studia în continuare cei mai reprezentativi algoritmi din fiecare categorie menţionată
anterior.
Toate relaţiile stabilite în Capitolul 5 rămân valabile în cazul predicţiei liniare în sens LS
cu predecupare, cu diferenţa că variabila P este înlocuită cu variabila E, pentru a sublinia
faptul că în predicţia LS interpretarea funcţiei de cost este de energie şi nu de putere ca în
cazul predicţiei optimale. Tabelul 12.1 prezintă corespondenţele care există la nivelul ecua-
ţiilor de funcţionare între filtrarea FIR generală şi predictoarele liniare înainte şi înapoi.
Utilizând aceste corespondenţe şi ecuaţiile normale care definesc filtrarea în sens LS, se pot
obţine uşor atât ecuaţiile normale cât şi expresiile funcţiei de cost minime, rezumate de
asemenea în Tabelul 12.1. Expresiile din tabel sunt corecte, atâta vreme cât parametrii
filtrelor erorii de predicţie am n şi b m n sunt menţinuţi constanţi pe parcursul întregului
interval de optimizare.
Tabelul 12.2 face o trecere în revistă a ecuaţiilor de recursie apriori şi aposteriori în
sensul celor mai mici pătrate deduse în Capitolul 10 al acestei lucrări. Dacă se utilizează
corespondenţele relevate în Tabelul 12.1 dintre filtrarea FIR generală şi filtrarea de predicţie
lineară LS, atunci pot fi deduse uşor ecuaţii de recursie similare pentru predicţia lineară
înainte respectiv pentru predicţia lineară înapoi. Rezultatele obţinute pentru predicţie sunt de
asemenea trecute în revistă în Tabelul 12.2.
m n
2
Em n Em n 1 m n em n Em n Em n 1
2
(d)
m n
Predictor (e) e n u n a
f
m n 1um n 1
H
m n u n a num n 1
f
m
H
m
linear
înainte (f) am n am n 1 gm n 1 emf * n am n am n 1 gm n 1 mf * n
mf n
2
E n E n 1 m n 1 e n E n E n 1
f f f 2
f f
(g)
m n 1
m m m m m
Predictor (h) e n u n m c
b
m n 1um n
H
m n u n m c num n
b
m
H
m
linear
înapoi (i) cm n cm n 1 gm n emb* n cm n cm n 1 gm n mb* n
mb n
2
unde termenul rmb este dat prin (12.3) iar relaţia (12.4) defineşte pe mb E um1 .
2
Vom presupune, în continuare, că inversa R m1 a submatricii principale R mm1 R m a
matricii R m1 este cunoscută şi că se doreşte să se calculeze R m11 utilizând valorile deja
cunoscute. Având în vedere că inversa Qm1 a matricii hermitice R m1 este tot hermitică, ea
poate fi partiţionată astfel:
Q qm
Qm 1 Hm
qm
(12.17)
q m
Facem apel la (12.16) pentru a calcula componentele lui Qm1 :
R rmb Qm q m I m 0m
R m1Qm1 bHm
qm 0mH 1
(12.18)
rm mb q mH
După multiplicarea matricială, se obţin ecuaţiile
R mQm rmb qmH I m (12.19)
rmbH Qm mb qmH 0mH (12.20)
R mqm rmb qm 0m (12.21)
rmbH qm mb qm 1 (12.22)
unde 0m este vectorul nul de dimensiune m 1 . Dacă matricea R m este inversabilă,
expresia (12.21) permite, în prima instanţă, calculul lui q m :
qm R m1rmb qm (12.23)
iar în continuare, prin înlocuire în (12.22), în ipoteza că mb rmbH R m1rmb 0 , stabilirea
valorii lui qm
1
qm (12.24)
r R m1rmb
b
m
bH
m
T
cm cm,1 cm,2 cm,m R m1rmb (12.27)
şi mb mb rmbH Rm1rmb mb rmbH cm (12.28)
În contextul predicţiei lineare, semnificaţiile celor două mărimi sunt evidente: relaţia
(12.27) constituie o soluţie a ecuaţiei normale, reprezentând vectorul coeficienţilor filtrului
erorii de predicţie înapoi iar mb în (12.28) reprezintă puterea în sens optimal (sau energia în
sens LS) minimă a erorii de predicţie înapoi.
Drept urmare, dacă matricea R m este inversabilă iar mb 0 , combinând (12.18) cu
(12.24)-(12.28), se obţine
1
R rmb R m1 0m 1 cm H
b cm 1
1
R m 1 bHm H (12.29)
rm mb m
0 0 m 1
Ecuaţia determină R m11 din R m1 prin utilizarea unei recursii de ordin cunoscută sub numele
de inversare de matrice prin lema de partiţionare (Noble şi Daniel 1988).
O altă expresie utilă pentru mb este (Manolakis, ş.a. 2005):
det R m 1
mb (12.30)
det R m
ceea ce justifică importanţa mărimii mb pentru inversabilitatea matricii R m1 .
Urmând o procedură similară cu cea dezvoltată în acest paragraf, se poate arăta
(Manolakis, ş.a. 2005) că inversa matricii R m1 partiţionată inferior-dreapta ( R mf R mm1 ) se
calculează astfel:
mf rmfH
1
0 0mH 1 1
R 1
f f a 1 am
H
(12.31)
R
m 1 1
rm R mf 0m f
m m
m
R mf rmf
T 1
unde am am,1 am,2 am,m (12.32)
g m n 1 R
ˆ 1 n 1u n 1
m m (12.34)
Se doreşte determinarea valorii acestuia la următorul moment
g n R
m
ˆ 1 n u n
m m (12.35)
prin ajustarea lui g m n 1 pe baza noilor valori disponibile um n , d n .
inversarea matricială prin partiţionare (12.29) şi (12.31) actualizate la cazul filtrării LS:
ˆ 1 n R m n 0m 1 cm n c H n 1
ˆ 1
R m (12.36)
0 Em n 1
m 1 H b
0m
0 0mH 1 1
şi: ˆ 1 n
R f a n 1 am n
H
(12.37)
R m n Em n m
m 1
ˆ 1
0m
Se începe cu prima formulă de partiţionare din (12.36), prima partiţie a vectorului de
date din (12.1) precum şi definiţia erorii de predicţie aposteriori mb n din Tabelul 12.2. Se
obţine:
g n b n cm n
g m1 n m mb (12.38)
0 Em n 1
ceea ce constituie o recursie „pură” după ordin a vectorului de câştig g m n . Similar, se
face apel la ecuaţia (12.37), la cea de a doua partiţie a vectorului de date din (12.1) şi la defi-
niţia erorii de predicţie aposteriori mf n din Tabelul 12.2 pentru a avea
0 mf n 1
g m1 n f (12.39)
g m n 1 Em n am n
ceea ce reprezintă o recursie „combinată” de timp şi ordin a vectorului de câştig g m n . În
aceste două ultime ecuaţii se găseşte „cheia” dezvoltării de algoritmi RLS rapizi prin recur-
sia vectorului de câştig.
Pentru a realiza recursia temporală a vectorului de câştig, se porneşte de la g m n 1 şi
se face pentru început recursia de timp şi ordin (12.39) ceea ce dă pe g m1 n . În continuare,
se aplică recursia de ordin (12.38) din ale cărei prime m ecuaţii poate fi extras vectorul
g m n astfel:
g m n g m 1 n gm1,m1 ncm n
m
(12.40)
n
b
Pentru a efectua recursiile (12.38) şi (12.39) este nevoie să se efectueze recursiilor temporale
ale coeficienţilor filtrelor erorii de predicţie am n şi cm n precum şi ale valorilor minime
ale funcţiilor de cost Emf n respectiv Emb n , care sunt calculate în Tabelul 12.2. Singura
problemă rămasă în suspans este rezolvarea „cuplajului” care există între g m n din ecuaţia
(12.40) şi vectorul coeficienţilor cm n din relaţia
cm n cm n 1 g m n emb* n (12.42)
Problema poate fi evitată prin eliminarea lui cm n , în urma înlocuirii recursiei (12.42) în
ecuaţia (12.40):
g m 1 n g m 1,m 1 n cm n 1
m
g m n (12.43)
1 g m 1,m 1 n emb* n
ceea ce contribuie cu un ultim pas la realizarea recursiei.
Procedura de calcul prezentată este cunoscută sub numele de algoritmul Kalman rapid.
Ea a fost dezvoltată de Falconer şi Ljung (1978) pornind de la ideile enunţate de Morf
(1974). Pentru a sublinia faptul că algoritmul nu face recursie de ordin, vom nota în
continuare m M şi vom renunţa la indicii de ordin pentru toate mărimile care sunt de
Tabelul 12.3 Algoritmul Kalman rapid cu recursie în timp pentru filtre FIR în sens LS.
Ecuaţie Calcule
Vechile estimări: a n 1 , c n 1 , g n 1 , w n 1 , E f n 1
Date noi: u n , d n
Recursia câştigului şi a filtrelor erorii de predicţie
(a) e f n u n aH n 1 u n 1
(b) a n a n 1 g n 1 e f * n
(c) f n u n aH n u n 1
(d) E f n E f n 1 f n e f * n
0 f n 1
(e) g M 1 n f
g n 1 E n a n
(f) eb n u n m cH n 1 u n
g M 1 n g M 1, M 1 n c n 1
M
(g) g n
1 g M 1, M 1 n eb* n
(h) c n c n 1 g n eb* n
Recursia filtrului adaptiv
(i) e n d n w n 1 u n
H
(j) w n w n 1 g n e* n
376 ALGORITMI RLS RAPIZI - 12
emf n
2
m 1 n m n 1 (12.51)
Emf n 1
care este o recursie combinată de timp şi ordin. În continuare se utilizează relaţia (12.46) şi
partiţia superioară din (12.1) pentru a obţine
m n m1 n gm1,m1 n emb* n (12.52)
emb n
2
sau: m n m 1 n (12.53)
Emb n 1
relaţie care împreună cu (12.51) asigură recursia de timp necesară m n 1 m1 n
m n .
Tabelul 12.4 prezintă operaţiunile matematice care definesc algoritmul FAEST.
Algoritmul FAEST necesită numai 7M operaţiuni pe recursie de timp şi este, din acest punct
de vedere, cel mai eficient algoritm din familia filtrelor RLS cu predecupare.
m 1 n m n (12.55)
Emb n
mf n
2
Tabelul 12.4 Algoritmul FAEST cu recursie în timp pentru filtre FIR în sens LS.
Ecuaţie Calcule
Vechile estimări:
a n 1, c n 1, w n 1, g n 1, E f n 1, E b n 1, n 1
Date noi: u n, d n
Recursia câştigului şi a filtrelor erorii de predicţie
(a) e n u n aH n 1 u n 1
f
e f n
(b) f n
n 1
(c) a n a n 1 g n 1 f * n
(d) E f n E f n 1 f n e f * n
0 f n 1
(e) gM 1 n
g n 1 E n 1 a n 1
f
(f) eb n E b n 1 g M 1, M 1 n
g n gM 1 n g M 1, M 1 n c n 1
M
(g)
e f n
2
(h) M 1 n n 1
E f n 1
(i) n M 1 n gM* 1, M 1 n eb n
(j) c n c n 1 g n b* n
eb n
(k) b n
n
(l) E n E b n 1 b n eb* n
b
Emf n 1 Emb n 1
m1 n m n 1 m n (12.58)
Emf n Emb n
În concluzie, algoritmul FTF are o complexitate de calcul echivalentă cu algoritmul
FAEST, în literatură fiind întâlnit în mai multe variante (Manolakis, ş.a. 2005). El a fost
introdus printr-un raţionament geometric de Cioffi şi Kailath (1984).
12.3 Algoritmi LS rapizi pentru structuri lattice 379
ˆ n c n rˆ bH n
R m m m
(12.60)
ˆ n c n rˆ bH n
R m 1 m 1 m 1
Întrucât Rˆ n este conţinută în partiţionarea lui Rˆ n , vom verifica dacă şi vectorii din
m m 1
partea dreaptă a ecuaţiilor (12.60) se bucură de aceiaşi proprietate. Utilizând partiţia infe-
rioară a vectorului um1 n din (12.1), se poate scrie
n u i * rˆmb1 n
rˆmb 1 n i u i m 1 b (12.61)
i 1 u m i 1 rˆm n 1
ceea ce determină o partiţie ce include vectorul dorit rˆmb n întârziat cu un eşantion ca
urmare a invarianţei la deplasare a lui u m n . Vom exploata această partiţionare, utilizând
ˆ
inversarea matricii R partiţionată inferior-dreapta prin lema de partiţionare (12.37)
m1
0 0mH 1 1
ˆ 1 n
R 1 am n
H
(12.62)
R m n Em n m
m 1
0m ˆ 1 f
a n
n u i 1 * rˆmf n
rˆmf 1 n n i m u i f (12.68)
i 0 u i m 1 rˆm1 n
Pentru a scrie ecuaţia de recursie de ordin a coeficienţilor am n , utilizăm ultima relaţie
împreună cu formula de inversare matricială (12.36) şi soluţia ecuaţiilor normale (12.63). Se
obţine:
a n c n 1
am 1 n m mf m (12.69)
0 1
mf n
unde mf n (12.70)
Emb n 1
şi mf n rˆmf1 n cmH n 1rˆmf n (12.71)
au semnificaţii similare parametrilor din ecuaţiile (12.66) şi (12.67).
Lema Burg (Burg 1975) utilizează egalitatea rˆmf1 n rˆmb*1 n pentru a face următoarea
simplificare
mf n rˆmf1 n cmH n 1 R
ˆ n 1 R
m
ˆ 1 n 1 rˆ f n
m m
f
n u n m mf m
u n 1 m
m 1
0 1
u n a mH n u m n 1 mf * cmH n 1 u m n 1 u n 1 m
m n
2
sau: E f
n E n n n E n
f f * f
(12.76)
Emb n 1
m 1 m m m m
E b
n E n 1 n m n E n 1
b b b
(12.77)
Emf n
m 1 m m m
Pentru a completa definirea algoritmului sunt necesare ecuaţii de recursie de timp ale
energiilor minime de eroare Emf n şi Emb n precum şi ale coeficientului de corelaţie parţi-
ală m n . Ecuaţiile de recursie pentru primii doi parametri pot fi extrase din Tabelul 12.2:
Emf n Emf n 1 emf n mf * n
(12.79)
Emb n Emb n 1 emb n mb* n
Pentru a stabili o recursie de timp pentru m n se porneşte de la relaţia de definiţie
(12.78) şi se folosesc în continuare pentru toate mărimile implicate formule de recurenţă în
timp. Se rearanjează şi se recombină termenii astfel:
m n 1 cmH n rˆmf n 1 rˆmf1 n 1
c mH n rˆmf n u m n u * n 1 rˆmf1 n u n m u * n 1
c mH n rˆmf n mb n u * n 1 rˆmf1 n
c mH n 1 gmH n mb n rˆmf n rˆmf1 n mb n u * n 1
m n mb n u * n 1 gmH n rˆmf n
m n mb n u * n 1 u mH n R
ˆ 1 n 1 rˆ f n
m m
m n mb n u * n 1 u mH n a n
m n mb n emf * n 1
Ultima relaţie reprezintă recursia dorită, pentru că implementarea ecuaţiei
m n m n 1 mb n 1 emf * n
1 (12.80)
m n 1 mb n 1 mf * n
m n 1
este fezabilă, în membrul drept al acesteia găsindu-se mărimi deja cunoscute.
Pentru completarea algoritmului aposteriori este nevoie de o relaţie de recursie după
ordin pentru factorul de conversie M n . Se foloseşte în acest scop ecuaţia (12.55) stabilită
pentru algoritmul FTF. O organizare detailată a algoritmului lattice RLS aposteriori, de
complexitate a 17M operaţiuni aritmetice pe recursie de timp (Ciochină şi Negrescu 1999)
este prezentată în Tabelul 12.5. Iniţializarea algoritmului se face pornind de la definiţiile
mărimilor corespunzătoare. Condiţia 0 n 1 1 rezultă din relaţia (12.54) iar constanta
pozitivă trebuie să asigure inversabilitatea matricii de corelaţie R ˆ n .
Dacă în locul erorilor aposteriori se folosesc erori apriori, se obţin următoarele
recursii
e0f n e0b n u n
384 ALGORITMI RLS RAPIZI - 12
Ecuaţie Calcule
Iniţializare de timp ( n 0 )
Emf 1 Emb 1 0 0 m M 1
m 1 0, mb 1 0 0 m M 1
Iniţializare de ordin
(a) n n u n , 0 n 1 1
0
f b
0
m n m n 1
b
m n 1 nf*
m
(b)
m n 1
mf * n
2
(c) Ef
n E n 1
f
m m
m n 1
mb n
2
(d) E n E n 1
b b
m m
m n 1
m n
(e) mf n
Emb n 1
m* n
(f) mb n
Emf n 1
(g) mf 1 n mf n mf * n mb n 1
(h) mb 1 n mb n 1 mb* n mf n
mb n
2
(i) m 1 n m n
Emb n
ˆ 1 n R m n 0m 1 cm n c H n 1
ˆ 1
R m (12.88)
0 Em n 1
m 1 H b
0m
unde c m n R
ˆ 1 n rˆ b n
m m (12.89)
reprezintă soluţia în sens LS a predicţiei liniare înapoi iar
ˆ n
det R
Emb n m 1
Eu n m rˆmcH n cm n (12.90)
det R m n
ˆ
este valoarea minimă a energiei erorii de predicţie înapoi. Trebuie remarcat că cm n este
estimatorul optim în sens LS pentru observaţia suplimentară u n m ce este utilizată de
filtrul adaptiv de ordin m 1 , w m1 n . Înlocuind relaţiile (12.87) şi (12.88) în ecuaţia
normală (12.86), se obţine:
386 ALGORITMI RLS RAPIZI - 12
Tabelul 12.6 Organizarea calculelor algoritmului RLS lattice apriori.
Ecuaţie Calcule
Iniţializare de timp ( n 0 )
Emf 1 Emb 1 0 0 m M 1
m 1 0, emb 1 0 0 m M 1
Iniţializare de ordin
(a) e0f n e0b n u n , 0 n 1 1
Elemente lattice: m 0,1, ,M 2
(b) ef
m 1n e n n 1 e n 1
f
m
f*
m
b
m
emb 1 n
2
(i) m n m 1 n
Emb 1 n
w n c n
w m1 n m mw n m (12.91)
0 1
mw n
unde mw n (12.92)
Emb n
şi mw n cmH n pˆ m n pˆ m1 n (12.93)
În concluzie, dacă coeficienţii filtrului erorii de predicţie înapoi cm n sunt cunoscuţi,
se pot determina coeficienţii filtrului adaptiv w m1 n prin recursia de ordin (12.91).
w n c n u n
H
m 1 n d n m mw n m m
0 1 u n m
d n w mH n u m n mw* n u n m cmH n u m n
În ultima paranteză a expresiei de mai sus poate fi identificată eroarea aposteriori a predicto-
rului linear înapoi de ordinul m, mb n astfel că recursia după ordin a erorii aposteriori în
sens LS a filtrului FIR poate fi calculată prin ecuaţia
m1 n m n mw* mb n (12.95)
care este executată pentru m 0,1, , M 1 cu 0 n d n .
Ecuaţia (12.95) împreună cu ecuaţiile de recursie după ordin ale erorilor de predicţie
lineară (12.74) şi (12.75) permite implementarea completă a unui filtru adaptiv în sens LS
sub forma structurii lattice-scară din Figura 12.3. Partea lattice a filtrului furnizează eroarea
aposteriori de predicţie înapoi mb n , m 0, M 1 implementând ecuaţiile (12.74) şi
(12.75) în timp ce partea scară a filtrului implementează recursiv după ordin relaţia (12.95),
furnizând erorile optime în sens LS ale filtrului FIR (12.86), m n , m 0,1, , M 1 . De
remarcat că setul de coeficienţi ai structurii trebuie recalculat la fiecare moment de timp n.
corespund părţii scară a algoritmului sunt în primul rând recursia după ordin (12.95) a erorii
de filtrare aposteriori m1 n cu condiţia iniţială 0 n u n . Apoi sunt necesari parame-
trii reţelei în scară, mw n care sunt definiţi prin relaţia (12.92)
mw n
mw n
Emb n
Valoarea energiei erorii de predicţie înapoi Emb n din (12.92) este stabilită de algorit-
mul LRLS prin recursia de timp (12.79), în schimb pentru coeficientul de corelaţie parţială
mw n definit prin (12.93) se dezvoltă recursia de timp astfel:
mw n 1 cmH n 1 pˆ m n 1 pˆ m 1 n 1
c mH n 1 pˆ m n u m n 1 d * n 1 pˆ m 1 n u n m d * n 1
c mH n 1 pˆ m n mb n d * n 1 pˆ m 1 n
c mH n g mH n 1 mb n 1 pˆ m n pˆ m 1 n mb n 1 d * n 1
mw n mb n 1 d * n 1 gmH n 1 pˆ m n
mw n mb n 1 d * n 1 u mH n 1 R
ˆ 1 n pˆ n
m m
mw n mb n 1 d * n 1 u mH n 1 w m n
m n mb n 1 em* n 1
Drept urmare, ecuaţia de calcul prin recursie temporală al coeficientului de corelaţie parţială
a filtrului adaptiv este
mw n mw n 1 mb n em* n
1 (12.96)
mw n 1 mb n m* n
m n
În concluzie, algoritmul rapid RLS lattice-scară aposteriori constă din algoritmul LRLS
prezentat în Tabelul 12.5 completat cu ecuaţiile suplimentare din Tabelul 12.7. Complexita-
tea algoritmului este de aproximativ 20M operaţii aritmetice pe fiecare recursie de timp
(Manolakis, ş.a. 2005).
Există şi pentru structura de filtrare adaptivă lattice-scară ca şi în cazul predicţiei lineare
lattice o variantă apriori a algoritmului LRLS. În acest ultim caz structura calculează la
fiecare recursie de timp eroarea apriori de filtrare em n definită prin ecuaţia de recursie
după ordin:
em1 n em n mw* n 1 emb n, 1 m M (12.97)
şi e0 n d n . Tabelul 12.8 prezintă ecuaţiile suplimentare care sunt adăugate
algoritmului lattice RLS apriori din Tabelul 12.6 pentru a-l transforma în algoritmul rapid
RLS lattice-scară apriori.
12.4 Algoritmi LS rapizi pentru structuri lattice-scară 389
Tabelul 12.7 Completările la algoritmul LRLS din Tabelul 12.5 care
definesc algoritmul rapid RLS lattice-scară aposteriori.
Ecuaţie Calcule
Iniţializare de timp ( n 0 )
mw 1 0, 0 m M 1
Iniţializare de ordin
(a’) 0 n d n
Elemente lattice: m 0,1, , M 1
(b) - (i)
Elemente scară: m 0,1, , M 1
(j) w
mn n 1 n n m n
w
m
b
m
*
m
w n
(i) mw n mb
Em n
(k) m1 n m n mw* n mb n
Ecuaţie Calcule
Iniţializare de timp ( n 0 )
m 1 0, 0 m M 1
w
Iniţializare de ordin
(a’) e0 n d n
Elemente lattice: m 0,1, , M 1
(b) - (i)
Elemente scară: m 0,1, ,M 2
(j) w
mn n 1 m n e n em* n
w
m
b
m
w n
(i) mw n mb
Em n
(k) em1 n em n mw* n 1 emb n
390 ALGORITMI RLS RAPIZI - 12
lor lattice-scară. Algoritmii introduşi în Ling, ş.a. (1986), au proprietăţi numerice mai bune
decât algoritmii lattice-scară original atunci când implementarea se face cu precizie
numerică finită. Vom examina pentru început varianta apriori a algoritmului.
Stabilim relaţia de actualizare a coeficientului mw n , pornind de la ecuaţiile (12.92) şi
(12.96):
mw n mw n 1 Emb n 1 M n emb n em* n
w
n
Emb n Emb n 1 Emb n Emb n
m
(12.98)
1
Emb n
n 1 E n 1 n e n e n
w
m
b
m M
b
m
*
m
m n emb n
2
(h) m 1 n m n
Emb n
Elemente scară: m 0,1, , M 1
(i) em1 n em n mn 1 e n
w* b
m
n emb n em* 1 n
(j) mw n mw n 1 m
Emb n
392 ALGORITMI RLS RAPIZI - 12
denumirea lor face referire la comentariul pe care-l facem asupra relaţiei (10.23) din Capito-
lul 10 asupra interpretării lui m n drept variabilă unghiulară. De fapt nu este nevoie să
facem distincţie între algoritmi apriori sau aposteriori dacă vom formula problema estimării
în sens LS în funcţie de aceste variabile.
Pentru a stabili ecuaţiile de recursie după ordin pentru aceste variabile, considerăm
ecuaţia lattice a erorii de predicţie înainte apriori (12.81) şi definiţiile erorilor normalizate
unghiular, pentru a scrie
m1 n 1 f * n 1 m 1 n 1 emb n 1
emf 1 n em n m
m n 1 Emb n 2 m n 1 Emb n 2
sau, utilizând relaţia (12.58):
Emb n 2 m* n 1 emb n 1
emf 1 n emf n (12.103)
Emb n 1 Emb n 2 Emb n 1
Definind următoarele mărimi
Emb n 1
cmb n (12.104)
Emb n
emb n
smb n (12.105)
Emb n
m* n
şi mf n mf n Emb n 1 (12.106)
E n 1
b
m
emf n
smf n (12.112)
Emf n
m n
şi mb n mb n Emf n (12.113)
E n
b
m
pentru a obţine din ecuaţia (12.110) recursia de ordin a erorii de predicţie înapoi normalizată
unghiular emb 1 n :
emb 1 n cmf n emb n 1 smf n mb* n 1 (12.114)
În acelaşi timp, pentru recursia lui mb n , ca şi în cazul ecuaţiei (12.109), prin combinarea
relaţiilor (12.108) şi (12.111) până la (12.113) se poate scrie:
mb* n cmf n mb* n 1 smf * n emb n 1 (12.115)
Ecuaţii de recursie similare pot fi deduse în acelaşi mod pentru partea scară a filtrului
adaptiv. În acest caz, utilizând expresia erorii de filtrare apriori (12.97), definiţiile erorilor
normalizate unghiular şi relaţia (12.58), vom scrie:
Emb n 1 mw* n 1 emb n
em1 n em n
Emb n Emb 1 n 1 Emb n
este coeficientul normalizat al părţii în scară a reţelei. Coeficientul poate fi recalculat cu:
394 ALGORITMI RLS RAPIZI - 12
12
Emf n Emf n 1 emf n
2 2
(12.121)
12
b
E n Em n 1 em n
b
2
b 2
m
În acest moment, avem la dispoziţie formularea completă prin erori normalizate unghiu-
lar a ecuaţiilor de recursie în sens LS pentru o structură lattice-scară. Pentru a pune în evi-
denţă mai bine sensul şi semnificaţia acestor recursii, vom exprima aceste ecuaţii sub formă
matricială astfel:
emf 1 n cmb n 1 smb n 1 em n
f
f
b* (12.122)
m n sm n 1 cm n 1 m n 1
b f
b* f* (12.123)
m n sm n cm n m n 1
f b*
Din ecuaţiile matriciale de mai sus trebuie remarcat că recursiile parametrilor predictorului
înainte şi ale parametrilor reţelei în scară se fac cu aceiaşi matrice pătrată întârziată cu un
pas. Faptul că în matricile din ecuaţii semnul minus are poziţii diferite, datorită utilizării de
semne diferite în definiţiile lui mf n şi mb n , nu este relevant. În plus, se poate arăta
imediat că:
cmf n smf n 1
2 2
(12.125)
cmb n smb n 1
2 2
şi
12.4 Algoritmi LS rapizi pentru structuri lattice-scară 395
ceea ce conduce la observaţia că matricile pătrate din setul de ecuaţii (12.122)-(12.124) sunt
matrici de rotaţie Givens. În concluzie, s-a obţinut o formulare a algoritmului LS lattice-
scară care actualizează erorile normalizate unghiular şi setul de coeficienţi de reflexie
normalizaţi ai structurii lattice-scară prin rotaţii Givens. O ecuaţie de rotaţie Givens poate fi
scrisă şi pentru minimul energiei de eroare înapoi normalizate Emb n . Astfel, dacă pornim
de la (12.121) şi definiţiile lui cmb n şi smb n , vom scrie:
m n emb n
şi smb n (12.128)
Emb n
pentru a obţine ecuaţia de actualizare a parametrilor părţii scară a structurii lattice-scară sub
forma unei rotaţii Givens:
mw n cmb n mw n 1 smb n em* n (12.129)
Similar, utilizând ecuaţiile de recursie pentru parametrii lattice ai algoritmului apriori cu
reacţie pe eroare, se obţin ecuaţiile de actualizare:
mf n cmb n 1 mf n 1 smb n 1 emf * n (12.130)
şi mb n cmf n mb n 1 smf n emb* n 1 (12.131)
Emf n 1
cmf n cmf n
2
unde (12.132)
n Ef
m
m n 1 emf n
şi sm n
f
(12.133)
Emf n
Tabelul 12.10 Organizarea calculelor algoritmului de filtrare adaptivă RLS lattice-scară cu rotaţii Givens. 396 ALGORITMI RLS RAPIZI - 12
ALGORITMI RLS RAPIZI Probleme 397
Probleme
P 12.1 Arătaţi că partiţionarea lui Rˆ n din relaţia (12.5) ce conduce la o structură de
m 1
partiţie similară cu cea din relaţia (12.2), este posibilă numai dacă estimarea LS se
face cu „prewindowing”, adică um 1 0 . Ce formă ia partiţionarea dacă se
renunţă la condiţia de „prewindowing”?
P 12.2 Demonstraţi identitatea (12.31) referitoare la calculul recursiv după ordin al
inversei matricii R m1 partiţionate inferior-dreapta:
mf rmfH
1
0 0mH 1 1
R 1
f f a 1 am
H
R
m 1 1
rm R mf 0m f
m m
m
P 12.3 Deduceţi formulele ecuaţiilor normale şi ale energiei minime a erorii LS date în
Tabelul 12.1 pentru filtrul erorii de predicţie înainte şi filtrul erorii de predicţie
înapoi.
P 12.4 Deduceţi formulele de recursie apriori şi aposteriori din Tabelul 12.2 referitoare la
filtrul erorii de predicţie înainte şi la filtrul erorii de predicţie înapoi.
398 ALGORITMI RLS RAPIZI - 12
P 12.5 Modificaţi ordinograma algortimului FAEST din Tabelul 12.4 pentru a obţine
algoritmul FTF. Scrieţi funcţia MATLAB care implementează algoritmul FTF.
P 12.6 Algoritmii RLS lattice-scară aposteriori şi apriori utilizează factorul de conversie
m n în calculul recursiv al mărimilor Emf n , Emb n, m n şi mw n , calcul
care are nevoie atât de erorile apriori cât şi de erorile aposteriori. Deduceţi un
filtru dublu RLS lattice-scară ( atât apriori cât şi aposteriori) care să evite
utilizarea factorului de conversie prin actualizarea simultană a erorilor de
predicţie şi filtrare atât aposteriori cât şi apriori.
P 12.7 În această problemă vom discuta despre câteva mărimi care pot servi la avertizare
în privinţa unei comportări incorecte a algoritmilor RLS rapizi.
(a) Arătaţi că variabila
m1 n Emb n 1
m n 1 g m1,m1 n emb* n
m n Emb n
satisface condiţia 0 m n 1 .
(b) Demonstraţi relaţiile
ˆ n 1
det R ˆ n
det R det Rˆ n
m n m m
, Emf n m 1
, Emb n m 1
det Rˆ n det ˆ n 1
R det Rˆ n
m m m
Emf n
şi utilizaţi rezultatul pentru a explica de ce mărimea m n Emf n m Emb n
este folosită ca variabilă de avertizare.
(d) Explicaţi de ce mărimile următoare sunt utilizate în calitate de variabile de
avertizare.
eb n
i g n g M 1, M 1 n , ii b n eb n E b n 1 g M 1, M 1 n
E n 1
b
Bibliografie
F. Albu, M. Bouchard, şi Y. Zakharov, "Pseudo-affine projection algorithms for multichannel
active noise control," IEEE Trans. Audio, Speech and Language Processing, vol. 15, pp.
1044–1052, March, 2007.
S. T. Alexander, Adaptive Signal Processing. Theory and Applications. New York, NY, U.S.A.:
Springer-Verlag, 1986.
J. A. Apolinário_Jr, S. Werner, T. I. Laakso, şi P. S. R. Diniz, "Constrained normalized adaptive
filtering for CDMA mobile communications," în Proc. EUSIPCO - European Signal
Processing Conference, Rhodos, Grecia, 63, 1998, pp. 2053-2056.
K. J. Ǻström şi B. Wittenmark, Adaptive Control. Reading, Mass., U.S.A.: Adison-Wesley, 1989.
M. Bellanger, Analyse des signaux et filtrage numérique adaptatif. Paris: Masson, 1989.
M. Bellanger, Adaptive Digital Filters, 2nd ed. New York, NY, U.S.A.: Marcel Dekker, Inc.,
2001.
J. Benesty, "Adaptive Filtering and Spectral Analysis," INRS-EMT, Ed.: Université du Québec,
2004. http://externe.emt.inrs.ca/users/benesty/course.html
J. P. Burg, "A New Analysis Technique for Time Series Data," NATO Advanced Study Institute
on Signal Processing, Enschede, Olanda 1968.
J. P. Burg, "Maximum Entropy Spectral Analysis." vol. Ph.D. thesis Stanford, CA.: Stanford
University, 1975.
G. Carayannis, D. G. Manolakis, şi N. Kalouptsidis, "A fast sequential algorithm for least-squares
filtering and prediction," IEEE Trans. Acoustics, Speech and Signal Processing, vol. 31(6),
pp. 1394–1402, 1983.
A. Carusone şi D. A. Johns, "Analogue adaptive filters: past and present," IEE Proc.-Circuits
Devices Syst., vol. 147, pp. 83-90, No. 1, February, 2000.
T. F. Chan, "An improved algorithm for computing the SVD,".ACMTrans. Mathematical
Software, pp. 72–88, 8, 1982.
S. Ciochină, "Sisteme adaptive, Note de curs," Bucureşti: Universitatea Politehnică, 2008.
http://www.comm.pub.ro/master/sa/
S. Ciochină şi C. Negrescu, Sisteme adaptive. Bucureşti: Editura Tehnică, 1999.
J. M. Cioffi, "Limited-precision effects in adaptive filtering," IEEE Trans. on circuits and
systems, vol. CAS-34(7) pp. 821–833, 1987.
J. M. Cioffi şi T. Kailath, "Fast, recursive-least-squares transversal filters for adaptive filtering,"
IEEE Trans. Acoustics, Speech and Signal Processing, vol. 32(2), pp. 304–337, 1984.
P. M. Clarkson, Optimal and Adaptive Signal Processing: CRC Press, 1993.
G. Dahlquist şi A. Bjorck, Numerical Methods. Englewood Cliffs, NJ.: Prentice Hall, 1974.
P. S. R. Diniz, Adaptive Filtering: Algorithms and Practical Implementation, 3rd revised ed.:
Springer, 2008.
S. C. Douglas, "Introduction to Adaptive Filters," în The Digital Signal Processing Handbook, V.
K. Madisetti şi D. B. Williams, Eds. Boca Raton, FLA, U.S.A.: CRC Press, 1998.
S. C. Douglas şi R. Losada, "Adaptive filters in MATLAB: from novice to expert," în Proc. 2nd
Signal Processing Education Workshop, Callaway Gardens, GA, 73, October 2002, pp. 1-6,
paper 4.9.
S. J. Elliott, Signal processing for active control. London, UK: Academic Press, 2001.
S. J. Elliott şi P. A. Nelson, "Active noise control," IEEE Signal Processing Magazine, pp. 12-35,
October, 1993.
D. D. Falconer şi L. Ljung, "Application of fast Kalman estimation to adaptive equalization,"
IEEE Trans. Communications, vol. 26(10), pp. 1439–1446, 1978.
400 BIBLIOGRAFIE
proprietăţile transformării Z 22
Zero padding 29
Valoare medie 39 Zgomot alb 48, 56
Valoare medie pătratică 39 zgomot alb gaussian 48