Algoritmul LMS

Metode Adaptive de
Prelucrare a Semnalelor
VI. ALGORITMUL LMS

© ș.l. dr. ing. Ioana Sărăcuț

1
 Algoritmul LMS

Algoritmul gradientului

• determină în mod iterativ coeficienţii optimi

• nu necesită calcularea matricii inverse R-1

• necesită cunoaşterea matricii R şi a vectorului p.

Algoritmul LMS (Least-Mean-Square = "cea mai mică medie pătratică")

• foloseşte estimarea matricii R şi a vectorului p.

• este foarte utilizat, deoarece este un algoritm simplu şi robust în raport cu

modificarea statisticii semnalelor.

© ș.l. dr. ing. Ioana Sărăcuț

2
 Algoritmul LMS

Pornim de la filtrul Wiener transversal:

x n  1 • Semnalele x(n) şi d(n) sunt

x n x n  N  1 reale, aleatoare, staţionare.
z 1 z 1
z 1

w 0 n w1 n  wN1 n

x  n    x  n  x n  1 x n  N  1 
T

w  n    w 0  n  w1 n  wN1 n  
T

y n
e n d n ponderile filtrului sunt funcţii de timp

N1
• Ieşirea filtrului este: y n    w k n  x n  k 
k 0

• Eroarea este: e n  d n  y n

© ș.l. dr. ing. Ioana Sărăcuț

3
 Algoritmul LMS

• Algoritmul LMS este tot o metodă iterativă, ca şi algoritmul gradientului.

Diferenţa: În locul funcţiei de performanţă: J  E e n 

2

se foloseste o estimare, considerând valoarea momentană: J  e2 n 

• Relaţia de actualizare a ponderilor devine:

w n  1  w n    e2 n

• Dupa efectuarea calculelor, se obţine:

e2 n  2e n  x n 

• Deci relaţia de actualizare este:

w n  1  w n  2   e n  x n

© ș.l. dr. ing. Ioana Sărăcuț

4
 Algoritmul LMS

Observaţii:

• La metoda gradientului, gradientul se calcula pe baza proprietăţilor statistice ale

semnalelor:
J  R w  p

• In algoritmul LMS, proprietăţile statistice nu sunt cunoscute, deci gradientul s-a

exprimat în funcţie de ceea ce se cunoaşte: valoarea actuală a erorii şi semnalul
de intrare
e2 n  2e n  x n 

• Algoritmul este foarte simplu – aceasta se vede din numărul de relaţii necesare:
2N+1 înmulţiri şi 2N adunări.

© ș.l. dr. ing. Ioana Sărăcuț

5
 Algoritmul LMS

Convergenţa în medii

• Dacă x şi d sunt staţionare, coeficienţii wopt pot fi obţinuţi din ecuaţia Wiener – Hopf.

• Notam din nou v(n) = w(n) – wopt şi rezultă ecuaţia de actualizare :

v n  1  v n  e n  x n 

• După calcule, rezultă: E v n  1  I  R   E v n

• Relaţia este similară cu cea de la metoda gradientului, dar între mediile vectorilor.

• S-a facut ipoteza că valorile actuale ale eşantioanelor observate (x(n) şi d(n)) sunt
independente de observaţiile anterioare:
• Deci v(n) depinde numai de x(n-1), x(n-2), ..., nu şi valoarea actuală x(n).
• Experimental, a rezultat că pentru valori mici ale pasului μ, contribuţia
eşantioanelor mai „vechi” este redusă.

© ș.l. dr. ing. Ioana Sărăcuț

6
 Algoritmul LMS

• La algoritmul gradientului: modificarea coeficienţilor se făcea determinist, strict pe

direcţia gradientului.
• În cazul LMS: modificarea coeficienţilor are caracter aleator (din cauza folosirii valorilor
estimate în locul celor exacte), prin urmare modificarea nu se face întotdeauna pe
direcţia gradientului – deşi, în medie, evoluţia urmăreşte direcţia respectivă.

• Din aceeaşi cauza, w nu se mai stabilizează la wopt, ci fluctueaza permanent în

mod aleator în jurul acestora.

• Spunem deci că algoritmul LMS converge „în medii” după legea de la metoda
gradientului, adică:
– algoritmul LMS este determinat tot de N moduri de convergenţă;
– modurile sunt caracterizate de valorile proprii ale matricii R;
– convergenţa algoritmului depinde de dispersia valorilor proprii;
– pasul de avans trebuie să satisfacă condiţia:

2
0
max
© ș.l. dr. ing. Ioana Sărăcuț
7
 Algoritmul LMS

Valorile proprii si urma matricii R

• Valorile proprii ale matricii R sunt rădăcinile ecuaţiei caracteristice: det R  kΙ  0

Proprietate: Valorile proprii ale matricii R sunt reale şi pozitive.

• Urma matricii R reprezintă suma elementelor diagonale ale matricii R:

N1
tr R    rkk
k 0

Proprietate: Urma matricii de corelaţie (şi a oricărei matrici pătrate) satisface relaţia:
N1
tr R    k
k 0

Cu alte cuvinte, suma elementelor diagonale ale matricii de corelaţie este egală
cu suma valorilor proprii:
N1 N1
 rkk   k
k 0 k 0

© ș.l. dr. ing. Ioana Sărăcuț

8
 Algoritmul LMS

Exemplu:

 1 0,5 
• Fie matricea de corelaţie: R   
0,5 1 

• Ecuaţia caracteristică: det R  I  2  2  0,75  0

• Valorile proprii: 0  1,5 ; 1  0,5

• Urma matricii este egală cu suma valorilor proprii:

tr R   r00  r11  1  1  0  1  1,5  0,5  2

© ș.l. dr. ing. Ioana Sărăcuț

9
 Algoritmul LMS

Performanţele algoritmului

• Performanţele sunt evidenţiate de funcţia de performanţă:

J  n   E  e2  n  
 

• Analiza se face în ipoteze simplificatoare:

– x(n) şi d(n) sunt variabile aleatoare cu distribuţie gaussiană;
– x(n) şi d(n) sunt staţionare şi de medie nulă;

– la momentul n, w(n) este independent de x(n) şi d(n).

(numai pentru valori foarte mici ale pasului)

• Vom analiza:
1. EMP suplimentară şi eroarea de ajustare
2. stabilitatea algoritmului

© ș.l. dr. ing. Ioana Sărăcuț

10
 Algoritmul LMS

1. EMP în exces şi eroarea de ajustare

Introducem matricea de corelaţie a ponderilor: K n  E  v n v n

T
•

• Efectuand calculele, rezultă funcţia de performanţă: J n  Jmin  tr K n   R 

unde tr reprezintă urma unei matricii = suma valorilor proprii, iar Jmin  E e02 n 

Definiţie: EMP în exces a unui filtru adaptiv este diferenţa dintre EMP în regim staţionar
şi EMP minimă (conform metodei gradientului).

• Valoarea de regim staţionar a EMP se obţine când t :

Jstat  Jmin  tr K    R 

EMP in exces

• Rezultă că EMP în exces este: Jexces  Jstat  Jmin  tr K    R 

© ș.l. dr. ing. Ioana Sărăcuț

11
 Algoritmul LMS

Definiţie: Se defineşte eroarea de ajustare (eng. misadjustement) prin raportul:

J
M  exces
Jmin

• Se arată că eroarea de ajustare se poate exprima în funcţie de pasul de avans şi

de valorile proprii ale matricii R:
N1

 1   k
k 0
M N1
k
 k
1 
k  0 1   k

• Aceasta va permite alegerea pasului cu controlul erorii suplimentare.

• În practică, se alege pasul astfel încât Jexces = 8 %; atunci se poate aproxima:

N1
 k N1  tr R 
 1      k   tr R   M
1   tr R 
k 0 k k 0

© ș.l. dr. ing. Ioana Sărăcuț

12
 Algoritmul LMS

• Dacă M < 0.1 atunci se poate aproxima:

M   tr R 

• Aceasta relaţie convine deoarece:

– tr[R] este suma puterilor eşantioanelor, deci este uşor de măsurat în

vederea alegerii pasului.

– Dacă semnalele nu sunt staţionare, suma puterilor eşantioanelor

poate fi evaluată recursiv şi folosită la ajustarea pasului urmărind
menţinerea unui anumit nivel al erorii.

© ș.l. dr. ing. Ioana Sărăcuț

13
 Algoritmul LMS

2. Stabilitatea algoritmului

• La metoda gradientului, stabilitatea era asigurată dacă pasul μ era mărginit de o

valoare dependentă de statistica intrării (prin valorile proprii).

• Asemanator este şi in algoritmul LMS, dar acesta este mai sensibil la valorile pasului.

• Ca urmare, limita superioară va fi mult mai mică.

• Eroarea de adaptare este direct proportional cu pasul μ; la fel si eroarea suplimentară

• Se deduce o condiţie suficientă pentru asigurarea stabilităţii:

1
0
3 tr R 
• Condiţia este cam restrictivă, dar este practică, deoarece condiţia necesară (mai
„îngăduitoare”) este greu de utilizat: dependenţa de statistica intrării este prea
complicată.

© ș.l. dr. ing. Ioana Sărăcuț

14
 Algoritmul LMS

Criterii de alegere a algoritmului:

• Viteza de convergenţă = numărul de iteraţii necesare pentru a ajunge suficient de

aproape de coeficienţii optimi

• Dezadaptarea = măsura în care EMP finală diferă faţă de EMP dată de filtrul optim

• Complexitatea algoritmului = numărul de operaţii aritmetice (adunări si înmulţiri)

• Robusteţea algoritmului = capacitatea de funcţionare şi în cazul datelor ce ridică

calcul numeric

• Arhitectura – modul de implementare hardware a filtrului şi a algoritmului adaptiv

© ș.l. dr. ing. Ioana Sărăcuț

15
 Algoritmul LMS

Va urma…
© ș.l. dr. ing. Ioana Sărăcuț
16
 Algoritmul LMS

Anexă – Algoritmul LMS

© ș.l. dr. ing. Ioana Sărăcuț

17