Sunteți pe pagina 1din 49

5.

FILTRE ADAPTIVE BAZATE PE MIIMIZAREA


ERORII MEDII PATRATICE
5. FILTRE ADAPTIVE BAZATE PE MIIMIZAREA
ERORII MEDII PATRATICE
funcia cost este eroarea medie ptratic, J(n)
ecuaiile Wiener-Hopf nu ofer o soluie practic
complexitate aritmetic ridicat
necesit funciile de autocorelaie
se dorete un algoritm recursiv se dorete un algoritm recursiv


Minimizarea unei funcii reale de variabil complex
Teorem
O funcie ,

are direcia de variaie maxim dat de gradientul complex


z
,

.
, ,...,
T
z
J J J
J
z z z
(

=
(

0 1 1
, ,...,
z

J
z z z

=
(



1 1
j , j ,
2 2
i
i i i
i i i i i
J J J J J J
z a b
z a b z a b

| | | |

= = + = +
| |

\ \

H
=

H
=

H
=
z

H
=

H
=

H
=


5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
1. - Se pornete de la o valoare iniial a coeficienilor ( ) 0 w
(eventual ( ) 0 w = 0 ).
2. - Se evalueaz direcia pantei maxime de cretere n jurul
acestui punct pe suprafaa ( ) w J . Aceasta este exprimat
prin gradientul complex
( ) ( )
J

w
w .
3. - Se reactualizeaz coeficienii printr-o deplasare pe 3. - Se reactualizeaz coeficienii printr-o deplasare pe
direcia pantei descendente maxime. Aceasta este
echivalent cu o deplasare pe direcia opus gradientului
cu un pas
+
R , :
( ) ( ) ( ) ( )
1 n n J n + = w w
4. - Se reia procedeul din punctul 2.

5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
( ) ( ) ( ) ( ) | | n w n w n w n
1 1 0
, , ,

= w
( ) ( ) ( )
J n n

= +
w
p Rw


( ) ( ) ( ) ( )
1 n n J n + = w w ( ) ( ) ( ) ( ) n n n Rw p w w + = + 1



5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Analiza stabilitii algoritmului
Vom introduce vectorul eroare a coeficienilor,

( ) ( ) p Rw w w c = =
o o
n n ,


( ) ( ) ( ) ( ) n n n Rw p w w + = + 1 ( ) ( ) ( ) n n c R I c = +1 ( ) ( ) ( ) ( ) n n n Rw p w w + = + 1 ( ) ( ) ( ) n n c R I c = +1


( ) ( ) ( ) n n
H
c Q Q I c = +1
5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Analiza stabilitii algoritmului

( ) ( ) ( ) n n
H
c Q Q I c = +1


( ) ( ) ( ) n n
H H
c Q I c Q = +1

Vom introduce vectorul eroare rotit, v(n),
( ) ( ) ( ) ( )
o
H H
n n n w w Q c Q v = =

( ) ( ) ( ) n n
H H
c Q I c Q = +1 ( ) ( ) ( ) n n v I v = +1

5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Analiza stabilitii algoritmului
Condiii iniiale:
( ) ( ) ( )
o
H
w w Q v = 0 0
( ) ( ) ( ) k n v n v
k k k
, , 2 , 1 , 1 1 = = +
( ) ( ) ( ) 0 1
k
n
k k
v n v =
Stabilitatea schemei, deci convergena algoritmului impune ca
v (n) s tind la 0 cnd . Pentru aceasta este necesar i v
k
(n) s tind la 0 cnd n . Pentru aceasta este necesar i
suficient ca:
k
k
, 2 , 1 ,
2
0 sau 1 1
k
= < < <


max
2
0

< <


max
2
0

< <
5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Analiza convergenei

+
R
k
v
k
(n) va descrete ctre 0 fr oscilaii. Distingem cazurile:
a) ( ) n v
k
k
k
< < < <


1
0 sau 1 0 descresc uniform
( ) n v
k
( ) n v
k
( ) 0
k
v ( ) 0
k
v
n
n


( ) ( )
( )
k
k k
n
k
v n v
k

= =

1 ln
1
, 0 e
/


5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Analiza convergenei
b)
k k
k

2 1
0 1 1 < < < < sau - ir alternat

( ) ( ) ( )
( ) 1 ln
1
, 0 1 e
/

= =

k
k k
n n
k
v n v
k



( ) n v
k
( ) n v
k
( ) 0 v ( ) 0 v ( ) 0
k
v ( ) 0
k
v
n
n

5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Analiza convergenei
c) ( ) 1 , 0 0 1 = = n n v
k k




( ) ( )
( )
/
e 0 ,
1
, sgn 1
ln 1
k
n n
k k k
k k k
k
v n s v
s

=
= =



Coeficienii w
k
(n) se pot exprima sub forma
( ) ( ) ( )
( ) ( )( ) ( ) ( ) ( )

=

=
=
+ = + =
+ = + =

k
n n
k
k ik oi

k
n
k k ik oi i

k
k k o o
k
s v q w v q w n w
n v n n
1 1
1
e 0 1 0

q w Qv w w


5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Analiza convergenei
( ) ( ) ( )
( ) ( )( ) ( ) ( ) ( )

=

=
=
+ = + =
+ = + =

k
n n
k
k ik oi

k
n
k k ik oi i

k
k k o o
k
s v q w v q w n w
n v n n
1 1
1
e 0 1 0

q w Qv w w


Convergena coeficienilor are loc dup o sum ponderat
de exponeniale.
Se obine viteza de convergen maxim atunci cnd q
ik
v
k
[0]
sunt nuli, pentru toi k, exceptnd valoarea corespunztoare lui
Max
.
Dac nu sunt precizate condiiile iniiale, n cazul cel mai
defavorabil, viteza de convergen este determinat de
min
.

5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Analiza convergenei
1 0 ,
1
max
< < = r r


( ) ( )

=
|
|

\
|
|
|

\
|
+ =

k
n
k
k ik oi i
r v q w n w
1
max
1 0

=
|

\
|

\
k 1
max


Termenul cel mai lent descresctor este acela care conine factorul
n
r
|
|

\
|

max
min
1


R ru condiionat (raport
Max
/
min
mare) convergen lent.

5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Curba de nvare
( ) ( ) { }
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) n n n e n n n n n d n n n d n e
n e n J
H
o
H H
o
H
x c x c x w x w = = =
=
2
E

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) n n n e n n n n n d n n n d n e
o o
x c x c x w x w = = =

( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) { } ( ) ( ) { }
( ) ( ) ( ) { } ( ) ( ) ( ) { } ( ) ( ) ( ) ( ) { } n n n n n e n n n n n e
n e n e n n n e n n n e n J
H H
o
H H
o
o o
H
o
H
o
c x x c x c c x
c x x c
E E E
E E
+
= =



c[n] este determinist, e
o
satisface principiul ortogonalitii
( ) ( ) ( ) n n J n J
H
Rc c + =
min



5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Curba de nvare
( ) ( ) ( ) n n J n J
H
Rc c + =
min


sau
( ) ( ) ( ) ( ) ( ) n n J n n J n J
H H H
v v c Q Q c + = + =
min min

sau scalar:

( ) ( ) ( ) ( )
( )

= =
+ =
= + = + =

k
k
n
k

k
k
n
k k

k
k k
v J
v J n v J n J
k
1
2
2
min
1
2
2
min
1
2
min
0 e
0 1



Curba obinut reprezentnd J(n) este curba de nvare a
algoritmului. Indiferent de condiiile iniiale v
k
(0), eroarea medie
ptratic tinde ctre J
min
dac este ndeplinit condiia de stabilitate.

5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Curba de nvare
( ) ( ) ( ) n v n v J n J
2
2 2
2
1 1 min
2 + = =




Interseciile cu plane J=const sunt elipse cu semiaxele
( ) ( )
2 1
2
min
2 1
1
min
,
|
|

\
|
=
|
|

\
|
=

J n J
b
J n J
a

5.2 Algoritmul gradientului stohastic
(LMS)
n cazul metodei SD ajustarea coeficienilor se face pe baza gradientului erorii
medii ptratice:
( ) ( ) ( ) ( ) ( ) { } ( ) ( ) { }
; E ; E
H
J n n n n n d n

= + = = p Rw R x x p x
Mediile statistice n general nu sunt ns cunoscute. Se recurge la o estimare a
gradientului utiliznd nite valori estimate pentru cele dou matrice renunnd
la operaiile de mediere statistic: la operaiile de mediere statistic:
( ) ( ) ( ) ( ) ( ) ( ) n d n n n n n
H
= = x p x x R ;


( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

H
J n n d n n n n n e n

= + = x x x w x







( ) ( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) n e n n n
n n n d n n n
H

+ = +
+ = +
x w w
w x x w w

1
1


5.2 Algoritmul gradientului stohastic
(LMS)







x(n)
x
H
(n)
( ) n d

( ) ( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) n e n n n
n n n d n n n
H

+ = +
+ = +
x w w
w x x w w

1
1


w(n)
w(n+1)
( ) n e

1
z



5.2 Algoritmul gradientului stohastic
(LMS)

( ) 0 w = 0
, 2 , 1 , 0 for = n
( ) ( ) ( ) n n n y
H
x w =
( ) ( ) ( ) n y n d n e = ( ) ( ) ( ) n y n d n e =
( ) ( ) ( ) ( ) n e n n n

+ = + x w w 1
end



5.2 Algoritmul gradientului stohastic
(LMS)
Observaii
- Complexitate aritmetic: 2N+1 nmuliri i 2N adunri
pentru fiecare iteraie
- Avnd n vedere criteriul de optimizare se ntlnete n
limba englez sub denumirea Least Mean Square (LMS). limba englez sub denumirea Least Mean Square (LMS).
- Fiind calculat de fiecare dat utiliznd setul de eantioane
x[n], ce au un caracter aleator, fr a efectua o mediere,
gradientul estimat va avea de asemenea un caracter aleator.
- nmulirile cu x[n] din schema algoritmului dau acestuia
un caracter neliniar
5.2 Algoritmul gradientului stohastic
(LMS)
Analiza convergenei
Probleme de convergen
- Tinde valoarea medie a vectorului w(n) ctre w
o
atunci cnd
n ? n caz afirmativ, se zice c algoritmul este convergent n
medie. medie.
- Tinde J(n) ctre o valoare finit atunci cnd n ? In caz
afirmativ se spune c algoritmul este convergent n medie
ptratic.

5.2 Algoritmul gradientului stohastic
(LMS)
Ipoteze de independen:
- ( ) ( ) ( ) n x x x , , 2 , 1 sunt statistic independeni.
- x(n) i d(n) sunt statistic independente fa de d(1),...,d(n-1).
- vectorul de intrare x(n) i d(n) formeaz mpreun un set
de variabile aleatoare gaussiene.

Datorit lipsei medierii n calculul gradientului apare un zgomot de gradient
( ) ( ) ( ) ( ) ( ) n n J n J + =


( ) ( ) ( ) ( ) ( ) { }
( ) ( ) ( ) ( ) { } ( )

E E n J n J n n e n n e n

= = x x
( ) { } 0 = n E

5.2 Algoritmul gradientului stohastic
(LMS)
Pe de alt parte, relaia de reactualizare a coeficienilor devine
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )
1 n n J n n n n n + = + = + w w w p Rw
( ) ( ) ( ) ( ) ( )
1
o o o
n n n n + + = + + w c w c p Rw Rc
( ) ( ) ( ) ( )
1 n n n + = c I R c
( ) ( ) ( ) ( )
1
H
n n n + = v I v Q
( ) ( ) ( ) ( )
1 n n n + = v I v Q
( ) { } ( ) ( ) { } n n v I v E 1 E = +

5.2 Algoritmul gradientului stohastic
(LMS)
Avnd n vedere analogia formal dintre aceast ecuaie i cea corespunztoare n cazul
algoritmului SD, concluziile trase acolo pentru vectorul eroare a coeficienilor se pot transpune
aici pentru media acestui vector. Algoritmul LMS este convergent n medie dac:
max
2
0

< <


w
k
(0)
w
k
(n)
w
0
n

5.2 Algoritmul gradientului stohastic
(LMS)
Analiza convergenei n medie ptratic
( ) ( ) ( ) ( ) ( ) { } n n n n J n J
H H
c x x c E
min
+ =
( ) ( ) ( ) ( ) { } ( ) ( ) ( ) ( ) { } { } ( ) ( ) ( ) ( ) { } { }
( ) ( ) { } ( ) ( ) { } { } ( ) { } n n n n n
n n n n n n n n n n n n
H H
H H H H H H
RC c c x x
c c x x c x x c c x x c
tr E E tr
tr E tr E E
= =
= = =
( ) ( ) { } ( ) ( ) { } { } ( ) { } n n n n n RC c c x x tr E E tr = =
( ) ( ) ( ) { } n n n
H
c c C E =
( ) ( ) { } ( ) n J J n J n J
ex
+ = + =
min min
tr RC

5.2 Algoritmul gradientului stohastic
(LMS)
( ) ( ) { } ( ) n J J n J n J
ex
+ = + =
min min
tr RC

unde J
ex
(n) reprezint o eroare n exces.
( ) ( ) { } ( ) { } ( ) { } n J n J n J n J
H H
K Q C Q C Q Q tr tr tr
min min min
+ = + = + =
unde
( ) ( ) ( ) { } ( )Q C Q v v K n n n n
H H
= = E ( ) ( ) ( ) { } ( )Q C Q v v K n n n n
H H
= = E
( ) ( )

=
=

i
ii i ex
n k n J
1

n raport cu filtrul optimal, apare deci o eroare medie ptratic suplimentar, sau n
exces, notat cu J
ex
, ce poate fi pus pe seama zgomotului de gradient. Pentru
evaluarea sa sunt necesari termenii de pe diagonala principal a matricei K(n).

5.2 Algoritmul gradientului stohastic
(LMS)


( ) ( ) ( ) n J J n J
tr ex ex
+ =



Comp. staionar Comp.tranzitorie

Comp. staionar Comp.tranzitorie
( )

=
=

=

i
i
i

i
i
i
ex
J J
1
1
min
2
1
2




5.2 Algoritmul gradientului stohastic
(LMS)
Se definete dezadaptarea (misadjustment) prin
( )

=
=

=

i
i
i

i
i
i
ex
J
J
M
1
1
min
2
1
2


=

i
i
1
2
Pentru
max
2

<<

( )

= =
= = =

i
i

i
i

M
1
med med
1
1
unde ,
2
0
2 2



5.2 Algoritmul gradientului stohastic
(LMS)
Are n general o tendin de scdere cu micorarea pasului , de
cretere cu ordinul filtrului N, i e proporional cu puterea medie a
semnalului de intrare.
Componenta tranzitorie
( )
0
tr
J n cnd n dac
1
2
2
0
max
<

< <

=

i
i


2
1
max

= i
i

Dac 1 0 << < ambele condiii sunt ndeplinite dac

=
< <

j
j
1
2
0



5.2 Algoritmul gradientului stohastic
(LMS)
( ) ( ) ( ) ( ) { } 1 , , 1 , 0 , E 0 , 0
1
= = = =

=

k P k n x k n x r r
x

j
j


P
x
reprezint puterea secvenei ( ), n x deci o form simplificat a condiiei de
convergen este:


x
x
P

M
P 2
;
2
0

= < <


Se poate introduce o constant de timp medie:
med
med
2
1

=
care caracterizeaz viteza de scdere a prii tranzitorii a erorii.
Se constat c dac este mic, constanta de timp e mare, conducnd la o
adaptare lent, dar dezadaptarea este mic.


x

Exemplu efectul valorii pasului
0.3
0.35
0.4
0.45
0.5
Identificare de sistem-curba de invatare

min=0,3
miu=0,03
0 500 1000 1500 2000 2500 3000 3500 4000
0
0.05
0.1
0.15
0.2
0.25
0.3

5.3. Metoda gradientului stohastic normalizat
(Metoda normalizat a minimizrii erorii medii ptratice -
LMS)
Poate fi privit ca o problem de optimizare cu constrngeri. Ne propunem s
determinm noile valori w(n+1) ale coeficienilor astfel nct s se minimizeze
norma euclidian a variaiei:
( ) ( ) ( ) n n n w w w + = + 1 1
cu condiia ca:
( ) ( ) ( ) n d n n
H
= + x w 1 (1) ( ) ( ) ( ) n d n n
H
= + x w 1 (1)
deci noii coeficieni s aib acele valori care, cu un tact mai nainte, ar fi anulat eroarea.
Vom constitui funcia cost real:
( ) ( ) ( ) ( ) ( ) | | { } n d n n n n J
H
+ + + = x w w 1 Re 1
2

care i atinge minimul odat cu ( ) 1 + n w dac este ndeplinit condiia (1)

5.3. Metoda gradientului stohastic normalizat
(Metoda normalizat a minimizrii erorii medii ptratice -
LMS)
( ) ( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) | |
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) n d n d n n n n
n n n n n n n n
n d n n n d n n
n n n n n J
H H
H H H H
H H
H H


+ + + + +
+ + + + + + =
= + + + +
+ + + =


1
1 1
1
1 1 1 1
1 1
2
1
1 1
w x x w
w w w w w w w w
w x x w
w w w w
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) n d n d n n n n
H H
+ + + + +
2
1
1 1
2
1
w x x w
5.3. Metoda gradientului stohastic normalizat
(Metoda normalizat a minimizrii erorii medii ptratice -
LMS)
Pentru a gsi vectorul w(n+1) ce minimizeaz aceast expresie vom aplica metoda
gradientului complex.
( )
( ) ( ) ( ) ( )
( )
( ) ( ) ( ) ( ) ( ) ( )
1
1
1 1 1
1 1
H
n
H H
n
n n n
n n n n n

+
+
+ + = +
+ + + =
w
w
w w w
w w w w w
( )
( ) ( ) ( ) ( ) ( ) ( )
( )
( ) ( ) ( ) ( ) ( ) ( )
1
1
1 1
1 1
n
H H
n
n n n n n
n n n n n

+
+ + + =
+ + + =
w
w
w w w w w
w x x w x

Rezult:
( )
( )
1
1
n
n

+
= +
w
w -
( )
n w +
( )
1
2
n x
( )
( ) ( ) ( )
1
1
1
2
n
n n n

+
= + =
w
0 w w x

5.3. Metoda gradientului stohastic normalizat
(Metoda normalizat a minimizrii erorii medii ptratice -
LMS)
se obine punnd condiia
( ) ( ) ( ) n d n n
H
= + x w 1
Pentru aceasta se nmulete la stnga cu x
H
(n) relaia:
( ) ( ) ( ) n n n x w w
2
1
1 = +


( ) ( ) ( ) ( ) ( ) ( ) ( )
( )
( ) ( ) ( ) ( )
( )
( ) n e
n
n n n d
n
n n n n n n n
H
H H H

= =
= = +
2 2
2
2 2
2
1
2
1
1
x
w x
x
x x x w x w x




5.3. Metoda gradientului stohastic normalizat
(Metoda normalizat a minimizrii erorii medii ptratice -
LMS)
Noii coeficieni se vor calcula deci cu formula:
( ) ( )
( )
( ) ( ) n e n
n
n n

+ = + x
x
w w
2
1
1
Se obinuiete s se introduc o scalare a pasului cu o constant , deci:

( ) ( )
( )
( ) ( ) n e n
n
n n

+ = + x
x
w w
2
1



Poate fi echivalat cu algoritmul gradientului stohastic pentru:
( )
( )
2
n
n
x

=
n care pasul este variabil.
Convergena n medie ptratic este asigurat dac:
2 0 < <

5.3. Metoda gradientului stohastic normalizat
(Metoda normalizat a minimizrii erorii medii ptratice -
LMS)
Evit prin normare amplificarea zgomotului gradientului, n expresia coeficienilor
w(n+1).
Apar n plus un numr de nmuliri i -1 adunri la calculul fiecrui coeficient, ca
urmare a necesitii evalurii lui ( )
2
n x . Eventual
( ) ( ) ( ) ( ) ( )
2 2 2
1
2 2
1 n x n x n x k n x n x

+ = =

( ) ( ) ( ) ( ) ( )
2 2 2
0
2 2
1 n x n x n x k n x n x
k
+ = =

=

Frecvent
( ) ( )
( )
( ) ( ) 0 ; 1
2
>
+
+ = +

a n e n
n a
n n x
x
w w



unde a este o constant mic, adugat pentru a evita mprirea prin zero.

5.4 Metoda gradientului pentru structuri latice (GAL)
Ne punem, pentru nceput, problema proiectrii unui predictor latice adaptiv.
Vor trebui deci optimizai coeficienii k
m
iar funcia cost poate fi definit pornind de la
eroarea de predicie direct, invers, sau compus.
S considerm o celul m a filtrului i s determinm k
m
aa nct s fie minimizat
eroarea medie ptratic de predicie, n forma compus,










( ) ( ) ( )
)
`

+ =
2 2
E n e n e n J
b
m
f
m m


z
-1
k
m
*
m
k
) (
1
n e
f
m

) (
1
n e
b
m

) (n e
b
m
5.4 Metoda gradientului pentru structuri latice (GAL)
Abordarea SD.
Conform metodei gradientului, va trebui luat k
m
(n+1),
( ) ( ) ( ) ( )
1
m m m m m
k n k n J n + =
Va trebui deci evaluat gradientul complex n raport cu k*
m
:
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) { }
( ) ( ) ( ) ( ) ( ) ( ) { }
n e n e n e n e n J
b b b b
f
m m
f
m
f
m
f
m m m m
+ +
+ + =


E

( ) ( ) ( ) ( ) ( ) ( ) { } n e n e n e n e
b
m m
b
m
b
m
b
m m
+ +

E

Vom folosind relaiile de recuren:
( ) ( ) ( )
( ) ( ) ( ) 1
1
1 1
1 1
+ =
+ =


n e n e k n e
n e k n e n e
b
m
f
m
m
b
m
b
m
m
f
m
f
m
(2)
i
m
r
m m
k k k j + =

5.4 Metoda gradientului pentru structuri latice (GAL)

( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( )
*
1 1 1
1 1
1 1
1 0
m
m
f f b b
m m m m m m
k
f f b
m m m m m
k
e n e n k e n e n
e n e n k e n




= + =
= + =

( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( )
1 1 1
1 1
1
1 0
m
m
b f b f
m m m m m m
k
b f b
m m m m m
k
e n k e n e n e n
e n k e n e n




= + =
= + =


( ) ( ) ( ) ( ) ( ) ( ) { }
1 1
E 1
f b b f
m m m m m
J n e n e n e n e n


= +
5.4 Metoda gradientului pentru structuri latice (GAL)
Rezult deci:
( ) ( ) ( ) ( ) ( ) ( ) { } n e n e n e n e n k n k
f
m
b
m
b
m
f
m m m m
1 1
1 E 1

+ = +
sau aplicnd (2)
( ) ( ) ( ) ( )
{ }
( ) ( ) { }
2 2
1 1
1 1
1 1 E 1
2 E 1
b f
m m m m m
f b
m m m
k n k n e n e n
e n e n


(
+ = +
(



Condiia de stabilitate este: Condiia de stabilitate este:

( ) ( ) 1 1 E 1
2
1
2
1
<
)
`

+

n e n e
f
m
b
m
m


( ) ( )
{ }
2 2
1 1
2
0
E 1
m
b f
m m
e n e n


< <
+



5.4 Metoda gradientului pentru structuri latice (GAL)
Abordarea LMS
Cum ns mediile statistice nu sunt n general cunoscute, se
prefer de obicei utilizarea gradientului stohastic, renunnd la
operaiile de mediere:

( ) ( ) ( ) ( ) ( ) ( ) { } n e n e n e n e n k n k
f
m
b
m
b
m
f
m m m m
1 1
1 E 1

+ = +


( ) ( ) ( ) ( ) ( ) ( ) ( ) n e n e n e n e n k n k
f
m
b
m
b
m
f
m m m m
1 1
1 1

+ = +

5.4 Metoda gradientului pentru structuri latice (GAL)
Abordarea LMS
Se poate utiliza un algoritm normalizat, normnd incrementul la
energia erorii de predicie compus, corespunztoare intrrilor celulei m:
( )
( )
1
m m
m
n
W n

= =
( ) ( ) ( )
{ }
2 2
( ) ( ) ( )
{ }
2 2
1 1 1
1
f b
m m m
W n E e n e n

= +

5.4 Metoda gradientului pentru structuri latice (GAL)
Aproximativ
( ) ( ) ( )
( ) ( ) ( ) ( )
( )
2 2
1 1 1
1
2 2
1 1 1
1
1
1
1 1 1
n
f b
m m m
i
f b
m m m
W n e i e i
n
n W n e n e n
n

=

(
+ =
(

= + +



Uneori se introduce un parametru 0<<1, care permite alocarea unor ponderi
diferite pentru eantioanele precedente i cele actuale:
( ) ( ) ( ) ( ) ( )
|
|

\
|
+ + =


2
1
2
1
1 1
1 1 1 n e n e n W n W
b
m
f
m
m m

5.5 Algoritmul LMS pentru structuri latice-scar
Algoritmul GAL permitea obinerea unui predictor. Pentru a obine un Filtru adaptiv
se adaug o structur n scar.







1
k

k
2
k
x(n)
) (
0
n e
f

) (
0
n e
b

) (
1
n e
b

) (
1
n e
f
) (
2
n e
f
) (
2
n e
b
) (n e
b

) (n e
f










) (
0
n e
b

) (
1
n e
) (
2
n e ) (n e

( ) n h

0

( ) n h

1

( ) n h

2
( ) n h


( ) n y
5.5 Algoritmul LMS pentru structuri latice-scar
Abordarea SD

Punem condiia ca ieirea s estimeze ct mai corect un semnal dorit d(n).
( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( )
T
b

b b
o
b

n e n e n e n
n h n h n h n
, , ,
, , ,
1
1 0

=
=
e
h

( ) ( ) ( ) ( ) ( ) ( ) n n n d n y n d n e
b

H
e h = =
Coeficienii k
i
se calculeaz cu algoritmul GAL, iar h
i
din condiia minimizrii
funciei cost
( ) ( ) { }
2
E n e n J =

5.5 Algoritmul LMS pentru structuri latice-scar
Conform ecuaiei Wiener-Hopf, coeficienii optimi sunt dai de
ed o e
r h R =
unde
( ) ( ) { } ( ) ( ) { } n d n n n
b
ed
bH

b
e

= = e r e e R E ; E
n cazul coeficienilor k
i
optimi, ieirile laticei sunt ortogonale, n cazul coeficienilor k
i
optimi, ieirile laticei sunt ortogonale,
( ) ( ) { }
( )

= =
|
|

\
|

=

l r J n e
l r
n e n e
b
r
b
r
b
l
b
r
, E
, 0
E
2

{ }
b

b b
e
J J J , , , diag
1 0
= R
( ) ( ) { } n d n e
J
h
b
k
b
k
k o

= E
1
,


5.5 Algoritmul LMS pentru structuri latice-scar
Pentru un algoritm recursiv, recurgem la metoda gradientului. n varianta SD:
( ) ( ) ( ) 1

n n J n + = h h
( ) ( ) ( )
ed e
J n n = + = r R h
( ) ( ) { } ( ) ( ) { } ( )
E E
b b bH

n d n n n n

= + e e e h

Abordarea LMS

Cum valorile medii nu sunt n general cunoscute, aplicm metoda gradientului stohastic (LMS),
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )

b b bH b

J n n d n n n n n e n

= + = e e e h e



( ) ( ) ( ) ( ) n n e n n
b

e h h

+ = + 1
5.5 Algoritmul LMS pentru structuri latice-scar
Variant pentru generarea erorii de estimare.






1
k

k
2
k
x(n)
) (
0
n e
f

) (
0
n e
b

) (
1
n e
b

) (
1
n e
f
) (
2
n e
f
) (
2
n e
b
) (n e
b

) (n e
f












Avantaj: convergen mai rapid, datorit decorelrii datelor, de ctre structura
latice.
Dezavantaj: complexitate aritmetic mai ridicat


) (
0
n e
b

) (
1
n e
b
) (
2
n e
b
) (n e
b

( ) n h

0

( ) n h

1

( ) n h

2
( ) n h


( ) n e
d (n)

S-ar putea să vă placă și