Documente Academic
Documente Profesional
Documente Cultură
TAPDS 2013 - Curs 5 - 390
TAPDS 2013 - Curs 5 - 390
.
, ,...,
T
z
J J J
J
z z z
(
=
(
0 1 1
, ,...,
z
J
z z z
=
(
1 1
j , j ,
2 2
i
i i i
i i i i i
J J J J J J
z a b
z a b z a b
| | | |
= = + = +
| |
\ \
H
=
H
=
H
=
z
H
=
H
=
H
=
5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
1. - Se pornete de la o valoare iniial a coeficienilor ( ) 0 w
(eventual ( ) 0 w = 0 ).
2. - Se evalueaz direcia pantei maxime de cretere n jurul
acestui punct pe suprafaa ( ) w J . Aceasta este exprimat
prin gradientul complex
( ) ( )
J
w
w .
3. - Se reactualizeaz coeficienii printr-o deplasare pe 3. - Se reactualizeaz coeficienii printr-o deplasare pe
direcia pantei descendente maxime. Aceasta este
echivalent cu o deplasare pe direcia opus gradientului
cu un pas
+
R , :
( ) ( ) ( ) ( )
1 n n J n + = w w
4. - Se reia procedeul din punctul 2.
5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
( ) ( ) ( ) ( ) | | n w n w n w n
1 1 0
, , ,
= w
( ) ( ) ( )
J n n
= +
w
p Rw
( ) ( ) ( ) ( )
1 n n J n + = w w ( ) ( ) ( ) ( ) n n n Rw p w w + = + 1
5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Analiza stabilitii algoritmului
Vom introduce vectorul eroare a coeficienilor,
( ) ( ) p Rw w w c = =
o o
n n ,
( ) ( ) ( ) ( ) n n n Rw p w w + = + 1 ( ) ( ) ( ) n n c R I c = +1 ( ) ( ) ( ) ( ) n n n Rw p w w + = + 1 ( ) ( ) ( ) n n c R I c = +1
( ) ( ) ( ) n n
H
c Q Q I c = +1
5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Analiza stabilitii algoritmului
( ) ( ) ( ) n n
H
c Q Q I c = +1
( ) ( ) ( ) n n
H H
c Q I c Q = +1
Vom introduce vectorul eroare rotit, v(n),
( ) ( ) ( ) ( )
o
H H
n n n w w Q c Q v = =
( ) ( ) ( ) n n
H H
c Q I c Q = +1 ( ) ( ) ( ) n n v I v = +1
5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Analiza stabilitii algoritmului
Condiii iniiale:
( ) ( ) ( )
o
H
w w Q v = 0 0
( ) ( ) ( ) k n v n v
k k k
, , 2 , 1 , 1 1 = = +
( ) ( ) ( ) 0 1
k
n
k k
v n v =
Stabilitatea schemei, deci convergena algoritmului impune ca
v (n) s tind la 0 cnd . Pentru aceasta este necesar i v
k
(n) s tind la 0 cnd n . Pentru aceasta este necesar i
suficient ca:
k
k
, 2 , 1 ,
2
0 sau 1 1
k
= < < <
max
2
0
< <
max
2
0
< <
5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Analiza convergenei
+
R
k
v
k
(n) va descrete ctre 0 fr oscilaii. Distingem cazurile:
a) ( ) n v
k
k
k
< < < <
1
0 sau 1 0 descresc uniform
( ) n v
k
( ) n v
k
( ) 0
k
v ( ) 0
k
v
n
n
( ) ( )
( )
k
k k
n
k
v n v
k
= =
1 ln
1
, 0 e
/
5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Analiza convergenei
b)
k k
k
2 1
0 1 1 < < < < sau - ir alternat
( ) ( ) ( )
( ) 1 ln
1
, 0 1 e
/
= =
k
k k
n n
k
v n v
k
( ) n v
k
( ) n v
k
( ) 0 v ( ) 0 v ( ) 0
k
v ( ) 0
k
v
n
n
5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Analiza convergenei
c) ( ) 1 , 0 0 1 = = n n v
k k
( ) ( )
( )
/
e 0 ,
1
, sgn 1
ln 1
k
n n
k k k
k k k
k
v n s v
s
=
= =
Coeficienii w
k
(n) se pot exprima sub forma
( ) ( ) ( )
( ) ( )( ) ( ) ( ) ( )
=
=
=
+ = + =
+ = + =
k
n n
k
k ik oi
k
n
k k ik oi i
k
k k o o
k
s v q w v q w n w
n v n n
1 1
1
e 0 1 0
q w Qv w w
5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Analiza convergenei
( ) ( ) ( )
( ) ( )( ) ( ) ( ) ( )
=
=
=
+ = + =
+ = + =
k
n n
k
k ik oi
k
n
k k ik oi i
k
k k o o
k
s v q w v q w n w
n v n n
1 1
1
e 0 1 0
q w Qv w w
Convergena coeficienilor are loc dup o sum ponderat
de exponeniale.
Se obine viteza de convergen maxim atunci cnd q
ik
v
k
[0]
sunt nuli, pentru toi k, exceptnd valoarea corespunztoare lui
Max
.
Dac nu sunt precizate condiiile iniiale, n cazul cel mai
defavorabil, viteza de convergen este determinat de
min
.
5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Analiza convergenei
1 0 ,
1
max
< < = r r
( ) ( )
=
|
|
\
|
|
|
\
|
+ =
k
n
k
k ik oi i
r v q w n w
1
max
1 0
=
|
\
|
\
k 1
max
Termenul cel mai lent descresctor este acela care conine factorul
n
r
|
|
\
|
max
min
1
R ru condiionat (raport
Max
/
min
mare) convergen lent.
5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Curba de nvare
( ) ( ) { }
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) n n n e n n n n n d n n n d n e
n e n J
H
o
H H
o
H
x c x c x w x w = = =
=
2
E
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) n n n e n n n n n d n n n d n e
o o
x c x c x w x w = = =
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) { } ( ) ( ) { }
( ) ( ) ( ) { } ( ) ( ) ( ) { } ( ) ( ) ( ) ( ) { } n n n n n e n n n n n e
n e n e n n n e n n n e n J
H H
o
H H
o
o o
H
o
H
o
c x x c x c c x
c x x c
E E E
E E
+
= =
c[n] este determinist, e
o
satisface principiul ortogonalitii
( ) ( ) ( ) n n J n J
H
Rc c + =
min
5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Curba de nvare
( ) ( ) ( ) n n J n J
H
Rc c + =
min
sau
( ) ( ) ( ) ( ) ( ) n n J n n J n J
H H H
v v c Q Q c + = + =
min min
sau scalar:
( ) ( ) ( ) ( )
( )
= =
+ =
= + = + =
k
k
n
k
k
k
n
k k
k
k k
v J
v J n v J n J
k
1
2
2
min
1
2
2
min
1
2
min
0 e
0 1
Curba obinut reprezentnd J(n) este curba de nvare a
algoritmului. Indiferent de condiiile iniiale v
k
(0), eroarea medie
ptratic tinde ctre J
min
dac este ndeplinit condiia de stabilitate.
5.1 Metoda pantei descendente maxime (Steepest Descent - SD)
Curba de nvare
( ) ( ) ( ) n v n v J n J
2
2 2
2
1 1 min
2 + = =
Interseciile cu plane J=const sunt elipse cu semiaxele
( ) ( )
2 1
2
min
2 1
1
min
,
|
|
\
|
=
|
|
\
|
=
J n J
b
J n J
a
5.2 Algoritmul gradientului stohastic
(LMS)
n cazul metodei SD ajustarea coeficienilor se face pe baza gradientului erorii
medii ptratice:
( ) ( ) ( ) ( ) ( ) { } ( ) ( ) { }
; E ; E
H
J n n n n n d n
= + = = p Rw R x x p x
Mediile statistice n general nu sunt ns cunoscute. Se recurge la o estimare a
gradientului utiliznd nite valori estimate pentru cele dou matrice renunnd
la operaiile de mediere statistic: la operaiile de mediere statistic:
( ) ( ) ( ) ( ) ( ) ( ) n d n n n n n
H
= = x p x x R ;
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )
H
J n n d n n n n n e n
= + = x x x w x
( ) ( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) n e n n n
n n n d n n n
H
+ = +
+ = +
x w w
w x x w w
1
1
5.2 Algoritmul gradientului stohastic
(LMS)
x(n)
x
H
(n)
( ) n d
( ) ( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) n e n n n
n n n d n n n
H
+ = +
+ = +
x w w
w x x w w
1
1
w(n)
w(n+1)
( ) n e
1
z
5.2 Algoritmul gradientului stohastic
(LMS)
( ) 0 w = 0
, 2 , 1 , 0 for = n
( ) ( ) ( ) n n n y
H
x w =
( ) ( ) ( ) n y n d n e = ( ) ( ) ( ) n y n d n e =
( ) ( ) ( ) ( ) n e n n n
+ = + x w w 1
end
5.2 Algoritmul gradientului stohastic
(LMS)
Observaii
- Complexitate aritmetic: 2N+1 nmuliri i 2N adunri
pentru fiecare iteraie
- Avnd n vedere criteriul de optimizare se ntlnete n
limba englez sub denumirea Least Mean Square (LMS). limba englez sub denumirea Least Mean Square (LMS).
- Fiind calculat de fiecare dat utiliznd setul de eantioane
x[n], ce au un caracter aleator, fr a efectua o mediere,
gradientul estimat va avea de asemenea un caracter aleator.
- nmulirile cu x[n] din schema algoritmului dau acestuia
un caracter neliniar
5.2 Algoritmul gradientului stohastic
(LMS)
Analiza convergenei
Probleme de convergen
- Tinde valoarea medie a vectorului w(n) ctre w
o
atunci cnd
n ? n caz afirmativ, se zice c algoritmul este convergent n
medie. medie.
- Tinde J(n) ctre o valoare finit atunci cnd n ? In caz
afirmativ se spune c algoritmul este convergent n medie
ptratic.
5.2 Algoritmul gradientului stohastic
(LMS)
Ipoteze de independen:
- ( ) ( ) ( ) n x x x , , 2 , 1 sunt statistic independeni.
- x(n) i d(n) sunt statistic independente fa de d(1),...,d(n-1).
- vectorul de intrare x(n) i d(n) formeaz mpreun un set
de variabile aleatoare gaussiene.
Datorit lipsei medierii n calculul gradientului apare un zgomot de gradient
( ) ( ) ( ) ( ) ( ) n n J n J + =
( ) ( ) ( ) ( ) ( ) { }
( ) ( ) ( ) ( ) { } ( )
E E n J n J n n e n n e n
= = x x
( ) { } 0 = n E
5.2 Algoritmul gradientului stohastic
(LMS)
Pe de alt parte, relaia de reactualizare a coeficienilor devine
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )
1 n n J n n n n n + = + = + w w w p Rw
( ) ( ) ( ) ( ) ( )
1
o o o
n n n n + + = + + w c w c p Rw Rc
( ) ( ) ( ) ( )
1 n n n + = c I R c
( ) ( ) ( ) ( )
1
H
n n n + = v I v Q
( ) ( ) ( ) ( )
1 n n n + = v I v Q
( ) { } ( ) ( ) { } n n v I v E 1 E = +
5.2 Algoritmul gradientului stohastic
(LMS)
Avnd n vedere analogia formal dintre aceast ecuaie i cea corespunztoare n cazul
algoritmului SD, concluziile trase acolo pentru vectorul eroare a coeficienilor se pot transpune
aici pentru media acestui vector. Algoritmul LMS este convergent n medie dac:
max
2
0
< <
w
k
(0)
w
k
(n)
w
0
n
5.2 Algoritmul gradientului stohastic
(LMS)
Analiza convergenei n medie ptratic
( ) ( ) ( ) ( ) ( ) { } n n n n J n J
H H
c x x c E
min
+ =
( ) ( ) ( ) ( ) { } ( ) ( ) ( ) ( ) { } { } ( ) ( ) ( ) ( ) { } { }
( ) ( ) { } ( ) ( ) { } { } ( ) { } n n n n n
n n n n n n n n n n n n
H H
H H H H H H
RC c c x x
c c x x c x x c c x x c
tr E E tr
tr E tr E E
= =
= = =
( ) ( ) { } ( ) ( ) { } { } ( ) { } n n n n n RC c c x x tr E E tr = =
( ) ( ) ( ) { } n n n
H
c c C E =
( ) ( ) { } ( ) n J J n J n J
ex
+ = + =
min min
tr RC
5.2 Algoritmul gradientului stohastic
(LMS)
( ) ( ) { } ( ) n J J n J n J
ex
+ = + =
min min
tr RC
unde J
ex
(n) reprezint o eroare n exces.
( ) ( ) { } ( ) { } ( ) { } n J n J n J n J
H H
K Q C Q C Q Q tr tr tr
min min min
+ = + = + =
unde
( ) ( ) ( ) { } ( )Q C Q v v K n n n n
H H
= = E ( ) ( ) ( ) { } ( )Q C Q v v K n n n n
H H
= = E
( ) ( )
=
=
i
ii i ex
n k n J
1
n raport cu filtrul optimal, apare deci o eroare medie ptratic suplimentar, sau n
exces, notat cu J
ex
, ce poate fi pus pe seama zgomotului de gradient. Pentru
evaluarea sa sunt necesari termenii de pe diagonala principal a matricei K(n).
5.2 Algoritmul gradientului stohastic
(LMS)
( ) ( ) ( ) n J J n J
tr ex ex
+ =
Comp. staionar Comp.tranzitorie
Comp. staionar Comp.tranzitorie
( )
=
=
=
i
i
i
i
i
i
ex
J J
1
1
min
2
1
2
5.2 Algoritmul gradientului stohastic
(LMS)
Se definete dezadaptarea (misadjustment) prin
( )
=
=
=
i
i
i
i
i
i
ex
J
J
M
1
1
min
2
1
2
=
i
i
1
2
Pentru
max
2
<<
( )
= =
= = =
i
i
i
i
M
1
med med
1
1
unde ,
2
0
2 2
5.2 Algoritmul gradientului stohastic
(LMS)
Are n general o tendin de scdere cu micorarea pasului , de
cretere cu ordinul filtrului N, i e proporional cu puterea medie a
semnalului de intrare.
Componenta tranzitorie
( )
0
tr
J n cnd n dac
1
2
2
0
max
<
< <
=
i
i
2
1
max
= i
i
Dac 1 0 << < ambele condiii sunt ndeplinite dac
=
< <
j
j
1
2
0
5.2 Algoritmul gradientului stohastic
(LMS)
( ) ( ) ( ) ( ) { } 1 , , 1 , 0 , E 0 , 0
1
= = = =
=
k P k n x k n x r r
x
j
j
P
x
reprezint puterea secvenei ( ), n x deci o form simplificat a condiiei de
convergen este:
x
x
P
M
P 2
;
2
0
= < <
Se poate introduce o constant de timp medie:
med
med
2
1
=
care caracterizeaz viteza de scdere a prii tranzitorii a erorii.
Se constat c dac este mic, constanta de timp e mare, conducnd la o
adaptare lent, dar dezadaptarea este mic.
x
Exemplu efectul valorii pasului
0.3
0.35
0.4
0.45
0.5
Identificare de sistem-curba de invatare
min=0,3
miu=0,03
0 500 1000 1500 2000 2500 3000 3500 4000
0
0.05
0.1
0.15
0.2
0.25
0.3
5.3. Metoda gradientului stohastic normalizat
(Metoda normalizat a minimizrii erorii medii ptratice -
LMS)
Poate fi privit ca o problem de optimizare cu constrngeri. Ne propunem s
determinm noile valori w(n+1) ale coeficienilor astfel nct s se minimizeze
norma euclidian a variaiei:
( ) ( ) ( ) n n n w w w + = + 1 1
cu condiia ca:
( ) ( ) ( ) n d n n
H
= + x w 1 (1) ( ) ( ) ( ) n d n n
H
= + x w 1 (1)
deci noii coeficieni s aib acele valori care, cu un tact mai nainte, ar fi anulat eroarea.
Vom constitui funcia cost real:
( ) ( ) ( ) ( ) ( ) | | { } n d n n n n J
H
+ + + = x w w 1 Re 1
2
care i atinge minimul odat cu ( ) 1 + n w dac este ndeplinit condiia (1)
5.3. Metoda gradientului stohastic normalizat
(Metoda normalizat a minimizrii erorii medii ptratice -
LMS)
( ) ( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) | |
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) n d n d n n n n
n n n n n n n n
n d n n n d n n
n n n n n J
H H
H H H H
H H
H H
+ + + + +
+ + + + + + =
= + + + +
+ + + =
1
1 1
1
1 1 1 1
1 1
2
1
1 1
w x x w
w w w w w w w w
w x x w
w w w w
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) n d n d n n n n
H H
+ + + + +
2
1
1 1
2
1
w x x w
5.3. Metoda gradientului stohastic normalizat
(Metoda normalizat a minimizrii erorii medii ptratice -
LMS)
Pentru a gsi vectorul w(n+1) ce minimizeaz aceast expresie vom aplica metoda
gradientului complex.
( )
( ) ( ) ( ) ( )
( )
( ) ( ) ( ) ( ) ( ) ( )
1
1
1 1 1
1 1
H
n
H H
n
n n n
n n n n n
+
+
+ + = +
+ + + =
w
w
w w w
w w w w w
( )
( ) ( ) ( ) ( ) ( ) ( )
( )
( ) ( ) ( ) ( ) ( ) ( )
1
1
1 1
1 1
n
H H
n
n n n n n
n n n n n
+
+ + + =
+ + + =
w
w
w w w w w
w x x w x
Rezult:
( )
( )
1
1
n
n
+
= +
w
w -
( )
n w +
( )
1
2
n x
( )
( ) ( ) ( )
1
1
1
2
n
n n n
+
= + =
w
0 w w x
5.3. Metoda gradientului stohastic normalizat
(Metoda normalizat a minimizrii erorii medii ptratice -
LMS)
se obine punnd condiia
( ) ( ) ( ) n d n n
H
= + x w 1
Pentru aceasta se nmulete la stnga cu x
H
(n) relaia:
( ) ( ) ( ) n n n x w w
2
1
1 = +
( ) ( ) ( ) ( ) ( ) ( ) ( )
( )
( ) ( ) ( ) ( )
( )
( ) n e
n
n n n d
n
n n n n n n n
H
H H H
= =
= = +
2 2
2
2 2
2
1
2
1
1
x
w x
x
x x x w x w x
5.3. Metoda gradientului stohastic normalizat
(Metoda normalizat a minimizrii erorii medii ptratice -
LMS)
Noii coeficieni se vor calcula deci cu formula:
( ) ( )
( )
( ) ( ) n e n
n
n n
+ = + x
x
w w
2
1
1
Se obinuiete s se introduc o scalare a pasului cu o constant , deci:
( ) ( )
( )
( ) ( ) n e n
n
n n
+ = + x
x
w w
2
1
Poate fi echivalat cu algoritmul gradientului stohastic pentru:
( )
( )
2
n
n
x
=
n care pasul este variabil.
Convergena n medie ptratic este asigurat dac:
2 0 < <
5.3. Metoda gradientului stohastic normalizat
(Metoda normalizat a minimizrii erorii medii ptratice -
LMS)
Evit prin normare amplificarea zgomotului gradientului, n expresia coeficienilor
w(n+1).
Apar n plus un numr de nmuliri i -1 adunri la calculul fiecrui coeficient, ca
urmare a necesitii evalurii lui ( )
2
n x . Eventual
( ) ( ) ( ) ( ) ( )
2 2 2
1
2 2
1 n x n x n x k n x n x
+ = =
( ) ( ) ( ) ( ) ( )
2 2 2
0
2 2
1 n x n x n x k n x n x
k
+ = =
=
Frecvent
( ) ( )
( )
( ) ( ) 0 ; 1
2
>
+
+ = +
a n e n
n a
n n x
x
w w
unde a este o constant mic, adugat pentru a evita mprirea prin zero.
5.4 Metoda gradientului pentru structuri latice (GAL)
Ne punem, pentru nceput, problema proiectrii unui predictor latice adaptiv.
Vor trebui deci optimizai coeficienii k
m
iar funcia cost poate fi definit pornind de la
eroarea de predicie direct, invers, sau compus.
S considerm o celul m a filtrului i s determinm k
m
aa nct s fie minimizat
eroarea medie ptratic de predicie, n forma compus,
( ) ( ) ( )
)
`
+ =
2 2
E n e n e n J
b
m
f
m m
z
-1
k
m
*
m
k
) (
1
n e
f
m
) (
1
n e
b
m
) (n e
b
m
5.4 Metoda gradientului pentru structuri latice (GAL)
Abordarea SD.
Conform metodei gradientului, va trebui luat k
m
(n+1),
( ) ( ) ( ) ( )
1
m m m m m
k n k n J n + =
Va trebui deci evaluat gradientul complex n raport cu k*
m
:
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) { }
( ) ( ) ( ) ( ) ( ) ( ) { }
n e n e n e n e n J
b b b b
f
m m
f
m
f
m
f
m m m m
+ +
+ + =
E
( ) ( ) ( ) ( ) ( ) ( ) { } n e n e n e n e
b
m m
b
m
b
m
b
m m
+ +
E
Vom folosind relaiile de recuren:
( ) ( ) ( )
( ) ( ) ( ) 1
1
1 1
1 1
+ =
+ =
n e n e k n e
n e k n e n e
b
m
f
m
m
b
m
b
m
m
f
m
f
m
(2)
i
m
r
m m
k k k j + =
5.4 Metoda gradientului pentru structuri latice (GAL)
( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( )
*
1 1 1
1 1
1 1
1 0
m
m
f f b b
m m m m m m
k
f f b
m m m m m
k
e n e n k e n e n
e n e n k e n
= + =
= + =
( ) ( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( )
1 1 1
1 1
1
1 0
m
m
b f b f
m m m m m m
k
b f b
m m m m m
k
e n k e n e n e n
e n k e n e n
= + =
= + =
( ) ( ) ( ) ( ) ( ) ( ) { }
1 1
E 1
f b b f
m m m m m
J n e n e n e n e n
= +
5.4 Metoda gradientului pentru structuri latice (GAL)
Rezult deci:
( ) ( ) ( ) ( ) ( ) ( ) { } n e n e n e n e n k n k
f
m
b
m
b
m
f
m m m m
1 1
1 E 1
+ = +
sau aplicnd (2)
( ) ( ) ( ) ( )
{ }
( ) ( ) { }
2 2
1 1
1 1
1 1 E 1
2 E 1
b f
m m m m m
f b
m m m
k n k n e n e n
e n e n
(
+ = +
(
Condiia de stabilitate este: Condiia de stabilitate este:
( ) ( ) 1 1 E 1
2
1
2
1
<
)
`
+
n e n e
f
m
b
m
m
( ) ( )
{ }
2 2
1 1
2
0
E 1
m
b f
m m
e n e n
< <
+
5.4 Metoda gradientului pentru structuri latice (GAL)
Abordarea LMS
Cum ns mediile statistice nu sunt n general cunoscute, se
prefer de obicei utilizarea gradientului stohastic, renunnd la
operaiile de mediere:
( ) ( ) ( ) ( ) ( ) ( ) { } n e n e n e n e n k n k
f
m
b
m
b
m
f
m m m m
1 1
1 E 1
+ = +
( ) ( ) ( ) ( ) ( ) ( ) ( ) n e n e n e n e n k n k
f
m
b
m
b
m
f
m m m m
1 1
1 1
+ = +
5.4 Metoda gradientului pentru structuri latice (GAL)
Abordarea LMS
Se poate utiliza un algoritm normalizat, normnd incrementul la
energia erorii de predicie compus, corespunztoare intrrilor celulei m:
( )
( )
1
m m
m
n
W n
= =
( ) ( ) ( )
{ }
2 2
( ) ( ) ( )
{ }
2 2
1 1 1
1
f b
m m m
W n E e n e n
= +
5.4 Metoda gradientului pentru structuri latice (GAL)
Aproximativ
( ) ( ) ( )
( ) ( ) ( ) ( )
( )
2 2
1 1 1
1
2 2
1 1 1
1
1
1
1 1 1
n
f b
m m m
i
f b
m m m
W n e i e i
n
n W n e n e n
n
=
(
+ =
(
= + +
Uneori se introduce un parametru 0<<1, care permite alocarea unor ponderi
diferite pentru eantioanele precedente i cele actuale:
( ) ( ) ( ) ( ) ( )
|
|
\
|
+ + =
2
1
2
1
1 1
1 1 1 n e n e n W n W
b
m
f
m
m m
5.5 Algoritmul LMS pentru structuri latice-scar
Algoritmul GAL permitea obinerea unui predictor. Pentru a obine un Filtru adaptiv
se adaug o structur n scar.
1
k
k
2
k
x(n)
) (
0
n e
f
) (
0
n e
b
) (
1
n e
b
) (
1
n e
f
) (
2
n e
f
) (
2
n e
b
) (n e
b
) (n e
f
) (
0
n e
b
) (
1
n e
) (
2
n e ) (n e
( ) n h
0
( ) n h
1
( ) n h
2
( ) n h
( ) n y
5.5 Algoritmul LMS pentru structuri latice-scar
Abordarea SD
Punem condiia ca ieirea s estimeze ct mai corect un semnal dorit d(n).
( ) ( ) ( ) ( ) ( )
( ) ( ) ( ) ( ) ( )
T
b
b b
o
b
n e n e n e n
n h n h n h n
, , ,
, , ,
1
1 0
=
=
e
h
( ) ( ) ( ) ( ) ( ) ( ) n n n d n y n d n e
b
H
e h = =
Coeficienii k
i
se calculeaz cu algoritmul GAL, iar h
i
din condiia minimizrii
funciei cost
( ) ( ) { }
2
E n e n J =
5.5 Algoritmul LMS pentru structuri latice-scar
Conform ecuaiei Wiener-Hopf, coeficienii optimi sunt dai de
ed o e
r h R =
unde
( ) ( ) { } ( ) ( ) { } n d n n n
b
ed
bH
b
e
= = e r e e R E ; E
n cazul coeficienilor k
i
optimi, ieirile laticei sunt ortogonale, n cazul coeficienilor k
i
optimi, ieirile laticei sunt ortogonale,
( ) ( ) { }
( )
= =
|
|
\
|
=
l r J n e
l r
n e n e
b
r
b
r
b
l
b
r
, E
, 0
E
2
{ }
b
b b
e
J J J , , , diag
1 0
= R
( ) ( ) { } n d n e
J
h
b
k
b
k
k o
= E
1
,
5.5 Algoritmul LMS pentru structuri latice-scar
Pentru un algoritm recursiv, recurgem la metoda gradientului. n varianta SD:
( ) ( ) ( ) 1
n n J n + = h h
( ) ( ) ( )
ed e
J n n = + = r R h
( ) ( ) { } ( ) ( ) { } ( )
E E
b b bH
n d n n n n
= + e e e h
Abordarea LMS
Cum valorile medii nu sunt n general cunoscute, aplicm metoda gradientului stohastic (LMS),
( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( )
b b bH b
J n n d n n n n n e n
= + = e e e h e
( ) ( ) ( ) ( ) n n e n n
b
e h h
+ = + 1
5.5 Algoritmul LMS pentru structuri latice-scar
Variant pentru generarea erorii de estimare.
1
k
k
2
k
x(n)
) (
0
n e
f
) (
0
n e
b
) (
1
n e
b
) (
1
n e
f
) (
2
n e
f
) (
2
n e
b
) (n e
b
) (n e
f
Avantaj: convergen mai rapid, datorit decorelrii datelor, de ctre structura
latice.
Dezavantaj: complexitate aritmetic mai ridicat
) (
0
n e
b
) (
1
n e
b
) (
2
n e
b
) (n e
b
( ) n h
0
( ) n h
1
( ) n h
2
( ) n h
( ) n e
d (n)