399

Anexa: Axiomele probabilitii

Fie interpretarea frecvenial a probabilitii evenimentului A:
n
n
A P
A
) ( (A.1)
Atunci:
(1) n mod evident, P(A) 0 ntruct n
A
0 i n > 0.
(2) P(S) = 1 deoarece S (evenimentul sigur) se produce la fiecare
ncercare; astfel n
S
= n.
(3) Dac evenimentele A i B sunt mutual exclusive, AB = 0, atunci n
A+B
= n
A
+ n
B
(dac are loc A + B atunci are loc fie A, fie B, dar nu
amndou o dat). Astfel:
P(B) P(A) B) P(A + + = +
+
n
n
n
n
n
n
B A B A
(A.2)


Anexa: Proprietile funciei distribuie de probabilitate

Funcia de distribuie de probabilitate, F
x
(a), are urmtoarele proprieti:
(1) F
x
(-) = 0;
(2) F
x
(+) = 1;
(3) Dac a
1
, a
2
R, cu a
1
< a
2
atunci F
x
(a
1
) F
x
(a
2
) (funcie monoton
nedescresctoare);
(4) F
x
(a) =

=
+
+
) ( . . ), ( ) (
) ( . . ), (
R a n continu ie func continu a v x pentru a F a F
dreapta la continu ie func discret a v x pentru a F
x x
x

(5) Pentru a
1
, a
2
R, cu a
1
< a
2
avem P(a
1
< x a
2
) = F
x
(a
2
) - F
x
(a
1
);
(6) P(x > a) = 1 - F
x
(a), a R;
(7) P(x = a) =

continu a v x pentru
discret a v x pentru a F a F
x x
. . , 0
. . ), ( ) (

Demonstraii:
(1) F
x
(-) = P{ | x() -} = P() = 0;
(2) F
x
(+) = P{ | x() +} = P(S) = 1;
Anexe
400
(3) Dac a
1
< a
2
atunci submulimea (-,a
1
] (-,a
2
]. n mod corespunztor,
evenimentul { | x() a
1
} { | x() a
2
} ntruct x() a
1
implic x()
a
2
. Prin urmare:
F
x
(a
1
)

=P{x() a
1
} P{x() a
2
}

=F
x
(a
2
)
ceea ce implic faptul c funcia de distribuie de probabilitate este non-
negativ i nedescresctoare.
(4) F
x
(a
+
) = F
x
(a), pentru orice aR (funcie continu la dreapta)
demonstraia pentru aceast relaie presupune folosirea unor noiuni ce
nu au fost introduse n aceast carte; din acest motiv, o lsm ca
exerciiu pentru acas pentru cei care doresc aprofundarea noiunii.
(5) Pentru a
1
, a
2
R, cu a
1
< a
2
avem:
P{a
1
< x a
2
} = F
x
(a
2
) - F
x
(a
1
)
Evenimentele {x() a
1
} i {a
1
< x() a
2
} sunt evenimente mutual
exclusive iar reuniunea lor formeaz evenimentul {x() a
2
}:
{x() a
1
}{a
1
< x() a
2
}={x() a
2
}
P({x() a
1
}{a
1
< x() a
2
}) = P{x() a
1
} + P{a
1
< x() a
2
} =
P{x() a
2
}
F
x
(x
1
) + P{a
1
< x() a
2
} = F
x
(a
2
) P{a
1
< x() a
2
} = F
x
(a
2
)- F
x
(a
1
).
(6) Din urmtoarele relaii:

= >
>
S a x a x
disjuncte evenimente sunt a x i a x
} ) ( { } ) ( {
} ) ( { } ) ( {


) ( }) ) ( { } ) ( ({ S P a x a x P = >
1 } ) ( { } ) ( { = > + a x P a x P
( ) = > + 1 } ) ( { a x P a F
x

( ) a F a x P
x
= > 1 } ) ( {
(7) Fie a
1
= a- i a
2
= a, cu a, R i > 0. Atunci:
} ) ( { lim
0
a x a P <

= = = } ) ( { a x P

= =

)] ( ) ( [ lim
0

a F a F
x x


= =

) ( lim ) (
0

a F a F
x x

) ( ) (

= a F - a F
x x

401
n cazul v.a. continue, conform proprietii (4) avem c
) ( ) ( ) (
+
= = a F a F a F
x x x
, de unde rezult, nlocuind n relaia de mai sus c:
0 ) ( ) ( } ) ( { lim
0
= = <

a F - a F a a a P
x x

Anexa: Axiomele probabilitii

Probabilitatea condiionat, P(A|B), ndeplinete axiomele probabilitii:
(1) P(A|B) 0;
(2) P(S |B) = 1;
(3) P(A+C|B) = P(A |B) + P(C|B), pentru A i C evenimente disjuncte.
fiind astfel, ntr-adevr, tot o probabilitate.
Demonstraie:
(1) Din definiia probabilitii condiionate avem c:
) (
) (
) | (
B P
AB P
B A P =
(A.3)
iar din proprietile probabilitii avem:
P(AB)0 i P(B) 0 P(A|B) 0 (A.4)
(2) Deoarece B S (evenimentul sigur) evenimentul SB = B, de unde
obinem:
. 1
) (
) (
) (
) (
) | ( = = =
B P
B P
B P
SB P
B S P
(A.5)
(3) Din ipoteza c A i C sunt evenimente disjuncte vom avea c i
evenimentele AB i CB sunt disjuncte. n aceste condiii:
). | ( ) | (
) (
) ( ) (
) (
) (
) (
] ) [(
) | ( B C P B A P
B P
CB P AB P
B P
CB AB P
B P
B C A P
B C A P + =
+
=
+
=
+
= +
(A.6)


Anexa: Regula multiplicrii/factorizrii/lanului

Dac A
1
, A
2
, ..., A
n
sunt evenimente ce se pot realiza simultan atunci se
poate aplica regula multiplicrii:
402
) ( ) | ( ) | ( ) (
1 1 2 1 1 1
A P A A P A A A P A A P
n n n
L L L =

(A.7)
Demonstraie:
Folosind definiia probabilitii condiionate avem c:
=

) ( ) | ( ) | (
1 1 2 1 1
A P A A P A A A P
n n
L L

=

=

) (
) (
) (
) | (
1
1
1 2
1 1
A P
A P
A A P
A A A P
n n
L L
=

=

) (
) (
) (
) | (
1 2
1 2
1 2 3
1 1
A A P
A A P
A A A P
A A A P
n n
L L

=


=

) (
) (
) (
1 1
1 1
1
A A P
A A P
A A P
n
n
n
L
L
L

) (
1 1
A A A P
n n
=

L .


Anexa: Dualitatea eveniment-mulime

Din puct de vedere a teoriei statistice se poate vorbi de o dualitate de
limbaj: eveniment mulime, dualitate din care redm mai jos cteva
aspecte:
Tabel A.1. Dualitatea eveniment-mulime
Limbajul evenimentelor Limbajul mulimilor
Eveniment sigur Mulimea total A
Eveniment Submulimea lui A
Eveniment imposibil Mulimea vid
A implic B A B
A sau B A B, A+B
A i B A B, AB
Non A C A, A , A
A i B incompatibile A B =
Eveniment elementar,

i
M
i
, { M
i
}, cu M
i
A
(submulimi formate dintr-un
singur element )
403
Anexa: Interpretarea noiunii de probabilitate

n contextul noilor noiuni statistice cu care ne-am familiarizat, relum
aici o discuie mai veche, tratat i n Tabelul 5.1, i anume modul cum
este definit probabilitatea. n realitate nu definiia probabilitii ne
intereseaz, aceasta fiind una singur, ci modul cum este ea interpretat. Mai
exact, la ora actual nu exist o interpretare unitar, unanim acceptat,
pentru termenul de probabilitate. Conceptul de probabilitate a unui enun
sau eveniment aleator A, P(A), poate avea unul din urmtoarele trei sensuri
acceptate i folosite ca atare de matematicieni i statisticieni. Aceste
interpretri corespund celor trei abordri distincte: teoretic (probabilitatea
clasic), empiric (probabilitatea fizic/frecvenial/statistic) i
subiectiv (probabilitatea bayesian).

















Figura A.1. Modaliti de interpretare a noiunii de probabilitate

ntruct probabilitatea clasic (Laplace) presupune cunoaterea
numrului posibil de evenimente nainte de realizarea experimentului (ca, de
exemplu, evenimentele {cap, pajur} n cazul aruncrii unei monezi ideale,
PROBABILITATE
FIZIC
SUBIECTIV
(teoria bayes-ian)
Asignat numai n
cadrul experimentelor
aleatorii bine definite,
probabilitatea fizic
(numit i material sau
empiric) este vzut ca
o msur a posibilitii
reale a lucrurilor. Ea se
calculeaz ntr-un mod
obiectiv, din datele
statistice, ca frecven
relativ a evenimentelor
trecute.
Asignat oricrui tip de enun
sau eveniment, probabilitatea
este vzut ca fiind msura n
care un enun sau eveniment
este susinut de informaiile
i/sau dovezile disponibile i,
la rndul ei, ea cunoate
urmtoarele trei interpretri:
subiectiv;
epistemologic
(inductiv)
logic (deductiv).
CLASIC
Asignat numai n
cadrul experimentelor
n care nu avem nici un
motiv s preferm unul
sau altul dintre
evenimentele posibile,
ea respect principiul
indiferenei (toate
evenimentele posibile
au anse egale).
404
sau evenimentele {1, 2, 3, 4, 5, 6} n cazul unui zar netrucat), probabilitatea
clasic mai este numit i probabilitate a priori. Probabilitatile clasice se
aplic sistemelor ideale i se calculeaz naintea realizrii evenimentului.
n abordarea empiric se pleac de la ideea c frecvenele de apariie ale
unui eveniment aleator, ntr-o mulime mare de ncercri fcute n condiii
identice, tind s se stabilizeze n jurul unei valori centrale, care, la limit,
este chiar probabilitatea cutat. Corespunztor, n practic, se determin,
mai nti, ct de frecvent s-a realizat un eveniment n trecut i aceast
valoare este folosit pentru a se previziona care este ansa ca evenimentul s
se repete, din nou, n viitor. Caracterul obiectiv al probabilitii empirice
reiese din faptul c valoarea obinut este una independent de opiniile
proprii ale observatorului experimentului.
Abordarea subiectiv (bayesian) a probabilitii o ntlnim, n general
(fr a se limita ns numai la acestea), n situaiile n care evenimentele de
interes nu pot fi determinate experimental i ea interpreteaz conceptul de
probabilitate ca fiind o msur a nivelului de cunoatere al observatorului.
Probabilitatea n acest caz cunoate, la rndul ei, urmtoarele trei
interpretri:
1. interpretarea logic (J.M. Keynes, R. Carnap [Carnap, 1971],
[Jeffrey, 1980], H. Jeffreys [Jeffreys, 1974]) probabilitatea
este conceput ca o relaie logic, obiectiv ntre un set de date
empirice i o ipotez/cauz, n genul implicaiei pariale. Mai
exact, probabilitatea ipotezei/cauzei A n lumina informaiei
suplimentare B este dat de gradul n care B implic logic pe A
i ea mai este numit i grad de confirmare.
2. interpretarea subiectiv (B. de Finetti, L.J. Savage, [Fishburn,
1986]) probabilitatea este interpretat ca fiind gradul de
ncredere pe care un subiect l are n adevrul unei
ipoteze/cauze; acest grad de ncredere este determinat, n
principal, de anumite criterii proprii ale subiectului i, eventual,
de anumite rezultate experimentale obinute n trecut.
Probabilitatea este, astfel, pur subiectiv ntruct ea depinde
ntotdeauna de tot ceea ce individul cunoate n prezent
(includem aici experiena, prejudecile i ignorana lui). n
acest context, subiectivismul se reflect n principal n aceea c
subieci diferii, ce dispun de aceleai informaii, pot da
probabiliti diferite unei aceleiai ipoteze. Datorit lipsei unui
mod de calcul obiectiv aceste grade de ncredere risc s nu
respecte ntotdeauna axiomele probabilitii.
405
3. interpretarea epistemologic
1
sau inductiv (F.P. Ramsey, R.T.
Cox, [Howson, 2009]) consider, de asemenea, probabilitatea
ca fiind una relativ la cunoaterea noastr (fiind, deci,
subiectiv), ns, de aceast dat, ea reprezint o msur a
convingerilor raionale. Cu alte cuvinte, avem un mod raional
de a ne comporta n condiii de incertitudine, de cunoatere
parial, i, n plus, axiomele probabilitii se respect ntruct
gradele de ncredere sunt asignate ntr-o manier raional. n
acest context, de exemplu, dac atribuim unui eveniment A,
probabilitatea p atunci, probabilitatea evenimentului
complementar, , va avea probabilitatea (1-p).
Diferitele tipuri de probabiliti prezentate foarte succint mai sus sunt
destul greu de neles i de deosebit una de alta. n acest context, inclusiv
matematicienii i statisticienii, n marea lor majoritate, fac abstracie de
aceste subtiliti de natur filosofic, accept dualitatea statistic-
epistemologic a probabilitii i folosesc fie unul, fie altul din diferitele
concepte de probabilitate menionate, funcie de cum o impun la un moment
dat nsi datele problemei.
Revenind acum la calculul probabilitii bayes-iene, am vzut c acesta
implic specificarea unor probabiliti a priori; aceste probabiliti sunt, n
general, probabiliti pur subiective ce reflect gradul de ignoran parial a
decidentului (n general, un expert cu exprien). n acest context, indivizi
diferii pot specifica, chiar i atunci cnd dispun de aceeai infomaie
iniial, probabiliti a priori diferite. Nu intrm n detaliu privind acest
aspect. Ceea ce ne intereseaz i vrem s subliniem aici este c:
1. exist mai multe moduri prin care putem
calcula/determina o probabilitate i
2. calculul probabilitii subiective (bayesiene) face uz de
teorema lui Bayes; aceast teorem ns este valid
indiferent de interpretrile date probabilitii (respectiv,
de modul cum calculm probabilitile implicate n
formula lui Bayes: prin metoda clasic, empiric sau
subiectiv). n general, ns, n problemele de clasificare
ce folosesc regula lui Bayes probabilitile sunt calculate
empiric, avnd astfel un caracter obiectiv.



1
Epistemologia este o teorie a cunoaterii de tip tiinific, [Academia Romna, 1998].
406
Anexa: Explicarea probabilitilor din Problema 5.14.

Pentru a nelege mai bine ce reprezint, n fapt, probabilitile din
Problema 5.14 i cum acioneaz ele n relaia (5.65), unde evenimentul B
este evenimentul +, vom face trimitere ctre graficul din Figura A.3.
Interpretarea tuturor probabilitilor prezentate n acest grafic este redat i
n tabelul de mai jos.
n cazul particular cnd partiia este format doar din dou mulimi
(ipoteze), respectiv [A
1
, A
2
], acestea corespund practic la dou evenimente
complementare. n cazul nostru, folosind notaia dedicat evenimentelor
complementare, vom avea partiia [ A, ], unde:
A evenimentul ca pacientul s aib maladia;
evenimentul ca pacientul s nu aib maladia.
iar regula lui Bayes este dat de relaia:
) ( ) | ( ) ( ) | (
) ( ) | (
) | (
A P A B P A P A B P
A P A B P
B A P
+
= (A.8)








Figura A.2. Reprezentarea grafic a evenimentelor legate de noiunea de
eveniment condiionat, A|B

Pe lng probabilitile marginale, P(A
i
) i P(B), n regula lui Bayes apar
i o serie de probabiliti condiionate. Relum aici puin noiunea de
probabilitate condiionat (vezi i Observaia 5.17.) pentru cazul general, cu
dou evenimente oarecare A i B din S. A spune evenimentul A condiionat
de B, A|B, revine la Figura A.2.
Cu alte cuvinte, P(A|B) = P(AB)|
S =B
= n
AB
/n
B
P(AB)|
S
= n
AB
/ n
s
. n
mod echivalent, urmnd acelai raionament, vom avea P(B|A) = P(AB)|
S =A

= n
AB
/n
A
. O consecin imediat a acestor relaii este faptul c, n general,
P(A|B) P(B|A). Mai mult, P(A|B) este chiar probabilitatea posterioar ce
se dorete a fi calculat, n timp ce P(B|A) reprezint verosimilitatea.
S
A
S
A
B
AB
B
AB
S
A
n
n
A P = ) (

B
AB
n
n
B A P = ) | (

407
1) ( |B) a restrnge, mai nti, mulimea S, a tuturor celor n
S

cazuri posibile, la mulimea B (mulimea din dreapta
operatorului de condiionare), cu n
B
cazuri posibile;
2) (A |B) a restrnge mulimea A, cu n
A
cazuri favorabile, la
mulimea AB (AB), cu n
AB
cazuri favorabile;
3) P(A |B) este dat de raportul n
AB
/ n
B
n timp ce
probabilitatea marginal, a priori, P(A ) = n
A
/ n
S
.
n ceea ce privete relaiile dintre probabilitile condiionate (atenie:
condiionare fcut n rapot cu acelai eveniment, de exemplu evenimentele
condiionate |B ), sunt cele menionate n (5.53). Relund aici, avem
pentru un eveniment oarecare B, din S:
S
evenimentul
sigur
P(S) = 1
P(S |B) = 1
A
eveniment
oarecare din S
P(A) 0
P(A |B) 0
A i
evenimente
complementar
e din S
P(A) + P() = 1 P(A |B) + P( |B) = 1
A i C
evenimente
disjuncte din S
P(A +C) =
=P(A) + P(C)
P(A+C|B)=
= P(A|B)+P(C|B)
Avnd n vedere cele de mai sus putem acum nelege mai bine
probabilitile, precum i relaiile dintre acestea Tabel A.2.

Tabel A.2. Tipuri de probabiliti i raporturile dintre ele
PROBABILITATE
Relaia de
complementaritate
P(A) = probabilitatea ca un subiect s
aib maladia S
A
N
n
P() = probabilitatea ca un subiect s nu
aib maladia
S
A
N
n
P(A) + P() =1
P(+) = probabilitatea ca testul unui
subiect s ias pozitiv S
N
n
+
P() = probabilitatea ca testul unui
subiect s nu ias pozitiv (s ias
negativ)
S
N
n

P(+) + P() =1
408
P(+| A) = probabilitatea ca testul s ias
pozitiv atunci cnd subiectul are
maladia
A
A
n
n
+
P(| A) = probabilitatea ca testul s nu ias
pozitiv (s ias negativ) atunci
cnd subiectul are maladia
A
A
n
n

P(+| A) + P(| A)
=1
P(+| ) = probabilitatea ca testul s ias
pozitiv atunci cnd subiectul nu
are maladia
A
A
n
n
+
P(| ) = probabilitatea ca testul s nu ias
pozitiv (s ias negativ) atunci
cnd subiectul nu are maladia
A
A
n
n

P(+| ) + P(| )
=1
P(A |+) = probabilitatea ca subiectul s aib
maladia atunci cnd testul a ieit
pozitiv
+
+
n
n
A
P( |+) = probabilitatea ca subiectul s nu
aib maladia atunci cnd testul a
ieit pozitiv
+
+
n
n
A
P(A |+) + P( |+)
=1
P(A |) = probabilitatea ca subiectul s aib
maladia atunci cnd testul a ieit
negativ

n
n
A
P( |) = probabilitatea ca subiectul s nu
aib maladia atunci cnd testul a
ieit negativ

n
n
A
P(A |) + P( |)
=1
Exemplificnd relaia de inegalitate P(A|B) P(B|A) pe Problema 5.14,
revine la a spune c n
A+
/n
+
= P(A|+) P(+|A) = n
A+
/n
A
; cu alte cuvinte,
probabilitatea ca un subiect ce are testul pozitiv s aib ntr-adevr
maladia difer de probabilitatea ca un subiect ce are maladia s aib testul
pozitiv (vezi i Figura A.3).
Cazul general al regulei lui Bayes ia n discuie n
ipoteze/cauze/alternative, {A
1,
A
2,
..., A
n
} care mpreun formeaz o partiie a
spaiului S; n aceste condiii, pentru orice alt eveniment B din S sunt
adevrate relaiile:
n i
A P A B P A P A B P
A P A B P
B P
A P A B P
B A P
n n
i i i i
i
, 1 ,
) ( ) | ( ... ) ( ) | (
) ( ) | (
) (
) ( ) | (
) | (
1 1
=
+ +
= =
(A.9)

409























Figura A.3. Probabilitile a priori i cele condiionate din Problema 5.14:
(a). probabiliti ce se cunosc,
(b). probabiliti ce se deduc din calcule.

O ilustrare a modului cum se compun, n acest caz, elementele
componente din formula de mai sus este redat n figura urmtoare:

Legend:

A
A+ +

+
S = BOLNAVI + SNTOI
S = BOLNAVI + SNTOI

A
P(+|A) P(|A) P(|)
A+ A +
P(A|+) P(A|) P(|) P(|+)
P(+|)
TEST:
DIANOSTIC:
P(A) P()
N
S
n
A
n

n
+
n

n
A+ n
A

n
+

n

N
S
n
A+

n
+

n
A

n

P(+)
P()
(a).
(b).
aferent mulimilor de subieci ce au maladia
aferent mulimilor de subieci ce nu au maladia
aferent mulimilor de subieci cu test pozitiv
aferent mulimilor de subieci cu test negativ
410












Figura A.4. Cazul general al unei partiii cu n evenimente disjuncte.
Not: * = acestei csue din grafic i corespunde probabilitatea condiionat
P(B|A
2
). Pentru a nu ncrca prea mult figura am preferat s
reprezentm probabilitile condiionate P(B|A
i
) i P(A
i
|B) doar pentru
i=2, pentru celelalte asocierea fcndu-se ntr-o manier similar.


Anexa: Funcia densitate condiionat
Funcia densitate condiionat a variabilei aleatoare x atunci cnd
variabila aleatoare y = b este definit n forma:
) (
) (
) (
|
b f
a,b f
a|b f
y
xy
def
y x
= (A.10)
Demonstraie:
ntruct pentru variabilele aleatoare continui probabilitatea punctual este
ntotdeauna zero rezult c, pentru a obine funcia densitate condiionat a
variabilei aleatoare x dat de variabilei aleatoare y va trebui s o definim ca
o limit. Astfel, plecnd de la relaia funciei de distribuie condiionat
((5.73)):
) (
} , {
} | { ) | (
B P
B a x P
B a x P B a F
def
x

=
=
(A.11)
i alegnd evenimentul B = {b
1
y b
2
}, obinem:




S
A
1
A
2
A
n

B A
1

B A
2
*
B A
n

B A
1
B A
2
B A
n

B B
B A
n
B A
2

B A
n

B A
1


B A
1

B A
2

P(A
2
|B)
411
.
) (
} , {
) | (
2 1
2 1
2 1 |
b y b P
b y b a x P
b y b a F
y x


= (A.12)
n mod evident, {x a, y b
2
} = {x a, y b
1
} + {x a, b
1
< y b
2
}, cu
evenimentele din membrul drept al ecuaiei fiind evenimente mutual
exclusive. n consecin:
P{x a, y b
2
} = P{x a, y b
1
} + P{x a, b
1
< y b
2
}
P{x a, b
1
< y b
2
} = P{x a, y b
2
} - P{x a, y b
1
} =
= F
xy
(a,b
2
) - F
xy
(a,b
1
)
(A.13)
nlocuind aceast ultim relaie, (A.13), n relaia (A.12) i folosind
proprietatea (5) a funciei de distribuie pentru o variabil aleatoare, vezi
Tabelul 5.7, vom obine:
.
) ( ) (
) , ( ) , (
) | (
1 2
1 2
2 1 |
b F b F
b a F b a F
b y b a F
y y
xy xy
y x

= (A.14)
Derivnd ecuaia (A.14) n raport cu variabila a i folosind relaia:
dv v a f dudv v u f
a a
b a F b
xy
a b
xy
xy
) , ( ] ) , ( [
) , (


=

(A.15)
deducem
) ( ) (
) , (
) ( ) (
) , ( ) , (
) | (
1 2 1 2
2 1 |
2
1
1 2
b F b F
dv v a f
b F b F
dv v a f dv v a f
b y b a f
y y
b
b
xy
y y
b
xy
b
xy
y x

=



(A.16)
Pentru a determina f
x|y
(a| y = b) rescriem ecuaia de mai sus pentru b
1
= b
i b
2
= b + b:
) ( ) (
) , (
) | (
|
b F b b F
dv v a f
b b y b a f
y y
b b
b
xy
y x
+
= +

+
(A.17)
rezultnd:
) (
) , (
) (
) , (
) ( ) (
) , (
lim
) | ( lim ) | (
0
|
0
|
b f
b a f
b b f
b b a f
b F b b F
dv v a f
b b y b a f b y a f
y
xy
y
xy
y y
b b
b
xy
b
y x
b
y x
=

+
=
= + = =

+


(A.18)
412
Anexa: Regula lui Bayes pentru cazul continuu

Pentru a deduce regula lui Bayes pentru cazul continuu al unei variabile
aleatoare x pornim de la exprimarea probabilitii condiionate P(B|x=a) ca
o limit:
) | ( lim ) | (
0
a a x a B P a x B P
a
+ < = =

(A.19)
Punnd a
1
=a i a
2
=a+a putem scrie:
) (
) ( ) (
) | ( ) | (
) (
) (
) | (
) | (
1 2
1 2
2 1
2 1
2 1
B P
a F a F
B a F B a F
B P
a x a P
B a x a P
a x a B P
x x
x x

=
<
<
= <

(A.20)

Din relaiile (A.19) i (A.20) deducem:
) (
) (
) | (
) | ( B P
a f
B a f
a x B P
x
x
= =

) (
) (
) | (
) | ( a f
B P
a x B P
B a f
x x
=
=
(A.21)
Din proprietile funciei de distribuie condiionate i relaia (5.86) avem
c:

+

= = = 1 ) | ( ) | ( lim ) | ( da B a f B a F B F
x x
a
x
(A.22)
Cu aceas relaie i rescriind relaia (A.21), pe care apoi o integrm,
obinem:
) ( ) ( ) | ( ) ( ) | ( B P da B P B a f da a f a x B P
x x
= = =

+

+

(A.23)


Anexa: Bayes pentru vectori aleatorii continui

Din relaiile (A.23) i (A.21) rezult urmtoarea relalaie pentru regula
lui Bayes n termenii vectorului aleator continuu x:

+

=
=
=
da a f a x B P
a f a x B P
B a f
x
x
x
) ( ) | (
) ( ) | (
) | ( (A.24)


Anexa: Evenimente indpendente

Dac A i B sunt evenimente independente din S, avnd probabiliti
nenule atunci AB este o mulime ce conine cel puin un eveniment
elementar
i
din spaiul de selecie S.
413
Demonstraie:
Presupunem, prin absurd, c AB = . Rezult atunci c, P(AB) = 0.
Din definiia evenimentelor independente avem ns faptul c P(AB) =
P(A)P(B). Din cele dou relaii deducem c P(A)=0 sau/i P(B)=0 (ceea ce
contrazice ipoteza).


Anexa: Relaii matematice fundamentale

Matrici
Matricea unitate:

=
1 0 0
0 1 0
0 0 1
L
M O M M
L
L
I

Produsul matricilor este asociativ:
A ( B C ) = (A B ) C
A ( B + C) = AB + BC
A B = ( B A )
A matrice:
o A transpus: A
T

o transpunere hermetian: A
*T
, prin * nelegndu-se
complex conjugatul
(A
-1
)
-1
= A
( A)
-1
=
-1
A
-1
, R, 0
(A
T
)
-1
= (A
-1
)
T

( A B C )
-1
= C
-1
B
-1
A
-1

( A B
T
)
T
= B A
T

( A + B )
T
= A
T
+ B
T

O matrice A este inversabil dac exist o matrice B care s
satisfac proprietatea A B = B A = I . Matricea B este inversa
matricii A i se noteaz cu A
-1
.
O matrice A este inversabil dac det ( A

) 0.

( )
* 1
det
1
A
A
A =

, n relaia anterioar A
*
este matricea adjunct
sau stelat.
Problem: S se calculeze inversa matricii

=
4 3
2 1
A .
Rezolvare:
414
1. ( ) 2 det = A
2.

=
4 2
3 1
T
A
3.

=
1 3
2 4
*
A adjuncta
4.

2
1
2
3
1
1 2
1 3
2 4
2
1
A

=
N
a
a
a
A
L
M O M M
L
L
0 0
0 0
0 0
2
1

N
a
a
a
A
1
0 0
0
1
0
0 0
1
2
1
1
L
M O M M
L
L

Dac o matrice A este unitar inferior triunghiular atunci A
-1
are
aceeai proprietate:

=
1
0 1
0 0 1
0 0 0 1
L
M O M M M
L
L
L

1 ' ' '

0 1 ' '
0 0 1 '
0 0 0 1
1
L
M O M M M
L
L
L

A
O matrice este simetric dac: A = A
T

O matrice este Hermetian simetric dac: A = A
*T

O matrice ptratic A este unitar dac i numai dac A
*T
A = A
A
*T
= I sau echivalent dac A
-1
= A
*T
.
O matrice A este pozitiv semidefinit dac: a
*T
A a 0 pentru
orice vector complex a.
O matrice A este strict pozitiv definit dac: a
*T
A a > 0 pentru
orice vector complex a.

Urma unei matrici
urma ( A ) = a
1,1
+ a
2,2
+ a
3,3
+ ... + a
n,n
. n relaia anterioar a
i,j

este elementul de pe linia i i coloana j matricei A.
urma (A B) = urma (B A) atta timp ct produsul B A se mai
poate face i mai are sens
urma ( A + B ) = urma ( A ) + urma ( B )

415
Determinani
A = B C D atunci det ( A ) = det ( B ) det ( C ) det ( D ) sau
mai simplu det ( AB ) = det ( A ) det ( B )
( )
( ) A
A
det
1
det
1
=

det ( A
T
) = det ( A

)
pentru orice matrice A de tipul n x n i pentru orice scalar a
avem:
det ( a A
T
) = a
n
det ( A

)
Dac elementele unei linii sau coloane ale unui determinant sunt
egale cu zero valoarea determinantului este egal cu zero.
Prin schimbarea a dou linii sau a dou coloane ntre ele valoarea
determinantului i schimb semnul.
Dac dou linii sau dou coloane sunt egale ntre ele valoarea
determinantului este egal cu zero.
nmulind elementele unei linii sau coloane cu un numr valoarea
determinantului se nmulete cu acel numr.
Dac ntr-un determinant elementele a dou linii sau a dou
coloane sunt proporionale atunci discriminantul este egal cu
zero.
Dac nmulim o linie sau o coloan cu un numr nenul i o
adunm la alt linie sau, respectiv, la alt coloan atunci
determinantul nu i modific valoarea.

m m n n
C B A
, 1 , 1 ,
, , atunci C A
C
B A
=
0

Fie o matrice ptratic
n
A precum i o serie de submatrici
1 ,

n j i
B care conin n ntregime matricea A cu excepia liniei
i i a coloanei j. Definind coeficientul ( )
j i
j i
s
+
= 1
,
putem scrie:
( )
n i n i n i i i i i i i
B s a B s a B s a A
, , , 2 , 2 , 2 , 1 , 1 , 1 ,
det + + + = K
sau
( )
j n j n j n j j j j j j
B s a B s a B s a A
, , , , 2 , 2 , 2 , 1 , 1 , 1
det + + + = K
n relaiile anterioare a
i,j
este elementul de pe poziia i i j a
matricii A.


416
Anexa: Analiza raportul semnal/zgomot pentru un convertor ideal

n procesul transformrii semnalului de intrare (presupus analogic) n
unul digital, pentru a fi procesat numeric, pari din semnalul analogic vor fi
reprezentate de aceeai valoar numeric sau cod. Deci o anumit parte,
cantitate din semnalul analogic va fi pierdut n semnalul digital prin
prosesul de cuantizare i, mai mult, parte din semnalul analogic va fi
distorsionat. Acest fenomen este modelat prin intermediul zgomotului de
cuantizare.
Pentru a determina efectele acestui zgomot de cuantizare vom utiliza o
abordare statistic a problemei, considernd eroare de cuantizare drept o
variabil aleatoare. Acest zgomot putnd varia doar n intervalul 1/2 LSB
sau q/2 q este limea treptei (Figura A.5(a)). Eroarea de cuantizare va
fi modelat printr-un zgomot pe care l vom aduna la semnalul original,
necuantizat, Figura A.6.
















Figura A.5. (a). Caracteristica de intrare ieire a unui convertor analog
digital cu cuantizare uniform, (b). zgomotul de cuantizare






Figura A.6. Modelarea efectului zgomotului de cuantizare
+
x[n]
e
q
[n]
x
q
[n] = x[n] + e
q
[n]
Codul
digital
Tensiunea de
intrare
-q
1/2
q
1/2
Eroarea de
cuantizare
Tensiunea
de intrare
+1/2
LSB
-1/2
LSB
(a).
(b).
417

Pentru aceast analiz se fac urmtoarele presupuneri [T?rniceru, 1995]:
Eroarea e
q
[n] este uniform distribuit n domeniul (Figura A.7):
q/2 < e
q
[n] < +q/2 (A.25)
Secvena de eroare, e
q
[n], este presupus a fi un zgomot alb
staionar;
Secvena de eroare, e
q
[n], este necorelat cu semnalul x[n];
Secvena de semnal x[n] este staionar i are media zero.
Evident c toate aceste restricii nu sunt adevrate n orice situaie. De
exemplu n situaia unei funcii de transfer ideale, de tip scar, a
convertorului, eroarea ntre intrare i valoarea convertit va avea o funcie
densitate de probabilitate uniform numai dac semnalul de intrare este
aleator. Cu toate acestea, aceste ipoteze pot fi considerate valide i
operaionale pentru demonstraia ce va urma atunci cnd pasul de cuantizare
este mic.






Figura A.7. Densitate de probabilitate a erorii de cuantizare

Pentru a evalua influena zgomotului de cuantizare asupra semnalului,
vom utiliza raportul semnal/zgomot, SNR (Signal to Noise Ratio):
cuantizare zgomot
semnal
P
P
SNR
10
log 10 = (A.26)
Puterea semnalului se poate calcula cu:
[ ] { } n x E P
semnal semnal
2 2
= = (A.27)
n timp ce puterea zgomotului de cuantizare:
[ ] { } n e E P
q cuantizare zgomot cuantizare zgomot
2 2
= = (A.28)
tiindu-se c valoarea medie a erorii de cuantizare este zero (vezi Figura
A.5(a)), puterea zgomotului de cuantizare se calculeaz (bazndu-ne i pe
relaia (5.85)) cu:
-q/2 q/2
1/q
e
q

f(e
q
)
418
( )

= =
2 /
2 /
2 2
q
q
q q q cuantizare zgomot cuantizare zgomot
e d e f e P (A.29)
de unde rezult n mod direct:
12
1
2
2 /
2 /
2
q
de e
q
P
q
q
q q tizare zgomotcuan
= =

(A.30)
Considernd semnalul de intrare o und sinusoidal de amplitudine A
egal cu jumtate din domeniul dinamic al convertorului, rezult c puterea
semnalului de intrare este:
( )
2
sin
2
1
2
2
0
2 2
A
dt t A P
semnal semnal
= = =

(A.31)
Introducnd relaiile (A.30) i (A.31) n relaia (A.26) raportul
semnal/zgomot devine astfel:
( )

=
12
2
log 10
2
2
q
A
dB SNR
(A.32)
innd cont i de:
1
2 2
2
1

= = =
n n
A A
LSB q (A.33)
n final relaia (A.32) devine:
( ) 76 . 1 02 . 6
2
2 3
log 10
2 3
2
log 10
2
2
2
2
+ =

= n
A
A
dB SNR
n
n
(A.34)
Relaia (A.34) ne d raportul semnal/zgomot pentru un convertor ideal.
Din relaia (A.34) se observ c fiecare bit n plus crete raportul semnalul
zgomot cu puin mai mult de 6 dB. Datorit limitrilor care apar n practic
(n special a diferitelor tipuri de erori existente, a caracteristicilor neliniare
etc.), performanele convertoarelor reale sunt sub cele date de relaia
(A.34).


419
Anexa: Funciile de repartiie i de densitate pentru vectori aleatori
compleci

Rezultatele prezentate n Subcapitolul vectori aleatori pot fi
generalizate i n cazul vectorilor aleatori compleci. Definim vectorul
aleator complex x n modul urmtor:
x = x
r
+ j x
i
(A.35)

=
rN
r
r
r
x
x
x
x
...
2
1
;

=
iN
i
i
i
x
x
x
x
...
2
1
(A.36)
Amplitudine sau norma vectorului aleator complex se definete prin
relaia:
( )
2 / 1 *
2 / 1
1
2
|| || x x x x
T
N
k
k
def
=

=

=
(A.37)
Fie a o valoare generic a vectorului aleator complex:
a

= a
r

+ j a
i
(A.38)
n relaia (A.38) a
r
i a
i
sunt vectori reali generici specifici prii imaginare
i a celei reale a vectorului a. Vectorul generic a este o realizare particular
a vectorului aleator complex x. n continuare definim x a n urmtorul
mod:
x a: x
r
a
r

i x
i
a
i

(A.39)
Funcia distribuie pentru vectorul aleator complex x va fi definit de:
{ } { }
i i r r
def def
x
a x a x P a x P a F = = , ) ( (A.40)
Aceast funcie este o compunere a funciilor de repartiie ale tuturor
componentelor att reale ct i imaginare aparinnd vectorului de
distribuie complex.
Funcia densitate de probabilitate a unui vector complex este suma
funciilor de densitate ale prii reale i a celei imaginare ale componentelor
vectorului. n mod formal este definit ca derivata funciei de distribuie
innd cont de partea real i de cea imaginar:
420
a u x
iN rN i r
x
u F
u u u u
a f
=

= | ) ( ... ) (
1 1
(A.41)
Funcia de distribuie este obinut integrnd funcia de densitate att pe
partea imaginar ct i pe cea real:
( )




=
= = =
1 1
1 1
... ) ( ...
) ( ) (
r rN iN i
r i
a a a
r i rN iN x
a
def
a
def
a
r i x
a
def
x x
du du du du u f
du du u f du u f a F
(A.42)
Funcia densitate pentru un vector aleator complex se poate interpreta n
modul similar ca n situaia componentelor reale. Astfel, cantitatea:
f
x
(a)a
r1
a
i1
a
rN
a
iN
(A.51)
este probabilitatea ca a
r
x
r

a
r
+ a
r
i a
i
x
i

a
i
+ a
i
. Mai simplu
totul poate fi scris n forma:
{ }
iN rN i r x
a a a a a f a a x a P + < ... ) (
1 1
(A.43)
La fel ca n cazul vectorului aleator real, probabilitatea oricrui
eveniment care implic un vector aleator poate fi obinut prin integrarea pe
poriunea respectiv din spaiu:
{ }


= =
r i x x
da da a f da a f x P ) ( ) ( (A.44)
Din relaiile anterioare rezult:

+

= 1 ) ( du u f
x
(A.45)


Anexa: Funciile de distribuie i densitate comune pentru doi vectori
aleatori compleci
Pentru analiza funciilor comune pentru doi vectori aleatori se pleac de
la supoziia c ambii vectori aleatori sunt compleci, iar x este un vectorul
aleator definit de relaia (A.35) n timp ce y este un vector aleator dat de:
y = y
r
+ j y
i
(A.46)
unde:
421

=
rM
r
r
r
y
y
y
y
...
2
1
;

=
iM
i
i
i
y
y
y
y
...
2
1
(A.47)
n relaia (A.47) dimensiunea M a vectorului y poate fi diferit de
dimensiunea N a vectorului x.
Funcia de distribuie comun a ambilor vectori x i y este definit de
probabilitatea ambelor evenimente x a i y b i se poate scrie sub forma:
{ } b y a x P b a F
def
xy
= , ) , ( (A.48)
Funcia densitate de probabilitate comun a doi vectori compleci este o
cantitate derivat din funcia de distribuie a acestora, fiind dat de relaia:
b v
a u xy
iM i r iN i r
xy
v u F
v v v u u u
b a f
=
=

= | ) , ( ... ... ) , (
1 1 1 1
(A.49)
De aici rezult i:
( )


=
a b
xy xy
dv du v u f b a F ) , ( , (A.50)
Din ecuaia (A.48) i n mod similar vectorilor aleatori reali rezult
urmtoarele proprieti fundamentale:
1 ) , ( ) (
) ( ) , ( ) (
) ( ) , ( ) (
0 ) , ( ) , ( ) (
= + +
= +
= +
= =
xy
y xy
x xy
xy xy
F d
b F b F c
a F a F b
b F a F a
(A.51)
n relaia (A.51) n cadrul subpunctului (a) dac doar o singur
component (a prii reale sau imaginare) a unuia din vectorii a sau b

tinde
la minus infint relaia este adevrat, n timp ce n cadrul subpunctelor (b) i
(c) toate componenele reale sau imaginare trebuie s tind la plus infinit.
Din relaiile (A.50) i (A.51)(d) avem:

+

+

= 1 ) , ( db da b a f
xy
(A.52)
n timp ce din relaiile (A.51)(b) i (A.51)(c) rezult c:
422

+

= db b a f a f
xy x
) , ( ) ( (A.53)
i

+

= da b a f b f
xy y
) , ( ) (
(A.54)
Ecuaiile (A.53) i (A.54) ne arat c funciile densitate de probabilitate
pentru vectori individuali pot fi obinute din funcia de densitate comun a
doi vectori aleatori compleci prin integrarea pe tot domeniul de definiie al
celuilalt vector aleator. Cnd densitile f
x
(a) i f
y
(b) sunt obinute n acest
mod poart numele de densiti marginale pentru vectorii aleatori x i y.
Interpretarea funciei de densitate drept probabilitate de evenimente este
similar cu discuia fcut anterior pentru un singur vector aleator:
[ ]
iM i r iN i r xy
b b b a a a b a f
b b y b i a a x a

+ < + <
... ... ) , (
Pr
1 1 1 1
0 0
0 0 0 0
(A.55)
Probabilitatea dat de relaia (A.55) ca simultan x s se afle ntr-o mic
regiune n jurul lui a
0
i y s fie simultan ntr-o regiune n jurul punctului b
0

este dat de funcia densitate evaluat n a
0
, b
0
nmulit cu toate
incrementele ce definesc acea vecintate. Probabilitatea ca unul dintre
vectorii aleatoari x sau y s ia exact valorile a
0
sau b
0


este zero.


Anexa: Funcii densitate de probabilitate Gauss-iene

n aceast anex sunt prezentate cteva relaii fundamentale ce
caracterizeaz distribuiile Gauss-iene precum i diferite relaii existente
ntre acestea.
Pentru un vector aleator complex, x, N dimensional funcia de densitate
Gauss-ian are forma:
( ) ( )
x x
T
x
m a C m a
x
N
x
e
C
a f


=
1
*
2
1
1
) (

(A.56)
Forma unidimensional a relaiei (A.56) este:
2
2
) (
2
1
) (
x
m a
x
x
e a f

= (A.57)
423
Cnd doi vectori aleatori x i y de dimensiuni N i M sunt unii pentru a
forma un vector u cu distribuie Gauss-ian:

=
y
x
u (A.58)
media i matricea de covarian sunt date de urmtoarele relaii:

=
y
x
u
m
m
y
x
E m (A.59)
[ ]

=
=

=
y
T
xy
xy x
T
y
T
x
y
x
u
C C
C C
m y m x
m y
m x
E C
*
* *
) ( , ) (
(A.60)

Folosindu-ne de relaiile anterioare putem scrie funcia de distribuie
comun pentru aceti vectori aleatori reali conform:
( )
( ) ( )
u u u
u u
u
u
m C m
M N
u xy
T
e
C
f b a f

+

= =
1
2
1
2 / 1 2 / ) (
2
1
) ( ) , (

(A.61)
Pentru vectori compleci relaia (A.61) devine:
( ) ( )
u u u
u u
u
u
m C m
M N
u xy
T
e
C
f b a f

+

= =
1
*
2
1
1
) ( ) , (

(A.62)


Anexa: Repartiii remarcabile

n tabelul de mai jos redm cteva dintre distribuiile teoretice remarcabile
din domeniul continuu, utilizate adesea n statistica aplicat:
Distribuii
Funcii de repartiie
F
x
(a)
Funcii densitate de
probabilitate, f
x
(a)
Normal (Gauss-
ian)
du e
a
m u
x
x
x

=
2
2
2
) (
2
2
1

2
2
2
) (
2
1
x
x
m a
x
e

=

424
Uniform

<

<
=
b a
b a u
a w
u a
u a
1
,
, 0

=
. , 0
,
1
rest n
w a u
u w

Exponenial
( > 0)

=

. , 0
) , 0 [ , 1
rest n
a e
a

=

. , 0
) , 0 [ ,
rest n
a e
a

Gamma
(k, >0)

>

=
. , 0
0 ,
) (
) / , (
rest n
a
a
a k

>

. , 0
0 ,
) (
/
1
rest n
a
k
e
a
k
a
k

Cauchy
( > 0)
2
1
arctan
1
0
+

=

a a

+
=
2 2
0
) (
1

a a

Laplace
(b > 0)

<
=

a e
a e
b
a
b
a
,
2
1
1
,
2
1

=
b
a
e
| |
2
1


Not: n definiiile de mai sus ale funciilor densitate de probabilitate
variabilele folosite, altele dect variabila generic a reprezentnd
argumentul funciilor, constituie parametrii funciilor densitate
respective.


Anexa: Teorema limit central

Teorema limit central (TLC) cunoscut i sub numele de a doua
teorem fundamental a probabilitii (prima fiind dat de legea numerelor
mari), este unul dintre cele mai importante rezultate ale teoriei probabilitii,
ea oferindu-ne o explicaie a faptului de ce variabilele aleatoare distribuite
normal apar att de des n aplicaiile practice. n cele ce urmeaz, pentru a
facilita nelegerea rezultatului unei asemenea teoreme, dm enunul acesteia
n contextul notaiilor folosite n Subcapitolul 5.5.1. Astfel:
Fiind date n variabile aleatoare independente i identic
distribuite (vezi Observaia 5.23)
2
, a
i
, formm suma lor:

2
O consecin direct a unui astfel de tip de variable aleatoare este c ele au toate
aceleai valori finite ale valorii sperate, respectiv, varianei (E{a
i
} = m, E{( a
i
- m)
2
}=
2
,
pentru toi i).
425
n 1
a a + + = L
n
S (A.63)
Atunci, pentru valori mari ale lui n, variabilele aleatoare S
n
,
respectiv, media aritmetic a acestor variabile,
n n
S
n
n
n 1
a a
a
+ +
= =
L
(A.64)
sunt aproximativ normal distribuite; mai exact:
n a ~ N(m,
2
/n) i S
n
~ N(nm, n
2
) (A.65)
Particulariznd aceast teorem pentru cazul nostru, n care variabilele
aleatoare i.i.d. asociate sunt variabilele a
i
cu semnificaia din Subcapitolul
5.5.1, subpunctul Estimarea parametric punctual clasic atunci, avem
c:
E{a
i
} = m
x
, E{( a
i
- m
x
)
2
}=
x
2
, pentru fiecare i,
n a =x
i, n consecin, v.a. x ~ N(m
x
,
x
2
/n), pentru n de valori mari.
n aceste condiii, conform TLC, putem spune c, pe msur ce
mrimea n a eantionului unei variabile aleatoare x crete, distribuia
mediei aritmetice a eantionului se apropie de o distribuie normal cu
o medie m
x
i o varian
x
2
/n, independent de forma distribuiei
originale a variabilelor aleatoare a
i
(respectiv, tipul de distribuie al
datelor din populaie); aici, media m
x
i variana
x
2
sunt media i variana
variabilei aleatoare x. Cu alte cuvinte, statistica media aritmetic a
eantionului tinde cte distribuia Gauss-Laplace, fiind cu att mai apropiat
de aceasta cu ct volumul eantionului crete (n general, un volum mai
mare de 30 implic erori mici); n plus trebuie s ndeplinim i condiia de
selecie aleatoare simpl a eantioanelor variabilei aleatoare x (pentru detalii
privind diferitele posibile modaliti de selecie ale unui eantion
recomandm a se consulta crile de statistic de specialitate).
n cele ce urmeaz am exemplificat, printr-o ilustrare grafic sugestiv,
rezultatul teoremei limit centrale. Astfel, folosind ca generator de numere
(pseudo)aleatoare comanda RAND() din Excel, am generat numere
(pseudo)aleatoare uniforme n intervalul [5, 55]. Prin folosirea comenzii de
n ori succesiv am obinut un eantion de dimensiune n al unei v.a. x:
] ,..., [
1
1
1 1
n
a a X = (A.66)
n continuare, repetnd acest procedeu s-au generat k = 1900 de astfel de
eantioane (vezi Figura 5.14):
426
] ,..., [
2
1
2 2
n
a a X =
M
] ,..., [
1 n
k k k
a a X =



















Figura A.6. Ilustrare grafic a teoremei limit central

n termenii variabilelor aleatoare avem: ] a ,..., a [ X
n 1
= .
Calculnd suma variabilelor aleatoare ale eantionului, S
n
:

=
=
n
i
n
S
1
i
a (67)

0
20
40
60
80
100
7
1
1
1
5
1
9
2
3
2
7
3
1
3
5
3
9
4
3
4
7
5
1
5
5
0
50
100
150
200
1
5
2
7
3
9
5
1
6
3
7
5
8
7
9
9
1
1
1
1
2
3
1
3
5
1
4
7
1
5
9
0
50
100
150
200
250
2
5
4
5
6
5
8
5
1
0
5
1
2
5
1
4
5
1
6
5
1
8
5
2
0
5
2
2
5
2
4
5
2
6
5
0
50
100
150
200
250
300
350
5
0
9
0
1
3
0
1
7
0
2
1
0
2
5
0
2
9
0
3
3
0
3
7
0
4
1
0
4
5
0
4
9
0
5
3
0
n = 1
n = 3
n = 5
n = 10
427
pentru n = 1, n = 3, n = 5 i n = 10, s-au obinut variabilele aleatoare S
1
, S
3
,
S
5
i, respectiv, S
10
ale cror histograme
3
sunt cele reprezentate n Figura
A.6.
Dup cum se poate remarca, pornind de la o distribuie uniform (pentru
n=1), distribuia sumei variabilelor I.I.D. ale eantionului a devenit tot mai
mult o distribuie gauss-ian pe msur ce dimensiunea n a eantionului a
crescut. De asemenea, se poate observa c E{S
n
}=nE{S
1
} iar variana a
sczut i ea, n mod corespunztor, respectiv,
Sn
2
=
S1
2
/n.


Anexa: Predicie versus estimare

n analiza statistic ne confruntm cu dou clase generale de probleme
(vezi Figura A.7):
probleme de predicie i,
probleme de estimare.
O problem de predicie punctual a unui vector aleator x (distribuia de
probabilitate a acestuia este una cunoscut) revine la a determina o
constant c pe care o vom alege astfel nct s minimizm, ntr-un anumit
sens, eroarea e = x c. Practic, valoarea viitoare pe care o va lua efectiv
vectorul aleator x la urmtoarea realizare a experimentului nu poate fi
prezis cu exactitate ci aceasta poate fi, cel mult, estimat.





Figura A.7. Cele dou clase de probleme statistice

n aceste condiii, o minimizare a erorii e = x c n sensul erorii ptratice
medii ne conduce la urmtorul rezultat:

+

= = da a f c a c x E e
x
) ( ) ( } ) {(
2 2
= minim (A.68)
Relaia de mai sus are loc atunci cnd:

3
O histogram reprezint o aproximare a funciei densitate de probabilitate a unei
variabile aleatoare.
f
x
(a,)
cunoscut
Predicia lui x
(a)
f
x
(a,)
necunoscut
Estimarea lui
(b)
c a
i
428

+

= = 0 ) ( ) ( 2 da a f c a
dc
de
x
(A.69)
de unde obinem,
0 ) ( ) ( 0 ) ( ) ( 2 = =

+

+

+

da a f c da a f a da a f c a
x x x
(A.70)
iar, n final,
} { ) ( x E da a af c
x
= =

+

(A.71)
Cu alte cuvinte, valoarea de predicie a lui x, n sensul erorii ptratice
medii, este chiar media acestui vector aleator.
Spre deosebire de predicie, problema de estimare a unui parametru al
populaiei presupune, aa dup cum am artat n Subcapitolul 5.5.1., gsirea
celui mai bun estimator,

= g(X), respectiv, acel estimator care

minimizeaz eroarea medie ptratic:

= =
R
dX X f X g g E e ) , ( ] ) ( [ } ] ) X ( {[
2 2
(A.72)
Comparnd relaia (A.72) cu relaia (A.68) remarcm c, att problema
de predicie, ct i cea de estimare, presupun, n esen, aceeai integral. Cu
toate acestea, ntre cele dou relaii exist o deosebire important i ea este
dat de faptul c, n cazul estimrii pe lng faptul c nu se cunoate funcia
g() (estimatorul) care se aplic eantionului X de date observabile, n plus,
nu se cunoate nici parametrul al populaiei; n consecin, aceasta implic
faptul c nici funcia de densitate, f(X,), respectiv, f
x
(a,) nu este una
cunoscut.
n concluzie, soluia problemei de predicie pentru care funcia
densitate de probabilitate este cunoscut ( = cunoscut) este una mai uor
de gsit.


Anexa: Vectori baz i funcii baz

n algebra liniar, o baz B = {v
1
, ..., v
m
} a unui spaiu vectorial V este un
subset finit de vectori liniar independeni ai lui V care genereaz spaiul V
(n particular, orice vector din spaiul vectorial respectiv poate fi reprezentat
printr-o combinaie liniar unic a vectorilor baz i, n plus, nici un vector
baz nu poate fi reprezentat ca o combinaie liniar a celorlali vectori baz).
Formal, acestea se scriu dup cum urmeaz:
429
proprietatea de independen liniar,
dac

1
v
1
+ +
n
v
n
= 0 (A.73)
atunci, n mod necesar,

1
= =
n
= 0 (A.74)
i,
proprietatea de generare a lui V,
pentru orice v din V este posibil s alegem scalarii
1
, ,
n

astfel nct:
v = a
1
v
1
+ + a
n
v
n
(A.75)
Scalarii
i
sunt determinai n mod unic i ei se numesc
coordonatele vectorului v n raport cu baza B.
Un spaiu vectorial este o structur matematic format dintr-o colecie
de vectori care fac obiectul operaiilor de adunare i, respectiv, multiplicare
cu scalari (de obicei, numere reale).
O particularizare a spaiului vectorial este spaiul de funcii format dintr-
un set de funcii de un anumit tip, de la mulimea X la mulimea Y; ntr-un
astfel de spaiu de funcii gsim, n mod similar ca mai sus, un subset de
funcii care formeaz o baz iar, n mod corespunztor, orice funcie din
spaiul de funcii poate fi reprezentat ca o combinaie liniar a funciilor
acestei baze.
Proprieti
Orice spaiu vectorial are o baz.
Un spaiu vectorial poate avea mai multe baze, chiar i o
infinitate.
Dou baze diferite din acelai spaiu vectorial, conin acelai
numr de vectori. Prin urmare, numrul de vectori ai bazei este o
caracteristic a spaiului vectorial, numit dimensiunea spaiului
vectorial respectiv.
Ca o observaie: sumele de mai sus sunt finite, chiar dac baza are un
numr infinit de elemente. Admiterea sumelor infinite (serii) necesit
nzestrarea spaiului vectorial cu o structur de spaiu topologic (structur pe
baza creia se definesc noiunile de vecintate, convergen i limit).
O baz a unui spaiu vectorial V, pe care s-a definit produsul scalar,
spunem c este o baz ortonormat dac vectorii bazei sunt mutuali
ortogonali i de amplitudine 1 (vectori unitate) iar spaiul V este generat
atunci cnd combinaii liniare infinite sunt permise.

430
Anexa: Noiunea de semnal. Semnal staionar

Se numete semnal o mrime fizic msurabil, purttoare de informaii,
care poate fi transmis la distan, recepionat i/sau prelucrat.
Semnalele sunt, n general, descrise prin funcii de timp. Funcie de
evoluia n timp a semnalelor, distingem:
semnale cu timp continuu (semnale analogice) au variaie
continu n timp;
semnale cu timp discret (semnale digitale sau numerice) au
variaie discret n timp; altfel spus, funciile ce le reprezint au
valori definite doar la anumite momente de timp.
Semnalele numerice pot fi generate de echipamente numerice sau se pot
obine din cele analogice prin dou operaii: (a) eantionarea semnalului i
(b) cuantizarea semnalului.
Dup dependena de timp distingem:
semnale deterministe - semnale care au o evoluie ce nu este supus
hazardului;
semnale aleatoare semnale a cror evoluie n timp este supus
hazardului (cum este cazul perturbaiilor ce afecteaz sistemele de
transmitere i prelucrare a informaiilor).
Un semnal unidimensional (1D) este o funcie de timp, notat generic
prin x(t), cu tR, pentru care avem urmtoarele proprieti:
- x(t) este de durat finit (altfel spus, el este definit pe suport mrginit [t
1
,
t
2
]);
- x(t) este msurabil (de modul integrabil, x(t) L(1)):
< =

2
1
1 1
, | ) ( |
t
t
M M dt t x (A.76)
- x(t) este de energie finit (x(t) L(2)):
< =

2
1
2 2
2
, | ) ( |
t
t
M M dt t x (A.77)
Din punct de vedere al staionaritii (independena de originea timpului
a proprietilor statistice), un proces aleator poate fi staionar n sens strict
sau n sens larg. Deoarece frecvent intereseaz numai momentele de ordin 1
i 2, este util noiunea de proces aleator staionar n sens larg, definit ca un
proces pentru care:
431
(1) E{x(t)} = m
x
(t) = m
x
(t + ), R (proces staionar de ordinul 1
sau staionar n medie);
(2) E{x(t
1
)x(t
2
)} = R
x
(t
1
, t
2
) = R
x
(t
1
+ , t
2
+ ) = R
x
(t
1
- t
2
, 0), R.
Aceast proprietate implic c funcia de corelaie depinde numai de
diferena momentelor de timp (proces staionar de ordinul 2).


Anexa: Media aritmetic

Media aritmetic x a valorilor observate a
i
ale lui x tinde ctre integrala
din (5.116) atunci cnd n :
} {
1
x E
n
a a
x
n

+ +
=
L
(A.78)
Demonstraie:
a) Mai nti demonstrm interpretarea frecvenial a probabilitii. Astfel,
fie n
k
numrul de ncercri pentru care se realizeaz evenimentul
A={ a a x a + }. Din relaiile
n n n n A P
k A
/ / ) ( =
, pentru n , i
a a f a a x a P A P
x
+ < = ) ( ) ( ) (
rezult:
n
n
a a f
k
x

) (
(A.79)
b) Fie acum n
k
numrul de valori a
i
ce se gsesc n intervalul (z
k
, z
k+1
],
unde z
k+1
= z
k
+ a. Atunci:

= + +
k
k k n
n z x x L
1
(A.80)
Deoarece n n a z f
k k x
/ ) ( (vezi relaia (A.79)) deducem c:
da a af a z f z n z
n
x
x
k k
k x k k k


+

) ( ) (
1
(A.81)
de unde rezult relaia (A.78).


Anexa: Distribuii de verosimilitate

n tabelul de mai jos sunt prezentate, doar ca not informativ, cteva
funcii de verosimilitate mpreun cu funciile mas/densitate apriori
conjugate corespunztoare. Pentru detalii vezi [Gelman, 2003], [Fink,
432
1995].
Domeniu discret Domeniu continuu
Funcia de
verosimilitate
Distribuia a
priori
conjugat
Funcia de
verosimilitate
Distribuia a
priori
conjugat
Bernoulli Beta Uniform Pareto
Binomial Beta Exponenial Gamma
Binomial
negativ
Beta
Normal de
varian,
2
x
,
cunoscut
Normal
Poisson Gamma
Normal de
medie, m
x
,
cunoscut

2
invers scalat
Multinominal Dirichlet
Normal
multivariat cu
matricea de
covarian
cunoscut
Normal
multivariat
Geometric Beta
Normal
multivariat cu
medie cunoscut
Wishart


Anexa: Transformata Fourier

Transformata Fourier este o operaie liniar ce transform o funcie de
argument variabil real i valori complexe ntr-o alt funcie numit i
reprezentarea n domeniul frecvenei a funciei originale. Aceast nou
funcie descrie frecvenele ce sunt prezente n funcia original, funcie pe
care, n fapt, o descompune n funcii oscilatorii corespunztoare. Formula
de transformare este:

+


= da e a f F
a j
) ( ) ( (A.82)
Pentru o funcie discret (echivalent cu a spune, pentru cazul unei v.a.
discrete) formula tranformatei este dat de relaia (6.5).
433
Dac inem cont i de egalitatea e
jx
= cos(x) + jsin(x), ce este adevrat
pentru orice x numr real, atunci vom avea:
e
-jx
= cos(-x) + jsin(-x) = cos(x) - jsin(x) = (e
jx
)
*
(A.83)
iar funcia caracteristic a unei v.a. x va putea fi scris n termenii
transformatei Fourier astfel:
) (
x

a d a a f j a d a a f a d e a f
x x
a j
x

+

+

+

+ = = ) sin( ) ( ) cos( ) ( ) (

* *
) ( ) sin( ) ( ) cos( ) (

=

+


+

+

a d e a f a d a a f j a d a a f
a j
x x x



*
) ( F = (q.e.d.)


Anexa: Polii funciei de transfer i valorile proprii

Din punctul de vedere al modalitilor de caracterizare a unui circuit
exist dou abordri utilizate intensiv. Acestea sunt:
abordarea intrare ieire, i
abordarea intrare stare ieire.
Dac prima metod este extrem de utilizat, datorit eficienei i a
simplitii sale n analiza circuitelor liniare. Prin aceast metod se statueaz
conceptul de funcie de transfer.
n cazul sistemelor neliniare metodele frecveniale care stau la baza
primei abordri, i pierd din aplicabilitate i pentru aceste sisteme cea de a
doua abordare este cea corect.
Pentru un circuit neliniar ecuaiile de stare generate de cea de a doua
abordare sunt:
( ) ( ) ( ) ( )
( ) ( ) ( ) ( )

=
=
t e t x f t y
t e t x f t x
,
, &
(A.84)
n relaia (A.84) x reprezint starea sistemului, e este intrarea, n timp ce, y
este ieirea sistemului.
Ecuaiile de stare au avantajul unei descrieri unitare att a sistemelor
liniare ct i a celor neliniare. Dac particularizm relaia (A.84) pentru un
sistem liniar cu parametri constani n timp obinem:
( ) ( ) ( )
( ) ( ) ( )

+ =
+ =
t e d t x C t y
t e b t x A t x
T
&
(A.85)
434
Deoarece sistemele liniare sunt caracterizate de conceptul de funcie de
transfer dorim n continuare s gsim legtura dintre ecuaiile de stare ce
caracterizeaz un sistem oarecare i funcia lui de transfer. Aplicnd
transformata Laplace relaiei (A.85) obinem:
( ) ( ) ( )
( ) ( ) ( )

+ =
+ =
s E d s X C s Y
s E b s X A s X s
T
(A.86)
n relaia (A.86) matricea A poart numele de matricea de tranziie a strilor.
Aceast matrice este dominant n dinamica sistemului.
n continuare, din sistemul (A.86), prima relaie vom scoate n stnga
doar vectorul de stare, rezultnd:
( ) ( ) ( ) s E b A I s s X
1
= (A.87)
Introducnd vectorul de stare, (A.87), n cea de a doua relaie a sistemului
(A.86) obinem:
( ) ( ) ( ) ( ) s E d s E b A sI C s Y
T
+ =
1
(A.88)
innd cont de relaia ce caracterizeaz o funcie de transfer, se obine:
( )
( )
( )
( ) d b A sI C
s E
s Y
s H
T
+ = =
1
(A.89)
Dar cum inversa unei matrici A este
( )
* 1
det
1
A
A
A =

, atunci putem scrie:

( )
( ) A
A sI
A sI
det
) (
*
1

=

(A.90)
n final din relaiile (A.89) i (A.90) deducem:
( )
( ) ( )
( ) A sI
A sI d b A sI C
s H
T

+
=
det
det
*
(A.91)
Din relaia (A.91) observm c polii sistemului sunt dai de relaia:
det ( s I A ) = 0 (A.92)
Ecuaia (A.92) este una polinomial iar rdcinile acesteia sunt chiar
valorile proprii ale matricii de tranziie a strilor.
Din relaiile (A.91) i (A.92) tragem concluzia c polii funciei de
trasfer ai oricrui sistem (filtru, amplificator etc.) sunt valorile proprii
ale matricii de tranziie a strilor sistemului respectiv.

435
Anexa: Descompunere matricial sub forma unei combinaii de vectori

Fie o matrice A, a unei trasformri liniare, definit mai jos i partiionat
conform aceleiai relaii:

=
| | |
| | |
2 1
2 1
2 22 21
1 12 11
d
dd d d
d
d
a a a
a a a
a a a
A L
L
M O M M
L
L
(A.93)
Aceast matrice A realizeaz transformarea unui vector y (d x 1
dimensional) ntr-un alt vector x (d x 1 dimensional) conform relaiei:
x = A y (A.94)
sau similar:

d
d
d
y
y
y
x
x
x
M
L
M
2
1
2 1
2
1
| | |
| | |

(A.95)
unde:

=
id
i
i
i
a
a
a
M
2
1
(A.96)
n aceast situaie putem scrie:

=
= =
d
i
i i
y Ay x
1
(A.97)
Pentru a dovedi corectitudinea relaiei anterioare scriem sistemul echivalent
al transformatei liniare:

+ + + =
+ + + =
+ + + =
d dd d d d
d d
d d
y a y a y a x
y a y a y a x
y a y a y a x
K
M M M
K
K
2 2 1 1
2 2 22 1 21 2
1 2 12 1 11 1
(A.98)
Din sistemul anterior de ecuaii i din dispunerea elementelor se observ
c relaia (A.97) reiese imediat:
436

=
=
d
i
i i
y x
1
(A.99)


Anexa: Determinarea funciei de corelaie ntre ieirea i intrarea unui
sistem

n cadrul acestei anexe vom demonstra c ntre intrarea unui sistem,
ieirea acestuia i funcia de transfer a sistemului exist relaia:
[ ] [ ] [ ] l R l h l R
x xy
* = (A.100)



Figura A.8. Legtura intrare ieire n cadrul unui sistem liniar

Pentru determinarea funciei de corelaie ntre ieirea i intrarea unui
sistem invariant la impuls vom pleca de la relaia de exprimare a ieirii
funcie de intrare:
[ ] [ ] [ ] [ ] [ ]


=

=
= =
l k
l n x l h k x k n h n y (A.101)
Pentru a determina R
yx
se nmulete relaia (A.101) cu x
*
aplicndu-se
operatorul de estimare. Astfel avem:
[ ] [ ] { } [ ] [ ] [ ] { }

=
=
k
n x k x E k n h n x n y E
0
*
1 0
*
1
(A.102)
sau
[ ] [ ] [ ]

=
=
k
x yx
n k R k n h n n R
0 1 0 1
, , (A.103)
Deoarece procesul de intrare este staionar avem:
[ ] [ ] [ ] l R n n R n n R
x x x
= =
0 1 0 1
, (A.104)
deci funcia de autocorelaie depinde numai de distana dintre eantioane nu
i de poziia lor absolut n seria de timp.
Din relaiile (A.103) i (A.104) rezult:
h [n] y[n] x[n]
437
[ ] [ ] [ ] [ ] [ ]


=

=
= =
i
x
k
x yx
i n n R i h n k R k n h n n R
0 1 0 1 0 1
, (A.105)
n relaia Error! Not a valid link. s-a fcut schimbarea de variabil i = n
1
k.
Substituind n
1
n
0
cu l obinem:
[ ] [ ] [ ]

=
=
i
x yx
i l R i h l R (A.106)
sau
[ ] [ ] [ ] l R l h l R
x xy
* = (A.107)

Relaia (A.107) este chiar scopul demonstraiei.

438