Tipuri de Energie

Universitatea Transilvania Bras ov
Facultatea de Matematic
a s i Informatic
a
Unele tipuri de entropie si aplicat iile lor
Tez a de doctorat
Rezumat
Some types of entropy and their
applications
Ph.D. thesis
Abstract
Autor: Pop M. B. Mihail Ioan
Conduc ator stiint ic: Prof. Univ. Dr. Gabriel Orman
Brasov - 2012
MINISTERUL EDUCATIEI, CERCET
ARII, TINERETULUI SI SPORTULUI

UNIVERSITATEA TRANSILVANIA DIN BRASOV
BRASOV, B-DUL EROILOR NR. 29, 500036, TEL. 0040-268-413000,
FAX 0040-268-410525
RECTORAT
COMPONENTA
Comisiei de doctorat
Numita prin ordinul Rectorului Universitat ii Transilvania din Brasov
Nr. 5398 din 14.09.2012
PRESEDINTE: - Prof. univ. dr. Marin MARIN
DECAN - Facultatea de Matematica si Informatica
Universitatea Transilvania din Brasov
CONDUC
ATOR - Prof. univ. dr. Gabriel ORMAN

STIINT IFIC: Universitatea Transilvania din Brasov
REFERENT I: - Acad. dr. doc. Marius IOSIFESCU
Academia Romana
- Cercet. st. gr. I, dr. Ioan STANCU-MINASIAN
Institutul de Statistica Matematica si Matematici
Aplicate Gh. Mihoc-C. Iacob, Bucuresti
- Conf. univ. dr. Eugen P
ALT
ANEA
Universitatea Transilvania din Brasov
Data, ora si locul sust inerii publice a tezei de doctorat: 14.12.2012, ora 13.00,
n Corpul P, sala P.P.6 a Universit at ii Transilvania din Brasov.
Eventualele aprecieri sau observat ii asupra cont inutului lucr arii v a rugam s a le
transmitet i n timp util, pe adresa: mihailp@unitbv.ro.
Totodata va invit am s a luat i parte la sedint a publica de sust inere a tezei de
doctorat.
5
Cuprins
INTRODUCERE 5 7
Contribuiile autorului 7 9
13 14
1.1. Variabile aleatoare 13 14
1.2. Vectori aleatori 14 14
1.3. Mrimi statistice ale variabilelor aleatoare 16 14
1.4. O metod de caracterizare a repartiiilor de probabilitate 22 14
1.5. Aproximarea densitii de probabilitate prin funcii nucleu 28 16
1.6. Entropia Shannon i entropii derivate din aceasta 32 18
1.6.1. Entropia Shannon 32 18
1.6.2. Entropia relativ 39 19
1.6.3. Entropia unui sistem compus i entropia condiionat 43 20
1.6.4. Entropia unui tip particular de sistem corelat 47 20
1.7. Alte entropii 54 21
1.7.1. Entropia Tsallis 54 21
1.7.2. Algebra extins a entropiei Tsallis 60 23
1.7.3. Entropia Sharma-Taneja-Mittal 66 25
1.7.4. Entropia Kaniadakis 66 26
1.7.5. Entropia Abe 67 26
1.8. Note bibliografice 67 26
CAPITOLUL 2. PRINCIPIUL ENTROPIEI MAXIME 81 31
2.1. Tratare general 81 31
2.1.1. Variabile aleatoare cu repartiie discret 82 31
2.1.2. Variabile aleatoare cu repartiie continu 84 32
2.2. Repartiii care maximizeaz entropia Shannon 86 33
2.2.1. Cazul discret 86 33
2.2.2. Cazul continuu 86 33
2.3. Repartiii care maximizeaz entropia Tsallis 87 34
2.3.1. Cazul discret 87 34
2.3.2. Cazul continuu 89 34
97 37
3.1. Perturbaii ale densitii de probabilitate 97 37
3.2. Perturbaia entropiei 99 37
3.3. Metoda entropiei maxime pentru perturbaie 100 37
3.3.1. Perturbaie cu o singur condiie 102 38
Pag.
Tez
Pag.
Rezumat
CAPITOLUL 1. VARIABILE ALEATOARE I MRIMI STATISTICE.
ENTROPIE
CAPITOLUL 3. METODA ENTROPIEI MAXIME PENTRU PERTURBAII
ALE DISTRIBUIEI DE PROBABILITATE
6
3.4. Ecuaii integrale i inegaliti ale perturbaiei 105 38
3.5. Minimizarea unei funcii de cost cu o condiie 112 39
3.6. Metoda entropiei maxime pentru o entropie general 116 40
3.6.1. Perturbaia repartiiei pentru o entropie general 116 40
3.6.2. Perturbaia repartiiei cu condiii uniforme 120 41
3.6.3. Perturbaia repartiiei cu condiie de normare 122 41
3.6.4. Minimizarea funciei de cost cu o entropie general 123 42
3.6.5. Minimizarea funciei de cost cu condiii uniforme 123 42
3.7. Erorile estimrii repartiiei prin condiii locale 124 42
3.7.1. Erori de estimare 124 42
3.7.2. Condiii uniforme 127 43
3.7.3. Condiii gaussiene 128 44
3.8. Unele corelaii generalizate derivate din principiul entropiei maxime 130 45
3.8.1. Proprieti ale corelaiilor generalizate 130 45
3.8.2. Testarea celor dou formule ale corelaiei 134 47
3.8.3. Corelaia extins pentru cteva repartiii simple 135 48
CAPITOLUL 4. IMPLEMENTAREA METODEI ENTROPIEI MAXIME 145 50
4.1. Prezentare general 145 50
4.2. Algoritmul de recoacere simulat 147 51
4.3. Testarea estimrii prin repartiii continue 150 52
4.4. Testarea estimrii prin repartiii discrete cu condiii gaussiene 159 52
4.5. Estimri obinute cu alte entropii 169 53
177 58
5.1. Descriere general 177 58
5.2. Repartiia statistic a parametrilor asteroizilor din Sistemul Solar 178 59
5.3. Analiza statistic a ciclurilor solare 185 60
5.4. Repartiii ale nanopulberilor 195 61
5.5. Sisteme oscilante cu condiii iniiale perturbate 198 61
5.6. Filtre acustice cu structur perturbat 204 64
5.7. Redundana entropic perturbat 209 64
5.8. Concluzii 209 67
Anex 217 70
Curriculum Vitae 71
CAPITOLUL 5. APLICAII ALE METODEI ENTROPIEI MAXIME CU
CONDIII GAUSSIENE
INTRODUCERE
Scopul principal al tezei l reprezinta estimarea densitat ii de probabilitate a vari-
abilelor aleatoare continue. Modul n care acest lucru a fost realizat este prin dis-
cretizarea repartit iei si aplicarea principiului entropiei maxime cu un tip special de
condit ii (condit ii gaussiene). Teza cuprinde 5 capitole si o anexa. Fiecare capitol se
ncheie cu bibliograa folosita n cursul capitolului, mpart ita pe sect iuni si subsect iuni.
Contribut iile personale ale autorului la teza sunt marcate n textul tezei prin verbe la
timpul trecut (am construit, am demonstrat, am obt inut, am determinat, am testat, am
calculat etc.).
In primul capitol se face o prezentare pe scurt a unor not iuni generale de teoria
probabilitat ilor si statistica matematica: variabile aleatoare unidimensionale si multi-
dimensionale, marimi statistice ale acestora, independent a si corelat ie. Se prezinta n
continuare o metoda empirica de caracterizare a repartit iilor elaborata de autor, care este
utila n vericarea estimarii densitat ilor de probabilitate. Prezentam pe scurt metoda
de aproximare a densitat ii de probabilitate prin funct ii nucleu, care a constituit o sursa
de inspirat ie pentru metoda dezvoltata n capitolul 4. Apoi tratam mai pe larg subiec-
tul entropiilor. Se porneste de la entropia Shannon si alte entropii clasice, derivate din
entropia Shannon: entropia continua, entropia relativa, entropia unui sistem compus
si entropia condit ionata. Se prezinta doua construct ii axiomatice clasice ale entropiei
Shannon. Tot aici se trateaza redundant a entropica si se face legatura ntre aceasta si
corelat ia statistica ntr-un caz particular elaborat de autor.

In continuare discutam en-
tropiile nonextensive dezvoltate n cadrul termodinamicii: entropiile Tsallis, Kaniadakis,
Sharma-Taneja-Mittal si entropia Abe.

In legatura cu entropia Tsallis se prezinta pe
scurt si o varianta de q-calcul, care extinde operat iile aritmetice clasice ale numerelor
reale.
In al doilea capitol tratam principiul entropiei maxime. Maximizarea entropiei cu

niste condit ii date, realizata prin metoda multiplicatorilor lui Lagrange, poate folosita
pentru estimarea repartit iei unei variabile aleatoare. Se discuta acest proces atat la
modul general, cat si n cazurile mai particulare ale entropiilor Shannon si Tsallis.
In al treilea capitol am aplicat metoda entropiei maxime la perturbat ii ale densitat ii

de probabilitate. Se prezinta mai ntai formalismul general al perturbat iilor densitat ii de
probabilitate, mpreuna cu perturbat ii ale catorva marimi statistice mai importante. Se
determina perturbat ia densitat ii de probabilitate prin maximizarea entropiei n aprox-
imarea de ordinul II prin metoda multiplicatorilor lui Lagrange. Se lucreaza atat cu
entropia Shannon continua, cat si cu o forma generala a entropiei, care acopera si en-
tropiile nonextensive. Perturbat ia repartit iei este determinata si prin minimizarea unei
funct ii de cost care cuprinde entropia, aceasta ind calea practica implementata n capi-
tolul urmator. Se identica o serie de ecuat ii integrale vericate de perturbat ia repartit iei
astfel determinata. Cu ajutorul perturbat iei repartit iei se gasesc relat ii care dau eroarea
de estimare a densitat ii de probabilitate n funct ie de eroarea condit iilor. Erorile de es-
timare au fost exprimate ca variabile aleatoare, ceea ce a permis o descriere probabilista
a perturbat iei densitat ii de probabilitate. Aplicarea principiului entropiei maxime cu o
7
entropie generala la perturbat ia densitat ii de probabilitate a condus la o generalizare a
formulelor clasice pentru dispersie si corelat ie, care au fost analizate tot n acest capitol.
In al patrulea capitol prezentam implementarea numerica a metodei entropiei maxime

folosita mai departe. S-a prezentat pe scurt algoritmul de recoacere simulata folosit. S-au
testat doua tipuri de estimari ale unei repartit ii continue prin aceasta metoda: printr-o
alta repartit ie continua sau printr-o repartit ie discreta. Estimarea printr-o repartit ie
discreta este mai buna din punctul de vedere al calitat ii aproximarii si al timpului de
calcul. Condit iile preferate sunt cele gaussiene. S-a testat metoda entropiei maxime
folosind entropii diferite de entropia Shannon cu rezultate mixte. Minimizarea funct iei
de cost s-a facut cu un program realizat n acest scop, prezentat n anexa.
In ultimul capitol s-a aplicat metoda de estimare a repartit iei continue printr-o
repartit ie discreta cu condit ii gaussiene la diverse sisteme si fenomene din natura si
tehnica. S-au analizat o serie de sisteme statice, cu parametri caracteristici care nu se
schimba n timp, a caror repartit ie a fost determinata: asteroizii din Sistemul Solar, ci-
clurile solare, nanopulberi. S-au analizat apoi sisteme dinamice, cu parametri de intrare
si de iesire: sisteme dinamice oscilante, ltre acustice, sisteme matematice de variabile
aleatoare. Perturband aleator parametrii de intrare, s-a observat repartit ia rezultanta a
parametrilor de iesire.
Concluzia la care ne-a condus prezentul studiu este ca metoda estimarii densitat ii de
probabilitate prin maximizarea entropiei cu condit ii gaussiene este puternica si versa-
tila, putand aplicata la variabile aleatoare cu densitate de probabilitate continua daca
dispunem de o select ie de valori ale variabilei aleatoare sucient de mare (N > 1 000
valori pentru rezultate bune). Metoda este relativ simpla si permite o evaluare a
calitat ii estimarii densitat ii de probabilitate punct cu punct n intervalul valorilor vari-
abilei aleatoare prin intermediul erorilor condit iilor. Timpul de calcul este rezonabil,
obt inandu-se un timp de aproximativ 100 minute pe un procesor cu frecvent a de 3,4
GHz.
Ii multumesc n primul rand d.-lui Prof. Univ. Dr. Gabriel V. Orman pentru
ca m-a acceptat ca doctorand si pentru sust inerea acordata de-a lungul doctoratului.
Un sprijin important n realizarea acestei teze l-a constituit Seminarul stiint ic al doc-
toranzilor condus de dansul. Pe aceasta cale le sunt recunoscator colegilor doctoranzi
pentru prezentarile si discut iile din cadrul Seminarului care de multe ori mi-au fost sursa
de inspirat ie. O buna parte din studiile prezentate aici si n bibliograe nu ar fost posi-
bile fara activitatea colectivului d.-lui Conf. Univ. Dr. Nicolae Cret u, alaturi de care
aduc mult umiri d.-lui Sef Lucr. Dr. Boer Attila, d.-rei Sef Lucr. Dr. Ioana Firastrau,
d.-lui Sef de Catedra Conf. Dr. Corneliu-Bazil Cizmas si ntregului colectiv al Catedrei
de Fizica. Adresez mult umiri speciale d.-lui Prof. Univ. Dr. Spiridon Dumitru, care
m-a init iat in cariera universitara si alaturi de care am publicat primele lucrari. To-
todata, sunt recunoscator Catedrei de Analiza Matematica si Probabilitat i din cadrul
Facultat ii de Matematica si Informatica pentru sprijinul acordat n toata aceasta pe-
rioada si mai nainte. Ment ionez n special sprijinul si ndrumarea d.-lui Prof. Univ.
Dr. Radu Paltanea; datorita dansului am studiat prima data aproximarea densitat ilor
de probabilitate prin funct ii nucleu de tip gaussian n cadrul lucrarii de dizertat ie de la
8
Master. Un sprijin esent ial mi-a fost acordat de Universitatea Transilvania Brasov, catre
care am toata recunostint a. Ajutorul, sust inerea si ndrumarea familiei si a fratelui meu
sunt foarte importante si le mult umesc n mod special.
Contribut iile autorului
In afara de studiile preliminare, materializate n 2 rapoarte de cercetare

1,2
si n
capitolele 1 si 2 din prezenta lucrare, autorul are urmatoarele contribut ii personale la
teza de doctorat:
1. Elaborarea si evaluarea pe cazuri particulare a unei metode empirice de carac-
terizare a repartit iilor de probabilitate cu ajutorul coecient ilor de asimetrie si
aplatizare si reprezentarea gracelor caracteristice ale coecient ilor de asimetrie si
aplatizare, precum si calculul teoretic al mediei si dispersiei subselect iilor dintr-o
repartit ie uniforma din sect iunea 1.4.
2. Studierea entropiei unui sistem corelat din subsect iunea 1.6.4, care cuprinde enunt area
si demonstrarea Propozit iei 5, Teoremei 14 si Teoremei 15.
3. Liniarizarea q-operat iilor din sect iunea 1.7.2 n jurul lui q = 1 (r = 0) pentru valori
mici ale [r[.
4. Aplicarea metodei entropiei maxime pentru perturbat ii ale distribut iei de proba-
bilitate din capitolul 3, care cuprinde:
(a) Aplicarea formalismului perturbat iilor densitat ii de probabilitate la entropie
(sect iunea 3.2);
(b) Determinarea perturbat iei care maximizeaza entropia Shannon n cazul gen-
eral si pentru o singura condit ie (sect iunea 3.3);
(c) Determinarea unor ecuat ii integrale vericate de perturbat ia densitat ii de
probabilitate si derivarea unor inegalitat i pentru erorile relative ale repartit iei
si ale condit iilor n sect iunea 3.4, cuprinzand enunt area si demonstrarea teo-
remelor 18, 19, 20;
(d) Determinarea perturbat iei densitat ii de probabilitate care minimizeaza funct ia
de cost folosita n practica, n sect iunea 3.5, cuprinzand enunt area si demon-
strarea teoremei 21. S-a determinat perturbat ia repartit iei n doua cazuri:
doar cu condit ie de normare a perturbat iei sau cu condit ie de normare si
condit ie impusa mediei unei funct ii;
(e) Aplicarea metodei entropiei maxime cu o forma generala a entropiei pentru
determinarea perturbat iei repartit iei n sect iunea 3.6:
Determinarea perturbat iei repartit iei de probabilitate care maximizeaza
o entropie generala n subsect iunea 3.6.1;
1
Mihail - Ioan Pop, Aspecte ale misc arii browniene n mecanic a, Raport de cercetare stiint ic a doc-
torat, Conducator: Prof. Univ. Dr. Gabriel V. Orman, Universitatea Transilvania Brasov, 2011.
2
Mihail - Ioan Pop, Entropii nonextensive, Raport de cercetare stiint ica doctorat, Conduc ator: Prof.
Univ. Dr. Gabriel V. Orman, Universitatea Transilvania Brasov, 2011.
9
Aplicarea perturbat iei gasite n cazul condit iilor date printr-o funct ie uni-
forma (constanta) n subsect iunea 3.6.2;
Determinarea perturbat iei care ndeplineste doar condit ia de normare n
subsect iunea 3.6.3;
Determinarea perturbat iei care minimizeaza o funct ie de cost construita
cu o entropie generala n subsect iunea 3.6.4 si aplicarea sa pentru cazul
n care condit ia este data printr-o funct ie uniforma n sect iunea 3.6.5.
(f) Estimarea erorilor de determinare a densitat ii de probabilitate cu ajutorul ex-
presiilor perturbat iei densitat ii obt inute prin minimizarea unei funct ii de cost
n sect iunea 3.7: tratarea generala (subsect iunea 3.7.1), cuprinzand constru-
irea si demonstrarea teoremei 22, erorile si valorile optime ale parametrului
pentru condit ii uniforme (subsect iunea 3.7.2), erorile si valorile optime ale
parametrului pentru condit ii gaussiene (subsect iunea 3.7.3), mpreuna cu
gracele lui ;
(g) Generalizarean sect iunea 3.8 a dispersiei unei variabile aleatoare si a corelat iei
a doua variabile aleatoare la doua forme diferite (subsect iunea 3.8.1), denirea
unei independent e generalizate n denit ia 23, determinarea catorva pro-
prietat i ale corelat iilor generalizate n teoremele 23 si 24, testarea numerica
a celor doua corelat ii generalizate (subsect iunea 3.8.2) si calculul celei mai
bune expresii gasite a corelat iei generalizate pentru repartit ii de probabilitate
exponent iala si exponent iala extinsa (subsect iunea 3.8.3).
5. Implementarea practica a metodei entropiei maxime cu diverse tipuri de condit ii
n capitolul 4, urmarindu-se n special aplicarea condit iilor gaussiene.
(a) Construirea unui program n limbajul de programare C care aplica metoda
recoacerii simulate pentru determinarea repartit iilor continue si discrete prin
aplicarea principiului entropiei maxime. Programul este prezentat n Anexa;
(b) Testarea parametrilor procesului de optimizare cu ajutorul programului pen-
tru estimarea densitat ii de probabilitate prin repartit ii continue n sect iunea
4.3. Aceasta cuprinde:
Testarea a 4 expresii pentru eroarea globala cu condit ii de tip putere la
estimarea unei repartit ii normale, studierea diferent ei dintre acestea si
identicarea celei mai bune expresii;
Testarea factorului de pondere a erorii globale n funct ia de cost cu
condit ii de tip putere si gasirea unei valori sucient de bune a acestui
factor pentru estimarea unei repartit ii normale;
Testarea catorva tipuri de condit ii suplimentare pentru o repartit ie nor-
mala (condit ii logaritm - polinomiale si gaussiene) si compararea cu condit iile
de tip putere;
Testarea estimarii unor repartit ii Weibull cu condit ii gaussiene;
Reprezentarea graca a repartit iilor estimate si a erorilor relative ale
condit iilor;
Rezumarea rezultatelor obt inute pentru estimarea prin repartit ii continue
10
n cateva concluzii nale.
(c) Testarea estimarii densitat ii de probabilitate prin repartit ii discrete cu condit ii
gaussiene si extragerea unor concluzii, mpreuna cu reprezentarea graca a
repartit iilor estimate si a erorilor relative ale condit iilor n sect iunea 4.4;
(d) Testarea aplicarii unor entropii diferite de entropia Shannon la estimarea den-
sitat ii de probabilitate cu metoda entropiei maxime si condit ii de tip gaussian
si extragerea unor concluzii, mpreuna cu reprezentarea graca a repartit iilor
estimate si a erorilor relative ale condit iilor n sect iunea 4.5;
6. Aplicarea n capitolul 5 a metodei de estimare a densitat ii de probabilitate prin
repartit ii discrete cu condit ii gaussiene la diverse fenomene si sisteme, constand n:
(a) Estimarea si reprezentarea graca a repartit iei parametrilor asteroizilor din
Sistemul Solar: dimensiunile, masa, densitatea, albedouri, magnitudinea n
vizibil si indicii de culoare, mpreuna cu reprezentarea graca a erorilor rela-
tive ale condit iilor (sect iunea 5.2);
(b) Realizarea unui studiu statistic al ciclurilor solare constand n determinarea
si reprezentarea graca a repartit iei diferent ei zilnice a indicelui petelor solare
pentru ultimele 14 cicluri si pentru ecare an al ultimului ciclu solar complet,
precum si calculul si reprezentarea graca a catorva marimi statistice ale
DSN: media, abaterea medie patratica, skewnessul si kurtosisul, precum si
probabilitatea ca SN sa nu se schimbe de la o zi la alta (sect iunea 5.3);
(c) Estimarea si reprezentarea graca a repartit iei parametrilor geometrici ai par-
ticulelor din unele nanopulberi: circularitate, raza si volum, mpreuna cu
reprezentarea graca a erorilor relative ale condit iilor; vericarea rezultatelor
obt inute pentru volum prin metoda descrisa n sect iunea 1.4, mpreuna cu
gracele caracteristice ale coecient ilor de asimetrie si aplatizare (sect iunea
5.4);
(d) Studiul perturbat iilor aleatoare ale unor sisteme dinamice oscilante, constand
n perturbarea condit iilor init iale si estimarea si reprezentarea graca a distri-
but iei pozit iei si vitezei la un moment ulterior; am analizat un oscilator cu mai
multe puncte stat ionare si un oscilator Milgrom, pentru care am reprezentat
grac energia potent iala, evolut ia n timp si traiectoriile n spat iul fazelor
(sect iunea 5.5);
(e) Studiul perturbat iilor aleatoare ale structurii unor ltre acustice, constand n
perturbarea parametrilor constructivi si estimarea si reprezentarea graca a
repartit iei raspunsului ltrului (sect iunea 5.6); am realizat si celelalte grace
din sect iune;
(f) Studiul comportarii redundant ei entropice a doua variabile aleatoare particu-
lare pentru perturbat ii aleatoare ale parametrilor sai, estimandu-se repartit ia
de probabilitate a valorilor redundant ei entropice, aceasta ind apoi reprezen-
tata grac (sect iunea 5.7);
(g) Rezumarea rezultatelor aplicat iilor sub forma unor concluzii nale (sect iunea
5.8).
11
Lista lucrarilor publicate pe parcursul elaborarii tezei de doctorat n stricta
legatura cu subiectul tezei:
Lucrari ISI:
1. N. Cret u, M. Pop, Higher order statistics in signal processing and nanometric size
analysis, Journal of Optoelectronics and Advanced Materials, Vol. 10, No. 12,
2008, pag. 3292-3299.
2. M. - I. Pop, Distribution of the daily sunspot number variation for the last 14
solar cycles, Solar Physics, Vol. 276, Iss. 1-2, 2012, pag. 351-361, http://www.
springerlink.com/content/k603434762264835/, e-print: http://arxiv.org/
abs/1110.0364.
Lucrari BDI:
3. M. Pop, S. Dumitru, Nano-stability in terms of Tsallis entropy, Bulletin of the
Transilvania University of Brasov , Vol. 13 (48), 2006, pag. 129-134.
4. Mihail-Ioan Pop, Statistical distribution of some asteroid parameters, Bulletin of
the Transilvania University of Brasov , Vol 4(53), III, Series Mathematics, Infor-
matics, Physics, 2011, pag. 139-146.
Alte categorii de lucrari:
5. M.-I. Pop, Maximum entropy estimation of probability distributions with Gaussian
conditions, 2012, e-print: http://arxiv.org/abs/1202.0193, trimisa la Applied
Mathematics and Computation (ISI).
6. Mihail Pop, Detectia semnalelor in prezenta zgomotelor cu ajutorul entropiei,
Sesiunea stiint ica a doctoranzilor, Seminarul Stiint ic Probabilitat i, procese
stochastice si aplicat ii, 2007.
7. Mihail Pop, On the possibility of approximation of functions with the aid of en-
tropy, 21th Scientic Session on mathematics and its applications, Brasov, June
2007.
8. Pop Mihail, Taylor series development of the redundancy of a particular bivari-
ate type of system, 22th Scientic Session on mathematics and its applications,
Brasov, May 2008.
9. Mihail-Ioan Pop, The heat equation with randomly generated initial conditions,
Proceedings of the 23rd Scientic Session Mathematics and its Applications,
Brasov, 2009.
10. Mihail-Ioan Pop, The inuence of stochastic perturbations on a Markov chain,
Proceedings of the 24th Scientic Session Mathematics and its Applications,
Brasov, 2010.
11. Mihail-Ioan Pop, A generalised covariance derived from the maximum entropy
principle, Proceedings of the 25th Scientic Session Mathematics and its Appli-
cations, Brasov, 2011.
12. Mihail Pop, Estimarea repartit iilor de probabilitate cu ajutorul entropiei, A 26-a
Sesiune Stiint ica anuala a doctoranzilor Matematica si aplicat iile ei, Brasov,
22 iunie 2012.
12
Alte lucrari fara legatura stricta cu subiectul tezei dar citate n textul
tezei:
13. Nicolae Cret u, Mihail-Ioan Pop, Acoustic behavior design with simulated anneal-
ing, Computational Materials Science, 44, 2009, pag. 1312-1318. (ISI).
14. N. Cret u, M. Pop, A. Boer, L. Floroian, Law of variation of particle size with
time in sol-gel powder fabrication process, Bulletin of the Transilvania University
of Brasov , Series B, Vol. 13(48), 2006, pag. 135-140 (BDI).
15. M. Pop, Linear model for a dual distribution thermodynamic system, Bulletin
of the Transilvania University of Brasov , Vol 15(50), III, Series Mathematics,
Informatics, Physics, 2008, pag. 559-566 (BDI).
16. Mihail-Ioan Pop, The Milgrom oscillator, Bulletin of the Transilvania University
of Brasov , Vol 16(51), III, Series Mathematics, Informatics, Physics, 2009, pag.
279-288 (BDI).
17. Mihail-Ioan Pop, Stability of solutions of a particular nonlinear oscillator, Bul-
letin of the Transilvania University of Brasov , Vol 3(52), III, Series Mathematics,
Informatics, Physics, 2010, pag. 223-228 (BDI).
18. Nicolae Cret u, Mihail Pop, Ioan-Calin Rosca, Acoustic design by simulated an-
nealing algorithm, International Congress on Ultrasonics (ICU), Santiago de Chile,
11-17 ian. 2009, publicat n Physics Procedia, Vol. 3, Iss. 1, 2010, pag. 489-495
(BDI).
19. S. Zamra, N. Cret u, R. Cadareanu, M. - I. Pop, C. Homann, Optimization
design of the acoustical structures, The 20th International DAAAM Symposium
Intelligent Maufacturing & Automation: Focus on Theory, Practice & Educa-
tion, 25-28 November 2009, Vienna, Austria, Published in Annals of DAAAM for
2009 and Proceedings of the 20th International DAAAM Symposium, Vol. 20, No.
1, 2009.
20. Nicolae Cret u, Mihail-Ioan Pop, Sorin Zamra, Acoustic design improvement by
using the simulated annealing algorithm, Seventh International Conference Chal-
lenges in Higher Education and Research in 21st Century, Science Days of TU-
Soa (2009), June 2-5, 2009, Sozopol, Bulgaria.
21. Nicolae Cret u, Ioan-Mihail Pop, Ioan-Calin Rosca, Eigenvalues and eigenvectors
of the transfer matrix, International Congress on Ultrasonics (ICU), Gda nsk, 5 -
8 sept. 2011.
22. N.Cretu, M. Pop, I. Mercioniu, N.Popescu-Pogrion, An estimation of some me-
chanical properties for special ceramics for IT-SOFC electrolyte, The sixth Inter-
national Edition of Romanian Conference on Advanced Materials ROCAM 2009,
August 25-28, 2009, Brasov, Romania.
13
CAPITOLUL 1. VARIABILE ALEATOARE SI M
ARIMI
STATISTICE. ENTROPIE
1.1. Variabile aleatoare
In aceasta sect iune sunt prezentate pe scurt cateva not iuni elementare din teoria
probabilitat ilor axate pe variabile aleatoare: denit ia variabilelor aleatoare, funct ia de
repartit ie, densitatea de probabilitate si unele proprietat i generale ale lor.
1.2. Vectori aleatori
In aceasta sect iune sunt prezentate pe scurt denit ii si proprietat i ale sistemelor
de doua sau mai multe variabile aleatoare: distribut ii ale vectorilor aleatori, distribut ii
marginale, distribut ii condit ionate, independent a variabilelor aleatoare.
1.3. Marimi statistice ale variabilelor aleatoare
In aceasta sect iune sunt prezentate unele marimi statistice mai importante ale vari-
abilelor aleatoare, cum ar media, momentul, momentul absolut si momentul centrat de
ordinul n, dispersia, abaterea medie patratica. Se insista asupra coecientului de asime-
trie (skewness) skew(X) =

3
(X)
3
(X)
si a coecientului de aplatizare (coecientul de exces,
kurtosis) kurt(X) =

4
(X)
4
(X)
3 si a modului n care acestia sunt folosit i n caracterizarea
distribut iilor asimetrice si distribut iilor platicurtice sau leptoPagecurtice.
In continuare sunt prezentate corelat ia si raportul de corelat ie a doua variabile

aleatoare, funct ia caracteristica si cateva proprietat i ale sale, precum si unele proprietat i
ale marimilor statistice aplicate la operat ii cu variabile aleatoare. Sunt descrise pe
scurt cateva distribut ii continue uzuale si marimi statistice ale lor: distribut ia uniforma,
distribut ia normala, distribut ia exponent iala si distribut iile Weibull si Gamma.
1.4. O metoda de caracterizare a repartit iilor de probabili-
tate
In aceasta sect iune am dezvoltat un procedeu empiric n pieptene de caracterizare

a unei repartit ii [21] prin gracele unor marimi caracteristice ale acesteia. Fie variabila
aleatoare x a carei repartit ie vrem sa o vericam si o select ie a sa de volum N X =
(x
1
, x
2
, ..., x
N
), ordonata crescator. Fie N
S
subselect ii ale acesteia X
k
, k = 1, N
S
, ecare
avand N
V
valori, unde N
S
, N
V
N astfel ncat N = N
S
N
V
:
X
k
=
_
x
k
, x
k+N
S
, x
k+2N
S
, ..., x
k+(N
V
2)N
S
, x
(k+(N
V
1)N
S
) mod N
_
, k = 1, N
S
. (1)
14
Figura 1: Gracele caracteristice pentru repartit ia uniforma pe intervalul [1; 1]
(stanga), repartit ia normala cu m = 0, = 1 (centru), repartit ia exponent iala cu
m = 1/2 (dreapta) [21].
Pe aceste subselect ii se pot calcula diverse marimi statistice: medii, momente, mo-
mente centrate, momente centrate normate etc. Pentru o anumita repartit ie a variabilei
aleatoare x exista o dependent a caracteristica a acestor marimi de indicele k. Gra-
cul unei marimi statistice funct ie de alta marime statistica este caracteristica ecarei
repartit ii. Noi am lucrat cu coecientul de asimetrie (skew) si coecientul de aplatizare
(kurt). Am caracterizat diverse repartit ii prin gracele skew(k) si kurt(k) unde k este
indicele subselect iei si prin gracul kurt(skew). Am observat empiric aceste dependent e
pe select ii ale unor variabile aleatoare cu diverse repartit ii xate.
Metoda n pieptene a fost ncadrata teoretic n statistica ordinii [13], [31], n cadrul
careia se determina repartit ia ecarui element x
i
al select iei, precum si repartit ia tuturor
elementelor select iei [13]. Aceasta se face recurgand la o transformare u = F(x), unde
u este o variabila aleatoare cu repartit ie uniforma n domeniul [0; 1]. Corespunzator, se
construieste select ia u
k
= F (x
k
), k = 1, N a variabilei aleatoare u.

In acest sens, se
foloseste repartit ia Beta de parametri , :
B
(, , x) =
x
1
(1 x)
1
B(, )
=
( +)
()()
x
1
(1 x)
1
, x [0; 1], (2)
Aceasta are media si dispersia [50], [83], [84]: EX =

+
, DX =

(+)
2
(++1)
si
momentul de ordin n [7], [83]: E(X
n
) =
B(+n,)
B(,)
.
Are loc teorema:
15
Teorema 7. [13], [42], [49] Fie X variabila aleatoare continua ca mai sus si x
1
, x
2
, ..., x
N
o select ie ordonat a crescator a sa. Consideram repartit ia Beta pentru N, k N, k N:
B
(k, Nk+1, u) =
N!
(k 1)!(N k)!
u
k1
(1u)
Nk
= NC
k1
N1
u
k1
(1u)
Nk
, u [0; 1].
(3)
Atunci au loc:
1. P (x
k
x) =

N
i=k
C
i
N
F
i
(x) (1 F(x))
Ni
, x R, k = 1, N;
2. Densitatea de probabilitate a x
k
este
k
(x) =
B
(k, N k + 1, F(x)) (x), x R,
k = 1, N;
3. Densitatea de probabilitate a vectorului x
1
, x
2
, ..., x
N
este
1,2,...,N
(x
1
, x
2
, ..., x
N
) =
N!(x
1
)(x
2
)...(x
N
), x
1
, x
2
, ..., x
N
R, x
1
x
2
... x
N
.
Repartit ia Beta (3) reprezinta densitatea de probabilitate a elementului u
k
dintr-o
select ie de volum N ordonata crescator a unei variabile aleatoare U [0; 1] distribuita
uniform. Media si dispersia lui u
k
sunt Eu
k
=
k
N+1
, Du
k
=
k(Nk+1)
(N+1)
2
(N+2)
. Momentul sau
de ordin n N este E(u
n
k
) =
k(k+1)...(k+n1)
(N+1)(N+2)...(N+n)
=
(k)
(n)
(N+1)
(n)
, unde (x)
(n)
= x(x+1)...(x+
n 1) (simbolul lui Pochhammer) [86].
Am aplicat aceste rezultate pentru x
k
= u
k
, k = 1, N o select ie ordonata crescator a
unei variabile aleatoare U distribuita uniformn intervalul [0; 1], cu subselect iile U
k
= X
k
.
Am obt inut valoarea asteptata a momentelor de ordinul n:
EM
n
U
k
=
1
N
V
(N + 1)
(n)
N
V
1
i=0
(k +iN
S
)
(n)
. (4)
Media si dispersia lui U
k
au expresiile:
EM
1
U
k
=
k +N
S
(N
V
1)/2
N + 1
, (5)
DU
k
=
6 (N + 1) N
S
(N + 4) N
2
S
+ 6
_
N
2
S
+ (N + 1) N
S
_
N
V
+
12 (N + 1)
2
(N + 2)
+(N 2) N
2
S
N
2
V
+ 12 (N
S
N
V
+N
S
+N + 1) k 12k
2
. (6)
1.5. Aproximarea densitat ii de probabilitate prin funct ii
nucleu
Aproximarea densitat ii de probabilitate prin funct ii nucleu [12], [19], [24], [28], [40],
[45], [65], [77], [88] a constituit o sursa de inspirat ie pentru utilizarea condit iilor gaussiene
n metoda descrisa n capitolul 4.
Fie X o variabila aleatoare continua cu densitatea de probabilitate (x) si o select ie
de volum n X
1
, X
2
, ..., X
n
a X. Fie o densitate de probabilitate simetrica (para) si
marginita K(x) (funct ia nucleu) si un parametru h > 0, numit largime de banda sau
16
fereastra a aproximarii. Se deneste funct ia K
h
(x) =
1
h
K
_
x
h
_
. Se deneste atunci
estimat ia densitat ii de probabilitate (x) prin funct ia nucleu K cu parametrul h pe o
select ie de volum n [19], [28], [40], [45]:
K
n,h
(x) =
1
n
n
i=1
K
h
(x X
i
) , x R. Unele
funct ii nucleu sunt [28], [40], [77] funct ia dreptunghiulara
K(x) =
_
1, x [1/2; 1/2],
0, x R [1/2; 1/2],
(7)
si densitatea de probabilitate normala standard
K(x) =
1
2
exp
_
x
2
2
_
(8)
etc.
Se considera ca funct iile nucleu K : R R respecta condit iile de regularitate [40]:
(K1)
_
R
K(t)dt = 1;
(K2) N N
astfel ncat
_
R
t
m
K(t)dt = 0, 0 < m < N,
_
R
[t[
N
K(t)dt < ;
(K3) K
2
=
_
R
K
2
(t)dt < ;
(K4) C > 0 astfel ncat [K(x) K(y)[ C [x y[, x, y R;
(K5) > 0 astfel ncat
_
R
[K(t)[
2+
dt < .
Au loc urmatoarele:
Teorema 8. [28], [40] Consider am o funct ie nucleu K : R R care ndeplineste
condit iile (K1) - (K3) si o densitate de probabilitate : R R continua. Atunci media
si dispersia estimatorului densitat ii de probabilitate au urmatoarele forme limita cand
h 0:
E
n,h
(x) = (x) +o(1), (9)
D
n,h
(x) =
1
nh
(x)
_
R
K
2
(t)dt +o
_
1
nh
_
. (10)
Teorema 9. [40], [45], [88] Daca este o densitate de probabilitate de clas a C
2
cu
_
R
[
(t)[ dt < si nucleul K ndeplineste condit iile (K1) - (K5) cu N = 2, atunci are
loc urm atoarea limita catre o repartit ie normala de medie si dispersie date:
nh(
n,h
(x) (x))
d
N
_
0, (x)
_
R
K
2
(t)dt
_
(11)
cand h 0, nh si nh
5
0.
O largime de banda optima h
care minimizeaza abaterea estimatorului

n,h
(x) de la
(x) se obt ine prin minimizarea unei erori de aproximare a lui (x) prin
n,h
(x) de forma
E
n,h
(x) = E(
n,h
(x) (x))
2
. Punand condit ia
E
n,h
(x)
h
= 0, se obt ine [40]: h
n
(x) =
_
b(x)
a(x)
_
1/5
1
n
1/5
, unde a(x) = (
(x))
2
__
R
t
2
K(t)dt
_
2
si b(x) = (x)
_
R
K
2
(t)dt.

In mod
asemanator se poate minimiza eroarea medie patratica integrala I
n,h
=
_
R
E
n,h
(x)dx =
h
4
4
A +
1
nh
B + o(h
4
) + o
_
1
nh
_
si se obt ine largimea de banda optima globala [40], [77]:
h
n
=
_
B
A
_
1/5
1
n
1/5
, unde A =
_
R
a(t)dt =
_
_
R
(
(t))
2
dt
_
__
R
t
2
K(t)dt
_
2
, B =
_
R
b(t)dt =
17
_
R
K
2
(t)dt. Daca K este nucleu normal si repartit ia (x) este normala de medie m si
dispersie
2
, largimea de banda optima devine [19]:
h
n
=
_
4
3
_
1/5
n
1/5

n
1/5
. (12)
1.6. Entropia Shannon si entropii derivate din aceasta
In aceasta sect iune sunt tratate entropia Shannon si unele entropii derivate din en-
tropia Shannon: entropia continua, entropia relativa, entropiile compusa si condit ionata,
redundant a entropica. Se prezinta o aplicat ie a redundant ei entropice legata de corelat ia
statistica.
1.6.1. Entropia Shannon
Denit ia 12. Entropia Shannon a unei variabile discrete X cu probabilitat ile p
i
, i = 1, n
este [1], [32], [44], [70], [72], [89], [90]:
H (p
i
)
i
=
n
i=1
p
i
ln
1
p
i
=
n
i=1
p
i
lnp
i
. (13)
Entropia poate denita axiomatic. Se dau doua seturi de axiome pentru entropia
Shannon.
Teorema 10. (Shannon - Faddeev, 1956) [39], [63], [70] Fie p
i
,i = 1, 2, ..., n un set
de n valori, n 2 , astfel ncat p
i
0 ,
n
i=1
p
i
= 1 . Daca funct ia H
n
(p
1
, p
2
, ..., p
n
)
satisface condit iile:
1. H
2
(p, 1 p) este o funct ie continua si pozitiva de p ;
2. Pentru orice n 2 funct ia H
n
(p
1
, p
2
, ..., p
n
) este simetrica n raport cu
argumentele (invarianta la permutarea argumentelor) ;
3. Pentru orice n 2 are loc:
H
n
(p
1
, p
2
, ..., p
n
) = H
n1
(p
1
+p
2
, p
3
, ..., p
n
) + (p
1
+p
2
) H
2
_
p
1
p
1
+p
2
,
p
2
p
1
+p
2
_
,
atunci H
n
are forma H
n
(p
1
, p
2
, ..., p
n
) = K
n
i=1
p
i
lnp
i
, unde K > 0 este o constanta
oarecare.
Teorema 11. (Shannon - Hincin, 1953) [6], [30] Fie o variabila aleatoare X care ia
valori discrete x
i
cu probabilitat ile p
i
, i = 1, n. Fie o funct ie H
n
(p
1
, p
2
, ..., p
n
), n 2
care ndeplineste condit iile:
1. H
n
este continua n raport cu argumentele p
1
, p
2
, ..., p
n
;
2. H
n
are un maxim global pentru repartit ia uniforma:
H
n
_
1
n
,
1
n
, ...,
1
n
_
H
n
(p
1
, p
2
, ..., p
n
), p
1
, p
2
, ..., p
n
;
18
3. Un eveniment imposibil nu modica masura informat iei: H
n+1
(p
1
, p
2
, ..., p
n
, 0) =
H
n
(p
1
, p
2
, ..., p
n
);
4. Fie o variabila aleatoare Y care ia k valori y
j
, j = 1, k. Entropia variabilei
aleatoare bidimensionale (X, Y ) cu probabilitat ile p
ij
, i = 1, n, j = 1, k este suma en-
tropiilor variabilei X cu probabilitat ile p
X
i
si a variabilei Y condit ionata de valorile lui
X:
H
nk
(X, Y ) = H
nk
(p
ij
) = H
n
_
p
X
i
_
+
n
i=1
p
X
i
H
k
_
p
Y |X
j|i
_
= H (X) +H (Y [X),
unde p
Y |X
j|i
= p
ij
/p
X
i
este probabilitatea starii Y = y
j
condit ionata de faptul ca X = x
i
si H (Y [X) =

n
i=1
p
X
i
H
k
_
p
Y |X
j|i
_
reprezinta entropia lui Y condit ionata de X.
Atunci H
n
este de forma: H
n
(p
i
)
i
= K
n
i=1
p
i
lnp
i
, unde K > 0 este o constanta
oarecare.
Daca X si Y sunt variabile aleatoare independente atunci axioma 4 a lui Hincin
prescrie aditivitatea (extensivitatea) entropiei H:
H (X, Y ) = H (p
ij
) = H
_
p
X
i
_
+H
_
p
Y
j
_
= H (X) +H (Y ) . (14)
Entropia Shannon este o funct ie nenegativa si concava [10] n raport cu variabilele p
i
.
Entropia Shannon poate interpretata ca o masura a nedeterminarii unei variabile
aleatoare.
Denit ia 13. [1], [70], [72], [90] Entropia Shannon a unei variabile continue X cu
densitatea de probabilitate (x) este:
H =
_

(x) ln
1
(x)
dx =
_

(x) ln(x)dx. (15)

Aceasta se mai numeste entropia Shannon continua sau diferent iala.
Entropia Shannon continua nu reprezinta un caz limita al entropiei Shannon pentru
o variabila discreta. Entropia continua nu este n general invarianta la o schimbare de
coordonate.
1.6.2. Entropia relativa
Denit ia 14. [4], [90] Fie X, Y doua variabile aleatoare cu aceleasi valori discrete
x
i
si probabilitat ile p
i
, q
i
, i = 1, n. Entropia relativa (divergent a Kullback-Leibler) a
variabilei X n raport cu variabila Y este D(X[[Y ) =

n
i=1
p
i
ln
p
i
q
i
. Daca X si Y iau
valori continue n R cu densitat ile de probabilitate
X
(x),
Y
(x), x R, entropia relativa
a lui X n raport cu Y este D(X[[Y ) =
_
X
(x) ln

X
(x)
Y
(x)
dx.
Entropia relativa verica inegalitatea lui Gibbs: D(X[[Y ) 0. Egalitatea are loc
daca si numai daca X si Y au aceeasi repartit ie. Entropia relativa este o funct ie convexa
n raport cu repartit iile celor doua variabile aleatoare [10]. Aceasta se extinde n mod
natural de la cazul discret la cazul continuu si este invarianta la o schimbare continua
de coordonate.
19
1.6.3. Entropia unui sistem compus si entropia condit ionata
Denit ia 15. [1], [44], [72], [90] Fie o variabila aleatoare bidimensionala (X, Y ) cu
valori discrete si probabilitat ile p
ij
, i = 1, m, j = 1, n. Entropia compusa a variabilelor
aleatoare X, Y este:
H(X, Y ) =
m
i=1
n
j=1
p
ij
lnp
ij
. (16)
Daca variabila aleatoare (X, Y ) are valori continue cu densitatea de probabilitate (x, y),
x, y R, entropia compusa a variabilelor aleatoare X, Y este:
H(X, Y ) =
_

(x, y)dxdy. (17)

Entropia unei variabile aleatoare bidimensionale este mai mare sau cel mult egala cu
entropia componentelor variabilei: H (X, Y ) H (X), H (X, Y ) H (Y ). Egalitatea
se obt ine daca X si Y sunt legate funct ional, Y = f(X). Entropia este subaditiva:
H (X, Y ) H (X) + H (Y ). Egalitatea se obt ine daca si numai daca X si Y sunt
independente.
Redundant a entropica (informat ia mutuala) a variabilei (X, Y ) este cantitatea [90]:
R(X, Y ) = H(X) +H(Y ) H(X, Y ). (18)
Denit ia 17. [1], [72], [90] Fie (X, Y ) o variabila aleatoare bidimensionala cu valori
discrete si probabilitat ile p
ij
, i = 1, m, j = 1, n. Fie p
i
, q
j
probabilitat ile marginale
ale X, respectiv Y . Entropia variabilei aleatoare X condit ionata de faptul ca Y = y
j
este [90] H (X[ y
j
) =
m
i=1
p
i | j
lnp
i | j
, j = 1, 2, ..., n, unde p
i | j
= P (X = x
i
[Y = y
j
)
este probabilitatea lui X condit ionata de Y . Entropia lui X condit ionata de Y este
denita ca media lui H (X[ y
j
) dupa probabilitat ile lui Y H (X[ Y ) =
n
j=1
q
j
H (X[ y
j
).
Sunt prezentate unele proprietat i ale entropiilor compusa si condit ionata.
1.6.4. Entropia unui tip particular de sistem corelat
In aceasta subsect iune am analizat un exemplu de sistem de doua variabile aleatoare

(X, Y ) pentru care redundant a entropica R(X, Y ) depinde de raportul de corelat ie
r(X, Y ) a celor doua variabile si am determinat aceasta dependent a. Sistemul studiat
are distribut ia:
(X, Y ) :
_
(x
i
, x
j
)
p
i
_
ap
j
+ b
ij
_
_
i,j=1,2,...,n
, (19)
unde a, b > 0, a + b = 1 si
ij
reprezinta simbolul lui Kronecker. Cele doua variabile
aleatoare au aceesi distribut ie de probabilitate cu valorile x
i
si probabilitat ile atasate p
i
,
i = 1, 2, ..., n. Facem notat ia q
i
= 1 p
i
, i = 1, 2, ..., n. Am construit si am demonstrat
urmatoarea propozit ie si urmatoarele teoreme:
20
Propozit ia 5. Raportul de corelat ie al variabilelor X si Y din sistemul (19) este r (X, Y ) =
b.
Teorema 14. Redundant a sistemului (X, Y ) (19) are seria Taylor n raport cu parametrul
b, n jurul lui b
0
= 0: R(X, Y ) =
k=0
k
b
k
, unde coecient ii seriei sunt
0
=
1
= 0 si
k
=
1
k (k 1)
n
i=1
q
i
p
k2
i
_
p
k1
i
+ (1)
k
q
k1
i
_
, k 2. (20)
Raza de convergent a a seriei Taylor este = min
_
1
_
p
i
q
i
, i = 1, 2, ..., n
__
.
Teorema 15. Presupunem ca variabila aleatoare X are n = 2 valori posibile cu prob-
abilitat ile p, q, p +q = 1. Redundant a sistemului (X, Y ) are seria Taylor n raport
cu parametrul b, n jurul lui b
0
= 0: R(X, Y ) =
k=0
k
b
k
, unde coecient ii seriei sunt
0
=
1
= 0 si
k
=
(1)
k
k (k 1)
_
p
k1
+ (1)
k
q
k1
_
2
(pq)
k2
, k 2. (21)
Raza de convergent a a seriei Taylor este = min
_
1,
p
q
,
q
p
_
.
1.7. Alte entropii
In aceasta sect iune am prezentat pe scurt cateva entropii nonextensive, insistand mai
mult asupra entropiei Tsallis.
1.7.1. Entropia Tsallis
Exista o familie de entropii Tsallis indexate dupa un parametru q R. Acestea
sunt denite n mod asemanator cu entropia Shannon, folosind logaritmul extins [6], [9],
[51], [67], [75], [76] ln
q
x =
x
1q
1
1q
, x > 0. Acesta are funct ia inversa exp
q
x = e
x
q
=
1q
_
1 + (1 q)x, 1 + (1 q)x > 0. Aceste funct ii au proprietat ile ln
q
1
x
= ln
2q
x,
1
exp
q
(x)
= exp
2q
(x). La limita q 1 acestea devin funct iile logaritmica si exponent iala
clasice. Se utilizeaza si o extensie a probabilitat ilor p
i
, i = 1, n ale unei variabile aleatoare
discrete X la probabilitat ile escorta [6], [75], [76]: P
i
= p
q
i
/
n
i=1
p
q
i
, i = 1, n. Acestea
sunt folosite n denirea unor medii extinse: E
q
f(X) = f(X))
q
=
1
n
n
i=1
P
i
f(x
i
).
Denit ia 18. Fie X o variabila aleatoare cu spectru de valori discret, de probabilitat i
(p
i
)
i
, i = 1, n si q ,= 1. Entropia Tsallis a variabilei X este prin denit ie [6], [75], [76]:
S
q
(X) = S
q
(p
1
, p
2
, ..., p
n
) =
n
i=1
p
i
ln
q
1
p
i
=
1
n
i=1
p
q
i
q 1
. (22)
21
Figura 2: Entropia Tsallis pentru o variabila aleatoare cu doua valori posibile cu prob-
abilitat ile p, 1 p.
La limita q 1 entropia Tsallis devine entropia Shannon.
Am prezentat doua construct ii axiomatice pentru entropia Tsallis, obt inute prin
extinderea axiomelor entropiei Shannon.
Teorema 16. (Shannon - Faddeev generalizata) (Furuichi, 2005) [25] Fie p
i
,i =
1, 2, ..., n un set de n probabilitat i, p
i
0,
n
i=1
p
i
= 1, n 2 si q 0. Daca funct ia
S
q
n
(p
1
, p
2
, ..., p
n
) satisface condit iile:
1. S
q
2
(p, 1 p) este o funct ie continua de p, p [0; 1] si exista un p
0
[0; 1] astfel
ncat S
q
2
(p
0
, 1 p
0
) > 0;
2. Pentru orice n 2 funct ia S
q
n
(p
1
, p
2
, ..., p
n
) este simetrica n raport cu argu-
mentele (invarianta la permutarea argumentelor) ;
3. Pentru orice n 2 are loc:
S
q
n
(p
1
, p
2
, ..., p
n
) = S
q
n1
(p
1
+p
2
, p
3
, ..., p
n
) + (p
1
+p
2
)
q
S
q
2
_
p
1
p
1
+p
2
,
p
2
p
1
+p
2
_
,
atunci S
q
n
are forma S
q
n
(p
1
, p
2
, ..., p
n
) = K
q
1
P
n
i=1
p
q
i
q1
, unde K
q
> 0 este o constanta
care depinde de q.
Teorema 17. (Shannon - Hincin generalizata) (Suyari, 2004) [25], [73] Fie p
i
,i =
1, 2, ..., n un set de n probabilitat i, p
i
0,
n
i=1
p
i
= 1, n 2 si q 0. Daca funct ia
S
q
n
(p
1
, p
2
, ..., p
n
) satisface condit iile:
1. S
q
n
(p
1
, p
2
, ..., p
n
) este continua n raport cu p
1
, p
2
, ..., p
n
, q 0;
2. S
q
n
are un maxim global pentru repartit ia uniform a:
S
q
n
_
1
n
,
1
n
, ...,
1
n
_
S
q
n
(p
1
, p
2
, ..., p
n
), p
1
, p
2
, ..., p
n
;
22
3. Un eveniment imposibil nu modica valoarea funct iei S
q
: S
q
n+1
(p
1
, p
2
, ..., p
n
, 0) =
S
q
n
(p
1
, p
2
, ..., p
n
);
4. Dac a p
ij
0, p
i
=

k
i
j=1
p
ij
, j = 1, k
i
, i = 1, n, k
t
=

n
i=1
k
i
,

n
i=1
p
i
= 1,
atunci are loc egalitatea:
S
q
k
t
(p
11
, ..., p
nk
n
) = S
q
n
(p
1
, p
2
, ..., p
n
) +
n
i=1
p
q
i
S
q
k
i
_
p
i1
p
i
, ...,
p
ik
i
p
i
_
,
atunci S
q
n
este de forma: S
q
n
(p
1
, p
2
, ..., p
n
) =
1
P
n
i=1
p
q
i
(q)
, unde (q) este o funct ie cu
urmatoarele proprietat i:
(i) (q) este continua si are semnul lui q 1: (q)(q 1) > 0, q ,= 1;
(ii) (q) ,= 0 daca q ,= 1 si n plus lim
q1
(q) = (1) = 0;
(iii) Exista a, b 0 astfel ncat a < 1 < b si (q) este derivabila pe intervalele (a, 1) si
(1, b);
(iv) Exista o constanta K > 0 astfel ncat lim
q1
d(q)
dq
=
1
K
.
Daca X, Y sunt variabile aleatoare independente atunci entropia Tsallis S
q
, q > 0
verica relat ia de compunere:
S
q
(X, Y ) = S
q
(X) +S
q
(Y ) + (1 q)S
q
(X)S
q
(Y ). (23)
Aceasta relat ie descrie nonaditivitatea (nonextensivitatea) entropiei Tsallis. S
q
este o
funct ie concava de p
i
pentru q > 0 si convexa pentru q < 0 [6], [76]. Extremul entropiei
Tsallis este atins pentru repartit ia uniforma.
Denit ia 19. Fie X o variabila aleatoare cu valori continue cu densitatea de proba-
bilitate (x), x R si a R
+
. Entropia Tsallis a variabilei aleatoare X n raport cu
factorul de scara a > 0 este prin denit ie [6]:
S
q
=
1
_
_
(x)
a
_
q
adx
q 1
. (24)
1.7.2. Algebra extinsa a entropiei Tsallis
Aici am prezentat o extensie a calculului algebric si analitic uzual care a fost obt inuta
n legatura cu entropia Tsallis. Aceasta reprezinta o forma de q-calcul, ind realizata n
raport cu o variabila q oarecare; la limita q 1 sunt regasite notiunile uzuale. La baza
extensiei stau operat iile extinse de adunare si nmult ire:
x
q
y = x +y + (1 q)xy, (25)
x
q
y =
_
x
1q
+y
1q
1
_ 1
1q
, x, y > 0, x
1q
+y
1q
> 1. (26)
Propozit ia 6. [9], [51] q - Suma are urmatoarele proprietat i pentru orice x, y, z pentru
care operat iile sunt denite:
1. Comutativitate: x
q
y = y
q
x;
23
2. Asociativitate: (x
q
y)
q
z = x
q
(y
q
z);
3. Elementul neutru este 0: x
q
0 = x;
4. Opusul lui x este
q
x astfel nc at x
q
(
q
x) = 0 si are forma:
q
x =
x
1 + (1 q)x
, x ,=
1
q 1
. (27)
5. Are loc regula semnelor (prin produsul clasic):
q
(
q
x) =
q
(
q
x) = x,
q
(
q
x) =
q
(
q
x) =
q
x. (28)
6.

In leg atura cu opusul se deneste q-diferent a:
x
q
y = x
q
(
q
y) =
x y
1 + (1 q)y
, y ,=
1
q 1
. (29)
Aceasta are proprietat i de comutativitate pe suma x
q
y = (
q
y)
q
x si de dis-
tributivitate a diferent ei x
q
(y
q
z) = x
q
y
q
z.
7. Produsul normal nu este distributiv n raport cu q-suma: a (x
q
y) ,= ax
q
ay.
Propozit ia 7. [9], [51] q - Produsul are urmatoarele proprietat i pentru orice x, y, z
pentru care operat iile implicate sunt denite:
1. Comutativitate: x
q
y = y
q
x;
2. Asociativitate: (x
q
y)
q
z = x
q
(y
q
z) daca x
q
y, y
q
z ,= 0;
3. Elementul neutru este 1: x
q
1 = x;
4. Inversul lui x este 1
q
x astfel ncat x
q
(1
q
x) = 1 si are forma:
1
q
x =
_
2 x
1q
_ 1
1q
, x > 0, 0 < x
1q
< 2. (30)
Acesta are proprietatea 1
q
(1
q
x) = x, x > 0, 0 < x
1q
< 2.
5. q-Raportul a doua numere este denit ca:
x
q
y =
_
x
1q
y
1q
+ 1
_ 1
1q
, x, y > 0, x
1q
y
1q
+ 1 > 0. (31)
Acesta are proprietat ile x
q
y = 1
q
(y
q
x) si x
q
(y
q
z) = (x
q
y)
q
z =
(x
q
z)
q
y.
6. Nu exista un element absorbant 0
q
n raport cu q-produsul astfel ncat sa aiba loc
x
q
0
q
= 0
q
pentru orice x.

In particular, x
q
0 ,= 0.
7. 0 are un invers n raport cu q-produsul: 1
q
0 = 2
1/(1q)
si 1
q
2
1/(1q)
= 0.
8. q-Produsul nu este distributiv n raport cu q-suma: x
q
(y
q
z) ,= (x
q
y)
q
(x
q
z). La fel, x
q
(y +z) ,= (x
q
y) + (x
q
z).
9. Puterea clasica nu este distributiva n raport cu q-produsul: (x
q
y)
n
,= x
n
q
y
n
.
Fie r = 1 q. Operat iile sunt renotate:
q
=
1r

r
,
q
=
1r

r
,
q
=
1r

r
,
q
=
1r

r
. Operat iile extinse iau atunci forma:
x
r
y = x +y +rxy, x
r
y =
r
_
x
r
+y
r
1,
r
x =
x
1 +rx
, x
r
y =
x y
1 +ry
,
1
r
x =
r
2 x
r
, x
r
y =
r
_
x
r
y
r
+ 1.
La limita q 1 (r 0) operat iile extinse devin operat iile clasice.
24
Am liniarizat q-operat iile n raport cu r pentru [r[ = [1 q[ foarte mic:
x
r
y = (x +y)
_
1 +
xy
x +y
r
_
, x
r
y (x y) (1 y r) ,
x
r
y xy (1 lnxlny r) , x
r
y
x
y
_
1 + ln
x
y
lny r
_
.
q-Numarul n
q
, corespunzand numarului obisnuit n N, se deneste [43] pentru q < 2
(r > 1):
n
q
= 1
q
1
q
...
q
1
. .
n termeni
=
(2 q)
n
1
1 q
=
(1 +r)
n
1
r
. (32)
Mult imea q-numerelor naturale n
q
, derivate din n N, se noteaza N
q
. q-Numerele reale
x
q
R
q
corespunzand lui x R sunt:
x
q
=
(2 q)
x
1
1 q
=
(1 +r)
x
1
r
, q < 2 sau r > 1. (33)
La limita q 1 q-numerele devin numerele clasice. Acestea au proprietatea x
q
q
y
q
=
(x +y)
q
. Sirul q-numerelor poate limitat sau nelimitat n R n funct ie de valoarea lui
q.
Lobao si colaboratorii [43] denesc un q-produs al q-numerelor care este distributiv
n raport cu q-suma:
x
q
y =
1
1 q
_
(2 q)
ln(1+(1q)x) ln(1+(1q)y)
ln
2
(2q)
1
_
, 2q > 0, 1+(1q)x > 0, 1+(1q)y > 0.
Acesta are proprietatea x
q

q
y
q
= (x y)
q
. q-Produsul
q
este distributiv fat a de q-
adunarea
q
: x
q
(y
q
z) = (x
q
y)
q
(x
q
z). Elementul neutru pentru produsul
q
este 1
q
= 1, iar 0
q
q
x
q
= 0
q
= 0 pentru orice x pentru care produsul este denit.
Observat ie. (R,
q
) are o structura de grup abelian.

In schimb (R,
q
) nu mai este un
grup, neind nchis datorita restrict iilor impuse q-nmult irii. La fel, (R
q
,
q
,
q
) nu are
structura de corp sau de inel, deoarece q-nmult irea nu e distributiva fat a de q-adunare.
Pe de alta parte (R
q
,
q
) si (R
q
,
q
) sunt grupuri abeliene pentru q < 2, iar (R
q
,
q
,
q
)
este un camp izomorf cu campul (R, +, ) pentru q < 2.
S-au denit si alte extensii ale unor funct ii si operatori clasici (funct iile sinus, cosinus
si funct ia a lui Euler [46], transformata Fourier, derivate si integrale extinse). Acestea
sunt prezentate pe scurt n aceasta sect iune. Toate aceste extensii se reduc la funct iile
si operatorii clasici n limita q 1.
1.7.3. Entropia Sharma-Taneja-Mittal
Entropia Sharma-Taneja-Mittal a unei variabile aleatoare discrete este [68], [69]:
S
STM
,r
=
N
i=1
p
r+1
i
p
i
p
i
2
, (34)
(1; 1) si r [[[; [[]. Exista un logaritm extins asociat acestei entropii. Aceasta
entropie generalizeaza alte entropii, printre care entropia Tsallis.
25
1.7.4. Entropia Kaniadakis
Entropia Kaniadakis este prin denit ie:
S
K
=
N
i=1
p
1+
i
p
1
i
2
, (1; 1). (35)
1.7.5. Entropia Abe
Entropia Abe are forma [6], [37]:
S
A
q
=
N
i=1
p
q
i
p
1
q
i
q
1
q
, (36)
unde parametrul este q > 0. Entropia Abe este invarianta la transformarea q
1
q
1.8. Note bibliograce
[1] Ion Angheloiu, Eugen Oancea, Informat ie si semnal, Editura Militara, Bucuresti,
1966.
[2] Tiago Jose Arruda, Rodrigo Silva Gonzalez, Cesar Augusto Sangaletti Tercariol,
Alexandre Souto Martinez, Arithmetical and geometrical means of generalized logarith-
mic and exponential functions: generalized sum and product operators, Physics Letters
A 372, 2008, pag. 2578-2582, http://arxiv.org/pdf/0709.0018v1 .
[3] Andrew R. Barron, Entropy and the central limit theorem, The annals of probability,
Vol. 14, No. 1, 1986.
[4] Fran cois Bavaud, Information Theory, Relative Entropy and Statistics, n: G. Som-
maruga (editor), Formal Theories of Information. Lecture Notes in Computer Science,
Springer, 2009, pag. 54-78, e-print: http://arxiv.org/abs/0808.4111v2.
[5] I. P. Bazarov, Termodinamica, Ed. Tehnica, Bucuresti, 1962.
[6] Christian Beck, Generalized information and entropy measures in physics, 2009,
http://arxiv.org/abs/0902.1235.
[7] The Beta Distribution, Virtual Laboratories in Probability and Statistics, Depart-
ment of Mathematical Sciences, University of Alabama in Huntsville, http://www.math.
uah.edu/stat/special/Beta.html.
[8] Beta Distribution, Statistics - Econometrics - Forecasting, http://www.xycoon.com/
index.htm.
[9] Ernesto P. Borges, A possible deformed algebra and calculus inspired in nonextensive
thermostatistics, Physica A, Vol. 340, Nr. 1-3, 2004, pag. 95-101, http://arxiv.org/
abs/cond-mat/0304545.
[10] Stephen Boyd, Lieven Vandenberghe, Convex Optimization, Cambridge University
Press, 2009, http://www.stanford.edu/
~
boyd/cvxbook/bv_cvxbook.pdf.
[11] C. G. Chakrabarti, Kajal De, Boltzmann-Gibbs Entropy: Axiomatic Characteri-
zation and Application, Internat. J. Math. & Math. Sci, Vol. 23, No. 4, 2000, pag.
243-251.
26
[12] Probal Chauduri, J. S. Marron, SiZer exploration of structures in curves, Journal
of american Statistical Association, Vol. 94, No. 447, 1999, pag. 807-823.
[13] Hung Chen, Order Statistics, Note de curs, National Taiwan University, Taiwan,
2004, http://www.math.ntu.edu.tw/
~
hchen/teaching/LargeSample/notes/noteord
er.pdf.
[14] Gheorghe Chit ea, Biostatistica, Editura Universitat ii Transilvania Brasov, 1997.
[15] Gheorghe Ciobanu, Termodinamica si zica statistica, Editura Tehnica, Bucuresti,
2004.
[16] Cristina Cismasiu, Adela Zara, Matematici pentru economisti: teoria probabilitat ilor
si statistica matematica, Editura Universitat ii Transilvania Brasov, 2002.
[17] Rudolf Clausius, Ueber verschiedene f ur die Anwendung bequeme Formen der Haupt-
gleichungen der mechanischen Warmetheorie, Annalen der Physik und Chemie, Band
125, Leipzig, http://gallica.bnf.fr/ark:/12148/bpt6k152107/f369, 1865.
[18] Rudolf Clausius, Abhandlungen uber die mechanische Warmetheorie,Zweite Abtheil-
ung, Friedrich Vieweg & Sohn, Braunschweig, http://gallica.bnf.fr/ark:/12148/
bpt6k95149n/f3.table, 1867.
[19] Kyle S. Cranmer, Kernel Estimation in High-Energy Physics, Computer Physics
Communications, Vol. 136, No. 3, 2001, pag. 198-207, e-print: http://arxiv.org/
abs/hep-ex/0011057.
[20] Nicolae Cret u, Bazele zicii, Editura Universitat ii Transilvania Brasov, 2010.
[21] N. Cret u, M. Pop, Higher order statistics in signal processing and nanometric size
analysis, Journal of Optoelectronics and Advanced Materials, Vol. 10, No. 12, 2008,
pag. 3292-3299.
[22] Traian I. Cret u, Fizica generala, Editura Tehnica, Bucuresti, 1984.
[23] Amir Dembo, Thomas M. Cover, Joy A. Thomas, Information theoretic inequalities,
IEEE transactions on information theory, Vol. 37, Nr. 6, 1991, pag. 1501-1518.
[24] Bert van Es, Shota Gugushvili, Peter Spreij, A kernel type nonparametric density
estimator for decompounding, Bernoulli, Vol. 13, No. 3, 2007, pag. 672-694, e-print:
http://arxiv.org/abs/math/0505355v4.
[25] Shigeru Furuichi, On uniqueness theorems for Tsallis entropy and Tsallis relative
entropy, IEEE Transactions on Information Theory, Vol. 51, No. 10, 2005, pag. 3638-
3645, e-print: http://arxiv.org/abs/cond-mat/0410270.
[26] V. Garcia-Morales, J. Cervera, J. Pellicer, Correct thermodynamic forces in Tsallis
Thermodynamics: connection with Hill Nanothermodynamics, Phys. Lett. A, 336, 2005,
pag. 82-88, e-print: http://arxiv.org/abs/cond-mat/0501396.
[27] Charles M. Grinstead, J. Laurie Snell, Introduction to Probability, American Math-
ematical Society, http://math.dartmouth.edu/
~
prob/prob/prob.pdf, 2006.
[28] Bruce E. Hansen, Lecture Notes on Nonparametrics, University of Wisconsin, 2009,
www.ssc.wisc.edu/
~
bhansen/718/NonParametrics1.pdf.
[29] T. L. Hill, Perspective:Nanothermodynamics, Nanoletters, Vol. 1, No. 3, 2001, pag.
111-112.
[30] A. I. Hincin, Mathematical foundations of information theory, Dover, 1957.
[31] M. Iosifescu, Gh. Mihoc, R. Theodorescu, Teoria probabilitat ilor si statistica
27
matematica, Editura Tehnica, 1966.
[32] Marius Iosifescu, Costache Moineagu, Vladimir Trebici, Emiliana Ursianu, Mica
enciclopedie de statistica, Editura Stiint ica si Enciclopedica, 1985.
[33] Jaynes, E. T., Information Theory and Statistical Mechanics, in Statistical Physics,
K. Ford (ed.), Benjamin, New York, 181, 1963.
[34] Jaynes, E. T., Information Theory and Statistical Mechanics, Phys. Rev., 106,
1957, pag. 620-630, bayes.wustl.edu/etj/articles/theory.1.pdf.
[35] Jaynes, E. T., Information Theory and Statistical Mechanics II, Phys. Rev., 108,
[36] E. T. Jaynes, Gibbs vs. Boltzmann Entropies, American Journal of Physics, Vol.
33, No. 5, 1965, pag. 391-398.
[37] G. Kaniadakis, M. Lissia, A.M. Scarfone, Deformed logarithms and entropies, Phys-
ica A 340, 2004, http://arxiv.org/abs/cond-mat/0402418v1.
[38] G. Kaniadakis, A.M. Scarfone, A new one parameter deformation of the exponential
function, Physica A 305, http://arxiv.org/abs/cond-mat/0109537v1, 2002.
[39] Marzena Kosno, Dominik Szynal, On a characterization of the Shannon entropy,
Kybernetika, Vol. 27, No. 5, 1991, pag. 421-425.
[40] Dennis Kristensen, Econometric Methods, note de curs, Department of Economics,
University of Wiscounsin-Madison, http://www.ssc.wisc.edu/
~
dkristen/.
[41] B. H. Lavenda, J. Dunning-Davies, Additive Entropies of degree-q and the Tsallis
Entropy, Journal of Applied Sciences 5, 2005, pag. 315-322, http://arxiv.org/pdf/
physics/0310117v1.
[42] Jerald F. Lawless, Statistical Models and Methods for Lifetime Data, Second Edi-
tion, Wiley-Interscience, 2003.
[43] Thierry C. Petit Lobao, Pedro G. S. Cardoso, Suani T. R. Pinho, Ernesto P. Borges,
Some properties of deformed q-numbers, Brazilian Journal of Physics, vol. 39, no. 2A,
2009, pag. 402-407, http://arxiv.org/abs/0901.4501.
[44] David J.C. MacKay, Information Theory, Inference, and Learning Algorithms, Cam-
bridge University Press, 2003, http://www.inference.phy.cam.ac.uk/itprnn/book.
pdf.
[45] Vadim Marmer, Nonparametric kernel methods, note de curs, Department of Eco-
nomics, University of British Columbia, 2008, http://faculty.arts.ubc.ca/vmarmer/
econ627/nonparametric.pdf.
[46] Alexandre Souto Martinez, Rodrigo Silva Gonzalez, Cesar Augusto Sangaletti Ter-
cariol, Generalized Exponential Function and some of its Applications to Complex Sys-
tems, Advances in Mathematical Physics, 2009, pag. 1-14, http://arxiv.org/pdf/
0812.3071v1 .
[47] Maxima, a Computer Algebra System, http://maxima.sourceforge.net/.
[48] Gh. Mihoc, A. Muja, E. Diatcu, Bazele matematice ale teoriei abilitat ii, Editura
Dacia, 1976.
[49] H. N. Nagaraja, An introduction to extreme order statistics and actuarial applica-
tions, 2004 ERM Symposium, Chicago, April 26, 2004, http://www.math.ntu.edu.tw/
~
hchen/teaching/LargeSample/references/nagaraja.pdf.
28
[50] NIST/SEMATECH e-Handbook of Statistical Methods, Beta Distribution, http:
//www.itl.nist.gov/div898/handbook/eda/section3/eda366h.htm, 2012.
[51] L. Nivanen, A. Le Mehaute, Q.A. Wang, Generalized algebra within a nonextensive
statistics, Reports on Mathematical Physics, 52, 437, http://arxiv.org/abs/math-ph/
0303061, 2003.
[52] Valter Olariu, Valeriu Prepelit a, Matematici speciale, Editura Didactica si Peda-
gogica, Bucuresti, 1985.
[53] Gabriel V. Orman, Handbook of Limit Theorems and Stochastic Approximation,
Transilvania University Press, Brasov, 2003.
[54] M. Pop, Linear model for a dual distribution thermodynamic system, Bulletin of
the Transilvania University of Brasov , Vol. 15(50), III, Series Mathematics, Informatics,
Physics, 2008, pag. 559-566.
[55] Mihail Pop, Aproximarea densitat ii de probabilitate prin funct ii nucleu, Lucrare de
dizertat ie la Master, Coordonator stiint ic: Prof. Univ. Dr. Radu Paltanea, 2006.
[56] M. Pop, S. Dumitru, Nano-stability in terms of Tsallis entropy, Bulletin of the
Transilvania University of Brasov , Vol. 13 (48), 2006, pag. 129-134.
[57] Mihail Pop, Detectia semnalelor in prezenta zgomotelor cu ajutorul entropiei, Se-
siunea stiint ica a doctoranzilor, Seminarul Stiint ic Probabilitat i, procese stochastice
si aplicat ii, Brasov, 2007.
[58] Mihail Pop, On the possibility of approximation of functions with the aid of entropy,
21th Scientic Session on mathematics and its applications, Brasov, June 2007.
[59] Pop Mihail, Taylor series development of the redundancy of a particular bivariate
type of system, 22th Scientic Session on mathematics and its applications, Brasov, May
2008.
[60] Mihail-Ioan Pop, The heat equation with randomly generated initial conditions,
Proceedings of the 23rd Scientic Session Mathematics and its Applications, Brasov,
2009.
[61] Mihail - Ioan Pop, Entropii nonextensive, Raport de cercetare stiint ica doctorat,
Conducator: Prof. Univ. Dr. Gabriel V. Orman, Universitatea Transilvania Brasov,
2011.
[62] Ion Purcaru, Informat ie si corelat ie, Editura Stiint ica si Enciclopedica, 1988.
[63] Alfred Renyi, On measures of entropy and information, Proc. Fourth Berkeley
Symp. on Math. Statist. and Prob., Vol. 1, Univ. of Calif. Press, 1961, pag. 547-561.
[64] Olivier Rioul, Information theoretic proofs of entropy power inequalities, IEEE
Transactions on Information Theory, Vol. 57, Nr. 1, 2011.
[65] Murray Rosenblatt, Remarks on Some Nonparametric Estimates of a Density Func-
tion, Ann. Math. Statist. Vol. 27, Nr. 3, 1956, pag. 832-837, projecteuclid.org/
euclid.aoms/1177728190.
[66] I. Gh. Sabac, P. Cocarlan, O. Stanasila, A. Topala, Matematici speciale, Vol. II,
Editura Didactica si Pedagogica, Bucuresti, 1983.
[67] Roberto J. V. dos Santos, Generalization of Shannons theorem for Tsallis entropy,
Journal of Mathematical Physics, Vol. 38, Is. 8, 1997, pag. 4104-4107, www.cbpf.br/
GrupPesq/StatisticalPhys/pdftheo/Santos1997.pdf.
29
[68] A.M. Scarfone, Legendre structure of the thermostatistics theory based on the
Sharma-Taneja-Mittal entropy, Physica A, Volume 365, Issue 1, http://arxiv.org/
abs/cond-mat/0509774v1, 2006.
[69] A. M. Scarfone, T. Wada, Thermodynamic equilibrium and its stability for micro-
canonical systems described by the Sharma-Taneja-Mittal entropy, Phys. Rev. E, 72,
e-print: http://arxiv.org/abs/cond-mat/0504117, 2005.
[70] C. E. Shannon, A Mathematical Theory of Communication, The Bell System Tech-
nical Journal, Vol. 27, 1948, pag. 379-423, 623-656, cm.bell-labs.com/cm/ms/what/
shannonday/shannon1948.pdf.
[71] Mircea Silet chi, Alice Lascu, Informat ia, entropia si procesele sociale, Editura Academiei,
1978.
[72] Al. Spataru, Teoria transmisiunii informat iei, Editura Didactica si Pedagogica,
1983.
[73] Hiroki Suyari, Generalization of Shannon - Khinchin axioms to nonextensive sys-
tems and the uniqueness theorem for the nonextensive entropy, IEEE Transactions on
Information Theory, Vol. 50, No. 8, 2004, pag. 1783-1787.
[74] Hiroki Suyari, q-Stirlings formula in Tsallis statistics, 2004, http://arxiv.org/
pdf/cond-mat/0401541v1 .
[75] Constantino Tsallis, Entropic nonextensivity: A possible measure of complexity,
http://arxiv.org/abs/cond-mat/0010150v1, 2000.
[76] Constantino Tsallis, Nonextensive Statistics: Theoretical, Experimental and Com-
putational Evidences and Connections, Brazilian Journal of Physics, Vol. 29, Nr. 1,
1999, pag. 1-35, http://arxiv.org/abs/cond-mat/9903356v1.
[77] Berwin A. Turlach, Bandwidth Selection in Kernel Density Estimation: A Review,
Discussion Paper 9317, Institut de Statistique, Universite Catholique de Louvain, 1993,
school.maths.uwa.edu.au/
~
berwin/psfiles/dp9317.ps.gz.
[78] Sabir Umarov, Constantino Tsallis, Murray Gell-Mann, Stanly Steinberg, Symmet-
ric (q, )-Stable Distributions. Part I: First Representation, 2008, http://arXiv.org/
abs/cond-mat/0606038v2 .
[79] Sabir Umarov, Constantino Tsallis, Stanly Steinberg, On a q-central limit theorem
consistent with nonextensive statistical mechanics, Milan Journal of Mathematics, 76,
2008, http://www.cbpf.br/GrupPesq/StatisticalPhys/pdftheo/UmarovTsallisSte
inberg2008.pdf.
[80] Sabir Umarov, Constantino Tsallis, Stanly Steinberg, A generalization of the central
limit theorem consistent with nonextensive statistical mechanics, 2008, http://arxiv.
org/abs/condmat/0603593 .
[81] T. Wada, On the thermodynamic stability conditions of Tsallis entropy, Phys. Lett.
A, 297, 2002, pag. 334-337, e-print: http://arxiv.org/abs/cond-mat/0201368.
[82] T. Wada, Thermodynamic stability conditions for nonadditive composable entropies,
Continuum Mechanics and Thermodynamics (CMT), M. Sugiyama (ed.), 2003, e-print:
http://arxiv.org/abs/cond-mat/0307419.
[83] Christian Walck, Hand-book on statistical distributions for experimentalists, In-
ternal Report SUF-PFY/96-01, University of Stockholm, 2007, www.stat.rice.edu/
30
~
dobelman/textfiles/DistributionsHandbook.pdf.
[84] Eric W. Weisstein, Beta Distribution, MathWorld - A Wolfram web resource, http:
//mathworld.wolfram.com/BetaDistribution.html.
[85] Eric W. Weisstein, Gamma Distribution, MathWorld - A Wolfram web resource,
http://mathworld.wolfram.com/GammaDistribution.html.
[86] Eric W. Weisstein, Rising Factorial, MathWorld - a Wolfram web resource, http:
//mathworld.wolfram.com/RisingFactorial.html.
[87] Eric W. Weisstein, Weibull Distribution, MathWorld - A Wolfram web resource,
http://mathworld.wolfram.com/WeibullDistribution.html.
[88] Wei Biao Wu, Jan Mielniczuk, Kernel density estimation for linear processes, The
Annals of Statistics, Vol. 30, No. 5, 2002, pag. 1441-1459, projecteuclid.org/euclid.
aos/1035844982.
[89] Raymond W. Yeung, A First Course in Information Theory, Springer, 2002, preprint:
http://iest2.ie.cuhk.edu.hk/
~
whyeung/post/draft7.pdf.
[90] Raymond W. Yeung, Information Theory and Network Coding, Springer, 2008,
draft: iest2.ie.cuhk.edu.hk/
~
CAPITOLUL 2. PRINCIPIUL ENTROPIEI MAXIME
2.1. Tratare generala
Principiul entropiei maxime arm a ca o variabila aleatoare are repartit ia care re-
specta condit iile impuse acesteia si maximizeaza entropia [4], [5], [8], [10], [11], [18], [27].
Condit iile impuse reprezinta informat ia avuta asupra variabilei aleatoare, iar entropia
caracterizeaza gradul de nedeterminare al acesteia.
Fie o variabila aleatoare X careia i se impun N
C
condit ii exprimate ca medii f
j
(X))
ale unor funct ii f
j
(X), j = 1, N
C
. Pentru o variabila aleatoare cu repartit ie continua cu
densitatea de probabilitate (x) principiul entropiei maxime rezolva problema:
_
_
H() = max .,
f
j
(X)) = F
j
, j = 1, N
C
,
_
R
(x)dx = 1.
(37)
Aceasta problema se rezolva n general prin metoda multiplicatorilor lui Lagrange,
obt inandu-se condit ii necesare pentru maximul entropiei. Entropia s-a luat de forma,
pentru o distribut ie discreta, H =

N
i=1
p
i
h(p
i
) si pentru o distribut ie continua, H =
_
(x)h((x)) dx, unde h : R

+
R [3], [6], [7], [13]. Condit iile s-au luat ca medii
calculate cu distribut ii escorta.
2.1.1. Variabile aleatoare cu repartit ie discreta
Consideram o variabila aleatoare cu repartit ie discreta de probabilitat i p
i
, i = 1, N
si o forma mai generala a mediilor data prin probabilitat ile escorta P
i
(p
k
)
k
: f
j
(X)) =
31
N
i=1
P
i
(p
k
)
k
f
j
(x
i
), j = 1, N
C
. Se impune si condit ia de normare:

N
i=1
p
i
= 1.
Aplicand metoda multiplicatorilor lui Lagrange, notat i
j
, din H (p
i
)
i
= max . si
condit ii, se obt in ecuat iile:
h(p
i
) +p
i
h
(p
i
)
N
C
j=1
N
k=1
j
P
k
p
i
f
j
(x
k
)
0
= 0, i = 1, N. (38)
In cazul clasic P
i
(p
k
)
k
= p
i
ecuat iile (38) se pot reduce considerand o funct ie g(p) =
(p h(p))
p
= h(p) +p h
(p). Daca funct ia g este inversabila atunci se obt ine solut ia:
p
i
= g
1
_
_
0
+
N
C
j=1
j
f
j
(x
i
)
_
_
, i = 1, N. (39)
Daca probabilitat ile escorta sunt de forma P
i
(p
k
)
k
= c (p
i
)/T, unde c = c(p) este o
funct ie denita pe [0; 1], iar T =

N
k=1
c (p
k
), distribut ia este determinata din ecuat iile:
h(p
i
) +p
i
h
(p
i
)
c
(p
i
)
N
k=1
c (p
k
)
N
C
j=1
j
(f
j
(x
i
) F
j
)
0
= 0, i = 1, N. (40)
2.1.2. Variabile aleatoare cu repartit ie continua
Pentru o variabila aleatoare X continua cu densitatea de probabilitate (x), condit iile
devin f
j
) =
_
D
P((x)) f
j
(x)dx = F
j
, j = 1, N
C
,
_
(x)dx = 1, unde P((x)) este

densitatea de probabilitate escorta. Procedand n mod analog, se obt ine ecuat ia n (x):
h((x)) +(x)
dh
d
((x))
0
N
C
j=1
j
dP
d
((x)) f
j
(x) = 0, (41)
In cazul clasic P((x)) = (x), cu funct ia g de mai sus, se obt ine:

(x) = g
1
_
_
0
+
N
C
j=1
j
(f
j
(x) F
j
)
_
_
. (42)
Daca densitatea escorta este de forma P((x)) =
c((x))
T
, unde c este o funct ie si T =
_
c ((x)) dx, se obt ine ecuat ia n (x):

h((x)) +(x)
dh
d
((x))
1
_
c ((x)) dx
dc
d
((x))
N
C
j=1
j
(f
j
(x) F
j
)
0
= 0. (43)
32
2.2. Repartit ii care maximizeaza entropia Shannon
2.2.1. Cazul discret
Pentru entropia Shannon, h(p) = ln
1
p
, g(p) = lnp + 1 si probabilitat ile sunt de
forma:
p
i
=
1
Z
exp
_
_
N
C
j=1
j
f
j
(x
i
)
_
_
, i = 1, N, (44)
unde Z =

N
i=1
exp
_
N
C
j=1
j
f
j
(x
i
)
_
.
2.2.2. Cazul continuu
Pentru o variabia aleatoare continua, folosind entropia relativa si luand h((x)) =
ln
(x)
(x)
si g ((x)) = ln
(x)
(x)
1 se obt ine densitatea de probabilitate [11], [12], [15],
[16], [23], [28], [29]:
(x) =
(x)
Z
1
exp
_
_
N
C
j=1
j
f
j
(x)
_
_
, (45)
unde Z
1
=
_
(x) exp
_
N
C
j=1
j
f
j
(x)
_
dx. Daca condit iile sunt date prin funct ii
putere f
j
(x) = x
j
, j = 1, N
C
, densitatea de probabilitate devine:
(x) =
(x)
Z
exp
_
_
N
C
j=1
j
_
x
j
x
j
)
_
_
_
=
(x)
Z
1
exp
_
_
N
C
j=1
j
x
j
_
_
. (46)
Cateva repartit ii de aceasta forma sunt [5]:
1. Repartit ia uniforma pe un interval compact n absent a altor condit ii;
2. Repartit ia exponent iala pentru x > 0, daca se pune condit ia Ex = m, unde m este
cunoscuta;
3. Repartit ia normala pentru x R, daca se pun condit iile Ex = m si E(xm)
2
=
2
(sau echivalent Ex
2
= M
2
).
33
2.3. Repartit ii care maximizeaza entropia Tsallis
2.3.1. Cazul discret
Condit ii date prin medii clasice. Alegem factorii din medie P
i
= p
i
. Atunci
probabilitat ile pot exprimate n forma:
p
i
=
exp
2q
_
N
C
j=1
j
f
j
(x
i
)
_
q1
q
=
q1
_
1 (q 1)
_
0
+
N
C
j=0
j
f
j
(x
i
)
_
q
, i = 1, N.
(47)
Condit ii date prin medii cu repartit ii escorta. Folosind probabilitat ile escorta
cu c (p
i
) = p
q
i
, se obt ine:
p
i
=
1q
q
exp
q
_
1
T
N
C
j=1
j
(f
j
(x
i
) F
j
)
_
exp
q

0
, i = 1, N. (48)
2.3.2. Cazul continuu
Condit ii date prin medii clasice. Daca h((x)) = ln
q
(x)
(x)
si P((x)) = (x), se
obt ine:
(x) = (x)
exp
2q
_
N
C
j=1
j
(f
j
(x) F
j
)
_
q1
q
. (49)
Condit ii date prin medii cu repartit ii escorta. Fie c ((x)) =
q
(x). Notam
T =
_
c ((x)) dx. Atunci distribut ia devine:

(x) =
(x)
Z
exp
q
_
_
q1
(x)
T
N
C
j=1
j
(f
j
(x) F
j
)
_
_
, (50)
unde Z =
_
(x) exp
q
_
q1
(x)
T
N
C
j=1
j
(f
j
(x) F
j
)
_
dx. Cu unele schimbari de
notat ie, aceasta poate adusa la forma:
(x) =
1
Z
1
exp
q
_
_
1
T
1
N
C
j=1
j
f
j
(x)
_
_
. (51)
Cateva repartit ii de aceasta forma sunt:
1. Repartit ia uniforma daca nu se impun condit ii si
j
= 0, j = 1, N
C
;
2. Repartit ia q-exponent iala [3], [25]:
(x) =
1
Z
1
exp
q
(x) =
1
Z
1
1q
_
1 (1 q)x, x
_
0;
1
(1 q)
_
; (52)
34
3. Repartit ia q-normala, obt inuta cu condit ia x
2
)
q
=
2
[25]:
(x) =
_
_
1
_
q1
(3q)
1
1q
3q
2(1q)
exp
q
_
1
3q
x
2
2
_
, q > 1, [x[ <
_
3q
1q
1
_
1
2
exp
_
x
2
2
2
_
, q = 1
1
_
1q
(3q)
53q
2(1q)
2q
1q
exp
q
_
1
3q
x
2
2
_
, q < 1, [x[ <
_
3q
1q
.
(53)
[1] Jayanth Banavar, Amos Maritan, The maximum relative entropy principle, 2007,
eprint:http://arxiv.org/abs/cond-mat/0703622.
[2] A.G.Bashkirov, Maximum entropy principle for Renyis and Tsallis entropies, NEXT
2003 (Sardinia), 2003, e-print: http://arxiv.org/abs/cond-mat/0310211.
[4] Jan M. Van Campenhout, Thomas M. Cover, Maximum Entropy and Conditional
Probability, Technical report no. 32, Department of statistics, Stanford University, 1978,
http://statistics.stanford.edu/
~
ckirby/techreports/NSF/COVNSF32.pdf.
[5] Keith Conrad, Probability distributions and maximum entropy, Math Dept., Univer-
sity of Connecticut, http://www.math.uconn.edu/
~
kconrad/blurbs/analysis/entro
pypost.pdf.
[6] Shigeru Furuichi, On the maximum entropy principle and the minimization of the
Fisher information in Tsallis statistics, Journal of Mathematical Physics, Vol. 50, 2009,
eprint: http://arxiv.org/abs/1001.1383.
[7] Shigeru Furuichi, Characterizations of generalized entropy functions by functional
equations, 2010, http://arxiv.org/abs/1001.2190.
[8] Adom Gin, Maximum Entropy: The Universal Method for Inference, Doctoral
Thesis, University at Albany, State University of New York, eprint: http://arxiv.
org/abs/0901.2987, 2008.
[9] Diogo Aguiar Gomes, Calculus of variations and partial dierential equations, Lec-
ture notes, Departamento de Matem atica, Instituto Superior Tecnico, Universidade
Tecnica de Lisboa, descarcatan 2012, http://www.math.ist.utl.pt/
~
dgomes/notas_
calvar.pdf.
[10] Marian Grendar Jr., Marian Grendar, What is the question that MaxEnt answers?
A probabilistic interpretation, n: Bayesian inference and Maximum Entropy methods in
Science and Engineering, A. Mohammad-Djafari (ed.), AIP (Melville), 2001, pag. 83-94,
http://arxiv.org/abs/math-ph/0009020.
[11] Jaynes, E. T., Information Theory and Statistical Mechanics, Phys. Rev., 106,
[12] Jaynes, E. T., Information Theory and Statistical Mechanics II, Phys. Rev., 108,
[13] G. Kaniadakis, M. Lissia, A.M. Scarfone, Deformed logarithms and entropies, Phys-
35
ica A 340, 2004, http://arxiv.org/abs/cond-mat/0402418v1.
[14] G. Kaniadakis, Maximum entropy principle and power-law tailed distributions, Eur.
Phys. J. B 70, eprint: http://arxiv.org/abs/0904.4180, 2009.
[15] David J.C. MacKay, Information Theory, Inference, and Learning Algorithms, Cam-
bridge University Press, 2003, http://www.inference.phy.cam.ac.uk/itprnn/book.
pdf.
[16] Marina Meila, Maximum entropy models, Course notes, Department of Statistics,
University of Washington, 2010, http://www.stat.washington.edu/courses/stat538/
winter10/Handouts/h7-maxent.pdf.
[17] Erich Miersemann, Calculus of Variations, Lecture notes, Department of Mathemat-
ics, Leipzig University, 2011, www.math.uni-leipzig.de/
~
miersemann/variabook.pdf.
[18] Paul Peneld, Jr., Principle of maximum entropy, Note de curs, cap. 9 din In-
formation, Entropy and Computation, Department of Electrical Engineering and Com-
puter Science, Massachusetts Institute of Technology, 2010, http://www.mtl.mit.edu/
Courses/6.050/2010/notes/chapter9.pdf.
[19] Mihail-Ioan Pop, The inuence of stochastic perturbations on a Markov chain, Pro-
ceedings of the 24th Scientic Session Mathematics and its Applications, Brasov, 2010.
[20] Ion Purcaru, Informat ie si corelat ie, Editura Stiint ica si Enciclopedica, 1988.
[21] I. B. Russak, Calculus of variations, Lecture notes, Department of Mathematics,
Naval Postgraduate School, 2002, www.math.nps.navy.mil/
~
bneta/4311.pdf.
[22] I. Gh. Sabac, P. Cocarlan, O. Stanasila, A. Topala, Matematici speciale, Vol. II,
Editura Didactica si Pedagogic a, Bucuresti, 1983.
[23] Ellak Somfai, The maximum entropy framework, Lecture notes, Complexity Centre,
University of Warwick, 2011, http://www2.warwick.ac.uk/fac/cross_fac/comcom/
dtcsite/curriculum/co904/co904online/lecture-3-4.pdf.
[24] O. Stanasila, Analiza matematica, Editura Didactica si Pedagogica, 1981.
[26] Chih-Yuan Tseng, Ariel Caticha, Maximum Entropy and the Variational Method
in Statistical Mechanics: an Application to Simple Fluids, 2004, eprint: http://arxiv.
org/abs/cond-mat/0411625.
[27] Unk, J., Can the Maximum Entropy Principle be explained as a consistency re-
quirement?, Studies in History and Philosophy of Modern Physics, 26B, 1995, pag.
223-261, http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.27.6392.
[28] S. Wang, Maximum Entropy Principle, Lecture notes, Department of Comput-
ing Science, University of Alberta, 2005, http://webdocs.cs.ualberta.ca/
~
greiner/
C-466/SLIDES/maxent-sw.pdf.
[29] Raymond W. Yeung, Information Theory and Network Coding, Springer, 2008,
draft: iest2.ie.cuhk.edu.hk/
~
36
CAPITOLUL 3. METODA ENTROPIEI MAXIME PEN-
TRU PERTURBATII ALE DISTRIBUTIEI DE PROBA-
BILITATE
3.1. Perturbat ii ale densitat ii de probabilitate
In aceasta sect iune dezvoltam formalismul perturbat iilor densitat ii de probabilitate si

l aplicam la cateva marimi statistice. Consideram o densitate de probabilitate continua
(x) : D R, unde D R reprezinta suportul lui si o perturbam la alta densitate
de probabilitate continua
p
(x) : D R dupa relat ia
p
(x) = (x) + (x), unde
(x) : D R reprezinta o mica perturbat ie n raport cu (x): [(x)[ (x). Aceasta
este continua si verica relat ia
_
D
(x)dx = 0.
Momentul de ordinul n are perturbat ia M
n
= M
p
n
M
n
=
_
D
x
n
(x)dx, unde
M
n
=
_
D
x
n
(x)dx, M
p
n
=
_
D
x
n
p
(x)dx. Perturbat ia mediei m = M
1
este m =
_
D
x(x)dx.

In general, pentru o funct ie f : D R, Ef(x) =
_
D
f(x)(x)dx.
Perturbat ia momentelor centrate
p
n
=
_
D
(x m
p
)
n
p
(x)dx este:
n
=
__
D
(x m)
n
(x)dx n
n1
m
_
+
n1
k=1
(1)
k
n(n 1)...(n k + 1)
k!
(m)
k
__
D
(x m)
nk
(x)dx
n k
k + 1
nk1
m
_
. (54)
3.2. Perturbat ia entropiei
Prin dezvoltari n serie Taylor, n ipoteza
(x)
(x)
< 1, se obt ine perturbat ia entropiei

Shannon:
H =
_
D
(x) ln(x)dx
_
D
(x)
_
_
(x)
(x)
+
n2
(1)
n
1
n(n 1)
_
(x)
(x)
_
n
_
_
dx. (55)
3.3. Metoda entropiei maxime pentru perturbat ie
In continuare am determinat perturbat ia care maximizeaza entropia Shannonn cazul

general al mai multor condit ii si apoi pentru o singura condit ie. Consideram urmatoarea
problema: o densitate de probabilitate cunoscuta (x) ca mai sus este perturbata pe un
interval constant D. Se dau niste funct ii f
i
(x) : D R, i = 1, n. Se cere determinarea
perturbat iei densitat ii de probabilitate (x) care maximizeaza perturbat ia entropiei H
37
cu condit iile:
_
D
f
i
(x)(x)dx = F
i
, i = 1, n, (56)
_
D
(x)dx = 0. (57)
Problema se rezolva prin metoda multiplicatorilor lui Lagrange. Se fac urmatoarele
notat ii: F
ij
=
_
D
f
i
(x)f
j
(x)(x)dx, i = 1, n, j = 1, n, H
i
=
_
D
f
i
(x)(x) ln(x)dx,
i = 1, n. Am obt inut perturbat ia densitat ii de probabilitate:
(x) = (x)
_
ln(x) +
0
+
n
i=1
i
f
i
(x)
_
. (58)
Daca am folosit aproximat ia de ordinul 1 a entropiei n raport cu (x) nu se mai
obt inea perturbat ia (x) ca solut ie, ci direct (x). Multiplicatorii Lagrange
i
, i = 0, n
se determina din condit ii:
_
0
+
n
i=1
i
F
i
= H,
0
F
j
+
n
i=1
i
F
ij
= H
j
F
j
, j = 1, n.
(59)
3.3.1. Perturbat ie cu o singura condit ie
Consideram cazul n = 1. Fie f : D R funct ia care da condit ia. Facem notat iile
F =
_
D
f(x)(x)dx, F
2
=
_
D
f
2
(x)(x)dx, H
1
=
_
D
f(x)(x) ln(x)dx. Am obt inut:
0
=
HF
2
+FF FH
1
F
2
F
2
, (60)
=
HF +F H
1
F
2
F
2
. (61)
Notam D
f = F
2
F
2
= D
f(m, ) dispersia funct iei f(x) prin intermediul densitat ii

de probabilitate (x). Rezulta:
(x) = (x)
_
F f(x)
D
f
F + ln(x) +
(HF
2
H
1
F) + (H
1
HF) f(x)
D
f
_
. (62)
3.4. Ecuat ii integrale si inegalitat i ale perturbat iei
In continuare am determinat cateva ecuat ii integrale vericate de perturbat ia den-

sitat ii de probabilitate si inegalitat i pentru eroarea relativa a repartit iei si eroarea
condit iilor. Consideram perturbat ii cu o singura condit ie de tip gaussian: f(x) =
exp
_
(xm)
2
2
2
_
. Notam mai departe (x) =
(x)
(x)
. Am obt inut urmatoarele rezultate:
Teorema 18. Funct ia (x) verica o ecuat ie Fredholm de spet a a II-a de forma
(x) +A
1
_
D
K
1
(x, t)(t)dt = Q
1
(x), (63)
unde A
1
= 1/D
f, nucleul ecuat iei este K

1
(x, t) = (F f(x))f(t)(t) si termenul liber
este Q
1
(x) = ln(x)
H(F
2
Ff(x))H
1
(Ff(x))
D
f
. Nucleul este degenerat (separabil n
38
termeni de x si t). Solut ia acestei ecuat ii este:
(x) = Q
1
(x) C
1
F f(x)
D
f
, C
1
R. (64)
Teorema 19. Fie eroarea relativa a densitat ii de probabilitate
(x) =
(x)
(x)
= [(x)[
si eroarea relativa a condit iilor
C
=

F
F
=
C
(m). Acestea au urmatoarele proprietat i:
(i) Erorile relative
(m) si
C
(m) verica inegalitatea
(m) a
C
(m) + b, unde
a, b 0. Coecientul a este dat de a = a(m) =
FF
2
D
f
. Acesta este marginit:
1 < a <
F
D
f
. Coecientul b = [Q
2
(m)[.
(ii) Consideram ca D este o vecinatate a punctului m aleasa astfel ncat variat ia lui
n jurul punctului m este mica pe D, adica (x) este de forma (x) = (m) +
(x), x D, unde [(x)[/(x) < , > 0, x D.

In aceste condit ii a = O(1)
si b = O() cand [(x)[/(x) 0.
Observat ie.

In condit iile din teorema de mai sus, notam P =
_
D
(x)dx, F =
_
D
f(x)(x)dx, F
2
=
_
D
f
2
(x)(x)dx, A =
_
D
f(x)(m)dx, B =
_
D
f
2
(x)(m)dx.
Se obt ine atunci formula care da perturbat ia densitat ii de probabilitate:
(m)
(m)
=
(1 A)(F + F) A(AB)P
D
f
+O
_
()
2
_
. (65)
3.5. Minimizarea unei funct ii de cost cu o condit ie
Am determinat n continuare perturbat ia densitat ii de probabilitate care minimizeaza
funct ia de cost folosita n practica, de forma E
H
p
= kH
p
+(F
p
F)
2
= kH
p
+(F)
2
,
unde indicele p indica marimi perturbate. Pentru repartit ia teoretica funct ia de cost este
E
H
= kH. Unei variat ii mici (x) =
p
(x) (x), [(x)[ (x), x D i core-
spunde o variat ie a funct iei de cost E
H
= E
H
p
E
H
= kH+(F)
2
. Perturbat ia (x)
cautata este solut ie a problemei de minimizare E
H
= min. cu condit iile
_
D
(x)dx = 0,
_
D
f(x)(x)dx = F.
Cazul I. Condit ia de normare a repartit iei. Impunem doar condit ia
_
D
(x)dx =
0. Am obt inut:
(x) = (x)
_
2
k
(F f(x)) F + ln(x) +H
_
. (66)
Am construit si am demonstrat urmatoarea teorema:
Teorema 21. Fie (x) o densitate de probabilitate continua pe suportul compact D
R si o perturbat ie continua a acesteia (x) denita pe D, data de (66), considerata
innitezimala: [(x)[/(x) < , > 0.

In condit iile de mai sus, notam (x) =
(x)/(x). Aceasta funct ie verica ecuat ia Fredholm de spet a a II-a:
(x) +A
3
_
D
K
3
(x, t)(t)dt = Q
3
(x), (67)
39
unde A
3
=
2
k
, nucleul ecuat iei este K
3
(x, t) = (F f(x)) f(t)(t) si termenul liber este
Q
3
(x) = (ln(x) +H). Nucleul este degenerat. Solut ia acestei ecuat ii este:
(x) =
H
1
HF
k
2
+D
f
(F f(x)) (ln(x) +H) = (68)
=
_
H
1
HF
k
2
+D
f
f(x) + ln(x)
_
+
_
H
1
HF
k
2
+D
f
F H
_
. (69)
Daca domeniul D este astfel ales ncat variat ia (x) a lui (x) sa e mica n
comparat ie cu (m), m D xat, atunci, din (x) = (m) + (x) si cu notat iile
de mai sus am obt inut prima aproximat ie a perturbat iei n raport cu :
(x) = (x)
_
2
k
(Af(x)) F +
(x)
(m)
P
_
+O
_
()
2
_
. (70)
Cazul II. Condit ii de normare si de mediere ale repartit iei. Impunand
condit iile
_
D
(x)dx = 0 si
_
D
f(x)(x)dx = F, minimizarea lui E
H
se reduce la
maximizarea entropiei H cu condit iile date.
3.6. Metoda entropiei maxime pentru o entropie generala
3.6.1. Perturbat ia repartit iei pentru o entropie generala
In continuare am aplicat metoda entropiei maxime pentru o forma generala a en-

tropiei:
S
L
() =
_
D
L((x))dx, (71)
unde L : [0; ) [0; ) este o funct ie de clasa C
2
nenegativa si convexa: L
(x) > 0,
x > 0. Am determinat perturbat ia repartit iei de probabilitate n acest caz. Perturbat ia
entropiei S
L
= S
Lp
S
L
este:
S
L
=
_
D
_
L
((x))(x) +
1
2
L
((x))((x))
2
_
dx +O
_
()
3
_
. (72)
Impunem perturbat iei (x) condit iile
_
D
(x)dx = 0,
_
D
f(x)(x)dx = F, unde f(x)
este o funct ie gaussiana. Prin metoda multiplicatorilor lui Lagrange am obt inut:
(x) =
1
L
((x))
_
L
((x)) +
0
+f(x)
_
. (73)
NotamK((x)) =
1
L
((x))
, H
K
=
_
D
L
((x))K((x))dx, H
K
1
=
_
D
L
((x))K((x))f(x)dx,
I =
_
D
K((x))dx, F
K
=
_
D
f(x)K((x))dx, F
K
2
=
_
D
f
2
(x)K((x))dx.
Condit iile devin:
_
I
0
+F
K
= H
K
,
F
K
0
+F
K
2
= F H
K
1
.
(74)
40
Determinantul sistemului este:
D
K
f = IF
K
2
F
2
K
. (75)
Pentru D
K
f ,= 0 am obt inut solut ia sistemului:
_
0
=
H
K
1
F
K
H
K
F
K
2
D
K
f
+
F
K
D
K
f
F,
=
H
K
F
K
H
K
1
I
D
K
f

I
D
K
f
F.
(76)
Am obt inut perturbat ia densitat ii de probabilitate:
(x) = K((x))
_
F
K
If(x)
D
K
f
F +L
((x))+
+
(H
K
1
F
K
H
K
F
K
2
) + (H
K
F
K
H
K
1
I) f(x)
D
K
f
_
. (77)
Fie m D. Am considerat mai departe ca densitatea (x) are variat ii mici n jurul lui
x = m: (x) = (m) +(x), [(x)[ (x) pentru x pe o vecinatate a lui m. Notam
[D[ =
_
D
dx, P =
_
D
(x)dx, F =
_
D
f(x)(x)dx, F
2
=
_
D
f
2
(x)(x)dx,
A
L
=
_
D
f(x)
L
((m))
dx, B
L
=
_
D
f
2
(x)
L
((m))
dx, D
L
=
|D|
L
((m))
. Am obt inut perturbat ia
densitat ii de probabilitate:
(x) = K((x))
_
A
L
D
K
f(x)
B
L
D
L
A
2
L
F +L
((m))(x)+
+
(A
L
D
K
f(x))F (B
L
A
L
f(x))P
B
L
D
L
A
2
L
_
+O
_
()
2
_
= . (78)
3.6.2. Perturbat ia repartit iei cu condit ii uniforme
Am calculat perturbat ia repartit iei pentru o condit ie data de funct ia:
f(x) = f(x; m, ) =
_
1, x [m; m+],
0, x / [m; m+],
(79)
unde x, m D, > 0. Notam I
=
_
m+
m
K((x))dx, H
K
=
_
m+
m
L
((x))K((x))dx.
Rezulta perturbat ia densitat ii de probabilitate:
(x) =
_
_
K((x))
_
F
I
+L
((x)) +
(H
K
H
K
)+[H
K
H
K
(II
)]H
K
II
_
,
x [m; m+],
K((x))
_
F
II
+L
((x))
H
K
H
K
II
_
,
x / [m; m+].
(80)
3.6.3. Perturbat ia repartit iei cu condit ie de normare
Am considerat ca (x) se obt ine prin maximizarea entropiei Shannon cu singura
condit ie:
_
D
(x)dx = 0. Atunci (x) = (x) (ln(x) ln(x))). Aici ln(x))
este media logaritmului densitat ii de probabilitate.

In cazul general al maximizarii unei
entropii S
L
() =
_
D
L((x))dx cu condit ia
_
D
(x)dx = 0, (x) are forma (x) =
41
K((x))
_
L
((x))
H
K
I
_
.
3.6.4. Minimizarea funct iei de cost cu o entropie generala
Am studiat minimizarea funct iei de cost E
S
= kS
L
+ (F)
2
. Pentru o perturbat ie
(x) funct ia de cost are perturbat ia E
S
= kS
L
+ (F)
2
. Impunem doar condit ia
_
D
(x)dx = 0. Am obt inut:
(x) = K((x))
_
2
k
F
K
f(x)I
I
F +L
((x))
H
K
I
_
. (81)
Daca consideram ca [(x)[ (m), (x) = (x) (m), x D, cu notat iile de mai
sus rezulta:
(x) = K((x))
_
2
k
A
L
f(x)D
L
D
L
F +L
((m))(x)
P
D
L
_
+O
_
()
2
_
. (82)
3.6.5. Minimizarea funct iei de cost cu condit ii uniforme
Am considerat formula (82) cu funct ia uniforma (79) si am obt inut densitatea de
probabilitate n acest caz.
3.7. Erorile estimarii repartit iei prin condit ii locale
3.7.1. Erori de estimare
Am determinat comportarea statistica a perturbat iei densitat ii de probabilitate si
largimea optima a condit iilor pentru condit ii exprimate prin funct ii locale uniforme sau
gaussiene [13], [15]. Minimizand funct ia de cost E
H
p
, am obt inut perturbat ia densitat ii
de probabilitate (66) n care am nlocuit termenul F cu o eroare totala a condit iilor
F
tot
:
(x) = (x)
_
2
k
(f(x) F) F
tot
+ ln(x) +H
_
.
Am considerat ca D este ales astfel ncat variat ia lui n jurul lui (m) sa e [(x)[
(x), x D. Rezulta:
(x) = (x)
_
2
k
(f(x) F) F +
(x)
(m)
P
_
+O()
2
.
Eroarea totala a condit iilor F
tot
are doua surse: eroarea empirica de calcul a F = F
emp
,
care determina un termen F
emp
si procesul de estimare a densitat ii de probabilitate,
care determina un termen F
est
. Rezulta din modul de calcul al lui F
emp
cu o select ie
de n valori ca F
emp
este o variabila aleatoare aproximativ normal distribuita cu media
EF
emp
= 0 si dispersia DF
emp
= D
f/n, unde D
f = F
2
F
2
este dispersia lui f.
Am obt inut urmatoarea teorema:
Teorema 22. Estimam densitatea de probabilitate (x) a unei variabile aleatoare con-
tinue X D, D R prin minimizarea funct iei de cost E
H
p
cu condit ia de normare a
42
repartit iei. Cu notat iile de mai sus, eroarea de estimare a densitat ii de probabilitate si
eroarea totala a condit iilor sunt date de perturbat iile:
(x) = (x)
_
2
k
(f(x) F)
H
1
HF +F
emp
1 +
2
k
D
f
+ ln(x) +H
_
, (83)
F
tot
=
H
1
HF +F
emp
1 +
2
k
D
f
, (84)
unde F
emp
reprezinta eroarea empirica de calcul a mediei F. Consideram un punct
m D. Daca variat ia densitat ii de probabilitate (x) n jurul lui (m) are proprietatea
[(x)[ (x), x D atunci erorile n m devin:
(m) =
2
k
(m) (1 F)
FP F +F
emp
1 +
2
k
D
f
+(m)P, (85)
F
tot
=
FP F +F
emp
1 +
2
k
D
f
. (86)
Pentru n sucient de mare, F
emp
este o variabila aleatoare distribuita aproximativ
normal cu media EF
emp
= 0 si dispersia DF
emp
= D
f/n. Atunci (m) si F

tot
sunt si ele variabile aleatoare distribuite aproximativ normal de parametri:
E(m) =
2
k
(m) (1 F)
FP F
1 +
2
k
D
f
+(m)P, (87)
D(m) =
1
n
_
2
k
(m) (1 F)
1 +
2
k
D
f
_
2
D
f, (88)
EF
tot
=
FP F
1 +
2
k
D
f
, (89)
DF
tot
=
1
n
D
f
_
1 +
2
k
D
f
_
2
. (90)
Cautam E(m) = 0. Daca k este mic si k si D
f sunt de acelasi ordin de marime sau

D
f k atunci se obt in doua ecuat ii: F = 1, FP = F. Anuland eroarea condit iilor

EF
tot
= 0 am obt inut direct a doua ecuat ie. Din cele doua ecuat ii am determinat mai
jos valorile optime ale .
3.7.2. Condit ii uniforme
Am considerat ca f(x) deriva dintr-o funct ie constanta (uniforma) (79). Am consid-
erat [(x)[ (x), x [m; m+].
Minimizarea erorii densitat ii de probabilitate. Am obt inut ecuat ia de gradul
trei [15]

(m)
3

3
+2(m) 1 = 0. Daca
(m) = 0 atunci ecuat ia are o singura solut ie:
0
=
1
2(m)
. Daca
(m) ,= 0 notam A =
_
3
2
(m)
_
1 +
_
1 +
32
3
(m)
9
(m)
__
1/3
. Ecuat ia are 3
43
Figura 3: Variat ia valorilor optime ale cu
(m) pentru condit ii uniforme cu (m) = 1

[15].
solut ii:
1
= A
2(m)
A
(m)
, (91)
2
= Aexp
_
2
3
i
_
2(m)
A
(m)
exp
_
2
3
i
_
, (92)
3
= Aexp
_
2
3
i
_
2(m)
A
(m)
exp
_
2
3
i
_
. (93)
Minimizarea erorii condit iilor. Am obt inut ecuat ia
3
_
24
(m)d
3
_
6(m)d
3
=
0, de unde rezulta valoarea optima:
4
=
6(m)d
3
24
(m)d
3
. (94)
3.7.3. Condit ii gaussiene
Am considerat condit ii exprimate prin funct ii gaussiene [13] si D = [md/2; m+d/2].
Minimizarea erorii densitat ii de probabilitate. Pentru valori mici ale k si
D
f se poate anula primul termen din E(m). Am obt inut ecuat ia de gradul trei:
(m)
2
C
2
3
+ (m) C
1

1
2
= 0. Daca
(m) = 0 atunci exista o singura solut ie:
0
=
1
2C
1
(m)
. Pentru
(m) ,= 0 notam A =
_
1
2C
2
(m)
_
1 +
_
1

0
(m)
(m)
__
1/3
.
Ecuat ia are 3 solut ii:
1
= A
2C
1
(m)
3AC
2
(m)
, (95)
2
= exp
_
2
3
i
_
Aexp
_
2
3
i
_
2C
1
(m)
3AC
2
(m)
, (96)
3
= exp
_
2
3
i
_
Aexp
_
2
3
i
_
2C
1
(m)
3AC
2
(m)
. (97)
44
Figura 4: Variat ia valorilor optime ale pentru condit ii gaussiene cu
(m) pentru
C
1
= C
2
= 1, d = 1, (m) = 1, din minimizarea erorii densitat ii de probabilitate
(stanga) si din minimizarea erorii condit iilor (dreapta) [13].
Minimizarea erorii condit iilor. Se obt ine ecuat ia
_
C
2
2
_
(m) d
3
24
_
+
2 C
1
(m) d
3
= 0. Singura solut ie pozitiva este:
4
=
2 C
1
(m) d
3
C
2
(24
(m) d
3
)
. (98)
3.8. Unele corelat ii generalizate derivate din principiul en-
tropiei maxime
3.8.1. Proprietat i ale corelat iilor generalizate
La maximizarea entropiei cu o condit ie s-a obt inut determinantul = F
2
F
2
f.

In mod analog, pentru o entropie oarecare S
L
(71) s-a obt inut determinantul
= IF
K
2
F
2
K
D
K
f, care reprezinta o forma generala a dispersiei clasice D
f.
Pentru o variabila aleatoare X D cu densitatea de probabilitate (x) aceasta este
notata D
K
X = D
(1)
K
X si poate exprimata n 2 forme echivalente:
D
K
X = I
_
D
x
2
K ((x)) dx
__
D
xK ((x)) dx
_
2
, (99)
D
K
X = I
_
D
_
x
1
I
_
D
x
K
_
(x
)
_
dx
_
2
K ((x)) dx. (100)
45
Acestora le corespund doua formule ale corelat iei generalizate a doua variabile aleatoare
X D
X
si Y D
Y
[14]:
C
(1)
K
(X, Y ) = I
_
D
X
_
D
Y
xyK ((x, y)) dxdy
_
D
X
xK (
X
(x)) dx
_
D
Y
yK (
Y
(y)) dy,
(101)
C
(2)
K
(X, Y ) = I
_
D
X
_
D
Y
_
x
1
I
X
_
D
X
x
K
_
X
(x
)
_
dx
_ _
y
1
I
Y
_
D
Y
y
K
_
Y
(y
)
_
dy
K ((x, y)) dxdy. (102)

Aici I =
_
D
X
_
D
Y
K ((x, y)) dxdy, I
X
=
_
D
X
K (
X
(x)) dx, I
Y
=
_
D
Y
K (
Y
(y)) dy.
Cele doua forme ale corelat iei exprima marimi diferiten general: C
(1)
K
(X, Y ) ,= C
(2)
K
(X, Y ).
Introducemn formulele corelat iilor asa - numitele repartit ii escorta [2], [4], [19]: P(x, y) =
K((x,y))
I
, P
X
(x) =
K(
X
(x))
I
X
, P
Y
(y) =
K(
Y
(y))
I
Y
, precum si repartit iile escorta marginale:
P
X
(x) =
_
D
Y
P(x, y)dy, P
Y
(y) =
_
D
X
P(x, y)dx. Dispersia poate scrisa:
D
K
X = I
2
_
D
_
x
_
D
x
P(x
)dx
_
2
P(x)dx, (103)
unde P(x) este repartit ia escorta a lui X, iar corelat iile generalizate devin:
C
(1)
K
(X, Y ) = I
2
_
D
X
_
D
Y
xyP(x, y)dxdy I
X
I
Y
_
D
X
xP
X
(x)dx
_
D
Y
yP
Y
(y)dy, (104)
C
(2)
K
(X, Y ) = I
2
_
D
X
_
D
Y
_
x
_
D
X
x
P
X
(x
)dx
__
y
_
D
Y
y
P
Y
(y
)dy
_
P(x, y)dxdy.
(105)
Am obt inut urmatoarea teorema:
Teorema 23. Fie X, Y doua variabile aleatoare continue unidimensionale cu valori
n mult imile D
X
, respectiv D
Y
si o funct ie K : R
+
R
+
. Cu notat iile de mai sus
consideram m arimile:
D
(2)
K
X = I
_
D
X
_
D
Y
_
x
1
I
X
_
D
X
x
K
_
X
(x
)
_
dx
_
2
K ((x, y)) dxdy = (106)
= I
2
_
D
X
_
x
_
D
X
x
P
X
(x
)dx
_
2
P
X
(x)dx, (107)
D
(2)
K
Y = I
_
D
X
_
D
Y
_
x
1
I
Y
_
D
Y
y
K
_
Y
(y
)
_
dy
_
2
K ((x, y)) dxdy = (108)
= I
2
_
D
Y
_
y
_
D
Y
y
P
Y
(y
)dy
_
2
P
Y
(y)dy. (109)
Atunci corelat ia C
(2)
K
(X, Y ) are proprietatea:
C
(2)
K
(X, Y )

_
D
(2)
K
X D
(2)
K
Y . (110)
Formula (106) reprezinta o forma mai generala a dispersiei decat (100) pentru cazul
46
unui sistem de doua variabile aleatoare.

In legatura cu corelat iile generalizate am denit
urmatoarele independent e generalizate:
Denit ia 23. Fie X, Y doua variabile aleatoare continue unidimensionale si funct ia
K : R
+
R
+
. Atunci se denesc:
1. X si Y se numesc K
(1)
- independente daca I
2
P(x, y) = I
X
I
Y
P
X
(x)P
Y
(y), x
D
X
, y D
Y
sau, echivalent:
IK ((x, y)) = K (
X
(x)) K (
Y
(y)) , x D
X
, y D
Y
. (111)
2. X si Y se numesc K
(2)
- independente daca P(x, y)+P
X
(x)P
Y
(y) = P
X
(x)P
Y
(y)+
P
X
(x)P
Y
(y), x D
X
, y D
Y
sau, echivalent, pentru x D
X
, y D
Y
:
K ((x, y)) +
I
I
X
I
Y
K (
X
(x)) K (
Y
(y)) =
=
1
I
Y
_
D
Y
K
_
(x, y
)
_
dy
K (
Y
(y)) +
1
I
X
K (
X
(x))
_
D
X
K
_
(x
, y)
_
dx
.
(112)
Condit iile de independent a extinsa din denit ia de mai sus implica anularea corelat iilor
generalizate. Am construit si am demonstrat urmatoarea teorema:
Teorema 24. Fie K : R
+
R
+
o funct ie omogena: K(a b) = K(a) K(b), a, b R.
Fie X, Y doua variabile aleatoare continue unidimensionale, X D
X
, Y D
Y
. Daca
X, Y sunt independente n sens clasic atunci au loc:
1. P(x, y) = P
X
(x)P
Y
(y), P
X
(x) = P
X
(x), P
Y
(y) = P
Y
(y), x D
X
, y D
Y
.
2. Daca I = 1 atunci X, Y sunt K
(1)
- independente.
3. X, Y sunt K
(2)
- independente.
Observat ie. Daca I = 1 si K este omogena si n plus bijectiva atunci independent a
clasica si K
(1)
- independent a sunt echivalente. Aceasta se observa din faptul ca ambele
tipuri de independent a se reduc, pentru I = 1, la vericarea relat iei K ((x, y)) =
K (
X
(x)) K (
Y
(y)) = K (
X
(x)
Y
(y)). Daca exista K
1
, relat ia este echivalenta cu
(x, y) =
X
(x)
Y
(y). K
(2)
- independent a nu implica nsa independent a clasica.
3.8.2. Testarea celor doua formule ale corelat iei
Pentru a vedea care dintre cele doua formule ale corelat iei este mai buna, am facut
un test numeric. Am ales K (z) = z
2q
/q, q R
, care deriva din entropia Tsallis (22).

Am considerat o pereche de variabile aleatoare discrete cu repartit ia:
(X, Y ) :
_
(0, 0) (0, 1) (1, 0) (1, 1)
a b c d
_
, (113)
unde a, b, c, d 0, a + b + c + d = 1. Am folosit diferite valori ale q. Pentru ecare
din acestea am generat aleator 1000 de seturi (a, b, c, d) si pentru ecare din acestea din
urma am calculat trei coecient i de corelat ie:
r
(X, Y ) =
C
(X, Y )
_
D
X D
Y
, r
(1)
K
(X, Y ) =
C
(1)
K
(X, Y )
D
K
X D
K
Y
, r
(2)
K
(X, Y ) =
C
(2)
K
(X, Y )
D
K
X D
K
Y
.
47
Am reprezentat grac r
(1)
K
(X, Y ) si r
(2)
K
(X, Y ) funct ie de r
(X, Y ) r(X, Y ). Deoarece

r
(X, Y ) este marginit, r
(X, Y ) [1; 1], am cautat o comportare asemanatoare pentru

r
(1)
K
(X, Y ) si r
(2)
K
(X, Y ). S-a observat ca r
(1)
K
(X, Y ) nu este nici marginita, nici monotona
funct ie de r; r
(2)
K
(X, Y ) este marginita pentru q apropiat de 1 si este monoton crescatoare
funct ie de r. Asadar C
(2)
K
(X, Y ) apare ca o generalizare mai buna decat C
(1)
K
(X, Y ) a
corelat iei clasice.
Figura 5: Variat ia coecient ilor de corelat ie generalizat i r
(1)
K
(X, Y ) si r
(2)
K
(X, Y ) cu coe-
cientul clasic r pentru K (z) = z
2q
/q si diverse valori ale q [14].
3.8.3. Corelat ia extinsa pentru cateva repartit ii simple
Corelat ia extinsa a doua variabile aleatoare X, Y n raport cu o funct ie K((x, y)) =
K(x, y) poate scrisa C
K
(X, Y ) = I
2
C
P
(X, Y ), unde I =
_
D
X
_
D
Y
K(x, y)dxdy si
P(x, y) = K(x, y)/I este probabilitatea escorta. Luam C
K
(X, Y ) = C
(2)
K
(X, Y ). Am
calculat aceata corelat ie pentru un sistem (Y, Z), unde Z = X +kY , C
(Y, Z) = kD
Y
si X, Y au aceeasi distribut ie.
48
Variabile aleatoare distribuite exponent ial. Pentru repartit ie exponent iala
X
(x) = e
x
, x 0 pentru X, Y , > 0, s-a obt inut corelat ia extinsa C
P
(Y, Z) =
k
(a)
2
= kD
P
Y .
Variabile aleatoare cu repartit ie exponent iala extinsa. Consideram ca vari-
abilele aleatoare X, Y au repartit ia exponent iala extinsa
X
(x) = (1 + r) (1 rx)
1
r
,
x
_
0;
1
r
, > 0. Se obt ine atunci C

P
(Y, Z) =
1
2
(a+2r)
_
2k
a+3r
+
1
a+2r
_
z
P
1
(a+2r)
,
unde z
P
este media lui Z n raport cu repartit ia marginala.
[1] M. Abramowitz, I. A. Stegun (Eds.), Handbook of Mathematical Functions with
Formulas, Graphs, and Mathematical Tables, 9th printing, Dover, New York, 1972,
http://people.math.sfu.ca/
~
cbm/aands/.
[3] B. M. Budak, S. V. Fomin, Multiple integrals, eld theory and series, Mir Publishers,
1973.
[4] Shigeru Furuichi, On the maximum entropy principle and the minimization of the
Fisher information in Tsallis statistics, Journal of Mathematical Physics, Vol. 50, 2009,
eprint: http://arxiv.org/abs/1001.1383.
[5] Adelina Georgescu, Aproximat ii asimptotice, Editura Tehnica, Bucuresti, 1989.
[6] Diogo Aguiar Gomes, Calculus of variations and partial dierential equations, Lec-
ture notes, Departamento de Matematica, Instituto Superior Tecnico, Universidade
Tecnica de Lisboa, descarcatan 2012, http://www.math.ist.utl.pt/
~
dgomes/notas_
calvar.pdf.
[7] Adolf Haimovici, Ecuat ii diferent iale si ecuat ii integrale, Editura Didactica si Peda-
gogica, Bucuresti, 1965.
[8] Aristide Halanay, Vasile Dragan, Perturbat ii singulare. Dezvoltari asimptotice, Edi-
tura Academiei R.S.R., Bucuresti, 1983.
[9] M. Krasnov, A. Kiselev, G. Makarenko, Problems and exercises in integral equations,
Mir Publishers, Moscow, 1971.
[10] Maxima, a Computer Algebra System, http://maxima.sourceforge.net/.
[11] Erich Miersemann, Calculus of Variations, Lecture notes, Department of Mathemat-
ics, Leipzig University, 2011, www.math.uni-leipzig.de/
~
miersemann/variabook.pdf.
[12] National Institute of Standards and Technology, Incomplete Beta Functions, Digital
Library of Mathematical Functions, 2012, http://dlmf.nist.gov/8.17.
[13] Mihail-Ioan Pop, Maximum entropy estimation of probability distributions with
Gaussian conditions, 2012, trimisa la Applied Mathematics and Computation, e-print:
[14] Mihail-Ioan Pop, A generalised covariance derived from the maximum entropy prin-
ciple, Proceedings of the 25th Scientic Session Mathematics and its Applications,
Brasov, 2011.
49
[15] Mihail-Ioan Pop, Estimarea distributiilor de probabilitate cu ajutorul entropiei, Se-
[16] W. H. Press, S. A. Teukolsky, W. T. Vetterling, B. P. Flannery, Numerical Recipes:
The Art of Scientic Computing, Third Edition, Cambridge University Press, 2007,
http://apps.nrbook.com/empanel/index.html.
[17] I. B. Russak, Calculus of variations, Lecture notes, Department of Mathematics,
Naval Postgraduate School, 2002, www.math.nps.navy.mil/
~
bneta/4311.pdf.
[18] Ion Gh. Sabac, Matematici speciale, Editura Didactica si Pedagogica, 1981.
[20] Horiana Tudor, Analiza matematica: curs practic pentru ingineri, Editura Albastra,
2008.
CAPITOLUL 4. IMPLEMENTAREA METODEI ENTRO-
PIEI MAXIME
4.1. Prezentare generala
Am aplicat metoda entropiei maxime pentru o variabila aleatoare continua X, urma-
rind estimarea (aproximarea) densitat ii de probabilitate
X
(x) a acesteia, pornind de la
o select ie de valori de volum N: X
i
, i = 1, N, care acopera un interval X
i
[X
min
; X
max
]
de largime X = X
max
X
min
. Am testat doua tipuri de estimari:
1. Estimari prin repartit ii continue: densitatea de probabilitate
X
(x) a fost aprox-
imata printr-o alta densitate de probabilitate (x) de o forma data, pentru care
s-au determinat o serie parametri n timpul estimarii. Aceasta cale dureaza mult
timp si nu este practica.
2. Estimari prin repartit ii discrete: densitatea de probabilitate
X
(x) a fost aprox-
imata prin intermediul unei repartit ii discrete de probabilitat i p
j
calculate n N
p
puncte echidistante x
j
, j = 1, N
p
din domeniul lui X. Odata determinate aceste
probabilitat i, densitatea de probabilitate poate estimata prin valorile
j
= p
j
/
atasate punctelor x
j
, unde este distant a ntre punctele n care se calculeaza
repartit ia discreta. Aceasta cale dureaza un timp acceptabil (aproximativ 2 ore),
este practica si a fost folosita n aplicat iile din capitolul urmator.
Pentru estimarea densitat ii de probabilitate
X
(x) am impus acesteia N
c
condit ii cal-
culate ca medii f
k
) = F
k
ale unor funct ii f
k
(x), k = 1, N
c
. Valorile f
k
) reprezinta medi-
ile simulate (estimate), determinate cu ajutorul repartit iei obt inuten timpul aproximarii,
care modeleaza repartit ia teoretica. Valorile F
k
impuse s-au identicat cu mediile ex-
perimentale (sau empirice) calculate prin valorile select iei X
i
, i = 1, N: F
k
= F
emp
k
=
50
1
N
N
i=1
f
k
(X
i
), k = 1, N
c
. Aceste condit ii sunt reprezentate printr-o funct ie de cost
E
H
= E k
H
H sau E
H
= k
E
E H care trebuie minimizata, E
H
= min. Aici k
H
,
k
E
controleaza netezimea repartit iei.
Vericarea estimarii se face pe un numar de condit ii N
v
care poate diferit de N
c
.
Calitatea estimarii a fost vericata prin 2 metode.

In prima metoda am reprezentat
grac mediile empirice F
k
funct ie de mediile calculate f
k
). Aproximarea ideala se
obt ine atunci cand gracul obt inut coincide cu gracul funct iei f(x) = x (linia teoretica
a mediilor).

In alta metoda am folosit eroarea relativa a condit iilor:
C
k
=
[F
k
f
k
)[
F
k
, k = 1, N
v
. (114)
Ideal
C
k
= 0.

In practica este important ca
C
k
1.
Cateva funct ii pe care le-am folosit pentru exprimarea condit iilor sunt:
1. Funct ii putere: f
k
(x) = (x m)
k
, m = 0 sau m = (X
min
+X
max
) /2.
2. Funct ii polinomiale, n special polinoame Cebsev [14]: f
k
(x) = cos (k arccos x),
x [1; 1].
3. Funct ii logaritm - polinomiale de forma: f
k
(x) = lnP
k
(x), unde P
k
(x), P
k
(X) > 0.
4. Funct ii uniforme (constante):
f
k
(x) =
_
1, x [c
k
; c
k
+],
0, x / [c
k
; c
k
+].
(115)
5. Funct ii gaussiene: f
k
(x) = exp
_
(xc
k
)
2
2
2
_
.
Condit iile exprimate prin ultimele doua funct ii au un caracter local deoarece acestea
au valori semnicative doar n preajma punctelor c
k
.

In acest caz si eroarea relativa a
condit iilor este funct ie de pozit ie
C
k
= f(c
k
) si permite masurarea calitat ii aproximarii
n diverse puncte ale domeniului lui X.
4.2. Algoritmul de recoacere simulata
Algoritmul de recoacere simulata, folosit mai departe n estimarea densitat ii de prob-
abilitate, rezolva probleme de minimizare a unei funct ii de cost, de tipul C (v) = min,
unde C : R
n
R iar v = (v
1
, v
2
, ..., v
n
) R
n
este vectorul care trebuie gasit n prob-
lema de minimizare. Pentru aceasta foloseste un parametru de temperatura T > 0
care controleaza gasirea solut iei si un parametru de descrestere a temperaturii f (0; 1).
Algoritmul are mai multe iterat ii indexate cu i N. Init ial se alege o temperatura T
0
si un vector v
0
care se introduc n prima iterat ie. La iterat ia i temperatura este T
i1
si
solut ia v
i1
obt inute n iterat ia precedenta. Cu aceasta din urma se calculeaza funct ia
cost C
i1
= C (v
i1
). Apoi se genereaza aleator un vecin v
i
al v
i1
prin modicarea
cu un pas aleator distribuit normal sau uniform a elementelor lui v
i1
. Se calculeaza
funct ia de cost a solut iei candidat v
i
: C
i
= C (v
i
). Temperatura este actualizata la val-
oarea T
i
= f T
i1
. Urmeaza select ia solut iei curente v
i
, care se face cu probabilitatea
51
condit ionata:
P
_
v
i
= v
i
[C
i
_
=
_
1, C
i
< C
i
exp
_
i
C
i
T
_
, C
i
C
i
(116)
Algoritmul se opreste cand o anumita condit ie este ndeplinita. Noi am aplicat oprirea
dupa un anumit numar de pasi.
Solut iile v
i
generate la ecare pas formeaza un lant Markov [10]. Hajek [10] a demon-
strat convergent a algoritmului de recoacere simulata pentru o mult ime nita de stari;
unele rezultate teoretice ale sale sunt prezentate pe scurt n aceasta sect iune.
4.3. Testarea estimarii prin repartit ii continue
Pentru a determina condit iile optime de aproximare am facut cateva teste numerice.
Pentru aceasta, am ales variabila aleatoare X cu o repartit ie data. Select ia lui X am
obt inut-o cu funct ii de generare a valorilor aleatoare din programe de calcul tabelar
(Gnumeric si OpenOce) [7], [18]. Am estimat densitatea de probabilitate a lui X printr-
o densitate de probabilitate de forma (x) =
1
Z
exp
_
i=1
i
(x m)
i
_
, unde Z este
o constanta de normare,
i
trebuie determinat i, iar m = 0 sau m = (X
min
+X
max
) /2.
Am facut mai multe teste numerice cu programul din anexa:
1. Testarea formei erorii globale E;
2. Testarea factorului k
E
;
3. Folosirea unor condit ii logaritm-polinomiale;
4. Folosirea unor condit ii gaussiene.
Concluzii.

In principiu se poate aproxima o repartit ie continua printr-o densitate de
probabilitate folosind condit ii de tip putere sau condit ii gaussiene. Principala problema
o reprezinta complexitatea calculelor care duce la cresterea timpului de calcul pana la o
zi pentru o repartit ie, ceea ce face aproximarea prin repartit ii continue nepractica.
4.4. Testarea estimarii prin repartit ii discrete cu condit ii
gaussiene
In continuare am testat calitatea estimarii densitat ii de probabilitate cu ajutorul unor

repartit ii discrete, condit iile nd date de funct ii gaussiene.

In intervalul [X
min
; X
max
]
am generat N
p
puncte echidistante x
j
, j = 1, N
p
cu distant a = x
j
x
j1
, =
(X
max
X
min
) / (N
p
1) dupa formula x
j
= X
min
+ (j 1)
X
max
X
min
N
p
1
. Am determi-
nat o repartit ie discreta de probabilitat i p
j
= P (X [x
j
/2; x
j
+/2)), j = 1, N
p
.
Condit iile utilizate sunt date prin N
c
funct ii gaussiene centrate n punctele c
k
, k = 1, N
c
alese echidistant n intervalul [X
min
; X
max
] cu distant a = c
j
c
j1
, generate n mod
asemanator cu punctele x
j
. Am estimat densitatea de probabilitate prin
j
= (x
j
) =
p
j
/. Am masurat calitatea estimarii prin eroarea relativa a condit iilor
C
k
.
52
Figura 6: Estimarea repartit iei printr-o repartit ie continua (stanga) si gracul mediilor
(dreapta) cu condit ii gaussiene pentru 3 repartit ii Weibull. S-au folosit N = 9 000 valori
experimentale.
Am facut teste pe 3 repartit ii tipice: exponent iala, normala si Weibull (gura 3.8).
Pentru studierea dependent ei estimarii de diversi parametri implicat i am folosit repartit ia
teoretica : [0; 1] R
+
,
(x) =
1
Z
exp
_
10
4
(x 0, 1)(x 0, 2)(x 0, 3)(x 0, 5)(x 0, 8)(x 0, 9)
, (117)
unde Z 1, 38. Am urmarit calitatea estimarii n funct ie de numarul N de valori
empirice folosite si de factorul de largime al condit iilor . Pentru N = 1 000 estimarea
este destul de buna, dar pentru N = 100 aceasta prezinta maxime locale suplimentare
fat a de repartit ia teoretica.
Concluzie. O repartit ie continua poate estimata bine printr-o repartit ie discreta
cu condit ii gaussiene daca numarul de valori empirice folosite este sucient de mare,
N 1 000.

In discontinuitat i estimarea este slaba. Timpul de calcul obt inut este de
aproximativ 100 minute pe un procesor cu frecvent a de 3,4 GHz.
4.5. Estimari obt inute cu alte entropii
Am testat metoda entropiei maxime pentru entropiile Tsallis si Abe. Entropia Abe
da estimari destul de bune ale densitat ii de probabilitate.
53
Figura 7: Densitatea de probabilitate estimata printr-o repartit ie discreta si eroarea
relativa a condit iilor pentru 3 repartit ii teoretice: repartit ie exponent iala cu media m = 1
(sus), repartit ie normala cu media m = 0 si abaterea standard
norm
= 10 (mijloc),
repartit ie Weibull cu parametrii k = 2, = 1 (jos). S-au folosit N = 10 000 valori si
condit ii gaussiene cu parametrul condit iilor = X/30.
54
Figura 8: Inuent a numarului N de valori empirice asupra preciziei determinarii den-
sitat ii de probabilitate pentru repartit ia (117) printr-o repartit ie discreta cu condit ii
gaussiene: N = 100 (sus), N = 1 000 (mijloc), N = 10 000 (jos). Parametrul condit iilor
este = X/30.
55
Figura 9: Inuent a largimii condit iilor n raport cu largimea intervalului valorilor X
asupra preciziei determinarii densitat ii de probabilitate pentru repartit ia (117) printr-o
repartit ie discreta cu condit ii gaussiene daca N = 100: = X/15 (sus), = X/20
(mijloc), = X/40 (jos).
56
[1] D. Bertsimas, J. Tsitsiklis, Simulated Annealing, Statistical Science, Vol. 8, Nr. 1,
1993, pag. 10-15, projecteuclid.org/euclid.ss/1177011077.
[2] Bradley J. Buckham, Casey Lambert, Simulated Annealing Applications, Mechan-
ical Engineering Department, University of Victoria, 1999, http://www.me.uvic.ca/
~
zdong/courses/mech620/SA_App.PDF.
[3] V.

Cern y, Thermodynamical approach to the traveling salesman problem: An e-
cient simulation algorithm, Journal of Optimization Theory and Applications, 45, 1985,
pag. 41-51, mkweb.bcgsc.ca/papers/cerny-travelingsalesman.pdf.
[4] Gianfranco Ciardo, Interval Estimation, Note de curs, Bourns College of Engineer-
ing, University of California at Riverside, 2011, http://www.cs.ucr.edu/
~
ciardo/
teaching/CS177/section8.1.pdf.
[5] Arnab Das and Bikas K. Chakrabarti (Eds.), Quantum Annealing and Related Op-
timization Methods, Lecture Note in Physics, Vol. 679, Springer, Heidelberg, 2005.
[6] eFunda: Full Annealing, http://www.efunda.com/processes/heat_treat/softeni
ng/annealing.cfm.
[7] Gnumeric - the GNOME oce spreadsheet, http://projects.gnome.org/gnumeric/
index.shtml.
[8] Charles M. Grinstead, J. Laurie Snell, Introduction to Probability, American Math-
ematical Society, 2006, http://math.dartmouth.edu/
~
prob/prob/prob.pdf.
[9] GNU Scientic Library (GSL), http://www.gnu.org/s/gsl/.
[10] Bruce Hajek, Cooling schedules for optimal annealing, Mathematics of Operations
Research, Vol. 13, No. 2, 1988, pag. 311-329, web.mit.edu/6.435/www/Hajek88.pdf.
[11] K. Hamacher, Adaptation in Stochastic Tunneling Global Optimization of Complex
Potential Energy Landscapes, Europhys. Lett. 74 (6), 944, 2006.
[12] Kun He, Glen Meeden, Selecting the Number of Bins in a Histogram: A Decision
Theoretic Approach, Journal of Statistical Planning and Inference, Vol. 61, 1997, pag.
49-59, http://www.stat.umn.edu/
~
glen/papers/hist.ps.
[13] L. Ingber, Simulated annealing: Practice versus theory, J Mathl. Comput. Mod-
elling, 18, 1993, pag. 29-57, http://www.ingber.com/asa93_sapvt.pdf.
[14] Donald J. Jacobs, Best Probability Density Function for Random Sampled Data,
Entropy, 11, 2009, pag. 1001-1024, http://www.mdpi.com/1099-4300/11/4/1001.
[15] S. Kirkpatrick, C. D. Gelatt, Jr., M. P. Vecchi, Optimization by Simulated An-
nealing, Science 220, 1983, pag. 671-680, http://home.gwu.edu/
~
stroud/classics/
KirkpatrickGelattVecchi83.pdf.
[16] Kevin H. Knuth, Optimal Data-Based Binning for Histograms, 2006, eprint: http:
//arxiv.org/abs/physics/0605197.
[17] Kyle Loudon, C++ Pocket Guide, Editura BIC ALL, 2006.
[18] OpenOce.org oce productivity suite, http://www.openoffice.org/.
[19] Gabriel V. Orman, Handbook of Limit Theorems and Stochastic Approximation,
Transilvania University Press, Brasov, 2003.
[20] E. Parzen, On Estimation of a Probability Density Function and Mode, Ann. Math.
57
Statist., 33, 1962, pag. 1065-1076, projecteuclid.org/euclid.aoms/1177704472.
[21] Mihail Pop, Aproximarea densitat ii de probabilitate prin funct ii nucleu, Lucrare de
dizertat ie la Master, Coordonator stiint ic: Prof. Univ. Dr. Radu Paltanea, 2006.
[22] Mihail-Ioan Pop, Estimarea distributiilor de probabilitate cu ajutorul entropiei, Se-
[23] Murray Rosenblatt, Remarks on Some Nonparametric Estimates of a Density Func-
tion, Ann. Math. Statist. Vol. 27, Nr. 3, 1956, pag. 832-837, projecteuclid.org/
euclid.aoms/1177728190.
[24] Rubinstein, R.Y., Kroese, D.P., The Cross-Entropy Method: A Unied Approach to
Combinatorial Optimization, Monte-Carlo Simulation, and Machine Learning, Springer-
Verlag, New York, 2004.
[25] Michael D. Vose, The Simple Genetic Algorithm: Foundations and Theory, MIT
Press, Cambridge, MA, 1999.
[26] Wei Biao Wu, Jan Mielniczuk, Kernel density estimation for linear processes, The
Annals of Statistics, Vol. 30, No. 5, 2002, pag. 1441-1459, projecteuclid.org/euclid.
aos/1035844982.
CAPITOLUL 5. APLICATII ALE METODEI ENTROPIEI
MAXIME CU CONDITII GAUSSIENE
5.1. Descriere generala
Am analizat cateva sisteme caracterizate de o serie de parametri distribuit i aleator,
pentru care am estimat densitatea de probabilitate cu ajutorul metodei entropiei maxime
folosind aproximarea cu repartit ii discrete si condit ii gaussiene cu parametrul de largime
al condit iilor = X/30. Am generat N
p
= 1 000 probabilitat i ale repartit iei discrete si
am folosit N
c
= N
v
= 101 condit ii pentru estimarea si vericarea distribut iei. Sistemele
analizate sunt de doua tipuri:
1. Sisteme statice, caracterizate de o serie de parametri care nu se modica unul n
raport cu altul. Pentru acestea am analizat ecare parametru n parte.
2. Sisteme dinamice, caracterizate de parametri de intrare X
i
si de iesire Y
j
, legat i prin
funct ii de transfer Y
j
= f
j
(X
i
)
i
. Am distribuit aleator parametrii de intrare X
i
n
jurul mediei EX
i
, cu o abatere (eroare) relativa a parametrilor (X
i
) =
(X
i
)
EX
i
, unde
(X
i
) este un coecient de mprastiere n jurul mediei. Am determinat repartit ia
parametrilor de iesire Y
j
.
58
5.2. Repartit ia statistica a parametrilor asteroizilor din Sis-
temul Solar
Am folosit parametri ai asteroizilor stocat i n baza de date Planetary Data System
a NASA [27]. Am estimat repartit ia statistica a catorva parametri:
- Diametrul mediu, masa si densitatea masica a asteroizilor;
- Albedourile n lumina polarizata, infrarosu si radar;
- Magnitudinea n radiat ie vizibila si indicii spectrali U-B si B-V.
Figura 10: Densitatea de probabilitate si eroarea relativa a condit iilor pentru diametrul
(sus, N = 2 228 masuratori), masa (mijloc, N = 144 masuratori) si densitatea masica
(jos, N = 144 masuratori) a asteroizilor.
59
5.3. Analiza statistica a ciclurilor solare
Am determinat si am reprezentat grac repartit ia statistica a diferent ei zilnice a
indicelui Wolf SN [35] DSN
i
= SN
i
SN
i1
, unde i este timpul (zile). Datele au fost
preluate de la Centrul de analiza a inuent elor solare (SIDC) a Observatorului Regal
Belgian [41] pentru ultimele 14 cicluri solare. Am obt inut distribut ia indicelui DSN prin
metoda entropiei maxime, care este, pentru [DSN[ [10; 60], o distribut ie Laplace [20]:
(DSN) =
1
Z
exp
_
[DSN[
m
_
, (118)
unde m 9, 56 iar Z este un factor de normare. Cel mai mic interval temporal constatat
pentru care repartit ia DSN este de tip Laplace corespunde unui ciclu de 11 ani. Din
analiza dispersiei lui DSN am obt inut ca principala origine a repartit iei Laplace a DSN
este data de uctuat iile lui DSN. Am estimat si distribut ia pentru ecare an din cadrul
ciclului 23 si pentru tot ciclul, precum si variat ia unor marimi statistice n timp.
Figura 11: Dependent a DSN de timp (puncte) n paralel cu ciclurile solare reprezentate
prin indicele SN (linie gri) [35].
Figura 12: Densitat ile de probabilitate empirica si MEM a DSN (stanga); logarit-
mul densitat ii de probabilitate mpreuna cu aproximarea exponent iala pentru [DSN[
[10; 60] (dreapta); partea centrala a repartit iei (jos) [35].
60
5.4. Repartit ii ale nanopulberilor
Am obt inut [7] repartit ii ale razei, volumului si circularitat ii unor particule de Al
2
O
3
ZrO
2
obt inute prin procedeul sol-gel [1], [16]. Am aproximat repartit ia volumului cu o
repartit ie Weibull pe port iunea din stanga. Pentru aceasta am obt inut, prin aproximarea
prin metoda celor mai mici patrate a funct iei de repartit ie, coecient ii k
W
= 1, 471,
W
= 38 479, 515. Prin tarea graca a densitat ii de probabilitate obt inuta prin metoda
entropiei maxime s-au gasit coecient ii k = 2, = 25 000. Pentru a verica aproximarea
Weibull a repartit iei volumului am folosit gracele skewnessului si kurtosisului n exces
pe care le-am obt inut prin procedeul n pieptene din sect iunea si le-am reprezentat
mai jos. Acestea indica o repartit ie Weibull dubla.
5.5. Sisteme oscilante cu condit ii init iale perturbate
Oscilator cu mai multe puncte stat ionare. Am considerat un oscilator unidi-
mensional cu energia potent iala [32] U(x) =
ax
2
2
+ ab(sinx xcos x), unde x = x(t)
este pozit ia oscilatorului, t este timpul, iar a si b sunt niste constante. Daca se adauga
un termen de amortizare si o fort a exterioara periodica se obt ine ecuat ia diferent iala a
oscilatorului:
x + 2 x +ax(1 +b sinx) = f cos t, (119)
unde este coecientul de amortizare, f este amplitudinea fort ei exterioare, iar este
pulsat ia acesteia. Punctele stat ionare ale oscilatorului [4], [32], [39] sunt x
1
= 0, x
2 k
=
arcsin
1
b
+2k, x
3 k
= arcsin
1
b
+(2k +1), unde k Z si v
1
= v
2 k
= v
3 k
= 0. Punctul
x
1
este asimptotic stabil daca a > 0 si nestabil daca a < 0. Punctul x
2
este asimptotic
stabil daca ax
2
> 0 si nestabil daca ax
2
< 0, iar punctul x
3
este asimptotic stabil daca
ax
3
< 0 si nestabil daca ax
3
> 0 [32].
Am considerat ecuat ia oscilatorului cu condit iile init iale teoretice x(0) = x
0
, v(0) =
v
0
, pe care le-am perturbat aleator dupa repartit ii uniforme n intervalele [x
0
1; x
0
+1]
si [v
0
1; v
0
+ 1]. Am rezolvat numeric ecuat ia (119). Am determinat repartit iile lui
x
i
(t) si v
i
(t) la t = 100 prin metoda entropiei maxime. Am luat a = 1 si b = 2.
Oscilator Milgrom. Oscilatorul Milgrom are ecuat ia diferent iala [31]:
x + sgn(x)
1
2
_
(
2
0
x)
2
+
_
(
2
0
x)
4
+ 4a
2
0
(
2
0
x)
2
_
= 0, (120)
unde x = x(t) este pozit ia oscilatorului, t este timpul, a = x si
0
este o constanta.
Pentru a
0
= 0 se obt ine oscilatorul armonic clasic. Oscilatorul Milgrom are un punct
stat ionar x
0
= 0, v
0
= 0, care este punct stabil. Am determinat distribut ia solut iilor n
jurul acestui punct.
61
Figura 13: Repartit iile particulelor si erorile relative ale condit iilor: circularitatea (sus),
raza particulelor (mijloc), volumul particulelor (jos). Repartit ia volumului a fost aprox-
imata cu o repartit ie Weibull cu parametrii k
W
= 2,
W
= 25 000 (linie ntrerupta
gri).
62
Figura 14: Repartit ia pozit iei si vitezei oscilatorului (119) la timpul t = 100 pentru
condit ii init iale n preajma lui v
0
= 0 si x
0
= 0 (sus), x
0
=
17
6
(mijloc) si x
0
=
19
6
(jos).
63
Figura 15: Repartit ia pozit iei si vitezei oscilatorului Milgrom la timpul t = 100 pentru
condit ii init iale n preajma lui x
0
= 0 si v
0
= 0 si a
0
= 0 (sus), a
0
= 100 (jos).
5.6. Filtre acustice cu structura perturbata
Am realizat unui ltru acustic trece-jos multistrat, cu n = 8 straturi, cu funct ia de
transfer:
A
n+1
(f) =
_
1 daca f 10 000 Hz,
0 daca f > 10 000 Hz.
(121)
Proiectarea ltrului am facut-o cu algoritmul de recoacere simulata. Am variat aleator
cat iva parametri ai ltrului teoretic dupa o repartit ie normala. Am determinat media,
deviat ia standard, skewnessul si kurtosisul n exces al amplitudinii la iesire. Am deter-
minat repartit iile amplitudinii pentru cateva frecvent e, precum si repartit ia maximelor
din caracteristica ltrului A
n+1
(f).
5.7. Redundant a entropica perturbata
Am analizat sistemul (19) [34] pentru cazul cand X ia doar doua valori cu prob-
abilitat ile p, 1 p. Am considerat ca raportul de corelat ie b si probabilitatea p sunt
64
Figura 16: Caracteristicile statistice ale ltrului obt inut cand viteza sunetului prin stra-
turi este distribuita normal cu
c
= 500 m/s.
(a) Amplitudinea primului maxim (b) Amplitudinea celui de-al doilea
maxim
(c) Frecvent a primului maxim (d) Frecvent a celui de-al doilea
maxim
Figura 17: Repartit iile amplitudinii si frecvent ei maximelor n cazul cand viteza sune-
tului prin straturi este distribuita normal cu
c
= 500 m/s.
65
distribuite uniform n jurul valorilor teoretice b = p = 0, 5. Am determinat si am
reprezentat grac repartit ia redundant ei entropice R(X, Y ) la diverse valori ale erorii
relative a mprastierii ecarui parametru.
(a) b distribuit uniform cu = 0, 01 (b) b distribuit uniform cu = 0, 1
(c) b distribuit uniform cu = 0, 5 (d) b distribuit uniform cu = 1
(e) p distribuit uniform cu = 1
Figura 18: Repartit ia redundant ei entropice si erorile relative ale condit iilor pentru cazul
cand unul din parametri este distribuit aleator si celalalt este constant.
66
5.8. Concluzii
Repartit iile sunt n general bine aproximate pentru N 1 000 valori ale variabilelor
aleatoare si foarte bine aproximate pentru N 10 000 valori. Pentru N 100 valori
aproximarea este slaba, putand mbunatat ita ntrucatva prin alegerea unei valori mai
mari a parametrului de largime a condit iilor normale.
Sistemele dinamice punn evident a evolut ia repartit iilor parametrilor de iesire funct ie
de erorile parametrilor de intrare. Astfel, daca parametrii de intrare sunt distribuit i nor-
mal cu o abatere relativa redusa, caz n care sistemul se comporta aproximativ liniar,
repartit iile parametrilor de iesire sunt simetrice fat a de pozit ia maximului si aproxi-
mativ normale. Pe masura ce creste repartit iile parametrilor de iesire devin tot mai
asimetrice, iar la valori mari ale acestea pot aproximate cu repartit ii exponent iale.
Metoda determinarii densitat ii de probabilitate prin maximizarea entropiei cu condit ii
gaussiene poate aplicata ntr-un numar mare de cazuri practice, permit and extragerea
repartit iei statistice a unei variabile aleatoare continue. Calitatea repartit iei obt inute
depinde destul de mult de volumul select iei (numarul de valori) folosite si ceva mai put in
de parametrul de largime al condit iilor.
[1] S. Akbar, S. K. Hasanain, N. Azmat, M. Nadeem, Synthesis of Fe2O3 nanoparticles
by new Sol-Gel method and their structural and magnetic characterizations, 2004, e-
print: http://arxiv.org/abs/cond-mat/0408480.
[2] J. Baer, S. Chesley, D. Britt, Eds., Asteroid Masses V1.0. EAR-A-COMPIL-5-
ASTMASS-V1.0. NASA Planetary Data System, 2009.
[3] Bessell, M. S., UBVRI passbands, Astronomical Society of the Pacic, Publications
(ISSN 0004-6280), Vol. 102, 1990, pag. 1181-1199, http://adsabs.harvard.edu/abs/
1990PASP..102.1181B.
[4] Brzu, A., Bourceanu, G., Onel, L., Dinamica neliniara, Matrix Rom, 2003.
[5] S.J. Bus, R.P. Binzel, Phase II of the Small Main-Belt Asteroid Spectroscopic Survey:
A Feature-Based Taxonomy, Icarus, 158, 2002, pag. 146-177, http://www.sciencedirect.
com/science/article/pii/S0019103502968569.
[6] N. Cret u, M. Pop, A. Boer, L. Floroian, Law of variation of particle size with time
in sol-gel powder fabrication process, Bulletin of the Transilvania University of Brasov ,
Series B, Vol. 13(48), 2006, pag. 135-140.
[7] N. Cret u, M. Pop, Higher order statistics in signal processing and nanometric size
analysis, Journal of Optoelectronics and Advanced Materials, Vol. 10, No. 12, 2008,
pag. 3292-3299.
[8] Nicolae Cret u, Mihail-Ioan Pop, Acoustic behavior design with simulated annealing,
Computational Materials Science, 44, 2009, pag. 1312-1318.
[9] Nicolae Cret u, Mihail-Ioan Pop, Sorin Zamra, Acoustic design improvement by
using the simulated annealing algorithm, Seventh International Conference Challenges
in Higher Education and Research in 21st Century, Science Days of TU-Soa (2009),
67
June 2-5, 2009, Sozopol, Bulgaria.
[10] Nicolae Cret u, Mihail Pop, Ioan-Calin Rosca, Acoustic design by simulated anneal-
ing algorithm, International Congress on Ultrasonics (ICU), Santiago de Chile, 11-17
ian. 2009, publicat n Physics Procedia, Vol. 3, Iss. 1, 2010, pag. 489-495.
[11] Nicolae Cret u, Ioan-Mihail Pop, Ioan-Calin Rosca, Eigenvalues and eigenvectors of
the transfer matrix, International Congress on Ultrasonics (ICU), Gda nsk, 5 - 8 sept.
2011.
[12] Ioan Dancea, Programarea calculatoarelor numerice, Editura Dacia, 1973.
[13] Davis, D.R. and Neese, C., Eds., Asteroid Albedos. EAR-A-5-DDR-ALBEDOS-
V1.1. NASA Planetary Data System, 2002.
[14] Dymock, R., The H and G magnitude system for asteroids, Journal of the British As-
tronomical Association, Vol. 117, No. 6, 2007, pag. 342-343, http://adsabs.harvard.
edu/abs/2007JBAA..117..342D.
[15] Jonathan P. Eastwood, The science of space weather, Phil. Trans. R. Soc. A, 366,
2008, pag. 4489-4500, http://rsta.royalsocietypublishing.org/content/366/1884/
4489.full.pdf+html.
[16] Erukhimovich, I., Thamm, M. V., Ermoshkin, A. V., Theory of Sol-Gel Transition in
Thermoreversible Gels with due Regard for Fundamental Role of Mesoscopic Cyclization
Eects. I. Thermodynamic and Structural Characteristics of Gel Phase, Macromolecules,
Vol. 34, 2001, e-print: http://arxiv.org/abs/cond-mat/0104034.
[17] Cecil Folescu, Ce este universul?, Editura Albatros, Bucuresti, 1988.
[18] Gnumeric - the GNOME oce spreadsheet, http://projects.gnome.org/gnumeric/
index.shtml.
[19] Irvine, T., The Mathematics of a Milgrom Oscillator, Vibrationdata Newsletter, iul.
2006, e-print: www.vibrationdata.com/Newsletters/July2006_NL.pdf.
[20] Kotz, S., Kozubowski, T.J., Podgorski, K., The Laplace distribution and general-
izations: a revisit with applications to Communications, Economics, Engineering and
Finance, Birkhauser, 2001.
[21] Lepreti, F., Fanello, P.C., Zaccaro, F., Carbone, V., Persistence of solar activity on
small scales: Hurst analysis of time series coming from H ares, Solar Physics, 197,
2000, pag. 149-156, http://www.springerlink.com/content/h503888p71394j10/.
[22] Kyle Loudon, C++ Pocket Guide, Editura BIC ALL, 2006.
[23] Lupishko, D.F. and Vasilyev, S.V., Eds., Asteroid Polarimetric Database V6.0.
EAR-A-3-RDR-APD-POLARIMETRY-V6.0. NASA Planetary Data System, 2008.
[24] Milgrom, M., Dynamics with a non-standard inertia-acceleration relation: an alter-
native to dark matter in galactic systems, Ann.Phys. 229, 1994, pag. 384-415, e-print:
http://arxiv.org/abs/astro-ph/9303012.
[25] Milgrom, M., The MOND paradigm, 2008, e-print: http://arxiv.org/abs/0801.
3133.
[26] Michael Mueller, Alan W. Harris, Alan Fitzsimmons, Size, albedo, and taxonomic
type of potential spacecraft target Asteroid (10302) 1989 ML, Icarus, 187, 2007, pag. 611-
615, http://www.sciencedirect.com/science/article/pii/S0019103507000425.
[27] NASA Planetary Data System Asteroid/Dust Archive, http://sbn.psi.edu/pds/.
68
[28] National Institutes of Health, ImageJ, http://rsbweb.nih.gov/ij/index.html.
[29] Neese, C., Benner, L.A.M., and Ostro, S.J., Eds., Asteroid Radar V16.0. EAR-A-
5-DDR-RADAR-V16.0. NASA Planetary Data System, 2010.
[30] Nicoletta Popescu-Pogrion (dir. proiect), Proiect CeEx-06-D11-14: Microstructura
sistemelor micro si naonometrice de (alpha -Al2O3 - ZrO2) dopate cu pamnturi rare
pentru compozite performante (electrolit solid n celule de combustie de temperaturi
intermediare - SOFC-IT) (NANODOPAZ), 2006-2008.
[31] Mihail-Ioan Pop, The Milgrom oscillator, Bulletin of the Transilvania University of
Brasov , Vol 16(51), III, Series Mathematics, Informatics, Physics, 2009, pag. 279-288.
[32] Mihail-Ioan Pop, Stability of solutions of a particular nonlinear oscillator, Bulletin
of the Transilvania University of Brasov , Vol 3(52), III, Series Mathematics, Informatics,
Physics, 2010, pag. 223-228.
[33] Mihail-Ioan Pop, Statistical distribution of some asteroid parameters, Bulletin of
the Transilvania University of Brasov , Vol 4(53), III, Series Mathematics, Informatics,
Physics, 2011, pag. 139-146.
[34] Pop Mihail, Taylor series development of the redundancy of a particular bivariate
type of system, 22th Scientic Session on mathematics and its applications, Brasov, May
2008.
[35] M. - I. Pop, Distribution of the daily sunspot number variation for the last 14
solar cycles, Solar Physics, Vol. 276, Iss. 1-2, 2012, pag. 351-361, http://www.
springerlink.com/content/k603434762264835/, e-print: http://arxiv.org/abs/1110.
0364.
[36] Proctor, M.R.E. (ed.), Lectures on solar and planetary dynamos, Cambridge, 1994.
[37] Salakhutdinova, I. I., A Fractal Structure of the Time Series of Global Indices of
Solar Activity, Solar Physics, 181, 1998, pag. 221-235.
[38] Salakhutdinova, I. I., Identifying the quasi-regular and stochastic components of
solar cyclicity and their properties, Solar Physics, 188, 1999, pag. 377-396.
[39] Seyranian, A. P., Mailybaev, A. A., Multiparameter Stability Theory with Mechan-
ical Applications, World Scientic, 2003.
[40] Shariati, A., Jafari, N., MOND, dark matter, and conservation of energy, 2007,
e-print: http://arxiv.org/abs/0710.1411.
[41] SIDC-team, World Data Center for the Sunspot Index, Royal Observatory of Bel-
gium, Monthly Report on the International Sunspot Number, online catalogue of the
sunspot index, 1848-2010, http://www.sidc.be/sunspot-data/.
[42] A. L. Tchijevsky, Physical factors of the historical process, Cycles, ian. 1971, pag.
11-27, www.cyclesresearchinstitute.org/cycles-history/chizhevsky1.pdf.
[43] Tedesco, E.F., P.V. Noah, M. Noah, and S.D. Price. IRAS Minor Planet Survey.
IRAS-A-FPA-3-RDR-IMPS-V6.0. NASA Planetary Data System, 2004.
[44] Tedesco, E.F, Eds., UBV Mean Asteroid Colors. EAR-A-5-DDR-UBV-MEAN-
VALUES-V1.2. NASA Planetary Data System, 1995.
[45] Tholen, D.J., Eds., Asteroid Absolute Magnitudes V12.0. EAR-A-5-DDR-ASTERM
AG-V12.0. NASA Planetary Data System, 2009.
[46] Vasile Ureche, Universul, Vol. 1: Astronomie, Editura Dacia, 1982.
69
[47] J. M. Vaquero, Historical Sunspot Observations: A Review, Advances in Space
Research, 40, 2007, pag. 929-941, e-print: http://arxiv.org/abs/astro-ph/0702068.
[48] S. Zamra, N. Cret u, R. Cadareanu, M. - I. Pop, C. Homann, Optimization design
of the acoustical structures, The 20th International DAAAM Symposium Intelligent
Maufacturing & Automation: Focus on Theory, Practice & Education, 25-28 November
2009, Vienna, Austria, Published in Annals of DAAAM for 2009 and Proceedings of the
20th International DAAAM Symposium, Vol. 20, No. 1, 2009.
Anexa
Rezultatele numerice din teza au fost obt inute cu un program pe care l-am elabo-
rat n limbajul C, care implementeaza metoda recoacerii simulate pentru determinarea
repartit iilor continue si discrete pe baza principiului entropiei maxime. Structura sierelor
este prezentata n anexa.
70
71

Curriculum vitae
Europass

Informaii personale

Nume / Prenume Pop / Mihail - Ioan
Adres Birou: Colina Universitii nr. 1, Corp C, sala CP 18, 500068, Braov, Romnia
Telefon Birou: +40 268 412921
Fax Birou: +40 268 412921
E-mail mihailp@unitbv.ro
Naionalitate romn
Data naterii 24.01.1980
Sex Masculin

Experiena profesional

Perioada octombrie 2007 - prezent
Funcia sau postul ocupat n prezent: Asistent
Activiti i responsabiliti principale Seminarii supervizate: Fizic general
Laboratoare supervizate: Fizic general, Mecanic i acustic
Activitate de cercetare
Numele i adresa angajatorului Universitatea Transilvania din Braov, B-dul Eroilor nr. 29, 500036, Brasov, Romania
Tipul activitii sau sectorul de
activitate

Perioada
Funcia sau postul ocupat
Activiti i responsabiliti principale
Numele i adresa angajatorului
Tipul activitii sau sectorul de activitate
Educaie/Cercetare

octombrie 2004 octombrie 2007
Preparator
Supervizarea laboratoarelor de Fizic General, activitate de cercetare
Universitatea Transilvania din Braov
Educaie / Cercetare
Educaie i formare

Perioada octombrie 2004 - octombrie 2006
Calificarea / diploma obinut Master n matematic
Disciplinele principale studiate /
competene profesionale dobndite
Probabiliti i statistic matematic
Numele i tipul instituiei de nvmnt
/ furnizorului de formare

Perioada
Calificarea / diploma obinut
Disciplinele principale studiate /
competene profesionale dobndite
Numele i tipul instituiei de nvmnt
/ furnizorului de formare
Universitatea Transilvania din Braov

octombrie 2000 iulie 2004
Diplom de licen
Matematic, Fizic
Universitatea Transilvania din Braov, Facultatea de tiine
72

Aptitudini i competene
personale

Limba(i) matern(e) Romn

Limba(i) strin(e) cunoscut(e)
Autoevaluare
nelegere Vorbire Scriere
Nivel european (*) Ascultare Citire Participare la
conversaie
Discurs oral Exprimare scris
Limba englez

B2
utilizator
independent
C1
utilizator
experimentat
B2
utilizator
independent
B2
utilizator
independent
C1
utilizator
experimentat
Limba francez

B1
utilizator
independent
B1
utilizator
independent
A2
utilizator
elementar
A2
utilizator
elementar
A2
utilizator
elementar

Competene i abiliti sociale Capacitate de a comunica i de a lucra n cadrul unei echipe tiinifice mici cu experien de 3 ani
Membru Societatea Romn de Fizic

Competene i aptitudini
organizatorice
Membru n proiecte de cercetare, comitete de organizare de conferine de specialitate, tutore pentru
anul II secia Inginerie Fizic / Facultatea de Inginerie Tehnologic

Competene i aptitudini tehnice Experien n utilizarea tehnicilor i aparatelor de msur din domeniul fizicii pentru educaie

Competene i aptitudini de utilizare
a calculatorului
- Windows, Linux, Microsoft Office, OpenOffice, Gnumeric
- Editare n LaTeX
- Programare n C
- Experien n utilizarea tehnicilor de prelucrare informatic a datelor (prelucrare statistic,
prelucrare de imagini), simularea proceselor de propagare a sunetului

73

Curriculum Vitae
Europass

Personal information

Surname(s) / First name(s) Pop / Mihail - Ioan
Address Office: Colina Universitii nr. 1, Corp C, sala CP 18, 500068, Braov, Romnia
Telephone/Fax Office: +40 268 412921
E-mail mihailp@unitbv.ro

Nationality Romanian

Date of birth 24.01.1980

Gender Male

Work experience

Dates october 2007 - today
Occupation or position held Teaching Assistant
Main activities and responsibilities supervisor of seminary and laboratory classes, research
Name and address of employer Transilvania University, B-dul Eroilor nr. 29, 500036, Brasov, Romania
Type of business or sector Public education / Research
Dates october 2004 october 2007
Occupation or position held Teaching Assistant preparatory
Main activities and responsibilities supervisor of laboratory classes, research
Name and address of employer Transilvania University, B-dul Eroilor nr. 29, 500036, Brasov, Romania
Type of business or sector Public education / Research

Education and training

Dates october 2004 - october 2006
Title of qualification awarded Mathematics Master
Principal subjects/occupational skills
covered
Probability and Statistical mathematics
Name and type of organization
providing education and training
Transilvania University Braov
Dates october 2000 july 2004
Title of qualification awarded Bachelor of Science in Mathematics and Physics
Principal subjects/occupational skills
covered
Mathematics, Physics

Name and type of organization
providing education and training
Transilvania University Braov, Faculty of Sciences

Personal skills and
competences

Mother tongue(s) Romanian

Other language(s)
Self-assessment
Understanding Speaking Writing
European level (*) Listening Reading Spoken interaction Spoken production
English

B2
Independent
user
C1 Proficient user B2
Independent
user
B2
Independent
user
C1 Proficient user
French

B1
Independent
user
B1
Independent
user
A2 Basic user A2 Basic user A2 Basic user

74
Social skills and competences Good communication and team work with 3 years of experience in small teams
Member of Romanian Physics Society

Organisational skills and
competences
Member in research projects, conference organising comitees, tutor for Engineering Physics year 2 at
Transilvania University Braov
Technical skills and competences Experienced with measuring devices and techniques used in teaching physics laboratories

Computer skills and competences
- Windows, Linux, Microsoft Office, OpenOffice, Gnumeric
- Text editing n LaTeX
- Programming in C
- Experienced with statistical data analysis, image analysis and simulations of sound propagation.

Tipuri de Energie

Încărcat de

Informații document

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Tipuri de Energie

Încărcat de

Drepturi de autor:

Formate disponibile

Universitatea Transilvania Bras ov

ARII, TINERETULUI SI SPORTULUI

ATOR - Prof. univ. dr. Gabriel ORMAN

In al doilea capitol tratam principiul entropiei maxime. Maximizarea entropiei cu

In al treilea capitol am aplicat metoda entropiei maxime la perturbat ii ale densitat ii

In al patrulea capitol prezentam implementarea numerica a metodei entropiei maxime

In afara de studiile preliminare, materializate n 2 rapoarte de cercetare

In continuare sunt prezentate corelat ia si raportul de corelat ie a doua variabile

In aceasta sect iune am dezvoltat un procedeu empiric n pieptene de caracterizare

care minimizeaza abaterea estimatorului

(x) ln(x)dx. (15)

(x, y)dxdy. (17)

In aceasta subsect iune am analizat un exemplu de sistem de doua variabile aleatoare

(x)h((x)) dx, unde h : R

(x)dx = 1, unde P((x)) este

In cazul clasic P((x)) = (x), cu funct ia g de mai sus, se obt ine:

c ((x)) dx, se obt ine ecuat ia n (x):

c ((x)) dx. Atunci distribut ia devine:

In aceasta sect iune dezvoltam formalismul perturbat iilor densitat ii de probabilitate si

< 1, se obt ine perturbat ia entropiei

In continuare am determinat perturbat ia care maximizeaza entropia Shannonn cazul

f(m, ) dispersia funct iei f(x) prin intermediul densitat ii

In continuare am determinat cateva ecuat ii integrale vericate de perturbat ia den-

f, nucleul ecuat iei este K

In continuare am aplicat metoda entropiei maxime pentru o forma generala a en-

f/n. Atunci (m) si F

f sunt de acelasi ordin de marime sau

f k atunci se obt in doua ecuat ii: F = 1, FP = F. Anuland eroarea condit iilor

(m) = 0 atunci ecuat ia are o singura solut ie:

(m) pentru condit ii uniforme cu (m) = 1

(m) = 0 atunci exista o singura solut ie:

= 0. Singura solut ie pozitiva este:

K ((x, y)) dxdy. (102)

, care deriva din entropia Tsallis (22).

(X, Y ) r(X, Y ). Deoarece

(X, Y ) este marginit, r

(X, Y ) [1; 1], am cautat o comportare asemanatoare pentru

, > 0. Se obt ine atunci C

In continuare am testat calitatea estimarii densitat ii de probabilitate cu ajutorul unor

S-ar putea să vă placă și