e-STA copyright 2011 by see

Volume 8, N1, pp 53-60

Application de la Mthode Adaboost la Reconnaissance

Automatique de la Parole
1
Rimah Amami, 2 Dorra Ben Ayed, 3Noureddine Ellouze
Dpartement de Gnie Electrique, ENIT, Tunis, Tunisie
1
Rimah.amami@yahoo.fr, 2Dorrainsat@yahoo.fr, 3N.ellouze@enit.rnu.tn

performance dun systme de RAP dpend essentiellement de

Abstract- Les mthodes du Boosting constituent une famille
dalgorithmes dapprentissage automatique qui construisent
des modles (de classification ou de rgression) fonds sur la
combinaison des chantillons dapprentissage dits "faibles".
La mthode Adaptative Boosting (Adaboost) est la mthode du
Boosting la plus utilise. Dans cet article, nous proposons une
tude et une valuation dun ensemble dalgorithme de la
mthode Adaboost dans un systme de classification bas sur
les arbres de dcision binaire (CART) pour aborder la
reconnaissance de la parole.
Nous utilisons, pour nos exprimentations, les phrases SA1 et
SA2 du dialecte DR1 du corpus de son TIMIT.
Mots cls- Real Adaboost, Gentle Adaboost, Modest
Adaboost, Arbre de decision CART, TIMIT, Validation
croise.
I. INTRODUCTION
Le processus de la reconnaissance automatique de la parole
(RAP) se compose principalement de quatre phases
lmentaires; Extraction des caractristiques, Lapprentissage
La modlisation et la dcision finale (Figure1).
Extraction des
caractristiques
lalgorithme dapprentissage utilis pendant la phase de la
classification. Ces dernires annes, lapproche du Boosting a
t appliqu dans le domaine de la RAP vu son aptitude
amliorer la performance des diffrents classifieurs.
Les mthodes du Boosting constituent une famille
dalgorithmes dapprentissage automatique qui visent rendre
un systme dapprentissage dits "faibles" plus performant.
Actuellement, Les mthodes du Boosting sont trs tudies.
Elles permettent de combiner un ensemble d instances dun
classifieur donn considres difficile apprendre (faible),
afin de forger un seul classifieur fort et dou amliorer la
performance de lalgorithme dapprentissage faible .Pour
nos exprimentation, nous avons choisi CART (arbre de
dcision binaire) comme notre algorithme dapprentissage.
Adaboost est laolgorithme du Boosting le plus utilis.
Dans le but doptimiser Adaboost, il y a eu lapparition de
plusieurs variantes de cette mthode telles que Real, Gentle
Adaboost et modest Adaboost.
Dans cet article, nous utilisons ces trois variantes
dAdaboost ainsi quun algorithme dapprentissage bas sur
larbre de dcision binaire : CART (Classification And
Regression Tree). Par la suite, nous valuons la performance
de chaque mthode partir des taux derreur que notre modle
produit. Cet article est organis de la manire suivante: La
section 2, introduit les diffrents algorithmes du Boosting ; la
section 3, dcrit lalgorithme dapprentissage utilis. Enfin, en
section 4 and 5, nous tudions les rsultats que notre modle
gnrent en utilisant le corpus TIMIT.

II. INTRODUCTION AU BOOSTING

Dcision Algorithme Les
Finale dapprentissage Echantillons A. Dfinitions
La mthode du Boosting a t inspir de lalgorithme
dapprentissage Hedge () [1]. Le principe du Boosting est de
rutiliser un classifieurs plusieurs fois en attribuant aux
Reconnaissance de la instances dapprentissage, chaque fois, une pondration
parole diffrente et puis combiner les rsultats afin de trouver un seul
classifieur fort/trs prcis [2].
Fig 1. Architecture dsystme de la reconnaissance Vocale
B. Lapproche Adaboost
Dans la littrature, les recherches effectues dans le domaine AdaBoost (Adaptive Boosting) est une mthode
de la reconnaissance vocale affirment que dans un systme de algorithmique connue dans le domaine de lapprentissage.
RAP, lalgorithme dapprentissage constitue llment Cette mthode a t initialement conue par Robert Schapire
fondamental pour la robustesse du systme. De ce fait, la
e-STA copyright 2011 by see
Volume 8, N1, pp 53-60

et Yoav Freund en 1995 [1][3]. Cette approche est la drive dAdaboost do il y a eu lapparition de plusieurs variantes
la plus partique de la mthode du Bossting qui vise stimuler telles que Adaboost.M1, Adaboost.M2 Gentle Adaboost , etc.
la performance de lalgorithme dapprentissage. En effet, il existe plusieurs drivs de lapproche Adaboost
Adaboost consiste transformer, dune manire efficace, un qui optimisent diffremment la pondration (Wi).
classifieur faible en un classifieur fort en rduisant les GML AdaBoost Matlab Toolbox est un ensemble de
taux derreur. Lalgorithme dAdaboost, appelle chaque fonctions en Matlab qui implmente un ensemble dalgorithme
itration, un algorithme dapprentissage qui entranent les de classification et du Boosting savoir: Real AdaBoost,
instances classifier. Par la suite, Adaboost dfinit une Gentle AdaBoost et Modest AdaBoost qui sont utiliss dans ce
nouvelle distribution de probabilit pour les instances travail [5].
dapprentissage en fonction des rsultats de lalgorithme
litration prcdente tout en augmentant le poids des C. Lapproche Real Adaboos
instances qui ne sont pas correctement classes. A la fin, Real AdaBoost a t mis en uvre en 1999 par Freund and
Adaboost combine les donnes faibles par un vote pondr Schapire [6]. Real Adaboost est une amlioration de la
pour en dduire un classifieur fort. mthode dorigine ou il faut ajouter une fonction qui mesure le
Dans cette optique, AdaBoost essaye, de trouver un degr de confiance en manipulant des donnes
classifieur optimal partir de la combinaison dun ensemble dapprentissage soi-disant faible . La particularit de cette
de donnes dapprentissage faible. Lalgorithme dAdaboost mthode rside dans la classe de probabilit estime qui
est comme suit [4]. convertit les taux de logarithme en une valeur rel dchelle
Etant donn: [7]. Cette valeur est utilise afin dobserver les contributions
S= ( x1 , y1 ) ,...., ( xm , ym ) avec m lensemble des des sorties du modle en question. De plus, Real Adaboost
mesure la probabilit quune donne dapprentissage
chantillons et yi Y = {1,..., k} avec Y est appartient une classe donne alors que Adaboost consiste,
lensemble des tiquettes. tout simplement, classifier les donnes et calculer lerreur
Lalgorithme dapprentissage dits faible pondre. En gnrale, Real AdaBoost tend minimiser eyF(x)
WeakLearner. afin de mieux trouver la classification optimale gnrer par le
modle utilis [4].
T est le nombre des itrations.
Dautre part, la mthode Real Adaboost accorde un taux de
Initialiser Dt (i ) = 1 . confiance aux classifieurs faible [8][9] qui transforme
m lensemble des instance X et la prdiction boolenne en un
Faire pour t = 1, 2,....., T : espace relle R. Lalgorithme est comme suit [10].
1. Appeler WeakLearner qui fournit la distribution Dt. Etant donn:
2. Calculer lhypothse: ht : X Y . S= ( x1 , y1 ) ,...., ( xM , yM ) , avec m lensemble
3. Calculer lerreur de:
des chantillons et ( xi , yi ) X {1,1} , est
hx : t = Dt (i ) (1) lensemble des tiquettes
i = ht ( xi ) yi Lalgorithme dapprentissageWeakLearner.
T est le nombre des itrations.
Si t f 12 Alors T = t 1 et sortir. Initialiser la distribution Dt (i ) = 1 .
m
4. Dfinir t =
t Pour t = 1, 2,....., T :
(1 t ) 1. Pour chaque instance faire:
5. Mise jour de la distribution Dt : a. Partitionner X en un bloc spar ( xM , yM ) .
b. Pour chaque distribution Dt calculer
D (i ) t if ht ( xi ) = yi
Dt +1 (i ) = t
Z t 1 Sinon Wl j = P(xi X j , yi = l) =
i:x,eX ,^ yi 1
D(i)
(2) . (4)
Avec Zt est un facteur de normalization.
6. L hypothse finale: avec l = 1
1 c. Dfinir lhypothse h pour chaque Xj as:
h fin ( x) = arg max log
t
.
1 W+1j +
t :ht ( x ) = y
x X , h( x) = ln
2 W1j +
(3)
Les fondateurs de cette mthode, Schapire et Freund, ont (5)
essay tout au long de leurs travaux doptimiser lalgorithme Avec une petite constante positive.
e-STA copyright 2011 by see
Volume 8, N1, pp 53-60

2. Slectionner e ht: c. Dfinir Wi Wi exp [ yi. f m ( xi )] , avec

Zt = min Z
heH
i=1,2,N puis normaliser W = 1i
ht = arg min Z i
heH 2. Lhypothse Finale:
3. Mise jour de la distribution
[ F ( x)] = sign m=1 f m ( x)
M
(9)
Dt +1 (i ) = Dt (i ) exp [ yi ht ( xi )]
. (6)

Et normalisation de Dt+1 .
4. Lhypothse finale H : E. Lapproche Modest Adaboost
T
Modest AdaBoost [5] a t inspire par Vezhnevets et Al en
H ( x) = sign ht ( x) b 2005.
t 1 . (7) Cette variation dAdaboost vise a amlior la gnralisation
des erreurs pendant la classification. Cette approche tend
avec b est le seuil (par dfaut=0). donner des rsultats meilleurs que ceux calculs par Gentle
La fonction de confiance de est dfinie par : adaboost. Dans ce but, Vezhnevets et Al avaient utilis une
distribution inverse : w = 1 w . Cette distribution a permis,
Conf x ( x ) = h ( x) b
t t
(8) donc, de fournir aux donnes dapprentissage correctement
classifies des poids levs.
Nanmoins, il a y eu lapparition des nouvelles versions Lalgorithme de Modest Adaboost algorithm que
dAdaboost qui leurs performances dpassent souvent Real A.Vezhnevets et Al ont propos est comme suit[5].
Adaboost. Friedman and Al. [11] ont propos une extension de Given:
cette approche appele Gentle AdaBoost.
S= ( x1 , y1 ) ,...., ( xN , yN )
D. Lapproche Gentle Adaboost Initialiser la distribution D0 (i ) = 1 .
Gentle AdaBoost [11] est considre comme autant une N
extension du Real adaboost. Cette approche est plus 1. Pour m = 1, 2,...., M et tant que 0 .
performante que Real adaboost tant donn sa stabilit et sa m
robustesse quand il sagit des donnes bruites et aux a. Entraner lalgorithme dapprentissage hm ( x) en
aberrants [5].
Gentle Adaboost minimise la fonction exponentielle de perte utilisant la distribution Dm (i ) par la moindre carre
dAdaboost en utilisant les tapes de Newton [7]. pondre.
Dautre part, Gentle Adaboost est une variation de b. Calculer la distribution inverse
lapproche Real Adaboost qui stimule la performance de cette
dernire en appliquant une rgression par la mthode des Dm (i) = (1 Dm (i)) Z m (10)
moindres carres pondres. . En outre, Gentle Adaboost et
Real adaboost ne normalisent pas lensemble des apprenants
pondrs de la mme manire, puisque la fonction de c. Calculer:
normalisation de Real adaboost est donne par Pm+1(x) = PDm ( y =+1hm(x))
Fm(x)=Pw(y=1|x)-Pw(y=-1|x), alors que pour Gentle Adaboost, (11)
1
la mise jour de la classe de probabilit pondre est donne P ( x) = PDm ( y = 1 hm ( x))
m (12)
par la fonction suivante : 1
1 P ( y = 1| x) P ( x) = PDm ( y = 1 hm ( x))
m
(13)
f m ( x) = log w [11]. Lalgorithme du Gentle
2 Pw ( y = 1 | x) 1
P ( x) = PDm ( y = 1 hm ( x))
m (14)
Adaboost est comme suit [12].
Etant donn:
d. Dfinir:
Les poids Wi = 1 , i = 1,.., N et F ( x ) = 0 +1 1
N f m ( x) = ( Pm+1 (1 Pm ) Pm1 (1 Pm ))( x) (15)
1. Faire pour m = 1, 2,..., M . e. Mise jour de la distribution:
a. Estimer f m ( x) en utilisant les moindres carres
Dm (i)exp( yi fm ( xi ))
pondres de y x. Dm+1 (i) =
b. Mise jour de F ( x) F ( x) + f m ( x) . Zm (16)
2. Lhypothse finale:
e-STA copyright 2011 by see
Volume 8, N1, pp 53-60
i=M
[ F ( x)] = Sign fm (x) (17)
i=1
Par consquent, Modest Adaboost, produit un ensemble
derreur de classification plus faible que celui calcul par Real
et Gentle Adaboost. Mais, partir des rsultats de plusieurs
recherches dans ce domaine, nous pouvons constater que
lerreur dapprentissage calcule par Modest Adaboost est plus
leve que celle de Gentle Adaboost.
III. LALGORITHME
DAPPRENTISSAGE: Arbre de
classification (CARTs)
Les Algorithmes dapprentissage sont constitus dun
ensemble dalgorithme qui consiste stimuler
automatiquement un systme donn. Ces algorithmes sont
gnralement utiliss pour la reconnaissance des forms et la
prise de dcision. Les algorithmes dapprentissage sont
employs dans des diffrentes applications telles que la
classification, la dtection, lanalyse etc.
Dautre part, Les algorithmes d'apprentissage peuvent se
catgoriser selon le mode d'apprentissage qu'ils emploient:
Apprentissage supervis, Apprentissage-non-supervis etc.
Dans cet article, nous nous intressons uniquement par
lapprentissage supervis. De ce fait, nous avons identifi
larbre de classification et de rgression (CARTs) comme
notre algorithme dapprentissage.
GML AdaBoost Toolbox implmente larbre de
classification et de regression (CARTs) ainsi que les
approaches dAdaboost prcdemment dfinies [5].
Par ailleurs, CARTs est considr comme un arbre binaire
({1,-1}) puisque chaque nud ne peut avoir que deux fils
(figure2). Le principe de lalgorithme de CART sappuie sur
lindice de Gini (IG) pour la segmentation de larbre qui vise
construire les feuilles. Il faut, surtout, noter que plus lindice
de Gini est faible, plus le noeud est pur (tous les lments du
noeud appartiennent la mme classe). Larbre de dcision et
de rgression (CARTs) a t conu par Leo Breiman [13][14].
X6 >2
Faux
Vrai
Y=-1 X5 >0
Faux
X2 >2.3
X1 >3
Y=-1
Faux Y=1
Vrai Y=-1
Fig 2. Exemple dun CART.
Le principe de cet algorithme consiste partitionner dune
manire rcursive lensemble dentranement suivant la
mthode diviser pour mieux rgnrer1. En effet, lalgorithme
fait une recherche minutieuse, pour chaque noeud, sur les
attributs et les valeurs de la segmentation puis il slectionne le
regroupement binaire qui optimise le critre au nud t [15].
La construction de larbre de dcision binaire se fait,
essentiellement, en itrant cinq tapes [16]. Lalgorithme
relatif sappelle CART est comme suit:
1. Etablir pour chaque nud toutes les divisions possibles.
2. Dfinir un critre de slection de la meilleure division
d'un nud.
3. Dfinir une rgle d'arrt des segmentations de l'arbre afin
de dclarer un nud comme terminal
4. Affecter une valeur de la variable Y pour ces nuds
terminaux.
5. Estimer le risque d'erreur de prvision associ cet arbre.
IV. EXPERIMENTATIONS
A. Corpus de donnes
Dance ce travail, nous avons utilis le dialecte DR1 (New
England) du corpus TIMIT[17]. Nous avons choisi pour nos
exprimentations les deux phrases SA1 et SA2 car dans nos
travaux, nous avons procd une classification binaire. Il est
important de noter que le dialecte DR1 vise mettre laccent
sur la divergence de la prononciation des diffrents locuteurs
[18][19]. La table I dcrit la base de donnes utilise pour
notre systme de reconnaissance.
Table I.
Systme de reconnaissance des phrases (RCP)
Phrase SA1 SA2
Locuteurs 14F+24M 14F+24M
Codification 1 -1
Paramtrisation 12 MFCC, 12 MFCC+ 12 Delta,
12 MFCC+ 12 Delta+ 12 Delta-Delta
B. Paramtrisation
La premire tape de notre systme vise numriser le
signal entrant ce qui nous aboutie, par la suite, raliser
lanalyse acoustique du signal de parole sur des fentres
temporelles de courte dure. Nanmoins, parmi les types de
paramtres vraiment pertinents et utilisables efficacement,
nous trouvons les paramtres de lanalyse spectrale et
ventuellement les paramtres prosodiques puisquils sont
respectivement corrls la forme du conduit vocal et la
source dexcitation de lappareil de production de la parole.
Dans ce travail, nous nous intressons, principalement, aux
paramtres cepstraux de types Mel Mel Frequency Cepstral
(MFCC) et ses drives tant donn leurs frquentes
utilisations dans le domaine de la reconnaissance ainsi que
leurs aptitudes reprsenter les caractristiques dun signal et
leurs robustesses (Table I).
1
Du latin Divide ut imperes, mthode de conception consistant diviser un
problme de grande taille en plusieurs sous-problmes analogues, ltape de
subdivision tant applique rcursivement
e-STA copyright 2011 by see
Volume 8, N1, pp 53-60

Dans les systmes actuels de reconnaissance les 0.65

caractristiques les plus utilises sont, soit les paramtres

Real AdaBoost

0.6

cepstraux standards, soit des paramtres de type MFCC (Mel 0.55

Frequency Cepstral Coefficients) qui sont, normalement,

Taux d"erreur
compltes par leurs paramtres variationnels respectifs qui 0.5

caractrisent les variations des paramtres cepstraux dans les 0.45

fentres proches de la fentre court-terme courante. 0.4

Les coefficients MFCCs [20], aussi nomms Mel Frequency 0.35

Cepstral Coefficients, sont bass sur une chelle de

perception, non linaire, appele Mel. En effet, ltude des 0 10 20 30 40 50
Iterations
60 70 80 90 100

coefficients MFCC du signal permet dextraire des Fig 3. Evolution du taux derreur du systme de RCP avec validation de la
caractristiques de celui-ci autour de la Transforme de base de test.
Fourrier (FFT) et de la Transforme en Cosinus Directe
(DCT), convertis sur une chelle de Mel. Le principal 5 Validation croise

avantage de cette mthode se rside dans le fait que les

0.45
Real AdaBoost

coefficients obtenus sont dcorrlls. 0.4

Dautre part, lutilisation des drives du premier et du

second ordre des MFCC (les DMFCC et DDMFCC) peuvent 0.35

Taux d"erreur
ventuellement amliorer et de renforcer les caractristiques
du signal vocal par la prise en compte des paramtres
0.3

dynamiques: il sagit de lvolution temporelle de lenveloppe 0.25

spectrale. [21][22]. Les recherches empiriques prouvent que

laugmentation du nombre des paramtres amliore, 0.2
0 10 20 30 40 50 60 70 80 90 100

nettement, la performance des systmes de reconnaissance.

Iterations

Fig 4. Evolution du taux derreur du systme de RCP avec validation croise.

C. Mthode de Dcision Daprs la figure 3, le meilleur taux de reconnaissance est

Validation par Base de Test
Lide de cette mthode est de diviser la base initiale en deux
sous bases ; Une sous base dapprentissage qui caractrisent
50% des donnes de base et une sous base de test qui regroupe
les 50% de donnes restante.
gnr litration 22 de lordre de 66,67%. Le meilleur taux
de reconnaissance du deuxime systme (figure 4), est observ
litration 30 de lordre de 78%.
Avec Les Coefficients MFCC et Delta
0.4

Validation Croise 0.38

Real AdaBoost

Cette mthode est employe afin de valider un modle et 0.36

estimer lerreur relle de ce dernier. Par consquent, la

0.34

0.32
Taux d"erreur

technique de la validation croise, estime la performance de 0.3

chaque modle en se basant sur la partie de donnes qui ntait 0.28

pas utilise lors de la construction de ce modle (lors la phase 0.26

de lapprentissage). Les rsultats calculs seront, par la suite, 0.24

combins dans le but de donner une estimation de la

0.22

0.2

gnralisation du modle test. [23] [24].

0 10 20 30 40 50
Iterations
60 70 80 90 100

Ainsi, nous avons utilis ces deux mthodes pour la
classification de nos bases de donnes afin de mieux Fig 5. Evolution du taux derreur du systme de RCP avec validation de la
comparer, par la suite, la performance de chaque mthode. base de test.
Le nombre ditration a t fix T= 100 et nous avons dfini
K=5 groupes (folds) pour la mthode de la validation croise.
5 Validation croise
0.4
Real AdaBoost

0.38

V. RESULTATS ET DISCUSSION 0.36

Taux d"erreur

0.34

Dans cette section, nous prsentons les rsultants de nos 0.32

exprimentations selon les deux mthodes de validation. Notre 0.3

travail a t ralis sur Matlab 7.7 release 2008b en utilisant
GML Adaboost Matlab Toolbox [16]. 0.28

0.26
0 10 20 30 40 50 60 70 80 90 100
Iterations

A. Application de lapproche Real Adaboost Fig 6. Evolution du taux derreur du systme de RCP avec validation croise
Avec les Coefficients MFCC
e-STA copyright 2011 by see
Volume 8, N1, pp 53-60

0.4

Daprs la figure 5, le meilleur taux de reconnaissance est

obtenu litration 36 de lordre de 77,78%. Alors que pour
0.38

la deuxime mthode de validation, le meilleur taux de 0.36

classification, est observ litration 40 de lordre de 0.34

73,60%. 0.32

Avec Les Coefficients MFCC,Delta et Delta-Delta

0.3

0.45 0 10 20 30 40 50 60 70 80 90 100
Real Adaboost AdaBoost

0.4
Fig 10. Evolution du taux derreur du systme de RCP avec validation croise
0.35

Daprs la figure 10, le meilleur taux de classification est

Taux d"erreur

0.3

0.25
observ litration 90 de lordre de 73, 66%.
0.2
Avec Les Coefficients MFCC et Delta
0.15

0.1 0.5
0 10 20 30 40 50 60 70 80 90 100 Gentle AdaBoost
Iterations
0.45

Fig 7. Evolution du taux derreur du systme de RCP avec validation de la

base de test 0.4

5 Validation croise

Taux d"erreur
0.35 0.35
Real AdaBoost

0.3
0.3
0.25

0.25
Taux d"erreur

0.2

0.2 0 10 20 30 40 50 60 70 80 90 100
Iterations

0.15
Fig 11. Evolution du taux derreur du systme de RCP avec validation de la
base de test
0.1
0 10 20 30 40 50 60 70 80 90 100 5 Validation croise
0.45
Iterations
Gentle AdaBoost

Fig 8. Evolution du taux derreur du systme de RCP avec validation croise 0.4

0.35
Taux d"erreur

Les taux derreurs ont nettement diminus (voir figures 7 et 8).

Les meilleurs taux sont observs litration 2 de lordre de
0.3

88,89% pour le premier test et litration 64 de lordre 0.25

87,88% pour le deuxime test. Il faut noter que la validation 0.2

0 10 20 30 40 50
Iterations
60 70 80 90 100

par base de test avec 36 coefficients (MFCC+Delta+ Delta- Fig 12. Evolution du taux derreur du systme de RCP avec validation croise
Delta) a donn de meilleur rsultat. Cependant ce systme se
stabilise partir de litration 83 avec un taux derreur, Daprs les figures 11 et 12, le meilleur taux de
relativement, lev par rapport celui du deuxime systme. reconnaissance est trouv avec une validation par la base de
test pour les 24 coefficients (83,33% litration 66).
B. Application de lapproche Gentle Adaboost
Avec Les Coefficients MFCC Avec Les Coefficients MFCC, Delta et Delta-Delta
0.3
Gentle AdaBoost
0.28
0.5
Gentle AdaBoost 0.26
0.48
0.24

0.22
Taux d"erreur

0.46

0.2
Taux d"erreur

0.44
0.18

0.42 0.16

0.14
0.4
0.12

0.38 0.1
0 10 20 30 40 50 60 70 80 90 100
Iterations

Fig 13. Evolution du taux derreur du systme de RCP avec validation de la

0.36
0 10 20 30 40 50 60 70 80 90 100
Iterations
base de test
Fig 9. Evolution du taux derreur du systme de RCP avec validation de la
base de test

Daprs la figure 9, le meilleur taux de reconnaissance est

gnr litration 61 de lordre de 63,89%.
e-STA copyright 2011 by see
Volume 8, N1, pp 53-60

5 Validation croise 0.37

0.4 Modest AdaBoost
0.36
Gentle AdaBoost
0.35
0.35
0.34

0.33

Taux d"erreur
0.3
0.32

0.31
Taux d"erreur

0.25
0.3

0.29
0.2
0.28

0.27
0 10 20 30 40 50 60 70 80 90 100
0.15 Iterations

0.1
Fig 17. Evolution du taux derreur du systme de RCP avec validation de la
base de test
0.05 5 Validation croise
0 10 20 30 40 50 60 70 80 90 100
0.38
Iterations
Modest AdaBoost

Fig 14. Evolution du taux derreur du systme de RCP avec validation croise
0.36

0.34

0.32

Daprs les figures 13 et 14, les taux derreurs ont nettement 0.3

Taux d"erreur
diminus. Les meilleurs taux sont observs litration 5 de 0.28

lordre de 88,89% pour le premier test et litration 35 de 0.26

lordre 88,86% pour le deuxime test. Il faut noter quavec 0.24

une validation de base de test, les taux derreur se sont

0.22

0.2

stabiliss ds la 58me itrations. Cependant, les meilleurs 0.18

0 10 20 30 40 50 60 70 80 90 100
rsultats sont donns par la validation croise pour les 36 Iterations

coefficients. Fig18. Evolution du taux derreur du systme de RCP avec validation croise

C. Application de lapproche Modest Adaboost Nous observons, galement pour cette experience, quen
appliquant une validation croise avec 24 coefficients, nous
Avec Les Coefficients MFCC
avons obtenu le meilleur taux de reconnaissance (81, 61%).
0.5
Modest AdaBoost

0.48 Avec Les Coefficients MFCC, Delta et Delta-Delta

0.46 0.32
Modest AdaBoost
0.3
Taux d"erreur

0.44
0.28

0.42 0.26

0.24
Taux d"erreur

0.4
0.22

0.38 0.2

0.18
0.36
0 10 20 30 40 50 60 70 80 90 100
Iterations
0.16

0.14

0.12
Fig 15. Evolution du taux derreur du systme de RCP avec validation de la 0 10 20 30 40 50
Iterations
60 70 80 90 100

base de test
Fig 19. Evolution du taux derreur du systme de RCP avec validation de la
base de test
5 Validation croise
0.34
Modest AdaBoost
0.33 5 Validation croise
0.5
0.32 Modest AdaBoost
0.45
0.31
0.4
Taux d"erreur

0.3

0.35
0.29
Taux d"erreur

0.28 0.3

0.27 0.25

0.26 0.2

0.25
0 10 20 30 40 50 60 70 80 90 100 0.15
Iterations
0.1
Fig 16. Evolution du taux derreur du systme de RCP avec validation croise 0 10 20 30 40 50
Iterations
60 70 80 90 100

Fig 20. Evolution du taux derreur du systme de RCP avec validation croise
Daprs les figures 15 et 16, nous constatons que les meilleurs
taux de reconnaissance sont trouvs avec une validation Daprs les figures 19 et 20, nous observons quen premier
croise de la base dapprentissage (74,01% ). test, le systme sest vite stabilis (ds litration 26).
Nanmoins, lapplication dune validation croise a donn le
Avec Les Coefficients MFCC et Delta
meilleur taux de reconnaissance (88, 02%).

D. Etude Comparative
e-STA copyright 2011 by see
Volume 8, N1, pp 53-60

La validation croise a donn les meilleurs taux de Remerciements

classification avec les 36 coefficients qui est de 85,92% pour Nous voulons remercier Dr. V. Vezhnevets et A. Vezhnevets
lapproche Real Adaboost, 87,61% pour lapproche Gentle du Graphics Media Lab of Moscow State University pour leurs
Adaboost et 88,02% pour lapproche de Modest Adaboost. Il GML AdaBoost Matlab Toolbox and leurs conseils.
faut noter que la validation par la base de test permet au
systme de RCP de se stabilis plus rapidement quavec une
validation croise. Nanmoins, lapplication dune validation REFERENCES
croise a donn des meilleurs rsultats. [1] Y. Freund and R. E. Schapire,A decision-theoretic generalization of
Les tables III et IV rsument les taux derreur calculs on-line learning and an application to boosting, In Second European
litration 50 et 90 pour les diffrents systmes conus. Conference on Computational Learning Theory, March 1995.
[2] R. Meir,G. Ratsch,An introduction to Boosting and Leveraging,,2003.
Table III
[3] Y .Freund, RE .Schapire , A short introduction to boosting, In:
Taux de reconnaissance du systme RCP avec validation de la base de test en Journal of Japanese Society for Artificial Intelligence,1997.
%
T=50 T=90 [4] Y. Freund, RE. Schapire, Experiments with a New Boosting
Algorithm, 1996.
RAB GAB MAB RAB GAB MAB
[5] A.Vezhnevets, V.Vezhnevets, Modest AdaBoost teaching AdaBoost
MFCC 64.34 61.13 61.04 90.41 58.33 58.33 to generalize better, Graphicon, pp.322-325, 2005.
MFCC+Delta 71.87 74.68 69.22 77.78 57 69.44 [6] Y.Freund, R. Schapire, Experiments with a new boosting algorithm,
International conference on Machine Learning, pp. 148-156, 1996.
MFCC+Delta+Delta 80.56 86.11 86.11 80.56 86.11 86.11 [7] M.Culp, K.Johnson, G. Michailidis, ada: an R Package for Stochastic
Boosting, 2007.
Table IV [8] B. Wu, A .Haizhou, C. Huang and L.Shihong, Fast Rotation Invariant
Taux de reconnaissance du systme RCP avec validation croise en % Multi-View Face Detection Based on Real Adaboost, 2004.
T=50 T=90 [9] C. Huang, B.Wu, A .Haizhou and L.Shihong, Omni-Directional Face
RAB GAB MAB RAB GAB MAB Detection Based On Real Adaboost, 2004.
[10] R. E. Schapire and Y. Singer, Improved BoostingAlgorithms Using
MFCC RAB GAB MAB 69.99 73.66 56.48
Confidence-rated Predictions,Machine Learning, 37, , 297-336, 1999.
MFCC+Delta 74.67 66.15 72.32 75.17 80.36 72.62 [11] J.Friedman, T. Hastie, and R..Tibshirani, Additive logistic regression:
a statistical view of boosting, The Annals of Statistics, 28, 337-374,
MFCC+Delta+Delta 71.43 74.39 81.07 85.92 87.61 88.02%
2000.
[12] T. Kanade, A.Jain, N.K. Ratha, Audio-And Video-Basded Biometric
Person authentification, 2005.
[13] I.V. Safonov, Automatic red eye detection, 2007.
VI. CONCLUSION [14] L .Breiman, Arcing classifiers, Discussion paper, Ann. Statist, 1998.
Adaboost est une nouvelle mthode de Boosting [15] L. Breiman, Random forestsMachine Learning , J, 2001.
principalement utilise pour stimuler les performances des [16] A.Vezhnevets, V.Vezhnevets, GML AdaBoost Matlab Toolbox
Manuel, 2005
algorithmes dapprentissage. Depuis son apparition jusqu
[17] J.S. Garofolo, L/F. Lamel, W/M. Fisher, J.G. Fiscus, D.S. Pallett, N.L.
aujourdhui, il y a eu la naissance de plusieurs gnrations. Dahlgren, and V.Zue, TIMIT Acoustic-Phonetic Continuous Speech
Pours nos exprimentations, nous avons tudi diffrentes Corpus, 1993.
mthodes dAdaboost et nous avons propos dvaluer dans ce [18] S. Zribi Boujelbene, D. Ben Ayed Mezghani, N. Ellouze, Improved
travail lapproche Real Adaboost (RAB), lapproche Gentle Feature Data for Robust Speaker Identification using Hybrid Gaussian
Mixture Models - Sequential Minimal Optimization System,
Adaboost (GAB) et lapproche Modest Adaboost . Nous avons International Review on Computers and Software (I.RE.CO.S.), Vol. 4,
mis en uvre un systme de reconnaissance en se basant sur N.3, May 2009.
lalgorithme dapprentissage CART. En occurrence, cet [19] S. Zribi Boujelbene, D. Ben Ayed Mezghani, N. Ellouze, Support
algorithme a t fusionn avec les diffrentes mthodes Vector Machines Approaches and its Application to Speaker
dAdaboost dans le but de rduire les taux derreurs de la Identification, 2008.
reconnaissance. [20] S.B. Davis and P.Mermelstein, Comparison of parametric
representations for monosyllabic word recognition in continuously
Nous avons observ, galement, que lapproche Modest spoken sentences, IEEETrans. Acoust., Speech, Signal Processing, vol.
Adaboost a gnr de meilleures performances suivie par le 28(4),pp. 357366, 1980.
systme bas sur lapproche Gentle Adaboost et enfin par le [21] F. D. Cilliers, Tree-based Gaussian Mixture Models for Speaker
systme bas sur lapproche Real Adaboost en appliquant les Verification, Ph.D. Thesis, Department of Electrical and Electronic
Engineering, University of Stellenbosch, South Africa, 2005.
coefficients MFCC+Delta+Delta-Delta. Les taux trouvs sont
[22] A.Kawtrakul, A.DeemagarnThai Connected Digit Speech Recognition
de lordre de 88,02% pour Modest Adaboost, 85,8% pour Using Hidden Markov Models, Russia,2004.
Gentle Adaboost et 85% pour Real Adaboost. [23] R.Kohavi , A study of cross-validation and bootstrap for accuracy
estimation and model selection, Proceedings of the Fourteenth
International Joint Conference on Artificial Intelligence,1995.
[24] J R. Nolan, Computer systems that learn: an empirical study of the
effect of noise on the performance of three classification methods, 2002.