Les variables

qualitatives
Plan du cours : premire
partie
Les modles variables qualitative dpendante
1. Le modle de probabilit linaire

2. Lestimation par le maximum de vraisemblance

3. La rgression logistique
Plan du cours : deuxime
partie
La rgression logistique multinomiale
3.

1. Simple
2. Ordinale

4. Les modles de comptage

1. Le modle de Poisson
2. Le modle ngatif binomial
Les modles variable
qualitative dpendante
Le modle de probabilit
linaire
Le modle de probabilit
linaire
Quand la variable qualitative dpendante est binaire ou
dichotomique (0/1), le modle OLS est appel modle de probabilit
linaire (par exemple : Y=1 si lentreprise innove, Y=0 sinon).

Y 0 1x1 2 x 2 u
Y ne prend que 2 valeurs (0;1). Comment interprter j? Si E(u|X)=0
alors:

E(Y | X) 0 1x1 2 x 2
Le modle de probabilit
linaire
Y suit une distribution de Bernoulli desprance P. Ce modle est
donc dit MPL car son esprance conditionnelle E(Y|X) peut tre
interprte comme la probabilit conditionnelle que lvnement se
produise compte tenu des valeurs de X :

E(Y | X) Pr(Y 1| X)
1 E(Y | X) Pr(Y 0 | X)
mesure de combien est modifi la probabilit de succs quand X
change dune unit (X=1)

E(Y | X) Pr(Y 1| X)
Pr(Y 1| X)
X X
Les limites du modle de prob.
linaire (1) Labsence de normalit des erreurs

OLS6 : Le terme d'erreur est indpendant des variables indpendantes et suit une loi Normale de moyenne nulle et de variance
2

Les erreurs tant le complmentaire par rapport 1 de la probabilit conditionnelle, elles suivent une distribution de Bernoulli,
et non normale.

u : Normal(0, ) 2
Les limites du modle de prob.
linaireLabsence
(1) de normalit des erreurs
2.5
2 1.5
Density
1
.5
0

-1 -.5 0 .5
Residuals
Les limites du modle de prob.
linaire (2) Lhtroscdasticit des erreurs

OLS5 : La variance du terme d'erreur est la mme, quelle que soiet les valeurs des variables indpendantes

Si le terme derreur suit une distribution de Bernoulli, alors sa variance dpend de X:

Var u x1 , x 2 ,K , x k 2

Var(u) P(1 P) E(Y | X) (1 E(Y | X))

Les limites du modle de prob.
linaireLhtroscdasticit
(2) des erreurs
.5
0
Residuals
-.5
-1

.4 .6 .8 1 1.2
Fitted values
Les limites du modle de prob.
linaire (3)

Des prdictions aberrantes

Par dfinition, une probabilit est toujours comprise entre 0 et 1, si bien que :

Or OLS ne garantit en rien cette condition :

On peut imaginer des prdictions en dehors de [0;1]
Leffet marginal reste constant en permanence car P = E(Y|X) croit linairement avec X. Ceci nest pas raliste (ex: la probabilit davoir un enfant en fonction du
nombre denfants dans la fratrie).

0 E Y | X 1
Les limites du modle de prob.
linaire (3)
Des prdictions aberrantes
3
2

Mauvaises
Density

prdictions
1
0

.4 .6 .8 1 1.2
Fitted values
Les limites du modle de prob.
linaire (4) Un coefficient de dtermination faible

Les valeurs observes de Y sont gales 1 ou 0, alors que les valeurs prdites appartiennent lensemble des
rels compris enter 0 et 1 : [0;1].

Si on confronte graphiquement les valeurs prdites avec les valeurs observes, lajustement linaire apparat
systmatiquement faible.
Les limites du modle de prob.
linaire (3)
Des prdictions aberrantes
1
.8
Dummy innovation

Mauvaises
.6

prdictions qui
baissent le R2
.4 .2
0

.4 .6 .8 1 1.2
Fitted values
 Les limites du modle de
probabilit linaire
1. Labsence de normalit des erreurs u : Normal(0, 2 )

2. Lhtroscdasticit des erreurs

Var u x1 , x 2 ,K , x k 2
3. Les prdictions aberrantes

4. La faible valeur du coefficient de dtermination

0 E Y | X 1
 Surmonter les limites du MPL
1. Labsence de normalit des erreurs
Augmenter la taille de lchantillon

2. Lhtroscdasticit des erreurs

Effectuer des estimations robustes

3. Les prdictions aberrantes

Effectuer des estimations contraintes ou non linaires

4. La faible valeur du coefficient de dtermination

Ne pas utiliser le R2 pour estimer la qualit de lajustement
Le MPL et ses utilisations
Malgr ses limites, le MPL est assez largement utilis :

1. Parce quil constitue une base exploratoire dont les coefficients

sont faciles interprter.

2. Parce quil marche plutt bien pour les valeurs des variables
indpendantes qui sont proches de la moyenne des donnes.

3. Parce qu la condition de travailler sur des grandes bases de

donnes, il permet daborder des problmes destimation que
dautres approches ont du mal aborder.
Le modle LOGIT
Probabilits, chances et logit
Nous voulons expliquer la ralisation vnement : la
variable expliquer prend deux valeurs : y={0;1}.
En fait, on va expliquer la probabilit de ralisation (ou
non) de lvnement: P(Y=y | X) [0 ; 1].
Il nous faudrait une transformation de P(Y) qui tendent
lintervalle de dfinition.
Nous allons voir que le calcul des chances permet
denvisager cette transformation.
Nous comprendrons alors les sources de la fonction logit.
Le modle Logit (1)
Modlisons la probabilit en nous assurant que quelles que soient
les valeurs de X, P reste toujours entre 0 et 1.

eZ 1
P
1 e Z
1 e Z
1 1
1 P 1 Z

1 e 1 e Z

avec z 0 i x i u i
Le modle Logit (2)
Ecrivons le ratio de chance (odds ratio) et prenons son log:

P 1 eZ
Z
e Z

1 P 1 e
P
ln z 0 1x1 2 x 2 u
1 P
Notons deux caractristiques importantes et dsires du modle :

1. Malgr le fait que P soit compris entre 0 et 1, le logit est un

rel compris entre - et +

2. La probabilit nest pas linaire en X

Les ratios de chance

Probabilitinnover
Chanceinnover (odds ratio)innover
Probabilit ne pas innover

Ou plus gnralement

P(Y 1)
odds ratio =
1 P (Y 1)
Plutt que dexpliquer Y (=1 ou =0), on va tenter
dexpliquer le ratio de chance (ou odds ratio)
Probabilits, chances et logit
p(y=1)
P(Y=1) Odds Ln (odds)
1-p(y=1)
0.01 1/99 0,01 -4,60
0.03 3/97 0,03 -3,48
0.05 5/95 0,05 -2,94
0.20 20/80 0,25 -1,39
0.30 30/70 0,43 -0,85
0.40 40/60 0,67 -0,41
0.50 50/50 1,00 0,00
0.60 60/40 1,50 0,41
0.70 70/30 2,33 0,85
0.80 80/20 4,00 1,39
0.95 95/5 19,0 2,94
0.97 97/3 32,3 3,48
0.99 99/1 99,0 4,60
La transformation logit
Le prcdent tableau fait correspondre une liste de
probabilit entre 0 et 1 et son quivalent en termes de
chance au logarithme des chances.
Si la probabilit varie de 0 1, la chance varie de 0
linfini. Le log de la chance varie de + .
Remarquez que la distribution des chances et des log
est symtrique.
La distribution logistique
.25
.2 .15
Density
.1 .05
0

-10 -5 0 5 10
Log (Odds ratio)
La mthode du maximum de
vraisemblance
Le problme est que nous nobservons pas le ratio de chance.
Encore une fois, le modle MCO ne convient pas.
Pour estimer le modle LOGIT, on a recours la mthode du
maximum de vraisemblance.
La mthode MV est une mthode destimation alternative la
mthode des moindres carrs.
Elle consiste trouver la valeur des paramtres qui maximisent la
vraisemblance des donnes.
La vraisemblance en conomtrie est dfinie comme la probabilit
jointe dobserver un chantillon, tant donn les paramtres du
processus ayant gnr les donnes.
La mthode du maximum de
vraisemblance
Supposons que nous disposons dun chantillon de n observations
alatoires. Soit f(Y) la probabilit que Y=1 ou 0. La probabilit jointe
dobserver les n variables de Y est donne par la fonction de
vraisemblance :
n
f y1 , y2 ,..., yn f ( yi )
i 1

On doit maintenant spcifier la fonction f(.). Elle dcoule de la

distribution des probabilits dun vnement qui ne peut avoir que
deux occurrences: un succs et un chec. Il sagit de la distribution
binomiale :

f ( yi ) p yi (1 p)1 yi
La fonction de vraisemblance
En dfinitive, la fonction de vraisemblance scrit:
n n
L y f (yi ) p 1 p
yi 1 yi

i 1 i 1
yi 1 yi
n n
e z
1
L y, z f (yi , z) z 1 e z
i 1 i 1 1 e
yi 1 yi
n n
e x i
1
L y, x, f (yi , x i , ) x i 1 e xi
i 1 i 1 1 e
La fonction de vraisemblance
Parce quelle est difficile manipuler, on utilise gnralement le log.
Aprs manipulation, la fonction log de la vraisemblance scrit :

n n
LL y, z yi z ln 1 e z
i 1 i 1
n n
LL y, x, yi x i ln 1 e xi
i 1 i 1

n
LL y, x, ln 1 e xi yi x i
i 1
La mthode du maximum de
vraisemblance
Le problme est le suivant: tant donn la forme
fonctionnelle de f(.) et les N observations, quelles valeurs
des paramtres rendent lobservation de lchantillon la
plus vraisemblable?
La maximisation de la
vraisemblance
Les estimateurs obtenus en maximisant la vraisemblance
sont efficaces. Ou encore en maximisant le log de la
vraisemblance.

LL n
yi i x i 0
i 1 ez
where i
LL n
1 e z
i 1 i x i x i
i 1

Cette maximisation na pas de solution analytique et se

rsout grce un algorithme ditration dit de Newton-
Raphson.
Lexemple des chances
dinnover
Les entreprises de biopharmaceutique : 373
(81%) ont innover et 84 (19%) ne lont pas fait.

La chance dinnover est denviron 4 contre 1.En

effet 373/84=4.4

Pour les entreprises de biopharmaceutique, la

probabilit dinnover est quatre fois plus leve
que la probabilit de ne pas le faire.
Le modle de rgression
logistique
Application sur la base de donnes OLS

Instruction Stata : logit

logit y x1 x2 x3 xk [if] [weight] [, options]

Options : noconstant : estime le modle sans constante

robust : estime des variances robustes, mme en
cas d'htroscdasticit
if : permet de slectionner les observations sur lesquelles portera la
rgression
weight : permet de pondrer les diffrentes observations
Interprtation des coefficients
(1)
Pour avoir la mesure de la variation de probabilit, il faut utiliser la
formule du logit pour transformer le logit en probabilit

e i
x
P x i
1 e
Interprtation des coefficients
(2)
Tapons un modle sans variable explicative et
seulement une constante:
Tapons logit inno et nous trouvons
e1,491
P 0,81
1 e 1,491

La constante 1.491 sinterprte comme le log ratio

moyen. Calculons la probabilit moyenne dinnover.
Tapons : dis exp(_b[_cons])/(1+exp(_b[_cons]))
Nous trouvons bien la valeur observe: 81%
Interprtation des coefficients
(3)
Un signe positif signifie que la probabilit de succs augmentera
avec la variable correspondante.

Un signe ngatif signifie que la probabilit de succs diminuera

avec la variable correspondante.

Une des difficults dans linterprtation des probabilits est leur non
linarit: elles ne varient pas identiquement selon le niveau des
variables indpendantes.

Cest pourquoi il est frquent de calculer la probabilit au point

moyen de lchantillon.
Interprtation des coefficients
(4)
Tapons logit inno rdi size spe pharma
e -7.630.757rdi0.979size0.367spe3.781pharma
P
1 e-7.630.757rdi0.979size0.367spe3.781pharma

A partir du modle, on peut calculer la probabilit conditionnelle

moyenne en utilisant les valeurs moyennes de rdi, size, spe et
pharma.

e1.9228238
P 0,8724
1 e1.9228238
Les effets marginaux (1)
Il est souvent utile de connatre leffet marginal dune variable explicative sur
la probabilit de succs dun vnement.
Puisque la probabilit est une fonction non linaire des variables
explicatives, la variation de la probabilit due un changement dune
variable explicative (ou son effet marginal) ne sera pas identique selon que
les autres variables sont maintenues leur niveau moyen, ou mdian, ou au
premier quartile, etc.

prvalue produit les probabilit prdites aprs un modle logit (ou autre
modle)
prvalue
prvalue , x(size=10) rest(mean) renvoie pour p(Y=1) : 0.1177
prvalue , x(size=11) rest(mean) renvoie pour p(Y=1) : 0.2622
prvalue , x(size=12) rest(mean) renvoie pour p(Y=1) : 0.4862
prvalue , x(size=10) rest(median) renvoie pour p(Y=1) : 0.0309
prvalue , x(size=11) rest(median) renvoie pour p(Y=1) : 0.0781
prvalue , x(size=12) rest(median) renvoie pour p(Y=1) : 0.1841
Les effets marginaux (2)
La commande prchange est bien utile. Elle produit
leffet marginal de chacune des variables explicatives
pour la plupart des variations de valeurs dsires.

prchange [varlist] [if] [in range]

,x(variables_and_values) rest(stat) fromto

prchange
prchange, fromto
prchange , fromto x(size=10.5) rest(mean)
Qualit de lestimation
Il nexiste pas de mesure comparable au R 2 de la rgression linaire.

On utilise exclusivement la statistique du log de vraisemblance (LL), cad du

log de la probabilit jointe dobserver lchantillon.
Plus il y a dobservation, plus le produit des probabilit jointe tend vers 0.
Autrement dit, pour un mme modle, plus il y a dobservations, plus LL tend vers
-
Pour une mme nombre dobservations, plus le modle est explicatif, plus LL tend
vers 0.

Cest en comparant deux LL que lon value la qualit dun ajustement, avec
toujours un modle contraint et un modle non contraint.
Le McFadden Pseudo R2
On utilise le McFadden Pseudo R2 (1973) en premire analyse pour
voir la qualit de lajustement. Il sinterprte de manire analogue au
R2. Toutefois, parce quil reste gnralement faible, son utilisation
reste limite.

Le pseudo-R2 dpend des maxima de vraisemblance obtenus si le

modle navait quune constante (modle contraint) et pour le modle
complet (modle non contraint). Il est compris entre 0 et1. Plus il est
proche de 1 et mieux cest.

Pseudo R 2

ln L c ln L nc
1
ln L nc
MF
ln L nc ln Lc
 Le rapport de vraisemblance
(LR test)
Le ratio de vraisemblance dpend aussi des maxima de vraisemblance
et suit une loi de 2. La probabilit que les variables indpendantes ne
sont pas explicatives (H0) est donne par le test du 2.
Le rapport de vraisemblance compare une spcification contrainte
une autre non contrainte:

LR 2 ln L nc ln L c

Ce rapport suit une distribution du 2.

Une grande valeur indique que le modle non contraint apporte une
information significative lvnement que le modle veut expliquer.
Autre utilisation du LR test
Comme output, STATA prsente toujours le LR test, comparant le
modle spcifi avec un modle sans variable explicative et
seulement une constante.

On peut raliser ce test pour comparer deux spcifications pour

justifier lajout de variables explicatives. Ceci est trs utile lorsquil
sagit de voir si lajout dune variable apporte de linformation.

logit [modle contraint]

est store [nom1]

logit [modle non contraint]

est store [nom2]
lrtest nom2 nom1
La qualit de la prvision
On peut enfin effectuer une comparaison entre les vnements prdits
correctement avec ceux prdits avec erreurs.

Il faut alors faire une hypothse: quand la probabilit prdite est suprieure
0,5, alors la prdiction est que lvnement a lieu.

Sous STATA, ceci est effectuer avec

estat class
Autre modlisation du choix
binaire
Le modle Logit ne constitue quune modlisation
possible, mme dans le cas o la variable dpendante
est une variable binaire.

On utilise largement le modle Probit comme modle

concurrentiel.

Ou encore le modle dit log-log complmentaire dans le

cas des probabilit de survie, car il se prte bien la
modlisation de la fonction de hasard.
Autres modlisations de
choix binaire
Le modle Probit
X

2
z2 2 2
z e
X e X
Pr(Y 1| X) X
dz dz t dt


2
2

Le modle log-log complmentaire

Pr(Y 1| X) X
1 exp exp(X )
Les fonctions de vraisemblance et
commandes STATA
yi 1 yi
n n
e X
1
Logit : L( y, x, ) f ( yi , xi , ) 1 eX
i 1 1 e
X
i 1

n n
Probit : L( y, x, ) f ( yi , xi , ) ( X
) 1 (X )
yi 1 yi

i 1 i 1

n n
Log-log comp : L( y, x, ) f ( yi , xi , ) 1 exp( exp( X
)) exp( exp( X ))
yi 1 yi

i 1 i 1

Exemple

logit inno rdi size spe pharma

probit inno rdi size spe pharma
cloglog inno rdi size spe pharma
Les fonctions de rpartition
1
.8
.6
y
.4
.2
0

-4 -2 0 2 4
x

Probit Transformation Logit Transformation

Complementary log log Transformation
Comparaison des modles
OLS Logit Probit C log-log

rd - size 0.113 0.757 0.428 0.365

[4.03]*** [3.63]*** [3.55]*** [3.24]***
ln(Actif matriel) 0.126 0.979 0.558 0.495
[8.73]*** [7.43]*** [7.68]*** [7.32]***
ln(spcialisation technologique) 0.051 0.367 0.196 0.131
[1.03] [0.90] [0.87] [0.67]
Dummy Pharma -0.447 -3.782 -2.12 -1.836
[7.56]*** [6.63]*** [6.83]*** [6.57]***
Constant -0.407 -7.64 -4.376 -4.264
[2.39]** [5.31]*** [5.44]*** [5.61]***
Observations 457 457 457 457

Absolute t value in brackets (OLS) z value for other models.

* 10%, ** 5%, *** 1%
Comparaison des effets
marginaux
OLS Logit Probit C log-log

Intensit de recherche 0.113 0.085 0.093 0.102

Actif matriel 0.126 0.110 0.121 0.137

Spcialisation technologique 0.051 0.040 0.042 0.037

Entreprise Pharmaceutique -0.445 -0.470 -0.466 -0.455

Pour les modles logit, probit et cloglog, les effets marginaux ont t valus par une variation dun point
autour de la moyenne, en utilisant les valeurs moyennes des autres variables.
Le modle LOGIT
multinomial
Le modle multinomial
Envisageons maintenant le cas o la variable dpendante est
multinomial. Par exemple, dans la cadre des activits dinnovation de
la firme:
Collabore avec universit (modalit 1)
Collabore avec grande firme (modalit 2)
Collabore avec PME (modalit 3)
Ne collabore pas (modalit 4)

Ou dans le cadre de la survie des firmes:

Survie (modalit 1)
Banqueroute (modalit 2)
Rachat (modalit 3)
Introduction au modle
multinomial
Prenons le cas de la survie des firmes. La premire possibilit est
denvisager trois rgressions logistiques indpendantes comme suit:
P(Y 1| X)
ln (1)
0 1 x1 K m x m
(1) (1)

1 P(Y 1| X)
P(Y 2 | X)
ln (2)
0 1 x1 K m x m
(2) (2)

1 P(Y 2 | X)
P(Y 3 | X)
ln (3)
0 1 x1 K m x m
(3) (3)

1 P(Y 3 | X)
O 1 = survie, 2 = banqueroute, 3 = rachat.
1. Ouvrez le fichier mlogit.dta
2. Pour chaque modalit, estimez la probabilit au point moyen de
lchantillon, conditionnelle :
- temps (log_time)
- la taille (log labour)
- lge (entry_age)
- lindicatrice spinout (spin_out)
- lindicatrice cohorte (cohort_*)
Introduction au modle
multinomial
ln
P(Y 1| X)
x K x
(1) (1) (1)
1 P(Y 1| X) 0 1 1 m m

P(Y 2 | X)
ln (2)
0 (2)
1 x 1 K (2)
m xm
1 P(Y 2 | X)
P(Y 3 | X)
ln (3)
0 1
(3)
x 1 K (3)
m xm
1 P(Y 3 | X)

P(Y 1| X) 0.8771
P(Y 2 | X) 0.0398 P(Y k | X)
k
0.9848 1
P(Y 3 | X) 0.0679
Le modle multinomial

Premirement, la somme des probabilits conditionnelles doccurrence

dvnements exclusifs doit tre gale lunit.
k

P Y j| X 1
j0

Deuximement, pour k modalits diffrentes, nous navons besoin

destimer que (k 1) modalits. Donc
k
P Y 0 | X 1 P Y j | X
jk
Le modle multinomial
Troisimement, le modle multinomial est un modle destimation
simultane comparant des ratios de chance pour chaque pair de
modalits. Dans le cas de trois modalits:

P(Y 1| X)
ln (1|0)
0 1
(1|0)
x 1 K (1|0)
m xm
P(Y 0 | X)
P(Y 2 | X)
ln (2|0)
0 1
(2|0)
x 1 K (2|0)
m xm
P(Y 0 | X)
P(Y 1| X)
ln (1|2)
0 1
(1|2)
x 1 K (1|2)
m xm
P(Y 2 | X)
Le modle logit multinomial
Remarquons quil y a redondance dinformation dans les trois modles
prcdents. En effet :

P Y 1| X P Y 2 | X P Y 1| X
ln ln ln
P Y 0 | X P Y 0 | X P Y 2 | X

P Y 1| X 1|0 P Y 2 | X
2|0 P Y 1| X
ln x ;ln x ;ln x 1|2
P Y 0 | X P Y 0 | X P Y 2 | X

x
1|0
x
2|0
x
1|2

Quatrimement, lestimation dun modle multinomial revient estimer

conjointement (k 1) modles logit en posant la contrainte sur les
paramtres estimer:
1|0 2|0 1|2

Le modle logit multinomial
Dans une modlisation logistique k modalits, la probabilit
doccurrence de la modalit j scrit:

e
x
( j|0 )

P Y j| X jk


( j|0 )
x
e
j0

Par convention, la modalit 0 est la modalit de base

Le modle logit multinomial
P Y j | X j|j
Notez que x j|j ln ln(1) 0 x, j: 0
P Y j | X

e
x
( j|0 )

P Y j| X jk


( j|0 )
x
e
j0

e
x
( j|0 )
1
P Y j | X P Y 0 | X jk
j k
x x
1 e
( j|0 )

1 e
( j|0 )

j1 j1
Le modle Logit binomial
comme un cas particulier du
logit multinomial
Rcrivons la probabilit de lvnement Y=1

e
x
P Y 1| X
1 e x
e
x
(1|0 )

e
x
(1|0 )

e
x (1|0 )

P Y 1| X
x x e x x

(1|0 ) ( 0|0 ) (1|0 ) ( k|0 )

1 e e e
k 0,1

On voit bien que le logit binomial est un cas particulier du

cas multinomial o seulement deux modalits sont
analyses.
La mthode du maximum de
vraisemblance
Supposons que nous disposons dun chantillon de n observations
alatoires. Soit f(Y) la probabilit que Y=j. La probabilit jointe
dobserver les n variables de Y est donne par la fonction de
vraisemblance :
n
f y1 , y 2 ,..., y n f (yi )
i 1

On doit maintenant spcifier la fonction f(.). Elle dcoule de la

distribution des probabilits dun vnement qui peut avoir plusieurs
modalits. Il sagit de la distribution multinomiale :

f (yi ) p 0 dYi p1dYi p jdYi p k dYi p jdYi

0 1 j k k

jK
La fonction de vraisemblance
En dfinitive, la fonction de vraisemblance scrit:
n n k
dYij
L(y) f y i p j
i 1 i 1 j 1

dYi0

dYij

x
( j|0 )
n n
1 k
e
L(y) f yi , x i , ( j|0) j k

j k

i 1 x j 1 x
1 e
( j|0 ) ( j|0 )
i 1
1 e
j1 j1

La fonction de vraisemblance
Aprs manipulation, la fonction log de la vraisemblance scrit

n
k xi ( j|0)

1 e
LL(y, x, ( j|0) ) dyi0 ln dy ij ln
j k
x i ( j|0) j k
x i ( j|0 )
i 1
1 e
j1
1 e
j 0 j 0
n x
k
j k
j k
x
) ln 1 e dy i x i ln 1 e
( j|0 ) ( j|0)

LL(y, x,

( j|0) j ( j|0)

i i

i 1 j 0 j1 j 0
n k k j k
x
) dy x i
ln 1
( j|0)

LL(y, x, k 1

( j|0) j ( j|0)
e
i
i

i 1 j1 j1 j 0
Le modle de logit
multinomial
Instruction Stata : mlogit

mlogit y x1 x2 x3 xk [if] [weight] [, options]

Options : noconstant : estime le modle sans constante

robust : estime des variances robustes, mme en
cas d'htroscdasticit
if : permet de slectionner les observations sur lesquelles portera la
rgression
weight : permet de pondrer les diffrentes observations
Le modle de logit
multinomial
use mlogit.dta, clear
mlogit type_exit log_time log_labour entry_age entry_spin cohort_*

Bloc des description de lajustement

Paramtres estims, erreurs

standards et probabilits critiques

Dans Stata, la modalit de rfrence est celle

qui a la plus grande frquence empirique
 Interprtation des
coefficients
Linterprtation des coefficients seffectue toujours en rfrence la
catgorie de base.

La probabilit de rachat dcroit-elle

avec le temps ?

Non!!
Linterprtation correcte est:
relativement la survie, la probabilit
de rachat dcroit avec le temps
 Interprtation des
coefficients
Linterprtation des coefficients seffectue toujours en rfrence la
catgorie de base.

La probabilit de rachat est elle moins

forte pour les spinoffs ?

Non!!
Linterprtation correcte est:
relativement la survie, La probabilit
de rachat est moins forte pour les
spinoffs
Interprtation des
coefficients
1|0 2|0 1|2 2|0 1|0 2|1

Relativement la banqueroute, la
probabilit de rachat est plus forte
pour les spinoffs

lincom [boughtout]entry_spin [death]entry_spin

Croiser les rfrences
mcross fait le travail pour nous !

Attention la nouvelle catgorie

de rfrence !!

Rachat relativement la
banqueroute

Relativement la banqueroute, la
probabilit de rachat est plus forte
pour les spinoffs
Croiser les rfrences
mcross fait le travail pour nous !

Et nous retrouvons notre rsultat

prcdent
Lhypothse dindpendances
des tats non pertinents (IIA)
Le modle repose sur lhypothse que pour chaque paire de modalits les ralisations sont
indpendantes des autres modalits. Autrement dit, les autres modalits sont non
pertinentes (irrelevant).

Dun point de vue statistique, cela revient faire lhypothse dindpendance des termes
derreur entres les diffrentes modalits (do le nom IIA: Independence of irrelevant
alternatives)

Une faon simple de tester la proprit IIA est alors destimer le modle en retirant une
modalit (pour retreindre les choix), et de comparer les nouveaux paramtres avec ceux du
modle complet
Si IIA est valide, les paramtres ne changent pas significativement
Si IIA nest pas valide, les paramtres changent significativement
Lhypothse dindpendances
des tats non pertinents (IIA)
H0: La proprit IIA est valide
H1: La proprit IIA nest pas valide

1
H R *C var R var *C R *C

La statistique H (H car il sagit en fait dun test dHausman) suit une

distribution du M degr de libert (M tant le nombre de
paramtres)
Application de IIA
H0: La proprit IIA est valide
H1: La proprit IIA nest pas valide

mlogtest, hausman

Variable omise
Application de IIA
H0: La proprit IIA est valide
H1: La proprit IIA nest pas valide

mlogtest, hausman
Donc on compare les paramtres du modle

Banqueroute relativement Rachat

estim conjointement avec
survie relativement rachat

avec

les paramtres du modle

Banqueroute relativement Rachat
estim sans
survie relativement rachat
Application de IIA
H0: La proprit IIA est valide
H1: La proprit IIA nest pas valide

mlogtest, hausman

La conclusion est que la modalit survie modifie

significativement larbitrage rachat ou
banqueroute.

En fait pour une firme, le rachat peut tre vu

comme une modalit de rester en activit avec
une perte sur la dcision conomique
dinvestissement notamment.
Le LOGIT multinomial
ordonn
Le modle multinomial
ordonn
Envisageons maintenant le cas o la variable dpendante est une
variable discrte, dont la valeur indique une intensit. Typiquement,
dans le cadre dune enqute dopinion (genre CIS1-4), on a des
questions dont la rponse est code par une chelle de Likert :

Obstacles linnovation (chelle de 1 5)

Intensit de collaboration (chelle de 1 5)
Enqute de marketing (Napprcie pas (1) Apprcie (7))
Note dtudiants
Test dopinion
Etc.
La structure ordonne
Ces variables dcrivent des chelles verticales quantitatives, si
bien quune faon de modliser le problme est de considrer des
intervalles dans lesquels la variable latente y* peut se trouver

y 1 si y*n 1
y 2 si 1 y*n 2
y 3 si 2 y*n 3
M
y k si 3 y*k

o j sont des bornes inconnues estimer, dfinissant la frontire

des intervalles.
La structure ordonne
On pose ensuite lhypothse que la variable latente (non observe)
y* est une combinaison linaire des variables explicatives :

y*i x i u i
o ui admet une fonction de rpartition F(.). Les probabilits
associes aux ralisations de y (y y*) sont alors lies la fonction
de rpartition de F(.). Regardons la probabilit que y = 1 :

P(y 1) P y*i 1
P(y 1) P x i u i 1
P(y 1) P u i 1 x i
e1 xi
P(y 1) 1 x i
1 e1 xi
La structure ordonne
Regardons la probabilit que y = 2 :

P(y 2) P y*i 2 P y*i 1
e 2 x i e1 xi
P(y 2) 2 x i 1 x i
1 e2 xi 1 e1 xi

Donc dans lensemble, nous avons:

P(Y 1) 1 x i
P(Y 2) 2 x i 1 x i
P(Y 3) 3 x i 2 x i
M
P(Y k) 1 k 1 x i
Probabilit dans le modle
ordonn 1 x i 2 x i 3 x i k 1 x i

y=1 y=2 y=3 y=k

ui
La fonction de vraisemblance
En dfinitive, la fonction de vraisemblance scrit:

n k dy j
L(y, x, , ) = F( j x i) F( j-1 x i)
i=1 j=1

avec
F( 0 - x n ) 0
F( k - x n ) 1
La fonction de vraisemblance
Dans le cas o ui suit une fonction logistique, la fonction log de
la vraisemblance scrit :

dy j
n k
j xi
j-1 x i
e
e

L(y, x, , ) =

j xi
j-1 x i
i=1 j=1
1 e
1 e

et donc

n k j x i j-1 xi
e e
LL(y, x, , ) = dy ln j
i j xi

j-1 xi

i 1 j1 1 e 1 e
Le logit multinomial
ordonne
Instruction Stata : ologit

ologit y x1 x2 x3 xk [if] [weight] [, options]

Options : noconstant : estime le modle sans constante

robust : estime des variances robustes, mme en
cas d'htroscdasticit
if : permet de slectionner les observations sur lesquelles portera la
rgression
weight : permet de pondrer les diffrentes observations
Le modle de logit
multinomial
use est_var_qual.dta, clear
ologit innovativeness size rdi spe biotech

Qualit de
lajustement

Paramtres
estims

Points seuils
Interprtation des
coefficients
Un signe positif signifie une relation positive entre la variable explicative et le rang (ou lordre)

Une des difficults dans linterprtation est le rle des variables de seuil. Notre modle est :

Quelle est la probabilit que Y = 1 : P( = 1) ?

Quelle est la probabilit que le score soit infrieur au premier seuil ?
Score x i u i

P(y 1) P x i u i 1

e 1.95
P(y 1) P 270.5 u i 268.6 1.95
.1245
1 e
P(y 1) P u i 1.9
 Interprtation des
coefficients
Quelle est la probabilit que Y = 2 : P( Y = 2) ?

P(y 1) P x i u i 1

e 1.95
P(y 1) P 270.5 u i 268.6 1.95
.1245
1 e
P(y 1) P u i 1.9 P(Y 2) F 2 x i F 1 x i

P(Y 2) .2321 .1245

P(y 1) P x i u i 2
P(Y 2) .1076
e 1.95
P(y 1) P 270.5 u i 269.3 .2321
1.95
1 e
P(y 1) P u i 1.2


Obtenir les probabilit
prdites
prvalue fait le travail pour nous !