CAPTULO 12

REGRESSO LINEAR MLTIPLA

12.1

Introduo
No captulo anterior, estudou-se o modelo mais simples de relacionar uma varivel
dependente com apenas uma varivel independente. Existem inmeros fenmenos que
envolvem muitas variveis independentes. Neste captulo, estudar-se- ainda uma relao
linear entre as variveis independentes e a varivel dependente, como a mostrada a seguir:
Y o 1 x1 2 x2 ... m xm
(1)

Essa equao conhecida como modelo de regresso linear mltipla. Como antes, o parmetro
o conhecido como a interseo do plano ou coeficiente linear. Os outros parmetros so
conhecidos como coeficientes parciais de regresso, porque (no caso de duas variveis
independentes) 1 mede a variao esperada em Y por unidade de variao em x1, quando x2 for
constante, e 2 mede a variao esperada em Y por unidade de variao em x2, quando x1 for
constante. No caso geral, o parmetro j representa a variao esperada na resposta Y por unidade
de variao unitria em xj, quando todos os outros regressores (ou variveis independentes) xi (i
j) forem mantidos constantes.
No caso de ter apenas duas variveis independentes, a Equao (1) pode ser representada
graficamente pelo plano mostrado na Figura 12.1a ou atravs das curvas de nvel, mostradas na
Figura 12.1b. Pelo fato de no haver correlao entre as variveis independentes, as linhas na
Figura 12.1b so retas.
Modelos que sejam mais complexos na estrutura do que a Equao (1) podem
freqentemente ainda ser analisados por tcnicas de regresso linear mltipla. Por exemplo,
considere o modelo polinomial cbico com um regressor.
Y o 1x 2x 2 3x 3
(2)
Se se fizer x1 = x, x2 = x2, x3 = x3, ento a Equao (2) pode ser reduzida forma apresentada na
Equao (1), com trs regressores.
Modelos que incluem efeitos de interao podem ser analisados pelos mtodos de
regresso linear mltipla. Uma interao entre duas variveis pode ser representada por um termo
cruzado no modelo, tal como
Y o 1x 1 2x 2 12x 1x 2
(3)
Se se fizer x3 = x1x2 e 3 = 12, ento a Equao (3) pode ser escrita na forma da Equao (1). No
caso de se considerar o termo de interao, a superfcie gerada pelo modelo no linear e as
curvas de nvel so curvadas, conforme pode ser visto na Figura 12.2. Em geral, qualquer modelo
de regresso que seja linear nos parmetros (os s) um modelo de regresso linear,
independente da forma da superfcie que ele gere.

Figura 12.1 Superfcie e curvas de nvel para o modelo da Equao (1).

Figura 12.2 Superfcie e curvas de nvel para o modelo da Equao (3).

12.2 Equaes dos Mnimos Quadrados

Considere que existam k regressores e n pontos experimentais, conforme a Tabela 12.1.
Tabela 12.1 Dados Experimentais

O modelo de regresso nesse caso dado por:

Yi o 1x i 1 2x i 2 ... k x ik i

(4)

Yi o j x ij i

i = 1, 2, ..., n

j 1

(5)

Aplicando o princpio dos mnimos quadrados Equao (5), obtm-se:

n

S (Yi y i ) 2

(6)

S
o
S
j

o , 1 ,..., k

2 (Yi y i ) 0

(7)

i 1
n

o , 1 ,..., k

2 (Yi y i )x ij 0

j = 1, 2, ..., k

i 1

(8)

Aps manipulaes algbricas, as equaes normais de mnimos quadrados so obtidas:

n

n o 1 x i 1 2 x i 2 ... k x ik y i
i 1

i 1

i 1

i 1

i 1

i 1

i 1

i 1

i 1

o x i 1 1 x i21 2 x i 1x i 2 ... k x i 1x ik x i 1y i

(9)

i 1

i 1

i 1

i 1

i 1

2
o x ik 1 x ik x i 1 2 x ik x i 2 ... k x ik
x ik y i

O sistema representado na Equao (9) pode ser resolvido por qualquer mtodo de
resoluo de equaes algbricas lineares. Existem m = k + 1 equaes, que podem ser expressas
na forma matricial:
y X
em que

y O
L
M
y P
M
P
y=
M
P
M
P
y Q
N
O
L
M
P
M
P
=
M
P
M
P
Q
N

(10)

1 x
L
M
1 x
X M
M

M
1 x
N
O
L
M
P
MP
M
P
M
P
Q
N

O
P
P
P
P
x Q

21

x12 x1k
x22 x2 k

n1

xn 2

11

(11)

nk

(12)

com y sendo um vetor (n x 1) das observaes, X sendo uma matriz (n x m) contendo os valores
das variveis independentes, sendo um vetor (m x 1) dos parmetros (ou coeficientes de
regresso) e sendo um vetor (n x 1) dos erros aleatrios.
Uma outra forma de representar a Equao (10)
(13)
X' X X' y
em que X a matriz transposta de X. Como o objetivo determinar os parmetros, a Equao
(13) deve ser resolvida, resultando em:
(14)
( X' X ) 1 X' y
-1
em que (XX) a matriz inversa de XX. Qualquer mtodo pode ser utilizado para fazer a
inverso da matriz. Uma vez determinados os parmetros, o modelo proposto toma a forma:
k

yi o j xij

(15)

y X

(16)

j 1

O vetor dos resduos, ei = yi - yi , dado por e y y .

12.2.1 Varincia dos Parmetros
As varincias dos s so expressas em termos dos elementos da inversa da matriz XX.
A inversa de XX vezes a constante 2 representa a matriz de covarincia dos coeficientes de
regresso . Os elementos da diagonal de 2(XX)-1 so as varincias de o , 1 ,..., k e os
elementos fora da diagonal dessa matriz so as covarincias.
C = (XX)-1

(17)

C
L
M
C
= M
M

M
C
N
10

C01 C0 k
C11 C1k

k0

Ck 1 Ckk

00

O
P
P
P
P
Q

(18)

que simtrica (C10 = C01, C20 = C02 e Ck0 = C0k) porque (XX)-1 simtrica, tendo-se
Var ( j ) 2 C jj
Covar ( , ) 2 C
i

ij

j = 0, 1, 2, ..., k

(19)

ij

(20)

Em geral, a matriz de covarincia de uma matriz simtrica (m x m), cujo jj-simo elemento
a varincia de e cujo i,j-simo elemento a covarincia entre e ; ou seja,
j

cov( ) = 2(XX)-1 = 2C

(21)

As estimativas das varincias desses coeficientes de regresso so obtidas trocando 2

pela estimativa apropriada. Quando 2 for trocado pela estimativa 2 , a raiz quadrada da
varincia estimada do j-simo coeficiente de regresso chamada de erro-padro estimado (ou
desvio-padro) de j ou ep( j ) = 2 C jj . Da mesma forma que na regresso linear simples, a
estimativa de 2 definida em termos da soma quadrtica dos resduos
SQ E

i 1

i 1

( y i Yi )2 = ei2 =ee

SQE = y ' y ' X ' y

(22)
(23)

A mdia quadrtica residual ou do erro expressa por:

SQE
y' y ' X' y
2 MQE

nm
nm

(24)

EXEMPLO 1: O gerente de uma fbrica que engarrafa refrigerantes est analisando as rotas de
servios nas mquinas, em seu sistema de distribuio. Ele est interessado em prever o tempo
requerido pelo operador para reabastecer as mquinas em um shopping center. Esse servio inclui
abastecer a mquina com refrigerantes e fazer alguns pequenos reparos necessrios. O engenheiro
industrial sugeriu como variveis importantes, o nmero de refrigerantes estocados e a distncia
percorrida pelo entregador. Para os 25 pontos experimentais apresentados na Tabela 12.2,
determine os parmetros do modelo de regresso linear mltipla.

Tabela 12.2 Dados Experimentais para o Exemplo 1

O Statistica ser utilizado para resolver esse problema. Todo o procedimento adotado no
captulo anterior ser repetido aqui, com a diferena apenas de que agora se tem mais de uma
varivel independente.
Os parmetros estimados so dados na Tabela 12.3, em que se percebe a significncia
estatstica de todos os parmetros, embora o desvio-padro da interseo tenha sido grande. O
coeficiente de determinao foi alto.
Tabela 12.3 Resultado do Statistica para a Regresso Linear Mltipla do Exemplo 1.

O modelo proposto fica ento:

Tempo 2,341231 1,615907 Refrigerantes + 0,014385Distncia

A Tabela 12.4 apresenta a ANOVA e a Tabela 12.5 mostra as correlaes parciais

existentes entre as variveis independentes e a varivel dependente. Por essa tabela, nota-se que a
varivel Refrigerante (coeficiente BETA igual a 0,716272) contribui mais para a variao do
Tempo do que a varivel Distncia (coeficiente BETA igual a 0,301308).
Tabela 12.4 Tabela da ANOVA para o Exemplo 1

A Tabela 12.5 apresenta os valores da covarincia e do coeficiente de correlao entre as

variveis independentes. Pode-se observar que as duas variveis independentes esto pouco
correlacionadas, visto que o coeficiente de correlao foi igual a - 0,824.
Tabela 12.5 Covarincias e Coeficientes de Correlao para os Dados do Exemplo 1

As correlaes parciais podem ser analisadas atravs da opo Partial correlations.

Tabela 12.6 Tabela de Correlaes Parciais para o Exemplo 1

Uma correlao parcial aquela existente entre uma varivel independente e uma
dependente, quando considerando a presena das outras. Por exemplo, o comprimento do cabelo
pode estar correlacionado altura das pessoas; no entanto, essa correlao poder diminuir e
mesmo desaparecer se a influncia do sexo for removida, uma vez que mulheres so geralmente
menores e so provveis de terem cabelos compridos.
Uma correlao semiparcial dada entre a varivel dependente no ajustada e a varivel
em questo, depois de controlar todas as outras variveis independentes na equao. Ela um

indicador melhor da relevncia prtica de um preditor, uma vez que ela relativa variabilidade
total na varivel dependente.
A tolerncia definida como 1- R2 para a varivel respectiva, estando todas as outras
variveis no modelo. R2 o coeficiente de determinao entre a varivel em questo e todas as
outras variveis na equao de regresso. A correlao parcial dada entre a varivel em questo
e a varivel dependente, depois de controlar todas as outras variveis independentes na equao.
A redundncia entre as variveis independentes pode ser analisada atravs da janela
Redundacy, mostrada na Tabela 12.7, cujas informaes j/a esto contidas na tabela anterior.
Tabela 12.7 Valores de Redundncia para os Dados do Exemplo 1.

A opo Current Sweep matrix apresenta os valores de coeficientes de correlao entre as

variveis independentes e a varivel dependente (mesmos valores de BETA) e valores dos fatores
de inflao de varincia, assunto esse que ser discutido no final do captulo.

12.2.2 Testes nos Coeficientes Individuais de Regresso e nos Subconjuntos de Coeficientes

Est-se freqentemente interessados em testar hipteses para os coeficientes individuais
de regresso. Tais testes so teis na determinao do valor potencial de cada um dos regressores
no modelo de regresso. Por exemplo, o modelo pode ser mais efetivo com a incluso de
variveis adicionais ou talvez com a retirada de um ou mais regressores atualmente no modelo.
A adio de uma varivel ao modelo de regresso sempre aumenta a soma quadrtica da
regresso e sempre diminui a soma quadrtica do erro. Tem-se de decidir se o aumento na soma
quadrtica da regresso grande o suficiente para justificar o uso de uma varivel adicional no
modelo. Alm disso, a adio de uma varivel no importante ao modelo pode na verdade
aumentar a soma quadrtica do erro, indicando que a adio de tal varivel fez realmente o
modelo apresentar um ajuste mais pobre dos dados.
As hipteses para testar a significncia de qualquer coeficiente de regresso, como j, so
H0: j = 0
H1: j 0

Se H0: j = 0 no for rejeitada, ento isso indica que o regressor xj poder ser retirado do modelo.
A estatstica de teste para essa hiptese
to

(25)

2 C jj

em que Cjj o elemento da diagonal de (XX)-1 correspondente a j . Observe que o

denominador da Equao (25) o erro-padro do coeficiente . A hiptese nula H0: j = 0 ser
j

rejeitada se |to| > t/2,n-m. Isso chamado de teste parcial ou marginal, porque o coeficiente de
regresso depende de todos os outros regressores xi (i j) que esto no modelo. O regressor
j

associado ao parmetro j , xj, contribui ento significativamente para o modelo.

12.2.3 Intervalos de Confiana na Regresso Linear Mltipla
O intervalo de confiana para os parmetros calculado pela Equao (26),

j t / 2 ,n m 2 C jj j j t / 2 ,n m 2 C jj

(26)

enquanto que para a resposta mdia, ele dado pela Equao (27).

Y |xo t / 2 ,n m 2 xo' ( X ' X ) 1 xo Y |xo Y |xo t / 2 ,n m 2 xo' ( X ' X ) 1 xo

(27)

sendo xo o vetor das variveis independentes em um determinado ponto.

12.2.4 Intervalo de Previso na Regresso Linear Mltipla
O intervalo de previso para novas observaes calculado pela Equao (28)
yo t / 2 ,n m 2 (1 xo' ( X ' X ) 1 xo ) yo yo t / 2 ,n m 2 (1 xo' ( X ' X ) 1 xo )

(28)

Como mencionado no Captulo 7, o intervalo de confiana expressa o erro em estimar a

mdia de uma distribuio, enquanto o intervalo de previso expressa o erro em prever uma
observao futura a partir da distribuio no ponto xo. Ele tem de incluir o erro em estimar a
mdia naquele ponto, assim como a variabilidade inerente varivel aleatria Y no mesmo valor
x = xo. Na previso de novas observaes e na estimao da resposta mdia em um dado ponto
xo1, xo2, ..., xok, tem-se de ser cuidadoso na extrapolao alm da regio contendo as observaes
originais. bem possvel que um modelo que ajuste bem na regio dos dados originais, no
ajuste de forma satisfatria fora daquela faixa. Em regresso mltipla, freqentemente fcil
extrapolar inadvertidamente, uma vez que os nveis das variveis (xi1, xi2, ..., xik), i = 1, 2, ..., n,
definem conjuntamente a regio contendo os dados. Como um exemplo, considere a Figura 12.2,
que ilustra a regio contendo as observaes para um modelo de regresso com duas variveis.
Note que o ponto (xo1,xo2) est dentro das faixas de ambos regressores x1 e x2, porm est fora da
9

regio que realmente englobada pelas observaes originais. Assim, a previso do valor de um
nova observao ou a estimao da resposta mdia nesse ponto uma extrapolao do modelo
original de regresso.

Figura 12.2 Extrapolao na regresso mltipla.

12.2.5 Coeficiente de Determinao Mltipla e de Correlao Mltipla
Esses coeficientes so definidos da mesma forma de antes.
12.2.6 Anlise Residual
Na regresso linear simples, os resduos foram padronizados na forma di = ei/ 2 , de
modo que seus desvios-padro sejam aproximadamente unitrios. Isso possibilita a descoberta
fcil de um possvel outlier.
Uma outra forma de escalonar os resduos us-los na forma de Student.
ri

ei

(1 hii )
2

(29)

em que hii o i-simo elemento diagonal da matriz H, conhecida como matriz chapu.
Como

H = X(XX)-1X
= X(XX)-1X y = H y,
X
Y

(30)

.
conclui-se que a matriz H transforma os valores observados, y, em valores ajustados, Y

10

12.2.7 Observaes Influentes

Quando usando regresso mltipla, ocasionalmente se encontra que incomumente algum
subconjunto de observaes influencia. Algumas vezes, essas observaes que influenciam esto
relativamente longe da vizinhana onde o resto dos dados foi coletado. Uma situao hipottica
para duas variveis mostrada na Figura 12.3, onde uma observao no espao x est distante do
resto dos dados. A disposio dos pontos no espao x importante na determinao das
propriedades do modelo. Por exemplo, o ponto (xi1,xi2) na Figura 12.3 pode exercer muita
influncia na determinao de R2, nas estimativas dos coeficientes de regresso e na magnitude
da mdia quadrtica dos erros.

Figura 12.3 Exemplo de um outlier.

Quer-se examinar os pontos que influenciam de modo a determinar se eles controlam
muitas propriedades do modelo. Se esses pontos que influenciam forem pontos ruins, ou
errneos de algum modo, ento eles devem ser eliminados. Por outro lado, pode no haver algo
errado com esses pontos, porm, no mnimo, quer-se determinar se eles produzem ou no
resultados consistentes com o resto dos dados. Em qualquer evento, mesmo se um ponto de
influncia for vlido, se ele controlar importantes propriedades do modelo, quer-se saber isso,
uma vez que ele poderia ter um impacto no uso do modelo.
Montgomery e Peck (1992) e Myers (1990) descrevem vrios mtodos de deteco de
observaes que influenciam. Um excelente diagnstico a medida da distncia, desenvolvido
por Dennis R. Cook. Essa uma medida da distncia ao quadrado entre a estimativa usual de
mnimos quadrados de , baseada em todas n observaes, e a estimativa obtida quando o isimo ponto for removido, como . A medida da distncia Cook :
(i )

Di

( ( i ) ) X ' X ( ( i ) )
m 2

i = 1, 2, ..., n

(30)

11

Claramente, se o i-simo ponto exercer influncia, sua remoo resultar em ( i ) variando

consideravelmente do valor . Logo, um grande valor de Di implica que o i-simo ponto exerce
influncia. A estatstica Di realmente calculada usando
r 2 hii
Di i
i = 1, 2, ..., n
(31)
m (1 hii )
Da Equao (31), vemos que Di consiste do quadrado do resduo na forma de Student, que reflete
quo bem o modelo ajusta a i-sima observao yi [lembre-se que ri = ei/ 2 (1 hii ) ] e um
componente que mede quo longe aquele ponto est do resto dos dados [hii/(1 - hii) uma medida
da distncia do i-simo ponto do centride dos n - 1 pontos restantes]. Um valor de Di > 1
indicaria que o ponto exerce influncia. Cada componente de Di (ou ambos) pode contribuir para
um grande valor.
EXEMPLO 2: Determine as distncias Cook para os dados do Exemplo1.
SOLUO: Usando a opo Residual analysis e escolhendo a janela Plot of outliers, obtm-se:

Pressionando OK, a seguinte tabela ficar disponvel.

12

Tabela 12.8 Distncias Cook para o Exemplo 1

Pela Tabela 12.8, v-se que o ponto 9 apresenta um valor da distncia Cook maior do que
um.
12.3 Modelos Polinomiais de Regresso
Polinmios podem ser usados como modelos de regresso e o mtodo de regresso linear
mltipla pode ser usado para determinao dos parmetros, fazendo uma mudana de varivel,
conforme mencionado anteriormente.
O Exemplo 1 ser resolvido agora supondo uma parbola como modelo de regresso.
(32)
Y o 1 x 11 x 2
Tabela 12.9 Janela do Statistica para o Modelo Polinomial

13

Observe que Mode est no modo Fixed non-linear. Uma vez selecionadas todas as
variveis, dependente e independentes, pressione OK, dando origem a seguinte tabela:

No caso de se ter apenas o termo quadrtico, seleciona-se apenas ele. Para outros
exemplos, pode-se selecionar qualquer outro termo.
As variveis existentes no modelo devem ser selecionadas da forma mostrada a seguir.

O resultado da estimao pode ser visualizado na tabela abaixo. Percebe-se que o termo
linear da Distncia e o termo quadrtico do Refrigerante no so significantes estatisticamente.
Tabela 12.10 Resultado da Estimao de Parmetros

14

Se se comparar o resultado da Tabela 12.4 com o da Tabela 12.11, vai-se perceber que o
coeficiente de determinao maior nesse ltimo caso e que a mdia quadrtica do erro menor
para esse novo modelo. Conclui-se assim, que o modelo com termos quadrticos melhor que o
anterior.
Tabela 12.11 Tabela da ANOVA

Todas as anlises feitas anteriormente devem ser reproduzidas.

12.4 Seleo de Variveis na Regresso Mltipla
Um problema importante em muitas aplicaes da anlise de regresso envolve selecionar
o conjunto de variveis independentes ou regressores a ser usado no modelo. Algumas vezes,
experincia prvia ou consideraes tericas em foco podem ajudar o analista a especificar o
conjunto de regressores que ele ou ela deveria usar em uma situao particular. No geral, nem
todos os candidatos a regressores so necessrios para modelar adequadamente a resposta Y.
Em tal situao, est-se interessado em filtrar as variveis candidatas para obter um
modelo de regresso que contenha o melhor subconjunto de regressores. No entanto, na maioria
dos problemas, nenhum modelo simples de regresso melhor em termos dos vrios critrios
de avaliao que foram propostos. Uma grande quantidade de julgamento e de experincia com o
sistema sendo modelado geralmente necessria para selecionar um conjunto apropriado de
regressores para uma equao de regresso.
Nenhum nico algoritmo produzir sempre uma boa soluo para o problema de
selecionar variveis. A maioria dos procedimentos correntemente disponveis so tcnicas de
busca e para executar satisfatoriamente, elas requerem interao com o analista e seu julgamento.
A seguir, sero apresentadas as tcnicas mais populares de seleo de variveis.
12.4.1 Procedimentos Computacionais para a Seleo de Variveis
Considere a existncia de K candidatos a regressores, x1, x2, ..., xk, e uma nica varivel de
resposta y. Todos os modelos incluiro um termo de interseo o, de modo que o modelo com
todas as variveis includas teria K + 1 termos. Alm disso, a forma funcional de cada candidato a
varivel (por exemplo, x1 = 1/x, x2 = lnx, etc.) est correta.
a) Todas as Regresses Possveis
Essa abordagem requer que o analista ajuste todas as equaes de regresso envolvendo
uma varivel candidata, todas as equaes de regresso envolvendo duas variveis candidatas e
assim por diante. Ento essas equaes so avaliadas de acordo com alguns critrios adequados
para selecionar o melhor modelo de regresso. Se houver K candidatos a regressores, haver 2k
equaes totais para ser examinadas. Por exemplo, se K = 4, haver 24 = 16 equaes possveis de
15

regresso; enquanto se K = 10, haver 210 = 1.024 equaes possveis de regresso.

Conseqentemente, o nmero de equaes a ser examinado aumenta rapidamente medida que
cresce o nmero de variveis candidatas.
Um nmero de critrios pode ser usado para avaliar e comparar os diferentes modelos
obtidos de regresso. Um critrio comumente usado est baseado no coeficiente de determinao
2
mltipla. Faa R p denotar o coeficiente de determinao para um modelo de regresso com p
termos; ou seja, p - 1 regressores e um termo de interseo (note que p K + 1).
Computacionalmente, tem-se:
SQR ( p )
SQE ( p )
R p2
1
(33)
SQT
SQT
em que SQR(p) e SQE(p) denotam a soma quadrtica da regresso e a soma quadrtica dos erros,
2
respectivamente, para um modelo com uma varivel p. Agora, R p aumenta medida que p
aumenta, sendo mximo quando p = K + 1. Por conseguinte, o analista adiciona variveis ao
modelo at o ponto em que uma varivel adicional no seja mais til devido ao pequeno aumento
2
resultante no valor de R p . A abordagem geral ilustrada na Fig. 12.4a, que fornece um grfico
2
hipottico de R p contra p. Tipicamente, o analista examina um grfico tal como esse e escolhe o
nmero de regressores no modelo como o ponto em que o joelho na curva se torna aparente.
Claramente, fazer essa escolha requer julgamento por parte do analista.

2
Figura 12.4 Grfico de R p contra p.

Um segundo critrio considerar a mdia quadrtica do erro para a equao com a

varivel p, denotada por MQE (p) = SQE(p)/(n - p). Geralmente, MQE (p) diminui medida que p
aumenta, mas isso no necessariamente assim. Se a adio de um regressor ao modelo com p 1 termos no reduzir a soma quadrtica do erro por uma quantidade igual mdia quadrtica do
erro no modelo antigo de p - 1 termos no modelo, MQE (p) aumentar por causa da perda, para o
erro, de um grau de liberdade. Dessa maneira, um critrio lgico escolher os regressores de
modo que MQE (p) seja um mnimo. Alternativamente, uma vez que MQE (p) , geralmente,
relativamente plano na vizinhana do mnimo, pode-se escolher um modelo de modo que a
adio de mais regressores ao modelo produziria somente redues muito pequenas em MQE (p).
O procedimento geral ilustrado na Figura 12.4b.

16

2
Um outro critrio est baseado em uma modificao de R p que considere o nmero de
2
variveis no modelo. Essa estatstica chamada de R p ajustado, definida como

R p2 1

n 1
( 1 R p2 )
n p

(34)

2
2
Note que R p pode decrescer medida que p aumenta, se a diminuio em (n - 1)(1 - R p ) no for
compensada pela perda de um grau de liberdade em n - p. O experimentalista geralmente
2
selecionaria o modelo de regresso que tivesse o valor mximo de R p . Entretanto, note que isso
equivalente ao modelo que minimiza MQE(p), uma vez que

R p2 1

n 1
( 1 R p2 )
n p

n 1 SQ E ( p )
n p SQT

n 1
MQ E ( p )
1
SQT

(35)

b) Seleo em Etapas
Regresso por etapas provavelmente a tcnica mais utilizada de seleo de variveis. O
procedimento constri iterativamente uma seqncia de modelos de regresso pela adio ou
remoo de variveis em cada etapa. O critrio para adicionar ou remover uma varivel em
qualquer etapa geralmente expresso em termos de um teste parcial F. Faa fentra ser o valor da
varivel aleatria F para adicionar uma varivel ao modelo e faa fsai ser o valor da varivel
aleatria F para remover uma varivel do modelo. Temos de ter fentra fsai e geralmente fentra = fsai.
A regresso em etapas comea formando um modelo com uma varivel, usando o
regressor que tenha a mais alta correlao com a varivel de resposta Y. Essa varivel ser
tambm o regressor produzindo a maior estatstica F. Por exemplo, suponha que nessa etapa, x1
seja selecionada. Na segunda etapa, as K - 1 variveis candidatas restantes so examinadas e a
varivel, para a qual a estatstica parcial F
SQR ( j | 1 , o )
Fj
(36)
MQE ( x j , x1 )

um mximo, adicionada equao, desde que fj > fentra. Na Equao (36), MQE(xj,x1) denota a
mdia quadrtica do erro para o modelo contendo x1 e xj. Suponha que esse procedimento indique
que x2 dever ser adicionada ao modelo. Agora, o algoritmo de regresso em etapas determina se
a varivel x1 adicionada na primeira etapa dever ser removida. Isso feito pelo clculo da
estatstica F.
SQR ( 1 | 2 , o )
F1
(37)
MQE ( x1 , x 2 )
Se o valor calculado f1 < fsai,.a varivel x1 ser removida; caso contrrio, ela ser retida e
tentaremos adicionar um regressor ao modelo contendo x1 e x2.
Em geral, em cada etapa, examina-se o conjunto dos candidatos restantes a regressores. O
regressor com a maior estatstica parcial F entra, desde que o valor observado de f exceda fentra.
Ento a estatstica parcial F para cada regressor no modelo calculado e o regressor com o menor

17

valor observado de F ser removido se o f observado < fsai. O procedimento continua at que
nenhum outro regressor possa ser adicionado ou removido ao modelo.
A regresso em etapas quase sempre feita usando um programa de computador. O
analista exerce controle sobre o procedimento quando da escolha de fentra e fsai. Alguns programas
computacionais de regresso em etapas requerem que os valores numricos sejam especificados
para fentra e fsai. Uma vez que o nmero de graus de liberdade para MQE depende do nmero de
variveis no modelo, que varia de etapa a etapa, um valor fixo de fentra e fsai causa uma variao
das taxas de erro tipo I e tipo II Alguns programas computacionais permitem ao analista
especificar os nveis do erro tipo I para fentra e fsai. Alguns programas computacionais permitem ao
analista especificar os nveis do erro tipo I para fentra e fsai. Entretanto, o nvel anunciado de
significncia no o nvel verdadeiro, porque a varivel selecionada aquela que maximiza (ou
minimiza) a estatstica parcial F naquele estgio. Algumas vezes, til experimentar diferentes
valores de fentra e fsai (ou diferentes taxas anunciadas do erro tipo I) em diferentes corridas, de
modo a ver se isso afeta substancialmente a escolha do modelo final.
c) Seleo Progressiva
O procedimento de seleo progressiva uma variao da regresso em etapas e est
baseado no princpio de que os regressores devem ser adicionados ao modelo um de cada vez at
que no haja mais candidatos a regressor que produzam aumento significativo na soma quadrtica
da regresso. Isto , variveis so adicionadas uma de cada vez desde que seu valor parcial de F
exceda fentra. A seleo progressiva uma simplificao da regresso em etapas que omite o teste
parcial F de remoo do modelo das variveis que foram adicionadas em etapas prvias. Essa
uma potencial fraqueza da seleo progressiva; isto , o procedimento no explora o efeito que a
adio de um regressor na etapa corrente tem nos regressores adicionados nas etapas anteriores.
d) Eliminao Regressiva
Esse algoritmo comea com todos os K candidatos a regressor no modelo. Ento o
regressor com menor estatstica parcial F removido, se essa estatstica F for insignificante; ou
seja, se f < fsai. A seguir, o modelo com K - 1 regressores ajustado e o prximo regressor para
potencial eliminao encontrado. O algoritmo termina quando nenhum regressor a mais pode
ser eliminado.
EXEMPLO 3: Resolva o Exemplo 1, utilizando a metodologia da seleo progressiva e da
eliminao regressiva, utilizando o Statistica.
SOLUO: Ao escolher a opo Multiple Regression e selecionar as variveis, a seguinte tela
aparecer:

18

a) Seleo Progressiva
Ao pressionar OK, uma nova janela surgir, que dever ser modificada de modo a se
obter:

Escolheu-se aqui fentra = 3 (recomenda-se, em torno de 2 a 3). Depois de dar OK, obtm-se
a tela:

19

Como nenhum regressor foi ainda adicionado, pressione a tecla Next e obtenha:

Todas as anlises anteriores podem ser feitas para o caso de s se ter um regressor no
modelo. De modo a completar a regresso pela seleo progressiva, pressione novamente Next e
obtenha:
20

Por essa janela, percebe-se que os dois regressores foram aceitos, pois eles foram
significativos estatisticamente, como pode ser comprovado pela janela Regression summary.

b) Eliminao Regressiva
Tudo se repete, com as diferenas anotadas na seguinte seqncia de janelas:

21

Comparando-se as duas metodologias, os dois resultados foram iguais, o que nem sempre
o caso.
12.4.2 Alguns Comentrios sobre a Seleo Final de Modelo
Tem-se ilustrado vrias abordagens diferentes para selecionar as variveis na regresso
linear mltipla. O modelo final obtido a partir de qualquer procedimento de construo de
modelo deve ser submetido a verificaes usuais de adequao, tais como anlise residual, teste
de falta de ajuste e exame dos efeitos de pontos de influncia. O analista pode considerar tambm
o aumento do conjunto original de variveis candidatas, atravs da introduo dos termos
cruzados, os termos polinomiais ou outras transformaes das variveis originais que possam
melhorar o modelo. A maior crtica aos mtodos de seleo de variveis, tal como a regresso em
etapas, que o analista pode concluir pela existncia de uma equao melhor de regresso.
Geralmente, esse no o caso, porque vrios modelos igualmente bons podem freqentemente
ser usados. Uma maneira de evitar esse problema usar vrias tcnicas diferentes de construo
do modelo e ver se diferentes modelos resultaram. Se o mesmo modelo for encontrado pelos trs

22

mtodos de seleo de variveis, tem-se uma boa indicao de que o modelo realmente seja a
melhor equao de regresso.
Se o nmero de candidatos a regressor no for grande, o mtodo de todas as regresses
possveis recomendado. Geralmente recomendamos usar os critrios de avaliao de mnimos
valores de MQE, em conjuno com esse procedimento. A abordagem de todas as regresses
possveis pode encontrar a melhor equao de regresso com relao a esses critrios, enquanto
os mtodos tipo etapas no oferecem tal segurana. Alm disso, o procedimento de todas as
regresses possveis no distorcido pelas dependncias entre os regressores como so os
mtodos tipo etapas.
12.5 Multicolinearidade
Em problemas de regresso mltipla, espera-se encontrar dependncias entre a varivel de
resposta Y e os regressores xj. Na maioria dos problemas de regresso, no entanto, encontra-se
que h tambm dependncias entre os regressores xj. Em situaes onde essas dependncias
forem fortes, dizemos que existe multicolinearidade. A multicolinearidade pode ter srios
efeitos nas estimativas dos coeficientes de regresso e na aplicabilidade geral do modelo
estimado.
Algumas indicaes da presena de multicolinearidade so:
1. Valores altos do coeficiente de correlao.
2. Grandes alteraes nas estimativas dos coeficientes de regresso, quando uma varivel
independente for adicionada ou retirada do modelo, ou quando uma observao for
alterada ou eliminada.
3. A rejeio da hiptese Ho: 1 = 2 = ... = k = 0 por meio da realizao do teste F, mas
nenhuma rejeio das hipteses Ho: i = 0, i = 1, 2, ..., k, por meio da realizao dos
testes t sobre os coeficientes individuais de regressso.
4. Obteno de estimativas para os coeficientes de regresso com sinais algbricos
contrrios queles que seriam esperados a partir de conhecimentos tericos
disponveis ou de experincias anteriores sobre o fenmeno estudado.
5. Obteno de intervalos de confiana com elevadas amplitudes para os coeficientes de
regresso, associados a variveis independentes importantes.
Os efeitos de multicolinearidade podem ser facilmente demonstrados. Os elementos da
diagonal da matriz C = (XX)-1 podem ser escritos como
C jj

1
( 1 R 2j )

j = 1, 2, ..., k

(38)

sendo R j o coeficiente de determinao mltipla, resultante da regresso de xj nos outros k - 1

regressores. Claramente, quanto mais forte for a dependncia linear de xj nos regressores
2
restantes, e por conseguinte mais forte a colinearidade, maior ser o valor de R j . Lembre-se de
2
que V( ) = 2Cjj. Logo, diz-se que a varincia de inflacionada pela quantidade (1- R )-1.
j

Dessa maneira, define-se o fator de inflao da varincia para j como

23

FIV ( j )

1
( 1 R 2j )

j = 1, 2, ..., k

(39)

Esses fatores so uma importante medida da extenso da presena de multicolinearidade.

Embora as estimativas dos coeficientes de regresso sejam muitas imprecisas quando a
multicolinearidade est presente, a equao do modelo ajustado pode ainda ser til. Por exemplo,
suponha que se deseje prever as novas observaes para a resposta. Se essas previses forem
interpolaes na regio original do espao x onde a multicolinearidade existe, ento previses
satisfatrias sero freqentemente obtidas, porque, enquanto os j individuais podem ser
pobremente estimados, a funo

k
j 1

j xij pode ser bem estimada. Por outro lado, se a previso

das novas observaes requerer extrapolao alm da regio original do espao x onde os dados
foram coletados, geralmente ento esperaramos obter resultados pobres. Extrapolao requer
geralmente boas estimativas dos parmetros individuais do modelo.
Multicolinearidade aparece devido a vrias razes. Ela ocorrer quando o analista coletar
dados, tal que uma restrio linear se mantenha aproximadamente entre as colunas da matriz X.
Por exemplo, se quatro regressores forem os componentes de uma mistura, ento tal restrio
sempre existir porque a soma dos componentes sempre constante. Geralmente, essas restries
no se mantm exatamente e o analista pode no saber que elas existem.
A presena de multicolinearidade pode ser detectada de vrias maneiras. Duas das mais
fceis de se entender so:
1. Os fatores de inflao da varincia, definidos na Equao (39), so medidas muito
teis de multicolinearidade. Quanto maior for o fator de inflao da varincia, mais
severa ser a multicolinearidade. Alguns autores sugeriram que se qualquer fator de
inflao da varincia exceder 10, ento a multicolinearidade ser um problema.
Outros autores consideram esse valor muito liberal e sugerem que os fatores de
inflao da varincia no devem exceder 4 ou 5.
2. Se o teste F para significncia da regresso for significante, mas os testes para os
coeficientes individuais de regresso no forem significantes, ento a
multicolinearidade pode estar presente.
Vrias medidas tm sido propostas para resolver o problema de multicolinearidade.
Freqentemente, sugere-se aumentar os dados com novas observaes especificamente projetadas
para fragmentar as dependncias lineares aproximadas que existem correntemente. Entretanto,
isso algumas vezes impossvel por causa de razes econmicas ou por causa de restries
fsicas que relacionam o xj. Uma outra possibilidade remover certas variveis do modelo, porm
essa abordagem tem a desvantagem de descartar a informao contida nas variveis removidas.
Uma vez que multicolinearidade afeta principalmente a estabilidade dos coeficientes de
regresso, parece que til estimar esses parmetros por algum mtodo que seja menos sensvel
multicolinearidade do que o mtodo original dos mnimos quadrados. Vrios mtodos foram
sugeridos. Uma alternativa ao mtodo original dos mnimos quadrados, regresso corrigida
(ridge regression), pode ser til no combate multicolinearidade. Ele consiste em fazer uma
transformao dos parmetros estimados, atravs da adio de uma constante equao:
( X ' X I ) c X ' y

(40)

24

 ,
O valor da constante deve ser tal que a mdia quadrtica do erro do estimador corrigido,
c

seja menor do que a varincia do estimador de mnimos quadrados, . A escolha dessa constante
variaro dramaticamente. Para
no simples; medida que ela cresce, alguns dos parmetros
c

algum valor de , as estimativas c estabilizaro. O objetivo selecionar algum valor pequeno

sejam estveis. Para mais detalhes sobre regresso corrigida,
de , no qual as estimativas
c
ver Montgomery e Peck (1992) e Myers (1990).
O Statistica realiza a regresso corrigida.

25