Regressão Linear Múltipla

Planejamento de
Experimento
Caroline Ponce de Moraes
poncecefet@gmail.com
Programa
2) Regresso Linear Mltipla

1.1 Mnimos Quadrados
1.2 Intervalo de Confiana e Testes de Hipteses
1.3 Anlise da Regresso atravs da tabela ANOVA
1.4 Verificao da Adequao do Modelo
PTC Proprietary Do not reproduce without permission 2003 PTC
Regresso Linear Mltipla

A regresso mltipla ajusta um modelo linear entre uma varivel de
resposta e uma ou mais variveis explicativas (regressoras).
O modelo de regresso linear mltipla requer uma abordagem matricial
para sua resoluo, se ao invs de efetuar os clculos manualmente,
utilizar-se uma abordagem computacional um maior nmero de anlises
poder ser realizado o que consequentemente propicia maior tempo de
observao das caractersticas dos dados e melhor verificao dos
critrios de adequao ao modelo
A regresso linear mltipla relaciona linearmente um parmetro a um

ou mais variveis pelo mtodo dos mnimos quadrados.
Regresso Linear Mltipla - Estimao

O mtodo dos mnimos quadrados pode ser usado para estimar os
coeficientes de regresso no modelo de regresso mltipla.
Mtodo dos Mnimos Quadrados
Regresso Linear Mltipla - Estimao

Mtodo dos Mnimos Quadrados

Abaixo vamos utilizar os dados da Tabela 12-2 para exemplificar um modelo de
regresso mltipla, os dados so do exemplo 12-1 do livro Estatstica Aplicada
e Probabilidade para Engenheiros (cap. 12 pg. 298), onde duas variveis
independentes so usadas para explicar a resistncia trao de um fio colado
obtido na fabricao de semicondutores.

Especificamente, ajustaremos o modelo de regresso linear mltipla:
0 o intercepto ou interseco do plano. 1 e 2, chamados de coeficientes

parciais de regresso, relacionam a resistncia trao respectivamente ao
comprimento do fio em x1, e a altura da garra em x2.

Entrando com os dados no software R (Rstudio):
# Comentrio
# Exemplo de Regresso Mltipla no R.
# Armazenando os dados em vetores.
y <- c(9.95, 24.45, 31.75, 35.00, 25.02, 16.86,
14.38, 9.60, 24.35, 27.50, 17.08, 37.00,41.95,
11.66, 21.65, 17.89, 69.00, 10.30, 34.93, 46.59,
44.88, 54.12, 56.63, 22.13, 21.15)
x1 <- c(2, 8, 11, 10, 8, 4, 2, 2, 9, 8, 4, 11,
12, 2, 4, 4, 20, 1, 10, 15, 15, 16, 17, 6, 5)
x2 <- c(50, 110, 120, 550, 295, 200, 375, 52,
100, 300, 412, 400, 500, 360, 205, 400, 600, 585,
540,250, 290, 510, 590, 100, 400)
#Podemos criar um data.frame para ficar em formato de tabela
dadosrm<-data.frame(y,x1,x2)
dadosrm
9

#plot - mostra o grafico do y com x1 e depois o grfico de y com x2
plot(y~x1+x2)
#Uma matriz de diagramas de disperso produzido
help(pairs)
pairs(y~x1+x2,pch=1,labels=c("Resistncia","Comprimento","Altura"))
10

#Podemos alterar o formato dos pontos
pairs(y~x1+x2,pch="@",labels=c("Resistncia","Comprimento","Altura"))
11

# Ajuste do modelo:
model <- lm(y~x1+x2) # y~x1+x2 a varivel y explicada pelas variveis x1 e x2
model # Exibe os resultados do modelo.
Interpretao Prtica: Essa equao pode ser usada para prever a resistncia
trao para pares de valores das variveis independentes (explicativas),
comprimento do fio (x1) e altura da garra (x2).
Chegamos no mesmo resultado do exemplo 12-1 (pag 299) e 12-2 (pag 300) do nosso livro.
12
Abordagem Matricial
Notemos que os estimadores de mnimos quadrados dos parmetros
do modelo podem ser facilmente encontrados considerando a notao matricial
dos dados, que de fcil manipulao. Desta forma, o modelo de Regresso
Linear Mltipla pode ser escrito como
13
Abordagem Matricial
14
Abordagem Matricial
Veja contas feitas manualmente na pgina 300.
15
Propriedades dos estimadores
16
Voltando para o R
17
Voltando para o R
18
Voltando para o R
19
Anova na anlise de regresso mltipla
O p representa o total de variveis explicativas no modelo.
20

Teste F
Em problemas de regresso linear mltipla, certos testes de hipteses sobre os
parmetros do modelo so teis para verificar a "adequabilidade" do modelo.
Teste para a Significncia da Regresso

um teste para determinar se existe relao linear entre a varivel de resposta
y e um subconjunto de regressores x1, x2,...,xk. As hipteses apropriadas so:
21
22
Teste para a significncia da Regresso
Estimativa da
varincia (pag 301)
23
Vendo resultado no R:
SQRegresso
=5885.9 + 104.9
= 5990.8
SQE =115.2
SQT
= 5990.8 + 115.2
= 6106,0
24

A rejeio de H0 no implica necessariamente que a relao encontrada seja
um modelo apropriado para prever a resistncia trao como uma funo do
comprimento do fio ou da altura da garra. Mais testes de adequao do modelo
so requeridos antes de ficarmos confortveis em usar esse modelo na prtica.
R2 e R2 Ajustado
Podemos usar tambm o coeficiente de determinao mltipla R2 para avaliar o
ajuste do modelo.
25

R2 e R2 Ajustado
Desse modo, o modelo responde por cerca de 98% da variabilidade na
resposta da resistncia trao. A estatstica R2 , de algum modo,
problemtica como uma medida da qualidade do ajuste para um modelo de
regresso mltipla, uma vez que ela sempre aumenta quando a varivel
adicionada a um modelo. Um vez que R2 sempre aumenta quando um
regressor adicionado, pode ser difcil julgar se o aumento est nos dizendo
qualquer coisa til acerca do novo regressor.
26

R2 e R2 Ajustado
Muito usurios preferem usar a estatstica do R2 ajustado.
O R2 Ajustado somente aumentar quando uma varivel for adicionada ao modelo, se a nova varivel reduzir
a mdia quadrtica do erro. Note que, para o modelo de regresso mltipla para os dados de resistncia
trao, R2 Ajustado = 0,979, enquanto no Exemplo 11-8 o R2 Ajustado = 0,962. Logo, concluiramos que a
adio ao modelo de x2 resulta em uma reduo significativa na variabilidade no explicada na resposta.
A estatstica R2 Ajustada penaliza essencialmente o analista pela adio de termos ao modelo. uma
maneira de se resguardar contra ajuste em excesso, ou seja, a incluso de regressores que no so
realmente teis.
27
Testes para os Coeficientes Individuais de Regresso
Estamos frequentemente interessados em testar hipteses para os coeficientes

individuais da regresso. Tais testes so teis na determinao do valor
potencial de cada uma das variveis regressoras no modelo. Por exemplo, o
modelo pode ser mais efetivo com a incluso de variveis adicionais ou talvez a
retirada de um ou mais regressoras.
28

Usando o R
29

Exemplo 12.4
Rejeitamos H0 e conclumos que a varivel x2 (altura da garra) contribui

significativamente para o modelo.
Interpretao Prtica: Note que esse teste mede a contribuio marginal de x2, dado
que x1 est no modelo. Ou seja, o teste t mede a contribuio da varivel adicional,
altura da garra, para o modelo que j contm x1, comprimento do fio.
30

Exemplo 12.5
Para realizar o teste de hiptese do exemplo 12.5, utilizaramos algumas informaes

do software R. Por exemplo,
t0<-(0.012528-0.01)/0.002798
t0
#[1] 0.9035025 (ir na tabela da t)
#p-valor entre 0.1 e 0.25 No se pode concluir que o coeficiente excede 0.01.
31
Testes parciais para os coeficientes da regresso

(Teste F Parcial)
32

(Teste F Parcial)
33

(Teste F Parcial)
http://www.portalaction.com.br/analise-de-regressao/25-testes-individuais-e-intervalos-deconfianca-para-os-parametros
34

O teste F parcial muito til. Podemos us-lo para medir a contribuio de
cada regressor individual xj ao modelo que j inclui x1,...., xj-1, xj+1,...., xk.
Se um teste F parcial for aplicado para uma nica varivel, ele ser equivalente
ao teste t.
reduzido<-lm(y~x1)
completo<-lm(y~x1+x2)
anova(reduzido,completo)
35
Intervalos de Confiana para a Regresso Linear Mltipla

Intervalo de Confiana
confint(model)
No exemplo 12-7, podemos confirmar o intervalo de confiana encontrado.

Intervalo de Confiana para a Resposta Mdia
Podemos obter tambm um intervalo de confiana para a resposta mdia em
um determinado ponto. Veja o exemplo 12-8 no livro.
#Intervalos de Confiana para Resposta Media e Individual:
x0 = data.frame(x1=8,x2=275)
predict(model,x0,interval="confidence")
36
Intervalos de Confiana para a Regresso Linear Mltipla

Previso de novas observaes
Um modelo de regresso pode ser usado para prever novas ou futuras
observaes para a varivel resposta Y. Observe que o intervalo de previso
ser sempre mais largo do que o intervalo de confiana para a resposta mdia.
#Intervalos de Confiana para Previso
x0 = data.frame(x1=8,x2=275)
predict(model,x0,interval="prediction")
37
Verificao da Adequano do Modelo
A anlise residual verifica se o modelo obedece as seguintes suposies:

(a) Os resduos devem ser normalmente distribudos;
(b) A mdia dos resduos deve ser zero;
(c) A varincia, 2, deve ser igual a uma constante
(d) Os resduos devem ser independentes.
De forma que o modelo s vlido a respeitando-se essas premissas.
38

Grfico de probabilidade normal dos resduos
Essas suposies podem ser verificadas graficamente no Grfico de
Probabilidade, na qual se for possvel identificao de uma reta que possa
concatenar a maioria dos valores residuais a suposio satisfeita.
#comandos
>qqnorm(residuals(model),datax=T,pch=20,main="Grfico
Normal", xlab=" ",ylab="Resduos")
de
Probabilidade
>qqline(residuals(model),datax=T,
col=red")
39

Histograma
No Histograma dos resduos tambm possvel verificar essa suposio no
caso do Histograma recomenda-se que haja vrias medidas, isto , que a
amostra seja de grande tamanho.
>hist(residuals(model),prob=T,
breaks=seq(-4,6,by=0.5),ylim=c(0,0.35),
yaxp=c(0,0.35,5),xaxp=c(-4,6,10),
main="Histograma",ylab="Densidade",
xlab="Resduos")
>lines(density(residuals(model)))
Em ambos os casos, o melhor a se fazer a realizao de um teste de

aderncia distribuio normal, teste de normalidade, onde de fato a suposio
seria testada e o R oferece uma boa gama de testes de normalidade e de
aderncia a distribuies.
40

Verificaco c - A varincia, 2, deve ser igual a uma constante
A hiptese de varincia constante pode ser observada no grfico de resduos
versus valores ajustados, espera-se observar que no haja aumento da
disperso dos resduos em funo dos diferentes valores ajustados, no mesmo
grfico observa-se se h simetria aproximada dos pontos em relao
ao valor zero de modo que a suposio (b) seja cumprida.
>plot(fitted.values(model),residuals(model),
ylab="Resduos",xlab="Valores Ajustados da
Resistncia", pch=20,col=2,main="Resduos x
Valores Ajustados")
>abline(0,0,lty=3)
41

Verificao item d
A suposio (d) se constata a partir do grfico de resduos versus a ordem de

experimentao, onde os resduos no devem seguir nenhum padro e sim
apresentar aleatoriedade.
> plot(residuals(model), pch=8, type="b",
col="red", main="Resduos x
Ordem",ylab="Resduos",xlab="Ordem
das observaes")
42

Visualizando em uma mesma figura
#comando
par(mfrow=c(2,2))
qqnorm(residuals(model),datax=T,pch=20,main="Grfico
Probabilidade Normal", xlab=" ",ylab="Resduos")
qqline(residuals(model),datax=T,col="red")
de
plot(residuals(model),
pch=8,
type="b",col="red",
main="Resduos x Ordem",ylab="Resduos",xlab="Ordem
dasobservaes")
plot(fitted.values(model),residuals(model),
ylab="Resduos",xlab="Valores Ajustados daResistncia",
pch=20,col=2,main="Resduos x Valores Ajustados")
abline(0,0,lty=3)
hist(residuals(model),prob=T,
breaks=seq(4,6,by=0.5),ylim=c(0,0.35),
yaxp=c(0,0.35,5),xaxp=c(-4,6,10),
main="Histograma",ylab="Densidade", xlab="Resduos")
lines(density(residuals(model)))
http://www.portalaction.com.br/analise-deregressao/342-outliers-em-y
43

Resduos padronizados
Alguns analistas preferem plotar resduos padronizados em vez de resduos
normais, porque os resduos padronizados so escalonados de modo que seus
desvios-padro sejam aproximadamente iguais a um. Consequentemente,
resduos grandes (que podem indicar possveis outliers ou observaes no
usuais) sero mais bvios a partir da inspeo dos grficos residuais.
44

Resduos na forma de Student
um dos mais populares. De acordo com os especialistas, os resduos
padronizados esto abaixo da magnitude residual verdadeira; assim, os
resduos na forma de Student seriam uma melhor estatstica para avaliar os
outliers em potencial.
45
Observaes Influentes
46
Observaes Influentes
A medida da distncia de Cook Di, no identifica nos dados quaisquer observaes

potencialmente influentes, uma vez que nenhum valor de Di excede 1.
47
Comentrios
Meu objetivo em fazer o resumo que vocs possam ter acesso a variedade de
assuntos que muitas vezes no to explorado em sala de aula.
48
Obrigada!
Caroline Ponce de Moraes

Regressão Linear Múltipla

Încărcat de

Informații document

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Regressão Linear Múltipla

Încărcat de

Drepturi de autor:

Formate disponibile

Planejamento de

2) Regresso Linear Mltipla

PTC Proprietary Do not reproduce without permission 2003 PTC

Regresso Linear Mltipla

PTC Proprietary Do not reproduce without permission 2003 PTC

Regresso Linear Mltipla

A regresso linear mltipla relaciona linearmente um parmetro a um

PTC Proprietary Do not reproduce without permission 2003 PTC

Regresso Linear Mltipla - Estimao

Mtodo dos Mnimos Quadrados

PTC Proprietary Do not reproduce without permission 2003 PTC

Regresso Linear Mltipla - Estimao

PTC Proprietary Do not reproduce without permission 2003 PTC

Regresso Linear Mltipla

PTC Proprietary Do not reproduce without permission 2003 PTC

Regresso Linear Mltipla

0 o intercepto ou interseco do plano. 1 e 2, chamados de coeficientes

PTC Proprietary Do not reproduce without permission 2003 PTC

Regresso Linear Mltipla

PTC Proprietary Do not reproduce without permission 2003 PTC

Regresso Linear Mltipla

PTC Proprietary Do not reproduce without permission 2003 PTC

Regresso Linear Mltipla

PTC Proprietary Do not reproduce without permission 2003 PTC

Regresso Linear Mltipla

PTC Proprietary Do not reproduce without permission 2003 PTC

PTC Proprietary Do not reproduce without permission 2003 PTC

PTC Proprietary Do not reproduce without permission 2003 PTC

Veja contas feitas manualmente na pgina 300.

PTC Proprietary Do not reproduce without permission 2003 PTC

Propriedades dos estimadores

PTC Proprietary Do not reproduce without permission 2003 PTC

PTC Proprietary Do not reproduce without permission 2003 PTC

PTC Proprietary Do not reproduce without permission 2003 PTC

PTC Proprietary Do not reproduce without permission 2003 PTC

Anova na anlise de regresso mltipla

O p representa o total de variveis explicativas no modelo.

PTC Proprietary Do not reproduce without permission 2003 PTC

Anova na anlise de regresso mltipla

Teste para a Significncia da Regresso

PTC Proprietary Do not reproduce without permission 2003 PTC

Anova na anlise de regresso mltipla

PTC Proprietary Do not reproduce without permission 2003 PTC

Teste para a significncia da Regresso

PTC Proprietary Do not reproduce without permission 2003 PTC

Anova na anlise de regresso mltipla

PTC Proprietary Do not reproduce without permission 2003 PTC

Anova na anlise de regresso mltipla

PTC Proprietary Do not reproduce without permission 2003 PTC

Anova na anlise de regresso mltipla

PTC Proprietary Do not reproduce without permission 2003 PTC

Anova na anlise de regresso mltipla

PTC Proprietary Do not reproduce without permission 2003 PTC

Testes para os Coeficientes Individuais de Regresso

Estamos frequentemente interessados em testar hipteses para os coeficientes

PTC Proprietary Do not reproduce without permission 2003 PTC

Testes para os Coeficientes Individuais de Regresso

PTC Proprietary Do not reproduce without permission 2003 PTC

Testes para os Coeficientes Individuais de Regresso

Rejeitamos H0 e conclumos que a varivel x2 (altura da garra) contribui

PTC Proprietary Do not reproduce without permission 2003 PTC

Testes para os Coeficientes Individuais de Regresso

Para realizar o teste de hiptese do exemplo 12.5, utilizaramos algumas informaes

PTC Proprietary Do not reproduce without permission 2003 PTC