Documente Academic
Documente Profesional
Documente Cultură
BIOMETRÍA AVANZADA
Notas de clase
2018
Estas notas complementan el material del libro de texto del curso AGRO 6600, Facultad
de Ciencias Agrícolas, Recinto Universitario de Mayagüez, Universidad de Puerto Rico
1
Contenidos
2
1. Introducción y repaso de notación del análisis de varianza
Cuando planeamos un estudio científico podemos realizar un experimento o un estudio
observacional. En el experimento nosotros decidimos qué tratamiento recibe cada unidad,
mientras que en el estudio observacional el tratamiento ya viene asignado a la unidad. Esto
implica que en el experimento podemos hablar con mayor confianza de “causa-efecto”,
mientras que en el estudio observacional es más difícil estar seguros de que nuestro
tratamiento es la causa de lo que estamos observando.
Consideremos este ejemplo (estudiado en el curso anterior) en el que nos interesa comparar
el contenido de almidón en tallos de tomate bajo 3 regímenes diferentes de fertilización:
La notación que usaremos será la siguiente: tenemos t tratamientos (en este caso t 3 ),
cada uno con ni repeticiones (en este caso n1 6, n2 5 y n3 4 ).
i i ni n
SCDentro=SCResidual=SCError=SCRes Yij Yi SCTot-SCTrat
2
i, j
2
SCTot Yij2
Y 2
3062 200 395.3333
i, j
n 15
1
Yi2 Y2 1112 602 292 2002
SCTrat 317.0833
i ni n 6 5 4 15
SCRes SCTot-SCTrat=78.2500
H 0 : 1 2 ... t
H a : al menos una i es diferente
2
2. Diseños completamente aleatorizados y en bloques completos
aleatorizados
El análisis de la varianza discutido anteriormente requiere independencia de todas
las observaciones. En un experimento, esto se logra realizando una aleatorización completa
de los tratamientos a las unidades experimentales (es decir, cada unidad experimental tiene
la misma probabilidad de recibir cualquiera de los tratamientos, independientemente del
tratamiento asignado a unidades vecinas). Este diseño se llama “completamente
aleatorizado” (DCA). La versión observacional análoga consiste en tomar muestras
aleatorias de cada uno de los grupos o poblaciones.
Cuando las unidades no son homogéneas pero pueden agruparse en grupos de unidades
homogéneas existe otro diseño, que es la generalización del diseño pareado para comparar
dos grupos: el diseño en bloques completos aleatorizados (DBCA). Un “bloque” es un
conjunto de unidades experimentales homogéneas (es decir, parecidas entre sí). Este diseño
consiste en asignar los tratamientos aleatoriamente dentro de cada bloque de manera tal
que cada tratamiento que representado una vez en cada bloque. De esta manera
garantizamos que todos los tratamientos estarán representados en todos los bloques, y que
las comparaciones estarán libres de las diferencias entre bloques (el mismo efecto que
lográbamos con el diseño pareado). Para que este efecto del DBCA sea útil en reducir la
variabilidad necesitamos que haya diferencias entre los bloques y dentro de cada bloque
las unidades sean homogéneas.
3
La notación que usaremos será la misma que para el DCA: tenemos t tratamientos, cada
uno con n repeticiones (=bloques). En este caso Yij denota la observación del i ésimo
tratamiento en el bloque j. Ahora tendremos una fuente adicional de variabi-lidad: los
bloques. Las sumas de cuadrados se calculan de la siguiente manera:
i, j
4
3. Supuestos del análisis de la varianza
Para que las conclusiones obtenidas de un análisis de varianza sean válidas se deben
satisfacer ciertas condiciones (supuestos). En la práctica nunca estamos seguros que estas
condiciones se satisfacen en un problema dado, pero usando los datos observados podemos
verificar (aproximadamente) si los supuestos se cumplen o no.
Los modelos lineales para ANOVA que hemos estudiado pueden verse como casos
especiales del modelo:
Yij ij ij
donde ij representa la media de la observación ij-ésima (por ejemplo en un DCA media
general, ij i ) y ij el error experimental (o “efecto” de la ij-ésima unidad
experimental, o efecto “ambiental”).
5
Para obtener residuos en InfoStat debemos marcar en las opciones del análisis de varianza
“Guardar Residuos”, “Guardar Predichos”, “Guardar Residuos Estudentizados”, y
“Guardar Abs(Residuos)”. Los residuos son los definidos anteriormente, y dependen, por
supuesto, del diseño experimental usado. Los valores predichos son Yˆij , los residuos
estudentizados son los residuos divididos por su desviación estándar (como siempre tienen
media 0, es una forma de estandarizarlos), y los abs(residuos) son los valores absolutos de
los residuos (recordemos que hay residuos positivos y negativos). Al seleccionar estas
opciones, se generarán nuevas columnas en los datos incluyendo estos valores.
Una vez que tenemos los residuales podemos graficarlos mediante histogramas o el Q-Q
plot. Mediante este último gráfico, si los residuos son normales (y por lo tanto, los errores
lo son), se grafican los valores de los residuos (o residuos estudentizados) versus los valores
teóricos que esperaríamos si la distribución fuese normal. Si la distribución es normal,
entonces observaríamos los puntos alineados en una recta. Si hay problemas, entonces los
puntos no se verán sobre la recta.
6
270
Residuos Observados
135
-135
-270
-270 -135 0 135 270
Cuantiles de una Normal
Shapiro-Wilks (modificado)
7
Ejemplo con varianzas heterogéneas
70
Ejemplo con varianzas homogéneas
300
35
RDUO_Rendimiento
150
RDUO_PN
0
0
-35
-150
-70
18 31 44 57 70 -300
PRED_PN 1750.0 2187.5 2625.0 3062.5 3500.0
PRED_Rendimiento
Para este supuesto también se pueden realizar pruebas específicas. Entre las pruebas formales para
verificar este supuesto tenemos la prueba de Hartley ( Fmax ), Levene, etc. Estas pruebas contrastan la
hipótesis nula H 0 : 12 22 ... t2 con una alternativa general (“las varianzas no son iguales”).
Ver en la sección 7.4 del libro de Ott los detalles de estas pruebas.
La prueba de Levene consiste en realizar un análisis de varianza con el mismo modelo del original,
pero usando como variable dependiente (Y) a los valores absolutos de los residuales. Es la única
prueba que podemos aplicar en todos los diseños que estudiaremos en este curso.
La prueba de Fmax consiste en realizar el cociente entre las varianzas máxima y mínima, compa-
rando este cociente con un valor tabular (Tabla 12 en el libro). Solamente es válida para datos
provenientes de un DCA. Si el valor de Fmax es mayor que el valor tabular, la hipótesis nula se
rechaza (es decir, el supuesto no se cumple).
Si se detecta que los supuestos no se cumplen algunas medidas comúnmente usadas son la
transformación de datos, el análisis parcial (por ejemplo comparando sólo algunos de los
tratamientos) y el uso de otros métodos específicamente diseñados para el problema particular (por
ejemplo, métodos no paramétricos)
La transformación logarítmica, Y log Y o Y log(Y 1) , se usa para datos que exhiben efectos
multiplicativos (una forma de falta de aditividad) o cuyas varianzas son proporcionales al cuadrado
de las medias.
8
La transformación raíz cuadrada, Y Y o Y Y 0.5 , se usa para datos con varianzas que
cambian proporcionalmente a la media, como es frecuentemente el caso de recuentos de insectos u
otros organismos.
La transformación arco seno, Y arcsen Y , se usa para datos expresados como porcentajes. Los
porcentajes deben estar basados en un denominador común (por ejemplo, porcentaje de germinación
calculado a partir de 50 semillas bajo distintos tratamientos). Si todos los datos están entre el 30 y el
70% esta transformación no es necesaria.
Para presentar resultados de análisis con datos transformados, todas las tablas estadísticas deben
mostrar los análisis con los datos transformados. Además, se pueden agregar las medias y los límites
de confianza retransformados a la escala original. Las varianzas, errores estándar y coeficientes de
variación no se deben retransformar a la escala original.
Para el análisis de varianza, el libro de texto presenta algunas gráficas (Tabla 14) de valores de
potencia (1 ) para distintos tamaños muestrales y efectos de tratamiento. El efecto de
tratamiento se define como
n i2
t 2
Se puede observar que se deben formular todos los valores de i
i . Para simplificar, se
puede usar una forma equivalente en la que solamente se indica la alternativa de tener al menos un
par de medias que son diferentes en D unidades (es decir, D es la diferencia mínima que se desea
detectar con una potencia (1 ) dada:
nD 2
2t 2
9
En InfoStat, se pueden usar el menú “Cálculo del tamaño muestral” para dos muestras
independientes y para análisis de varianza.
10
211.52
Para usar la Tabla 14, observemos que 1.72 , por lo que la potencia es
2 4 2
aproximadamente 0.81:
11
5. Comparaciones múltiples
Recordemos que la hipótesis alternativa general del análisis de la varianza es “al menos
una de las medias es diferente”. Cuando rechazamos la hipótesis nula estamos concluyendo
que hay diferencias, pero no sabemos exactamente cuáles de las medias son diferentes. Una
forma de responder a esta pregunta es planteando las siguientes hipótesis:
H 0 : 1 2 ; H 0 : 1 3 ; H 0 : 1 4 ; ... H 0 : 3 4
Para probar cada una de estas hipótesis podemos usar un estadístico t para dos muestras
independientes. Por ejemplo, para la primera,
Y Y
t 1 2
s p n11 n12
El problema de este enfoque es que se están realizando múltiples inferencias sobre los
mismos datos, por lo que los errores de tipo I de cada una de las pruebas pueden
acumularse. Es decir, para todo el experimento, la probabilidad de rechazar al menos una
de estas hipótesis erróneamente va a ser mayor del 5%. En otras palabras, podemos
detectar diferencias que no existen con mucha mayor frecuencia de lo esperado.
Cuando los tamaños de muestra son iguales, esta prueba se simplifica. Vamos a declarar
una diferencia significativa si t t 2 :
Yi Y j Yi Y j 2CME
t o Yi Y j t DMS
sp 1
ni n1j 2CME 2 2 n
n
2CME
Si definimos DMS t , estaremos declarando la diferencia significativa si
2 n
Yi Y j DMS . Podemos observar que este caso la diferencia mínima significativa es la
misma para todas las comparaciones.
12
2. El siguiente paso es ordenar las medias de mayor a menor:
Tratamiento 1 2 5 3 4
Media 52.925 42.025 37.700 34.150 21.975
3. Ahora calculamos todas las diferencias, empezando por la más grande. Observemos
que si una diferencia es menor que DMS, todas las más pequeñas también lo serán.
52.925-21.975=30.95 >DMS
52.925-34.150=18.775 >DMS
52.925-37.700=15.225 >DMS
52.925-42.025=10.90 >DMS
42.025-21.975=7.785 >DMS
42.025-34.150=7.785 >DMS
42.025-37.700=4.325 <DMS
37.700-21.175=15.725 >DMS
37.700-34.150=3.55 <DMS
34.150-21.975=12.175 >DMS
4. Por último ponemos letras iguales a las medias que no son significativamente
diferentes:
Tratamiento 1 2 5 3 4
Media 52.925 a 42.025 b 37.700 bc 34.150 c 21.975 d
Tratamiento Y
Trat. 3 35.7
Trat. 1 34.0
Trat. 5 33.9
Trat. 4 25.1
Trat. 2 24.7
Trat. 6 22.8
a. El primer paso va a ser comparar la media del tratamiento 3 con todas las que le siguen
(es decir, Y3 con Y1 , Y3 con Y5 , Y3 con Y4 , Y3 con Y2 , Y3 con Y6 ). Vamos a conectar con
una línea las medias que no son significativamente diferentes (es decir, aquéllas cuya
diferencia sea menor que DMS)
13
Tratamiento Y
Trat. 3 35.7
Trat. 1 34.0
Trat. 5 33.9
Trat. 4 25.1
Trat. 2 24.7
Trat. 6 22.8
b. Ahora compararemos Y1 con todas las medias que le siguen, y conectaremos con líneas
las medias que no son significativamente diferentes de Y1 :
Tratamiento Y
Trat. 3 35.7
Trat. 1 34.0
Trat. 5 33.9
Trat. 4 25.1
Trat. 2 24.7
Trat. 6 22.8
c. Cuando seguimos el proceso para Y5 , observamos que la media que le sigue, Y4 , tiene
una diferencia mayor que DMS, y por lo tanto no podemos poner una línea que una Y5
con una media que está más abajo.
Tratamiento Y
Trat. 3 35.7
Trat. 1 34.0
Trat. 5 33.9
Trat. 4 25.1
Trat. 2 24.7
Trat. 6 22.8
e. Observar que hay una línea (uniendo las medias 1 y 5) que está de más, ya que las
medias 1 y 5 ya aparecen unidas por la línea que va desde la media 3 hasta la media 5.
Por lo tanto, eliminamos la línea redundante.
Tratamiento Y
Trat. 3 35.7
Trat. 1 34.0
Trat. 5 33.9
14
Trat. 4 25.1
Trat. 2 24.7
Trat. 6 22.8
f. Ahora podemos dejar las líneas, o cambiar las líneas por letras iguales:
Tratamiento Y
Trat. 3 35.7 a
Trat. 1 34.0 a
Trat. 5 33.9 a
Trat. 4 25.1 b
Trat. 2 24.7 bc
Trat. 6 22.8 c
g. Se debe observar que las medias que no están unidas por líneas verticales (o la misma
letra) son significativamente diferentes entre sí.
Por otro lado, si consideramos a todas las comparaciones posibles como una sola hipótesis,
entonces realizar error de tipo I es decir que por lo menos un par de medias es diferente
cuando todas las medias son iguales. La probabilidad de cometer el error de tipo I para
todas las comparaciones en conjunto se denomina “tasa de error por experimento”, E .
15
Comparaciones
Simulación
A vs. B A vs. C B vs. C
1 NS NS NS
2 * NS NS
3 NS NS NS
4 NS * *
5 NS NS NS
6 * NS NS
7 NS NS NS
8 * * *
9 NS * NS
10 NS NS NS
11 NS NS NS
12 NS NS NS
13 NS NS *
14 NS NS NS
15 NS NS NS
16 NS NS NS
17 NS NS NS
18 NS * *
19 NS NS NS
20 NS NS NS
Por otro lado, observamos que hay 20 “experimentos”, y hemos cometido error de tipo I
en 7 de ellos. Por lo tanto la tasa de error por experimento es 0.35.
Con el objeto de controlar la tasa de error para todo el experimento (es decir, todas las
comparaciones), se pueden aplicar modificaciones a la prueba de DMS. La más sencilla
consiste en corregir el nivel de significancia de la prueba para tener en cuenta la
multiplicidad de comparaciones que se están realizando. Si llamamos I al nivel de
significancia para una comparación individual (que es el que consideramos en DMS), y E
16
al nivel de significancia para todo el experimento (que es lo que querríamos controlar para
no declarar demasiadas diferencias significativas falsamente), la desigualdad de Bonferroni
nos dice que E m I , donde m es el número de comparaciones que nos interesa realizar
en todo el experimento. Para todos los pares posibles, m t (t 1) / 2 . Por lo tanto, si
queremos que la tasa de error para todo el experimento no sea mayor de 0.05 , por
ejemplo, si hay t=5 tratamientos podemos realizar una prueba de DMS usando un nivel de
significancia igual a / m 0.05 /10 0.005 . Es decir, la fórmula de DMS para la prueba
de Bonferroni ahora es
2CME 2CME
BON=t t0.0025
2m n n
Prueba de Tukey
La prueba de Tukey se desarrolla con esta idea en mente, y consiste en usar un nivel
crítico mayor que el DMS. Este valor crítico es
CME
W q (t , ) ,
n
donde q (t , ) se busca en la tabla 10 del libro con t tratamientos y grados de libertad
en el cuadrado medio del error. Si los tamaños de muestra son desiguales, el método se
llama prueba de Tukey-Kramer y el valor crítico es
CME 1 1
Wij q (t , ) .
2 ni n j
CME 26.3395
W q (t , ) 4.37 11.21
n 4
52.925-21.975=30.95 >W
52.925-34.150=18.775 >W
17
52.925-37.700=15.225 >W
52.925-42.025=10.90 <W
42.025-21.975=20.05 >W
42.025-34.150=7.785 <W
42.025-37.700=4.325 <W
37.700-21.175=15.725 >W
37.700-34.150=3.55 <W
34.150-21.975=12.175 >W
Tratamiento 1 2 5 3 4
Media 52.925 a 42.025 ab 37.700 b 34.150 b 21.975 c
Como podemos apreciar, esta prueba es más conservadora que DMS (encuentra menos
diferencias significativas).
Para realizar comparaciones múltiples en SAS, debemos usar el comando MEANS. Por
ejemplo, para los datos del ejercicio 2 (laboratorio 2),
proc glm;
class bloque tratam;
model plantas = bloque tratam;
means tratam / lsd;
means tratam / bon;
means tratam / tukey;
run;
18
Class Level Information
Bloque 4 1234
Alpha 0.05
A 87.250 4 tratB
B 80.000 4 tratC
C 57.500 4 tratA
19
Bonferroni (Dunn) t Tests for plantas
Note: This test controls the Type I experimentwise error rate, but it generally has a higher Type
II error rate than REGWQ.
Alpha 0.05
A 87.250 4 tratB
B 80.000 4 tratC
C 57.500 4 tratA
Alpha 0.05
A 87.250 4 tratB
B 80.000 4 tratC
C 57.500 4 tratA
20
Intervalos de confianza para medias y diferencias de medias en ANOVA
Para reportar las medias luego de realizar un ANOVA podemos usar un gráfico de barras
(que se genera opcionalmente en InfoStat), e incluir límites de confianza para las medias
(o errores estándar para las medias). Las fórmulas estudiadas anteriormente usando la
tabla t se podrían aplicar aquí:
Y t 2 s .
n
Como hemos hecho para el cálculo del DMS, el mejor estimador que tenemos de la
desviación estándar poblacional es (bajo el supuesto que las varianzas son iguales),
CME
Este estimador tiene los grados de libertad del error. Por lo tanto, el intervalo de
confianza para una media de tratamiento es
CME
Y t 2
n
Recordar que en esta fórmula n representa la cantidad de observaciones en la media
específica (cantidad de repeticiones), y no la cantidad total de observaciones en todo el
experimento. Los grados de libertad para el valor tabular de t son los grados de libertad
del error.
2CME
Yi Y j t /2
n
Observar que el término que se suma y resta en esta fórmula es DMS, por lo que el
intervalo de confianza para la diferencia de dos medias es:
Yi Y j DMS
Si este intervalo incluye el valor de cero, las dos medias correspondientes no son
significativamente diferentes. Esto es lo que hemos usado cuando estudiamos la prueba
de DMS: si la diferencia de dos medias es menor que DMS, esas medias no son
significativamente diferentes. El intervalo va a incluir 0 si y solo si la diferencia de las
dos medias es menor que DMS.
21
6. Contrastes
Si los tratamientos tienen una estructura dada (no son simplemente 5 variedades, por
ejemplo), existen otras hipótesis que pueden resultar de mucho más interés que las que
probamos con DMS. Éstas pueden escribirse como combinaciones lineales de medias. Por
ejemplo,
L ci i
Las ci son los coeficientes de la combinación lineal. Un contraste se define como una
combinación lineal con ci 0. Por ejemplo supongamos que estamos probando las
siguientes 5 dietas en pavos:
Grupo Dieta
1 Control
2 Nivel 1, suplemento A
3 Nivel 2, suplemento A
4 Nivel 1, suplemento B
5 Nivel 2, suplemento B
Lˆ ci ˆ i ci Yi Y ciYi
2
ˆ
var L ci var Yi ci
ˆ 2
ˆ
ˆ2
ni
ci2
CME
ni
22
Lˆ Lˆ
H 0 : L 0, H a : L 0 t , rechazamos H 0 cuando t t 2; dfe .
s.e. Lˆ CME
c n
2
i
i
Debemos observar que el numerador tiene 1 grado de libertad, y por lo tanto la suma de
cuadrados es igual al cuadrado medio.
El método que hemos presentado, basado en la prueba t o F, controla la tasa de error por
comparación (igual que el DMS). Esto es porque está diseñado para contrastes
individuales. Si cada uno de los contrastes está diseñado para responder a una pregunta
“separada”, el método de t o F también puede usarse y la acumulación de errores no será
tan importante. Matemáticamente estos contrastes se denominan “ortogonales”. Dos
contrastes L1 ai i y L2 bi i son ortogonales si ai bi 0 . Un conjunto de
contrastes es ortogonal si todos los pares posibles de contrastes son ortogonales entre sí. Si
tenemos t tratamientos, no podemos tener más de t 1 contrastes ortogonales en un
conjunto dado (los grados de libertad de tratamientos). En el ejemplo de los pavos un
conjunto ortogonal de interés podría ser
Grupo L1 L2 L3 L4
1 4 0 0 0
2 -1 1 0 1
3 -1 -1 0 1
4 -1 0 1 -1
5 -1 0 -1 -1
Observar que L1 compara la dieta control con el promedio de las otras, L2 compara los dos
niveles del suplemento A, L3 compara los dos niveles del suplemento B, y L4 compara el
promedio de las dos formulaciones de A con el promedio de las dos formulaciones de B.
23
En resumen, si tenemos más de un contraste “a priori”, podemos usar contrastes
ortogonales y probarlos con una prueba t o F. Si no tenemos un conjunto ortogonal de
interés, podemos seguir usando las pruebas t o F, pero los niveles de significación deberán
dividirse por m, la cantidad de contrastes a priori de interés (prueba de Bonferroni).
Si tenemos muchos contrastes no ortogonales “a priori” (lo que hará que Bonferroni sea
muy ineficiente) o si tenemos contrastes “a posteriori” podemos usar un procedimiento que
controla la tasa de error por experimento: la prueba de Scheffé.
Prueba de Scheffé
Este procedimiento puede usarse para cualquier contraste, ya que controla la tasa de error
para todos los contrastes posibles, sean estos sugeridos por los datos, ortogonales, no
ortogonales, de a pares, etc. Dado que es una prueba tan general, tiende a ser muy
conservadora (por ejemplo, casi nunca se la usa para comparaciones de a pares, que son un
caso particular de contrastes a priori no ortogonales).
Rechazar H 0 si F (t 1) F ; t 1,dfe
donde t es el número de tratamientos usados. (El texto presenta una versión equivalente de
la prueba de Scheffé que usa el estadístico t, no el estadístico F)
Para realizar pruebas F en contrastes podemos usar Infostat o SAS. En Infostat debemos
abrir la ventana de contrastes, indicando los tratamientos y los coeficientes. Opcional-
mente podemos solicitar que se verifique la ortogonalidad de los contrastes. Para el ejemplo
de las dietas de pavos,
Se debe destacar que el usuario debe decidir de antemano qué prueba va a realizar:
1. Si es una prueba F sin ninguna corrección por contrastes múltiples,
Rechazar H 0 si p
24
Contrastes
Tratamiento SC gl CM F valor p
Contraste1 3060357.61 1 3060357.61 118.57 <0.0001
Contraste2 450300.50 1 450300.50 17.45 0.0013
Contraste3 41616.13 1 41616.13 1.61 0.2282
Contraste4 739170.06 1 739170.06 28.64 0.0002
Total 4291444.30 4 1072861.08 41.57 <0.0001
25
7. Diseño de cuadrado latino
Analista
Día 1 2 3 4
L Trat A Trat A Trat B Trat A
Ma Trat C Trat B Trat C Trat C
Mi Trat D Trat D Trat A Trat B
J Trat B Trat C Trat D Trat D
Podemos ver que si hubiese un efecto de día (por ejemplo, los lunes no son tan confiables
como los miércoles), entonces algunos tratamientos pueden verse afectados (por ejemplo,
el A aparece 3 veces en lunes). Para evitar esto podríamos hacer que cada día también sea
un bloque completo (es decir, que todos los tratamientos estén representados). Un posible
arreglo de tratamientos sería:
Analista
Día 1 2 3 4
L Trat A Trat D Trat B Trat C
Ma Trat C Trat B Trat D Trat A
Mi Trat D Trat C Trat A Trat B
J Trat B Trat A Trat C Trat D
Este diseño se denomina cuadrado latino, y tiene la ventaja de controlar dos fuentes de
variación (en nuestro ejemplo el analista y el día). Es bastante rígido, ya que requiere, para
t tratamientos, t filas y t columnas. Su principal desventaja es que las diferencias entre los
tratamientos no deben estar afectadas por las filas o las columnas (es decir, si el tratamiento
A es mejor que el B, debe serlo en los 4 analistas). La forma más común de aleatorizar los
tratamientos es eligiendo al azar de una tabla de cuadrados latinos uno del tamaño deseado
(o armar uno en forma no aleatoria), y después aleatorizar los números de filas, los números
de columnas y los números de tratamientos.
La notación que usaremos será la misma que para el DBCA: tenemos t tratamientos,
Yijk denota la observación del i ésimo tratamiento en la fila j y la columna k .
26
Ahora tendremos dos fuentes adicionales de variabilidad: las filas y las columnas. Las
sumas de cuadrados se calculan de la siguiente manera:
SCTotal=SCTot Yijk Y Yijk2 Y 2
2 2
t
Yi2 Y
2
SCTratamientos=SCTrat t Yi Y
2
2
i i t t
2 2
SCFilas= t Y j Y
2 Y
j Y
2
j j t t
Y2 k Y
2
SCColumnas= t Yk Y
2
2
k k t t
SCResidual=SCError=SCRes SCTot-SCTrat-SCFilas-SCCol
Las hipótesis que probamos, los supuestos y los métodos de comparaciones múltiples se
aplican de la misma manera que lo que hemos estudiado para DCA y DBCA.
Ejemplo: Éste es el ejercicio 15.8 del libro de Ott (leer la descripción del mismo allí).
27
Class Level Information
fila 4 1234
col 4 1234
trat 4 1234
Para analizar los mismo datos en Infostat debemos seleccionar fila, columna y tratam
como variables de clasificación:
28
29
8. Experimentos factoriales con dos factores
Existen muchas situaciones en las que los tratamientos representan combinaciones de dos
o más variables independientes (=factores). Por ejemplo, supongamos que queremos
estudiar el efecto de dos factores: la presencia (o ausencia) de antibiótico y la presencia (o
ausencia) de vitamina B12 en la dieta de cerdos. Si combinamos los dos niveles de
antibiótico (0mg, 40mg) con los dos niveles de B12 (0mg, 5mg), tendremos cuatro
tratamientos:
Supongamos que aplicamos cada uno de estos cuatro tratamientos a 5 cerdos, según un
diseño completamente aleatorizado, y registramos el aumento de peso en cada uno.
Por ahora, supongamos que conocemos el aumento promedio verdadero (poblacional) para
cerdos en los tres primeros tratamientos. ¿Sería posible predecir el promedio del cuarto
tratamiento?
Por una parte observamos que al pasar de 0 a 40 de antibiótico sin vitamina B12 el aumento
del promedio es 5. Si podríamos suponer que ese efecto positivo del antibiótico en ausencia
de B12 es el mismo que el efecto que el antibiótico tendría en presencia de B12, entonces
4 3 5 50.
Resumiendo, bajo el supuesto que el efecto de un factor es el mismo en ambos niveles del
otro factor, podemos calcular una media dadas las otras 3. Cuando esto sucede decimos
que los efectos son aditivos (podemos sumarlos) y no sería necesario probar los cuatro
tratamientos (con tres sería suficiente).
Ahora supongamos que esto no se cumple, sino que 4 60 (por ejemplo debido a que la
presencia de ambos suplementos es más beneficiosa que la presencia de uno de ellos por
separado). En este caso sí necesitamos estudiar las cuatro combinaciones, y no podemos
30
prescindir de ninguna. Cuando esto sucede decimos que los efectos no son aditivos sino
que existe interacción entre los factores. Gráficamente,
Efectos Aditivos
55
50
Media 45 B12=0
40
35 B12=5
30
25
20
0 10 20 30 40
Antibiótico
60
55
50
Media
45 B12=0
40
35 B12=5
30
25
20
0 10 20 30 40
Antibiótico
31
12 11 1 2 1 1 2 1
22 21 2 2 2 1 2 1
Si hubiese interacción esta igualdad no se cumpliría. Por lo tanto, el término ij
representa la interacción entre ambos factores. Los términos i y j representan los
efectos “principales” del primer y segundo factor respectivamente. Estos efectos
principales pueden interpretarse como el efecto de un factor promediado sobre todos los
niveles del otro factor (ya discutiremos este concepto más adelante).
Para armar nuestra tabla de ANOVA supongamos que el primer factor lo llamamos A, y
este factor tiene a niveles. Similarmente, el factor B tiene b niveles, y tenemos n
observaciones por tratamiento (combinación de niveles de A y B).
nab
Yi2 Y
2
SCA bn Yi Y
2
i i bn abn
2 2
SCB= an Y j Y
Y j Y
2
j j an abn
2
Y Yij2
SCAB=SCTratamientos-SCA-SCB= SCA SCB
n nab
SCResidual=SCError=SCRes SCTot-SCA-SCB-SCAB
32
Las hipótesis que probamos son tres:
La primera hipótesis que debemos probar siempre es si hay o no hay interacción. Si hay
interacción, las hipótesis de efectos principales no tienen demasiado sentido y por lo tanto
no deberíamos interpretarlas (excepto bajo ciertas circunstancias).
Vamos a ver nuevamente el ejemplo presentado antes (factorial 2x2) para entender mejor
los conceptos de efectos principales e interacciones. Supongamos que observamos tres
cerdos en cada tratamiento (DCA) y observamos la ganancia diaria de peso:
Bajo el nivel 0 de antibiótico (factor A) podemos estimar el efecto simple del factor B:
Y12 Y11 1.22 1.19 0.03
Similarmente el efecto simple del factor B cuando el factor A está en su segundo nivel se
estima como:
Y22 Y21 1.54 1.03 0.51
El efecto principal del factor B es el promedio de estos dos efectos simples, y es también
la diferencia entre las medias de los niveles de B:
.51 .03
Y2 Y1 0.27
2
Si los efectos simples no son significativamente diferentes, entonces sí tiene sentido
promediarlos para obtener el efecto principal. Pero si los efectos simple son
significativamente diferentes, entonces estamos en presencia de interacción y no tendría
sentido promediarlos. Por lo tanto, la interacción puede estimarse mediante la diferencia
de los efectos simples:
Interacción: Y22 Y21 Y12 Y11 0.51 0.03 0.48
Como ejercicio, calcular los efectos simples y principal del factor A. Verificar que usando
estos efectos simples la interacción es la misma. (Esto tiene sentido, ya que la interacción
es un concepto que comprende los dos factores.)
33
34
El programa SAS para este ejemplo sigue a continuación.
data cerdos;
input tratam antib vitb12 ganpeso;
datalines;
1 0 0 1.30
1 0 0 1.19
1 0 0 1.08
2 40 0 1.05
2 40 0 1.00
2 40 0 1.05
3 0 5 1.26
3 0 5 1.21
3 0 5 1.19
4 40 5 1.52
4 40 5 1.56
4 40 5 1.55
proc glm;
class antib vitb12;
model ganpeso = antib vitb12 antib*vitb12;
run;
antib 2 0 40
vitb12 2 05
35
Otra manera de ver este problema es mediante contrastes. Olvidándonos por un momento
de los dos factores, nosotros tenemos aquí un DCA con 4 tratamientos. Mediante contrastes
apropiados podemos probar las mismas hipótesis (además podríamos escribir contrastes
para efectos simples de ser necesario):
proc glm;
class tratam;
model ganpeso = tratam;
contrast 'Ef. ppal. A' tratam -1 1 -1 1;
contrast 'Ef. ppal. B' tratam -1 -1 1 1;
contrast 'Interac. AB' tratam 1 -1 -1 1;
run;
tratam 4 1234
36
Interacción ordenada y no ordenada
Interacción Ordenada
50
40 B=1
Media
30
B=2
20
10 B=3
0
0 1 2 3 4 5
Interacción No Ordenada
25
20 B=1
Media
15
B=2
10
5 B=3
0
0 1 2 3 4 5
37
Pruebas de comparaciones múltiples, contrastes, intervalos de confianza, etc.
Para realizar comparaciones o contrastes podemos hacerlo con dos tipos de medias:
1. las medias de niveles de cada factor. Por ejemplo, 1 2 es la diferencia entre
el primer nivel de A y el segundo nivel de A. Es un efecto principal.
2. las medias de tratamientos (combinaciones de niveles niveles de cada factor). Por
ejemplo, 12 11 es la diferencia entre el primer nivel de B y el segundo nivel de
B cuando el factor A está en su primer nivel. Es un efecto simple.
Las medias de niveles de cada factor se calculan a partir de más observaciones que las
medias de tratamientos, por lo que las fórmulas que hemos estudiado deben corregirse
apropiadamente. En el ejemplo de los cerdos, para calcular ˆ1 Y1 debemos promediar
bn 2 3 6 observaciones; mientras que para calcular ˆ12 Y12 debemos promediar
n 3 observaciones. Esto hace que los errores estándar de las diferencias dependan de qué
tipo de media estamos considerando. Por ejemplo,
38
9. Experimentos factoriales con tres o más factores
Para experimentos con tres o más factores las ideas básicas del análisis son las mismas que
para dos factores, aunque todo se complica por la existencia de interacciones dobles,
triples, etc. Veamos con un ejemplo qué significaría cada uno de los efectos e interacciones
en un factorial 2x2x2. Por ejemplo, supongamos que queremos estudiar el efecto de la
presencia (o ausencia) de antibiótico, la presencia (o ausencia) de vitamina B12 y el sexo
en la dieta de cerdos. Si combinamos los dos niveles de antibiótico (0mg, 40mg) con los
dos niveles de B12 (0mg, 5mg), y los dos sexos tendremos ocho tratamientos:
Supongamos que aplicamos cada uno de estos ocho tratamientos a 5 cerdos, según un
diseño completamente aleatorizado, y registramos el aumento de peso en cada uno.
Debemos observar que ahora tenemos tres efectos principales, tres interacciones dobles y
una interacción triple. Los efectos principales tienen la misma interpretación que antes:
representan las comparaciones entre niveles de un factor promediadas sobre los niveles de
los otros dos factores. Por ejemplo, el efecto principal de sexo es la comparación entre los
4 tratamientos con nivel 1 de sexo (trat. 1-4) y los 4 tratamientos con nivel 2 de sexo (trat.
5-8).
Las interacciones dobles son comparaciones entre las diferencias de niveles de un factor
en cada nivel del otro promediadas sobre los niveles del factor no incluido en la interacción.
Por ejemplo, la interacción doble entre antibiótico y vitamina es la siguiente comparación:
111 112 121 122 211 212 221 222
2 2 2 2
Observar que los niveles de sexo (tercer índice) están promediados, ya que la interacción
considerada es entre antibiótico y vitamina.
La interacción triple se puede interpretar como que la interacción doble entre dos de los
factores en un nivel dado del factor restante no es la misma que la interacción doble en el
39
otro nivel del factor restante. Por ejemplo, la interacción triple podría interpretarse como
que la interacción entre el antibiótico y la vitamina no es la misma en machos que en
hembras:
111 121 211 221 112 122 212 222
Para armar nuestra tabla de ANOVA supongamos que el primer factor lo llamamos A, y
este factor tiene a niveles. Similarmente, el factor B tiene b niveles, el factor C tiene c
niveles y tenemos n observaciones por tratamiento (combinación de niveles de A, B y C).
Las fórmulas para las sumas de cuadrados pueden consultarse en la página 907 del texto.
La siguiente es la tabla de ANOVA:
40
La estrategia general para analizar esta tabla es la misma que para factoriales con dos
factores: empezar a probar la interacción de mayor orden, seguir con las dobles de acuerdo
al resultado de la prueba de la interacción triple, etc. Un diagrama que nos puede ayudar
en esto es el siguiente (ver página 909 en Ott & Longnecker, 2008):
41
10. Modelos de efectos aleatorios y mixtos
Supongamos que nos interesa
estudiar si hay diferencias en calidad
según la variedad en semillas de trigo
que vende cierta compañía. Para este
estudio elegimos al azar 5 variedades
(de entre las 40 variedades
disponibles) y de cada variedad
elegimos 10 muestras al azar de 50
semillas cada una, en las que
medimos el porcentaje de
germinación, peso, densidad, etc.
Para este problema, el modelo para cada una de las variables dependientes es
Yij i ij
El modelo parece ser idéntico al modelo de un DCA que hemos estudiado antes. Como en
previos modelos,quí i representa el efecto de tratamiento (la variedad) y ij el error. La
principal diferencia es que el efecto de la variedad en este modelo es aleatorio. Debemos
observar que, si hiciésemos el estudio nuevamente, las variedades elegidas serían diferentes
(se escogen al azar cada vez). Por otra parte, si las únicas variedades de interés fuesen las
cinco variedades del estudio, el efecto de la variedad ( i ) sería fijo (esta situación sería
similar a todos los ejemplos estudiados hasta ahora: al hacer el estudio de nuevo, las
muestras serían diferentes pero las variedades serían las mismas). En un modelo fijo
solamente el error es una variable aleatoria; la media general y el efecto de tratamiento
son efectos fijos:
ij ~ N 0, 2
En el modelo del ejemplo inicial (el estudio de variedades seleccionadas al azar), hay dos
variables o efectos aleatorios, el tratamiento (variedad) y el error::
i ~ N 0, 2 , ij ~ N 0, 2
Ambos efectos (tratamiento y error) son independientes.
42
Por otra parte, el modelo tiene dos varianzas para estimar 2 , 2 y cada una representa
variabilidades diferentes: la varianza entre los efectos de variedad (diferencias entre medias
de variedad) y la varianza entre observaciones de la misma variedad. En resumen, este
modelo tiene un intercepto y dos varianzas para estimar.
Modelos Mixtos
Una diferencia fundamental con los modelos de efectos fijos (en los que lo único aleatorio
es el error experimental) es que las pruebas F no necesariamente se construyen dividiendo
el cuadrado medio asociado con la hipótesis que queremos probar y el cuadrado medio del
error. Para casos sencillos es posible encontrar un cociente apropiado para el estadístico F
mediante la técnica de cuadrados medios esperados (Ott & Longnecker, 2008). Nosotros
presentaremos una técnica diferente, llamada REML, que es válida en todos los casos, y
presenta la prueba F directamente (sin calcular los cuadrados medios). La tabla de análisis
de varianza muestra las fuentes de variación asociadas solamente con los efectos fijos, con
43
sus grados de libertad y las pruebas F correspondientes. Los grados de libertad asociados
con cada estadístico F aparecerán como grados de libertad del numerador y grados de
libertad del denominador. En SAS (Proc GLIMMIX) las varianzas estimadas aparecerán
en otra parte de la salida. En InfoStat (módulo de modelos lineales generales y mixtos en
InfoStat) aparecerán lasdesviaciones estándar .
Ejemplo en SAS
Como ejemplo en SAS, consideremos el modelo mixto discutido antes con 5 dosis de
fertilizante (fijas) y 4 variedades (aleatorias). Vamos a usar Proc GLIMMIX, que es el
procedimiento que incorpora efectos aleatorios (y modelos lineales generalizados) en SAS.
Todos los comandos que hemos usado hasta ahora en Proc GLM funcionan igual en PROC
GLIMMIX, excepto el comando means, que no se usa (se usa el comando lsmeans).
Para usar SAS Proc GLIMMIX, se deben indicar las variables de clasificación en el
comando class, la variable dependiente y los efectos fijos (excepto el intercepto) en el
comando model, los efectos aleatorios (excepto el error experimental) en el comando
random, y se pueden realizar las comparaciones de medias, contrastes, etc. usando los
comandos lsmeans y contrast respectivamente. Se debe observar que en este ejemplo
pedimos la prueba LSD mediante la opción pdiff, pero no es necesaria, ya que la prueba
F para niveles de fertilidad tiene un p-valor mayor que 0.05.
44
presentan aquí contienen resultados que no interpretaremos en este curso. Solo
mostraremos las salidas relevantes.
45
Como podemos concluir a partir de los resultados, no hay diferencias entre medias de
fertilizantes (p=0.6020), y la varianza más importante parece ser la debida al efecto de
variedad. La varianza del efecto de variedad es aproximadamente 16 veces más grande
que la varianza residual (error). La magnitud de la varianza de la interacción
fertilizante*variedad es parecida a la del error.
46
Ejemplo en InfoStat
Para realizar el mismo ejemplo en Infostat, debemos usar el módulo de Modelos Lineales
Generales y Mixtos, que requiere tener instalado R (Di Rienzo, Macchiavelli, &
Casanoves, 2011). Se debe seleccionar Estadísticas>Modelos lineales generales y
mixtos>Estimación:
47
48
La salida indicará los estimadores de los efectos fijos (observar que el efecto del primer
nivel de cada efecto fijo es siempre 0), la tabla de ANOVA para efecto(s) fijo(s), y los
estimadores de las desviaciones estándares de los efectos aleatorios (si queremos
estimadores de varianzas, simplemente cuadramos las desviaciones estándares).
49
11. Diseños anidados
Consideremos los siguientes dos ejemplos:
Los efectos de A pueden ser fijos o aleatorios, y los efectos de B dentro de A generalmente
son aleatorios, como hemos visto en los dos ejemplos al principio (el ejemplo 1 es mixto,
el 2 es aleatorio). Para el ejemplo 1, el modelo completo es
50
Yijk i j (i ) ijk
j (i ) N 0, 2
ijk N 0, 2
Para el ejemplo 2, el modelo considera todos los términos (excepto el intercepto) como
aleatorios:
Yijk i j (i ) ijk
i N 0, 2
j (i ) N 0, 2
ijk N 0, 2
A partir de estos modelos, podemos realizar los análisis en SAS (Proc GLIMMIX) o
InfoStat (módulo de modelos lineales generales y mixtos). Debemos recordar que si
estamos considerando un efecto fijo, nos interesa estimar y probar hipótesis acerca de sus
efectos, mientras que si estamos considerando efectos aleatorios, nos interesa estimar
varianzas.
Como ejemplo en SAS e Infostat, consideremos el modelo mixto del ejemplo 1 con 2
marcas de jugo, 6 cartones por marca y 2 muestras por cartón.
Model Information
Data Set WORK.NARANJA
Response Variable Vitam
51
Class Level Information
Class Levels Values
marca 2 ab
carton 12 1 2 3 4 5 6 7 8 9 10 11 12
52
53
Modelos lineales generales y mixtos
Efectos fijos
Value Std.Error DF t-value p-value
(Intercept) 527.25 53.32 12 9.89 <0.0001
Marcab -101.33 75.40 10 -1.34 0.2087
(const)
(const) 129.30
54
12. Diseño de parcelas divididas
Hemos visto en distintos ejemplos cómo la manera en que aleatorizamos (asignamos los
tratamientos a las unidades experimentales) define el diseño del experimento. Por ejemplo,
si todos los tratamientos están asignados al azar en cada grupo de unidades experimentales
tenemos un diseño en bloques completos aleatorizados.
Este experimento tiene 2 factores, pero la forma en que hemos aleatorizado estos factores
no es la usual para los experimentos factoriales. Debemos observar que primero hemos
aleatorizado los niveles de un factor (fertilizante) a las parcelas completas y luego hemos
aleatorizado los niveles del otro factor (variedad) a las subparcelas. Debemos notar que la
aleatorización es más restringida que si hubiésemos aleatorizado todas las 12
combinaciones.
¿Qué ganamos con este diseño? Por una parte, pueden existir razones prácticas para usarlo:
por ejemplo es posible que logremos una mejor aplicación del fertilizante si lo aplicamos
a parcelas grandes. Por otra parte debemos observar también que cada parcela (completa)
está funcionando como un “bloque” para el segundo factor, ya que todos los niveles del
segundo factor (en nuestro ejemplo variedad) están presentes en cada parcela completa.
Esto hace que este factor gane en precisión.
En este diseño tenemos al menos dos factores: uno cuyos niveles se aleatorizan a las
parcelas completas y otro cuyos niveles se aleatorizan a las subparcelas. Las parcelas
completas pueden estar ordenadas en forma completamente aleatoria (como en nuestro
ejemplo), en forma de bloques completos, etc. Suponiendo que los factores A y B son fijos,
el modelo para observaciones provenientes de un diseño en parcelas divididas con parcelas
completas en un DCA es
Yijk i ik j ij ijk
ik N 0, 2
ijk N 0, 2
55
Yijk i k ik j ij ijk
k N 0, 2
ik N 0, 2
ijk N 0, 2
Los grados de libertad asociados con las fuentes de variación (fijas y aleatorias) para este
diseño son
El orden en que aparecen las fuentes de variación nos sugiere que para probar el efecto
principal del factor A debemos usar como denominador la variabilidad debida a los
efectos de “parcela completa” (a veces llamado error 1), ya que la aleatorización de
niveles de este factor se hizo sobre las parcelas completas. Similarmente, para probar
efecto principal de B o interacción debemos usar como denominador el error de
subparcela (a veces llamado error 2). Los grados de libertad asociados con las pruebas F,
DMS, etc. reflejarán esto en las salidas de SAS e InfoStat si los datos son balanceados.
Veamos el siguiente ejemplo, en el que hay dos niveles de irrigación (aplicados a parcelas
completas en un DCA con 3 repeticiones) y 2 variedades (aplicados a subparcelas).
data a;
input parcela riego $ variedad rendim;
datalines;
1 con 1 53
1 con 2 38
2 sin 1 63
2 sin 2 33
3 sin 1 52
3 sin 2 43
4 sin 1 49
4 sin 2 48
5 con 1 69
56
5 con 2 49
6 con 1 55
6 con 2 42
proc glimmix data=a;
class parcela riego variedad;
model rendim = riego variedad riego*variedad;
random parcela;
lsmeans riego variedad;
lsmeans riego*variedad / pdiff lines;
run;
variedad 2 12
Covariance Parameter
Estimates
Estimate Standard
Cov Parm Error
parcela 0 .
57
riego Least Squares Means
Standard
riego Estimate Error DF t Value Pr > |t|
con 51.0000 3.0254 4 16.86 <.0001
sin 48.0000 3.0254 4 15.87 <.0001
58
Para realizar el mismo ejemplo en Infostat debemos especificar el siguiente modelo:
59
Medidas de ajuste del modelo
N AIC BIC logLik Sigma R2_0 R2_1
12 71.14 71.62 -29.57 7.41 0.61 0.61
AIC y BIC menores implica mejor
60
13. Repaso de regresión lineal simple
Hasta ahora hemos estudiado la relación entre una variable dependiente (Y) y tratamientos
(uno o más factores) simplemente considerando que cada tratamiento tiene su media, y nos
interesaba comparar estas medias mediante hipótesis apropiadas. Ahora vamos a enfatizar
la relación que existe entre dos variables cuantitativas: una independiente y otra
dependiente. Por ejemplo la cantidad de proteína en la dieta y el aumento de peso. La
variable que nosotros variamos a voluntad es la “variable independiente”, y sobre la que
nos interesa estudiar el efecto es la “variable dependiente”. Por ejemplo, queremos ver cuál
es el promedio de ganancia de peso cuando agregamos 10%, 15%, 20% y 25% de proteína
a la dieta.
5
4
3
2
0 2 4 6 8 10
Un modelo más realista es pensar que la línea recta representa la relación entre la media de
las Y para un valor dado de x y la variable independiente: Y 0 1 x . Otra forma de
escribir este modelo es
Y 0 1 x
donde es el error aleatorio y representa la diferencia entre el valor de Y y su media Y
(o lo que es lo mismo, entre el valor observado y la recta). La media de estos errores
aleatorio para un valor dado de x es 0 (es decir, los valores positivos y negativos se
“balancean”) y por lo tanto ambas formulaciones de este modelo estocástico son
equivalentes.
61
Yˆ ˆ0 ˆ1 x
La diferencia entre cada valor observado Yi y el valor correspondiente sobre la recta
estimada se llama “error de predicción” o residual, y se denomina como ei Yi Yˆi .
Observar que esto no es lo mismo que el error aleatorio i , que es la diferencia entre cada
valor observado y la recta verdadera (poblacional).
Para estimar la recta vamos a usar el método de mínimos cuadrados, que consiste en elegir
los parámetros 0 , 1 que minimicen la suma de los cuadrados de los errores de
predicción:
N N
2
N N
N
S xx ( X i X ) X X i
2
i
2
N
i 1 i 1 i 1
N N N N
S xy ( X i X )(Yi Y ) X iYi X i Yi N
i 1 i 1 i 1 i 1
Ejemplo: Relación entre el peso de gallinas (lb) y el consumo de alimento durante 1 año.
Peso Consumo
4.6 87.1
5.1 93.1
4.8 89.8
4.4 91.4
5.9 99.5
4.7 92.1
5.1 95.5
5.2 99.3
4.9 93.4
5.1 94.4
62
102
98
PRED_Consumo
94
90
86
4.0 4.5 5.0 5.5 6.0
Peso
Observar que, para este ejemplo S xx 1.536, S xy 11.812, ˆ1 7.69, ˆ0 55.26.
Yi 0 1 xi i
Vamos a asumir que este es el modelo correcto, que los 1 ,..., N son independientes y
tienen distribución normal con media 0 y varianza constante:
i ~ N 0,
La tabla de análisis de varianza que nos permite partir la variabilidad total es:
Fuente de Suma de
grados Cuadrado Medio F
Variación Cuadrados
de
libertad
Regresión SCRegresión 1 CMReg=SCReg/1 F=CMReg/CME
Residual (Error) SCResidual=SCE N-2 CME=SCE/(N-2)
Total SCTotal N-1
63
Las fórmulas para estas sumas de cuadrados son:
Y
2
Podemos ver qué pasaría si todas las observaciones estuviesen sobre la recta
(SCResidual=0), y qué pasaría si lal mejor recta de ajuste fuese una línea horizontal
(SCRegresión=0).
ˆ x 2
, ˆ
0 N S xx 1
S xx
El estimador de 2 es el cuadrado medio residual.
H 0 : 1 0, H a : 1 0
ˆ 0
t 1 , gl N 2
s
S xx
Esta última prueba es la más importante en regresión lineal: si no podemos rechazar H 0
entonces estamos concluyendo que no hay una relación lineal entre el promedio de las Y y
las x. Otro estadístico alternativo es el estadístico para esta prueba es F CMReg y
CME
debemos rechazar H 0 si F F . Para encontrar el valor tabular de F debemos buscar en
la tabla correspondiente con 1 y N-2 grados de libertad. Podemos verificar que tanto para
el valor observado como para el tabular, F t 2 y por lo tanto ambas pruebas siempre van
a conducir a las mismas conclusiones.
64
14. Regresión polinomial
Supongamos que tenemos 4 tratamientos, que son las dosis de fertilizante nitrogenado 0,
50, 100 y 200. Realizamos un experimento con estos tratamientos en un DCA con 5
repeticiones. Ahora tenemos dos opciones para analizar estos datos: ANOVA y regresión.
Podemos ver la diferencia entre ambos modelos. En el ANOVA estamos ajustando una
media diferente para cada dosis ( i i ) mientras que en regresión lineal simple la
media de cada dosis se calcula a partir de la ecuación lineal. En ANOVA tenemos cuatro
parámetros (aparecen 5 en las fórmulas pero la suma de los efectos es cero, así que
efectivamente son 4); mientras que en regresión lineal simple tenemos sólo dos parámetros
(intercepto y pendiente).
¿Cuál de los dos modelos será mejor? Por una parte el ANOVA siempre tendrá una SCE
más pequeña (o a lo sumo igual) que la de la regresión, pero los grados de libertad también
son menos (ANOVA tiene más parámetros que regresión lineal simple), por lo que no
sabemos lo que pasa con el CME. Si el modelo de regresión ajusta bien (es decir, explica
bien los datos) entonces será más útil (podríamos predecir qué pasa con una dosis de 75,
por ejemplo). Aunque el modelo de regresión no ajusta, el de ANOVA siempre lo hará, ya
que no hay ninguna función a la que las medias deban ajustarse: simplemente cada
tratamiento tiene su media.
¿Cómo podemos probar si el modelo de regresión lineal simple ajusta bien? La forma más
sencilla e intuitiva de hacerlo es a través de la comparación de las sumas de cuadrado de
error de ambos modelos: si son bastante parecidas, entonces razonablemente podremos
decir que el modelo de regresión lineal ajusta bien. Si la del ANOVA es sustancialmente
menor, entonces obviamente las medias no siguen una relación de línea recta sino que
necesitaríamos otro modelo para explicar su relación. Es decir, necesitaremos dos tablas
de ANOVA: una para el modelo de ANOVA y otra para el modelo de regresión lineal
simple. Denotaremos como SCEANOVA y SCEREG a las sumas de cuadrado de error de
ambos modelos. Podemos construir un estadístico F como
65
SCE REG -SCE ANOVA
F
gleREG -gleANOVA
CME ANOVA
H 0 : Y 0 1 x
H a : el modelo no ajusta
La región de rechazo son los valores F F , con los grados de libertad apropiados.
Debemos notar que para probar esta hipótesis necesitamos que haya valores de Y repetidos
para al menos algunos de los valores de x, cosa que no siempre sucede en regresión.
¿Qué hacemos si el modelo de regresión lineal simple no ajusta? Una de las alternativas ya
la conocemos: podemos olvidarnos de la regresión y comparar las medias mediante las
técnicas de ANOVA (comparaciones múltiples, contrastes, intervalos de confianza, etc.)
La otra alternativa es usar un modelo de regresión más complejo, que permita estudiar
relaciones curvilíneas. Entre estos modelos tenemos los polinomios, las ecuaciones
exponenciales, logarítmicas, etc. El polinomio es la extensión natural de la ecuación lineal
simple, y consiste en suma de distintas potencias de x. Por ejemplo un modelo polinomial
de tercer grado es:
Yij 0 1 xij 2 xij2 3 xij3 ij
Ahora vemos que tenemos un modelo mucho más flexible, pero con mayor cantidad de
parámetros (en este ejemplo, la misma cantidad que el modelo de ANOVA considerado
antes). En modelos polinomiales podemos aplicar la misma prueba de falta de ajuste
presentada antes, pero de manera secuencial. Es decir, empezamos probando si el
polinomio de primer grado ajusta. Si aceptamos la hipótesis nula entonces no es necesario
hacer nada más: el modelo rectilíneo es apropiado. Si rechazamos la nula, entonces
probaríamos si un modelo cuadrático es apropiado, y así seguiremos probando hasta
encontrar un grado del polinomio que sea apropiado. Si tenemos t tratamientos el grado
máximo del polinomio que podremos ajustar es t-1, ya que en ese caso los grados de
libertad de regresión son los mismos que los grados de libertad de tratamientos (en efecto,
los modelos son exactamente iguales).
66
47.0 12.0 46.2 12.0 42.1 14.0
48.0 12.0 43.2 14.0 43.9 14.0
46.4 12.0 42.6 14.0 40.5 14.0
En Infostat usamos el menú Regresión lineal, con las opciones de “Error Puro” para
probar la falta de ajuste, y en la solapa “Polinomios” podemos seleccionar el orden
deseado.
Variable N R² R² Aj
rendim 25 0.48 0.46
67
Error 125.27 23 5.45
Lack Of Fit 96.44 3 32.15 22.31 <0.0001
Error Puro 28.82 20 1.44
Total 241.40 24
Rendimiento de Tomate
54.0
50.5
Rendim
47.0
43.5
40.0
6 8 10 12 14
humedad
68
Lack Of Fit 0.39 2 0.19 0.13 0.8749
Error Puro 28.82 20 1.44
Total 241.40 24
Rendimiento de Tomate
54.0
50.5
Rendim
47.0
43.5
40.0
6 8 10 12 14
humedad
9
8
7
6
Pérdida
5
4
3
2
1
0
0.5 0.55 0.6 0.65 0.7 0.75 0.8 0.85 0.9
Humedad
69
9
8
7
6
Pérdida
5
4
3
2
1
0
3 4 5 6 7 8
Tiempo
70
El intercepto tiene la misma interpretación que en regresión lineal simple: promedio de las
Y cuando todas las x valen 0. Recordemos que esto no siempre tiene una interpretación
práctica (en este ejemplo no la tiene). La principal dificultad de este modelo es la
interpretación de las pendientes (ahora llamadas pendientes parciales o coeficientes de
regresión parciales). El parámetro 1 es el cambio en el promedio de las Y cuando x1
aumenta una unidad y x2 permanece constante. Es decir, un coeficiente de regresión parcial
se interpreta manteniendo todas las otras variables independientes constantes. El término
“parcial” enfatiza que no es una pendiente absoluta, sino una pendiente en la dirección de
la variable x1 (es decir, moviéndonos a lo largo del eje x1 ).
Los supuestos son los mismos que realizamos en regresión simple (observar que los errores
i son los mismos): independencia, varianza constante, normalidad y modelo correcto (es
decir, no hay necesidad de términos cuadráticos, etc. en ninguna de las variables
independientes, ni tampoco de productos entre las variables independientes).
Para ajustar este modelo debemos usar programas estadísticos, y a que los cálculos
manuales son muy complicados. El ejemplo analizado en SAS e Infostat nos da los
siguientes resultados:
data fruta;
input tiempo humedad perdida;
datalines;
4 .6 4.3
5 .6 5.5
6 .6 6.8
7 .6 8.0
4 .7 4.0
5 .7 5.2
6 .7 6.6
7 .7 7.5
4 .8 2.0
5 .8 4.0
6 .8 5.7
7 .8 6.5
proc reg ;
model perdida=tiempo humedad;
run;
71
The REG Procedure
Model: MODEL1
Dependent Variable: perdida
Analysis of Variance
Parameter Estimates
72
¿Cómo sabemos si este modelo es razonable para ajustar estos datos? Tenemos dos formas
básicas: el coeficiente de determinación R 2 y los gráficos “residuales vs. predichos”. El
coeficiente de determinación es la proporción de la variabilidad total explicada por la
regresión:
SCRegresión
R2
SCTotal
Este coeficiente siempre está entre 0 y 1, y cuanto más cerca de 1 está mejor será el ajuste.
Observar que si tuviésemos una regresión lineal simple, R 2 es simplemente el cuadrado
del coeficiente de correlación lineal.
error estándar sˆi . Como la fórmula para este error estándar es muy complicada, podemos
leer directamente su valor en la salida de computadora. Para probar hipótesis o construir
intervalos de confianza usamos el estadístico t. Por ejemplo,
H0 : 2 0
H a : 2 0 (>0, 0)
ˆ
t 2
sˆ
2
Un intervalo de confianza para 1 sería ˆ1 t 2 sˆ . Los grados de libertad del estadístico
1
t son los del error. Lo más importante que tenemos que tener en cuenta al realizar
inferencias acerca de un coeficiente de regresión parcial es que la inferencia se hace en
presencia de todas las otras variables independientes en el modelo (es decir, es una prueba
parcial).
73
SCH=SCError(reducido)-SCError(completo)
glH=glerror(reducido)-glerror(completo)
SCH
CMH=
glH
74
16. Selección de variables en regresión múltiple
Recordemos que los objetivos de un modelo de regresión son dos: encontrar un
modelo que ajuste bien (es decir, que esté “cerca” de los datos observados) y que sea útil
para predecir observaciones futuras razonablemente bien. Por lo tanto no siempre
queremos usar todas las variables independientes disponibles sino sólo aquéllas que sean
importantes. El problema de decidir cuáles son las importantes es bastante complicado, ya
que vimos que las pruebas parciales pueden ocultar información de interés. Entre los
métodos más comunes para seleccionar variables tenemos el método de r-cuadrado, el de
r-cuadrado ajustado, el de selección “forward”, el de selección “backward” y el de
selección “stepwise”.
Si la cantidad de posibles regresores es muy grande, el uso de todos los modelos posibles
es dificultoso (por ejemplo, si hay 20 posibles regresores la cantidad de modelos es
1048575). Para evitar tener que ajustar todos estos modelos, se han desarrollado otros
métodos de selección. El método “forward” comienza con el mejor modelo de una variable
(regresión lineal simple), luego agrega una segunda variable y selecciona el mejor modelo
entre los que tienen la primera seleccionada y alguna de las otras. Sigue agregando
variables hasta que el agregado de cualquier otra variable no es significativo (a un nivel
predeterminado llamado “SLENTRY”, típicamente .10-.15). Este método no garantiza que
encontraremos el mejor modelo, pero posiblemente encuentre un modelo razonable.
75
El método “stepwise” comienza como el forward, pero después de incorporar una nueva
variable independiente trata de eliminar alguna de las que estaban ya en el modelo (si no
es significativa en la prueba parcial). Continúa incorporando y eliminando variables hasta
que ninguna de las que quedan afuera pueden agregarse al modelo (porque su nivel de
significancia es mayor que el SLENTRY) y ninguna de las incorporadas al modelo pueden
eliminarse (porque su nivel de significancia es menor de SLSTAY).
Otro enfoque, que se puede aplicar a cualquier tipo de modelo (no solamente de regresión),
es el uso de lo que se denomina “criterios de verosimilitud penalizada”, que tienen el mismo
principio del R 2 ajustado: a mayor verosimilitud mejor es el ajuste, pero se penaliza por la
cantidad de parámetros que deben estimarse en el modelo. Los dos más cumúnmente
usados son el AIC (Akaike Informatio Criterion) y el BIC (Bayesian Information Criterion
o Criterio de Schwarz).
76
The REG Procedure
Model: MODEL1
Dependent Variable: y
1 0.6262 x3
1 0.1596 x2
1 0.0677 x1
1 0.0633 x5
1 0.0536 x7
1 0.0458 x4
1 0.0371 x6
2 0.8509 x2 x3
2 0.7939 x1 x3
2 0.6350 x3 x5
2 0.6286 x3 x6
2 0.6271 x3 x7
2 0.6270 x3 x4
2 0.2749 x2 x7
… … …
2 0.0996 x4 x7
2 0.0719 x4 x6
3 0.9050 x1 x2 x3
3 0.8572 x2 x3 x7
77
Number in R-Square Variables in Model
Model
3 0.8568 x2 x3 x5
3 0.8531 x2 x3 x6
3 0.8510 x2 x3 x4
3 0.1727 x1 x5 x6
… … …
3 0.1428 x4 x5 x6
4 0.9102 x1 x2 x3 x5
4 0.9090 x1 x2 x3 x4
… … …
4 0.2328 x4 x5 x6 x7
5 0.9135 x1 x2 x3 x4 x5
5 0.9113 x1 x2 x3 x5 x7
5 0.9110 x1 x2 x3 x5 x6
5 0.9109 x1 x2 x3 x4 x7
… … …
5 0.3315 x1 x2 x4 x5 x6
6 0.9150 x1 x2 x3 x4 x5 x7
6 0.9141 x1 x2 x3 x4 x5 x6
6 0.9137 x1 x2 x3 x5 x6 x7
6 0.5028 x1 x2 x4 x5 x6 x7
7 0.9171 x1 x2 x3 x4 x5 x6 x7
78
Adjusted R-Square Selection Method
3 0.8871 0.9050 x1 x2 x3
4 0.8863 0.9102 x1 x2 x3 x5
4 0.8847 0.9090 x1 x2 x3 x4
5 0.8826 0.9135 x1 x2 x3 x4 x5
4 0.8815 0.9065 x1 x2 x3 x7
4 0.8810 0.9061 x1 x2 x3 x6
5 0.8797 0.9113 x1 x2 x3 x5 x7
5 0.8792 0.9110 x1 x2 x3 x5 x6
5 0.8791 0.9109 x1 x2 x3 x4 x7
5 0.8776 0.9098 x1 x2 x3 x4 x6
5 0.8774 0.9096 x1 x2 x3 x6 x7
6 0.8758 0.9150 x1 x2 x3 x4 x5 x7
6 0.8744 0.9141 x1 x2 x3 x4 x5 x6
6 0.8739 0.9137 x1 x2 x3 x5 x6 x7
6 0.8738 0.9136 x1 x2 x3 x4 x6 x7
7 0.8687 0.9171 x1 x2 x3 x4 x5 x6 x7
… … … …
1 -.0164 0.0371 x6
3 -.0179 0.1428 x4 x5 x6
2 -.0373 0.0719 x4 x6
79
Dependent Variable: y altura
Analysis of Variance
Analysis of Variance
80
Analysis of Variance
No other variable met the 0.1500 significance level for entry into the model.
81
The REG Procedure
Model: MODEL1
Dependent Variable: y altura
Analysis of Variance
Analysis of Variance
82
Variable Parameter Standard Type II SS F Value Pr > F
Estimate Error
Analysis of Variance
83
Backward Elimination: Step 3
Variable x4 Removed: R-Square = 0.9102 and C(p) = 2.9910
Analysis of Variance
Analysis of Variance
84
Variable Parameter Standard Type II SS F Value Pr > F
Estimate Error
Analysis of Variance
85
Variable Parameter Standard Type II SS F Value Pr > F
Estimate Error
Analysis of Variance
Analysis of Variance
86
Variable Parameter Standard Type II SS F Value Pr > F
Estimate Error
All variables left in the model are significant at the 0.1500 level.
No other variable met the 0.1500 significance level for entry into the model.
Para realizar selección de variables en regresión múltiple, la versión actual de Infostat usa
los siguientes métodos: backward, forward, stepwise, r-cuadrado ajustado, minimizar
cuadrado medio de error, y minimizar ECM de predicción. El método de minimizar
cuadrado medio de error es aproximadamente equivalente al método de maximizar r-
cuadrado para modelos de 1 variable, 2 variables, etc. que usa SAS (method= rsquare).
87
88
17. Análisis de covarianza
Existen muchas situaciones en las que deseamos estudiar una respuesta (Y, variable
dependiente) en función de uno o más tratamientos (factor/es) y de una o más variables x
(regresores). Es decir, nos interesa combinar en el mismo modelo un ANOVA y una
regresión.
Ejemplos:
Y: rendimiento de un cultivo
x: fertilidad de la parcela
Tratamiento: variedad
Y: calidad de la grama en un campo de golf (medida por la velocidad con que una bola de
golf rueda por la grama).
x: humedad del suelo
Tratamiento: cultivares
89
Consideremos el siguiente ejemplo. Se estudia el efecto de cuatro dietas sobre el peso final
de cerdos, y se registra el peso inicial de los mismos. Se usaron 6 animales por dieta, en un
DCA.
data dietas;
input dieta pesoinic pesofin;
datalines;
1 5.0 17.0
1 7.0 21.0
1 5.0 18.0
1 4.0 11.0
1 3.0 6.0
1 6.0 23.0
2 7.0 24.0
2 7.0 26.0
2 8.0 23.0
2 6.0 23.0
2 5.0 18.0
2 9.0 30.0
3 5.0 20.0
3 4.0 13.0
3 3.0 14.0
3 7.0 22.0
3 6.0 23.0
3 5.0 16.0
4 10.0 30.0
4 9.0 28.0
4 8.0 22.0
4 7.0 20.0
4 11.0 31.0
4 9.0 25.0
El modelo que estamos usando es el descripto anteriormente, que en este ejemplo es:
Animales de la dieta 1: Y1 j 1 x1 j 1 j
Animales de la dieta 2: Y2 j 2 x2 j 2 j
Animales de la dieta 3: Y3 j 3 x3 j 3 j
Animales de la dieta 4: Y4 j 4 x4 j 4 j
Podemos ver que en cada caso el modelo corresponde a una línea recta con intercepto
diferente i y la misma pendiente . Es decir, tenemos líneas paralelas. Si
graficamos estos datos podemos ver que el modelo es razonable:
90
Relación entre peso inicial y final
32.0
26.6
peso final
21.2
15.8
10.4
5.0
2.5 5.0 7.5 10.0 12.5
peso inicial
dieta 1 dieta 2
dieta 3 dieta 4
Para comparar las medias de las distintas dietas vemos que tenemos dos opciones:
comparamos cada media de Y sin tener en cuenta las x, o comparamos las medias de Y
estimadas en cierto valor común de x. La primera opción es lo que haríamos si usamos un
modelo sin la covariable, y podríamos tener el problema que la dieta que tenía los animales
más pesados nos daría mayores pesos finales no porque fuese mejor sino porque el azar
hizo que tuviera los animales de mayor peso inicial (En el ejemplo la dieta 4 tenía los
animales más pesados inicialmente, y sus pesos finales también estuvieron entre los más
altos).
Una comparación más razonable es aquella que compara las dietas a un nivel común de x
(por ejemplo en x x ). Esta comparación la realiza una prueba “parcial” (tipo III), ya que
compara algunos efectos en el modelo “ajustando” por todos los otros términos del modelo
(en este caso la covariable). ¿Cómo calculamos el valor de media de Y cuando x x ? Para
eso usamos la fórmula de regresión, reemplazando x por x :
91
Éstas son las “medias ajustadas”, que en SAS se denominan “least squares means”. La
prueba de tipo III prueba la igualdad de medias ajustadas, o lo que es lo mismo, la igualdad
de los i . Debemos observar que debido a que las líneas son paralelas, da lo mismo
comparar en x x o en cualquier otro valor de x: siempre estaremos comparando igualdad
de i (se puede probar que en x x se logra la prueba más eficiente).
Para ajustar este modelo en SAS (podemos hacerlo en Proc GLM o en Proc GLIMMIX)
simplemente escribimos la variable tratamiento en “class” y las variables tratamiento y
covariable en el “model”:
proc glm;
class dieta;
model pesofin = dieta pesoinic / solution ss3;
lsmeans dieta;
La opción “solution” del comando “model” nos da los estimadores de los parámetros del
modelo y la opción “ss3” nos muestra sólo las pruebas de tipo III (parciales).
dieta 4 1234
92
Source DF Type III SS Mean Square F Value Pr > F
dieta 4 0.000000000 B . . .
1 20.5750000
2 22.4750000
3 22.5750000
4 18.3750000
Variable N R² R² Aj CV
pesofin 24 0.888 0.865 10.809
93
Test:LSD Fisher Alfa:=0.05 DMS:=2.74301
Error: 5.1526 gl: 19
dieta Medias n
4 18.375 6 A
1 20.575 6 A B
2 22.475 6 B
3 22.575 6 B
Letras distintas indican diferencias significativas(p<= 0.05)
Los supuestos que hacemos son los de todo modelo lineal (independencia de errores,
normalidad de errores y homogeneidad de las varianzas de los errores), además de los
específicos del modelo de regresión usado (validez del modelo de líneas rectas paralelas).
Para verificar los primeros supuestos usamos los residuales como siempre, y para verificar
el supuesto de paralelismo podemos probar la hipótesis de no interacción entre los
tratamientos y la covariable:
H 0 : Yij i xij ij
H a : Yij i xij i xij ij
Aquí vemos que si la hipótesis nula es falsa, entonces tenemos un modelo con líneas rectas
con pendientes diferentes para cada tratamiento:
Animales de la dieta 1: Y1 j 1 1 x1 j 1 j
Animales de la dieta 2: Y2 j 2 2 x2 j 2 j
Animales de la dieta 3: Y3 j 3 3 x3 j 3 j
Animales de la dieta 4: Y4 j 4 4 x4 j 4 j
Para hacer esto en SAS simplemente ajustamos un modelo con interacción, y probamos la
significancia de ésta (prueba de tipo III):
proc glm;
class dieta;
model pesofin = dieta pesoinic dieta*pesoinic;
run;
94
R-Square Coeff Var Root MSE pesofin Mean
El ejemplo que hemos visto era bastante simple: un factor, una covariable y un diseño
completamente aleatorizado. La extensión a casos más complejos es directa: podemos tener
más de un factor, podemos tener más de una covariable y podemos tener términos
polinomiales en una covariable. Además podemos tener cualquier diseño experimental
(bloques, cuadrado latino, parcela dividida, etc.), efectos aleatorios, etc.
95
18. Documentación y comunicación de resultados
Esto es lo que presentamos en la primera clase de AGRO 5005:
Etapas que debemos seguir para obtener información “buena” a partir de los datos:
En esta conferencia vamos a tratar de discutir algunas ideas que permitan lograr
eficazmente la etapa 4, “comunicar los resultados”.
La comunicación puede ser verbal o escrita. La comunicación verbal puede ser desde una
comunicación informal hasta una presentación formal. La comunicación escrita también
varía desde memorandos e informes de proyecto dentro de la misma organización (interna)
hasta cartas, folletos de divulgación, artículos científicos y libros (externa). En todos los
casos tenemos que tener en cuenta la audiencia (hacia quién nos estamos comunicando).
Muestras sesgadas: éste es posiblemente uno de los problemas centrales que nos
encontramos. Las conclusiones pueden ser correctas pero se refieren a la “población”
equivocada. Recordemos que si no existe la aleatorización no podemos realizar la
inferencia estadística correctamente. Se requiere de una planificación adecuada del estudio.
96
Al informar las conclusiones debemos especificar claramente cómo se obtuvieron las
observaciones, qué diseño se usó (=cómo se aleatorizó) y cuántas observaciones
(=repeticiones) se realizaron. Si es posible, se debería incluir un estudio de la potencia de
las pruebas para evidenciar que el tamaño muestral fue adecuado para detectar las
diferencias de interés.
Los análisis primarios se hacen para responder las preguntas de investigación que se
indicaron en los objetivos del estudio.
Los análisis secundarios (o de apoyo) incluyen métodos alternativos de observar los datos,
uso de métodos poco comunes en el área de aplicación, exploración de hipótesis sugeridas
por los resultados del experimento, etc.
Informe estadístico
97
a. Resumen
b. Introducción
c. Diseño experimental y procedimientos del estudio
d. Estadísticos descriptivos
e. Metodología estadística
f. Resultados y conclusiones
g. Discusión
h. Lista de datos y salidas de computación relevantes
Bibliografía
Referencias adicionales
Macchiavelli, R. Wessel Beaver, L. (2018). Notas de clase de Biometría Avanzada.
http://academic.uprm.edu/rmacchia/agro6600/agro6600.pdf
Di Rienzo, J. A., Macchiavelli, R. E., & Casanoves, F. (2011). Modelos lineales mixtos :
aplicaciones en InfoStat. Córdoba: Grupo Infostat.
Di Rienzo J.A., Casanoves F., Balzarini M.G., Gonzalez L., Tablada M., Robledo C.W.
InfoStat versión 2017. Grupo InfoStat, FCA, Universidad Nacional de Córdoba, Argentina.
URL http://www.infostat.com.ar
Der, Geoff y B. Everitt (2008). A Handbook of Statistical Analyses Using SAS. 3ra. Ed.
Boca Raton (FL): Chapman and Hall.
98