META-ANALISIS

Introduccin
Clculo del tamao del efecto
Fuente de datos y Tamaos de efecto.
Medias SE: Hedgesd; ln Response Ratio
Tablas de Contingencia: Odds Ratio; Rate Difference; Relative Rate
Correlacin; Fishers Z-transform
Combinacin de resultados
Tamao del efecto acumulado
Fuentes de Heterogeneidad
Predictores
Efectos Fijos y Efectos Aleatorios
Modelo Lineal General
Evaluacin del sesgo de publicacin
Mtodos grficos
Mtodos estadsticos
Meta-anlisis con Metawin y macros GLM para SPSS
 INTRODUCCIN
META-ANLISIS SENSU LATO
Mtodo cuantitativo de sintetizar, resumir o revisar
sistemticamente una serie de resultados de estudios empricos

Los estudios deben:

Ser empricos, no tericos
Producir resultados cuantitativos, en vez de cualitativos
Examinar las mismas cuestiones tericas
Ser suceptibles de ser configurados en formas estadsticas
comparables (e.g., correlaciones, proporciones, tamaos de
efectos, etc.
 INTRODUCCIN

TIPOS DE REVISIONES BIBLIOGRFICAS CUANTITATIVAS

Conteo de votos (Vote-counting)

1- Se observan los resultados estadsticos de un conjunto de trabajos.
2- Los resultados se asignan a tres categoras: significativos en la direccin esperada,
significativos en la direccin no esperada, y no significativos.
3- Se determina la proporcin de resultados de cada categora.
4- La hiptesis es evaluada en base a esa proporcin.
5-Si slo hay dos categoras se puede emplear una prueba de signos (distribucin
binomial)

Ventajas Inconvenientes
Simplicidad Conservadores
Poca potencia estadstica
No ofrece informacin sobre la magnitud del efecto
 INTRODUCCIN
MTODOS DE PROBABILIDAD COMBINADA

1- Estos mtodos combinan resultados estadsticos de un conjunto de estudios basados

en valores exactos de probabilidad.
2- Por este motivo, tienen en cuenta los tamaos de muestra de los diferentes trabajos
3- Hay al menos 18 metodos que usan diferentes distribuciones estadsticas (uniforme,
normal, t de Student, chi cuadrado, logstica).

Mtodo del mnimo valor de p

Hay efecto significativo si al menos un estudio tiene un nivel de significacin

menor que el nivel crtico
1

1 (1 *) n

[*=0.05]
 INTRODUCCIN
Test de probabilidad combinada de Fisher (Fisher 1932)
1- Sean n estudios con valores de significacin individuales pi.
2- Se genera un estadstico que se ajusta a una chi cuadrado de 2n grados
de libertad, usando la siguiente frmula:
n
2 log( pi )
2
F
1

3- 2F es comprobada frente a dicha distribucin de chi cuadrado para ver si

hay un efecto significativo de los datos

Inconveniente
Es muy sensible a valores de pi bajos (asimetra)

Fisher, R.A. 1932. Statistical methods for research workers, 4th ed. Oliver and Boyd. Londres
 INTRODUCCIN
Mtodo de transformacin Z (Mtodo de Stouffer) (Stouffer et al. 1949)
1- Sean k estudios, cada uno con un valor Zi de Z-score para los valores
individuales de significacin [Z-score se halla a partir de una distribucin normal x=0, SD=1, y
corresponde a los valores correspondientes a una probabilidad dada ].

2- Se genera un estadstico que se ajusta a una normal, usando la siguiente

frmula:

3- La significacin del valor de ZS es comprobada frente a una distribucin

normal.

Stouffer, S.A. et. al. 1949. The American soldier: Vol 1. Adjustment during army life. Princeton
University Press, Princeton.
 INTRODUCCIN
Mtodo de transformacin Z ponderado (Mosteller y Bush 1954)
1- Es un mtodo que generaliza el anterior para dar diferente peso wi a cada
estudio dependiendo de su potencia.
2- Se genera de nuevo un estadstico que se ajusta a una normal, usando la
siguiente frmula:

3- wi se halla como el recproco del error estndar cuadrtico del tamao del
efecto.
4- As, se tiene en cuenta los grados de libertad especficos de cada estudio.

Usar Zs o Zw es un poco cuestin de gusto, ya que los valores de la p estn ya ponderados por el
tamao muestral. Si la hiptesis nula es globalmente cierta, entonces todos los valores de la p
deberan estar uniformemente distribuidos entre 0 y 1 independientemente del tamao muestral.

Mosteller, F. Y R.R. Bush 1954. Selected quantitative techniques. En G. Lindsey (ed). Handbook of
social psychology: Vol 1. Theory and method (pp 289-334). Addison-Wesley, Cambridge
INTRODUCCIN
 INTRODUCCIN
META-ANALISIS MODERNO (Smith and Glass 1977)

1- Combina las medidas de los efectos de estudios individuales dentro de una

estima de efecto general, y usa esta estima para determinar la significacin
2- Un resultado significativo implica que hay soporte estadstico para la
hiptesis que es testada.
3- Esta determinacin se hace calculando un tamao de efecto general y
determinando si este efecto es mayor que el esperado por azar.
4- La realizacin de un meta-anlisis implica dos fases:
a. Hay que calcular el tamao del efecto y su varianza para cada estudio.
b- Hay que combinar esos efectos en un modelo sinttico estadstico
5- Opcionalmente, podemos comprobar la heterogeneidad entre estudios,
para ver si provienen de ms de una poblacin estadstica.

Smith, M.L. y G.V. Glass 1977. Meta-analysis of psychotherapy outcome studies. American
Psychologist 32: 752-760.
 INTRODUCCIN
Claroscuros (Lipsey y Wilson 2000)

Ventajas
1- Impone una disciplina til en el proceso de sintetizar informacin cientfica
2- Representa una forma ms sofisticada de revisar los descubrimientos
cientficos que las metodologas anteriores
3- Es capaz de encontrar relaciones que permanecen oscuras
4- Representa una forma organizada de manipular informacin proveniente
de un gran nmero de estudios independientes

Inconvenientes
1- Su dificultad debido a lo complicado de la base conceptual y la
metodologa estadstica empleada
2- La mezcla de estudios de diferente naturaleza
3- La mezcla de estudios de diferente calidad metodolgica
Lipsey, M.W. y D. B. Wilson 2000. Practical meta-analysis. Sage, Londres
CLCULO DEL TAMAO DEL EFECTO
DEFINICION

1- Tamao del efecto es un concepto crucial en el meta-anlisis moderno

2- Tamao del efecto se puede definir como cualquier medida estadstica que
evidencia el grado con el que un evento dado esta presente en una muestra
(Cohen 1969). El tipo de medida se llama efecto, y su magnitud es el tamao
del efecto.

3- Diferentes medidas de tamaos de efecto se calculan a partir de diferentes

tipos de datos originales

Cohen, J. 1969. Statistical Power Analysis for the behavioural sciences. Academic Press, Nueva
York
CLCULO DEL TAMAO DEL EFECTO
FUENTE DE DATOS

1- Diferentes medidas de tamaos de efecto se calculan a partir de

diferentes tipos de datos originales

2- En general, los datos originales caen en una de las tres siguientes

categoras:
- Medias, tamaos de muestras y desviaciones estndares de
los grupos control y experimental.
- Tablas de contigencias 2x2 que representan las 4 posibles
soluciones categoricas experimentales.
- Coeficientes de correlacin.
CLCULO DEL TAMAO DEL EFECTO
TAMAOS DE EFECTO BASADOS MEDIAS Y DESVIACIONES ESTANDARES

Tamao de efecto de Glass (Glass 1976)

1- Sean XC y XE la media de un efecto de distribucin continua en el grupo

control y el grupo experimental.
2- Sean sC y sE las desviaciones estndares de cada grupo y NC y NE los
tamaos de muestra.
3- El tamao del efecto y su varianza se calculan como:

X E
XC V
NC NE

2
sC
C
N N E
2 N C 1

4- Inconveniente: Slo la varianza del grupo control se usa para estandarizar

la diferencia entre medias

Glass, G.V 1976. Primary, secondary, and meta-analysis of research. Educational Researcher 5: 3-8
 CLCULO DEL TAMAO DEL EFECTO
d de Hegde (Hedge 1981)

1- Sean XC y XE la media de un efecto de distribucin continua en el grupo

control y el grupo experimental.
2- Sean sC y sE las desviaciones estndares de cada grupo y NC y NE los
tamaos de muestra.
3- El tamao del efecto y su varianza se calculan como:

S
N C
2
1 sC N E 1 s E 2

d
X E
XC
J donde
NC NE 2

S
3
J 1

4 N C N E 2 1
NC NE g2
Vg
C
N N E

2 NC NE 2
Hedge, L.V 1981. Distribution theory for Glasss estimator of effect size and related estimator. J. of
Educational Statistics 6: 107-128.
 CLCULO DEL TAMAO DEL EFECTO
d de Cohen (Cohen 1969)

1- Sean XC y XE la media de un efecto de distribucin continua en el grupo

control y el grupo experimental.
2- Sean sC y sE las desviaciones estndares de cada grupo y NC y NE los
tamaos de muestra.
3- El tamao del efecto y su varianza se calculan como:

d
X E
XC
donde
N C
2
1 sC N E 1 s E 2

NC NE

NC NE d2 NC NE
Vd C
N C
N E

2 NC NE 2 N N E
2
4- Ventajas: No afectado por varianzas muestrales distintas
5- Inconveniente: Sesgado por tamaos muestrales pequeos
Cohen, J. 1969. Statistical Power Analysis for the behavioural sciences. Academic Press, Nueva
York
 CLCULO DEL TAMAO DEL EFECTO
Response Ratio (Hedges et al. 1999)

1- Sean XC y XE la media de un efecto de distribucin continua en el grupo

control y el grupo experimental.
2- Sean sC y sE las desviaciones estndares de cada grupo y NC y NE los
tamaos de muestra.
3- El tamao del efecto y su varianza se calculan como:

XE
ln R ln C
X

Vln R
S
E 2

S
C 2

N X
E E 2
N X
C C 2

Hedges, L.V., J. Gurevitch y P.S. Curtis 1999. The meta-analysis of response ratios in experimental
ecology. Ecology 80:1150-1156
 CLCULO DEL TAMAO DEL EFECTO

TABLAS DE CONTINGENCIA 2 X 2

1- La variable respuesta es dicotmica y tiene distribucin binomial, por lo que

puede ser representada en la siguiente tabla:

Experimental Control Total

Respuesta A B A+B
No Respuesta C D C+D
Total nt=A+C nc=B+D N=A+B+C+D

2- Se calcula la tasa de respuesta de ambos grupos, Pe y Pc, como A/ne y

B/nc, respectivamente.
 CLCULO DEL TAMAO DEL EFECTO
Risk difference RD (Normand 1999)

1- El tamao del efecto y su varianza se calculan como:

Pe 1 Pe Pc1 Pc
RD Pe Pc V RD
ne nc

2- No diferencia entre grupos genera RD=0

Inconveniente:
El rango de variacin de RD est fuertemente limitado por las magitudes de
Pe y Pc. Los valores potenciales de RD aumentan cuando ambas tasas son
cercanas a 0 y 1. Esto genera aparente e irreal heterogeneidad entre
estudios

Normand, S-L. T. 1999. Meta-analysis: formulating, evaluating, combining, and reporting. Statistics in
medicine 18: 321-359
 CLCULO DEL TAMAO DEL EFECTO
Relative rate RR (Normand 1999)

1- El tamao del efecto y su varianza se calculan como:

Pe 1 Pe 1 Pc
RR Vln RR
Pc Pe ne Pc nc

2- No diferencia entre grupos genera RR=1, y vara entre 0 e infinito (ln

RR=0)

Normand, S-L. T. 1999. Meta-analysis: formulating, evaluating, combining, and reporting. Statistics in
medicine 18: 321-359
 CLCULO DEL TAMAO DEL EFECTO
Odd Ratio OR (Sokal y Rohlf 1995)

1- Odds de un evento es la probabilidad de que ocurra el evento dividido

por la probabilidad de que no ocurra

2- El tamao del efecto y su varianza se calculan como:

Pe

1 P P 1 Pc AD 1 1 1 1
OR e
e Vln OR
Pc
Pc 1 Pe BC A B C D

1 Pc

2- No diferencia entre grupos genera OR =1. Como OR es un razn, la

estadstica se ofrece usualmente como ln OR.

Sokal, R. R., and F. J. Rohlf. 1995. Biometry. (3rd edition). Freeman, San Francisco.
 CLCULO DEL TAMAO DEL EFECTO
CORRELACIONES

1-A veces los datos originales estn en diferentes fuentes (F, t, 2,....)

2- Es til transformar todo estos estadsticos en correlaciones de Pearson

y calcular el tamao del efecto a partir de ellas.

3- Estas transformaciones se pueden hacer con una Meta-calculadora.

Las transformaciones ms frecuentes son:

Z 2 1
r r
Datos en forma N N
de probabilidades
t2 r
F
r 2 F gl
t gl
 CLCULO DEL TAMAO DEL EFECTO
Transformacin de z de Fisher (Fisher 1928)
1- Con las correlaciones, podemos calcular el tamao del efecto mediante
la frmula:
1 1 r 1
z ln
2 1 r
vz siendo n el tamao muestral
n3
2- z oscila entre infinito y + infinito, con z=0 indicando ausencia de efecto.

Ventajas
Puede incluir estudios tomados de forma diferente, por lo que puede aumentar la
cantidad de estudios meta-analizados.

Inconvenientes
1-Est sesgado ligeramente cuando el tamao muestral es bajo.
2-Hay que tener cuidado con no incluir estudios demasiado heterogneos

Fisher, R.A. 1928. Statistical methods for research workers (2nd edition) Oliver and Boyd, Londres.
 CLCULO DEL TAMAO DEL EFECTO
RECOMENDACIONES PARA PRESENTACION DATOS
1- Presentar todos los valores de probabilidad exactos

2- Cuando sea posible, presentar medias, desviaciones estndares y

tamao muestral de cada grupo experimental usado en el diseo y del
grupo control.
3- Ejemplo de requisitos impuestos por la J. Evol. Biol:

Please make sure any in-line statistics conform to the Instructions for authors: "In-line statistical results
should be presented as Test-statistics: degrees of freedom as subscript(s) to test-statistics (e.g. F1,12 = ...
or t8 = ...), followed by P-value., e.g. (F1,12 = 4.9, P < 0.05). Statistical results in tables should be
comprehensive, allowing future meta-analyses. Depending on the details of the analyses, results
reported may include parameter estimates, test-statistics, degrees of freedom, significance levels and
err/residual model information (e.g. error MS's and df's in ANOVA or regression models). Since exact P-
values can be useful for meta-analyses, we recommend that these are quoted even when non-significant,
e.g. t23=0.25, P=0.34, or F2,32=1.12, P=0.55. However, non significant tests (i.e. P > 0.05) should always
be interpreted as such.

" (see Instructions for Authors, JEB inside back cover, or http://www.blackwellpublishing.com/journals/jeb/submiss.htm )
CLCULO DEL TAMAO DEL EFECTO
 COMBINACION DE RESULTADOS
TAMAO DEL EFECTO ACUMULADO

1- Tamao del efecto acumulado es un estimador que sintetiza el efecto

global de los tratamientos que estamos meta-analizando.
2- Se calcula segn la siguiente frmula:

w E i i
1
E i 1
n s
2
E n
donde wi es la inversa de la
varianza del estudio i(1/vi)
w
i 1
i
w i
i 1

Ventajas
3- Es una media ponderada. De esta forma, se tiene en cuenta la diferencia
en tamao muestral y potencia de cada estudio individual
 COMBINACION DE RESULTADOS
Significacin del efecto acumulado

1- Se pueda calcular el intervalo de confianza del efecto acumulado usando

la frmula:

CI E t / 2 n 1 * s E Donde t es el valor crtico a partir de un

distribucin de la t de Student para el nivel .

2- Una vez hallado el CI, podemos evaluar estadsticamente el efecto global

de nuestro conjunto de estudios. Suponemos un efecto acumulado
significativo cuando CI no cruza el cero.

Hedges, L.V. y I. Olkin 1985. Statistical methods for meta-analysis. Academic Press, Nueva York.
 COMBINACION DE RESULTADOS
Heterogeneidad total (Hedge y Olkin 1985)

1- La heterogeneidad total QT nos indica si los tamaos de efecto son

homogneos:

2
n

wi Ei
wi Ei E
n n
QT wi E
2 i 1 2
i n
i 1
w i 1
i
i 1

2- Para ver si QT es significativa, se contrasta frente a una 2 con n-1 grados

de libertad. [La hiptesis nula es que todos los tamao de efecto son iguales. Una Qt
significativa indica que la varianza entre tamaos de efecto es mayor que la esperada por azar ].
3- QT es un suma de cuadrados ponderada, por lo que es comparable a la SS
total de un ANOVA.

Hedges, L.V. y I. Olkin 1985. Statistical methods for meta-analysis. Academic Press, Nueva York.
 COMBINACION DE RESULTADOS
FUENTES DE HETEROGENEIDAD

1-Cuando QT es significativo, podemos pensar que es debido a que

existe una estructura subyacente en los datos.

2- La estructura puede aparecer porque existan variables que afecten a

los resultados. Estas variables pueden ser categricas o contnuas.

3- Podemos incorporar estas variables dentro de nuestros modelos

meta-analticos como predictores. Dependiendo de la naturaleza de
estos predictores, tendremos un tipo u otro de modelo meta-analtico
 COMBINACION DE RESULTADOS
PREDICTORES CATEGRICOS

1-Los predictores son categricos cuando los estudios se pueden

segregar in ms de un grupo.
2- En este caso, se calcula el tamao de efecto acumulado para cada
grupo, Ej, y su varianza segn la frmula:
kj

w E ij ij 1
Donde kj es el nmero de

2 estudios in el grupo j, wij y Eij
Ej i 1
kj
s Ej kj son las ponderaciones y los

w
i 1
ij
w ij
tamaos de efecto del estudio i
en el grupo j.
i 1
3- El intervalo de confianza se calcula como:

CI E j t / 2 k j 1 * sE j
4- Ej es significativo cuando el intervalo de confianza no cruza el cero.
 COMBINACION DE RESULTADOS
Heterogeneidad dentro y entre grupo (Hedge y Olkin 1985)

1-Podemos ver si dentro de cada grupo existe heterogenidad significativa

a su vez. La heterogeneidad dentro de grupo QWj se calcula como:

kj

QWj wij Eij E j

2

i 1

2- Se comprueba frente a un 2 con kj-1 grados de libertad.

Hedges, L.V. y I. Olkin 1985. Statistical methods for meta-analysis. Academic Press, Nueva York.
 COMBINACION DE RESULTADOS
Heterogeneidad dentro y entre grupo (2)

1- Podemos adems comprobar si la los grupos difieren entre ellos en

tamao de efectos. Para ellos, se descompone la heterogeneidad total QT
en heterogeneidad o variacin en tamaos del efecto debida al modelo QM
y heterogeneidad debida al error QE

QT=QM+QE

2- Para datos categricos QM describe la diferencia entre grupos en los

tamaos de efectos acumulados y se calcula como:
kj m =nmero de grupos,

m
QM wij E j E
2 kj = numero de estudios en el grupo j
wij= es el peso del estudio i en el grupo j
j 1 i 1
Ej = tamao de efecto acumulado para el grupo j
E= tamao de efecto acumulado global
 COMBINACION DE RESULTADOS
Heterogeneidad dentro y entre grupo (3)

3- La heterogeneidad del error residual se calcula como

kj
QE QW j wij Eij E j
m m
2

j 1 j 1 i 1

m =nmero de grupos,
kj = numero de estudios en el grupo j
wij= es el peso del estudio i en el grupo j
Eij = tamao de efecto del estudio i en el grupo j
Ej= tamao de efecto del grupo j

4- Tanto QM como QE pueden ser testadas frente a una 2 con m-1 grados de
libertad para QM y n-m grados de libertad para QE.
5- QM significativo significa que hay diferencia en el tamao del efecto para
los grupos, mientras que QE significativo implica que an hay heterogeneidad
no explicada por el modelo.
 COMBINACION DE RESULTADOS
PREDICTORES CONTINUOS (Greenland 1987)

1- A veces el tamao de los efectos de estudios individuales puede

explicarse por una variable independiente. En este caso se utiliza un
modelo meta-analtico contnuo.

2- Se requieren 3 variables de cada estudio: el tamao del efecto Ei, el

peso wi y el valor de la variable independiente Xi.

3- La relacin entre Ei y Xi se determina mediante una regresin

ponderada:

Ei b0 b1 X i

Greenland, S. 1987. Quantitative methods in the review of epidemiologic literature. Epidemiologic Reviews 9:1-30
 COMBINACION DE RESULTADOS
1- La pendiente b1 y el intercepto b0 se hallan como:
n n
n wi X i wi Ei
w X E i i i i 1
n
i 1 n

w E b w E
n

i 1 wi i i 1 i i
b1 i 1
2 b0 i 1
n
i 1
n
wi
n wi X i

i i i 1 i 1
w X 2
n
i 1 wi
i 1

2- Sin embargo, sus errores estndares no pueden calcularse mediante el

procedimiento de mnimos cuadrados.

Greenland, S. 1987. Quantitative methods in the review of epidemiologic literature. Epidemiologic Reviews 9:1-30
 COMBINACION DE RESULTADOS
3- Los errores estndares de la pendiente b1 y el intercepto b0 se hallan
como:
1 1
sb1 sb0 2
2
w X
n
w X
n
n i i n i i

i i
w X 2
i 1
n i
w i 1
n
2
i 1 wi i 1 i i
w X
i 1 i 1

4- Se divide la pendiente y el intercepto por sus errores estndares, y

hallamos el Z-score. Este valor se compara a una distribucin normal para
ver si son significativa [si la variable independiente explica significativamente la variacin en
tamaos de efectos].
b12
5- Hallamos QM como 2 y QE como QT QM.
sb1
 COMBINACION DE RESULTADOS

6- QM se comprueba con una 2 de 1 grado de libertad y su nivel de

significacin ser idntico al nivel de significacin de b1.

7- QM significativo significa que Xi explica una porcin significativa de la

variacin en tamaos del efecto.

8- QE se comprueba frente a una 2 con n-2 grados de libertad, y si sale

significativo implica que hay an heterogeneidad no explicada por el modelo
 COMBINACION DE RESULTADOS
EFECTOS FIJOS Y ALEATORIOS (Gurevitch and Hedge 1999)

1- Todos los modelos visto hasta ahora son modelos de efectos fijos, es
decir, modelos que asumen que hay un tamao de efecto real compartido por
todos los estudios o por cada grupo de estudios.

2- Modelos de efectos fijos calcula los estadsticos basados en el

presupuesto de que la nica variacin en tamao del efecto al error del
muestreo

3- Sin embargo, existe un segundo tipo de modelos denominados modelos

de efectos aleatorios que asumen que existe adems un componente de
variacin aletario en los tamao de efectos entre estudios.

4- En los modelos con efecto aletarios, este componente aleatorio de

variacin se calcula y se introduce en los estadsticos

Gurevitch, J. y L.V. Hedges, 1999. Statistical isues in ecological meta-analysis. Ecology 80:1142-1149.
 COMBINACION DE RESULTADOS
Construyendo modelos de efectos aleatorios (1)

1- Un modelo de efectos aletarios se construye en tres fases

1.1 Se realiza un modelo de efectos fijos para determinar el valor de
los estadsticos.
1.2. Se calcula entonces una varianza entre estudios pooled. Este
estadstico se usa para recalcular el peso de cada estudio en modelos
aleatorios wi(rand).
1.3 Finalmente esos nuevos pesos se incluyen en un modelos de
efectos aleatorios en las mismas ecuaciones descritas antes para calcular
los estadsticos meta-analticos.

2- En todos los casos, el peso en un modelo de efectos aleatorios se calcula

como:
1
wi ( rand )
vi pooled
2
 COMBINACION DE RESULTADOS
Construyendo modelos de efectos aleatorios (2)

1- La varianza entre estudios se calcula usando la siguiente frmula cuando

no hay estructura
Q (n 1)
pooled
2
T n

n wi
2

wi n
i 1

i 1

i 1
wi

2- El numerador es la varianza no explicadas en tamaos de efecto menos el

nmero de grados de libertad. El denominador es una funcin sumatoria de
los pesos.
 COMBINACION DE RESULTADOS
Construyendo modelos de efectos aleatorios (3)

1- Cuando hay estructura subyacente en los datos, y los predictores son

categricos, la varianza se calcula como:
QE ( n m )
pooled
2

kj

m n w 2
ij
w i
i 1
kj


wij
j 1 i 1

i 1

2- El numerador es de nuevo la varianza no explicadas en tamaos de efecto

menos el nmero de grados de libertad. El denominador es una funcin
sumatoria de los pesos.
3- Este modelo se denomina a veces modelo de efectos mixtos porque
incluye variacin aleatoria entre estudios dentro de un grupo y diferencias fija
entre grupos
 COMBINACION DE RESULTADOS
Construyendo modelos de efectos aleatorios (4)

1- Cuando hay estructura subyacente en los datos, y los predictores son

continuos, la varianza se calcula como:

QE ( n 2)
pooled
2

n n n
n m
w X i i
2
2 X i wi X i X i
2
w i

wi w 2
i

i 1 i 1 i 1
2
n n
n

w w X w X
i 1 j 1
i i i
2
i i
i 1 i 1 i 1

2- El numerador es de nuevo la varianza no explicadas en tamaos de efecto

menos el nmero de grados de libertad. El denominador es una funcin
sumatoria de los pesos.
 COMBINACION DE RESULTADOS
MODELO LINEAL GENERAL

1- Los modelos meta-analticos se pueden complejizar introduciendo ms

variables tanto de naturaleza contnua como categrica.
2- Estos modelos pueden ser resueltos mediante modelos lineales
generales ponderados (GLM).
3- GLM usa lgebra matricial para determinar la relacin entre un conjunto
de variables dependientes e independientes.
4- Sea E el vector de dimensin 1 x n de variables dependientes o
tamaos de efecto:
E1


En
 COMBINACION DE RESULTADOS
MODELO LINEAL GENERAL (2)

5- Sea X la matriz de dimensin p x n de variables dependientes:

1 X 11 X p1 donde la primera columna es la nica columna incluida

para un meta-anlisis no estructurado, y las dems
columnas son aadidas cuando existe estructura
1 X 1n X pn

6- Segn GLM, la relacin entre variables dependientes e independientes se

halla segn la ecuacin:
donde es un vector de coeficientes (0 a p) y es
E=X+ el error del modelo

7- Para trabajar con meta-anlisis, debemos saber que los tamao de efecto
varan en precisin alrededor del tamao de efecto acumulado verdadero, por
lo que se necesita una estima ponderada de :
donde W es una matriz diagonal con los pesos
=(XtWX) -1 XtWE de los estudios individuales
 COMBINACION DE RESULTADOS
MODELO LINEAL GENERAL (3)

8- Resolviendo el GLM:

Ei= 0 + 1X1i +b2X2i +...+ pXpi+

9- La varianza de los coeficientes se hallan como:

Xt WX
1

10- Usando GLMs se pueden tambin hallar la heterogeneidad explicada por

el modelo QM, la heterogeneidad residual QE y por ende la heterogeneidad
total QT (frmulas no mostradas):
 EVALUACION DEL SESGO DE PUBLICACION

1- Un problema cuando se efectan meta-anlisis es la existencia de sesgo

en las publicaciones: la publicacin selectiva de artculos mostrando cierto
tipo de resultados sobre otros (Begg y Berlin 1988).

2-Esto ocurre por:

a) la tendencia de las revistas de rechazar resultados no
significativos
b) la tendencia de los propios autores de no enviar resultados no
significativo.
Este comportamiento conlleva un dficit de resultados nulos (file-drawer
problem), y una sobreestimacin de resultados significativos (inferencia
anticonservadora).

3- Hay varias formas de evaluar la existencia de sesgo de publicacin

Begg, C.B. y J.A. Berlin 1988. Publication bias: a problem in interpreting medical data. Journal of the Royal Statistical
Society, Seria A 151:419-463
 EVALUACION DEL SESGO DE PUBLICACION
METODOS GRFICOS

Histogramas ponderados (Greenland 1987)

1- Un forma simple de evaluacin es mediante histogramas ponderados, en
los cuales la altura de las barras de cada clase se construye mediante los
pesos combinados de los estudios en vez de las frecuencias.
2- Los mtodos meta-analticos asumen normalidad. As, un histograma
ayuda a identificar outliers.
3- Histogramas bimodales o
multimodales indican modelos
estructurados segn variables
categricas.
4- Si hay sesgo de publicacin,
con ausencia de estudios con nulo
o poco efecto, el histograma
mostrar huecos.

Greenland, S. 1987. Quantitative methods in the review of epidemiologic literature. Epidemiologic Reviews 9:1-30
 EVALUACION DEL SESGO DE PUBLICACION
Grfico de embudo (Funnel Plot)

1- Otra forma simple de evaluacin es mediante Funnel Plots, un grfico

que enfrenta los tamaos de efectos vs. el tamao muestral.
2- Si no hay sesgo debe cumplirse:
-Estudios con tamao muestral bajo deben tener error de muestreo alto, y por lo tanto la variacin
alrededor del tamao de efecto debe disminuir cuando aumento el tamao muestral
-El tamao de efecto acumulado debe ser independiente del tamao muestral
-Para un tamao muestral dado, los estudios deben estar distribuidos segn una normal de
media el tamao de error acumulado

Tamao de efecto
3- Si estas tres prediciones se
2.22

cumplen, debemos obtener un grfico 0.50

en forma de embudo -1.23

d

-2.95

-4.67
2.00 6.50 11.00 15.50 20.00
Nc

Tamao muestral
 EVALUACION DEL SESGO DE PUBLICACION
Grfico de cuantiles normales (Wang y Bushman 1988)

1- Es un tipo especial del grfico cuantil-cuantil, donde se enfrentan los

cuantiles de nuestra distribucin (el tamao de efecto estandarizado) con
una distribucin normal. Si son iguales, los puntos deben caer en la recta
X=Y.
2- Este mtodo tiene la ventaja de que es ms fcil de interpretar, y adems
comprueba el presupuesto de normalidad bsico a todo estudio meta-
analtico 5.53

3- La pendiente de la regresin lineal

indica la desviacin estandar de los
S 3.29
t
a
n
d
a
r

datos (debera ser 1) y la interseccin

d
i
z
e
d
E 1.05
f

con el eje y indica la media

f
e
c
t

S
i

4- Sesgos de publicacin provoca

z
e
-1.18

huecos extraos o no linealidad

extrema.
-3.42
-2.27 -1.13 0.00 1.13 2.27
Normal Quantile

Wang, M.C. y B.J. Bushman 1998. Using the normal quantile plot to explore meta-analytic data sets. Psychological
Methods 3: 46-54
 EVALUACION DEL SESGO DE PUBLICACION
METODOS ESTADISTICOS

Prueba de correlacin de rangos (Begg 1994)

1- Se correlaciona el tamao de efecto estandarizado, E* , y el tamao
muestral, n. Es un anlogo estadstico del grfico del embudo.

E*
E E
i donde v vi
*
i
1
v
vi* j

2- Como pruebas de correlacin se utiliza una correlacin de rango simple,

la tau de Kendall o la rho de Spearman.
3- Correlacin significativa= Sesgos de publicacin.
4- Este mtodo aumenta su potencia para detectar sesgos a medida que
aumenta el nmero de estudios includos en el meta-anlisis.

Begg C.B. 1994. Publication bias. En H. Cooper y L.V. Hedge (eds) The Handbook of research synthesis (pp 399-409).
Russell Sage Fundation, New York
 EVALUACION DEL SESGO DE PUBLICACION

Fail-safe Number (Rosenthal 1979)

1- Este mtodo calcula el nmero adicional de estudios con tamao de efecto
cero que se tiene que aadir para cambiar los resultafos de significativo a no
significativo.
2- Se puede calcular segn varios mtodos. El clsico es calcular NR
propuesto por Rosenthal como:

NR
1
Z p
n
i
2

n
n = nmero de estudios
Z(pi) = los Z-scores de los valores individuales significativos
2
Z
Z= Z-score de una cola asociado al nivele de significacin deseado

3-Orwin propone un mtodo alternativo

n E o E m
n = nmero de estudios
Eo = tamao de efecto medio de los estudios originales
NO n
Em En En= tamao de efecto medio de los estudios adicionales
Em = tamao de efecto mnimo deseado (usualmente 0.2).

Rosenthal. R. 1979. The file drawer problem and tolerance for null results. Psychological Bulletin 86: 638-641
 EVALUACION DEL SESGO DE PUBLICACION

Weigthed Fail-safe Number (Rosenberg 2005)

1- Los metodos anteriores tiene el problema de que no ponderan por el
tamao muestral de cada estudio particular
2- Rosenberg a propuesto un metodo promediado de calcular el nmero de
estudios con resultado nulo necesarios para reducir el nivel de significacin.

nW ' wE
2

wi
N W ' i i
n = nmero de estudios

wi
2
wi = 1/vi2 t v

3- El safe number en todo caso debe ser inferior a un valor umbral 2N+10,
siendo N=nmero de estudios.

Rosenberg, M.S. 2005. The file-drawer problem revisited: a general weighted method for calculating fail-safe numbers
in meta-analysis. Evolution 59: 464-468