286 - Uets 2006 01

P.V.P.
: 6 euros
Elaboracin y validacin
de instrumentos
metodolgicos para la
evaluacin de productos
de las Agencias
de Evaluacin de
Tecnologas Sanitarias
INFORMES, ESTUDIOS E INVESTIGACIN
MINISTERIO DE SANIDAD Y CONSUMO UETS 2006/01
www.msc.es
www.madrid.org/lainentralgo
M
I
N
I
S
T
E
R
I
O
D
E
S
A
N
I
D
A
D
Y
C
O
N
S
U
M
O
I
n
s
t
r
u
m
e
n
t
o
s
p
a
r
a
l
a
e
v
a
l
u
a
c
i
n
d
e
p
r
o
d
u
c
t
o
s
d
e
l
a
s
A
g
e
n
c
i
a
s
E
T
S
28 INFORMES, ESTUDIOS E INVESTIGACIN
Figura 2. Listado de vericacin para la evaluacin de la calidad de los
informes de evaluacin de tecnologas sanitarias
S Parc. No NP
Dominio 6. Conclusiones del informe
24. Se discuten los resultados del informe?
25. Se han utilizado procedimientos explcitos para establecer el nivel de evidencia?
26. El informe establece con claridad sus conclusiones?
27. Se sugieren futuras lneas de actuacin?
Parc.: Parcialmente; NP: No procede. Versin 2007
Figura 3
El pie de gura el mismo que antes: Muestra de las aplicaciones informticas para los instrumentos de evaluacin de la calidad
de los informes de evaluacin de TS, las revisiones sistemticas, los meta-anlisis y los anlisis econmicos en evaluacin de TS.
de instrumentos
de las Agencias
de Evaluacin de
Development and Validation of Methods for
Quality Assessment of Health Technologies
Assessment Reports
INSTRUMENTOS PARA LA EVALUACIN DE PRODUCTOS DE LAS AGENCIAS ETS 27
S Parc. No NP
Dominio 1. Informacin preliminar
1. Aparecen los datos de contacto que permitan solicitar ms informacin?
2. Se identican con claridad los autores o participantes en la elaboracin del informe de
evaluacin de TS?
3. Se detalla la fecha de publicacin del informe?
4. Se informa sobre la posible existencia de conicto de intereses?
5. Se informa sobre si se ha realizado una revisin externa?
6. La estructura del informe de evaluacin de TS es adecuada?
7. Se incluye un resumen estructurado en un lenguaje no especializado?
Dominio 2. Justicacin y objetivos
8. Se identica la cuestin planteada y el nivel de toma de decisiones en el que surgi?
9. Se especica la pregunta de evaluacin y sta es adecuada?
10. Se especican los aspectos cubiertos por el informe?
11. Se describe la tecnologa sanitaria evaluada?
Dominio 3. Metodologa
12. Se especica la estrategia de bsqueda utilizada?
13. Se especican las fuentes de informacin consultadas?
14. Se especican los criterios de seleccin (inclusin y exclusin) de la literatura?
15. Se describe el mtodo utilizado para la extraccin de los datos?
16. Se ha aplicado un mtodo explcito para evaluar la calidad de la literatura?
17. Se ha descrito el mtodo utilizado para la sntesis de la literatura?
Dominio 4. Resultados del informe de evaluacin de TS
18. Se presentan de forma clara los resultados de los estudios?
19. Se incluye una interpretacin de los resultados del informe
de evaluacin de TS?
Dominio 5. Contextualizacin
20. Se incluye una valoracin del impacto econmico de la aplicacin de la tecnologa
evaluada?
21. Se han considerado las implicaciones legales?
22. Se han considerado las implicaciones ticas?
23. Se han tenido en cuenta aspectos organizativos relacionados con la adquisicin,
puesta en marcha y funcionamiento de la tecnologa?
Autores: Grupo de Elaboracin y Validacin de Instrumentos de Evaluacin de la Calidad de los productos
de Agencias/Unidades de Evaluacin de Tecnologas Sanitarias (GEVIEC)
Direccin Tcnica: Unidad de Evaluacin de Tecnologas Sanitarias. Agencia Lan Entralgo
Este documento se ha realizado en el marco de colaboracin previsto en el Plan de Calidad para el Sistema
Nacional de Salud, al amparo del convenio de colaboracin suscrito por el Instituto de Salud Carlos III,
organismo autnomo del Ministerio de Sanidad y Consumo, y la Agencia Lan Entralgo.
Edita:
Agencia Lan Entralgo. Unidad de Evaluacin de Tecnologas Sanitarias
Gran Va, 27
28013 Madrid
Espaa-Spain
de la presente edicin: Ministerio de Sanidad y Consumo
de los contenidos: Consejera de Sanidad y Consumo. Comunidad de Madrid
ISBN: 978-84-451-3150-3
NIPO: 477-08-004-5
Depsito Legal: M-53181-2008
Produce: www.cege.es Eloy Gonzalo, 25, 1 izda. 28010 Madrid
Este documento puede ser reproducido en todo o en parte, por cualquier medio, siempre que se cite
explcitamente su procedencia.
Grupo de Elaboracin y Validacin de Instrumentos de Evaluacin de la Calidad de los productos de
Agencias/Unidades de Evaluacin de Tecnologas Sanitarias (GEVIEC). Instrumentos metodolgicos para la
evaluacin de productos de las Agencias de Evaluacin de Tecnologas Sanitarias. Madrid: Plan Nacional
para el SNS del MSC. Unidad de Evaluacin de Tecnologas Sanitarias, Agencia Lan Entralgo; 2008.
Informes de Evaluacin de Tecnologas Sanitarias: UETS N 2006/01
http://www.060.es
de instrumentos
de las Agencias
de Evaluacin de
Assessment Reports
Resultados
El Instrumento para la Evaluacin de la Calidad de los Informes de Eva-
luacin de Tecnologas Sanitarias consta de un listado de verifcacin y un
documento explicativo:
El Listado de verifcacin (fgura 2) se compone de 27 tems, que eva-
lan los distintos elementos importantes para la calidad de los informes de
evaluacin de TS. Estos elementos se organizan en los 6 dominios siguien-
tes:
Dominio 1 Informacin preliminar
Dominio 2 Justicacin y objetivos
Dominio 3 Metodologa
Dominio 4 Resultados del informe de evaluacin de TS
Dominio 5 Contextualizacin
Dominio 6 Conclusiones del informe
El Documento explicativo (Anexo III) aporta aclaraciones sobre el
ideal de calidad, por lo que, no todas las caractersticas que recoge seran
exigibles a cualquier informe de evaluacin de TS, para puntuar afrmativa-
mente el tem al que se referen.
En un recuadro tras la explicacin de cada tem, se incluyen las Orien-
taciones, que sealan aquellos aspectos que se consideran caractersticas
esenciales para cumplir el elemento, es decir, sin las cuales el tem debera
puntuarse negativamente.
Este instrumento est disponible para ser utilizado, adems de en for-
mato de texto, a travs de una aplicacin informtica (fgura 3) que integra
el listado de verifcacin y las Orientaciones del Documento explicativo,
facilitando as la evaluacin, el almacenamiento y el envo de sus resulta-
dos.
A la aplicacin informtica se puede acceder libremente a travs de
la pgina web de la plataforma desarrollada para la Red de Agencias/Uni-
dades de Evaluacin de TS (http://aunets.isciii.es) en el marco del Plan de
Calidad para el SNS, dentro del apartado referido aHerramientas de apoyo
metodolgico.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Conficto de inters
Los autores declaran que no tienen intereses que puedan competir con el
inters primario y los objetivos de este informe e infuir en su juicio profe-
sional al respecto.
Agradecimientos
Los autores quieren agradecer su colaboracin a Vctor Abraira por sus
aportaciones en los estudios de fabilidad desarrollados.
Desarrollo
Los participantes fueron convocados a travs de un correo electrnico en
el que se les explicaba el objetivo y la metodologa a emplear en el proceso
y se les adjuntaba adems de la Primera propuesta de listado de verifca-
cin para evaluar la calidad de los informes de evaluacin de TS, el Lis-
tado de comprobacin para informes de tecnologas sanitarias INAHTA
2002(http://www.inahta.org/HTA/Checklist/).
La primera y segunda reuniones se celebraron en dos das consecuti-
vos, con una duracin aproximada de 60 minutos por reunin.
Los acuerdos alcanzados durante las dos reuniones va e-meeting fue-
ron en la lnea de: aprobar componentes, reformular otros, incluir nuevos
(fecha de publicacin del informe, estructura del informe) y desdoblar en
varias preguntas alguno de los mismos.
Los miembros del grupo tambin fueron consultados sobre la perti-
nencia de que el grupo coordinador reformulara los elementos y elaborara
el material de apoyo del instrumento teniendo en cuenta las sugerencias que
haban surgido durante las reuniones. Hubo acuerdo a este respecto.
En una fase posterior, a travs de dos intercambios de correo electr-
nico entre los miembros del grupo GEVIEC, se introdujeron modifcaciones
en la primera versin del instrumento. Estas mejoras pueden resumirse en
los siguientes aspectos: mejoras en la formulacin de algunos tems y en sus
descripciones en el documento explicativo; inclusin y modifcacin de las
orientaciones del documento explicativo (encaminadas a defnir el mnimo
necesario para cumplir cada elemento de calidad); y se recogi la propuesta
de desarrollar un formato electrnico que facilitara la cumplimentacin del
listado de verifcacin y permitiera el almacenamiento de las valoraciones
realizadas.
Estudio piloto
Dos mdicos residentes de 4 ao de Medicina Preventiva y Salud Pblica
rotantes de la UETS (Madrid), aplicaron el Instrumento para la Evaluacin
de la Calidad de los Informes de Evaluacin de TS resultante de las fases
anteriores sobre dos informes de evaluacin de TS, a fn de detectar posibles
errores de interpretacin en el listado de verifcacin, su documento explica-
tivo, o las instrucciones para la cumplimentacin que los acompaan. Como
resultado del estudio piloto se modifcaron las instrucciones generales de
cumplimentacin.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
ndice
I. ndice de autores 9
I.1. Coordinacin general del informe 9
I.2. Comit editorial 9
I.3. Coordinacin por captulos 9
I.4. Autores colaboradores: Grupo de Elaboracin y Validacin
de Instrumentos de Evaluacin de la Calidad de los productos
de Agencias/Unidades de Evaluacin de Tecnologas
Sanitarias (GEVIEC) 11
I.5. Revisin externa 12
I.6. Otros participantes 12
II. Antecedentes 13
III. Objetivos 15
III.1. Objetivo principal 15
III.2. Objetivos especcos 15
IV. Metodologa general 17
IV.1. Desarrollo conceptual 17
IV.2. Seleccin de componentes 19
IV.3. Evaluacin de la validez aparente 19
IV.4. Elaboracin de la versin denitiva del instrumento 20
IV.5. Evaluacin de la abilidad del instrumento 21
V. Instrumento para la Evaluacin de la Calidad de los Informes
de Evaluacin de Tecnologas Sanitarias 23
V.1. Metodologa especca 23
V.2. Resultados 26
V.3. Validacin: Estudio de abilidad del Instrumento para
la Evaluacin de la Calidad de los Informes de Evaluacin
de Tecnologas Sanitarias 29
Evaluacin de la validez aparente
Objetivo
Alcanzar un consenso en cuanto a cules de los elementos propuestos para
el Instrumento para la Evaluacin de la Calidad de los Informes de Eva-
luacin de Tecnologas Sanitarias deberan ser incluidos en el instrumento,
debido a su aparente relacin con la calidad de estos informes.
Metodologa
A fn de garantizar una adecuada validez aparente de los componentes o
elementos del instrumento, se utiliz el consenso de expertos.
Debido a la relevancia de la herramienta en la que se bas la seleccin
de los componentes (cuya primera versin haba sido consensuada a nivel
internacional, y cuya segunda versin estaba en avanzada fase de elabora-
cin por el QAWG durante el proceso de desarrollo de este proyecto), se
consider adecuado realizar reuniones estructuradas y dirigidas sin mante-
ner el anonimato entre los participantes.
Para cada componente, se consider que haba consenso cuando se al-
canz una mayora cualifcada de tres quintos.
El nmero de reuniones necesarias no fue determinado con antelacin,
planifcando desarrollar las requeridas para alcanzar un consenso sobre qu
componentes se incluiran en el instrumento.
Las reuniones se desarrollaron va e-meeting (audio) a travs de la pla-
taforma virtual Centra7 de la Red Europea de Evaluacin de Tecnologas
Sanitarias (EUNETHTA). Su moderacin se llev a cabo por un miembro
del equipo investigador, que actu a su vez como experto participante en el
consenso. Otro miembro del equipo investigador actu como observador no
participante.
En una fase posterior, a travs de intercambios de correos electrnicos,
se recogieron propuestas sobre el formato del instrumento, la formulacin
de los tems, las descripciones del documento explicativo y los mnimos ne-
cesarios para cumplir los elementos de calidad (Orientaciones del docu-
mento explicativo).
Participantes
Los miembros del grupo GEVIEC (Anexo I), actuaron como expertos, en
base a sus conocimientos y experiencia en la materia, y representaron a las
diferentes Agencias/Unidades de Evaluacin de TS del SNS.
Pese a que de Avalia-t y de la UETS fueron invitados varios participan-
tes, nicamente uno de cada agencia/unidad actu como portavoz.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
VI. Instrumento para la Evaluacin de la Calidad de las Revisiones
Sistemticas 35
VI.1. Metodologa especca 35
VI.2. Resultados 45
VI.3. Validacin del Instrumento para la Evaluacin de la Calidad
de las Revisiones Sistemticas 47
VII. Instrumento para la Evaluacin de la Calidad de los Meta-anlisis 55
VII.1. Metodologa especca 55
VII.2. Resultados 57
VIII. Instrumento para la Evaluacin de la Calidad de los Estudios
de Calidad de Vida Relacionada con la Salud (CVRS) 61
VIII.1. Metodologa especca 61
VIII.2. Resultado 62
IX. Instrumento para la Evaluacin de la Calidad de los Anlisis
Econmicos en Evaluacin de Tecnologas Sanitarias 65
IX.1. Metodologa especca 65
IX.2. Resultados 67
X. Anexos 71
X.1. Anexo I. Miembros del Grupo de Elaboracin y Validacin
de Instrumentos de Evaluacin de la Calidad de los Productos
de Agencias y Unidades de Evaluacin de Tecnologas
Sanitarias (Grupo GEVIEC) 71
X.2. Anexo II. Participantes en los grupos de trabajo desarrollados
en cada instrumento 72
X.3. Anexo III. Documento explicativo del Instrumento para
la Evaluacin de la Calidad de los Informes Evaluacin
X.4. Anexo IV. Estudios seleccionados para el proceso
de evaluacin de la abilidad 87
X.5. Anexo V. Cuestionario sobre la utilizacin de instrumentos para
la evaluacin de la calidad de las revisiones sistemticas 89
X.6. Anexo VI. Matriz descripcin de los instrumentos de evaluacin
de la calidad para revisiones sistemticas 90
X.7. Anexo VII. Dominios y elementos para la evaluacin de la calidad
de las revisiones sistemticas 92
X.8. Anexo VIII. Descripcin de los dominios y elementos 94
Instrumento para la Evaluacin
de la Calidad de los Informes
de Evaluacin de Tecnologas
Sanitarias
Coordinado por Juan Antonio Blasco y Gloria Ariza
Metodologa especfca
Seleccin de componentes del instrumento:
La seleccin del listado inicial de componentes del Instrumento para la
Evaluacin de la Calidad de los Informes de Evaluacin de TS se realiz en
base al Listado de comprobacin para informes de tecnologas sanitarias
de la Red Internacional de Agencias de Evaluacin de TS (INAHTA) 2002
y teniendo en cuenta los avances en la revisin de este documento llevados
a cabo durante el 2006 por el grupo de trabajo INAHTAQuality Assurance
Working Group (QAWG), en el que participaron algunos de los miembros
del grupo GEVIEC.
El desarrollo de este proyecto as como la utilizacin de esta informa-
cin bsica fue comunicado oportunamente a la secretara de INAHTA.
La utilizacin como base de este documento fue consensuada por el
grupo GEVIEC.
Dada la relevancia de este instrumento de referencia internacional
para todas las Agencias de Evaluacin de TS, no se consider la realizacin
de una revisin bibliogrfca sobre este tipo de instrumentos.
En la primera propuesta de listado de verifcacin fueron incluidas 26
preguntas organizadas en los siguientes apartados (teniendo en cuenta la
flosofa del listado de comprobacin de INAHTA):
Informacin preliminar
Por qu?
Cmo?
Resultados del informe
Contexualizacin
Implicaciones de los resultados y conclusiones del informe
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
X.9. Anexo IX. Matriz evaluacin de los instrumentos de evaluacin de
la calidad para las revisiones sistemticas de la calidad de las RS.
Dominios y elementos 96
X.10. Anexo X a. Instrumento para la Evaluacin de la Calidad de las
Revisiones Sistemticas: Muestra del primer cuestionario 98
X.11. Anexo X b. Instrumento para la Evaluacin de la Calidad de las
Revisiones Sistemticas: Muestra del segundo cuestionario 100
X.12. Anexo XI. Documento explicativo del Instrumento para
la Evaluacin de la Calidad de las Revisiones Sistemticas 101
X.13. Anexo XII. Primera propuesta Listado de vericacin
del Instrumento para la Evaluacin de la Calidad
de los Meta-anlisis 109
X.14. Anexo XIII. Cuestionario sobre la propuesta de Instrumento
para la Evaluacin de la Calidad de los Meta-anlisis 111
X.15. Anexo XIV. Documento explicativo del Instrumento para
la Evaluacin de la Calidad de los Meta-anlisis 112
X.16. Anexo XV. Documento explicativo del Instrumento para
la Evaluacin de la Calidad de los Estudios de Calidad de Vida
Relacionada con la Salud (CVRS) 121
X.17. Anexo XVI. Resumen de la metodologa empleada en
el desarrollo de la Propuesta de estandarizacin de mtodos
para la evaluacin econmica aplicada a las tecnologas
sanitarias 131
X.18. Anexo XVII. Documento explicativo del Instrumento para
la Evaluacin de la Calidad de los Anlisis Econmicos
en Evaluacin de Tecnologas Sanitarias 136
XI. Bibliografa 151
Evaluacin de la fabilidad del instrumento
Se evalu la consistencia inter-observador de los instrumentos de uso ms
frecuente (Instrumento para la Evaluacin de la Calidad de los Informes de
Evaluacin de TS e Instrumento para la Evaluacin de la Calidad de las Re-
visiones Sistemticas), entre tcnicos de cada una de las Agencias/Unidades
de Evaluacin de Tecnologas Sanitarias (seleccionados por los miembros
del grupo GEVIEC en cada una de las mismas).
A fn de evaluar la fabilidad del instrumento con los productos sobre
los que ser aplicado, stos fueron seleccionados entre los disponibles en las
pginas web de las Agencias/Unidades de Evaluacin de TS del SNS, inclu-
yendo productos de diferente temtica y calidad.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
ndice de autores
Coordinacin general del informe
Juan Antonio Blasco Amaro
Coordinador de la Unidad de Evaluacin de Tecnologas Sanitarias de
la Agencia Lan Entralgo de la Comunidad de Madrid
Elena Andradas Aragons
Directora del rea de Investigacin y Estudios Sanitarios de la Agen-
cia Lan Entralgo de la Comunidad de Madrid
Comit editorial
Gloria Ariza Cardiel
Unidad de Evaluacin de Tecnologas Sanitarias (UETS),
Agencia Lan Entralgo de la Comunidad de Madrid
Mercedes Reza Goyanes
Coordinacin por captulos
Instrumento para la Evaluacin de la Calidad de los
Informes de Evaluacin de Tecnologas Sanitarias
directores de las respectivas Agencias/Unidades, se compone de 8 miembros
pertenecientes a la Agencia de Evaluacin de Tecnologas Sanitarias del
Instituto de Salud Carlos III (AETS), la Axencia de Avaliacin de Tecno-
loxas Sanitarias de Galicia (Avalia-T,) la Agncia dAvaluaci de Tecnologia
i Recerca Mdiques de Catalua (AATRM), la Agencia de Evaluacin de
Tecnologas Sanitarias de Andaluca (AETSA), Osasun Teknologien Eba-
luazioa del Pas Vasco (OSTEBA), el Servicio de Evaluacin y Planifcacin
del Servicio Canario de Salud (SESCS) y la Unidad de Evaluacin de Tec-
nologas Sanitarias de la Agencia Lan Entralgo de la Comunidad de Madrid
(UETS).
En funcin de las necesidades metodolgicas y peculiaridades de cada
instrumento, adems de los miembros del grupo GEVIEC, se incorporaron
a los grupos de trabajo otros tcnicos y expertos del mbito de cada instru-
mento.
El resultado de esta fase consiste en una serie de listados de verifca-
cin cuyos tems refejan los elementos que deben ser evaluados con objeto
de conocer la calidad de los productos para los que fueron diseados (enten-
diendo por calidad lo expresado en el apartado Desarrollo conceptual).
Cada listado de verifcacin se acompaa de un documento explicativo
que aclara el signifcado de cada tem y orienta sobre las categoras de res-
puesta. Tanto los listados de verifcacin como el contenido de los documen-
tos explicativos fueron consensuados por el grupo GEVIEC.
Elaboracin de la versin defnitiva del
instrumento
En una primera fase se realiz un estudio piloto con personal de la propia
UETS a fn de detectar errores de interpretacin y depurar los listados de
verifcacin y sus correspondientes documentos explicativos.
La versin defnitiva del instrumento consiste en un listado de verifca-
cin y un documento explicativo.
El Listado de verifcacin se compone de una serie de preguntas so-
bre los elementos importantes para la calidad de los distintos productos, y
cuyas categoras de respuesta son S, No, No procede, y en algunos ins-
trumentos, Parcialmente.
El Documento explicativo aporta aclaraciones sobre el ideal de cali-
dad de cada elemento. Tambin seala aquellos aspectos que se consideran
caractersticas esenciales para cumplir el elemento, es decir, sin las cuales
el tem debera puntuarse negativamente (stas se recogen en las Orienta-
ciones).
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Instrumento para la Evaluacin de la Calidad de las
Revisiones Sistemtica
Agencia Lan Entralgo de la Comunidad de Madrid.
Meta-anlisis
Estudios de Calidad de Vida Relacionada con la Salud
Jordi Alonso Caballero
Institut Municipal dInvestigaci Mdica (IMIM) de Barcelona.
Anlisis Econmicos en Evaluacin de Tecnologas
Sanitarias
Julio Lpez Bastida
Servicio de Evaluacin y Planifcacin del Servicio Canario de Salud.
Juan Oliva Moreno
Universidad de Castilla la Mancha y Fundacin de Estudios de Eco-
noma Aplicada.
Ser instrumentos desarrollados a travs del consenso de expertos de
todas las Agencias/Unidades de Evaluacin de TS del SNS.
Estar basados en el anlisis de componentes de calidad. Cada com-
ponente debe tener la claridad, comprensibilidad y especifcidad su-
fciente para evaluar cada uno de los aspectos representativos de los
productos evaluados. Esta aproximacin permite analizar diferentes
elementos de calidad de forma individual sin los problemas asociados a
la asignacin de scores, como el derivado de no considerar el hecho de
que la importancia relativa de cada uno de los elementos puede variar
en funcin del mbito del trabajo
9
.
Deben ser instrumentos relativamente breves y sencillos de utilizar.
As, se presentan en forma de listado de verifcacin con un documento
explicativo que facilita su cumplimentacin.
Deben poder ser utilizados por metodlogos y revisores de las Agen-
cias/Unidades de Evaluacin de TS.
Seleccin de componentes
Para la seleccin de los listados iniciales de componentes o elementos a incluir
en cada instrumento, se revisaron las herramientas de este tipo existentes en la
literatura y/ o la experiencia de grupos nacionales e internacionales.
Los elementos incorporados en estos listados iniciales se redactaron en
forma de tems o preguntas formando las primeras propuestas de Listado de
verifcacin. Estas primeras propuestas en algunos casos se acompaaron de
documentos explicativos con el fn de aclarar el signifcado de cada tem.
A travs del consenso de expertos se evalu la validez aparente (de con-
tenido) de las propuestas generadas en la fase anterior. La evaluacin de
la validez aparente es un proceso cualitativo que consiste en determinar si,
segn la opinin crtica de los expertos y en base a la informacin disponi-
ble, cada uno de los tems incluidos en las propuestas de instrumentos est
claramente relacionado con la calidad de los productos que evaluarn.
Para el desarrollo de esta fase se constituy un grupo de expertos con
representacin de cada una de las Agencias y Unidades de Evaluacin de TS
del SNS (Grupo de Elaboracin y Validacin de Instrumentos de Evalua-
cin de la Calidad de los productos de Agencias/Unidades de Evaluacin de
Tecnologas Sanitarias Grupo GEVIEC). Este grupo (cuyos miembros se
recogen en el Anexo I), nombrado a peticin del equipo investigador por los
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
no estn sesgados y proporcionan una respuesta correcta a la pregunta plan-
teada en su objetivo.
En el contexto de este proyecto, los instrumentos para evaluar la ca-
lidad de los informes de evaluacin, las revisiones sistemticas, los meta-
anlisis, los estudios de calidad de vida relacionada con la salud y los anlisis
de evaluacin econmica deben cumplir las siguientes caractersticas:
Garantizar la transparencia y calidad de las acciones desarrolladas por
las Agencias/Unidades de Evaluacin de TS en el marco del Plan de
Calidad para el SNS.
Ser instrumentos que permitan evaluar la calidad de estos productos
desarrollados por las Agencias/Unidades de Evaluacin de Tecnolo-
gas Sanitarias.
Figura 1. Etapas del desarrollo de los instrumentos para la evaluacin de la
calidad de los productos de las Agencias/Unidades de Evaluacin de TS
Desarrollo conceptual
Propuesta de componentes
(elementos de calidad)
Evaluacin de su validez aparente
Revisin bibliogrca
Depuracin del documento
explicativo
Incorporacin del
documento explicativo
(manual de utilizacin)
Diseo depurado del instrumento
Evaluacin de las
caractersticas psicomtricas
Autores colaboradores:
Grupo de Elaboracin y Validacin de
Instrumentos de Evaluacin de la Calidad
de los productos de Agencias/Unidades
de Evaluacin de Tecnologas Sanitarias
(GEVIEC)
Maria-Dolors Estrada Sabadell
Agncia dAvaluaci de Tecnologia i Recerca Mdiques (AATRM) de
Catalua
Iaki Imaz Iglesia
Agencia de Evaluacin de Tecnologas Sanitarias (AETS), Instituto
de Salud Carlos III del Ministerio de Sanidad y Consumo
Julio Lpez Bastida
Servicio de Evaluacin y Planifcacin del Servicio Canario de Salud
(SESCS)
Marta Lpez de Argumedo Gonzlez de Durana
Osasun Teknologien Ebaluazioa (OSTEBA) del Pas Vasco
Alberto Ruano Ravia
Axencia de Avaliacin de Tecnoloxas Sanitrias de Galicia (Avalia-T)
Vctor Sarmiento Gonzlez-Nieto
Agencia de Evaluacin de Tecnologas Sanitarias de Andaluca
(AETSA)
Leonor Varela Lema
Metodologa general
La metodologa empleada para elaborar los instrumentos para evaluar la
calidad de las revisiones sistemticas, informes de evaluacin de TS, meta-
anlisis, estudios de calidad de vida relacionada con la salud y anlisis de
evaluacin econmica es una adaptacin a la propuesta de Streiner y Nor-
man en su Gua para el desarrollo de escalas de medicin de la salud
8
.
Segn sta, el desarrollo de estos instrumentos implica seguir el siguiente
proceso:
1. Desarrollo conceptual.
2. Seleccin inicial de los elementos/componentes que sern valorados
por el instrumento.
3. Evaluacin de su validez aparente.
4. Elaboracin de la versin defnitiva del instrumento.
5. Medicin de las caractersticas psicomtricas del instrumento: consis-
tencia y validez de constructo.
En el fgura 1 se muestran en esquema las etapas del desarrollo para
cada uno de los instrumentos.
Los distintos instrumentos fueron desarrollados en el siguiente orden:
en primer lugar, el Instrumento para la Evaluacin de la Calidad de las
RS, en segundo lugar el Instrumento para la Evaluacin de la Calidad de
los Informes de Evaluacin de TS, y posteriormente el Instrumento para
la Evaluacin de la Calidad de los Meta-anlisis. La elaboracin del Ins-
trumento para la Evaluacin de la Calidad de los Anlisis Econmicos en
Evaluacin de Tecnologas Sanitarias y el Instrumento para la Evaluacin
de la Calidad de los Estudios de Calidad de Vida Relacionada con la Salud
se desarrollaron de forma simultnea a los anteriores.
Las peculiaridades metodolgicas del desarrollo de cada instrumento
se especifcan en los captulos correspondientes (captulos 5, 6, 7, 8 y 9) del
documento.
La calidad de los informes de evaluacin de TS, revisiones sistemticas, me-
ta-anlisis, estudios de calidad de vida relacionada con la salud y anlisis de
evaluacin econmica puede defnirse como el grado de solidez o rigor de
sus resultados, en el sentido de que el modo en que han sido diseados y
realizados permite estar razonablemente convencidos de que sus resultados
Revisin externa
Pablo Alonso Coello
Centro Cochrane Iberoamericano (CCib). Servicio de Epidemiologa
y Salud Pblica. Hospital de Sant Pau. Barcelona.
Otros participantes
Otros profesionales que han colaborado en los grupos de trabajo de
cada instrumento se recogen en el Anexo II de este informe.
Antecedentes
Los informes de evaluacin de tecnologas sanitarias, las revisiones sistem-
ticas, los meta-anlisis y las evaluaciones econmicas constituyen los prin-
cipales productos cientfcos de las Agencias y Unidades de Evaluacin de
Tecnologas Sanitarias (TS). Sin embargo existe una importante variabilidad
en la calidad y el contenido, as como los aspectos que se abordan en la eva-
luacin independientemente del contexto en el que se realizan.
Con el propsito de estandarizar la calidad, estructura y contenido de
los informes de evaluacin, revisiones sistemticas, meta-anlisis y evalua-
ciones econmicas se han elaborado y puesto en marcha algunas iniciativas.
Su fn es garantizar la presencia de elementos esenciales que nos ayuden a
identifcar productos de mayor y menor robustez desde el punto de vista
metodolgico. Tambin se han desarrollado manuales y guas para la elabo-
racin estandarizada de estos productos como en el caso de la evaluacin
econmica. stos permiten orientar el proceso de elaboracin de los pro-
ductos, sin embargo no resultan tiles a la hora de evaluarlos. Los checklist
o listas de comprobacin o verifcacin s permiten de una manera rpida ir
evaluando cada uno de los tems que comprometen la calidad o el contenido
de la publicacin. En el caso de los informes de evaluacin el preceden-
te ms comn es la iniciativa de la International Network of Agencies for
Health Technology Assessment (INAHTA).
A partir de grupos de trabajo metodolgico para la evaluacin de la
calidad de los ensayos clnicos se desarrollaron las primeras iniciativas como
el CONSORT
1
. A partir de esta iniciativa se desarrollaron checklist para la
evaluacin de la calidad de las revisiones sistemticas y meta-anlisis, que
constituyen la declaracin QUOROM
2
publicada en varias revistas cient-
fcas y que est disponible en lengua castellana
3
. En el caso de revisiones
sistemticas de pruebas diagnsticas y pronsticas disponemos de listas de
comprobacin en el marco de iniciativas como son las de STARD y RE-
MARK publicadas tambin en castellano
4
. En el caso de las evaluaciones
econmicas hay iniciativas que han propuesto listados de comprobacin
para evaluar este tipo de producto
5, 6
.
Para la valoracin de la calidad de los informes de evaluacin de tecno-
logas sanitarias ha surgido en el seno de la Red Internacional de Agencias
de Evaluacin de Tecnologas Sanitarias (INAHTA) una propuesta publi-
cada en el 2002, que al inicio de este proyecto se encontraba en proceso de
revisin
7
.
Estas herramientas, instrumentos o checklist se pueden utilizar de for-
ma sencilla para evaluar la calidad de estos productos. Sin embargo no existe
Objetivos
Objetivo principal
Elaborar instrumentos para evaluar la calidad de diferentes tipos de pro-
ductos elaborados en las Agencias/Unidades de Evaluacin de Tecnologas
Sanitarias (TS) que sern consensuados entre dichas Agencias/Unidades.
Objetivos especfcos
La elaboracin de herramientas estandarizadas para la evaluacin de la ca-
lidad de:
Informes de evaluacin de tecnologas sanitarias.
Revisiones Sistemticas (RS).
Meta-anlisis.
Estudios de calidad de vida relacionada con la salud (CVRS).
Anlisis econmicos en evaluacin de TS.
un consenso claro sobre cul de ellos utilizar en nuestro medio ya que no
se ha procedido a establecer una iniciativa de consenso que permita asumir
estas herramientas de forma comn para todas las Agencias/Unidades de
evaluacin en nuestro mbito.
Existen herramientas y diferentes experiencias como las descritas an-
teriormente en el desarrollo de instrumentos para la evaluacin de estos
productos a nivel nacional/internacional (STARD, CONSORT, QUOROM,
INAHTA), pero an es necesaria la elaboracin y consenso de instrumentos
metodolgicos comunes para evaluar y garantizar la calidad de los produc-
tos de las Agencias y Unidades de Evaluacin de TS en el marco del Sistema
Nacional de Salud (SNS).
Objetivos
Objetivo principal
Objetivos especfcos
lidad de:
Meta-anlisis.
un consenso claro sobre cul de ellos utilizar en nuestro medio ya que no
se ha procedido a establecer una iniciativa de consenso que permita asumir
estas herramientas de forma comn para todas las Agencias/Unidades de
evaluacin en nuestro mbito.
Existen herramientas y diferentes experiencias como las descritas an-
teriormente en el desarrollo de instrumentos para la evaluacin de estos
productos a nivel nacional/internacional (STARD, CONSORT, QUOROM,
INAHTA), pero an es necesaria la elaboracin y consenso de instrumentos
metodolgicos comunes para evaluar y garantizar la calidad de los produc-
tos de las Agencias y Unidades de Evaluacin de TS en el marco del Sistema
Nacional de Salud (SNS).
Antecedentes
Los informes de evaluacin de tecnologas sanitarias, las revisiones sistem-
ticas, los meta-anlisis y las evaluaciones econmicas constituyen los prin-
cipales productos cientfcos de las Agencias y Unidades de Evaluacin de
Tecnologas Sanitarias (TS). Sin embargo existe una importante variabilidad
en la calidad y el contenido, as como los aspectos que se abordan en la eva-
luacin independientemente del contexto en el que se realizan.
Con el propsito de estandarizar la calidad, estructura y contenido de
los informes de evaluacin, revisiones sistemticas, meta-anlisis y evalua-
ciones econmicas se han elaborado y puesto en marcha algunas iniciativas.
Su fn es garantizar la presencia de elementos esenciales que nos ayuden a
identifcar productos de mayor y menor robustez desde el punto de vista
metodolgico. Tambin se han desarrollado manuales y guas para la elabo-
racin estandarizada de estos productos como en el caso de la evaluacin
econmica. stos permiten orientar el proceso de elaboracin de los pro-
ductos, sin embargo no resultan tiles a la hora de evaluarlos. Los checklist
o listas de comprobacin o verifcacin s permiten de una manera rpida ir
evaluando cada uno de los tems que comprometen la calidad o el contenido
de la publicacin. En el caso de los informes de evaluacin el preceden-
te ms comn es la iniciativa de la International Network of Agencies for
Health Technology Assessment (INAHTA).
A partir de grupos de trabajo metodolgico para la evaluacin de la
calidad de los ensayos clnicos se desarrollaron las primeras iniciativas como
el CONSORT
1
. A partir de esta iniciativa se desarrollaron checklist para la
evaluacin de la calidad de las revisiones sistemticas y meta-anlisis, que
constituyen la declaracin QUOROM
2
publicada en varias revistas cient-
fcas y que est disponible en lengua castellana
3
. En el caso de revisiones
sistemticas de pruebas diagnsticas y pronsticas disponemos de listas de
comprobacin en el marco de iniciativas como son las de STARD y RE-
MARK publicadas tambin en castellano
4
. En el caso de las evaluaciones
econmicas hay iniciativas que han propuesto listados de comprobacin
para evaluar este tipo de producto
5, 6
.
Para la valoracin de la calidad de los informes de evaluacin de tecno-
logas sanitarias ha surgido en el seno de la Red Internacional de Agencias
de Evaluacin de Tecnologas Sanitarias (INAHTA) una propuesta publi-
cada en el 2002, que al inicio de este proyecto se encontraba en proceso de
revisin
7
.
Estas herramientas, instrumentos o checklist se pueden utilizar de for-
ma sencilla para evaluar la calidad de estos productos. Sin embargo no existe
(UETS).
mento.
instrumento
ciones).
Metodologa general
8
.
proceso:
por el instrumento.
documento.
Revisin externa
Pablo Alonso Coello
Centro Cochrane Iberoamericano (CCib). Servicio de Epidemiologa
y Salud Pblica. Hospital de Sant Pau. Barcelona.
Otros participantes
Otros profesionales que han colaborado en los grupos de trabajo de
cada instrumento se recogen en el Anexo II de este informe.
9
.
gas Sanitarias.
Revisin bibliogrca
explicativo
Incorporacin del
Evaluacin de las
Autores colaboradores:
Grupo de Elaboracin y Validacin de
Instrumentos de Evaluacin de la Calidad
de los productos de Agencias/Unidades
de Evaluacin de Tecnologas Sanitarias
(GEVIEC)
Maria-Dolors Estrada Sabadell
Catalua
Iaki Imaz Iglesia
Agencia de Evaluacin de Tecnologas Sanitarias (AETS), Instituto
de Salud Carlos III del Ministerio de Sanidad y Consumo
Julio Lpez Bastida
(SESCS)
Marta Lpez de Argumedo Gonzlez de Durana
Alberto Ruano Ravia
Vctor Sarmiento Gonzlez-Nieto
(AETSA)
Leonor Varela Lema
Instrumento para la Evaluacin de la Calidad de las
Revisiones Sistemtica
Meta-anlisis
Estudios de Calidad de Vida Relacionada con la Salud
Jordi Alonso Caballero
Institut Municipal dInvestigaci Mdica (IMIM) de Barcelona.
Anlisis Econmicos en Evaluacin de Tecnologas
Sanitarias
Julio Lpez Bastida
Servicio de Evaluacin y Planifcacin del Servicio Canario de Salud.
Juan Oliva Moreno
Universidad de Castilla la Mancha y Fundacin de Estudios de Eco-
noma Aplicada.
9
.
gas Sanitarias.
Revisin bibliogrca
explicativo
Incorporacin del
Evaluacin de las
ndice de autores
Coordinacin general del informe
Coordinador de la Unidad de Evaluacin de Tecnologas Sanitarias de
la Agencia Lan Entralgo de la Comunidad de Madrid
Elena Andradas Aragons
Directora del rea de Investigacin y Estudios Sanitarios de la Agen-
cia Lan Entralgo de la Comunidad de Madrid
Comit editorial
Coordinacin por captulos
Informes de Evaluacin de Tecnologas Sanitarias
(UETS).
mento.
instrumento
ciones).
Metodologa general
8
.
proceso:
por el instrumento.
documento.
X.9. Anexo IX. Matriz evaluacin de los instrumentos de evaluacin de
la calidad para las revisiones sistemticas de la calidad de las RS.
Dominios y elementos 96
X.10. Anexo X a. Instrumento para la Evaluacin de la Calidad de las
Revisiones Sistemticas: Muestra del primer cuestionario 98
X.11. Anexo X b. Instrumento para la Evaluacin de la Calidad de las
Revisiones Sistemticas: Muestra del segundo cuestionario 100
X.12. Anexo XI. Documento explicativo del Instrumento para
la Evaluacin de la Calidad de las Revisiones Sistemticas 101
X.13. Anexo XII. Primera propuesta Listado de vericacin
del Instrumento para la Evaluacin de la Calidad
de los Meta-anlisis 109
X.14. Anexo XIII. Cuestionario sobre la propuesta de Instrumento
para la Evaluacin de la Calidad de los Meta-anlisis 111
X.15. Anexo XIV. Documento explicativo del Instrumento para
la Evaluacin de la Calidad de los Meta-anlisis 112
X.16. Anexo XV. Documento explicativo del Instrumento para
la Evaluacin de la Calidad de los Estudios de Calidad de Vida
Relacionada con la Salud (CVRS) 121
X.17. Anexo XVI. Resumen de la metodologa empleada en
el desarrollo de la Propuesta de estandarizacin de mtodos
para la evaluacin econmica aplicada a las tecnologas
sanitarias 131
Anexo XVII. Documento explicativo del Instrumento para
la Evaluacin de la Calidad de los Anlisis Econmicos
en Evaluacin de Tecnologas Sanitarias 136
XI. Bibliografa 151
Objetivos
Objetivo principal
Objetivos especfcos
lidad de:
Meta-anlisis.
VI. Instrumento para la Evaluacin de la Calidad de las Revisiones
Sistemticas 35
VI.1. Metodologa especca 35
VI.2. Resultados 45
VI.3. Validacin del Instrumento para la Evaluacin de la Calidad
de las Revisiones Sistemticas 47
VII. Instrumento para la Evaluacin de la Calidad de los Meta-anlisis 55
VII.1. Metodologa especca 55
VII.2. Resultados 57
VIII. Instrumento para la Evaluacin de la Calidad de los Estudios
de Calidad de Vida Relacionada con la Salud (CVRS) 61
VIII.1. Metodologa especca 61
VIII.2. Resultado 62
IX. Instrumento para la Evaluacin de la Calidad de los Anlisis
Econmicos en Evaluacin de Tecnologas Sanitarias 65
IX.1. Metodologa especca 65
IX.2. Resultados 67
X. Anexos 71
X.1. Anexo I. Miembros del Grupo de Elaboracin y Validacin
de Instrumentos de Evaluacin de la Calidad de los Productos
de Agencias y Unidades de Evaluacin de Tecnologas
Sanitarias (Grupo GEVIEC) 71
X.2. Anexo II. Participantes en los grupos de trabajo desarrollados
en cada instrumento 72
X.3. Anexo III. Documento explicativo del Instrumento para
la Evaluacin de la Calidad de los Informes Evaluacin
X.4. Anexo IV. Estudios seleccionados para el proceso
de evaluacin de la abilidad 87
X.5. Anexo V. Cuestionario sobre la utilizacin de instrumentos para
la evaluacin de la calidad de las revisiones sistemticas 89
X.6. Anexo VI. Matriz descripcin de los instrumentos de evaluacin
de la calidad para revisiones sistemticas 90
X.7. Anexo VII. Dominios y elementos para la evaluacin de la calidad
de las revisiones sistemticas 92
X.8. Anexo VIII. Descripcin de los dominios y elementos 94
Sanitarias
Metodologa especfca
del grupo GEVIEC.
grupo GEVIEC.
Por qu?
Cmo?
Contexualizacin
de evaluacin. Se estableci un plazo de dos semanas para remitir las evalua-
ciones al equipo investigador.
Se estim la consistencia inter-observador para cada tem calculando la
proporcin de acuerdos observados entre los participantes y el ndice kappa
ponderado, segn la matriz recogida en la tabla 1.
Tabla 1. Matriz de pesos utilizada para el clculo del ndice kappa ponderado
S Parcialmente No
S 1 0,75 0
Parcialmente 0,75 1 0,75
No 0 0,75 1
En este anlisis las valoraciones como No procede fueron interpreta-
das como valores perdidos, permitiendo asignar los pesos de una forma ms
coherente.
Las proporciones de acuerdo superiores al 70% se consideraron ade-
cuadas.
Se utiliz el paquete estadstico Presta v. 1999 (ftp://ftp.hrc.es/pub/
programas/presta/v2.21/).
Resultados
Se evaluaron con el instrumento diez informes de evaluacin de TS, siendo
evaluado cada uno dos veces.
Todos los tcnicos que participaron en el proceso tenan experiencia
en la realizacin de informes de evaluacin, pero nicamente uno contaba
con experiencia en la utilizacin de herramientas para la evaluacin de la
calidad de los estudios.
La mediana de los tiempos medios empleados por cada tcnico en la
evaluacin de los documentos con el Instrumento para la Evaluacin de la
Calidad de los Informes de Evaluacin de TS fue de 38,8 minutos (percen-
tiles 25 y 75: 32,5 y 82,5).
La tabla 2 resume los resultados del anlisis de concordancia para cada
tem y sus frecuencias marginales.
ndice
I. ndice de autores 9
I.1. Coordinacin general del informe 9
I.2. Comit editorial 9
I.3. Coordinacin por captulos 9
I.4. Autores colaboradores: Grupo de Elaboracin y Validacin
de Instrumentos de Evaluacin de la Calidad de los productos
de Agencias/Unidades de Evaluacin de Tecnologas
Sanitarias (GEVIEC) 11
I.5. Revisin externa 12
I.6. Otros participantes 12
II. Antecedentes 13
III. Objetivos 15
III.1. Objetivo principal 15
III.2. Objetivos especcos 15
IV. Metodologa general 17
IV.1. Desarrollo conceptual 17
IV.2. Seleccin de componentes 19
IV.3. Evaluacin de la validez aparente 19
IV.4. Elaboracin de la versin denitiva del instrumento 20
IV.5. Evaluacin de la abilidad del instrumento 21
V. Instrumento para la Evaluacin de la Calidad de los Informes
de Evaluacin de Tecnologas Sanitarias 23
V.1. Metodologa especca 23
V.2. Resultados 26
V.3. Validacin: Estudio de abilidad del Instrumento para
la Evaluacin de la Calidad de los Informes de Evaluacin
Objetivo
Metodologa
participante.
mento explicativo).
Participantes
Validacin: Estudio de fabilidad del
Instrumento para la Evaluacin de la Calidad
de los Informes de Evaluacin de TS
Objetivo
Evaluar la fabilidad del Instrumento para la Evaluacin de la Calidad de
los Informes de Evaluacin de TS
Metodologa
Cinco tcnicos de las Agencias/Unidades de Evaluacin de TS evaluaron de
forma independiente la calidad de diez informes de evaluacin de tecnolo-
gas sanitarias (informes TS), utilizando el Instrumento para la Evaluacin
de la Calidad de los Informes de Evaluacin de TS.
Los participantes (Anexo II) fueron seleccionados entre los tcnicos
de evaluacin de TS de cada agencia/unidad por los miembros del grupo
GEVIEC. Los tcnicos deban tener experiencia en la realizacin de infor-
mes de evaluacin de TS y no tenan que haber participado en el desarrollo
del instrumento.
Los documentos (informes TS) evaluados en el proceso (Anexo IV)
fueron seleccionados entre los disponibles en las pginas web de las Agen-
cias/Unidades de Evaluacin deTS del SNS por un experto en revisiones sis-
temticas de la UETS, introduciendo diversidad en los siguientes factores:
Agencia/Unidad de Evaluacin de TS
Metodologa utilizada
Temtica de la revisin
Se utiliz un modelo de bloques incompletos balanceados que aumen-
t la efciencia del proceso. Segn este modelo cada uno de los diez docu-
mentos fue evaluado por dos tcnicos.
Se contact con los participantes a travs de correo electrnico, expli-
cndoles el marco del proyecto, el objetivo del proceso de validacin y las
instrucciones para participar en el mismo. Acada participante se le enviaron
cuatro informes TS, as como un acceso web a la aplicacin informtica del
Instrumento para la Evaluacin de la Calidad de los Informes de Evalua-
cin de TS y un breve cuestionario con preguntas sobre la experiencia en la
realizacin y evaluacin de informes TS y el tiempo empleado en el proceso
Conficto de inters
Los autores declaran que no tienen intereses que puedan competir con el
inters primario y los objetivos de este informe e infuir en su juicio profe-
sional al respecto.
Agradecimientos
Los autores quieren agradecer su colaboracin a Vctor Abraira por sus
aportaciones en los estudios de fabilidad desarrollados.
Desarrollo
realizadas.
Estudio piloto
cumplimentacin.
S Parc. No NP
Figura 3
de instrumentos
de las Agencias
de Evaluacin de
Assessment Reports
Resultados
tes:
dos.
metodolgico.
S Parc. No NP
evaluacin de TS?
de evaluacin de TS?
evaluada?
Resultados
tes:
dos.
metodolgico.
S Parc. No NP
evaluacin de TS?
de evaluacin de TS?
evaluada?
Autores: Grupo de Elaboracin y Validacin de Instrumentos de Evaluacin de la Calidad de los productos
de Agencias/Unidades de Evaluacin de Tecnologas Sanitarias (GEVIEC)
Direccin Tcnica: Unidad de Evaluacin de Tecnologas Sanitarias. Agencia Lan Entralgo
Este documento se ha realizado en el marco de colaboracin previsto en el Plan de Calidad para el Sistema
Nacional de Salud, al amparo del convenio de colaboracin suscrito por el Instituto de Salud Carlos III,
organismo autnomo del Ministerio de Sanidad y Consumo, y la Agencia Lan Entralgo.
Edita:
Agencia Lan Entralgo. Unidad de Evaluacin de Tecnologas Sanitarias
Gran Va, 27
28013 Madrid
Espaa-Spain
de la presente edicin: Ministerio de Sanidad y Consumo
de los contenidos: Consejera de Sanidad y Consumo. Comunidad de Madrid
ISBN: 978-84-451-3150-3
NIPO: 477-08-004-5
Depsito Legal: M-53181-2008
Produce: www.cege.es Eloy Gonzalo, 25, 1 izda. 28010 Madrid
Este documento puede ser reproducido en todo o en parte, por cualquier medio, siempre que se cite
explcitamente su procedencia.
Grupo de Elaboracin y Validacin de Instrumentos de Evaluacin de la Calidad de los productos de
Agencias/Unidades de Evaluacin de Tecnologas Sanitarias (GEVIEC). Instrumentos metodolgicos para la
evaluacin de productos de las Agencias de Evaluacin de Tecnologas Sanitarias. Madrid: Plan Nacional
para el SNS del MSC. Unidad de Evaluacin de Tecnologas Sanitarias, Agencia Lan Entralgo; 2008.
Informes de Evaluacin de Tecnologas Sanitarias: UETS N 2006/01
http://www.060.es
Desarrollo
realizadas.
Estudio piloto
cumplimentacin.
S Parc. No NP
Figura 3
de instrumentos
de las Agencias
de Evaluacin de
Assessment Reports
Objetivo
Metodologa
participante.
mento explicativo).
Participantes
Validacin: Estudio de fabilidad del
de los Informes de Evaluacin de TS
Objetivo
Metodologa
forma independiente la calidad de diez informes de evaluacin de tecnolo-
gas sanitarias (informes TS), utilizando el Instrumento para la Evaluacin
de la Calidad de los Informes de Evaluacin de TS.
GEVIEC. Los tcnicos deban tener experiencia en la realizacin de infor-
mes de evaluacin de TS y no tenan que haber participado en el desarrollo
del instrumento.
Los documentos (informes TS) evaluados en el proceso (Anexo IV)
fueron seleccionados entre los disponibles en las pginas web de las Agen-
cias/Unidades de Evaluacin deTS del SNS por un experto en revisiones sis-
temticas de la UETS, introduciendo diversidad en los siguientes factores:
Metodologa utilizada
t la efciencia del proceso. Segn este modelo cada uno de los diez docu-
mentos fue evaluado por dos tcnicos.
Se contact con los participantes a travs de correo electrnico, expli-
cuatro informes TS, as como un acceso web a la aplicacin informtica del
Instrumento para la Evaluacin de la Calidad de los Informes de Evalua-
cin de TS y un breve cuestionario con preguntas sobre la experiencia en la
realizacin y evaluacin de informes TS y el tiempo empleado en el proceso
Sanitarias
Metodologa especfca
del grupo GEVIEC.
grupo GEVIEC.
Por qu?
Cmo?
Contexualizacin
de evaluacin. Se estableci un plazo de dos semanas para remitir las evalua-
ciones al equipo investigador.
ponderado, segn la matriz recogida en la tabla 1.
S Parcialmente No
S 1 0,75 0
No 0 0,75 1
En este anlisis las valoraciones como No procede fueron interpreta-
das como valores perdidos, permitiendo asignar los pesos de una forma ms
coherente.
Las proporciones de acuerdo superiores al 70% se consideraron ade-
cuadas.
Se utiliz el paquete estadstico Presta v. 1999 (ftp://ftp.hrc.es/pub/
programas/presta/v2.21/).
Resultados
Se evaluaron con el instrumento diez informes de evaluacin de TS, siendo
evaluado cada uno dos veces.
Todos los tcnicos que participaron en el proceso tenan experiencia
en la realizacin de informes de evaluacin, pero nicamente uno contaba
con experiencia en la utilizacin de herramientas para la evaluacin de la
calidad de los estudios.
evaluacin de los documentos con el Instrumento para la Evaluacin de la
Calidad de los Informes de Evaluacin de TS fue de 38,8 minutos (percen-
tiles 25 y 75: 32,5 y 82,5).
La tabla 2 resume los resultados del anlisis de concordancia para cada
tem y sus frecuencias marginales.
1
Cada grupo de trabajo cont con un moderador (un miembro del equi-
po coordinador del taller) y un responsable de recoger el consenso alcanza-
do para cada dimensin.
Se pidi a los participantes que identifcasen los elementos o atributos
que en su opinin debera incluir el Instrumento para la Evaluacin de la
Calidad de los Estudios de CVRS en cada una de sus dimensiones.
Tras la sesin presencial, cada grupo de trabajo, a travs de una serie de
correos electrnicos, consensu de forma defnitiva un listado de los elemen-
tos o atributos mnimos exigibles en cada dimensin, para evaluar la calidad
de los estudios de CVRS. Estos atributos fueron expresados en forma de
preguntas.
Las tres dimensiones fueron integradas en un nico listado de verif-
cacin, para el que se elabor un documento explicativo que facilitara su
cumplimentacin.
El Listado de verifcacin y el Documento explicativo fueron remitidos
ntegramente a los miembros del grupo GEVIEC (Anexo I) junto con un
cuestionario en el que se les preguntaba por la conveniencia de incluir cada
elemento de los propuestos en el Instrumento para la Evaluacin de la Ca-
lidad de los Estudios de CVRS, as como sobre la formulacin de las pre-
guntas y la idoneidad de las aclaraciones del documento explicativo.
Tras una nica ronda se alcanz el consenso para los aspectos anteriores.
El instrumento resultante fue revisado posteriormente por el equipo de
Jordi Alonso, como expertos en estudios de CVRS, tras lo que se incorpor
alguna aclaracin y se dio por defnitiva la primer versin del instrumento.
Resultado
El Instrumento para la Evaluacin de la Calidad de los Estudios de CVRS
consta de un listado de verifcacin y un documento explicativo:
lan los distintos elementos importantes para la calidad de los estudios de
CVRS. Estos elementos se organizan en tres dominios, siendo su estructura
la siguiente:
Tabla 2. Resultados de los anlisis de concordancia para el Instrumento
para la Evaluacin de la Calidad de los Informes de Evaluacin de TS
Porcentaje
de acuerdos
observados
Porcentaje
de acuerdos
esperados
kappa
(IC 95%)
Promedios marginales
S Parc. No
tem 1 1 0,66 1 (1, 1) 0,2 0 0,8
tem 2 1 0 0 1
tem 3 1 0 0 1
tem 4 1 0,66 1 (1, 1) 0,8 0 0,2
tem 5 0,675 0,53 0,32 (-0,38, 0,99) 0,35 0,5 0,6
tem 6 0,85 0,78 0,33 (-0,55, 1,36) 0,1 0,1 0,8
tem 7 0,60 0,56 0,09 (-0,2, 0,45) 0,3 0,2 0,5
tem 8 0,87 0,7 0,58 (0,43, 0,9) 0,15 0,25 0,6
tem 9 0,77 0,77 0 0,1 0,05 0,85
tem 10 1 0 0 1
tem 11 0,9 0,9 0 0,05 0 0,95
tem 12 0,97 0,97 0 0 0,05 0,95
tem 13 1 0 0 1
tem 14 0,87 0,84 0,23 (-0,85, 1,1) 0,05 0,15 0,8
tem 15 0,87 0,53 0,74 (0,28, 1,2) 0,4 0,05 0,55
tem 16 0,65 0,51 0,28 (-0,33, 0,93) 0,35 0,1 0,55
tem 17 0,7 0,49 0,41 (-0,22, 1,2) 0,45 0 0,55
tem 18 0,975 0,8 0,87 (-0,24, 3,37) 0,1 0,05 0,85
tem 19 0,77 0,67 0,32 (-0,7, 1,46) 0,2 0,05 0,75
tem 20 0,8 0,47 0,62 (0,1, 1,3) 0,4 0 0,6
tem 21 0,89 0,57 0,74 (0,19, 1,5) 0,62 0 0,38
tem 22 0,9 0,61 0,74 (0,13, 1,5) 0,75 0 0,25
tem 23 0,64 0,58 0,13 (-0,58, 1,2) 0,45 0,07 0,48
tem 24 0,9 0,72 0,65 (-0,3, 1,89) 0,15 0,1 0,75
tem 25 0,75 0,49 0,5 (-0,09, 1,2) 0,5 0,07 0,43
tem 26 0,9 0,73 0,64 (-0,6, 2,4) 0,15 0 0,85
tem 27 0,57 0,48 0,18 (-0,54, 1) 0,55 0,05 0,4
Parc.: Parcialmente.
de la Calidad de los Estudios de
Calidad de Vida Relacionada
con la Salud (CVRS)
Coordinado por Jordi Alonso
Metodologa especfca
Seleccin de componentes del instrumento
Evaluacin de la Calidad de los Estudios de Calidad de Vida Relacionada
con la Salud se realiz en base a los resultados del taller coordinado por
Jordi Alonso en Barcelona.
El objetivo principal del taller consisti en elaborar un borrador con los
atributos o elementos esenciales para la calidad de los estudios de CVRS.
Fueron invitados a participar los integrantes del grupo GEVIEC y otros
tcnicos en evaluacin de tecnologas sanitarias, de las Agencias/Unidades
de Evaluacin de TS del SNS, con especial inters en estudios de CVRS
(Anexo II).
Junto con la convocatoria del taller se remiti a los participantes una
seleccin de las publicaciones ms relevantes en la evaluacin de la calidad
de los estudios de CVRS
10-13
, realizada por el equipo coordinador, distin-
guiendo las tres dimensiones siguientes:
Diseo y anlisis de los estudios de CVRS.
Caractersticas mtricas de los instrumentos.
Interpretacin de los resultados de los estudios.
El taller se compuso de una ronda de exposiciones relativas a las di-
mensiones anteriores (llevada a cabo por Jordi Alonso, Montserrat Ferrer
y Luis Rajmil) y grupos de trabajo, en los que los participantes se distribu-
yeron para abordar cada una de las tres dimensiones mencionadas de los
estudios de CVRS.
En la tabla 2 se puede observar cmo en muchos de los tems se en-
cuentran frecuencias marginales prximas a cero, correspondindose con
proporciones de acuerdo esperados muy elevadas y penalizando, por tanto,
el ndice kappa. Por otra parte, la precisin de los ndices kappa obtenida es
baja en la muestra.
El 81,5% (22) de los tems muestran una proporcin de acuerdos ob-
servados igual o superior al 70%. Los tems con proporciones inferiores co-
rresponden a los tems referentes a si se realiz una revisin externa (tem
5), si se incluye un resumen estructurado en lenguaje no especializado (tem
7), si se aplic un mtodo explcito para evaluar la calidad de la evidencia
(tem 16), si se consideraron los aspectos organizativos relacionados con la
adquisicin y puesta en marcha de la tecnologa (tem 23) y si se sugieren
lneas futuras de actuacin (tem 27).
La fgura 4 muestra la distribucin global de las puntuaciones para el
conjunto de los tems diferenciando las puntuaciones de cada tcnico que
particip en la validacin.
Cabe destacar que la categora No procede fue utilizada nicamente
en un 1% (3 veces) del global de las puntuaciones.
Figura 4. Distribucin de puntuaciones segn tcnico (IETS)
S Parcialmente No procede No
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
Tcnico 1 Tcnico 2 Tcnico 3 Tcnico 4 Tcnico 5 Global
63%
7%
30%
65%
7%
28%
72%
2%
26%
68%
5%
26%
2%
65%
7%
28%
1%
77%
0%
21%
2%
Discusin
Hay importantes diferencias en los tiempos medios empleados para evaluar
la calidad de los documentos con el Instrumento para la Evaluacin de la
Calidad de los Informes de Evaluacin de TS que parecen no depender de
los documentos evaluados por cada revisor sino de factores individuales de
los tcnicos. Este hecho podra deberse a la diferente experiencia entre los
tcnicos que participaron en la validacin, la cual pudo no quedar refejada
con la pregunta genrica sobre si tenan experiencia en la evaluacin de in-
formes de evaluacin de TS con este tipo de herramientas.
Las frecuencias marginales obtenidas de las puntuaciones de cada tem
son prximas a cero en muchos de los mismos. Este hecho, relacionado con
una alta prevalencia de documentos de calidad entre la muestra selecciona-
da (RS de las Agencias/Unidades de Evaluacin de TS), hace que el ndice
kappa no constituya un buen estimador de la concordancia inter-observador
en este caso estando en exceso penalizado para la mayora de los tems. Por
otra parte, la precisin de las medidas de concordancia inter-observador es
baja. Este hecho podra subsanarse aumentando el nmero de documentos
evaluados.
La fabilidad global del Instrumento para la Evaluacin de la Calidad
de los Informes de Evaluacin de TS parece adecuada, siendo la propor-
cin de acuerdos observados superior al 70% en veintids de los veintisiete
tems (81,5%).
Se han detectado oportunidades de mejora en los tems referidos a si
se realiz una revisin externa (tem 5), si incluye un resumen estructurado
en lenguaje no especializado (tem 7), si se aplic un mtodo explcito para
evaluar la calidad de la evidencia (tem 16), si se consideraron los aspectos
organizativos relacionados con la adquisicin y puesta en marcha de la tec-
nologa (tem 23) y si se sugieren lneas futuras de actuacin (tem 27).
En el caso del Instrumento para la Evaluacin de la Calidad de los In-
formes de Evaluacin de TS la puntuacin de los tems como No procede
se ha utilizado durante la validacin de manera anecdtica (tres ocasiones).
Este hecho est en lnea con el sentido con el que se incluy esta categora
de respuesta.
En general consideramos que la fabilidad del instrumento, pese a ser
adecuada, es susceptible de mejora y probablemente un entrenamiento pre-
vio a los evaluadores, en el que se clarifque el sentido de las categoras de
respuesta, mejorara los resultados obtenidos. La diferente experiencia en
la utilizacin de estos instrumentos por parte de los tcnicos que realizaron
la validacin tambin pudo ser un factor que infuyera en los resultados; sin
embargo, este hecho es inevitable en el uso habitual del instrumento.
meta-anlisis
S Parc. No NP
Dominio 8. Discusin
16. Se hace una valoracin adecuada de los resultados del meta-anlisis (discusin)?
17. Las conclusiones estn basadas en los resultados, considerando los posibles
sesgos y limitaciones?
Dominio 9. Independencia editorial
18. Se describe la fuente de nanciacin del estudio?
de la Calidad de las Revisiones
Sistemticas
Coordinado por Gloria Ariza, Mercedes Reza y Juan Antonio Blasco
Metodologa especfca
Revisin bibliogrca
Objetivos
Localizar y describir instrumentos utilizados para la evaluacin de la
calidad de revisiones sistemticas.
Identifcar aspectos de la metodologa de elaboracin de las revisiones
sistemticas que son considerados en los instrumentos de evaluacin.
Bsqueda bibliogrca
Para localizar dichas herramientas se ha llevado a cabo una bsqueda de
informacin en Medline y la Biblioteca Cochrane Plus.
La estrategia de bsqueda utilizada fue la siguiente:
Medline:
(Quality Control/ OR reproducibility of results/ OR Data Interpretation, Statistical/ OR exp Guidelines/ OR exp Questionnaires/
OR exp Quality Assurance, Health Care/ OR Research Design/ OR peer review/ OR peer review, research/ OR Publishing/
or Periodicals/ OR critical appraisal.mp. [all elds] OR check-list.mp. [all elds] OR quality assessment.mp. [all elds]) AND
(Systematic review.mp. [all elds] OR Review Literature/ or Meta-Analysis/). = 2.271 abstracts.
Biblioteca Cochrane plus:
Review (title) AND (Critical appraisal (Key word) OR Scales and checklists (key word) OR Quality (title)) = 124 abstracts.
Se limit temporalmente la bsqueda bibliogrfca al perodo 2002-
2006, ya que se localizaron dos revisiones sistemticas sobre el tema publi-
cadas en 2002 y 2004, con lo que se procedi a realizar una actualizacin de
la informacin obtenida por dichas revisiones.
meta-anlisis
S Parc. No NP
1. La pregunta de investigacin est claramente denida?
Dominio 2. Estrategia de bsqueda
2. Las bases de datos consultadas y los trminos de bsqueda empleados estn
bien detallados, y las restricciones realizadas estn justicadas?
Dominio 3. Criterios de inclusin y exclusin
3. Los criterios de seleccin (inclusin/exclusin) de los estudios estn bien
descritos y son adecuados para responder a la pregunta de investigacin?
Dominio 4. Extraccin de datos y caractersticas de los estudios
4. La extraccin de los datos se realiz de forma rigurosa?
5. Se aporta informacin suciente sobre las intervenciones/exposiciones y los
resultados de inters para todos los sujetos y/o grupos?
6. Se describen los criterios utilizados para considerar que los estudios son similares
y su combinacin es por tanto razonable?
Dominio 5. Evaluacin de la calidad
7. Se utiliza un mtodo estructurado y sistemtico para evaluar la calidad de los
estudios?
8. Se utiliza la calidad de los estudios como criterio de seleccin o en el anlisis de
los resultados?
Dominio 6. Metodologa sntesis cuantitativa
9. Se valora estadsticamente la presencia de heterogeneidad entre los estudios?
10. Se especica, justica y es adecuado el mtodo estadstico utilizado para realizar
el meta-anlisis?
11. Se realiza y justica un anlisis de sensibilidad?
12. Se evala adecuadamente el posible sesgo de publicacin?
Dominio 7. Resultados
13. Se describe o representa grcamente el proceso de incorporacin de estudios
en el meta-anlisis?
14. Se describen detalladamente las caractersticas de los estudios primarios de
forma que permita reproducir la sntesis?
15. Se realiza una sntesis adecuada de los resultados de los estudios teniendo en
cuenta su calidad y heterogeneidad?
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Tambin se realiz una bsqueda de informacin en pginas web de
organismos relacionados con la evaluacin de tecnologas sanitarias: Cana-
dian Agency for Drugs andTechnologies in Health (CADTH, Canad), Aus-
tralian Safety and Effcacy Register of New Interventional ProceduresSur-
gical (ASERNIP-S, Australia), Agency for Healthcare Research and Quality
(AHRQ, EEUU), Agence dvaluation des Technologies et des Modes
dIntervention en Sant (AETMIS, Canad), Institute of Health Economics
(IHE, Canad). Medical Advisory Secretariat (MAS, Canad), Finnish Of-
fce for Health Care Technology Assessment (FinOHTA, Finlandia), Comit
dvaluation et de Diffusion des Innovations Technologiques (CEDIT, Fran-
cia), New Zealand Health Technology Assessment (NZHTA, Nueva Zelan-
da), Norwegian Knowledge Centre for Health Services (NOKC, Noruega),
Centre for Reviews and Dissemination (CRD, Reino Unido), University of
Birminghan (Reino Unido), National Coordinating Centre for Health Tech-
nology Assessment (NCCHTA, Reino Unido), Veterans Affairs Technology
assessment Program(VATAP, EEUU), Manual NHMRC (National Health
and Medical Research Council, Australia).
Adems, se revis la seccin de documentos metodolgicos de la p-
gina web de la red internacional Guidelines Internacional Network (GIN),
relacionado con las guas de prctica clnica.
La bsqueda bibliogrfca se complet con un cuestionario enviado a
las Agencias/Unidades de Evaluacin de Tecnologas Sanitarias espaolas,
en el que se recogan herramientas de evaluacin de la calidad de revisiones
sistemticas utilizadas por dichas agencias, tanto de elaboracin propia como
instrumentos elaborados por otros autores (Anexo V).
Criterios de seleccin
Para seleccionar la informacin de inters se utilizaron los siguientes crite-
rios de inclusin:
Artculos en los que se describa, utilice o valide alguna herramienta
utilizada para evaluar la calidad de revisiones sistemticas.
Revisiones sistemticas o informes tcnicos donde se revise este tipo
de instrumentos.
Documentos metodolgicos, manuales, donde se describa la metodolo-
ga de elaboracin de revisiones sistemticas, GPC o informes de eva-
luacin de TS y entre sus explicaciones detalle alguna herramienta de
evaluacin de la calidad de revisiones sistemticas.
Dos revisores realizaron una lectura de los ttulos y resmenes de los
trabajos localizados mediante la estrategia de bsqueda en Medline y la Bi-
blioteca Cochrane Plus. En caso de desacuerdo sobre la inclusin de algn
documento se intenta llegar a un consenso.
Resultados
El Instrumento para la Evaluacin de la Calidad de los Meta-anlisiscons-
ta de un listado de verifcacin y un documento explicativo:
lan los distintos elementos importantes para la calidad de los meta-anlisis
(MA). Estos elementos se organizan en nueve dominios, siendo su estructu-
ra la siguiente:
Dominio 2 Estrategia de bsqueda
Dominio 3 Criterios de inclusin y exclusin
Dominio 4 Extraccin de datos y caractersticas de los estudios
Dominio 5 Evaluacin de la calidad
Dominio 6 Metodologa sntesis cuantitativa
Dominio 7 Resultados
Dominio 8 Discusin
Dominio 9 Independencia editorial
El Documento explicativo (Anexo XIV) aporta aclaraciones sobre
el ideal de calidad, por lo que, no todas las caractersticas que recogen se-
ran exigibles a cualquier RS, para puntuar afrmativamente el tem al que
se referen. En un recuadro tras la explicacin de cada tem, se incluyen las
Orientaciones, que sealan aquellos aspectos que se consideran caracte-
rsticas esenciales para cumplir el elemento, es decir, sin las cuales el tem
debera puntuarse negativamente.
mato de texto, a travs de una aplicacin informtica (Figura 3) que integra el
Listado de verifcacin y las Orientaciones del Documento explicativo,
facilitando as la evaluacin, el almacenamiento y el envo de sus resultados.
A la aplicacin informtica se puede acceder libremente a travs de la
pgina web de la plataforma desarrollada para la Red de Agencias/Unida-
des de Evaluacin de TS en el marco del Plan de Calidad para el SNS, dentro
del apartado referido a Herramientas metodolgicas.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Extraccin de datos
De los documentos recuperados mediante la bsqueda bibliogrfca se ex-
trajeron una serie de datos de inters para la elaboracin de la herramienta
de evaluacin de la calidad de revisiones sistemticas. Estos datos se extra-
jeron mediante un formulario de recogida de datos, y el proceso se llev a
cabo por dos tcnicos de forma independiente. En caso de desacuerdo en la
recogida de algn dato se lleg a un consenso mediante discusin.
Se recogen dos tipos de datos sobre los instrumentos de evaluacin de
la calidad de revisiones sistemticas localizados en la bsqueda bibliogrf-
ca. Por un lado las caractersticas de la herramienta y por otro los tems que
incluyen para evaluar la calidad de las revisiones sistemticas.
Caractersticas de la herramienta
Tipo de instrumento
Checklist: lista de vericacin cuyas respuestas son cualitativas, no puntuadas.
Escala: lista de vericacin en la que se punta cada tem y se obtiene una puntuacin global de la calidad de la revisin
sistemtica que se evala.
Guas: Herramientas que no han sido diseadas especcamente para evaluar la calidad de las revisiones sistemticas, sino
que su objetivo es guiar en la elaboracin de una revisin sistemtica, describiendo los pasos ms importantes.
Componente metodolgico: Aspecto individual de la metodologa de las revisiones sistemticas, que puede estar relacionado
con la aparicin de sesgos en la estimacin del efecto.
Instrumento genrico o especco
Genrico: Se puede utilizar para evaluar la calidad de cualquier revisin sistemtica.
Especco: Elaborado para evaluar la calidad de revisiones sistemticas que traten un tema concreto, un resultado concreto, etc.
Mtodo de seleccin de los tems
Herramienta elaborada mediante modicacin de otras.
Los tems que conforman la herramienta son estndares metodolgicos aceptados por expertos.
Los tems han sido seleccionados a partir de estudios empricos en los que se demuestra relacin entre elementos
metodolgicos y la calidad de la revisin sistemtica.
La herramienta contiene tems aceptados por expertos e tems basados en estudios empricos.
Rigor en su elaboracin
S: Se describe explcitamente las caractersticas mtricas del instrumento.
Parcial: Instrumento elaborado mediante un mtodo de consenso.
No: No se describe el proceso de desarrollo.
Se recoge si se ha medido la reproducibilidad de la herramienta.
Se recoge si la herramienta viene acompaada de instrucciones para su utilizacin.
Adaptado de West SL
8
.
Metodologa
A fn de garantizar una adecuada validez aparente de los componentes del
instrumento, se utiliz, al igual que para los instrumentos anteriores, el con-
senso de expertos.
El consenso se alcanz a travs de cuestionarios semiestructurados
intercambiados entre los miembros del grupo GEVIEC. El nmero de ron-
das no qued defnido de antemano sino que se realizaran las necesarias
para alcanzar un consenso.
Participantes
Fueron invitados a participar los miembros del grupo GEVIEC de las siete
Agencias/Unidades de Evaluacin de TS, como expertos en revisiones siste-
mticas y meta-anlisis (Anexo I).
Finalmente participaron seis de las siete Agencias/Unidades invitadas.
En caso de haber ms de un participante por agencia/unidad, nicamente
uno actu como portavoz.
Desarrollo
En esta ocasin, a los integrantes de GEVIEC se les facilit la primera pro-
puesta de Listado de verifcacin junto con una propuesta de documento
explicativo. A fn de conocer la opinin de cada integrante se entreg un
cuestionario semiestructurado en el que se preguntaba sobre la idoneidad
de la inclusin de los elementos propuestos o de nuevos elementos, sobre
la formulacin de las preguntas y sobre la pertinencia de las explicaciones y
orientaciones recogidas en la propuesta de documento explicativo (Anexo
XIII).
En la primera ronda hubo amplio acuerdo en la exclusin de un ele-
mento (pregunta 1 de la propuesta de instrumento).
Los elementos acordados en el instrumento para las revisiones siste-
mticas fueron incluidos, pese a que un participante discrep sobre uno de
ellos.
Se incorporaron las aportaciones del grupo y se les present una segun-
da propuesta. En esta ronda los participantes mostraron un amplio acuerdo
con la propuesta, centrando sus comentarios en aspectos relacionados con la
redaccin de las preguntas y, especialmente, del documento explicativo.
Estas ltimas propuestas fueron incorporadas sin considerarse necesa-
ria la realizacin de una nueva ronda.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Resultados
Se localizaron dos revisiones sobre herramientas para evaluar la calidad de
diferentes tipos de estudios:
West S, King V, Carey TS, Lohr KN, McKoy N, Sutton SF, et al. Systems
to Rate the Strength of Scientifc Evidence. Evidence Report/Technol-
ogy Assessment No. 47 (Prepared by the Research Triangle Institute
University of North Carolina Evidence-based Practice Center under
Contract No. 290-97-0011). AHRQ Publication No. 02-E016. Rockville,
MD: Agency for Healthcare Research and Quality. April 2002
8
.
Katrak P, Bialocerkowski AE, Massy-Westropp N, Kumar S, Grimmer
KA. A systematic review of the content of critical appraisal tools. BMC
Medical Research Methodology 2004; 4: 22
9
.
Adems se obtuvieron 2.271 abstracts con la estrategia de bsqueda
realizada en Medline y 124 en la Biblioteca Cochrane Plus.
Tras la revisin de esta informacin se localizaron 22 instrumentos uti-
lizados por diferentes autores/organismos para evaluar la calidad de revisio-
nes sistemticas. De estos 22 instrumentos, 19 se localizaron en la revisin de
la AHRQ, y 3 en las pginas de Internet revisadas.
La bsqueda bibliogrfca de este tipo de instrumentos result compleja,
ya que no existen palabras clave especfcas para referirse a instrumentos de
evaluacin de la calidad de estudios. De esta manera la bsqueda en Medline
y Cochrane result muy inespecfca, recuperndose una cantidad elevada de
publicaciones de las que pocas estaban relacionadas con el tema.
Caractersticas de las herramientas (Anexo VI)
Tipo de herramienta: De las 22 herramientas localizadas 12 son checklist, 9
guas desarrolladas para ayudar en la elaboracin de revisiones sistemticas
y 1 es una escala especfcamente diseada para la revisin sistemtica en la
que se utiliza.
Todos los instrumentos son genricos, es decir, se elaboraron para eva-
luar la calidad de cualquier revisin sistemtica, excepto uno, que se dise
para ser utilizado especfcamente en una revisin sobre fsioterapias.
Seleccin de los tems: Una gran parte de las herramientas (n=10) han
sido diseadas a partir de otras ya existentes, incluyendo algunas modifcacio-
nes. 5 han utilizado mtodos de consenso para la inclusin de los tems y en 7
casos se han utilizado ambas opciones (modifcacin de otras y consenso).
Estudio de la fabilidad inter-evaluador: Slo en 4 herramientas se rea-
liza un anlisis de la correlacin.
Rigor en el desarrollo: Ningn instrumento utiliza una metodologa
rigurosa en su desarrollo: 5 de ellos utilizan algn mtodo de consenso y
de la Calidad de los Meta-anlisis
Metodologa especfca
La seleccin del listado inicial de componentes a incluir en el Instrumento
para la Evaluacin de la Calidad de los Meta-anlisis, se realiz fundamen-
talmente en base al listado consensuado por la Conferencia sobre Calidad
de Elaboracin de los Informes de los Meta-anlisis (QUOROM Confe-
rence)
2
y, debido a la coincidencia de elementos de este instrumento con el
Instrumento para la Evaluacin de la Calidad de las Revisiones Sistem-
ticas, en base a la revisin realizada mediante la metodologa ya descrita
anteriormente y los acuerdos alcanzados por el grupo GEVIEC para el Ins-
trumento para la Evaluacin de la Calidad de las Revisiones Sistemticas
(fgura 6).
El Anexo XII describe los 20 elementos en forma de preguntas, or-
ganizadas en 10 dominios, que fueron seleccionados como relevantes para
evaluar la calidad de los meta-anlisis y fueron incluidos en la primera pro-
puesta de Listado de verifcacin.
Objetivo
Alcanzar un consenso en cuanto a qu elementos de los propuestos para
el Instrumento para la Evaluacin de la Calidad de los Meta-anlisis de-
beran ser incluidos en el instrumento, debido a su aparente relacin con la
calidad de los mismos.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
el resto no describe ninguna metodologa de desarrollo. No describen las
caractersticas mtricas.
Instrucciones de uso: La mayor parte de estas herramientas de evalua-
cin de la calidad de revisiones sistemticas describen en mayor o menor
medida unas instrucciones para su utilizacin, excepto 4 de ellas.
Dominios y elementos
En la revisin de la AHRQ se seleccionaron los dominios considerados im-
portantes para el desarrollo de herramientas de evaluacin de revisiones
sistemticas. Los dominios y elementos corresponden a diferentes fases de
la metodologa de elaboracin de las revisiones sistemticas. Algunos han
demostrado en estudios empricos que evitan la aparicin de sesgos, otros
son considerados generalmente como estndares metodolgicos aceptados
por los expertos.
Los dominios contienen uno o ms elementos que defnen dicho domi-
nio. Estos dominios y elementos seleccionados en la revisin de la AHRQ se
describen en los anexos VII y VIII.
De estos dominios aquellos que contenan elementos basados en evi-
dencia emprica son
8
: la estrategia de bsqueda, la calidad y validez de los
estudios, la sntesis y anlisis de los datos, los resultados y la fnanciacin-
conficto de inters. Hay estudios empricos en los que se observa que estos
elementos metodolgicos infuyen en los resultados de las revisiones siste-
mticas.
Siguiendo el mismo modelo metodolgico que utiliza la revisin de
la AHRQ, se identifcaron las preguntas/tems de los instrumentos de eva-
luacin, localizados mediante la bsqueda bibliogrfca, comprobando si in-
cluan los dominios descritos previamente (Anexo IX).
Los dominios que aparecen con mayor frecuencia en las herramientas
localizadas son: objetivo de la revisin/pregunta de investigacin, estrategia
de bsqueda, criterios de inclusin y exclusin de estudios, calidad y validez
de los estudios, sntesis y anlisis de los datos, resultados y fnanciacin con-
ficto de inters. Y con menor frecuencia: intervenciones, variables de resul-
tado, extraccin de datos y discusin.
Conclusiones
La mayora de estos instrumentos han sido desarrollados por consenso
de expertos, o modifcacin de otros ya existentes.
No existe ninguna herramienta consensuada de uso generalizado entre
expertos para evaluar la calidad de revisiones sistemticas.
En general todos los instrumentos valoran con mayor frecuencia al-
gunos dominios dentro de las revisiones sistemticas: objetivo de la
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
revisin; estrategia de bsqueda; criterios de inclusin y exclusin de
estudios; intervenciones; variables de resultado; extraccin de datos;
calidad y validez de los estudios; sntesis y anlisis de los datos; resulta-
dos; discusin; fnanciacinconficto de inters.
No todos los tems incluidos en los instrumentos encontrados han de-
mostrado evitar la aparicin de sesgos en estudios.
A partir de la informacin recogida en esta revisin y el consenso de
expertos es posible seleccionar tems y disear una herramienta para la eva-
luacin de revisiones sistemticas dentro de nuestro contexto.
La seleccin del listado inicial de componentes o elementos a incluir en el
Instrumento para la Evaluacin de la Calidad de las Revisiones Sistemti-
cas, se realiz en base a los identifcados en la revisin bibliogrfca, siguien-
do la clasifcacin en dominios (metodolgicos y de la ejecucin de los estu-
dios) y elementos (caractersticas componentes de los dominios) propuesta
en la revisin de la AHRQ.
Objetivo
Alcanzar un consenso en cuanto a qu elementos de los propuestos para el
cas deberan ser incluidos en el instrumento, debido a su aparente relacin
con la calidad de las mismas.
Metodologa
La tcnica adoptada para el consenso fue el mtodo Delphi modifcado. El
mtodo Delphi es una tcnica cualitativa que facilita el consenso entre gru-
pos de expertos gracias, fundamentalmente, a la retroalimentacin contro-
lada de los resultados, la interaccin a travs de varias rondas y a que utiliza
un procedimiento de agregacin de juicios individuales. La tcnica utilizada
en esta fase del proyecto es una variante del Delphi ya que no se mantuvo el
anonimato en todas las rondas.
El nmero de rondas no qued defnido de antemano sino que se reali-
zaran las necesarias para alcanzar un consenso sobre los elementos a incluir
en el instrumento, as como sobre su formulacin y el contenido del docu-
mento explicativo.
En general consideramos que aunque la concordancia del instrumen-
to es en general adecuada, es susceptible de mejora y probablemente un
entrenamiento previo, en el que se clarifque el sentido de las categoras de
respuesta, mejorara los resultados obtenidos. La diferente experiencia en la
utilizacin de estos instrumentos entre los tcnicos que realizaron la valida-
cin tambin pudo ser un factor que infuyera en los resultados; sin embargo,
este hecho en inevitable en el uso habitual del instrumento.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Participantes
Fueron invitados a participar los miembros del grupo GEVIEC de las 7
Agencias/Unidades de Evaluacin de TS, como expertos en revisiones sis-
temticas (Anexo I).
Finalmente participaron 6 de las 7 Agencias/Unidades invitadas. En
caso de haber ms de un participante por agencia/unidad nicamente uno
actu como portavoz.
Desarrollo
1 ronda
Los miembros del grupo GEVIEC (miembros del panel Delphi) fueron in-
vitados a participar en el proyecto a travs de un correo electrnico en el
que se les explicaba los objetivos generales del mismo y de su primera fase.
En ese primer correo se les adjunt la primera propuesta de elementos
a incluir en el listado de verifcacin (basados en la seleccin de componen-
tes realizada y formulados en forma de tems), junto con un cuestionario en
el que se les solicitaba que valoraran a travs de una escala de Likert de 5
puntos
*
la adecuacin de cada uno de los elementos para ser incluido en el
ticas.
Se les dio la oportunidad de que escribieran los comentarios que con-
sideran oportunos sobre su decisin, de que reformularan los elementos in-
cluidos y de que aadieran los nuevos elementos que consideraran de inte-
rs.
Una muestra de la presentacin de este Primer cuestionario queda
recogida a modo de ejemplo en el Anexo Xa.
Para ayudar a la valoracin de los panelistas, la propuesta de dominios
y elementos se acompa del siguiente material de apoyo:
Matriz con las caractersticas principales de las herramientas de eva-
luacin de la calidad de las revisiones sistemticas, identifcadas en la
revisin bibliogrfca (Anexo VI).
Matriz con los dominios y elementos abordados en cada una de las
herramientas anteriores (Anexo IX).
Tabla resumen de los dominios y elementos basados en evidencia em-
prica (Anexo VII).
Defniciones de los elementos incluidos en la versin inicial del instru-
mento (Anexo VIII).
* 1: Muy en desacuerdo; 2: moderadamente en desacuerdo; 3: ni de acuerdo ni en desacuer-
do; 4: moderadamente de acuerdo; 5: muy de acuerdo.
de las RS parece adecuada, siendo la proporcin de acuerdos observados
superior al 70% en diecisis de los diecinueve tems (84%).
Hemos detectado oportunidades de mejora en los tems referidos al
Dominio resultados (tems 7 y 8) y el tem referido a la metodologa em-
pleada para la extraccin de datos (tem 9).
Se observa una menor concordancia inter-observador para los tems
del Dominio resultados, probablemente consecuencia de las difcultades
en su interpretacin ya identifcadas en la prueba piloto que se realiz en la
fase anterior. Los cambios que se introdujeron en su formulacin tras esta
prueba piloto parece fueron insufcientes para aclarar de forma defnitiva su
signifcado y/ o su alcance.
Tambin se detectaron oportunidades de mejora en la utilizacin de
la categora No procede en las puntuaciones. En principio, esta categora
nicamente debera ser utilizada en los casos, previsiblemente poco frecuen-
tes, en los que no proceda la evaluacin de un elemento de calidad concreto
(refejado por un tem) en un documento especfco. Esta oportunidad de
mejora ya haba surgido en el estudio piloto, tras el que se incorpor en
el documento explicativo un breve comentario sobre esta categora de res-
puesta.
En el proceso de validacin, la mediana de los porcentajes de pun-
tuacin de todos los tems (en todos los documentos) con la categora No
procede fue de 4% para los cinco revisores, sin embargo dos revisores pun-
tuaron hasta con No procede un alto porcentaje de los tems (7% y 9%).
La proporcin de acuerdos observados entre los evaluadores a la hora
de clasifcar si proceda valorar un elemento en un documento determinado,
fue superior al 80%en 16 de los 19 tems (84,2%). El acuerdo fue menor en
los tems referidos a si se consideraron los daos relevantes para la tecnolo-
ga (tem 8), a la descripcin de la escala utilizada para clasifcar el nivel de
evidencia (tem 15) y a la existencia de conficto de intereses (tem 19).
Con respecto al tem 19, un evaluador consider que no proceda su
puntuacin en los cuatro documentos que evalu. Este hecho, acompaa-
do de que ningn otro tcnico considerase que no proceda su valoracin
en ningn documento y de que los documentos evaluados no parecen te-
ner ninguna peculiaridad que haga no valorable la presencia o ausencia
de una declaracin de conficto de intereses, nos hace pensar que se debe
aclarar mejor el signifcado de la puntuacin No procede a fn de que no
sea interpretada errneamente como muestra de la disconformidad con la
evaluacin de un elemento de calidad concreto en los documentos. Una
posible solucin consistira en eliminar esta categora de respuesta en los
tems en los que con toda probabilidad procediera su evaluacin en todos
los casos.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
El acuerdo/consenso del panel se defni como la ausencia de polari-
zacin en las respuestas del grupo o ausencia de la distribucin de las res-
puestas a lo largo de toda la escala, siempre y cuando todos los miembros del
panel puntuaran el elemento.
Las puntuaciones de esta primera ronda se resumen en la fgura 5. Uno
de los panelistas no valor algunos de los elementos por considerar necesa-
ria la reformulacin/reubicacin de los mismos con anterioridad.
La primera ronda permiti identifcar los elementos para los que ya
exista acuerdo para su inclusin o exclusin (5 elementos fueron incluidos),
y para identifcar posibles errores de interpretacin de los elementos.
Figura 5. Resultados primera ronda panel Delphi
Dominios/elementos Puntuacin Likert*
1 2 3 4 5
D1. Pregunta de investigacin
D1.1. La pregunta est claramente descrita y es apropiada? 2 4
D2. Estrategia de bsqueda
D2.1. La estrategia de bsqueda es lo sucientemente exhaustiva
y rigurosa atendiendo a los posibles sesgos de publicacin? 2 3
D2.2. Las restricciones en la bsqueda estn justicadas
(ejemplo: pas de origen, idioma)? 5
D2.3. Los terminos de bsqueda empleados y las bases de datos
consultadas estn detalladas? 5
D2.4. Con los detalles aportados es posible reproducir la bsqueda? 1 5
D3. Criterios de inclusin y exclusin
D3.1. Los criterios de inclusin y exclusin de los estudios estn descritos y
son adecuados para responder a la pregunta de investigacin?
Fueron establecidos 1 2 3
D4. Intervencin
D4.1. Las intervenciones que se evalan estn claramente detalladas para todos
los grupos de estudio? 1 1 4
D5. Variables de resultado
D5.1. Son considerados todos los posibles daos y benecios de las intervenciones? 1 1 2 2
D6. Extraccin de datos
D6.1. La metodologa utilizada para la extracciones de datos tiene suciente
rigor y consistencia? 1 1 1 3
D6.2. Se detalla el nmero y la experiencia o formacin de los revisores? 1 2 2
D6.3. Hubo enmascaramiento de los revisores? 2 3
D6.4. Son reproducibles las evaluaciones de los estudios? 2 1 2
D6.5. Se extrajeron de forma clara las intervenciones/exposiciones/resultados
para todos los sujetos y/o grupos? 1 1 1 3
Figura 7. Distribucin de puntuaciones segn tcnico (RS)
S Parcialmente No Procede No
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
Tcnico 1 Tcnico 2 Tcnico 3 Tcnico 4 Tcnico 5
67%
28%
1%
4%
70%
17%
9%
4%
72%
17%
3%
8%
65%
25%
2%
8%
80%
8%
7%
5%
Discusin
Calidad de las Revisiones Sistemticas en funcin de los tcnicos que rea-
lizan la evaluacin. Estas diferencias son mucho menores a las observadas
al comparar los tiempos medios empleados en cada documento. Este hecho
podra deberse a la diferente experiencia entre los tcnicos que participaron
en la validacin, la cual pudo no quedar refejada con una pregunta genrica
sobre si tenan experiencia en la evaluacin de RS con este tipo de herra-
mientas.
son prximas a cero en muchos de los mismos. Este hecho, probablemen-
te relacionado con una alta prevalencia de documentos de calidad entre la
muestra seleccionada (RS de las Agencias/Unidades de Evaluacin de TS),
hace que el ndice kappa no constituya un buen estimador de la concor-
dancia inter-observador en este caso, estando en exceso penalizado para la
mayora de los tems. Por otra parte, la precisin de las medidas de concor-
dancia inter-observador es baja, hecho que podra subsanarse aumentando
el nmero de documentos evaluados.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Tabla 4. Resultados del anlisis de concordancia del Instrumento para la
Evaluacin de la Calidad de las Revisiones Sistemticas
Porcentaje
de acuerdos
observados
Porcentaje
de acuerdos
esperados
kappa
(IC 95%)
Promedio marginales Porcentaje
acuerdo
P vs NP No Parc. S
tem 17 0,87 0,88 -0,05 (-0,28, 0,07) 0,05 0,05 0,9 1
tem 18 0,77 0,57 0,48 (0,23, 0,8) 0,3 0,05 0,65 1
tem 19 0,73 0,619 0,6
Parc.: Parcialmente; P: Procede; NP: No procede.
En la tabla se puede observar cmo para la mayora de los tems se
encuentran frecuencias marginales prximas a cero, correspondindose con
el ndice kappa. Por otra parte, los intervalos de confanza de los ndices
kappa son muy amplios.
El 84,2% (16 de 19) de los tems muestran una adecuada proporcin de
acuerdos observados (igual o superior al 70%). Los tems con proporciones
de acuerdo inferiores corresponden al dominiovariable resultado (tems 7
y 8) y al referente a la metodologa de extraccin de datos (tem 9), para los
cuales, la proporcin de acuerdo fue siempre superior al 63%.
Cuando se recodifcan las valoraciones en las categoras Procede
frente a No procede, la proporcin de acuerdo observado es mayor del
80% para el 84,2% de los tems (16 de 19). Las menores proporciones
de acuerdo entre revisores correspondieron a los tems que hacen refe-
rencia a si se consideran los daos relevantes (tem 8), la descripcin de
la escala del nivel de evidencia (tem 15) y la existencia de conficto de
intereses (tem 19). En estos casos el porcentaje de acuerdo se sita por
encima del 60%.
Slo un tcnico (tcnico 4) consider que No proceda la valoracin
del tem 19 en los documentos evaluados. Puntu de esta manera este tem
en el 100% de los documentos que evalu.
El 60% de las ocasiones en que se consider que No proceda la va-
loracin del tem 15 corresponden a un solo tcnico (tcnico 2).
Las diferencias en la distribucin de las puntuaciones para el conjunto
de los tems segn los tcnicos, se recoge en la fgura 7.
1 2 3 4 5
D7. Calidad y validez de los estudios
D7.1. Es adecuado el mtodo que utilizan para evaluar la calidad de los estudios? 1 5
D7.2. Describen la metodologa empleada para incluir los estudios en base
a su calidad y validez? 1 1 3
D8. Sntesis y anlisis de los datos
D8.1. Se realiza una sntesis adecuada de los resultados teniendo
en cuenta la heterogeneidad y calidad de los estudios? 1 1 4
D8.2. Se describen los aspectos principales de los estudios primarios de
forma que permita realizar una evaluacin crtica de los mismos y permitan
reproducir la sntesis? 6
D9. Resultados
D9.1. Se realiza de forma adecuada una sntesis narrativa o cuantitativa
de los resultados? Se da una medida de la precisin de los resultados? 1 2 1 2
D10. Discusin
D10.1. Las conclusiones estn basadas en los resultados y considerando los
posibles sesgos y limitaciones? 1 5
D11. Finalizacin
D11.1. Se describe la fuente de nanciacin del estudio? 1 1 4
* Escala Liket: 1. Muy en desacuerdo; 2. Moderadamente en desacuerdo; 3. Ni de acuerdo ni en desacuerdo; 4. Moderadamente
de acuerdo; 5. Muy de acuerdo.
2 ronda
La segunda ronda se centr en lograr un acuerdo sobre los elementos donde
las discrepancias fueran mayores.
Esta ronda se realiz a travs de un taller presencial (27 de noviembre
de 2006, Santiago de Compostela) en el que se expusieron los resultados de
la primera ronda y los comentarios realizados por los panelistas agrupados
en las siguientes categoras:
Comentarios a favor de incluir un determinado elemento.
Comentarios en contra de incluir un determinado elemento.
Comentarios relacionados con restringir alguno de los aspectos abor-
dados por un elemento.
Comentarios relacionados con desdoblar en varias preguntas el conte-
nido de un elemento.
Reformulacin del elemento, en forma de otra pregunta.
Comentarios relacionados con desarrollar la explicacin del elemento
a fn de que se contemplen diversos aspectos en su contenido.
La segunda propuesta de elementos a incluir en el Listado de verif-
cacin, formulado en forma de preguntas, incorpor las sugerencias de la
Resultados
Se evaluaron con el instrumento 5 RS, siendo evaluada cada una un total de
4 veces.
Los cinco tcnicos que participaron en el proceso de validacin afr-
maron tener experiencia en la realizacin de revisiones sistemticas y en
la utilizacin de herramientas para evaluar la calidad de las mismas.
evaluacin de los documentos con el Instrumento para la Evaluacin de
la Calidad de las RS fue de 75 minutos, (percentiles 25 y 75: 56,2 y 120
minutos). Para los distintos documentos, la mediana de los tiempos medios
fue de 100 minutos, y sus percentiles 25 y 75, 93,7 y 112,5 minutos, respecti-
vamente.
La tabla 4 resume los resultados del anlisis de concordancia entre los
evaluadores y las frecuencias marginales para cada tem.
Porcentaje
de acuerdos
observados
Porcentaje
de acuerdos
esperados
kappa
(IC 95%)
acuerdo
P vs NP No Parc. S
tem 1 0,73 0,72 0,06 (-0,32, 0,49) 0,15 0,1 0,75 1
tem 2 0,97 0,97 0 0 0,5 0,95 1
tem 3 0,87 0,87 0 0,05 0,05 0,9 1
tem 4 0,71 0,62 0,23 (-0,55, 1,16) 0,23 0,15 0,57 0,8
tem 5 0,9 0,9 0 0,05 0 0,95 1
tem 6 0,7 0,72 -0,06 (-0,36, 0,18) 0,15 0 0,85 0,9
tem 7 0,67 0,77 -0,39 (-1,69, 0,41) 0,12 0,07 0,82 0,87
tem 8 0,63 0,52 0,22 (-0,29, 0,78) 0,35 0,18 0,47 0,77
tem 9 0,66 0,6 0,15 (-0,11, 0,45) 0,3 0,15 0,55 1
tem 10 0,94 0,95 - 0,19 (-0,77, 0,12) 0 0,1 0,9 0,9
tem 11 0,9 0,61 0,74 (-0,68, 3,04) 0,25 0 0,75 1
tem 12 0,73 0,49 0,47 (-0,39, 1,48) 0,47 0 0,58 0,9
tem 13 0,87 0,88 -0,05 (-0,28, 0,06) 0,05 0,05 0,9 1
tem 14 0,9 0,62 0,73 (-0,68, 3,01) 0,25 0 0,75 1
tem 15 0,7 0,55 0,33 (-1,3, 2,38) 0,3 0 0,7 0,63
tem 16 0,87 0,88 -0,05 (-0,28 , 0,08) 0,05 0,05 0,9 1
primera ronda sobre restringir el contenido, desdoblar o reformular algu-
nos elementos, siempre dando la opcin a optar por la versin original. Una
muestra como ejemplo de este Segundo cuestionario queda recogida en el
Anexo X b.
Cada elemento fue comentado uno a uno, agrupado por dominios, de
forma que los panelistas pudiesen aclarar errores en su interpretacin.
La valoracin por los panelistas de la inclusin/exclusin de los ele-
mentos en la versin defnitiva del instrumento no fue realizada con una es-
cala Likert sino con las categoras S/No. Esto se llev a cabo sin mantener el
anonimato, mediante votacin a mano alzada. La mayora de los elementos
fueron incluidos tras el proceso de deliberacin.
Posteriormente se consult nuevamente por posibles reformulaciones
de los elementos.
Entre los panelistas hubo acuerdo con respecto a las categoras de res-
puesta que contempla el Listado de verifcacin: S, No, Parcialmente
y No procede.
En esta segunda ronda los miembros del panel tambin fueron con-
sultados sobre la pertinencia de que el grupo coordinador reformulara los
elementos y elaborara el material de apoyo (documento explicativo) del ins-
trumento teniendo en cuenta las sugerencias de la primera y segunda rondas.
Hubo acuerdo a este respecto.
Con las dos primeras rondas se lleg a un amplio consenso sobre los
dominios y elementos que seran incluidos en el instrumento.
3 ronda
Esta fase se desarroll a travs de dos rondas de intercambios de correos
electrnicos entre los miembros del grupo GEVIEC.
En sta, se introdujeron las siguientes modifcaciones en el instrumento:
Mejoras en la formulacin de algunos tems y en sus descripciones en
el documento explicativo.
Modifcacin de las orientaciones del documento explicativo (encami-
nadas a defnir el mnimo necesario para cumplir cada elemento de
calidad).
Se recogi la propuesta de desarrollar un formato electrnico que fa-
cilitara la cumplimentacin del listado de verifcacin y permitiera el
almacenamiento de las valoraciones realizadas.
Estudio piloto
Dos mdicos residentes de 4 ao de Salud Pblica rotantes de la UETS
(Madrid), aplicaron el Instrumento para la Evaluacin de la Calidad de las
Calidad de la revisin
GEVIEC. Los tcnicos deban tener experiencia en la realizacin de revi-
siones sistemticas.
t la efciencia del proceso. Segn este modelo cada uno de los cinco docu-
mentos fueron evaluados por cuatro tcnicos.
Se contact con los participantes a travs del correo electrnico, expli-
cuatro RS, as como un acceso web a la aplicacin informtica del Instru-
mento para la Evaluacin de la Calidad de las RS y un breve cuestionario
con preguntas sobre la experiencia en la realizacin y evaluacin de RS y el
tiempo empleado en el proceso de validacin. Se estableci un plazo de dos
semanas para remitir las evaluaciones al equipo investigador.
ponderado segn la matriz recogida en la tabla 3.
S Parcialmente No
S 1 0,75 0
No 0 0,75 1
En este anlisis las valoraciones como No procede fueron interpre-
tadas como valores perdidos, permitiendo asignar los pesos de forma ms
coherente.
Posteriormente se incluy en el anlisis la categora No procede, ana-
lizando el acuerdo para la recodifcacin de las puntuaciones de cada tem
en las categoras No procede y Procede (incluyendo esta ltima las valo-
raciones: S, Parcialmente y No).
Las proporciones de acuerdo superiores al 70% fueron consideradas
adecuadas.
Para el anlisis se utiliz el paquete estadstico Presta v1999(ftp://ftp.
hrc.es/pub/programas/presta/v2.21).
Revisiones Sistemticas resultante de las fases anteriores sobre dos revi-
siones sistemticas, a fn de detectar posibles errores de interpretacin en el
Listado de verifcacin o en su Documento explicativo. Como resultado
del estudio piloto se modifcaron las instrucciones generales de cumplimen-
tacin, y ligeramente dos tems del cuestionario (tems 7 y 8).
Resultados
El Instrumento para la Evaluacin de la Calidad de las Revisiones Sistem-
ticas consta de un listado de verifcacin y un documento explicativo:
lan los distintos elementos importantes para la calidad de las revisiones
sistemticas. Estos elementos se organizan en 10 dominios, siendo su estruc-
tura la siguiente:
Dominio 1 Pregunta de investigacin
Dominio 4 Intervencin
Dominio 5 Variable resultado
Dominio 6 Extraccin de datos
Dominio 7 Calidad de los estudios
Dominio 9 Discusin
El documento explicativo (Anexo XI) aporta aclaraciones sobre el
exigibles a cualquier RS, para puntuar afrmativamente el tem al que se
referen. En un recuadro tras la explicacin de cada tem, se incluyen las
mato de texto, a travs de una aplicacin informtica (fgura 3) que integra el
13. Se describen las caractersticas principales de los estudios primarios de forma
que permita realizar una evaluacin crtica de los mismos y reproducir la sntesis?
15. Se describe la escala utilizada para clasicar el nivel de evidencia?
Dominio 9. Discusin
16. Se hace una valoracin adecuada de los resultados de la revisin sistemtica?
Validacin del Instrumento para la Evaluacin
de la Calidad de las Revisiones Sistemticas
Objetivo
las Revisiones Sistemticas.
Metodologa
forma independiente la calidad de cinco revisiones sistemticas (RS) utili-
zando el Instrumento para la Evaluacin de la Calidad de las Revisiones
Sistemticas.
Los documentos (RS) evaluados (Anexo IV) en el proceso fueron se-
leccionados (entre los disponibles en las pginas web de las Agencias/Uni-
dades de Evaluacin de TS del SNS) por un experto en revisiones sistemti-
cas de la UETS, teniendo en cuenta introducir diversidad para los siguientes
factores:
pgina web de la plataforma desarrollada para la Red de Agencias /Unida-
des de Evaluacin de TS (http://aunets.isciii.es) en el marco del Plan de Ca-
lidad para el SNS, dentro del apartado referido a Herramientas del apoyo
metodolgico.
Figura 6. Listado de vericacin para la evaluacin de la calidad de las
revisiones sistemticas
S Parc. No NP
Dominio 1. Pregunta de investigacin
bien detallados?
3. La estrategia de bsqueda es lo sucientemente exhaustiva?
4. Las restricciones que se presentan en la bsqueda estn justicadas?
5. Los criterios de seleccin de los estudios estn descritos y son adecuados para
responder a la pregunta de investigacin?
Dominio 4. Intervencin
6. Las intervenciones que se evalan estn claramente detalladas para todos los
grupos de estudio?
Dominio 5. Variable resultado
7. Son considerados los posibles benecios relevantes de la tecnologa?
8. Son considerados los posibles daos relevantes de la tecnologa?
Dominio 6. Extraccin de datos
9. La metodologa utilizada para la extraccin de los datos es sucientemente
rigurosa?
10. Se extrajeron las intervenciones/exposiciones y los resultados para todos los
sujetos y/o grupos?
Dominio 7. Calidad de los estudios
estudios?
12. Se utiliza la calidad de los estudios como criterio de seleccin o a la hora de
analizar los resultados?
Dominio 9. Discusin
Objetivo
Metodologa
Sistemticas.
factores:
pgina web de la plataforma desarrollada para la Red de Agencias /Unida-
des de Evaluacin de TS (http://aunets.isciii.es) en el marco del Plan de Ca-
lidad para el SNS, dentro del apartado referido a Herramientas del apoyo
metodolgico.
Figura 6. Listado de vericacin para la evaluacin de la calidad de las
S Parc. No NP
bien detallados?
3. La estrategia de bsqueda es lo sucientemente exhaustiva?
4. Las restricciones que se presentan en la bsqueda estn justicadas?
6. Las intervenciones que se evalan estn claramente detalladas para todos los
grupos de estudio?
7. Son considerados los posibles benecios relevantes de la tecnologa?
8. Son considerados los posibles daos relevantes de la tecnologa?
Dominio 6. Extraccin de datos
9. La metodologa utilizada para la extraccin de los datos es sucientemente
rigurosa?
10. Se extrajeron las intervenciones/exposiciones y los resultados para todos los
sujetos y/o grupos?
estudios?
12. Se utiliza la calidad de los estudios como criterio de seleccin o a la hora de
analizar los resultados?
siones sistemticas.
S Parcialmente No
S 1 0,75 0
No 0 0,75 1
coherente.
adecuadas.
Revisiones Sistemticas resultante de las fases anteriores sobre dos revi-
siones sistemticas, a fn de detectar posibles errores de interpretacin en el
Listado de verifcacin o en su Documento explicativo. Como resultado
del estudio piloto se modifcaron las instrucciones generales de cumplimen-
tacin, y ligeramente dos tems del cuestionario (tems 7 y 8).
Resultados
lan los distintos elementos importantes para la calidad de las revisiones
sistemticas. Estos elementos se organizan en 10 dominios, siendo su estruc-
tura la siguiente:
Dominio 9 Discusin
El documento explicativo (Anexo XI) aporta aclaraciones sobre el
exigibles a cualquier RS, para puntuar afrmativamente el tem al que se
referen. En un recuadro tras la explicacin de cada tem, se incluyen las
puesta.
los casos.
Resultados
4 veces.
vamente.
Porcentaje
de acuerdos
observados
Porcentaje
de acuerdos
esperados
kappa
(IC 95%)
acuerdo
P vs NP No Parc. S
tem 1 0,73 0,72 0,06 (-0,32, 0,49) 0,15 0,1 0,75 1
tem 2 0,97 0,97 0 0 0,5 0,95 1
tem 3 0,87 0,87 0 0,05 0,05 0,9 1
tem 4 0,71 0,62 0,23 (-0,55, 1,16) 0,23 0,15 0,57 0,8
tem 5 0,9 0,9 0 0,05 0 0,95 1
tem 6 0,7 0,72 -0,06 (-0,36, 0,18) 0,15 0 0,85 0,9
tem 7 0,67 0,77 -0,39 (-1,69, 0,41) 0,12 0,07 0,82 0,87
tem 8 0,63 0,52 0,22 (-0,29, 0,78) 0,35 0,18 0,47 0,77
tem 9 0,66 0,6 0,15 (-0,11, 0,45) 0,3 0,15 0,55 1
tem 10 0,94 0,95 - 0,19 (-0,77, 0,12) 0 0,1 0,9 0,9
tem 11 0,9 0,61 0,74 (-0,68, 3,04) 0,25 0 0,75 1
tem 12 0,73 0,49 0,47 (-0,39, 1,48) 0,47 0 0,58 0,9
tem 13 0,87 0,88 -0,05 (-0,28, 0,06) 0,05 0,05 0,9 1
tem 14 0,9 0,62 0,73 (-0,68, 3,01) 0,25 0 0,75 1
tem 15 0,7 0,55 0,33 (-1,3, 2,38) 0,3 0 0,7 0,63
tem 16 0,87 0,88 -0,05 (-0,28 , 0,08) 0,05 0,05 0,9 1
primera ronda sobre restringir el contenido, desdoblar o reformular algu-
nos elementos, siempre dando la opcin a optar por la versin original. Una
muestra como ejemplo de este Segundo cuestionario queda recogida en el
Anexo X b.
Cada elemento fue comentado uno a uno, agrupado por dominios, de
forma que los panelistas pudiesen aclarar errores en su interpretacin.
La valoracin por los panelistas de la inclusin/exclusin de los ele-
mentos en la versin defnitiva del instrumento no fue realizada con una es-
cala Likert sino con las categoras S/No. Esto se llev a cabo sin mantener el
anonimato, mediante votacin a mano alzada. La mayora de los elementos
fueron incluidos tras el proceso de deliberacin.
Posteriormente se consult nuevamente por posibles reformulaciones
de los elementos.
Entre los panelistas hubo acuerdo con respecto a las categoras de res-
puesta que contempla el Listado de verifcacin: S, No, Parcialmente
y No procede.
En esta segunda ronda los miembros del panel tambin fueron con-
sultados sobre la pertinencia de que el grupo coordinador reformulara los
elementos y elaborara el material de apoyo (documento explicativo) del ins-
trumento teniendo en cuenta las sugerencias de la primera y segunda rondas.
Hubo acuerdo a este respecto.
Con las dos primeras rondas se lleg a un amplio consenso sobre los
dominios y elementos que seran incluidos en el instrumento.
3 ronda
Esta fase se desarroll a travs de dos rondas de intercambios de correos
electrnicos entre los miembros del grupo GEVIEC.
En sta, se introdujeron las siguientes modifcaciones en el instrumento:
Mejoras en la formulacin de algunos tems y en sus descripciones en
el documento explicativo.
Modifcacin de las orientaciones del documento explicativo (encami-
nadas a defnir el mnimo necesario para cumplir cada elemento de
calidad).
Se recogi la propuesta de desarrollar un formato electrnico que fa-
cilitara la cumplimentacin del listado de verifcacin y permitiera el
almacenamiento de las valoraciones realizadas.
Estudio piloto
Dos mdicos residentes de 4 ao de Salud Pblica rotantes de la UETS
(Madrid), aplicaron el Instrumento para la Evaluacin de la Calidad de las
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
67%
28%
1%
4%
70%
17%
9%
4%
72%
17%
3%
8%
65%
25%
2%
8%
80%
8%
7%
5%
Discusin
mientas.
Porcentaje
de acuerdos
observados
Porcentaje
de acuerdos
esperados
kappa
(IC 95%)
acuerdo
P vs NP No Parc. S
tem 17 0,87 0,88 -0,05 (-0,28, 0,07) 0,05 0,05 0,9 1
tem 18 0,77 0,57 0,48 (0,23, 0,8) 0,3 0,05 0,65 1
tem 19 0,73 0,619 0,6
encima del 60%.
1 2 3 4 5
D7. Calidad y validez de los estudios
D7.1. Es adecuado el mtodo que utilizan para evaluar la calidad de los estudios? 1 5
D7.2. Describen la metodologa empleada para incluir los estudios en base
a su calidad y validez? 1 1 3
D8. Sntesis y anlisis de los datos
D8.1. Se realiza una sntesis adecuada de los resultados teniendo
en cuenta la heterogeneidad y calidad de los estudios? 1 1 4
D8.2. Se describen los aspectos principales de los estudios primarios de
forma que permita realizar una evaluacin crtica de los mismos y permitan
reproducir la sntesis? 6
D9. Resultados
D9.1. Se realiza de forma adecuada una sntesis narrativa o cuantitativa
de los resultados? Se da una medida de la precisin de los resultados? 1 2 1 2
D10. Discusin
D10.1. Las conclusiones estn basadas en los resultados y considerando los
posibles sesgos y limitaciones? 1 5
D11. Finalizacin
D11.1. Se describe la fuente de nanciacin del estudio? 1 1 4
* Escala Liket: 1. Muy en desacuerdo; 2. Moderadamente en desacuerdo; 3. Ni de acuerdo ni en desacuerdo; 4. Moderadamente
de acuerdo; 5. Muy de acuerdo.
2 ronda
La segunda ronda se centr en lograr un acuerdo sobre los elementos donde
las discrepancias fueran mayores.
Esta ronda se realiz a travs de un taller presencial (27 de noviembre
de 2006, Santiago de Compostela) en el que se expusieron los resultados de
la primera ronda y los comentarios realizados por los panelistas agrupados
en las siguientes categoras:
Comentarios a favor de incluir un determinado elemento.
Comentarios en contra de incluir un determinado elemento.
Comentarios relacionados con restringir alguno de los aspectos abor-
dados por un elemento.
Comentarios relacionados con desdoblar en varias preguntas el conte-
nido de un elemento.
Reformulacin del elemento, en forma de otra pregunta.
Comentarios relacionados con desarrollar la explicacin del elemento
a fn de que se contemplen diversos aspectos en su contenido.
La segunda propuesta de elementos a incluir en el Listado de verif-
cacin, formulado en forma de preguntas, incorpor las sugerencias de la
El acuerdo/consenso del panel se defni como la ausencia de polari-
zacin en las respuestas del grupo o ausencia de la distribucin de las res-
puestas a lo largo de toda la escala, siempre y cuando todos los miembros del
panel puntuaran el elemento.
Las puntuaciones de esta primera ronda se resumen en la fgura 5. Uno
de los panelistas no valor algunos de los elementos por considerar necesa-
ria la reformulacin/reubicacin de los mismos con anterioridad.
La primera ronda permiti identifcar los elementos para los que ya
exista acuerdo para su inclusin o exclusin (5 elementos fueron incluidos),
y para identifcar posibles errores de interpretacin de los elementos.
1 2 3 4 5
D1. Pregunta de investigacin
D1.1. La pregunta est claramente descrita y es apropiada? 2 4
D2. Estrategia de bsqueda
D2.1. La estrategia de bsqueda es lo sucientemente exhaustiva
y rigurosa atendiendo a los posibles sesgos de publicacin? 2 3
D2.2. Las restricciones en la bsqueda estn justicadas
(ejemplo: pas de origen, idioma)? 5
D2.3. Los terminos de bsqueda empleados y las bases de datos
consultadas estn detalladas? 5
D2.4. Con los detalles aportados es posible reproducir la bsqueda? 1 5
D3. Criterios de inclusin y exclusin
D3.1. Los criterios de inclusin y exclusin de los estudios estn descritos y
son adecuados para responder a la pregunta de investigacin?
Fueron establecidos 1 2 3
D4. Intervencin
D4.1. Las intervenciones que se evalan estn claramente detalladas para todos
los grupos de estudio? 1 1 4
D5. Variables de resultado
D5.1. Son considerados todos los posibles daos y benecios de las intervenciones? 1 1 2 2
D6. Extraccin de datos
D6.1. La metodologa utilizada para la extracciones de datos tiene suciente
rigor y consistencia? 1 1 1 3
D6.2. Se detalla el nmero y la experiencia o formacin de los revisores? 1 2 2
D6.3. Hubo enmascaramiento de los revisores? 2 3
D6.4. Son reproducibles las evaluaciones de los estudios? 2 1 2
D6.5. Se extrajeron de forma clara las intervenciones/exposiciones/resultados
para todos los sujetos y/o grupos? 1 1 1 3
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
67%
28%
1%
4%
70%
17%
9%
4%
72%
17%
3%
8%
65%
25%
2%
8%
80%
8%
7%
5%
Discusin
mientas.
Porcentaje
de acuerdos
observados
Porcentaje
de acuerdos
esperados
kappa
(IC 95%)
acuerdo
P vs NP No Parc. S
tem 17 0,87 0,88 -0,05 (-0,28, 0,07) 0,05 0,05 0,9 1
tem 18 0,77 0,57 0,48 (0,23, 0,8) 0,3 0,05 0,65 1
tem 19 0,73 0,619 0,6
encima del 60%.
Participantes
Fueron invitados a participar los miembros del grupo GEVIEC de las 7
Agencias/Unidades de Evaluacin de TS, como expertos en revisiones sis-
temticas (Anexo I).
Finalmente participaron 6 de las 7 Agencias/Unidades invitadas. En
caso de haber ms de un participante por agencia/unidad nicamente uno
actu como portavoz.
Desarrollo
1 ronda
Los miembros del grupo GEVIEC (miembros del panel Delphi) fueron in-
vitados a participar en el proyecto a travs de un correo electrnico en el
que se les explicaba los objetivos generales del mismo y de su primera fase.
En ese primer correo se les adjunt la primera propuesta de elementos
a incluir en el listado de verifcacin (basados en la seleccin de componen-
tes realizada y formulados en forma de tems), junto con un cuestionario en
el que se les solicitaba que valoraran a travs de una escala de Likert de 5
puntos
*
la adecuacin de cada uno de los elementos para ser incluido en el
ticas.
Se les dio la oportunidad de que escribieran los comentarios que con-
sideran oportunos sobre su decisin, de que reformularan los elementos in-
cluidos y de que aadieran los nuevos elementos que consideraran de inte-
rs.
Una muestra de la presentacin de este Primer cuestionario queda
recogida a modo de ejemplo en el Anexo Xa.
Para ayudar a la valoracin de los panelistas, la propuesta de dominios
y elementos se acompa del siguiente material de apoyo:
Matriz con las caractersticas principales de las herramientas de eva-
luacin de la calidad de las revisiones sistemticas, identifcadas en la
revisin bibliogrfca (Anexo VI).
Matriz con los dominios y elementos abordados en cada una de las
herramientas anteriores (Anexo IX).
Tabla resumen de los dominios y elementos basados en evidencia em-
prica (Anexo VII).
Defniciones de los elementos incluidos en la versin inicial del instru-
mento (Anexo VIII).
* 1: Muy en desacuerdo; 2: moderadamente en desacuerdo; 3: ni de acuerdo ni en desacuer-
do; 4: moderadamente de acuerdo; 5: muy de acuerdo.
puesta.
los casos.
Resultados
4 veces.
vamente.
Porcentaje
de acuerdos
observados
Porcentaje
de acuerdos
esperados
kappa
(IC 95%)
acuerdo
P vs NP No Parc. S
tem 1 0,73 0,72 0,06 (-0,32, 0,49) 0,15 0,1 0,75 1
tem 2 0,97 0,97 0 0 0,5 0,95 1
tem 3 0,87 0,87 0 0,05 0,05 0,9 1
tem 4 0,71 0,62 0,23 (-0,55, 1,16) 0,23 0,15 0,57 0,8
tem 5 0,9 0,9 0 0,05 0 0,95 1
tem 6 0,7 0,72 -0,06 (-0,36, 0,18) 0,15 0 0,85 0,9
tem 7 0,67 0,77 -0,39 (-1,69, 0,41) 0,12 0,07 0,82 0,87
tem 8 0,63 0,52 0,22 (-0,29, 0,78) 0,35 0,18 0,47 0,77
tem 9 0,66 0,6 0,15 (-0,11, 0,45) 0,3 0,15 0,55 1
tem 10 0,94 0,95 - 0,19 (-0,77, 0,12) 0 0,1 0,9 0,9
tem 11 0,9 0,61 0,74 (-0,68, 3,04) 0,25 0 0,75 1
tem 12 0,73 0,49 0,47 (-0,39, 1,48) 0,47 0 0,58 0,9
tem 13 0,87 0,88 -0,05 (-0,28, 0,06) 0,05 0,05 0,9 1
tem 14 0,9 0,62 0,73 (-0,68, 3,01) 0,25 0 0,75 1
tem 15 0,7 0,55 0,33 (-1,3, 2,38) 0,3 0 0,7 0,63
tem 16 0,87 0,88 -0,05 (-0,28 , 0,08) 0,05 0,05 0,9 1
revisin; estrategia de bsqueda; criterios de inclusin y exclusin de
estudios; intervenciones; variables de resultado; extraccin de datos;
calidad y validez de los estudios; sntesis y anlisis de los datos; resulta-
dos; discusin; fnanciacinconficto de inters.
No todos los tems incluidos en los instrumentos encontrados han de-
mostrado evitar la aparicin de sesgos en estudios.
A partir de la informacin recogida en esta revisin y el consenso de
expertos es posible seleccionar tems y disear una herramienta para la eva-
luacin de revisiones sistemticas dentro de nuestro contexto.
La seleccin del listado inicial de componentes o elementos a incluir en el
cas, se realiz en base a los identifcados en la revisin bibliogrfca, siguien-
do la clasifcacin en dominios (metodolgicos y de la ejecucin de los estu-
dios) y elementos (caractersticas componentes de los dominios) propuesta
en la revisin de la AHRQ.
Objetivo
cas deberan ser incluidos en el instrumento, debido a su aparente relacin
con la calidad de las mismas.
Metodologa
La tcnica adoptada para el consenso fue el mtodo Delphi modifcado. El
mtodo Delphi es una tcnica cualitativa que facilita el consenso entre gru-
pos de expertos gracias, fundamentalmente, a la retroalimentacin contro-
lada de los resultados, la interaccin a travs de varias rondas y a que utiliza
un procedimiento de agregacin de juicios individuales. La tcnica utilizada
en esta fase del proyecto es una variante del Delphi ya que no se mantuvo el
anonimato en todas las rondas.
El nmero de rondas no qued defnido de antemano sino que se reali-
zaran las necesarias para alcanzar un consenso sobre los elementos a incluir
en el instrumento, as como sobre su formulacin y el contenido del docu-
mento explicativo.
siones sistemticas.
S Parcialmente No
S 1 0,75 0
No 0 0,75 1
coherente.
adecuadas.
el resto no describe ninguna metodologa de desarrollo. No describen las
caractersticas mtricas.
Instrucciones de uso: La mayor parte de estas herramientas de evalua-
cin de la calidad de revisiones sistemticas describen en mayor o menor
medida unas instrucciones para su utilizacin, excepto 4 de ellas.
Dominios y elementos
En la revisin de la AHRQ se seleccionaron los dominios considerados im-
portantes para el desarrollo de herramientas de evaluacin de revisiones
sistemticas. Los dominios y elementos corresponden a diferentes fases de
la metodologa de elaboracin de las revisiones sistemticas. Algunos han
demostrado en estudios empricos que evitan la aparicin de sesgos, otros
son considerados generalmente como estndares metodolgicos aceptados
por los expertos.
Los dominios contienen uno o ms elementos que defnen dicho domi-
nio. Estos dominios y elementos seleccionados en la revisin de la AHRQ se
describen en los anexos VII y VIII.
De estos dominios aquellos que contenan elementos basados en evi-
dencia emprica son
8
: la estrategia de bsqueda, la calidad y validez de los
estudios, la sntesis y anlisis de los datos, los resultados y la fnanciacin-
conficto de inters. Hay estudios empricos en los que se observa que estos
elementos metodolgicos infuyen en los resultados de las revisiones siste-
mticas.
Siguiendo el mismo modelo metodolgico que utiliza la revisin de
la AHRQ, se identifcaron las preguntas/tems de los instrumentos de eva-
luacin, localizados mediante la bsqueda bibliogrfca, comprobando si in-
cluan los dominios descritos previamente (Anexo IX).
Los dominios que aparecen con mayor frecuencia en las herramientas
localizadas son: objetivo de la revisin/pregunta de investigacin, estrategia
de bsqueda, criterios de inclusin y exclusin de estudios, calidad y validez
de los estudios, sntesis y anlisis de los datos, resultados y fnanciacin con-
ficto de inters. Y con menor frecuencia: intervenciones, variables de resul-
tado, extraccin de datos y discusin.
Conclusiones
La mayora de estos instrumentos han sido desarrollados por consenso
de expertos, o modifcacin de otros ya existentes.
No existe ninguna herramienta consensuada de uso generalizado entre
expertos para evaluar la calidad de revisiones sistemticas.
En general todos los instrumentos valoran con mayor frecuencia al-
gunos dominios dentro de las revisiones sistemticas: objetivo de la
Dominio 9. Discusin
Objetivo
Metodologa
Sistemticas.
factores:
Resultados
Se localizaron dos revisiones sobre herramientas para evaluar la calidad de
diferentes tipos de estudios:
West S, King V, Carey TS, Lohr KN, McKoy N, Sutton SF, et al. Systems
to Rate the Strength of Scientifc Evidence. Evidence Report/Technol-
ogy Assessment No. 47 (Prepared by the Research Triangle Institute
University of North Carolina Evidence-based Practice Center under
MD: Agency for Healthcare Research and Quality. April 2002
8
.
Katrak P, Bialocerkowski AE, Massy-Westropp N, Kumar S, Grimmer
KA. A systematic review of the content of critical appraisal tools. BMC
Medical Research Methodology 2004; 4: 22
9
.
Adems se obtuvieron 2.271 abstracts con la estrategia de bsqueda
realizada en Medline y 124 en la Biblioteca Cochrane Plus.
Tras la revisin de esta informacin se localizaron 22 instrumentos uti-
lizados por diferentes autores/organismos para evaluar la calidad de revisio-
nes sistemticas. De estos 22 instrumentos, 19 se localizaron en la revisin de
la AHRQ, y 3 en las pginas de Internet revisadas.
La bsqueda bibliogrfca de este tipo de instrumentos result compleja,
ya que no existen palabras clave especfcas para referirse a instrumentos de
evaluacin de la calidad de estudios. De esta manera la bsqueda en Medline
y Cochrane result muy inespecfca, recuperndose una cantidad elevada de
publicaciones de las que pocas estaban relacionadas con el tema.
Caractersticas de las herramientas (Anexo VI)
Tipo de herramienta: De las 22 herramientas localizadas 12 son checklist, 9
guas desarrolladas para ayudar en la elaboracin de revisiones sistemticas
y 1 es una escala especfcamente diseada para la revisin sistemtica en la
que se utiliza.
Todos los instrumentos son genricos, es decir, se elaboraron para eva-
luar la calidad de cualquier revisin sistemtica, excepto uno, que se dise
para ser utilizado especfcamente en una revisin sobre fsioterapias.
Seleccin de los tems: Una gran parte de las herramientas (n=10) han
sido diseadas a partir de otras ya existentes, incluyendo algunas modifcacio-
nes. 5 han utilizado mtodos de consenso para la inclusin de los tems y en 7
casos se han utilizado ambas opciones (modifcacin de otras y consenso).
Estudio de la fabilidad inter-evaluador: Slo en 4 herramientas se rea-
liza un anlisis de la correlacin.
Rigor en el desarrollo: Ningn instrumento utiliza una metodologa
rigurosa en su desarrollo: 5 de ellos utilizan algn mtodo de consenso y
Metodologa especfca
rence)
2
(fgura 6).
Objetivo
preguntas.
cumplimentacin.
Resultado
la siguiente:
Extraccin de datos
De los documentos recuperados mediante la bsqueda bibliogrfca se ex-
trajeron una serie de datos de inters para la elaboracin de la herramienta
de evaluacin de la calidad de revisiones sistemticas. Estos datos se extra-
jeron mediante un formulario de recogida de datos, y el proceso se llev a
cabo por dos tcnicos de forma independiente. En caso de desacuerdo en la
recogida de algn dato se lleg a un consenso mediante discusin.
Se recogen dos tipos de datos sobre los instrumentos de evaluacin de
la calidad de revisiones sistemticas localizados en la bsqueda bibliogrf-
ca. Por un lado las caractersticas de la herramienta y por otro los tems que
incluyen para evaluar la calidad de las revisiones sistemticas.
Caractersticas de la herramienta
Tipo de instrumento
Checklist: lista de vericacin cuyas respuestas son cualitativas, no puntuadas.
Escala: lista de vericacin en la que se punta cada tem y se obtiene una puntuacin global de la calidad de la revisin
sistemtica que se evala.
Guas: Herramientas que no han sido diseadas especcamente para evaluar la calidad de las revisiones sistemticas, sino
que su objetivo es guiar en la elaboracin de una revisin sistemtica, describiendo los pasos ms importantes.
Componente metodolgico: Aspecto individual de la metodologa de las revisiones sistemticas, que puede estar relacionado
con la aparicin de sesgos en la estimacin del efecto.
Instrumento genrico o especco
Genrico: Se puede utilizar para evaluar la calidad de cualquier revisin sistemtica.
Especco: Elaborado para evaluar la calidad de revisiones sistemticas que traten un tema concreto, un resultado concreto, etc.
Mtodo de seleccin de los tems
Herramienta elaborada mediante modicacin de otras.
Los tems que conforman la herramienta son estndares metodolgicos aceptados por expertos.
Los tems han sido seleccionados a partir de estudios empricos en los que se demuestra relacin entre elementos
metodolgicos y la calidad de la revisin sistemtica.
La herramienta contiene tems aceptados por expertos e tems basados en estudios empricos.
Rigor en su elaboracin
S: Se describe explcitamente las caractersticas mtricas del instrumento.
Parcial: Instrumento elaborado mediante un mtodo de consenso.
No: No se describe el proceso de desarrollo.
Se recoge si se ha medido la reproducibilidad de la herramienta.
Se recoge si la herramienta viene acompaada de instrucciones para su utilizacin.
Adaptado de West SL
8
.
Metodologa
senso de expertos.
Participantes
Desarrollo
XIII).
ellos.
con la Salud (CVRS)
Metodologa especfca
(Anexo II).
10-13
estudios de CVRS.
Tambin se realiz una bsqueda de informacin en pginas web de
organismos relacionados con la evaluacin de tecnologas sanitarias: Cana-
dian Agency for Drugs andTechnologies in Health (CADTH, Canad), Aus-
tralian Safety and Effcacy Register of New Interventional ProceduresSur-
gical (ASERNIP-S, Australia), Agency for Healthcare Research and Quality
(AHRQ, EEUU), Agence dvaluation des Technologies et des Modes
dIntervention en Sant (AETMIS, Canad), Institute of Health Economics
(IHE, Canad). Medical Advisory Secretariat (MAS, Canad), Finnish Of-
fce for Health Care Technology Assessment (FinOHTA, Finlandia), Comit
dvaluation et de Diffusion des Innovations Technologiques (CEDIT, Fran-
cia), New Zealand Health Technology Assessment (NZHTA, Nueva Zelan-
da), Norwegian Knowledge Centre for Health Services (NOKC, Noruega),
Centre for Reviews and Dissemination (CRD, Reino Unido), University of
Birminghan (Reino Unido), National Coordinating Centre for Health Tech-
nology Assessment (NCCHTA, Reino Unido), Veterans Affairs Technology
assessment Program(VATAP, EEUU), Manual NHMRC (National Health
and Medical Research Council, Australia).
Adems, se revis la seccin de documentos metodolgicos de la p-
gina web de la red internacional Guidelines Internacional Network (GIN),
relacionado con las guas de prctica clnica.
La bsqueda bibliogrfca se complet con un cuestionario enviado a
las Agencias/Unidades de Evaluacin de Tecnologas Sanitarias espaolas,
en el que se recogan herramientas de evaluacin de la calidad de revisiones
sistemticas utilizadas por dichas agencias, tanto de elaboracin propia como
instrumentos elaborados por otros autores (Anexo V).
Criterios de seleccin
Para seleccionar la informacin de inters se utilizaron los siguientes crite-
rios de inclusin:
Artculos en los que se describa, utilice o valide alguna herramienta
utilizada para evaluar la calidad de revisiones sistemticas.
Revisiones sistemticas o informes tcnicos donde se revise este tipo
de instrumentos.
Documentos metodolgicos, manuales, donde se describa la metodolo-
ga de elaboracin de revisiones sistemticas, GPC o informes de eva-
luacin de TS y entre sus explicaciones detalle alguna herramienta de
evaluacin de la calidad de revisiones sistemticas.
Dos revisores realizaron una lectura de los ttulos y resmenes de los
trabajos localizados mediante la estrategia de bsqueda en Medline y la Bi-
blioteca Cochrane Plus. En caso de desacuerdo sobre la inclusin de algn
documento se intenta llegar a un consenso.
Resultados
ra la siguiente:
Dominio 8 Discusin
de la Calidad de las Revisiones
Sistemticas
Coordinado por Gloria Ariza, Mercedes Reza y Juan Antonio Blasco
Metodologa especfca
Revisin bibliogrca
Objetivos
Localizar y describir instrumentos utilizados para la evaluacin de la
calidad de revisiones sistemticas.
Identifcar aspectos de la metodologa de elaboracin de las revisiones
sistemticas que son considerados en los instrumentos de evaluacin.
Bsqueda bibliogrca
Para localizar dichas herramientas se ha llevado a cabo una bsqueda de
informacin en Medline y la Biblioteca Cochrane Plus.
La estrategia de bsqueda utilizada fue la siguiente:
Medline:
(Quality Control/ OR reproducibility of results/ OR Data Interpretation, Statistical/ OR exp Guidelines/ OR exp Questionnaires/
OR exp Quality Assurance, Health Care/ OR Research Design/ OR peer review/ OR peer review, research/ OR Publishing/
or Periodicals/ OR critical appraisal.mp. [all elds] OR check-list.mp. [all elds] OR quality assessment.mp. [all elds]) AND
(Systematic review.mp. [all elds] OR Review Literature/ or Meta-Analysis/). = 2.271 abstracts.
Biblioteca Cochrane plus:
Review (title) AND (Critical appraisal (Key word) OR Scales and checklists (key word) OR Quality (title)) = 124 abstracts.
Se limit temporalmente la bsqueda bibliogrfca al perodo 2002-
2006, ya que se localizaron dos revisiones sistemticas sobre el tema publi-
cadas en 2002 y 2004, con lo que se procedi a realizar una actualizacin de
la informacin obtenida por dichas revisiones.
meta-anlisis
S Parc. No NP
estudios?
los resultados?
el meta-anlisis?
en el meta-anlisis?
meta-anlisis
S Parc. No NP
Dominio 8. Discusin
meta-anlisis
S Parc. No NP
estudios?
los resultados?
el meta-anlisis?
en el meta-anlisis?
meta-anlisis
S Parc. No NP
Dominio 8. Discusin
Resultados
ra la siguiente:
Dominio 8 Discusin
Discusin
Calidad de los Informes de Evaluacin de TS que parecen no depender de
los documentos evaluados por cada revisor sino de factores individuales de
los tcnicos. Este hecho podra deberse a la diferente experiencia entre los
tcnicos que participaron en la validacin, la cual pudo no quedar refejada
con la pregunta genrica sobre si tenan experiencia en la evaluacin de in-
formes de evaluacin de TS con este tipo de herramientas.
son prximas a cero en muchos de los mismos. Este hecho, relacionado con
una alta prevalencia de documentos de calidad entre la muestra selecciona-
da (RS de las Agencias/Unidades de Evaluacin de TS), hace que el ndice
kappa no constituya un buen estimador de la concordancia inter-observador
en este caso estando en exceso penalizado para la mayora de los tems. Por
otra parte, la precisin de las medidas de concordancia inter-observador es
baja. Este hecho podra subsanarse aumentando el nmero de documentos
evaluados.
de los Informes de Evaluacin de TS parece adecuada, siendo la propor-
cin de acuerdos observados superior al 70% en veintids de los veintisiete
tems (81,5%).
Se han detectado oportunidades de mejora en los tems referidos a si
se realiz una revisin externa (tem 5), si incluye un resumen estructurado
en lenguaje no especializado (tem 7), si se aplic un mtodo explcito para
evaluar la calidad de la evidencia (tem 16), si se consideraron los aspectos
organizativos relacionados con la adquisicin y puesta en marcha de la tec-
nologa (tem 23) y si se sugieren lneas futuras de actuacin (tem 27).
En el caso del Instrumento para la Evaluacin de la Calidad de los In-
formes de Evaluacin de TS la puntuacin de los tems como No procede
se ha utilizado durante la validacin de manera anecdtica (tres ocasiones).
Este hecho est en lnea con el sentido con el que se incluy esta categora
de respuesta.
En general consideramos que la fabilidad del instrumento, pese a ser
adecuada, es susceptible de mejora y probablemente un entrenamiento pre-
vio a los evaluadores, en el que se clarifque el sentido de las categoras de
respuesta, mejorara los resultados obtenidos. La diferente experiencia en
la utilizacin de estos instrumentos por parte de los tcnicos que realizaron
la validacin tambin pudo ser un factor que infuyera en los resultados; sin
embargo, este hecho es inevitable en el uso habitual del instrumento.
Metodologa
senso de expertos.
Participantes
Desarrollo
XIII).
ellos.
con la Salud (CVRS)
Metodologa especfca
(Anexo II).
10-13
estudios de CVRS.
En la tabla 2 se puede observar cmo en muchos de los tems se en-
cuentran frecuencias marginales prximas a cero, correspondindose con
el ndice kappa. Por otra parte, la precisin de los ndices kappa obtenida es
baja en la muestra.
El 81,5% (22) de los tems muestran una proporcin de acuerdos ob-
servados igual o superior al 70%. Los tems con proporciones inferiores co-
rresponden a los tems referentes a si se realiz una revisin externa (tem
5), si se incluye un resumen estructurado en lenguaje no especializado (tem
7), si se aplic un mtodo explcito para evaluar la calidad de la evidencia
(tem 16), si se consideraron los aspectos organizativos relacionados con la
adquisicin y puesta en marcha de la tecnologa (tem 23) y si se sugieren
lneas futuras de actuacin (tem 27).
La fgura 4 muestra la distribucin global de las puntuaciones para el
conjunto de los tems diferenciando las puntuaciones de cada tcnico que
particip en la validacin.
Cabe destacar que la categora No procede fue utilizada nicamente
en un 1% (3 veces) del global de las puntuaciones.
Figura 4. Distribucin de puntuaciones segn tcnico (IETS)
S Parcialmente No procede No
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
Tcnico 1 Tcnico 2 Tcnico 3 Tcnico 4 Tcnico 5 Global
63%
7%
30%
65%
7%
28%
72%
2%
26%
68%
5%
26%
2%
65%
7%
28%
1%
77%
0%
21%
2%
Metodologa especfca
rence)
2
(fgura 6).
Objetivo
preguntas.
cumplimentacin.
Resultado
la siguiente:
Tabla 2. Resultados de los anlisis de concordancia para el Instrumento
para la Evaluacin de la Calidad de los Informes de Evaluacin de TS
Porcentaje
de acuerdos
observados
Porcentaje
de acuerdos
esperados
kappa
(IC 95%)
Promedios marginales
S Parc. No
tem 1 1 0,66 1 (1, 1) 0,2 0 0,8
tem 2 1 0 0 1
tem 3 1 0 0 1
tem 4 1 0,66 1 (1, 1) 0,8 0 0,2
tem 5 0,675 0,53 0,32 (-0,38, 0,99) 0,35 0,5 0,6
tem 6 0,85 0,78 0,33 (-0,55, 1,36) 0,1 0,1 0,8
tem 7 0,60 0,56 0,09 (-0,2, 0,45) 0,3 0,2 0,5
tem 8 0,87 0,7 0,58 (0,43, 0,9) 0,15 0,25 0,6
tem 9 0,77 0,77 0 0,1 0,05 0,85
tem 10 1 0 0 1
tem 11 0,9 0,9 0 0,05 0 0,95
tem 12 0,97 0,97 0 0 0,05 0,95
tem 13 1 0 0 1
tem 14 0,87 0,84 0,23 (-0,85, 1,1) 0,05 0,15 0,8
tem 15 0,87 0,53 0,74 (0,28, 1,2) 0,4 0,05 0,55
tem 16 0,65 0,51 0,28 (-0,33, 0,93) 0,35 0,1 0,55
tem 17 0,7 0,49 0,41 (-0,22, 1,2) 0,45 0 0,55
tem 18 0,975 0,8 0,87 (-0,24, 3,37) 0,1 0,05 0,85
tem 19 0,77 0,67 0,32 (-0,7, 1,46) 0,2 0,05 0,75
tem 20 0,8 0,47 0,62 (0,1, 1,3) 0,4 0 0,6
tem 21 0,89 0,57 0,74 (0,19, 1,5) 0,62 0 0,38
tem 22 0,9 0,61 0,74 (0,13, 1,5) 0,75 0 0,25
tem 23 0,64 0,58 0,13 (-0,58, 1,2) 0,45 0,07 0,48
tem 24 0,9 0,72 0,65 (-0,3, 1,89) 0,15 0,1 0,75
tem 25 0,75 0,49 0,5 (-0,09, 1,2) 0,5 0,07 0,43
tem 26 0,9 0,73 0,64 (-0,6, 2,4) 0,15 0 0,85
tem 27 0,57 0,48 0,18 (-0,54, 1) 0,55 0,05 0,4
Parc.: Parcialmente.
Anexo VIII. Descripcin de los dominios y
elementos
Dominios Descripcin
Objetivo de la revisin/
pregunta de investigacin
La pregunta de investigacin u objetivos de la revisin deben estar claramente descritos
en el documento de la revisin.
Dicha pregunta u objetivos deben ser apropiados. Para ello debe especicar la poblacin
a estudio y/o patologa, la intervencin a evaluar e intervenciones de comparacin y los
resultados de inters.
Estrategia de bsqueda Bsqueda lo sucientemente exhaustiva como para permitir localizar los estudios
que interesan y evitar en lo posible el sesgo de publicacin. (Varias bases de datos,
documentos secundarios, contacto con expertos, revisin manual de referencias
bibliogrcas)
Si se utilizan lmites en la bsqueda que se detalle la justicacin de los mismos y que
sta sea razonable (por ejemplo, no sera exhaustiva una bsqueda de estudios slo en
ingls).
Describe las bases de datos y otras fuentes donde se ha buscado informacin, las
palabras clave utilizadas y su combinacin, lmites utilizados.
La estrategia de bsqueda utilizada debe estar claramente detallada en la revisin, de
manera que el proceso pueda reproducirse por otro investigador.
Criterios de inclusin y
exclusin de estudios
Los criterios de inclusin y exclusin de los estudios estn claramente especicados en
la revisin.
Estos criterios han sido denidos antes de realizar la revisin.
Para ser apropiados, estos criterios de seleccin deben recoger los siguientes factores:
la poblacin a estudio, la patologa, la intervencin a estudio, las intervenciones de
comparacin en su caso, las variables de resultado que interesan, el diseo de estudio.
Intervenciones
Resultados Se evalan todos los posibles benecios y riesgos de la tecnologa. Aunque la revisin se
centre en determinados resultados de inters para los autores, se deben tener en cuenta
tambin otros benecios y riesgos de la misma.
Extraccin de datos Para considerar la extraccin de datos rigurosa, los autores revisados describen que:
En algunos casos se valora la utilizacin de un formulario diseado previamente con los
datos a recoger.
La extraccin debera ser realizada por al menos dos revisores, que podrn ser expertos o
no en el tema de la revisin.
Los revisores no deben conocer la identicacin de los estudios que revisan para que no
inuya en el proceso.
Se estudia en qu medida se ha producido acuerdo en los datos extrados entre los
revisores, para comprobar el grado de reproducibilidad de este proceso.
Debe describirse con detalle la intervencin/exposicin, especicando en qu consiste,
cmo se realiza, quin la realiza, etc. Tambin hay que describir con detalle los resultados,
los cuales pueden aparecer en diferentes formatos en los estudios: medidos en distintos
momentos de tiempo, utilizando diferentes escalas, medidos en diferentes grupos de
pacientes, etc.
Dominio 1: Diseo y anlisis del estudio
Justicacin y objetivos del estudio
Administracin del instrumento de medida
Medicin de los resultados
Dominio 2: Instrumento para medir la CVRS
Contenido del instrumento
Fiabilidad
Validez
Sensibilidad al cambio
Adaptacin cultural y lingstica
Dominio 3: Interpretacin de los resultados
Puntuaciones
Magnitud del efecto
Discusin
El Documento explicativo (Anexo XV) aporta aclaraciones sobre el
ideal de calidad, por lo que no todas las caractersticas que recoge seran exi-
gibles a cualquier estudio de CVRS para puntuar afrmativamente el tem al
que se referen. En un recuadro tras la explicacin de cada tem, se incluyen
las Orientaciones, que sealan aquellos aspectos que se consideran carac-
tersticas esenciales para cumplir el elemento, es decir, sin las cuales el tem
estudios de calidad de vida relacionada con la salud
S Parc. No NP
1. La medicin de la calidad de vida es uno de los objetivos del estudio?
2. Se midi la calidad de vida antes de la intervencin?
3. Se hizo la medicin en un momento adecuado?
4. Se considera/n suciente/s para responder a la pregunta de investigacin la/s
medicin/es de CVRS realizadas durante el perodo de seguimiento?
5. Se tuvo en cuenta el perodo recordatorio del instrumento respecto a la historia natural
del proceso y el momento de la administracin?
Dominios Elementos* Base emprica Cobertura dominio
D8. Sntesis y anlisis de los datos 19 ; 2
D8.1. Uso apropiado de la sntesis cualitativa y/o
cuantitativa, considerando aspectos de robustez y
heterogeneidad.
D8.2. Descripcin de los componentes clave de los
estudios primarios, de forma que permitan una lectura
crtica de los mismos y reproducir la sntesis.
D9. Resultados 17 ; 2
D9.1. Sntesis narrativa o cuantitativa. Descripcin
de la precisin de los resultados.
D10. Discusin 8 ; 7
D10.1. Conclusiones en base a los resultados
considerando los posibles sesgos y limitaciones.
D11. Financiacin 4
D11.1. Tipo y fuente de nanciacin del estudio.
* Los elementos sealados con negrillas son considerados elementos esenciales para que se cumpla el dominio.
** Cumplir este dominio requiere haber cumplido la mayor parte de los elementos que se consideran dentro del mismo.
N de instrumentos de entre los revisados (21 instrumentos) que exploran este dominio.
N de instrumentos de entre los revisados (21 instrumentos) que exploran de forma parcial este dominio.
S Parc. No NP
6. El modo de administracin del cuestionario es homogneo en todos los pacientes del
estudio o en caso contrario, se justica y se evala su inuencia en los resultados?
7. Se justica la eleccin de los resultados que se van a medir?
8. Se evita, o al menos se justica, la utilizacin de informadores indirectos?
9. Se han tratado los valores perdidos de forma adecuada?
Dominio 2: Calidad del instrumento para medir la CVRS
10. Se detalla el contenido del instrumento o en su defecto se cita algn artculo que lo
contenga?
11. Globalmente, el instrumento utilizado es adecuado para alcanzar los objetivos del
estudio?
Fiabilidad
12. Se proporciona informacin que demuestre que la abilidad del instrumento es
adecuada?
Validez
13. Se proporciona informacin que demuestre la validez de constructo del instrumento?
14. Se proporciona evidencia de la validez del instrumento en poblaciones similares a la
que se aplica?
15. Se proporciona informacin que demuestre la sensibilidad al cambio del instrumento?
16. Se ha utilizado un mtodo de adaptacin cultural estndar?
17. Se aporta evidencia de la equivalencia de las propiedades mtricas con el instrumento
original?
Puntuaciones
18. Se aporta informacin sobre cmo se construyen y presentan las puntuaciones del
estudio?
Magnitud del efecto
19. Se aportan estrategias que ayuden a interpretar la magnitud del efecto?
Discusin
20. Se comentan los resultados de CVRS en la discusin?
Anexo VII. Dominios y elementos para la
evaluacin de la calidad de las revisiones
sistemticas
D1. Pregunta de investigacin 18 ; 2
D1.1.La pregunta est claramente descrita y es
apropiada.
D2.Estrategia de bsqueda 20 ; 2
D2.1. Es sucientemente exhaustiva y rigurosa con
atencin a los posibles sesgos de publicacin.
D2.2. Las restricciones en la bsqueda estn
justicadas (ej: pas origen, idioma).
D2.3. Los trminos de bsqueda, y las bases de datos
estn detalladas.
D2.4. Se dispone de suciente infromacin como para
poder reproducir la bsqueda.
D3. Criterios de inclusin y exclusin 19 ; 3

D3.1. Describen los mtodos de seleccin y stos
son apropiados; criterios establecidos a priori si
es posible.
D4. Intervencin 9 ; 4
D4.1. Las intervenciones estn claramente
detalladas para todos los grupos de estudio.
D5. Variables de resultado 10 ; 4
D5.1. Se consideran todos los posibles daos y
benecios.
D6. Extraccin de datos** 11 ; 4
D6.1. Rigor y consistencia del proceso.
D6.2. Sealan el nmero y tipo de revisores.
D6.3. Enmascaramiento de los revisores.
D6.4. Medida de acuerdo o reproducibilidad.
D6.5. Extraccin clara de las intervenciones/
exposiciones/resultados para todos los sujetos y/o
grupos.
D7. Calidad y validez de los estudios 17 ; 3
D7.1. Describen el mtodo de evaluacin de la
calidad y ste es apropiado.
D7.2. Describen el mtodo de incorporacin de estudios
y ste es apropiado.

de la Calidad de los Anlisis
Econmicos en Evaluacin de
Coordinado por Julio Lpez Bastida y Juan Oliva
Metodologa especfca
para la Evaluacin de la Calidad de los Anlisis Econmicos en Evaluacin
de Tecnologas Sanitarias se realiz en base a los estndares para la reali-
zacin de evaluaciones econmicas establecidos en la Propuesta de estan-
darizacin de mtodos para la evaluacin econmica aplicada a las tecno-
logas sanitarias, coordinada por Julio Lpez Bastida (Servicio Canario de
Salud. Unidad de Evaluacin y Planifcacin) y Juan Oliva (Universidad de
Castilla la Mancha y Fundacin de Estudios de Economa Aplicada) y cuyo
equipo de trabajo est formado por Fernando Antoanzas (Universidad de
la Rioja), Ramn Gisbert (Universitat de Vic), Anna Garca-Alts (Agncia
de Salut Publica de Barcelona y Fundacin Instituto de Investigacin en
Servicios de Salud); Javier Mar (Hospital de Alto Deba) y Jaume Puig-Junoy
(Universitat Pompeu Fabra/CRES). Asimismo, han colaborado en su elabo-
racin las Agencias/Unidades de Evaluacin de TS.
En el Anexo XVI se aporta un resumen de los aspectos fundamentales
del desarrollo de la Propuesta de estandarizacin de mtodos para la eva-
luacin econmica aplicada a las TS.
Anexo VI. Matriz descripcin de los instrumentos de evaluacin de la calidad para revisiones sistemticas
para la evaluacin de la calidad de los estudios
Mtodo utilizado para
seleccionar elementos
Desarrollo riguroso Fiabilidad inter-evaluador Instrucciones para su
utilizacin?
Aceptado No Coec.CI =
0.71(95%CI:0.59-0.81)
S
Aceptado No No Parcialmente
Ambos Parcialmente No S
Modicado Sacks, , 1987 No No S
Modicado Sacks, , 1987 No Coec. Correlac. intraclase=
0.89-0.96
Parcialmente
Modicado diversas fuentes No % Acuerdo 87-89% No
Modicado Victor, 1995 and
Cook, 1995
Parcialmente No No
Modicado Mulrow 1987
and Oxman, , 1994
No No Parcialmente
Modicado Oxman, ,
1994
No Coef. correlacin =0.87 No
Modicado diversas fuentes No No Parcialmente
Ambos Parcialmente No Parcialmente
Ambos No No Parcialmente
Modicado Clarke and Oxman
(1999)
No No Parcialmente
Modicado diversas fuentes No No No
Objetivo
Instrumento para la Evaluacin de la Calidad de los Anlisis Econmicos
en Evaluacin de TS deberan ser incluidos en el instrumento debido a su
aparente relacin con la calidad de los mismos.
Metodologa
senso de expertos.
intercambiados entre los participantes. El nmero de rondas no qued de-
fnido de antemano sino que se realizaran las necesarias para alcanzar un
consenso.
Participantes
Agencias/Unidades de Evaluacin de TS, y un tcnico de cada agencia/ uni-
dad experto en evaluacin econmica (Anexo II).
Desarrollo
En esta ocasin a los participantes se les facilit un primer borrador del
Listado de verifcacin junto con un borrador de Documento explicati-
vo. A fn de conocer la opinin de cada uno se les entreg un cuestionario
semi-estructurado en el que se preguntaba sobre la idoneidad de la inclusin
de los elementos propuestos o de nuevos elementos, sobre la formulacin
de las preguntas y sobre la pertinencia de las explicaciones y orientaciones
recogidas en el Documento explicativo.
En una primera ronda hubo un amplio acuerdo para la inclusin de los
distintos elementos. Las propuestas realizadas se pueden resumir en:
Integrar varios de los elementos relacionados en una nica pregunta.
Concrecin de las explicaciones recogidas en el documento explicativo
as como mejoras en su redaccin.
Alinear el contenido con los instrumentos de evaluacin de la calidad
ya elaborados.
Se incorporaron las aportaciones del grupo y se les present un segun-
do borrador. En esta ronda los participantes mostraron un amplio acuerdo
con el mismo, centrando sus comentarios en aspectos relacionados con el
formato, la inclusin de nuevos apartados como un glosario de terminolo-
ga de evaluacin econmica, y la redaccin del contenido del Documento
explicativo.
Resultados
El Instrumento para la Evaluacin de la Calidad de los Anlisis Econmi-
cos en Evaluacin de Tecnologas Sanitarias consta de un listado de verif-
cacin y un documento explicativo:
El Listado de verifcacin (fgura 10) se compone de 21 tems, que
evalan los distintos elementos importantes para la calidad de las evalua-
ciones econmicas. Estos elementos se organizan en siete dominios, cuya
correspondencia con los encabezamientos de la Propuesta de estandariza-
cin de mtodos para la evaluacin econmica aplicada a las tecnologas
sanitarias es la siguiente:
Objetivo
Anlisis de subgrupos
Perspectiva del anlisis
Comparador
Dominio 2. Diseo del anlisis
Tipo de evaluacin
Dominio 3. Datos de ecacia/efectividad y costes
Datos de ecacia/efectividad
Evaluacin de resultados
Utilizacin de recursos y costes
Dominio 4. Modelizacin
Eleccin del modelo
Horizonte temporal de los costes y benecios
Descuentos para costes y benecios
Variabilidad e incertidumbre
Anexo VI. Matriz descripcin de los instrumentos de evaluacin de la calidad para revisiones sistemticas
Instrumento Caractersticas del instrumento
Genricos o especfos Tipo de instrumento Descripcin del concepto
de calidad
Oxman and Guyatt,1991
14
;
Oxman , 1991
15
Genricos Checklist No
Irwig ., 1994
16
Oxman , 1994
17
Genricos Gua Parcialmente
Cook , 1995
18
Sacks ., 1996
19
Auperin ., 1997
20
Beck, 1997
21
Cranney ,1997
22
Genricos Gua No
de Vet , 1997
23
Especco Gua Parcialmente
Smith, 1997
24
Barnes and Bero, 1998
25
Genricos Escala Parcialmente
Pogue and Yusuf, 1998
26
Sutton ., 1998
27
Genricos Gua S
Clarke and Oxman, 1999
28
Moher , 1999
29
Genricos Gua S
Khan , 2000
30
Genricos Checklist S
New Zealand Guidelines Group, 2001
31
Especco Checklist No
NHMRC, 2000
32
Genricos Gua S
Harbour and Miller 2001
33
Stroup 2000
34
Cochrane, 2006
35
JBIEBNM, 2000
36
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Equidad
Transferibilidad de resultados
Presentacin de resultados
Dominio 6. Discusin y conclusiones
Limitaciones del estudio
Conclusiones
Dominio 7. Conicto de intereses
El Documento explicativo (Anexo XVI) aporta aclaraciones sobre
el ideal de calidad, por lo que no todas las caractersticas que recoge seran
exigibles a cualquier anlisis econmico para puntuar afrmativamente el
tem al que se referen.
Figura 10. Listado de vericacin del instrumento para la evaluacin de la
calidad de los anlisis econmicos en evaluacin de TS
S No NP
1. El estudio establece claramente la pregunta de investigacin?
2. La evaluacin econmica se efecta de modo general y despus, si los datos lo permiten, en
los subgrupos de edad, sexo, grado de severidad y niveles de riesgo que muestren diferencias
relevantes en su efectividad o sus costes?
3. La evaluacin econmica incluye la perspectiva social?
4. Se presentan de manera separada y diferenciada la perspectiva social y del nanciador?
5. La eleccin de la alternativa con la que se compara la tecnologa sanitaria es apropiada y est
bien justicada?
Anexo V. Cuestionario sobre la utilizacin de
instrumentos para la evaluacin de la calidad
de las revisiones sistemticas
1
er
Taller Elaboracin Instrumento para la Evaluacin de las Revisiones Sistemticas.
Santiago de Compostela, 27 noviembre 2006
CUESTIONARIO SOBRE LA UTILIZACIN DE INSTRUMENTOS PARA LA
EVALUACIN DE LA CALIDAD DE LAS REVISIONES SISTEMTICAS
Agencia/ Unidad de ETS:
1. Generalmente, tras la elaboracin de una Revisin Sistemtica: Utilizis algn
instrumento para evaluar su calidad?
2. Durante alguna de las fases de la elaboracin de vuestros productos, utilizis algn
instrumento para evaluar la calidad de las RS de los recogidos en el siguiente
listado?:
1. Oxman and Guyett,1991; Oxman et al.,
1991
12. Barnes and Bero, 1998
2. Irwig et al., 1994 13. Pogue and Yusuf, 1998
3. Oxman et al., 1994 14. Sutton et al., 1998
4. Cook et al., 1995 15. Clarke and Oxman, 1999
5. Cook et al., 1995 16. Moher et al., 1999
6. Sacks et al., 1996 17. Khan et al., 2000
7. Auperin et al., 1997 18. New Zealand Guidelines Group, 2000
8. Beck, 1997 19. NHMRC, 2000
9. Cranney et al.,1997 20. Harbour and Miller 2001
10. de Vet et al., 1997 21. Stroup et al., 2000
11. Smith, 1997 22. Cochrane, 2006
3. En caso de que utilicis otro/s diferente/s, por favor, descrbelos y si es posible, envanos
con anterioridad o adjunta una copia del mismo al Taller de Santiago de Compostela:
4. Si el instrumento que utilizis para evaluar la calidad de las revisiones ha cambiado a lo
largo del tiempo, por favor, especifica cul era el instrumento utilizado y las razones
para su cambio:
Checklist/ escala/ gua
S (uno ya existente)
S (adaptado de uno ya existente)
S (elaboracin propia)
No lo utilizamos
Lo desconozco
Autor (ref.)/
Modificadido
de autor/Elab. propia
Checklist/Escala
/Gua
En los casos de elaboracin propia:
mtodo de elaboracin
1
2
3
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
S No NP
6. Se justica de forma razonable el tipo de anlisis elegido en relacin a la cuestin planteada?
7. Se detallan con precisin los mtodos y las fuentes de datos utilizados para la obtencin de
datos de ecacia y/o efectividad?
8. Las medidas de resultado seleccionadas son clnicamente relevantes (medida de ecacia/
efectividad nal)?
9. Se ajustan los costes recogidos a la perspectiva de anlisis seleccionada?
10. Se describe y justica el mtodo empleado para la valoracin de los recursos y estos se
detallan de forma adecuada?
11. Se justica la eleccin del modelo y ste se presenta de forma transparente y precisa?
12. El horizonte temporal elegido es el ms adecuado para captar todos los recursos empleados y
los efectos sobre la salud atribuibles a la utilizacin de las tecnologas sanitarias a estudio?
13. Se descuentan los costes y efectos sobre la salud que se producen en el futuro?
15. Se presenta el anlisis de equidad de forma transparente y desagregada en caso de que fuera
requerido por el decisor?
16. Permite el estudio extraer conclusiones sobre la transferibilidad o extrapolacin de sus
resultados a otros contextos?
17. Se presentan los resultados mediante un anlisis incremental y a su vez de forma desagregada
(costes y resultados de las alternativas)?
18. Se discuten de manera crtica las principales limitaciones o puntos dbiles del anlisis?
19. Las conclusiones del estudio responden a la pregunta de investigacin, y se desprenden de los
resultados obtenidos?
21. Se informa sobre la posible existencia de conicto de inters?
NP: No procede. Versin 2007
Agencia de Evaluacin de Tecnologas Sanitarias (AETS). Instituto de
Salud Carlos III - Ministerio de Sanidad y Consumo. Hernndez Torres
Aet al. Tcnicas y Tecnologas en Hidrologa Mdica e Hidroterapia.
Madrid: AETS - Instituto de Salud Carlos III, Madrid. Junio de 2006.
Pons, J.M.V; El tratamiento con bomba externa de infusin continua de
insulina en pacientes con diabetes tipo 1. Barcelona:Agncia dAvaluaci
de Tecnologia i Recerca Mdiques. Servei Catal de la Salut. Departa-
ment de Sanitat i Seguretat Social. Generalitat de Catalunya. Enero de
2000.
Revisiones sistemticas
Agencia de Evaluacin de Tecnologas Sanitarias (AETS). Instituto
de Salud Carlos III - Ministerio de Sanidad y Consumo. Tomogra-
fa por Emisin de Positrones (PET) con 18FDG en Oncologa Clnica
(Revisin Sistemtica). Madrid: AETS - Instituto de Salud Carlos III,
Noviembre de 2001.
Cuerva Carvajal, A.; Mrquez Caldern, S.; Sarmiento Gonzlez-Nieto,
V.: Resultados de los tratamientos para la tartamudez. Sevilla: Agencia
de Evaluacin de Tecnologas Sanitarias, 2007. Informe X/2007. URL:
http://www.juntadeandalucia.es/salud/AETSA.
Pane, S.; Solans, M.; Gaite, L.; Serra-Sutton, V.; Estrada, M.D.; Rajmil,
L.: Instrumentos de calidad de vida relacionada con la salud en la edad
peditrica. Revisin sistemtica de la literatura: actualizacin. Barce-
lona: Agencia de Evaluacin de Tecnologa e Investigacin Mdicas;
Enero 2006.
Fernndez-Lpez, J.C.; Ruano-Ravia, A.; Efcacia y seguridad del
cido hialurnico en el tratamiento de la artrosis de cadera. Santiago
de Compostela: Servicio Galego de Sade, Axencia de Avaliacin de
Tecnoloxas Sanitarias de Galicia, avalia-t; 2005. Serie Avaliacin de
tecnoloxas. Consultas tcnicas: CT2005/06.
Jausoro, A.: Nuevas tcnicas de diagnstico por imagen del cncer de
mama: mamografa digital, impedancia y conductividad elctrica. Vito-
ria-Gasteiz. Departamento de Sanidad, Gobierno Vasco, 2000. Informe
n: Osteba E-00-03.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Anexo IV. Estudios seleccionados para el
proceso de evaluacin de la fabilidad
Informes de evaluacin de tecnologas sanitarias
Gutirrez, A.; Taboada, J.; Apestegua, L.; Arrizabalaga, R.; Asua, J.;
Andreu, F.J.: Nuevas tcnicas percutneas de diagnstico histolgico de
lesiones no palpables sospechosas de cncer de mama. Proyecto FIS.
Vitoria-Gasteiz. Departamento de Sanidad. Gobierno Vasco, 2005. In-
forme n: Osteba D-05-02.
Salud Carlos III - Ministerio de Sanidad y Consumo. Evaluacin de la
efectividad de tecnologas para la promocin de la salud y prevencin
de la enfermedad. Madrid: AETS - Instituto de Salud Carlos III, Di-
ciembre de 2002.
Valias L.P.; Atienza Merino, G.: Evaluacin de la efcacia y efectividad
del cribado poblacional del cncer colorrectal. Aplicabilidad en el Sis-
tema Nacional de Salud. Santiago de Compostela: Servicio Galego de
Sade. Axencia de Avaliacin de Tecnoloxas Sanitarias, avalia-t; 2002.
Informe de evaluacin: INF2003/02.
Garca-CaeiroAL, Rey-Liste MT. Evaluacin de la ciruga de reduccin
de volumen pulmonar en el enfsema. Santiago de Compostela: Servi-
cio Galego de Sade. Axencia de Avaliacin de Tecnoloxas Sanitarias,
avalia-t; 2002. Informes de evaluacin: INF2002/02.
Raya Ortega L.; Mrquez Caldern S.; Navarro Caballero J.A.; Ville-
gas Portero R.: Coste-efectividad de palivizumab en la prevencin de la
hospitalizacin por virus respiratorio sincitial en prematuros de 32 a 35
semanas de gestacin. Actualizacin del informe 5/2006 [Internet]. Se-
villa: Agencia de Evaluacin de Tecnologas Sanitarias, 2006. Informe
14/2006. URL: http://www.juntadeandalucia.es/salud/AETSA
Glria Oliva, G.; Espallargues, M.: Stents recubiertos de frmacos an-
tiproliferativos para el tratamiento de la estenosis coronaria. Barcelo-
na: Agncia dAvaluaci de Tecnologia i Recerca Mdiques. Enero de
2003.
Llanos, A.; Vidal, S: Cribado selectivo del cncer de pulmn con To-
mografa Computarizada de trax. Sevilla: Agencia de Evaluacin de
Tecnologas Sanitarias de Andaluca, marzo 2007. Informe 3/2007.
Rico, R.; Diez del Val, I.; Salcedo, F.; Latorre, K.; Arrizabalaga, J.J.;
Mazagatos, B.; Martnez, C.; Tratamiento Quirrgico de la Obesidad
Mrbida. Vitoria-Gasteiz, Departamento de Sanidad, Gobierno Vasco,
2003. Informe n: Osteba D-04-01.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Anexos
Anexo I. Miembros del Grupo de Elaboracin
y Validacin de Instrumentos de Evaluacin
de la Calidad de los Productos de Agencias
y Unidades de Evaluacin de Tecnologas
Sanitarias (Grupo GEVIEC)
Gloria Ariza
Agencia Lan Entralgo
Juan Antonio Blasco
Maria-Dolors Estrada
Catalua
Iaki Imaz
Agencia de Evaluacin de Tecnologas Sanitarias (AETS), Instituto de
Salud Carlos III del Ministerio de Sanidad y Consumo
Julio Lpez
Marta Lpez de Argumedo
Mercedes Reza
Alberto Ruano
Vctor Sarmiento
(AETSA)
Leonor Varela
Frecuentemente, se deben realizar juicios sobre la tecnologa en au-
sencia de datos reales sobre su utilizacin. La transparencia debera ser un
atributo clave en este apartado, al igual que en el resto del informe. El lector
debera poder distinguir claramente lo que se ha hecho, las premisas asumi-
das y lo que no se ha hecho.
Orientacin: No se cumplir este elemento en caso de que no se discutan los resultados del informe.
tem 25. Se han utilizado procedimientos explcitos para establecer
el nivel de evidencia?
Cuando se utiliza una clasifcacin del nivel de evidencia sta debe estar
referida a una escala estandarizada o al menos debe explicarse el procedi-
miento para la seleccin/ elaboracin de la misma.
Orientacin: No se cumplir este elemento si, en caso de que se utilice, no se describe la escala utilizada para clasicar el nivel
de evidencia.
tem 26. El informe establece con claridad sus conclusiones?
Los informes de evaluacin de TS deben establecer conclusiones claras, que
hagan referencia a la pregunta planteada y, si procede, al contexto de apli-
cacin. Las conclusiones deben deducirse de la evidencia cientfca y de las
implicaciones econmicas, organizativas, legales y ticas revisadas.
Aunque no est entre los objetivos de todos los informes de evaluacin
de TS el realizar recomendaciones explcitas, a los lectores les debera que-
dar claro a qu conclusiones ha llegado el informe.
Orientacin: No se cumplir este elemento si no se cumplen los siguientes tres requisitos: las conclusiones se exponen
claramente, se corresponden con la pregunta de investigacin y se basan en los resultados.
tem 27. Se sugieren futuras lneas de actuacin?
Puede ser til que el informe de evaluacin de TS discuta las actuales lneas
de investigacin, las lagunas de conocimiento, las investigaciones o las eva-
luaciones a desarrollar en el futuro y los posibles enfoques para la difusin
de los hallazgos del informe.
Asimismo, puede ser til que los informes de evaluacin deTS aborden
las implicaciones que sus conclusiones pueden tener en la gestin y poltica
sanitaria, en la medida en que este tipo de anlisis entre dentro del mandato
del organismo evaluador.
Orientacin: No se cumplir este elemento en caso de que en el informe de evaluacin de TS no se sugieran futuras lneas de
actuacin.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Anexo II. Participantes en los grupos de
trabajo desarrollados en cada instrumento
Taller para la elaboracin del Instrumento para la Evaluacin de la Calidad
de los Estudios de Calidad de Vida Relacionada con la Salud
Coordinacin
Jordi Alonso
Institut Municipal dInvestigaci Mdica (IMIM)
Montse Ferrer
Luis Rajmil
Participantes
Alejandro Allepuz
Agncia dAvaluaci de Tecnologia i Recerca Mdiques (AATRM)
Gloria Ariza
Unidad de Evaluacin de Tecnologas Sanitarias (UETS)
Silvina Berra
Nerea Fernndez de Larrea
Susana Granado
Iaki Imaz
Agencia de Evaluacin de Tecnologas Sanitarias (AETS)
Osasun Teknologien Ebaluazioa (OSTEBA)
Glria Oliva
Alberto Ruano
Axencia de Avaliacin de Tecnoloxas Sanitrias (Avalia-T)
tem 22. Se han considerado las implicaciones ticas?
Deberan analizarse los aspectos ticos que se consideren relevantes en re-
lacin a la utilizacin o funcionamiento de la tecnologa sanitaria evaluada.
As, por ejemplo, podra ser interesante considerar aspectos relativos a la
equidad en el acceso o el consentimiento informado.
Es importante describir el abordaje y los argumentos utilizados.
Orientacin: No se cumplir este elemento en caso de que no sean analizados los aspectos ticos que se consideren relevantes
en relacin a la utilizacin o funcionamiento de la tecnologa.
tem 23. Se han tenido en cuenta los aspectos organizativos
relacionados con la adquisicin, puesta en marcha y funcionamiento
de la tecnologa?
Ha de tenerse en cuenta cualquier aspecto relacionado con el sistema sa-
nitario local que est relacionado con la adquisicin, puesta en marcha y
funcionamiento de la tecnologa.
As, deben considerarse los aspectos relacionados con el desarrollo de ha-
bilidades y acreditacin de los profesionales que aplicarn la tecnologa, el cum-
plimiento por parte de los pacientes y otros aspectos organizativos relevantes.
Deben describirse las fuentes de informacin utilizadas para la valora-
cin de los aspectos organizativos.
Orientacin: No se cumplir este elemento en caso de que no se hayan tenido en cuenta los aspectos organizativos
relacionados con la adquisicin, puesta en marcha y funcionamiento de la tecnologa sanitaria evaluada.
Dominio 6: Conclusiones del informe
tem 24. Se discuten los resultados del informe?
La discusin de los resultados del informe debera incluir aspectos como:
La relacin entre los resultados obtenidos y la pregunta que se aborda
en el informe.
Comentarios sobre la informacin no disponible o dudosa, la calidad
de los estudios incluidos y la fabilidad del anlisis.
Comentarios indicando en qu se fundamentan las opiniones y las conclu-
siones incluidas en el informe. Por ejemplo: Han infuido premisas u opi-
niones adicionales en la posicin adoptada en el informe? Se han tenido
en cuenta todas las posibles ventajas e inconvenientes de la intervencin?
La discusin debera integrar todos los componentes considerados en
el informe, en el contexto de la pregunta planteada.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Vctor Sarmiento
(AETSA)
Vicky Serra
Leonor Varela
Instrumento para la Evaluacin de la Calidad de los Anlisis Econmicos en
Evaluacin de Tecnologas Sanitarias
Gloria Ariza
Juan Antonio Blasco
Daniel Callejo
Beln Corbacho
(AETSA)
Pedro Gmez
Agencia de Evaluacin de Tecnologas Sanitarias. Instituto de Salud
Carlos III (AETS)
Asuncin Gutirrez
Iaki Imaz
Carlos III (AETS)
Juan Luis Lapuente
Glria Oliva
los mismos, y valorar posibles fuentes de incertidumbre y potenciales sesgos
detectados.
Orientacin: No se cumplir este elemento en caso de que la presentacin de los resultados de los estudios no sea clara (por
ejemplo en forma de tablas de evidencia).
tem 19. Se incluye una interpretacin de los resultados del informe
de evaluacin de TS?
El informe de evaluacin de TS debe incluir un anlisis claro de los resul-
tados obtenidos, teniendo en consideracin la calidad y posible heteroge-
neidad de los estudios incluidos, y otros aspectos que pudieran modifcar la
interpretacin de los resultados del informe.
Orientacin: No se cumplir este elemento en caso de que no se incluya una interpretacin clara de los resultados del informe.
Dominio 5: Contextualizacin
tem 20. Se incluye una valoracin del impacto econmico de la
aplicacin de la tecnologa evaluada?
En todo informe se debera evaluar el impacto econmico de la aplicacin
de la tecnologa evaluada.
En el caso de que el informe contenga un anlisis econmico, se deben
detallar los mtodos empleados y las premisas asumidas. Tambin debera
incluirse un anlisis de sensibilidad adecuado.
Si se realiza una sntesis y extrapolacin de resultados encontrados en
la literatura, debe describirse la metodologa utilizada. La calidad de la bi-
bliografa disponible debera ser tenida en cuenta.
Orientacin: No se cumplir este elemento en caso de que no se valore el impacto econmico de la aplicacin de la tecnologa
evaluada.
tem 21. Se han considerado las implicaciones legales?
Deben considerarse los aspectos legales relacionados, por ejemplo, con la
autorizacin, la normativa sobre seguridad, la privacidad o la autonoma. Se
debe plantear esta pregunta si es relevante para la evaluacin.
Orientacin: No se cumplir este elemento en caso de que no se consideren los aspectos legales relacionados con la tecnologa
sanitaria evaluada.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Alberto Ruano
Vctor Sarmiento
(AETSA)
Proceso de validacin del Instrumento para la Evaluacin de la Calidad de
las Revisiones Sistemticas
ngela Cuerva
(AETSA)
ngela Garca
Manuel Rodrguez
Carlos III (AETS)
Nieves Sobradillo
Anna Kotzeva
Gerardo Atienza
Ana Garagalza
Isabel Martnez
(AETSA)
Nria Paladio
Zuleika Saz
Carlos III (AETS)
Es deseable que sean al menos dos revisores los que extraigan los datos
de forma independiente.
Orientacin: No se cumplir este elemento en caso de que no se especique el mtodo utilizado para la extraccin de datos.
tem 16. Se ha aplicado un mtodo explcito para evaluar la calidad
de la literatura?
La evaluacin de la calidad de la literatura disponible es uno de los compo-
nentes ms importantes de un informe de evaluacin de TS.
Se debe realizar una evaluacin estructurada de los aspectos clave que
tienen relacin directa con la calidad de los estudios incluidos en el informe.
Se debe describir o referenciar el mtodo utilizado para realizar la evalua-
cin, ya sea un cuestionario, un listado de comprobacin o una escala.
El mtodo utilizado debe ser adecuado al tipo de estudios evaluados.
As por ejemplo, en los estudios de calidad de vida deber considerar aspec-
tos como la validez de los instrumentos utilizados.
Orientacin: No se cumplir este elemento en caso de que no se haya descrito el mtodo utilizado para la evaluacin
estructurada de la calidad de los estudios.
tem 17. Se ha descrito el mtodo utilizado para la sntesis de la
literatura?
El informe debera explicar la metodologa utilizada para la sntesis (cuanti-
tativa o cualitativa) de los datos de los estudios seleccionados.
Orientacin: No se cumplir este elemento en caso de que no se especique la metodologa utilizada para la sntesis de los
datos de los estudios seleccionados.
Dominio 4: Resultados del informe de evaluacin de TS
tem 18. Se presentan de forma clara los resultados de los estudios?
Todos los resultados del informe de evaluacin de TS, tanto los relacionados
con la seguridad, como los relacionados con la efcacia/ efectividad, deben
ser presentados de una forma clara, por ejemplo a travs de tablas de evi-
dencia. Deberan presentarse los valores absolutos, no slo los relativos.
Igualmente, se deben describir los aspectos fundamentales de los es-
tudios primarios de manera que permitan realizar una evaluacin crtica de
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
As, por ejemplo, se debera informar sobre las fuentes y las carac-
tersticas de los datos econmicos, incluyendo, preferiblemente, una va-
loracin sobre su exactitud. La calidad y la relevancia de los datos econ-
micos dependen de su fuente de origen y de sus caractersticas, pudiendo
ser desde datos administrativos recogidos de forma rutinaria, hasta datos
obtenidos especfcamente para el informe. Cuando se utilicen criterios ar-
bitrarios en la valoracin de los costes, debera justifcarse en el informe
de forma adecuada.
Tambin debera ofrecerse informacin sobre la fuente de cualquier
otro dato administrativo incluido, especifcando su exactitud y marco de
aplicacin.
Orientacin: No se cumplir este elemento en caso de que no se informe sobre las fuentes de informacin utilizadas (de datos
econmicos, administrativos, etc.), adems de las bases de datos bibliogrcas.
tem 14. Se especican los criterios de seleccin (inclusin y
exclusin) de la literatura?
Los criterios de inclusin y exclusin de los estudios tienen que estar clara-
mente especifcados y, en caso de que resulte necesario, argumentados.
Deben recoger los siguientes aspectos: la poblacin a estudio, la inter-
vencin a estudio y en su caso las intervenciones de comparacin, las varia-
bles de resultado que interesan y el diseo de estudio.
Preferiblemente, deben estar defnidos a priori.
Adems se debe ofrecer informacin sobre el proceso de seleccin de
la literatura utilizada para la elaboracin del informe, especifcando quin ha
realizado la seleccin de los datos y cmo se ha llevado a cabo este proceso.
Un diagrama tipo CONSORT (http://www.consort-statement.org/in-
dex.aspx?o=1077) puede ser til para resumir el proceso de seleccin de la
literatura.
Orientacin: No se cumplir este elemento en caso de que los criterios de seleccin de los estudios no estn claramente
especicados o no sean argumentados en caso de que resulte necesario.
tem 15. Se describe el mtodo utilizado para la extraccin de los
datos?
La exactitud y la consistencia son dos atributos de importancia capital en el
proceso de extraccin de datos.
En el informe de evaluacin de TS se debe describir el mtodo utiliza-
do para este proceso, ya sea la utilizacin de un formulario con instrucciones
claras o la descripcin detallada de los datos a recoger.
Prueba piloto de los instrumentos
ngel Abad
Mdico residente de Medicina Preventiva y Salud Pblica. Unidad de
Evaluacin de Tecnologas Sanitarias (UETS), Agencia Lan Entralgo
Susana Granado
tem 10. Se especican los aspectos cubiertos por el informe de
evaluacin de TS?
El informe debera indicar cules son los aspectos de la tecnologa que se
evalan, cmo podran ser las indicaciones especfcas, la fnalidad diagns-
tica o teraputica, o su mbito de aplicacin. Esta pregunta resulta relevante
para identifcar las reas no cubiertas por la evaluacin.
Orientacin: No se cumplir este elemento en caso de que no se indiquen los aspectos abordados por el informe, o en su
defecto, los no incluidos.
tem 11. Se describe la tecnologa sanitaria evaluada?
Una breve descripcin de la tecnologa puede ser de ayuda para el lector no
especializado. Este apartado debe detallar de forma concisa en qu consiste
y la fnalidad de la tecnologa evaluada. Igualmente, deben describirse las
tecnologas alternativas con las que se compara, y en caso de que correspon-
da, las tecnologas complementarias a la evaluada.
Orientacin: No se cumplir este elemento en caso de que no se describa la tecnologa incluida en la evaluacin y las
tecnologas alternativas.
Dominio 3: Metodologa
tem 12. Se especica la estrategia de bsqueda utilizada?
Se debe informar sobre los detalles de la bsqueda bibliogrfca para cada
una de las bases de datos utilizadas: el perodo de tiempo cubierto, las pa-
labras clave empleadas, las combinaciones de las mismas y las restricciones
realizadas.
En el caso de que no se puedan incluir en el informe los detalles com-
pletos de la bsqueda, estos deberan estar disponibles por si se solicitaran.
La estrategia de bsqueda debe permitir localizar los estudios que re-
sultan relevantes para responder a la pregunta de evaluacin.
Orientacin: No se cumplir este elemento en caso de que la estrategia de bsqueda no est claramente detallada.
tem 13. Se especican las fuentes de informacin consultadas?
Debe informarse de las bases de datos utilizadas as como sobre la utiliza-
cin de otras fuentes de informacin.
Anexo III. Documento explicativo del
de los Informes Evaluacin de Tecnologas
Sanitarias
Destinatarios
Este instrumento est pensado para ser utilizado por tcnicos y profesio-
nales que trabajen en las Agencias/Unidades de Evaluacin de TS y otros
investigadores.
Estructura y contenido
luacin de Tecnologas Sanitarias (TS) consta de un listado de verifcacin
y un documento explicativo:
El Listado de verifcacin se compone de 27 tems, que evalan los dis-
tintos elementos importantes para la calidad de los informes de evaluacin
de TS. Estos elementos se organizan en los seis dominios siguientes:
dad, por lo que no todas las caractersticas que recoge seran exigibles a cual-
quier informe de evaluacin de TS para puntuar afrmativamente el tem al
que se referen.
Los aspectos que se consideran caractersticas esenciales para cum-
plir el elemento, es decir, sin las cuales el tem debera puntuarse negativa-
sus elementos ms relevantes: introduccin, objetivos, aspectos analizados,
resultados principales y conclusiones.
Es conveniente que su extensin no exceda de dos pginas, ya que esto
facilitar su lectura.
Adems, es muy deseable que los informes de evaluacin de TS elabo-
rados en lengua no inglesa incluyan un resumen en ingls.
La inclusin de un resumen de estas caractersticas facilitar y ampliar
la difusin de la informacin aportada por el informe de evaluacin de TS.
Orientacin: No se cumplir este elemento en caso de que el resumen no contenga los elementos esenciales del informe de
forma estructurada y se exprese de forma comprensible.
Dominio 2: Justicacin y objetivos
tem 8. Se identica la cuestin planteada y el nivel de toma de
decisiones en el que surgi?
El contexto de aplicacin de un informe de evaluacin de TS es un aspecto
muy importante para valorar su contribucin al conocimiento de la tecno-
loga.
Los informes deben especifcar las razones o el problema que ha mo-
tivado su realizacin e identifcar los solicitantes del encargo. Tambin es
importante contextualizar la cuestin en su sistema sanitario, refrindose a
las caractersticas, poblacin y magnitud del problema de salud para el que
se plantea la tecnologa; cmo se aborda en el momento actual; los servicios
y/o tecnologas relacionadas disponibles y el marco de utilizacin actual de
la tecnologa a evaluar.
Orientacin: No se cumplir este elemento en caso de que no se contextualice el problema que motiv la realizacin del
informe.
tem 9. Se especica la pregunta de evaluacin y sta es adecuada?
La pregunta de evaluacin (objetivo) debe estar claramente descrita, para lo
que debe especifcar la poblacin a estudio y/o patologa, la intervencin a
evaluar e intervenciones de comparacin y los resultados de inters.
Adems, debe ser adecuada para responder a la cuestin planteada.
Orientacin: No se cumplir este elemento en caso de que la pregunta u objetivo de la evaluacin no est claramente descrita o
se considere inadecuada para responder a la cuestin planteada.
mente, aparecen en un recuadro tras la explicacin, con el ttulo Orienta-
cin.
Categoras de respuesta
Cada tem del Listado de verifcacin puede ser valorado con cuatro ca-
tegoras:
S: Cuando el revisor considera que la pregunta puede responderse
afrmativamente, por cumplirse en general el elemento al que se refere
el tem.
No: Cuando no se cumpla alguna de las caractersticas esenciales
para cumplir el elemento (Orientacin del Documento explica-
tivo).
Parcialmente: Cuando, cumpliendo las caractersticas esenciales
recogidas en la Orientacin del Documento explicativo, no se
dan todas las caractersticas necesarias para dar una respuesta afr-
mativa.
Reserve esta valoracin exclusivamente para los casos en los que resulta muy difcil establecer una respuesta armativa
o negativa, dado que la valoracin Parcialmente puede llevar a confusin en la interpretacin de la calidad de los
trabajos.
No Procede: No procede la valoracin del elemento al que se refere el
tem en el documento que se est evaluando.
En determinados trabajos puede no proceder la valoracin de alguno de los tems del listado de vericacin. Esta
situacin es poco frecuente, ya que los tems fueron seleccionados a travs de un proceso de revisin y consenso de
expertos de las Agencias/Unidades de Evaluacin de TS del SNS, y en general cuentan con una adecuada validez de
contenido.
Puede existir un conficto de intereses con independencia de que el
profesional considere que dichas relaciones tengan o no infuencia sobre su
criterio cientfco.
Una declaracin de conficto de intereses, en la que se haga referencia
a aquellos que han participado en la elaboracin del informe de evaluacin
de TS, es necesaria incluso para hacer explcito que no existe tal conficto.
Tambin, es conveniente que el informe indique si han existido fuentes de
fnanciacin diferentes a las habituales para la Agencia/Unidad de Evalua-
cin de TS que lo ha realizado.
Orientacin: No se cumplir este elemento si el informe no hace una referencia explcita a la existencia o ausencia de conicto
de intereses.
tem 5. Se informa sobre si se ha realizado una revisin externa?
En el informe se debe hacer una referencia explcita a si se ha realizado una
revisin externa y en su caso, es deseable incluir detalles de su proceso.
La revisin externa del informe se considera, generalmente, una prcti-
ca que incrementa su calidad y credibilidad.
Aunque los detalles relativos al proceso de revisin del informe pue-
den variar, siempre es til incluir los nombres y adscripcin profesional de
las personas que han realizado comentarios o han proporcionado informa-
cin en la elaboracin del informe.
Orientacin: No se cumplir este elemento si el informe no hace una referencia explcita a si se ha realizado o no una revisin
externa.
tem 6. La estructura del informe de evaluacin de TS es adecuada?
El documento debe estar estructurado en partes que se identifquen clara-
mente y resulten adecuadas al tipo de informe, como seran por ejemplo:
introduccin, objetivos, mtodos, resultados, discusin y conclusiones.
Orientacin: No se cumplir este elemento si el informe no est estructurado en partes que se identican claramente y resultan
adecuadas.
tem 7. Se incluye un resumen estructurado en un lenguaje no
especializado?
Es posible que muchos de los destinatarios de los informes no sean espe-
cialistas y lean nicamente el resumen. Por ello es importante que los infor-
mes de evaluacin de TS incluyan un resumen estructurado redactado en
un lenguaje comprensible para lectores ajenos a la materia, que contenga
Dominio 1: Informacin preliminar
tem 1. Aparecen los datos de contacto que permitan solicitar ms
informacin?
En el informe de evaluacin de TS se debe incluir el nombre, direccin, o
telfono de una persona o institucin a quien dirigirse en caso de necesitar
solicitar ms informacin.
Orientacin: No se cumplir este elemento si en el informe de evaluacin de TS no se facilitan los datos de contacto que
permitan solicitar ms informacin.
tem 2. Se identican con claridad los autores o participantes en la
elaboracin del informe de evaluacin de TS?
Es deseable que se identifque con claridad la identidad y tipo de contri-
bucin de los participantes en su elaboracin. Entre ellos pueden estar los
autores propiamente dichos, los asesores o miembros de comits de exper-
tos (si procede), y otras personas que hayan proporcionado apoyo tcnico o
administrativo.
Orientacin: No se cumplir este elemento si no se identican los participantes en el informe de evaluacin de TS.
tem 3. Se detalla la fecha de publicacin del informe?
Todos los informes deben refejar el mes y el ao de su publicacin a fn de
que se pueda valorar su vigencia. Tambin resulta de inters incluir la fecha
real de fnalizacin del informe si sta no coincidiera con la fecha de publi-
cacin.
Orientacin: No se cumplir este elemento si no se detalla la fecha de publicacin del informe de evaluacin de TS o su fecha
de nalizacin.
tem 4. Se informa sobre la posible existencia de conicto de
intereses?
El conficto de intereses se produce en aquellas circunstancias en que el jui-
cio profesional sobre un inters primario, como la seguridad de los pacientes
o la validez de la investigacin, puede estar infuenciado en exceso por otro
inters secundario, sea este un benefcio fnanciero, de prestigio o promocin
personal o profesional.
de evidencia.
actuacin.
criterio cientfco.
de intereses.
externa.
adecuadas.
especializado?
Dominio 1: Informacin preliminar
tem 1. Aparecen los datos de contacto que permitan solicitar ms
informacin?
En el informe de evaluacin de TS se debe incluir el nombre, direccin, o
telfono de una persona o institucin a quien dirigirse en caso de necesitar
solicitar ms informacin.
Orientacin: No se cumplir este elemento si en el informe de evaluacin de TS no se facilitan los datos de contacto que
permitan solicitar ms informacin.
tem 2. Se identican con claridad los autores o participantes en la
elaboracin del informe de evaluacin de TS?
Es deseable que se identifque con claridad la identidad y tipo de contri-
bucin de los participantes en su elaboracin. Entre ellos pueden estar los
autores propiamente dichos, los asesores o miembros de comits de exper-
tos (si procede), y otras personas que hayan proporcionado apoyo tcnico o
administrativo.
Orientacin: No se cumplir este elemento si no se identican los participantes en el informe de evaluacin de TS.
tem 3. Se detalla la fecha de publicacin del informe?
Todos los informes deben refejar el mes y el ao de su publicacin a fn de
que se pueda valorar su vigencia. Tambin resulta de inters incluir la fecha
real de fnalizacin del informe si sta no coincidiera con la fecha de publi-
cacin.
Orientacin: No se cumplir este elemento si no se detalla la fecha de publicacin del informe de evaluacin de TS o su fecha
de nalizacin.
tem 4. Se informa sobre la posible existencia de conicto de
intereses?
El conficto de intereses se produce en aquellas circunstancias en que el jui-
inters secundario, sea este un benefcio fnanciero, de prestigio o promocin
de la tecnologa?
en el informe.
loga.
informe.
cin.
tegoras:
el tem.
para cumplir el elemento (Orientacin del Documento explica-
tivo).
Parcialmente: Cuando, cumpliendo las caractersticas esenciales
recogidas en la Orientacin del Documento explicativo, no se
dan todas las caractersticas necesarias para dar una respuesta afr-
mativa.
trabajos.
contenido.
detectados.
de evaluacin de TS?
evaluada.
sanitaria evaluada.
evaluacin de TS?
realizadas.
Anexo III. Documento explicativo del
de los Informes Evaluacin de Tecnologas
Sanitarias
Destinatarios
nales que trabajen en las Agencias/Unidades de Evaluacin de TS y otros
investigadores.
luacin de Tecnologas Sanitarias (TS) consta de un listado de verifcacin
y un documento explicativo:
tintos elementos importantes para la calidad de los informes de evaluacin
de TS. Estos elementos se organizan en los seis dominios siguientes:
dad, por lo que no todas las caractersticas que recoge seran exigibles a cual-
quier informe de evaluacin de TS para puntuar afrmativamente el tem al
que se referen.
de la literatura?
literatura?
de forma adecuada.
aplicacin.
literatura.
datos?
Prueba piloto de los instrumentos
ngel Abad
Susana Granado
Alberto Ruano
Vctor Sarmiento
(AETSA)
las Revisiones Sistemticas
ngela Cuerva
(AETSA)
ngela Garca
Manuel Rodrguez
Carlos III (AETS)
Nieves Sobradillo
Anna Kotzeva
Gerardo Atienza
Ana Garagalza
Isabel Martnez
(AETSA)
Nria Paladio
Zuleika Saz
Carlos III (AETS)
de la literatura?
literatura?
de forma adecuada.
aplicacin.
literatura.
datos?
Vctor Sarmiento
(AETSA)
Vicky Serra
Leonor Varela
Instrumento para la Evaluacin de la Calidad de los Anlisis Econmicos en
Evaluacin de Tecnologas Sanitarias
Gloria Ariza
Juan Antonio Blasco
Daniel Callejo
Beln Corbacho
(AETSA)
Pedro Gmez
Carlos III (AETS)
Asuncin Gutirrez
Iaki Imaz
Carlos III (AETS)
Juan Luis Lapuente
Glria Oliva
detectados.
de evaluacin de TS?
evaluada.
sanitaria evaluada.
evaluacin de TS?
realizadas.
Anexo II. Participantes en los grupos de
trabajo desarrollados en cada instrumento
Taller para la elaboracin del Instrumento para la Evaluacin de la Calidad
de los Estudios de Calidad de Vida Relacionada con la Salud
Coordinacin
Jordi Alonso
Montse Ferrer
Luis Rajmil
Participantes
Alejandro Allepuz
Gloria Ariza
Silvina Berra
Nerea Fernndez de Larrea
Susana Granado
Iaki Imaz
Agencia de Evaluacin de Tecnologas Sanitarias (AETS)
Glria Oliva
Alberto Ruano
de la tecnologa?
en el informe.
loga.
informe.
Anexos
Anexo I. Miembros del Grupo de Elaboracin
y Validacin de Instrumentos de Evaluacin
de la Calidad de los Productos de Agencias
y Unidades de Evaluacin de Tecnologas
Sanitarias (Grupo GEVIEC)
Gloria Ariza
Juan Antonio Blasco
Catalua
Iaki Imaz
Agencia de Evaluacin de Tecnologas Sanitarias (AETS), Instituto de
Salud Carlos III del Ministerio de Sanidad y Consumo
Julio Lpez
Mercedes Reza
Alberto Ruano
Vctor Sarmiento
(AETSA)
Leonor Varela
de evidencia.
actuacin.
criterio cientfco.
de intereses.
externa.
adecuadas.
especializado?
ciembre de 2002.
2003.
elementos
Dominios Descripcin
bibliogrcas)
ingls).
la revisin.
Intervenciones
datos a recoger.
pacientes, etc.
S No NP
6. Se justica de forma razonable el tipo de anlisis elegido en relacin a la cuestin planteada?
7. Se detallan con precisin los mtodos y las fuentes de datos utilizados para la obtencin de
datos de ecacia y/o efectividad?
8. Las medidas de resultado seleccionadas son clnicamente relevantes (medida de ecacia/
efectividad nal)?
9. Se ajustan los costes recogidos a la perspectiva de anlisis seleccionada?
10. Se describe y justica el mtodo empleado para la valoracin de los recursos y estos se
detallan de forma adecuada?
11. Se justica la eleccin del modelo y ste se presenta de forma transparente y precisa?
12. El horizonte temporal elegido es el ms adecuado para captar todos los recursos empleados y
los efectos sobre la salud atribuibles a la utilizacin de las tecnologas sanitarias a estudio?
13. Se descuentan los costes y efectos sobre la salud que se producen en el futuro?
15. Se presenta el anlisis de equidad de forma transparente y desagregada en caso de que fuera
requerido por el decisor?
16. Permite el estudio extraer conclusiones sobre la transferibilidad o extrapolacin de sus
resultados a otros contextos?
17. Se presentan los resultados mediante un anlisis incremental y a su vez de forma desagregada
(costes y resultados de las alternativas)?
18. Se discuten de manera crtica las principales limitaciones o puntos dbiles del anlisis?
19. Las conclusiones del estudio responden a la pregunta de investigacin, y se desprenden de los
resultados obtenidos?
21. Se informa sobre la posible existencia de conicto de inters?
NP: No procede. Versin 2007
2000.
Noviembre de 2001.
Enero 2006.
n: Osteba E-00-03.
heterogeneidad.
D10. Discusin 8 ; 7
D11. Financiacin 4
Equidad
Conclusiones
El Documento explicativo (Anexo XVI) aporta aclaraciones sobre
el ideal de calidad, por lo que no todas las caractersticas que recoge seran
exigibles a cualquier anlisis econmico para puntuar afrmativamente el
tem al que se referen.
S No NP
1. El estudio establece claramente la pregunta de investigacin?
2. La evaluacin econmica se efecta de modo general y despus, si los datos lo permiten, en
los subgrupos de edad, sexo, grado de severidad y niveles de riesgo que muestren diferencias
relevantes en su efectividad o sus costes?
3. La evaluacin econmica incluye la perspectiva social?
4. Se presentan de manera separada y diferenciada la perspectiva social y del nanciador?
5. La eleccin de la alternativa con la que se compara la tecnologa sanitaria es apropiada y est
bien justicada?
1
er
listado?:
1991
8. Beck, 1997 19. NHMRC, 2000
11. Smith, 1997 22. Cochrane, 2006
para su cambio:
No lo utilizamos
Lo desconozco
Autor (ref.)/
Modificadido
Checklist/Escala
/Gua
mtodo de elaboracin
1
2
3
sistemticas
apropiada.
estn detalladas.

es posible.
benecios.
grupos.
y ste es apropiado.

Anexo VI. Matriz descripcin de los
instrumentos de evaluacin de la calidad para
Instrumento Caractersticas del instrumento
Genricos o especfos Tipo de instrumento Descripcin del concepto
de calidad
Oxman and Guyatt,1991
14
;
Oxman et al., 1991
15
Irwig et al., 1994
16
Oxman et al., 1994
17
Cook et al., 1995
18
Sacks et al., 1996
19
Auperin et al., 1997
20
Beck, 1997
21
Cranney et al.,1997
22
Genricos Gua No
de Vet et al., 1997
23
Especco Gua Parcialmente
Smith, 1997
24
25
Genricos Escala Parcialmente
26
Sutton et al., 1998
27
Genricos Gua S
28
Moher et al., 1999
29
Genricos Gua S
Khan et al., 2000
30
31
Especco Checklist No
NHMRC, 2000
32
Genricos Gua S
33
Stroup et al., 2000
34
Cochrane, 2006
35
JBIEBNM, 2000
36
para la evaluacin de la calidad de los estudios
Mtodo utilizado para
seleccionar elementos
Desarrollo riguroso Fiabilidad inter-evaluador Instrucciones para su
utilizacin?
Aceptado No Coec.CI =
0.71(95%CI:0.59-0.81)
S
Modicado Sacks, et al., 1987 No No S
Modicado Sacks, et al., 1987 No Coec. Correlac. intraclase=
0.89-0.96
Parcialmente
Modicado diversas fuentes No % Acuerdo 87-89% No
Modicado Victor, 1995 and
Cook, 1995
Parcialmente No No
Modicado Mulrow 1987
and Oxman, et al., 1994
No No Parcialmente
Modicado Oxman, et al.,
1994
No Coef. correlacin =0.87 No
Modicado Clarke and Oxman
(1999)
No No Parcialmente
Modicado diversas fuentes No No No
1
er
listado?:
1991
8. Beck, 1997 19. NHMRC, 2000
11. Smith, 1997 22. Cochrane, 2006
para su cambio:
No lo utilizamos
Lo desconozco
Autor (ref.)/
Modificadido
Checklist/Escala
/Gua
mtodo de elaboracin
1
2
3
sistemticas
apropiada.
estn detalladas.

es posible.
benecios.
grupos.
y ste es apropiado.

de la Calidad de los Anlisis
Econmicos en Evaluacin de
Coordinado por Julio Lpez Bastida y Juan Oliva
Metodologa especfca
para la Evaluacin de la Calidad de los Anlisis Econmicos en Evaluacin
de Tecnologas Sanitarias se realiz en base a los estndares para la reali-
zacin de evaluaciones econmicas establecidos en la Propuesta de estan-
darizacin de mtodos para la evaluacin econmica aplicada a las tecno-
logas sanitarias, coordinada por Julio Lpez Bastida (Servicio Canario de
Salud. Unidad de Evaluacin y Planifcacin) y Juan Oliva (Universidad de
Castilla la Mancha y Fundacin de Estudios de Economa Aplicada) y cuyo
equipo de trabajo est formado por Fernando Antoanzas (Universidad de
la Rioja), Ramn Gisbert (Universitat de Vic), Anna Garca-Alts (Agncia
de Salut Publica de Barcelona y Fundacin Instituto de Investigacin en
Servicios de Salud); Javier Mar (Hospital de Alto Deba) y Jaume Puig-Junoy
(Universitat Pompeu Fabra/CRES). Asimismo, han colaborado en su elabo-
racin las Agencias/Unidades de Evaluacin de TS.
En el Anexo XVI se aporta un resumen de los aspectos fundamentales
del desarrollo de la Propuesta de estandarizacin de mtodos para la eva-
luacin econmica aplicada a las TS.
2000.
Noviembre de 2001.
Enero 2006.
n: Osteba E-00-03.
heterogeneidad.
D10. Discusin 8 ; 7
D11. Financiacin 4
S Parc. No NP
6. El modo de administracin del cuestionario es homogneo en todos los pacientes del
estudio o en caso contrario, se justica y se evala su inuencia en los resultados?
7. Se justica la eleccin de los resultados que se van a medir?
8. Se evita, o al menos se justica, la utilizacin de informadores indirectos?
9. Se han tratado los valores perdidos de forma adecuada?
Dominio 2: Calidad del instrumento para medir la CVRS
10. Se detalla el contenido del instrumento o en su defecto se cita algn artculo que lo
contenga?
11. Globalmente, el instrumento utilizado es adecuado para alcanzar los objetivos del
estudio?
Fiabilidad
12. Se proporciona informacin que demuestre que la abilidad del instrumento es
adecuada?
Validez
13. Se proporciona informacin que demuestre la validez de constructo del instrumento?
14. Se proporciona evidencia de la validez del instrumento en poblaciones similares a la
que se aplica?
15. Se proporciona informacin que demuestre la sensibilidad al cambio del instrumento?
16. Se ha utilizado un mtodo de adaptacin cultural estndar?
17. Se aporta evidencia de la equivalencia de las propiedades mtricas con el instrumento
original?
Puntuaciones
18. Se aporta informacin sobre cmo se construyen y presentan las puntuaciones del
estudio?
Magnitud del efecto
19. Se aportan estrategias que ayuden a interpretar la magnitud del efecto?
Discusin
20. Se comentan los resultados de CVRS en la discusin?
ciembre de 2002.
2003.
elementos
Dominios Descripcin
bibliogrcas)
ingls).
la revisin.
Intervenciones
datos a recoger.
pacientes, etc.
Fiabilidad
Validez
Puntuaciones
Magnitud del efecto
Discusin
El Documento explicativo (Anexo XV) aporta aclaraciones sobre el
ideal de calidad, por lo que no todas las caractersticas que recoge seran exi-
gibles a cualquier estudio de CVRS para puntuar afrmativamente el tem al
que se referen. En un recuadro tras la explicacin de cada tem, se incluyen
las Orientaciones, que sealan aquellos aspectos que se consideran carac-
tersticas esenciales para cumplir el elemento, es decir, sin las cuales el tem
S Parc. No NP
1. La medicin de la calidad de vida es uno de los objetivos del estudio?
2. Se midi la calidad de vida antes de la intervencin?
3. Se hizo la medicin en un momento adecuado?
4. Se considera/n suciente/s para responder a la pregunta de investigacin la/s
medicin/es de CVRS realizadas durante el perodo de seguimiento?
5. Se tuvo en cuenta el perodo recordatorio del instrumento respecto a la historia natural
del proceso y el momento de la administracin?
que se han perdido en el seguimiento. Para ello, deberan de establecerse, ya
desde el diseo del estudio, estrategias para poder analizar las prdidas (por
ejemplo, recoger la causa de cada prdida, tratar de recoger alguna informa-
cin de los sujetos perdidos).
Orientacin: No se cumplir este elemento cuando el porcentaje de prdidas en el seguimiento no est descrito o, en caso de
que sea muy elevado, no se analice si hay diferencias entre los sujetos perdidos y la muestra nalmente analizada.
Dominio 2. Calidad del instrumento para medir la
CVRS
Contenido
tem 10. Se detalla el contenido del instrumento o en su defecto se cita
algn artculo que lo contenga?
Para que el contenido del instrumento est detallado debe aportarse infor-
macin sobre sus siguientes atributos:
Concepto del instrumento (qu mide el instrumento). Incluira as-
pectos como las dimensiones, los atributos y los tems del instrumento.
Poblacin que pretende evaluar (en quin). Hace referencia a las
caractersticas de la poblacin para la que ha sido diseado el instru-
mento.
Escala de medida. Hace referencia a si se aporta una descripcin de la
escala de medida del instrumento, incluyendo si da lugar a utilidades
o perfles.
Orientacin: No se cumplir este elemento si no se detalla algn atributo del contenido del instrumento, ni se cita algn artculo
que lo contenga.
tem 11. Globalmente, el instrumento utilizado es adecuado para alcanzar
los objetivos del estudio?
Debe justifcarse que el concepto, la poblacin y la escala del instrumento
utilizado se ajustan o responden de forma razonable a los objetivos del es-
tudio.
Orientacin: No se cumplir este elemento si el instrumento no es adecuado para alcanzar los objetivos del estudio.
Dominios Descripcin
Calidad y validez de los
estudios
Se debe realizar una evaluacin de la calidad de los estudios incluidos en la revisin,
para evitar sesgos en el proceso de revisin, y guiar en la interpretacin de los resultados
comprobar la validez de los datos obtenidos. En la revisin se debe especicar el mtodo
utilizado para realizar dicha evaluacin: utilizacin de algn cuestionario o escala, o anlisis de
ciertas caractersticas de los estudios que determinan su validez.
Sntesis y anlisis de los datos En la sntesis de resultados se tendr en consideracin la posible heterogeneidad entre
los estudios, que puede ser causa de diferencias en las estimaciones de los resultados,
relacionadas con caractersticas particulares de la poblacin, la intervencin a estudio, o
el diseo del mismo.
La sntesis deber partir de los elementos sucientes como para permitir una
reproduccin de la misma por otro investigador.
Resultados Se realizar una sntesis de los resultados de manera clara, aportando medidas de precisin
(intervalos de conanza) cuando sea apropiado.
Discusin En la discusin se describirn los resultados encontrados en la revisin, aportando tambin
aspectos como la calidad de los estudios, sesgos que intereran en los resultados, limitaciones
de la revisin, etc.
Financiacinconicto de
inters
Hay estudios en los que se observan mejores resultados para la tecnologa evaluada cuando
existe una relacin entre el autor y la industria relacionada con la tecnologa. La nanciacin
por parte de la industria es una posible causa de sesgo pero no la nica. Es importante ver si
el autor tiene algn tipo de inters que pueda sesgar los resultados de la revisin.
observan diferencias en los resultados en funcin de las distintas formas de
administracin empleadas.
Orientacin: No se cumplir este elemento cuando haya diferencias no justicadas en el modo de administracin del
cuestionario o no se analice su inuencia en los resultados del estudio.
tem 7. Se justifca la eleccin de los resultados que se van a medir?
El anlisis de mltiples resultados puede aumentar la probabilidad de en-
contrar asociaciones falsamente positivas (error tipo I), por lo que su me-
dicin debera estar justifcada y establecida preferentemente en la fase de
diseo del estudio.
Orientacin: No se cumplir este elemento cuando la medicin de mltiples resultados no est justicada y prevista desde el
diseo del estudio.
tem 8. Se evita, o al menos se justifca, la utilizacin de informadores
indirectos?
Idealmente se debe evitar la utilizacin de informadores indirectos
(proxies); sin embargo hay situaciones en las que pueden ser de utilidad. En
caso de que se utilicen, deben justifcarse las razones para hacerlo.
En los estudios comparativos, adems, se debe comprobar que no hay
diferencias en el grado de utilizacin de proxies entre los grupos.
Orientacin: No se cumplir este elemento cuando se utilicen informadores indirectos sin una justicacin razonable o si su
utilizacin es muy diferente entre los grupos de un estudio comparativo.
tem 9. Se han tratado los valores perdidos de forma adecuada?
Para que los resultados de un estudio de CVRS sean vlidos es fundamental
que los resultados de calidad de vida estn disponibles para la mayor parte
de los sujetos que entran en el estudio. Debido a la forma de medicin de los
resultados de CVRS, las prdidas en este tipo de estudios suelen ser mayores
que en los que miden otros tipos de resultados. Adems, segn qu interven-
cin, enfermedad o poblacin se est estudiando, las prdidas aceptables
pueden ser de distinta magnitud.
En los estudios de CVRS deben describirse los porcentajes de prdidas
en el seguimiento, y si estos porcentajes son elevados (por ejemplo, superio-
res al 20%), es importante analizar las posibles diferencias en factores que
infuyan en la CVRS entre los sujetos que han completado el estudio y los
Anexo IX. Matriz evaluacin de los instrumentos
de evaluacin de la calidad para las revisiones
sistemticas. Dominios y elementos
Instrumento Dominios
Pregunta de
investigacin
Estrategia de
bsqueda
C. inclusin/
Exclusin
Intervenciones
Oxman and Guyatt, 1991
14
; Oxman , 1991
15

Irwig , 1994
16

Oxman , 1994
17

Cook , 1995
18

Sacks , 1996
19

Auperin , 1997
20

Beck, 1997
21

Cranney ,1997
22

de Vet , 1997
23

Smith, 1997
24

25

26

Sutton , 1998
27

28

Moher , 1999
29

Khan , 2000
30

31

NHMRC, 2000
32

33

Stroup , 2000
34

Cochrane
35

JBIEBNM, 2006
36

Explora este dominio completamente.
Explora este dominio parcialmente.
No explora este dominio.
tem 4. Se considera/n sufciente/s para responder a la pregunta de inves-
tigacin la/s medicin/es de CVRS realizadas durante el perodo de segui-
miento?
En funcin de la enfermedad y/o intervencin estudiada, puede ser necesa-
rio realizar mediciones repetidas de la CVRS a lo largo del seguimiento, por
ejemplo para ver si el cambio en la CVRS se modifca con el tiempo. Es po-
sible que en el caso de haber hecho slo una medicin, sta no sea sufciente
para responder a la pregunta de investigacin.
Orientacin: No se cumplir este elemento cuando sea esperable que la CVRS se modique a lo largo del perodo de estudio y
se haya realizado una nica medicin de la CVRS.
tem 5. Se tuvo en cuenta el perodo recordatorio del instrumento respecto
a la historia natural del proceso y el momento de la administracin?
El perodo recordatorio es el momento, con respecto a la aplicacin del ins-
trumento, al que hacen referencia las preguntas del instrumento de medi-
cin de la CVRS.
Para que la medicin de la CVRS sea vlida, el perodo recordatorio
del cuestionario debe ser coherente con la historia natural de la enfermedad
y/o la intervencin que se est estudiando. Por ejemplo, para ver la efec-
tividad de un analgsico la semana posterior a iniciar el tratamiento sera
incorrecto utilizar un instrumento con un perodo recordatorio de cuatro
semanas (Tuvo dolor en alguna parte del cuerpo durante las cuatro lti-
mas semanas?).
Orientacin: No se cumplir este elemento si el perodo recordatorio del instrumento de CVRS no es coherente con la historia
natural del proceso o la intervencin a estudio.
tem 6. El modo de administracin del cuestionario es homogneo en to-
dos los pacientes del estudio o en caso contrario, se justifca y se evala su
infuencia en los resultados?
La forma de administracin de los cuestionarios de CVRS debe ser la misma
para todos los sujetos y momentos del estudio (iguales instrucciones de cum-
plimentacin en los cuestionarios autoadministrados; igual entrenamiento
de los entrevistadores; igual va de administracin: telefnica, entrevista pre-
sencial; igual momento de realizacin con respecto a la enfermedad o inter-
vencin, etc.) y en todas las ocasiones en las que se administra.
En caso de que haya diferencias, deben justifcarse las razones que han
llevado a los investigadores a hacerlo de este modo, y se debe analizar si se
Variables
Resultado
Extraccin de
datos
Calidad/validez
de los estudios
Sntesis/anlisis
de datos
Resultados Discusin Financiacin

Dominio 1. Diseo y anlisis del estudio
tem 1. La medicin de la calidad de vida es uno de los objetivos del estu-
dio?
La CVRS debe de constar en los objetivos del estudio como uno de los resul-
tados a medir y estudiar, o bien formar parte de la/s hiptesis que se quieren
comprobar.
Adems, idealmente, los autores deberan justifcar la relevancia del
estudio de la CVRS para los objetivos de estudio.
Orientacin: No se cumplir este elemento cuando la medicin de la CVRS no conste en la hiptesis o en los objetivos del
estudio.
tem 2. Se midi la calidad de vida antes de la intervencin?
En los estudios de intervencin es fundamental la medicin de la CVRS
antes y despus de la intervencin, para poder comparar ambas mediciones
y extraer conclusiones acerca de la efectividad de lo que se est evaluando.
Orientacin: No se cumplir este elemento si el estudio de intervencin no aporta una medicin basal de la CVRS en la
poblacin a estudio.
tem 3. Se hizo la medicin en un momento adecuado?
La medicin de la CVRS debera realizarse en un momento, con respecto
a la intervencin o a la historia natural de la enfermedad, que permita res-
ponder a los objetivos del estudio. Por ejemplo, que haya pasado un tiempo
sufciente desde la intervencin como para que sta haya ejercido su efecto.
En los estudios descriptivos, a fn de poder valorar si el momento es
adecuado, debera aportarse informacin sobre la gravedad de la enferme-
dad o la fase en la que estn los sujetos estudiados.
Orientacin: No se cumplir este elemento cuando el momento en el que se ha realizado la medicin de la CVRS no permita
responder al objetivo del estudio.
Anexo X a. Instrumento para la Evaluacin
de la Calidad de las Revisiones Sistemticas:
Muestra del primer cuestionario
1
er
Cuestionario: Dominios y elementos a incluir en el Instrumento
de Evaluacin de las Revisiones Sistemticas
Selecciona los dominios que consideras que deberan ser incluidos en el instrumento de
evaluacin de la calidad de las Revisiones Sistemticas:
1. Pregunta de investigacin
2. Estrategia de bsqueda
3. Criterios de inclusin y exclusin
4. Intervencin
5. Variable resultado
6. Extraccin de los datos
7. Calidad y validez de los estudios
8. Sntesis y anlisis de los datos
9. Resultados
10. Discusin
11. Financiacin
Si es posible, explica los motivos:
1
er
Independientemente de su formulacin, est de acuerdo con la inclusin
del siguiente elemento dentro de este dominio?
D1.1. La pregunta de investigacin est claramente definida y es apropiada?
Muy en
desacuerdo
Moderadamente
en desacuerdo
Ni de acuerdo ni
en desacuerdo
Moderadamente
de acuerdo
Muy de
acuerdo
Por favor, si consideras que la pregunta debera estar formulada de manera diferente,
que habra que incluir otros elementos o quieres aadir algn comentario, detllalo a
continuacin (utiliza la referencia numrica del elemento):
Puntuaciones
Magnitud del efecto
Discusin
El Documento explicativoaporta aclaraciones sobre el ideal de calidad,
por lo que no todas las caractersticas que recoge seran exigibles a cualquier
estudio de CVRS para puntuar afrmativamente el tem al que se referen.
Los aspectos que se consideran caractersticas esenciales para cumplir
el elemento, es decir, sin las cuales el tem debera puntuarse negativamente,
aparecen en un recuadro tras la explicacin, con el ttulo Orientacin.
tegoras:
S: Cuando el revisor considera que la pregunta puede responderse afrma-
tivamente, por cumplirse en general el elemento al que se refere el tem.
No: Cuando no se cumpla alguna de las caractersticas esencialespara
cumplir el elemento (Orientacin del Documento explicativo).
Parcialmente: Cuando, cumpliendo las caractersticas esenciales re-
cogidas en la Orientacin del Documento explicativo, no se dan to-
das las caractersticas necesarias para dar una respuesta afrmativa.
trabajos.
En determinados trabajos puede no proceder la valoracin de alguno de los tems del listado de vericacin.
Esta situacin es poco frecuente, ya que los tems fueron seleccionados a travs de un proceso de revisin y consenso
de expertos de las Agencias/Unidades de Evaluacin de TS del SNS, y en general cuentan con una adecuada validez de
contenido.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Anexo X b. Instrumento para la Evaluacin
Muestra del segundo cuestionario
1
er
S No
D1.1 La pregunta de investigacin es apropiada y est claramente definida?
D2.2. Se adecua a los objetivos del proyecto financiado?
Por favor, si consideras que alguna pregunta debera estar formulada de manera
diferente, detllalo a continuacin (utiliza la referencia numrica del elemento):
Anexo XV. Documento explicativo del
Instrumento para la Evaluacin de la
Calidad de los Estudios de Calidad de Vida
Relacionada con la Salud (CVRS)
Destinatarios
nales que trabajen en las Agencias/Unidades de Evaluacin de Tecnologas
Sanitarias (TS) y otros investigadores.
El Instrumento para la Evaluacin de la Calidad de los Estudios de Calidad
de Vida Relacionada con la Salud consta de un listado de verifcacin y un
El Listado de verifcacinse compone de 20 tems, que evalan los dis-
tintos elementos importantes para la calidad de los estudios de CVRS. Estos
elementos se organizan en 3 dominios, siendo su estructura la siguiente:
Fiabilidad
Validez
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Anexo XI. Documento explicativo del
de las Revisiones Sistemticas
Destinatarios
El Listado de verifcacin se compone de 19 tems, que evalan los
distintos elementos importantes para la calidad de las revisiones sistemti-
cas (RS). Estos elementos se organizan en diez dominios, siendo su estruc-
tura la siguiente:
Dominio 9 Discusin
El Documento explicativo aporta aclaraciones sobre el ideal de ca-
lidad, por lo que no todas las caractersticas que recoge seran exigibles a
cualquier RS para puntuar afrmativamente el tem al que se referen.
tem 18. Se describe la fuente de fnanciacin del estudio?
El meta-anlisis debe incluir un apartado en el que especifque la fuente de
fnanciacin del estudio y en caso de que no coincidiera, quin lo solicit.
Orientacin: No se cumplir este elemento si no se describe la fuente de nanciacin del MA.
tem 19. Se informa sobre la posible existencia de conficto de intereses?
Un conficto de intereses se produce en aquellas circunstancias en que el jui-
inters secundario, sea ste un benefcio fnanciero, de prestigio y promocin
a aquellos que han participado en la elaboracin, es necesaria incluso para
hacer explcito que no existe tal conficto.
Orientacin: No se cumplir este elemento si el MA no hace una referencia explcita a la existencia o ausencia de conicto de
intereses de los profesionales que participan en su realizacin.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Cada temdel listado de verifcacin puede ser valorado con cuatro categoras:
el tem.
trabajos.
tem en el tipo de documento que se est evaluando.
contenido.
tem 1. La pregunta de investigacin est claramente defnida?
La pregunta de investigacin u objetivos de la revisin deben estar clara-
mente descritos en el documento de la revisin.
Para ello debe especifcar la poblacin a estudio y/o la patologa, la
intervencin a evaluar, las intervenciones de comparacin (en caso de que
proceda) y los resultados de inters.
Orientacin: No se cumplir este elemento si la pregunta de investigacin no est claramente descrita en la RS, especicando
la poblacin a estudio, la intervencin a evaluar y los resultados de inters.
Orientacin: No se cumplir este elemento si no se presentan los aspectos fundamentales y los resultados de cada estudio para
cada grupo relevante de manera que permita calcular los estimadores del efecto global y sus intervalos de conanza.
tem 15. Se realiza una sntesis adecuada de los resultados de los estudios
teniendo en cuenta su calidad y heterogeneidad?
El meta-anlisis debe incluir una sntesis cualitativa y cuantitativa de la li-
teratura seleccionada. La presentacin de los resultados debe ser sufciente-
mente clara y adecuada para responder a la pregunta de investigacin.
En la sntesis de resultados se tendr en consideracin la calidad y la
heterogeneidad clnica y estadstica de los estudios, en caso de que exista.
Orientacin: No se cumplir este elemento si no se realiza una sntesis clara de los resultados, teniendo en consideracin la
calidad y la heterogeneidad clnica y estadstica de los estudios.
Dominio 8. Discusin
tem 16. Se hace una valoracin adecuada de los resultados del meta-an-
lisis (discusin)?
En la discusin deben describirse los resultados encontrados en el meta-an-
lisis en relacin con la pregunta de investigacin y con la evidencia dispo-
nible. Adems, se deben discutir aspectos como la validez interna o externa
del meta-anlisis, teniendo en cuenta la heterogeneidad de los estudios, su
calidad y los sesgos y limitaciones del proceso de revisin.
Orientacin: No se cumplir este elemento si no se discuten adecuadamente los resultados del MA.
tem 17. Las conclusiones estn basadas en los resultados, considerando los
posibles sesgos y limitaciones?
Las conclusiones deben responder a la pregunta de investigacin del me-
ta-anlisis. Se deben exponer claramente, sin ambigedades, y deben estar
basadas en los resultados, teniendo en cuenta los sesgos y limitaciones del
meta-anlisis.
Orientacin: No se cumplir este elemento si no se observan los siguientes tres requisitos: las conclusiones se exponen
claramente, se corresponden con la pregunta de investigacin y se basan en los resultados, teniendo en cuenta los sesgos y
limitaciones.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
tem 2. Las bases de datos consultadas y los trminos de bsqueda emplea-
dos estn bien detallados?
Deben describirse las bases de datos y las otras fuentes donde se ha buscado
informacin, y para cada una de ellas las palabras clave utilizadas y su com-
binacin.
La estrategia de bsqueda utilizada debe estar claramente detallada
en la revisin de manera que el proceso pueda reproducirse por otro inves-
tigador.
Orientacin: No se cumplir este elemento si en la RS no se detallan las bases de datos, y para cada una de ellas las palabras
clave utilizadas y su combinacin.
tem 3. La estrategia de bsqueda es lo sufcientemente exhaustiva?
La bsqueda debe ser lo sufcientemente exhaustiva como para permitir lo-
calizar los estudios que interesan y evitar en lo posible el sesgo de publica-
cin.
Idealmente se deberan consultar varias bases de datos: Medline, Revi-
siones sistemticas Cochrane, DARE, HTADatabase y otras como Embase,
CINAHL, PsycINFO, segn el rea temtica. Cuando sea necesaria la bs-
queda en fuentes de informacin adicionales, bien porque se trate de temas
especfcos, porque la documentacin disponible sea muy escasa o por otro
motivo. Tambin se recomienda la utilizacin de literatura gris, de documen-
tos secundarios, el contacto con expertos y la revisin manual de referencias
bibliogrfcas.
Orientacin: No se cumplir este elemento si en la revisin sistemtica no se consulta al menos en Medline y en otra base de
datos.
tem 4. Las restricciones que se presentan en la bsqueda estn justifcadas?
Si se utilizan lmites en la bsqueda es importante que estn especifcados y,
en caso de que proceda, se detalle la justifcacin de los mismos y que sta
sea razonable. Debera hacerse especial referencia a la justifcacin de los
aos de publicacin y los idiomas.
Orientacin: No se cumplir este elemento si en la revisin sistemtica los lmites empleados en la bsqueda no estn
especicados o no se justican de forma razonable, en caso de que proceda.
Las decisiones o factores incluidos en el anlisis de sensibilidad deben
justifcarse, con la evidencia disponible, antes de comenzar la revisin.
Ejemplos de estas decisiones pueden ser: el modelo de anlisis utiliza-
do, los criterios de inclusin o exclusin de los estudios y la calidad de los
estudios incluidos.
Orientacin: No se cumplir este elemento si el MA no incluye y justica un anlisis de sensibilidad.
tem 12. Se evala adecuadamente el posible sesgo de publicacin?
El meta-anlisis debe incluir una descripcin del mtodo utilizado para la eva-
luacin del posible sesgo de publicacin a travs de aproximaciones grfcas
como el funnel plot, de mtodos estadsticos adecuados, o realizar un anlisis
de sensibilidad y calcular el nmero de estudios negativos realizados y no pu-
blicados que debera haber para que una conclusin se viese afectada.
Orientacin: No se cumplir este elemento si el MA no incluye una valoracin adecuada del sesgo de publicacin.
tem 13. Se describe o representa grfcamente el proceso de incorporacin
de estudios en el meta-anlisis?
El meta-anlisis debe incluir una descripcin o un diagrama de fujo (por
ejemplo, el diagrama QUOROM) donde aparezcan los estudios identifca-
dos inicialmente, los incluidos en el meta-anlisis y los excluidos, junto con
los motivos para su exclusin.
Orientacin: No se cumplir este elemento si el MA no incluye una descripcin o un diagrama de ujo del proceso de
incorporacin de estudios.
tem 14. Se describen detalladamente las caractersticas de los estudios pri-
marios de forma que permita reproducir la sntesis?
Se deben describir de forma clara los aspectos fundamentales de los estu-
dios primarios de manera que permitan realizar una evaluacin crtica de
los mismos.
Deben presentarse los resultados de cada estudio, para cada grupo que
resulte relevante en el anlisis, de manera que permita calcular los estimado-
res del efecto global y sus correspondientes intervalos de confanza.
La presentacin como tablas de evidencia resulta de utilidad.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
tem 5. Los criterios de seleccin de los estudios estn descritos y son ade-
cuados para responder a la pregunta de investigacin?
Los criterios de inclusin y exclusin de los estudios deberan estar clara-
mente especifcados en la revisin.
Para responder a la pregunta de investigacin los criterios de seleccin
deben referirse a: la poblacin y/o la patologa a estudio, la intervencin, las
variables de resultado que interesan, el diseo del estudio y, cuando proceda,
las intervenciones de comparacin.
Idealmente estos criterios deberan ser defnidos antes de comenzar la
revisin.
Orientacin: No se cumplir este elemento si los criterios de seleccin no estn claramente especicados en la revisin o no
responden a la pregunta de investigacin.
tem 6. Las intervenciones que se evalan estn claramente detalladas para
todos los grupos de estudio?
Descripcin detallada de las caractersticas de las intervenciones a estudio,
de su fnalidad y en caso de que proceda, para los distintos grupos de estudio.
Si se compara con otra intervencin, sta tambin debe detallarse.
Orientacin: No se cumplir este elemento si no se describen detalladamente las intervenciones a estudio.
tem 7. Son considerados los posibles benefcios relevantes de la tecnologa?
Aunque la revisin se centre en determinados resultados de inters para los
autores, se deben evaluar los benefcios relevantes de la tecnologa.
A ser posible, deberan considerarse resultados fnales; y, en caso de que
no fuera as, resultados intermedios relevantes.
Orientacin: No se cumplir este elemento si en la revisin sistemtica no son considerados los benecios relevantes de la
tecnologa.
Dominio 6. Metodologa de sntesis cuantitativa
tem 9. Se valora estadsticamente la presencia de heterogeneidad entre
los estudios?
En un meta-anlisis se entiende por heterogeneidad (heterogeneidad esta-
dstica) la variabilidad entre los resultados de los estudios que no es expli-
cada por el azar.
El meta-anlisis debe incluir una valoracin de la presencia de hetero-
geneidad, a travs de un test estadstico como la Q de Cochrane y su nivel
de signifcacin. Para la identifcacin de la heterogeneidad tambin resulta
de utilidad la representacin grfca de los estudios (por ejemplo las de Gal-
braith o L'Abb.)
En caso de que se demuestre la presencia de heterogeneidad estadsti-
ca entre los estudios es conveniente que se exploren sus causas, a travs de
un anlisis de subgrupos o una meta-regresin.
Orientacin: No se cumplir este elemento si no se presenta una valoracin de la heterogeneidad estadstica de los estudios
que incluya al menos un test estadstico adecuado e indique su nivel de signicacin.
tem 10. Se especifca, justifca y es adecuado el mtodo estadstico utiliza-
do para realizar el meta-anlisis?
Se debe especifcar y justifcar el mtodo estadstico empleado para combi-
nar los resultados, en funcin del estimador del efecto (RR, OR, etc.) y al
modelo de efectos fjos o aleatorios seleccionado, de acuerdo con la posible
heterogeneidad de los estudios.
En los meta-anlisis de pruebas diagnsticas se deben usar mtodos
especfcos que permitan la combinacin de los resultados.
En caso de que la presencia de heterogeneidad se reduzca retirando
estudios o mediante anlisis de subgrupos, esta decisin debe justifcarse
adecuadamente.
Orientacin: No se cumplir este elemento si no se especica, justica y es adecuado el mtodo estadstico utilizado para
realizar el meta-anlisis.
tem 11. Se realiza y justifca un anlisis de sensibilidad?
Es importante que el meta-anlisis incluya una valoracin de cmo han po-
dido infuir las decisiones tomadas para su realizacin en el resultado; as
el anlisis de sensibilidad valora de forma indirecta cun robustos son los
resultados obtenidos.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
tem 8. Son considerados los posibles daos relevantes de la tecnologa?
autores, se deben tener en cuenta tambin los riesgos relevantes que puedan
asociarse a la misma.
Orientacin: No se cumplir este elemento si en la revisin sistemtica no son considerados los riesgos relevantes de la
tecnologa.
Dominio 6. Extraccin de los datos
tem 9. La metodologa utilizada para la extraccin de los datos es sufcien-
temente rigurosa?
La extraccin de datos se considera sufcientemente rigurosa si se describe la
utilizacin de un formulario diseado previamente o al menos una descrip-
cin detallada de los datos a recoger.
Idealmente, la extraccin debe ser realizada por al menos dos reviso-
res y se debe estudiar en qu medida se ha producido acuerdo en los datos
extrados entre los revisores, para comprobar el grado de reproducibilidad
de este proceso.
Orientacin: No se cumplir este elemento si no se describe la utilizacin de un formulario diseado previamente o al menos
una descripcin detallada de los datos a recoger.
tem 10. Se extrajeron las intervenciones/exposiciones y los resultados para
todos los sujetos y/o grupos?
Deben recogerse con detalle las intervenciones o exposiciones, especifcan-
do en qu consisten, cmo se realizan, quin las realiza, etc., ya que las ca-
ractersticas pueden variar entre los distintos grupos de estudio. Tambin
hay que recoger con detalle los resultados, ya que stos pueden aparecer en
diferentes formas en los estudios, medidos en distintos momentos de tiempo,
en diferentes grupos de pacientes, utilizando diferentes escalas, etc.
Orientacin: No se cumplir este elemento si no se extrajeron con detalle las intervenciones/exposiciones y los resultados para
los distintos sujetos/grupos.
tem 6. Se describen los criterios utilizados para considerar que los estudios
son similares y su combinacin es por tanto razonable?
El meta-anlisis debe incluir informacin detallada sobre cmo se evala la
heterogeneidad clnica entre los estudios, en funcin de las diferencias entre
sus participantes, intervenciones/exposiciones o sus defniciones del efecto.
Slo deben ser combinados aquellos estudios cuyas caractersticas sean
lo sufcientemente homogneas como para obtener una medida de efecto
razonable que responda a la pregunta de investigacin.
Orientacin: No se cumplir este elemento si no se describen los criterios utilizados para considerar que los estudios son
sucientemente homogneos y por tanto se justica el meta-anlisis.
tem 7. Se utiliza un mtodo estructurado y sistemtico para evaluar la ca-
lidad de los estudios?
Se debe realizar una evaluacin estructurada de los aspectos clave que tie-
nen relacin directa con la calidad de los estudios incluidos en la revisin.
En el meta-anlisis se debe describir o referenciar el mtodo utilizado para
evaluar la calidad de los estudios, ya sea la utilizacin de un listado de com-
probacin, una escala u otro anlisis adecuado y adaptado al diseo.
Orientacin: No se cumplir este elemento si no se realiza y detalla una evaluacin estructurada y sistemtica de la calidad de
los estudios.
tem 8. Se utiliza la calidad de los estudios como criterio de seleccin o en
el anlisis de los resultados?
La calidad de los estudios debe tenerse en cuenta, como criterio de seleccin
(inclusin/exclusin) de los estudios o al menos durante el anlisis de resul-
tados. Idealmente deben describirse los criterios de seleccin que se referen
a la calidad o cmo se ha utilizado la calidad en el anlisis.
Orientacin: No se cumplir este elemento si la calidad de los estudios no se ha tenido en cuenta ya sea como criterio de
seleccin de los estudios o en el anlisis de los resultados.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
tem 11. Se utiliza un mtodo estructurado y sistemtico para evaluar la
calidad de los estudios?
nen relacin directa con la calidad de los estudios incluidos en la revisin. En
la revisin se debe describir o referenciar el mtodo utilizado para realizar
dicha evaluacin, ya sea un listado de comprobacin, una escala u otro an-
lisis adecuado y adaptado al diseo.
Orientacin: No se cumplir este elemento si no se detalla y realiza una evaluacin estructurada y sistemtica de la calidad de
los estudios.
tem 12. Se utiliza la calidad de los estudios como criterio de seleccin o a
la hora de analizar los resultados?
La calidad de los estudios debe tenerse en cuenta, preferiblemente como cri-
terio de seleccin (inclusin/exclusin) de los estudios o al menos durante la
sntesis o el anlisis de resultados. Idealmente deben describirse los criterios
empleados para ello.
Orientacin: No se cumplir este elemento si la calidad de los estudios no es tenida en cuenta ya sea como criterio de
seleccin de los estudios o en la realizacin de la sntesis.
tem 13. Se describen las caractersticas principales de los estudios prima-
rios de forma que permita realizar una evaluacin crtica de los mismos y
reproducir la sntesis?
los mismos y valorar posibles diferencias en sus resultados relacionadas con
caractersticas particulares de la poblacin, la modalidad de la intervencin,
su diseo o su calidad.
La presentacin en forma de tablas de evidencia resulta de utilidad.
Orientacin: No se cumplir este elemento si no se describen las caractersticas principales de los estudios primarios de forma
que permitan realizar una evaluacin crtica de los mismos y reproducir la sntesis.
Dominio 4. Extraccin de los datos y caractersticas
de los estudios
tem 4. La extraccin de los datos se realiz de forma rigurosa?
Para que la extraccin de datos se considere rigurosa el meta-anlisis debe
describir la utilizacin de un formulario diseado previamente o describir
detalladamente los datos a recoger.
de este proceso.
Orientacin: No se cumplir este elemento si no se describe la utilizacin de un formulario diseado previamente o una
descripcin detallada de las variables a recoger.
tem 5. Se aporta informacin sufciente sobre las intervenciones/exposi-
ciones y los resultados de inters para todos los sujetos y/o grupos?
El meta-anlisis debe recoger con detalle los resultados de cada estudio, ya
que las caractersticas pueden variar entre los distintos grupos de estudio,
aparecer en diferentes formas, medidos en distintos momentos de tiempo, en
diferentes grupos de pacientes, utilizando diferentes escalas, etc. Adems, los
resultados deben extraerse para cada grupo de inters en el anlisis, y deben
permitir calcular sus correspondientes estimadores del efecto e intervalos de
confanza. Ejemplos seran presentar el nmero de sujetos y de eventos que
se producen en cada grupo o las medias y desviaciones estndar de sus re-
sultados. En el caso de ensayos clnicos los resultados deben permitir hacer
un anlisis por intencin de tratar.
Igualmente, el meta-anlisis debe especifcar en qu consisten las in-
tervenciones o exposiciones a estudio, cmo se realizan y quin las realiza.
Orientacin: No se cumplir este elemento si no se describen con detalle las intervenciones y los resultados de inters para
todos los grupos de manera que permitan calcular los estimadores de efecto de cada estudio y sus intervalos de conanza.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
dos estn bien detallados, y las restricciones realizadas estn justifcadas?
informacin, y para cada una de ellas las palabras clave utilizadas, su combi-
nacin, y las restricciones realizadas.
Si se utilizan lmites en la bsqueda es importante que, en caso de que
proceda, se detalle la justifcacin de los mismos y que sta sea razonable.
Orientacin: No se cumplir este elemento si en el MA no se detallan las bases de datos, las palabras clave utilizadas y su
combinacin, as como las restricciones en la bsqueda, las cuales deben justicarse.
tem 3. Los criterios de seleccin (inclusin/exclusin) de los estudios estn
bien descritos y son adecuados para responder a la pregunta de investiga-
cin?
Los criterios de inclusin y exclusin de los estudios deben estar claramente
especifcados en el meta-anlisis.
deben referirse a aspectos como: la poblacin y/o la patologa a estudio, la
intervencin, las variables de resultado que interesan, el diseo del estudio
y, cuando proceda, las intervenciones de comparacin.
Idealmente estos criterios deberan ser defnidos a priori. En los meta-
anlisis es especialmente importante tener en cuenta las principales varia-
bles de resultado dentro de los criterios de inclusin.
Orientacin: No se cumplir este elemento si los criterios de seleccin no estn claramente especicados o no responden a la
pregunta de investigacin.
Se debe incluir una sntesis clara cualitativa o cuantitativa de la literatura
seleccionada.
heterogeneidad de los estudios, que puede ser causa de diferencias en las
estimaciones de los resultados (relacionadas con caractersticas particulares
de la poblacin, la intervencin a estudio, la calidad de los estudios o el di-
seo de los mismos).
Orientacin: No se cumplir este elemento si no se realiza una sntesis clara de los resultados o no se tiene en consideracin la
calidad y la heterogeneidad de los estudios.
tem 15. Se describe la escala utilizada para clasifcar el nivel de evidencia?
miento para la seleccin/elaboracin de la misma.
Orientacin: No se cumplir este elemento si, en caso de que se utilice, no se describe o referencia la escala utilizada para
clasicar el nivel de evidencia.
Dominio 9. Discusin
tem 16. Se hace una valoracin adecuada de los resultados de la revisin
sistemtica?
En la discusin se describirn los resultados encontrados en la revisin, ana-
lizando aspectos como la heterogeneidad de los estudios, su calidad, los ses-
gos y las limitaciones de la revisin, etc.
Orientacin: No se cumplir este elemento si no se discuten los resultados de la revisin sistemtica, analizando aspectos
como, por ejemplo, sus limitaciones y la calidad de los estudios.
cin.
tegoras:
S: Cuando el revisor considera que la pregunta puede responderse afrmati-
vamente, por cumplirse en general el elemento al que se refere el tem.
trabajos.
contenido.
La pregunta de investigacin del meta-anlisis debe estar claramente descri-
ta en el documento.
Para ello se debe especifcar la poblacin a estudio y/o patologa, la
intervencin a evaluar y las intervenciones de comparacin (en caso de que
Orientacin: No se cumplir este elemento si la pregunta de investigacin no est claramente descrita en el MA, especicando
Las conclusiones deben responder a la pregunta de investigacin de la revi-
sin. Se deben exponer claramente, sin ambigedades y deben estar basadas
en los resultados, considerando los posibles sesgos y limitaciones.
La revisin sistemtica deber incluir un apartado en el que especifque
quin la solicit y sus fnanciadores.
Orientacin: No se cumplir este elemento si no se describe quin solicit la revisin sistemtica y sus nanciadores.
criterio cientfco.
Orientacin: No se cumplir este elemento si no se hace una referencia explcita a la existencia o ausencia de conicto de
intereses.
Anexo XIV. Documento explicativo del
de los Meta-anlisis
Destinatarios
En principio este instrumento est pensado para ser utilizado por tcnicos
y profesionales que trabajen en las Agencias/Unidades de Evaluacin de
Tecnologas Sanitarias (TS) y otros investigadores.
tintos elementos importantes para la calidad de los meta-anlisis (MA). Estos
elementos se organizan en nueve dominios, siendo su estructura la siguiente:
Dominio 8 Discusin
lidad, por lo que, no todas las caractersticas que recoge seran exigibles a
cualquier MA, para puntuar afrmativamente el tem al que se referen.
Anexo XII. Primera propuesta Listado
de verifcacin del Instrumento para la
Evaluacin de la Calidad de los Meta-anlisis
S Parc. No NP
Dominio 1. Identicacin del meta-anlisis
1. Se identica la revisin como un meta-anlisis (o una revisin sistemtica) en el ttulo?
3. Las bases de datos consultadas, los trminos de bsqueda empleados y las
restricciones realizadas estn bien detallados y justicados?
5. La metodologa utilizada para la extraccin de los datos es sucientemente rigurosa?
6. Se extrajeron las intervenciones/exposiciones y los resultados para todos los sujetos
y/o grupos?
7. Se describen los criterios utilizados para considerar que los estudios son similares y
su combinacin es por tanto razonable?
estudios?
9. Se utiliza la calidad de los estudios como criterio de seleccin o a la hora de analizar
los resultados?
11 Se especica y justica el mtodo estadstico utilizado para combinar los resultados, y
las medidas del efecto que sern utilizadas?
13. Se evala el posible sesgo de publicacin?
Anexo XIII. Cuestionario sobre la propuesta
de Instrumento para la Evaluacin de la
Calidad de los Meta-anlisis
Elaboracin instrumento para la Evaluacin de la Calidad de los Metaanlisis
1
Cuestionario: Instrumento Evaluacin de la Calidad de los Metaanlisis
Para cada elemento, sombrea la opcin que mejor se ajuste a tu opinin sobre su
inclusin en el Instrumento de Evaluacin de la calidad de los Metaanlisis
Si consideras oportuno realizar alguna modificacin en la formulacin de las preguntas
o de las explicaciones u orientaciones, antalas en los recuadros correspondientes.
Identifica las modificaciones correspondientes a cada pregunta con su nmero.
Dominio 1. Identifi caci n del metaanli si s
Independientemente de su formulacin, ests de acuerdo con la inclusin
del siguiente elemento en el instrumento?
1. Se identifica la revisin como un metaanlisis (o una revisin
sistemtica) en el ttulo?
Muy en
desacuerdo
Moderadamente
en desacuerdo
Ni de acuerdo ni
en desacuerdo
Moderadamente
de acuerdo
Muy de
acuerdo
continuacin:
Realizaras alguna modificacin en las explicaciones o en las Orientaciones del
documento explicativo?:
S Parc. No NP
14. Se describe o representa el proceso de incorporacin de estudios en el meta-anlisis?
15. Se describen las caractersticas principales de los estudios primarios de forma que
permita realizar una evaluacin crtica de los mismos y reproducir la sntesis?
16 Se realiza una sntesis adecuada de los resultados de los estudios teniendo en cuenta
su calidad y heterogeneidad?
Dominio 9. Discusin
18. Las conclusiones estn basadas en los resultados, considerando los posibles sesgos y
limitaciones?
Parc.: Parcialmente; NP.: No procede.
estudios incluidos.
los mismos.
1
Muy en
desacuerdo
Moderadamente
en desacuerdo
Ni de acuerdo ni
en desacuerdo
Moderadamente
de acuerdo
Muy de
acuerdo
continuacin:
S Parc. No NP
14. Se describe o representa el proceso de incorporacin de estudios en el meta-anlisis?
15. Se describen las caractersticas principales de los estudios primarios de forma que
permita realizar una evaluacin crtica de los mismos y reproducir la sntesis?
16 Se realiza una sntesis adecuada de los resultados de los estudios teniendo en cuenta
su calidad y heterogeneidad?
Dominio 9. Discusin
18. Las conclusiones estn basadas en los resultados, considerando los posibles sesgos y
limitaciones?
Parc.: Parcialmente; NP.: No procede.
los estudios?
cada por el azar.
braith o L'Abb.)
adecuadamente.
de los Meta-anlisis
Destinatarios
Dominio 8 Discusin
Anexo XII. Primera propuesta Listado
de verifcacin del Instrumento para la
Evaluacin de la Calidad de los Meta-anlisis
S Parc. No NP
Dominio 1. Identicacin del meta-anlisis
1. Se identica la revisin como un meta-anlisis (o una revisin sistemtica) en el ttulo?
3. Las bases de datos consultadas, los trminos de bsqueda empleados y las
restricciones realizadas estn bien detallados y justicados?
5. La metodologa utilizada para la extraccin de los datos es sucientemente rigurosa?
6. Se extrajeron las intervenciones/exposiciones y los resultados para todos los sujetos
y/o grupos?
7. Se describen los criterios utilizados para considerar que los estudios son similares y
su combinacin es por tanto razonable?
estudios?
9. Se utiliza la calidad de los estudios como criterio de seleccin o a la hora de analizar
los resultados?
11 Se especica y justica el mtodo estadstico utilizado para combinar los resultados, y
las medidas del efecto que sern utilizadas?
13. Se evala el posible sesgo de publicacin?
los estudios.
cin.
tegoras:
trabajos.
contenido.
ta en el documento.
Las conclusiones deben responder a la pregunta de investigacin de la revi-
sin. Se deben exponer claramente, sin ambigedades y deben estar basadas
en los resultados, considerando los posibles sesgos y limitaciones.
La revisin sistemtica deber incluir un apartado en el que especifque
quin la solicit y sus fnanciadores.
Orientacin: No se cumplir este elemento si no se describe quin solicit la revisin sistemtica y sus nanciadores.
criterio cientfco.
Orientacin: No se cumplir este elemento si no se hace una referencia explcita a la existencia o ausencia de conicto de
intereses.
de los estudios
de este proceso.
cin?
Se debe incluir una sntesis clara cualitativa o cuantitativa de la literatura
seleccionada.
heterogeneidad de los estudios, que puede ser causa de diferencias en las
estimaciones de los resultados (relacionadas con caractersticas particulares
de la poblacin, la intervencin a estudio, la calidad de los estudios o el di-
seo de los mismos).
Orientacin: No se cumplir este elemento si no se realiza una sntesis clara de los resultados o no se tiene en consideracin la
calidad y la heterogeneidad de los estudios.
tem 15. Se describe la escala utilizada para clasifcar el nivel de evidencia?
miento para la seleccin/elaboracin de la misma.
Orientacin: No se cumplir este elemento si, en caso de que se utilice, no se describe o referencia la escala utilizada para
clasicar el nivel de evidencia.
Dominio 9. Discusin
tem 16. Se hace una valoracin adecuada de los resultados de la revisin
sistemtica?
En la discusin se describirn los resultados encontrados en la revisin, ana-
lizando aspectos como la heterogeneidad de los estudios, su calidad, los ses-
gos y las limitaciones de la revisin, etc.
Orientacin: No se cumplir este elemento si no se discuten los resultados de la revisin sistemtica, analizando aspectos
como, por ejemplo, sus limitaciones y la calidad de los estudios.
tem 11. Se utiliza un mtodo estructurado y sistemtico para evaluar la
calidad de los estudios?
nen relacin directa con la calidad de los estudios incluidos en la revisin. En
la revisin se debe describir o referenciar el mtodo utilizado para realizar
dicha evaluacin, ya sea un listado de comprobacin, una escala u otro an-
lisis adecuado y adaptado al diseo.
Orientacin: No se cumplir este elemento si no se detalla y realiza una evaluacin estructurada y sistemtica de la calidad de
los estudios.
tem 12. Se utiliza la calidad de los estudios como criterio de seleccin o a
la hora de analizar los resultados?
La calidad de los estudios debe tenerse en cuenta, preferiblemente como cri-
terio de seleccin (inclusin/exclusin) de los estudios o al menos durante la
sntesis o el anlisis de resultados. Idealmente deben describirse los criterios
empleados para ello.
Orientacin: No se cumplir este elemento si la calidad de los estudios no es tenida en cuenta ya sea como criterio de
seleccin de los estudios o en la realizacin de la sntesis.
tem 13. Se describen las caractersticas principales de los estudios prima-
rios de forma que permita realizar una evaluacin crtica de los mismos y
reproducir la sntesis?
los mismos y valorar posibles diferencias en sus resultados relacionadas con
caractersticas particulares de la poblacin, la modalidad de la intervencin,
su diseo o su calidad.
La presentacin en forma de tablas de evidencia resulta de utilidad.
Orientacin: No se cumplir este elemento si no se describen las caractersticas principales de los estudios primarios de forma
que permitan realizar una evaluacin crtica de los mismos y reproducir la sntesis.
de los estudios
de este proceso.
cin?
tem 8. Son considerados los posibles daos relevantes de la tecnologa?
autores, se deben tener en cuenta tambin los riesgos relevantes que puedan
asociarse a la misma.
Orientacin: No se cumplir este elemento si en la revisin sistemtica no son considerados los riesgos relevantes de la
tecnologa.
Dominio 6. Extraccin de los datos
tem 9. La metodologa utilizada para la extraccin de los datos es sufcien-
temente rigurosa?
La extraccin de datos se considera sufcientemente rigurosa si se describe la
utilizacin de un formulario diseado previamente o al menos una descrip-
cin detallada de los datos a recoger.
de este proceso.
Orientacin: No se cumplir este elemento si no se describe la utilizacin de un formulario diseado previamente o al menos
una descripcin detallada de los datos a recoger.
tem 10. Se extrajeron las intervenciones/exposiciones y los resultados para
todos los sujetos y/o grupos?
Deben recogerse con detalle las intervenciones o exposiciones, especifcan-
do en qu consisten, cmo se realizan, quin las realiza, etc., ya que las ca-
ractersticas pueden variar entre los distintos grupos de estudio. Tambin
hay que recoger con detalle los resultados, ya que stos pueden aparecer en
diferentes formas en los estudios, medidos en distintos momentos de tiempo,
en diferentes grupos de pacientes, utilizando diferentes escalas, etc.
Orientacin: No se cumplir este elemento si no se extrajeron con detalle las intervenciones/exposiciones y los resultados para
los distintos sujetos/grupos.
los estudios.
cin.
tegoras:
trabajos.
contenido.
ta en el documento.
tem 5. Los criterios de seleccin de los estudios estn descritos y son ade-
cuados para responder a la pregunta de investigacin?
Los criterios de inclusin y exclusin de los estudios deberan estar clara-
mente especifcados en la revisin.
deben referirse a: la poblacin y/o la patologa a estudio, la intervencin, las
variables de resultado que interesan, el diseo del estudio y, cuando proceda,
las intervenciones de comparacin.
Idealmente estos criterios deberan ser defnidos antes de comenzar la
revisin.
Orientacin: No se cumplir este elemento si los criterios de seleccin no estn claramente especicados en la revisin o no
responden a la pregunta de investigacin.
tem 6. Las intervenciones que se evalan estn claramente detalladas para
todos los grupos de estudio?
Descripcin detallada de las caractersticas de las intervenciones a estudio,
de su fnalidad y en caso de que proceda, para los distintos grupos de estudio.
Si se compara con otra intervencin, sta tambin debe detallarse.
Orientacin: No se cumplir este elemento si no se describen detalladamente las intervenciones a estudio.
tem 7. Son considerados los posibles benefcios relevantes de la tecnologa?
autores, se deben evaluar los benefcios relevantes de la tecnologa.
A ser posible, deberan considerarse resultados fnales; y, en caso de que
no fuera as, resultados intermedios relevantes.
Orientacin: No se cumplir este elemento si en la revisin sistemtica no son considerados los benecios relevantes de la
tecnologa.
los estudios?
cada por el azar.
braith o L'Abb.)
adecuadamente.
de los Meta-anlisis
Destinatarios
Dominio 8 Discusin
dos estn bien detallados?
informacin, y para cada una de ellas las palabras clave utilizadas y su com-
binacin.
La estrategia de bsqueda utilizada debe estar claramente detallada
en la revisin de manera que el proceso pueda reproducirse por otro inves-
tigador.
Orientacin: No se cumplir este elemento si en la RS no se detallan las bases de datos, y para cada una de ellas las palabras
clave utilizadas y su combinacin.
tem 3. La estrategia de bsqueda es lo sufcientemente exhaustiva?
La bsqueda debe ser lo sufcientemente exhaustiva como para permitir lo-
calizar los estudios que interesan y evitar en lo posible el sesgo de publica-
cin.
Idealmente se deberan consultar varias bases de datos: Medline, Revi-
siones sistemticas Cochrane, DARE, HTADatabase y otras como Embase,
CINAHL, PsycINFO, segn el rea temtica. Cuando sea necesaria la bs-
queda en fuentes de informacin adicionales, bien porque se trate de temas
especfcos, porque la documentacin disponible sea muy escasa o por otro
motivo. Tambin se recomienda la utilizacin de literatura gris, de documen-
tos secundarios, el contacto con expertos y la revisin manual de referencias
bibliogrfcas.
Orientacin: No se cumplir este elemento si en la revisin sistemtica no se consulta al menos en Medline y en otra base de
datos.
tem 4. Las restricciones que se presentan en la bsqueda estn justifcadas?
Si se utilizan lmites en la bsqueda es importante que estn especifcados y,
en caso de que proceda, se detalle la justifcacin de los mismos y que sta
sea razonable. Debera hacerse especial referencia a la justifcacin de los
aos de publicacin y los idiomas.
Orientacin: No se cumplir este elemento si en la revisin sistemtica los lmites empleados en la bsqueda no estn
especicados o no se justican de forma razonable, en caso de que proceda.
estudios incluidos.
los mismos.
1
Muy en
desacuerdo
Moderadamente
en desacuerdo
Ni de acuerdo ni
en desacuerdo
Moderadamente
de acuerdo
Muy de
acuerdo
continuacin:
Cada temdel listado de verifcacin puede ser valorado con cuatro categoras:
el tem.
trabajos.
tem en el tipo de documento que se est evaluando.
contenido.
La pregunta de investigacin u objetivos de la revisin deben estar clara-
mente descritos en el documento de la revisin.
Para ello debe especifcar la poblacin a estudio y/o la patologa, la
intervencin a evaluar, las intervenciones de comparacin (en caso de que
Orientacin: No se cumplir este elemento si la pregunta de investigacin no est claramente descrita en la RS, especicando
Dominio 8. Discusin
lisis (discusin)?
meta-anlisis.
limitaciones.
CVRS
Contenido
mento.
o perfles.
que lo contenga.
tudio.
Anexo XI. Documento explicativo del
de las Revisiones Sistemticas
Destinatarios
El Listado de verifcacin se compone de 19 tems, que evalan los
distintos elementos importantes para la calidad de las revisiones sistemti-
cas (RS). Estos elementos se organizan en diez dominios, siendo su estruc-
tura la siguiente:
Dominio 9 Discusin
lidad, por lo que no todas las caractersticas que recoge seran exigibles a
cualquier RS para puntuar afrmativamente el tem al que se referen.
diseo del estudio.
diseo del estudio.
indirectos?
Anexo X b. Instrumento para la Evaluacin
Muestra del segundo cuestionario
1
er
S No
D1.1 La pregunta de investigacin es apropiada y est claramente definida?
D2.2. Se adecua a los objetivos del proyecto financiado?
Por favor, si consideras que alguna pregunta debera estar formulada de manera
diferente, detllalo a continuacin (utiliza la referencia numrica del elemento):
Destinatarios
Fiabilidad
Validez
miento?
cin de la CVRS.
mas semanas?).
1
er
D1.1. La pregunta de investigacin est claramente definida y es apropiada?
Muy en
desacuerdo
Moderadamente
en desacuerdo
Ni de acuerdo ni
en desacuerdo
Moderadamente
de acuerdo
Muy de
acuerdo
continuacin (utiliza la referencia numrica del elemento):
Puntuaciones
Magnitud del efecto
Discusin
tegoras:
trabajos.
contenido.
dio?
comprobar.
estudio.
poblacin a estudio.
Puntuaciones
Magnitud del efecto
Discusin
tegoras:
trabajos.
contenido.
dio?
comprobar.
estudio.
poblacin a estudio.
Anexo X a. Instrumento para la Evaluacin
Muestra del primer cuestionario
1
er
Cuestionario: Dominios y elementos a incluir en el Instrumento
de Evaluacin de las Revisiones Sistemticas
Selecciona los dominios que consideras que deberan ser incluidos en el instrumento de
evaluacin de la calidad de las Revisiones Sistemticas:
1. Pregunta de investigacin
2. Estrategia de bsqueda
3. Criterios de inclusin y exclusin
4. Intervencin
5. Variable resultado
6. Extraccin de los datos
7. Calidad y validez de los estudios
8. Sntesis y anlisis de los datos
9. Resultados
10. Discusin
11. Financiacin
Si es posible, explica los motivos:
Destinatarios
Fiabilidad
Validez
miento?
cin de la CVRS.
mas semanas?).
Variables
Resultado
Extraccin de
datos
Calidad/validez
de los estudios
Sntesis/anlisis
de datos
Resultados Discusin Financiacin

diseo del estudio.
diseo del estudio.
indirectos?
Anexo IX. Matriz evaluacin de los instrumentos
de evaluacin de la calidad para las revisiones
sistemticas. Dominios y elementos
Instrumento Dominios
Pregunta de
investigacin
Estrategia de
bsqueda
C. inclusin/
Exclusin
Intervenciones
Oxman and Guyatt, 1991
14
; Oxman , 1991
15

Irwig , 1994
16

Oxman , 1994
17

Cook , 1995
18

Sacks , 1996
19

Auperin , 1997
20

Beck, 1997
21

Cranney ,1997
22

de Vet , 1997
23

Smith, 1997
24

25

26

Sutton , 1998
27

28

Moher , 1999
29

Khan , 2000
30

31

NHMRC, 2000
32

33

Stroup , 2000
34

Cochrane
35

JBIEBNM, 2006
36

Explora este dominio completamente.
Explora este dominio parcialmente.
No explora este dominio.
Dominio 8. Discusin
lisis (discusin)?
meta-anlisis.
limitaciones.
CVRS
Contenido
mento.
o perfles.
que lo contenga.
tudio.
Dominios Descripcin
Calidad y validez de los
estudios
Se debe realizar una evaluacin de la calidad de los estudios incluidos en la revisin,
para evitar sesgos en el proceso de revisin, y guiar en la interpretacin de los resultados
comprobar la validez de los datos obtenidos. En la revisin se debe especicar el mtodo
utilizado para realizar dicha evaluacin: utilizacin de algn cuestionario o escala, o anlisis de
ciertas caractersticas de los estudios que determinan su validez.
Sntesis y anlisis de los datos En la sntesis de resultados se tendr en consideracin la posible heterogeneidad entre
los estudios, que puede ser causa de diferencias en las estimaciones de los resultados,
relacionadas con caractersticas particulares de la poblacin, la intervencin a estudio, o
el diseo del mismo.
La sntesis deber partir de los elementos sucientes como para permitir una
reproduccin de la misma por otro investigador.
Resultados Se realizar una sntesis de los resultados de manera clara, aportando medidas de precisin
(intervalos de conanza) cuando sea apropiado.
Discusin En la discusin se describirn los resultados encontrados en la revisin, aportando tambin
aspectos como la calidad de los estudios, sesgos que intereran en los resultados, limitaciones
de la revisin, etc.
Financiacinconicto de
inters
Hay estudios en los que se observan mejores resultados para la tecnologa evaluada cuando
existe una relacin entre el autor y la industria relacionada con la tecnologa. La nanciacin
por parte de la industria es una posible causa de sesgo pero no la nica. Es importante ver si
el autor tiene algn tipo de inters que pueda sesgar los resultados de la revisin.
4
5. Guidelines for the economic evaluation of health technologies: Canada
[3rd Edition]. Ottawa: Canadian Agency for Drugs and Technologies in
Health; 2006.
6. Antoanzas, F.; Rovira J (coord.) Propuesta de estandarizacin de al-
gunos aspectos metodolgicos de los anlisis coste-efectividad y coste-
utilidad en la evaluacion de tecnologias y programas sanitarios. Estudio
fnanciado por la Direccin General de Prestaciones y Evaluacin de
Tecnologas Sanitarias, Direccin General de Aseguramiento y Planif-
cacin Sanitaria, Ministerio de Sanidad y Consumo, 1993.
7. General guidelines for economic evaluations from the Pharmaceutical
Benefts Board (LFNAR 2003:2). Sweden, 2003.
8. Guidelines for preparing submissions to the Pharmaceutical Benefts
Advisory Committee (PBAC) (version 4.1). Canberra: Department of
Health and Ageing, Australian Government, 2006
9. Claxton K, Sculpher M, McCabe C, et al. Probabilistic sensitivity analy-
sis for NICE technology assessment: not an optional extra. Health Econ
2005;14:339-47
10. Briggs, A.; Sculpher, M.; Claxton, K. Decision modelling for health eco-
nomic evaluation. Oxford: Oxford University Press, 2006
11. Sloan, F. (Ed). Valuing health care. Cambridge, Cambridge University
Press, 1995.
12. Luce, B.R.; Elixhauser, A.; Culyer, A.J. Standards for the socio-economic
evaluation of health services. Springer-Verlag, 1990.
13. German Recommendations on health economic evaluation studies. Re-
vised version of the Hannover Consensus, 1995 University of Hanover.
14. The AMCP Format for Formulary Submissions (April 2005) Foundation
for Management Care Pharmacy (FMCP) &Academy of Management
Care Pharmacy (AMCP).
15. Guideline and recommendations for French PE studies, 2003 Colleges
Des conomistes De La Sant.
16. Guide to the Methods of Technology Appraisals, April 2004 National
Institute for Clinical Excellence (NICE).
17. Irish Healthcare Technology Assessment Guidelines/ Pharmacoecono-
mic guidelines, 1999 National Center for Pharmacoeconomics.
18. Guidelines for economic evaluation, 2001 Italian Group for Pharma-
coeconomic Studies
19. Norwegian guidelines for pharmacoeconomic analysis in connection
with applications for reimbursement, 2000 The Norwegian Medicines
Control Authority.
20. Manual for the standardization of clinical and economic evaluation of
medical technology 1998 draft Swiss Federal Social Insurance Offce
(BSV).
Fiabilidad
tem 12. Se proporciona informacin que demuestre que la fabilidad del
instrumento es adecuada?
El documento debe aportar informacin que permita valorar la fabilidad
del instrumento utilizado (o referenciar un artculo que proporcione esta
informacin). Para que la fabilidad del Instrumento sea adecuada, al menos
uno de sus dos componentes (consistencia interna o reproducibilidad) debe
considerarse aceptable:
La consistencia interna hace referencia al grado en que un instrumento
est libre de error aleatorio. Se mide, normalmente, mediante el coef-
ciente Alfa de Cronbach. La consistencia interna se considerar acep-
table si el valor de dicho coefciente es mayor o igual a 0,7. Idealmente
debera darse informacin de la consistencia interna tanto del instru-
mento en conjunto, como de cada una de sus dimensiones.
La reproducibilidad de un instrumento puede valorarse mediante una
evaluacin test-retest y mediante una evaluacin de la variabilidad
inter-observador. Habitualmente se evala, mediante el coefciente de
correlacin intraclase (CCI). Se considerar aceptable si el valor del
CCI es mayor o igual a 0,7.
Orientacin: No se cumplir este elemento si no se consideran aceptables ninguno de los componentes de la abilidad del
instrumento (Alfa de Cronbach < 0,7 y CCI < 0,7) o no se aporta informacin sobre estas propiedades.
Validez
tem 13. Se proporciona informacin que demuestre la validez de construc-
to del instrumento?
La validez de constructo es el grado en que el instrumento mide lo que
debe medir. Se suele estudiar mediante anlisis de validez convergente y de
validez discriminante.
Orientacin: No se cumplir este elemento si no se referencia algn artculo que reeje la validez de constructo del instrumento
ni se proporcionan datos que la demuestren.
tem 14. Se aporta evidencia de la validez del instrumento en poblaciones
similares a la que se aplica?
En caso de que la poblacin a la que se va a aplicar el instrumento no sea
la misma que aqulla para la que fue diseado, se debe aportar evidencia
sobre la validez del mismo en poblaciones similares a las del estudio, o en
tem 1. El estudio establece claramente la pregunta de investigacin?
El estudio debe defnir con claridad el problema clnico (condicin clnica a
la cual se refere la evaluacin) o cuestin que se plantea.
La pregunta de investigacin debe especifcar claramente la poblacin
de estudio (sus caractersticas demogrfcas, las comorbilidades o factores de
riesgo, la ubicacin geogrfca, las tasas usuales de adherencia o patrones
tpicos de tratamiento, as como los niveles de riesgo dentro de una misma
condicin clnica), la intervencin a evaluar, sus comparadores (en caso de
que proceda) y los resultados de inters.
Idealmente, se debe clarifcar quin es el principal destinatario del estu-
dio, puesto que los aspectos formales del mismo y la presentacin de su me-
todologa y resultados pueden adaptarse en funcin del receptor del trabajo.
Orientacin: No se cumplir este elemento si la pregunta de investigacin no est bien denida (poblacin de estudio,
intervencin, intervenciones de comparacin y resultados de inters).
tem 2. La evaluacin econmica se efecta de modo general y despus, si los
datos lo permiten, en los subgrupos de edad, sexo, grado de severidad y niveles
de riesgo que muestren diferencias relevantes en su efectividad o sus costes?
El estudio debe referirse a una muestra representativa de la poblacin defnida.
En el caso de que exista heterogeneidad demostrada y se sospeche que
la misma puede afectar de manera signifcativa a los resultados se debe pre-
sentar un anlisis estratifcado a subgrupos de poblacin homogneos. Para
ello es necesario obtener los datos especfcos de dichos subgrupos.
Orientacin: No se cumplir este elemento en caso de que habiendo diferencias relevantes en la efectividad y/o en los costes
en los subgrupos pertinentes, como de edad, sexo, grado de severidad o nivel de riesgo, no se realice un anlisis por subgrupos,
siendo ste factible.
tem 3. La evaluacin econmica incluye la perspectiva social?
La evaluacin econmica debe realizarse preferentemente desde la pers-
pectiva de la sociedad. Esta sera la perspectiva ms general y la que mayor
informacin aporta sobre la importancia relativa y absoluta de una enfer-
medad o condicin clnica. Por tanto, debera ser la de mayor ayuda para la
correcta priorizacin de los recursos sanitarios y sociales.
En caso de utilizar nicamente la perspectiva del fnanciador se debe
justifcar que los costes sociales (fundamentalmente, los costes de cuidados
5
Fueron invitados a participar los miembros del grupo GEVIEC de las
siete Agencias/Unidades de Evaluacin de TS y un tcnico de cada agencia
experto en evaluacin econmica (Anexo Ib).
Se trabaj sobre la segunda versin elaborada en las fases anteriores.
Esta fue remitida a los participantes por correo electrnico y posteriormen-
te se realiz un taller presencial (Madrid, 30 de mayo de 2007) en el que se
discutieron y consensuaron los aspectos ms controvertidos de la metodolo-
ga empleada en evaluacin econmica de las TS.
Los acuerdos alcanzados en el Taller fueron incorporados por el equi-
po coordinador a la tercera versin de la Gua para la estandarizacin de
mtodos en la evaluacin econmica aplicada a las tecnologas sanitarias.
Esta tercera versin se ha difundido a un nmero mayor de profesio-
nales con reconocida experiencia en evaluacin econmica de tecnologas
sanitarias con el fn de ampliar los grupos de discusin y enriquecer el con-
tenido de la gua a partir de las visiones complementarias de profesionales
que trabajan en distintos mbitos. Los expertos consultados en esta ronda
pertenecen al mbito de las Administraciones Pblicas, sociedades cientf-
cas, universidades y centros de estudio, fundaciones, empresas consultoras y
empresas proveedoras de medicamentos y tecnologas sanitarias. En todos
los casos se ha recurrido a su conocimiento por su visin sobre el sistema sa-
nitario espaol y sus conocimientos tcnicos sobre evaluacin econmica de
tecnologas sanitarias. No se ha pedido en ningn caso que refejaran la posi-
cin o intereses de las entidades donde desarrollan su labor profesional.
Tras la fnalizacin de esta ronda, los coordinadores y el grupo de tra-
bajo se reunirn para revisar los comentarios recibidos y elaborarn una-
versin defnitiva de la Propuesta de estandarizacin de mtodos para la
evaluacin econmica aplicada a las tecnologas sanitarias.
Bibliografa Propuesta de estandarizacin de mtodos para la
evaluacin econmica aplicada a las tecnologas sanitarias
1. Drummond, M.F.; Sculpher, M.J.; Torrance, G.W., et al. Methods for the
economic evaluation of health care programmes. 3rd ed. Oxford: Oxford
University Press, 2005.
2. Gold, M,R,; Siegel, J.E.; Russell, L.B.; Weinstein, M.C. Cost-effectiveness
in health and medicine. NewYork: Oxford University Press; 1996.
3. Drummond, M.F.; McGuire, A. editors. Economic evaluation in health
care: merging theory with practice. New York: Oxford University Press;
2001.
4. Drummond, M.F.; Brandt, A.; Luce, B.; Rovira, J. Standardising methodo-
logies for economic evaluation in health care. International Journal of
Technology Assessment in Health Care 1993;9:26-36.
su defecto, argumentar de forma convincente su utilizacin en la nueva po-
blacin en base a la similitud con las poblaciones donde el instrumento ha
sido empleado.
Orientacin: No se cumplir este elemento si no se referencia algn artculo que reeje la validez del instrumento en
poblaciones similares a la del estudio que est siendo evaluado o se argumenta de forma convincente su utilizacin en esa
nueva poblacin.
tem 15. Se proporciona informacin que demuestre la sensibilidad al cam-
bio del instrumento?
La sensibilidad al cambio es la capacidad del instrumento para detectar di-
ferencias en la magnitud del constructo. Siempre que sea posible se debe
proporcionar informacin que demuestre la sensibilidad al cambio del ins-
trumento.
Orientacin: No se cumplir este elemento si no se referencia al menos un artculo que demuestre la sensibilidad al cambio
del instrumento ni se aportan datos de dicha sensibilidad. Este elemento no ser exigible (No procede) si se trata de un
instrumento de reciente diseo y aplicacin poco difundida.
La adaptacin cultural y lingstica es la equivalencia conceptual y lingsti-
ca entre el instrumento utilizado y el original.
Los siguientes tres elementos slo sern aplicables cuando el instru-
mento sea una adaptacin de un cuestionario originalmente desarrollado en
otro pas o idioma.
tem 16. Se ha utilizado un mtodo de adaptacin cultural estndar?
Se considera un mtodo de adaptacin cultural estndar la realizacin de: al
menos dos traducciones independientes del instrumento del idioma original
al de adaptacin y al menos una traduccin inversa de la anterior de nuevo
al idioma original, la elaboracin de una versin predefnitiva y la realiza-
cin de un ensayo de administracin.
Por otra parte, es conveniente que en el trabajo se cite el artculo origi-
nal del que procede el instrumento.
Orientacin: No se cumplir este elemento si no describe la utilizacin de un mtodo estandarizado de adaptacin cultural y no
se referencia algn artculo que proporcione informacin al respecto.
Eleccin del modelo
Equidad
Conclusiones
cualquier evaluacin econmica, para puntuar afrmativamente el tem al
que se referen.
Cada temdel listado de verifcacin puede ser valorado con tres categoras:
el tem.
para cumplir el elemento (Orientacin del Documento explicati-
vo).
contenido.
Revisin bibliogrca
Se revisaron las guas ofciales de evaluacin econmica de tecnologas sa-
nitarias de los siguientes pases: Alemania, Australia, Canad, Espaa, Es-
tados Unidos, Francia, Holanda, Hungra, Inglaterra y Gales, Irlanda, Italia,
Noruega, Suecia y Suiza.
Tras la constatacin del elevado nmero de guas de estandarizacin
de evaluacin econmica de tecnologas sanitarias realizadas en distintos
pases y observando el alto grado de coincidencia de las mismas en la mayor
parte de cuestiones clave, el equipo de trabajo propuso la revisin de las
guas ms representativas. Para la eleccin de las mismas se tuvo en cuenta
tanto la calidad de las guas, como la infuencia de la evaluacin econmica
de tecnologas sanitarias del pas, a nivel interno (infuencia en la toma de
decisiones) y a nivel internacional (referencia a la gua o a la actividad del
pas en el campo de la evaluacin econmica de tecnologas sanitarias).
As pues, el punto de partida fue la toma en consideracin de las princi-
pales guas internacionales, incluyendo la anterior propuesta espaola. Ello
incluye a las guas de Australia, Canad, Espaa, Holanda, Inglaterra y Ga-
les y Suecia.
Elaboracin del primer borrador
De forma paralela a la revisin de la literatura, el grupo de expertos aport
su opinin sobre puntos clave que deban introducirse y discutirse explcita-
mente en la propuesta de gua (perspectiva, comparador, fuentes de infor-
macin, tasas de descuento, tipo de anlisis recomendado, etc.).
En base a los puntos clave que deban ser abordados en la gua, esta-
blecidos por los expertos, y a las guas seleccionadas, el equipo coordinador
elabor el primer borrador de la Propuesta de estandarizacin de mtodos
para la evaluacin econmica aplicada a las tecnologas sanitarias.
Consenso de expertos en economa de la salud
La primera versin fue discutida y consensuada en el grupo de expertos a
travs de intercambios de informacin va electrnica y con una reunin f-
nal que tuvo lugar en el Ministerio de Sanidad y Consumo el 30 de marzo de
2007. Como resultado de este proceso se elabor una segunda versin.
Perspectiva de las Agencias/Unidades de Evaluacin de TS
En esta fase se incorpor la perspectiva de las Agencias/Unidades de Eva-
luacin deTS en la estandarizacin de los mtodos de evaluacin econmica
de TS, en base a criterios de calidad.
tem 17. Se aporta evidencia de la equivalencia de las propiedades mtricas
con el instrumento original?
Las propiedades psicomtricas del cuestionario original y de su adaptacin
se deben considerar de forma diferenciada. Aunque las propiedades psico-
mtricas del instrumento original sean buenas, es necesario demostrar que
dichas propiedades se mantienen en el adaptado.
Orientacin: No se cumplir este elemento si no se aporta evidencia de que las propiedades psicomtricas del instrumento
adaptado son equivalentes a las del instrumento original.
Dominio 3. Interpretacin de los resultados
Puntuaciones
tem 18. Se aporta informacin sobre cmo se construyen y presentan las
puntuaciones del estudio?
Para cumplir este elemento debe especifcarse lo siguiente:
El algoritmo de clculo y la justifcacin (sobre todo en reagrupaciones
de novo) de las puntuaciones. Por ejemplo, si para dar puntuaciones
globales las dimensiones o los tems son ponderados, o agrupados si-
guiendo determinados elementos, etc.
El rango terico de las puntuaciones.
Si se realiza o no imputacin de valores perdidos y el mtodo.
Orientacin: No se cumplir este elemento si no se especican los tres aspectos anteriores con respecto a la informacin sobre
las puntuaciones.
Magnitud del efecto
tem 19. Se aportan estrategias que ayuden a interpretar la magnitud del
efecto?
Debera ayudarse a la interpretacin de la magnitud de los resultados a tra-
vs de las siguientes estrategias:
Anlisis en referencia a la Mnima Diferencia Importante, si ha sido
estimada para dicho cuestionario.
Interpretacin basada en las distribuciones de los resultados: por ejem-
plo mediante el clculo del tamao del efecto (Effect Size).
Anexo XVI. Resumen de la metodologa
empleada en el desarrollo de la Propuesta de
estandarizacin de mtodos para la evaluacin
econmica aplicada a las tecnologas
sanitarias
Objetivos
Estandarizar los mtodos de evaluacin econmica de tecnologas sa-
nitarias, en base a criterios de calidad.
Proporcionar una gua que ayude a la elaboracin de este tipo de tra-
bajos.
Destinatarios de la gua
Los principales destinatarios de la gua son las Agencias/Unidades de Eva-
luacin de Tecnologas Sanitarias, las empresas comercializadoras de tec-
nologas sanitarias, los responsables sanitarios a nivel de macro-gestin
(Ministerio de Sanidad y Consumo, Consejeras de Salud de las CCAA),
meso-gestin (gerentes de rea, de hospital, etc.) y micro-gestin (comisio-
nes de farmacia hospitalaria, Equipos de Atencin Primaria, etc.), los direc-
tivos de empresas aseguradoras privadas.
Metodologa
El proyecto fue coordinado por Julio Lpez Bastida (Servicio de Evalua-
cin y Planifcacin de la Direccin del Servicio Canario de la Salud) y Juan
Oliva (Universidad de Castilla la Mancha y Fundacin de Estudios de Eco-
noma Aplicada).
Los coordinadores del proyecto propusieron un equipo de trabajo
compuesto por ellos mismos ms cinco expertos en evaluacin econmica:
Fernando Antoanzas (Universidad de la Rioja), Ramn Gisbert (Univer-
sitat de Vic), Anna Garca-Alts (Agncia de Salut Publica de Barcelona
y Fundacin Instituto de Investigacin en Servicios de Salud); Javier Mar
(Hospital de Alto Deba) y Jaume Puig-Junoy (Universitat Pompeu Fabra/
CRES).
Comparacin con otras medidas de resultado empleadas en el estudio,
de interpretacin ms fcil o de uso ms extendido (por ejemplo, esca-
las de capacidad funcional).
Comparacin con normas de referencia o con resultados de otros estu-
dios: las poblaciones de referencia o los estudios seleccionados deben
ser adecuados para la poblacin del estudio. Se deberan argumentar
las diferencias o similitudes.
Presentacin del porcentaje de pacientes que alcanzan un grado deter-
minado de benefcio.
Orientacin: No se cumplir este elemento si no se aporta al menos una de las estrategias anteriores para interpretar los
resultados.
Discusin
tem 20. Se comentan los resultados de CVRS en la discusin?
Los resultados de CVRS deben discutirse, comentando por ejemplo si eran
esperables, si se relacionan de forma previsible con otros resultados o si son
aplicables a la prctica clnica.
Orientacin: No se cumplir este elemento si en el informe no se discuten los resultados de CVRS.
Anexo XVI. Resumen de la metodologa
empleada en el desarrollo de la Propuesta de
estandarizacin de mtodos para la evaluacin
econmica aplicada a las tecnologas
sanitarias
Objetivos
Estandarizar los mtodos de evaluacin econmica de tecnologas sa-
nitarias, en base a criterios de calidad.
Proporcionar una gua que ayude a la elaboracin de este tipo de tra-
bajos.
Destinatarios de la gua
Los principales destinatarios de la gua son las Agencias/Unidades de Eva-
luacin de Tecnologas Sanitarias, las empresas comercializadoras de tec-
nologas sanitarias, los responsables sanitarios a nivel de macro-gestin
(Ministerio de Sanidad y Consumo, Consejeras de Salud de las CCAA),
meso-gestin (gerentes de rea, de hospital, etc.) y micro-gestin (comisio-
nes de farmacia hospitalaria, Equipos de Atencin Primaria, etc.), los direc-
tivos de empresas aseguradoras privadas.
Metodologa
El proyecto fue coordinado por Julio Lpez Bastida (Servicio de Evalua-
cin y Planifcacin de la Direccin del Servicio Canario de la Salud) y Juan
Oliva (Universidad de Castilla la Mancha y Fundacin de Estudios de Eco-
noma Aplicada).
Los coordinadores del proyecto propusieron un equipo de trabajo
compuesto por ellos mismos ms cinco expertos en evaluacin econmica:
Fernando Antoanzas (Universidad de la Rioja), Ramn Gisbert (Univer-
sitat de Vic), Anna Garca-Alts (Agncia de Salut Publica de Barcelona
y Fundacin Instituto de Investigacin en Servicios de Salud); Javier Mar
(Hospital de Alto Deba) y Jaume Puig-Junoy (Universitat Pompeu Fabra/
CRES).
Comparacin con otras medidas de resultado empleadas en el estudio,
de interpretacin ms fcil o de uso ms extendido (por ejemplo, esca-
las de capacidad funcional).
Comparacin con normas de referencia o con resultados de otros estu-
dios: las poblaciones de referencia o los estudios seleccionados deben
ser adecuados para la poblacin del estudio. Se deberan argumentar
las diferencias o similitudes.
Presentacin del porcentaje de pacientes que alcanzan un grado deter-
minado de benefcio.
Orientacin: No se cumplir este elemento si no se aporta al menos una de las estrategias anteriores para interpretar los
resultados.
Discusin
tem 20. Se comentan los resultados de CVRS en la discusin?
Los resultados de CVRS deben discutirse, comentando por ejemplo si eran
esperables, si se relacionan de forma previsible con otros resultados o si son
aplicables a la prctica clnica.
Orientacin: No se cumplir este elemento si en el informe no se discuten los resultados de CVRS.
Revisin bibliogrca
Se revisaron las guas ofciales de evaluacin econmica de tecnologas sa-
nitarias de los siguientes pases: Alemania, Australia, Canad, Espaa, Es-
tados Unidos, Francia, Holanda, Hungra, Inglaterra y Gales, Irlanda, Italia,
Noruega, Suecia y Suiza.
Tras la constatacin del elevado nmero de guas de estandarizacin
de evaluacin econmica de tecnologas sanitarias realizadas en distintos
pases y observando el alto grado de coincidencia de las mismas en la mayor
parte de cuestiones clave, el equipo de trabajo propuso la revisin de las
guas ms representativas. Para la eleccin de las mismas se tuvo en cuenta
tanto la calidad de las guas, como la infuencia de la evaluacin econmica
de tecnologas sanitarias del pas, a nivel interno (infuencia en la toma de
decisiones) y a nivel internacional (referencia a la gua o a la actividad del
pas en el campo de la evaluacin econmica de tecnologas sanitarias).
As pues, el punto de partida fue la toma en consideracin de las princi-
pales guas internacionales, incluyendo la anterior propuesta espaola. Ello
incluye a las guas de Australia, Canad, Espaa, Holanda, Inglaterra y Ga-
les y Suecia.
Elaboracin del primer borrador
De forma paralela a la revisin de la literatura, el grupo de expertos aport
su opinin sobre puntos clave que deban introducirse y discutirse explcita-
mente en la propuesta de gua (perspectiva, comparador, fuentes de infor-
macin, tasas de descuento, tipo de anlisis recomendado, etc.).
En base a los puntos clave que deban ser abordados en la gua, esta-
blecidos por los expertos, y a las guas seleccionadas, el equipo coordinador
elabor el primer borrador de la Propuesta de estandarizacin de mtodos
para la evaluacin econmica aplicada a las tecnologas sanitarias.
Consenso de expertos en economa de la salud
La primera versin fue discutida y consensuada en el grupo de expertos a
travs de intercambios de informacin va electrnica y con una reunin f-
nal que tuvo lugar en el Ministerio de Sanidad y Consumo el 30 de marzo de
2007. Como resultado de este proceso se elabor una segunda versin.
Perspectiva de las Agencias/Unidades de Evaluacin de TS
En esta fase se incorpor la perspectiva de las Agencias/Unidades de Eva-
luacin deTS en la estandarizacin de los mtodos de evaluacin econmica
de TS, en base a criterios de calidad.
tem 17. Se aporta evidencia de la equivalencia de las propiedades mtricas
con el instrumento original?
Las propiedades psicomtricas del cuestionario original y de su adaptacin
se deben considerar de forma diferenciada. Aunque las propiedades psico-
mtricas del instrumento original sean buenas, es necesario demostrar que
dichas propiedades se mantienen en el adaptado.
Orientacin: No se cumplir este elemento si no se aporta evidencia de que las propiedades psicomtricas del instrumento
adaptado son equivalentes a las del instrumento original.
Dominio 3. Interpretacin de los resultados
Puntuaciones
tem 18. Se aporta informacin sobre cmo se construyen y presentan las
puntuaciones del estudio?
Para cumplir este elemento debe especifcarse lo siguiente:
El algoritmo de clculo y la justifcacin (sobre todo en reagrupaciones
de novo) de las puntuaciones. Por ejemplo, si para dar puntuaciones
globales las dimensiones o los tems son ponderados, o agrupados si-
guiendo determinados elementos, etc.
El rango terico de las puntuaciones.
Si se realiza o no imputacin de valores perdidos y el mtodo.
Orientacin: No se cumplir este elemento si no se especican los tres aspectos anteriores con respecto a la informacin sobre
las puntuaciones.
Magnitud del efecto
tem 19. Se aportan estrategias que ayuden a interpretar la magnitud del
efecto?
Debera ayudarse a la interpretacin de la magnitud de los resultados a tra-
vs de las siguientes estrategias:
Anlisis en referencia a la Mnima Diferencia Importante, si ha sido
estimada para dicho cuestionario.
Interpretacin basada en las distribuciones de los resultados: por ejem-
plo mediante el clculo del tamao del efecto (Effect Size).
Fueron invitados a participar los miembros del grupo GEVIEC de las
siete Agencias/Unidades de Evaluacin de TS y un tcnico de cada agencia
experto en evaluacin econmica (Anexo Ib).
Se trabaj sobre la segunda versin elaborada en las fases anteriores.
Esta fue remitida a los participantes por correo electrnico y posteriormen-
te se realiz un taller presencial (Madrid, 30 de mayo de 2007) en el que se
discutieron y consensuaron los aspectos ms controvertidos de la metodolo-
ga empleada en evaluacin econmica de las TS.
Los acuerdos alcanzados en el Taller fueron incorporados por el equi-
po coordinador a la tercera versin de la Gua para la estandarizacin de
mtodos en la evaluacin econmica aplicada a las tecnologas sanitarias.
Esta tercera versin se ha difundido a un nmero mayor de profesio-
nales con reconocida experiencia en evaluacin econmica de tecnologas
sanitarias con el fn de ampliar los grupos de discusin y enriquecer el con-
tenido de la gua a partir de las visiones complementarias de profesionales
que trabajan en distintos mbitos. Los expertos consultados en esta ronda
pertenecen al mbito de las Administraciones Pblicas, sociedades cientf-
cas, universidades y centros de estudio, fundaciones, empresas consultoras y
empresas proveedoras de medicamentos y tecnologas sanitarias. En todos
los casos se ha recurrido a su conocimiento por su visin sobre el sistema sa-
nitario espaol y sus conocimientos tcnicos sobre evaluacin econmica de
tecnologas sanitarias. No se ha pedido en ningn caso que refejaran la posi-
cin o intereses de las entidades donde desarrollan su labor profesional.
Tras la fnalizacin de esta ronda, los coordinadores y el grupo de tra-
bajo se reunirn para revisar los comentarios recibidos y elaborarn una-
versin defnitiva de la Propuesta de estandarizacin de mtodos para la
evaluacin econmica aplicada a las tecnologas sanitarias.
Bibliografa Propuesta de estandarizacin de mtodos para la
evaluacin econmica aplicada a las tecnologas sanitarias
1. Drummond, M.F.; Sculpher, M.J.; Torrance, G.W., et al. Methods for the
economic evaluation of health care programmes. 3rd ed. Oxford: Oxford
University Press, 2005.
2. Gold, M,R,; Siegel, J.E.; Russell, L.B.; Weinstein, M.C. Cost-effectiveness
in health and medicine. NewYork: Oxford University Press; 1996.
3. Drummond, M.F.; McGuire, A. editors. Economic evaluation in health
care: merging theory with practice. New York: Oxford University Press;
2001.
4. Drummond, M.F.; Brandt, A.; Luce, B.; Rovira, J. Standardising methodo-
logies for economic evaluation in health care. International Journal of
Technology Assessment in Health Care 1993;9:26-36.
sido empleado.
nueva poblacin.
trumento.
otro pas o idioma.
5. Guidelines for the economic evaluation of health technologies: Canada
[3rd Edition]. Ottawa: Canadian Agency for Drugs and Technologies in
Health; 2006.
6. Antoanzas, F.; Rovira J (coord.) Propuesta de estandarizacin de al-
gunos aspectos metodolgicos de los anlisis coste-efectividad y coste-
utilidad en la evaluacion de tecnologias y programas sanitarios. Estudio
fnanciado por la Direccin General de Prestaciones y Evaluacin de
Tecnologas Sanitarias, Direccin General de Aseguramiento y Planif-
cacin Sanitaria, Ministerio de Sanidad y Consumo, 1993.
7. General guidelines for economic evaluations from the Pharmaceutical
Benefts Board (LFNAR 2003:2). Sweden, 2003.
8. Guidelines for preparing submissions to the Pharmaceutical Benefts
Advisory Committee (PBAC) (version 4.1). Canberra: Department of
Health and Ageing, Australian Government, 2006
9. Claxton K, Sculpher M, McCabe C, et al. Probabilistic sensitivity analy-
sis for NICE technology assessment: not an optional extra. Health Econ
2005;14:339-47
10. Briggs, A.; Sculpher, M.; Claxton, K. Decision modelling for health eco-
nomic evaluation. Oxford: Oxford University Press, 2006
11. Sloan, F. (Ed). Valuing health care. Cambridge, Cambridge University
Press, 1995.
12. Luce, B.R.; Elixhauser, A.; Culyer, A.J. Standards for the socio-economic
evaluation of health services. Springer-Verlag, 1990.
13. German Recommendations on health economic evaluation studies. Re-
vised version of the Hannover Consensus, 1995 University of Hanover.
14. The AMCP Format for Formulary Submissions (April 2005) Foundation
for Management Care Pharmacy (FMCP) &Academy of Management
Care Pharmacy (AMCP).
15. Guideline and recommendations for French PE studies, 2003 Colleges
Des conomistes De La Sant.
16. Guide to the Methods of Technology Appraisals, April 2004 National
Institute for Clinical Excellence (NICE).
17. Irish Healthcare Technology Assessment Guidelines/ Pharmacoecono-
mic guidelines, 1999 National Center for Pharmacoeconomics.
18. Guidelines for economic evaluation, 2001 Italian Group for Pharma-
coeconomic Studies
19. Norwegian guidelines for pharmacoeconomic analysis in connection
with applications for reimbursement, 2000 The Norwegian Medicines
Control Authority.
20. Manual for the standardization of clinical and economic evaluation of
medical technology 1998 draft Swiss Federal Social Insurance Offce
(BSV).
Fiabilidad
Validez
to del instrumento?
21. Dutch guidelines for pharmacoeconomic research. Submitted by the
Health Insurance Council (Ziekenfondsraad) to the. Minister of Public
Health, Welfare and Sports on March 25, 1999.
22. Szende, .; Mogyorsy, Z.; Muszbek, N.; Nagy, J.; Pallos, G.; Dzsa,
C. Methodological guidelines for conducting economic evaluation of
healthcare interventions in Hungary: a Hungarian proposal for me-
thodology standards Eur J Health Econom 2002; 3:196206
23. The AMCP Format for Formulary Submissions. V E R S I O N 2 . 1. A P
R I L 2 0 0 5. A Format for Submission of Clinical and Economic Data
in Support of Formulary Consideration by Health Care Systems in the
United States. Academy of Managed Care Pharmacy.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Eleccin del modelo
Equidad
Conclusiones
que se referen.
el tem.
vo).
contenido.
Anexo XVII. Documento explicativo del
Instrumento para la Evaluacin de la Calidad de
los Anlisis Econmicos en Evaluacin de TS
Objetivo
cos en Evaluacin de Tecnologas Sanitarias, tiene por objetivo evaluar la
calidad de los anlisis econmicos desarrollados, en el mbito de las Agen-
cias/Unidades de Evaluacin de TS, sin embargo podran ser utilizados para
evaluar proyectos desarrollados en otros mbitos, en funcin de las nece-
sidades y/o de la existencia de otros instrumentos consensuados en lengua
castellana.
Estructura y contenidos
Este instrumento consta de un listado de verifcacin y un documento ex-
plicativo:
tintos elementos importantes para la calidad de las evaluaciones econmicas.
Estos elementos se organizan en siete dominios, cuya correspondencia con
los encabezamientos de la Propuesta de estandarizacin de mtodos para la
evaluacin econmica aplicada a las tecnologas sanitarias es la siguiente:
Objetivo
Comparador
Tipo de evaluacin
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
sido empleado.
nueva poblacin.
trumento.
otro pas o idioma.
Eleccin del modelo
Equidad
Conclusiones
que se referen.
el tem.
vo).
contenido.
Anexo XVII. Documento explicativo del
Instrumento para la Evaluacin de la Calidad de
los Anlisis Econmicos en Evaluacin de TS
Objetivo
cos en Evaluacin de Tecnologas Sanitarias, tiene por objetivo evaluar la
calidad de los anlisis econmicos desarrollados, en el mbito de las Agen-
cias/Unidades de Evaluacin de TS, sin embargo podran ser utilizados para
evaluar proyectos desarrollados en otros mbitos, en funcin de las nece-
sidades y/o de la existencia de otros instrumentos consensuados en lengua
castellana.
Estructura y contenidos
Este instrumento consta de un listado de verifcacin y un documento ex-
plicativo:
tintos elementos importantes para la calidad de las evaluaciones econmicas.
Estos elementos se organizan en siete dominios, cuya correspondencia con
los encabezamientos de la Propuesta de estandarizacin de mtodos para la
evaluacin econmica aplicada a las tecnologas sanitarias es la siguiente:
Objetivo
Comparador
Tipo de evaluacin
Fiabilidad
Validez
to del instrumento?
21. Dutch guidelines for pharmacoeconomic research. Submitted by the
Health Insurance Council (Ziekenfondsraad) to the. Minister of Public
Health, Welfare and Sports on March 25, 1999.
22. Szende, .; Mogyorsy, Z.; Muszbek, N.; Nagy, J.; Pallos, G.; Dzsa,
C. Methodological guidelines for conducting economic evaluation of
healthcare interventions in Hungary: a Hungarian proposal for me-
thodology standards Eur J Health Econom 2002; 3:196206
23. The AMCP Format for Formulary Submissions. V E R S I O N 2 . 1. A P
R I L 2 0 0 5. A Format for Submission of Clinical and Economic Data
in Support of Formulary Consideration by Health Care Systems in the
United States. Academy of Managed Care Pharmacy.
informales y los costes indirectos) no tienen un peso relevante o no se dispo-
ne de informacin fable sobre los mismos.
Orientacin: No se cumplir este elemento si no se tiene en cuenta tanto la perspectiva social como la del nanciador, cuando
ello sea factible.
tem 4. Se presentan de manera separada y diferenciada la perspectiva so-
cial y del fnanciador?
La perspectiva del fnanciador (organismos fnanciadores de las comunida-
des autnomas CCAA o del Sistema Nacional de Salud) debe ser consi-
derada, dado que el fnanciador es uno de los principales destinatarios de los
anlisis de Evaluacin Econmica de Tecnologas Sanitarias (EETS).
Por tanto, en caso de que la evaluacin se realice desde una perspectiva
social, se deben presentar de manera separada y diferenciada la perspectiva
social y la del fnanciador.
Orientacin: No se cumplir este elemento si, en caso de adoptarse una perspectiva social, no se presentan de manera
separada y diferenciada la perspectiva social y la del nanciador.
tem 5. La eleccin de la alternativa con la que se compara la tecnologa
sanitaria es apropiada y est bien justifcada?
La eleccin del comparador es un punto crucial para el anlisis y uno de los
determinantes clave de la razn coste efectividad incremental obtenida. Por
tanto, la relevancia del estudio para los decisores depende en buena medida
del comparador o comparadores seleccionados.
La eleccin del comparador empleado debe justifcarse adecuadamente.
El comparador debe de ser la alternativa que sera remplazada en la
prctica clnica si el tratamiento se adoptase, es decir, la prctica clnica habi-
tual para la cuestin que ocupa al estudio. Adicionalmente, podra incluirse
la alternativa de menor coste pero ms usada para una misma indicacin.
Si existe una tecnologa que est considerada como el patrn oro, de-
bera ser uno de los comparadores a incluir.
Siempre que exista una justifcacin clara para ello, se puede usar la
opcin no intervencin como alternativa posible.
Asimismo, se debe primar el contexto de aplicacin de la tecnologa
sanitaria analizada y su comparador (el tipo de indicacin, uso, dosis, estadio
del paciente, etc.) para corroborar que las tecnologas se estn empleando
en su mbito clnico habitual o de indicacin ms ajustado.
Orientacin: No se cumplir este elemento en caso de que no se justique de forma apropiada la eleccin del comparador.
tem 6. Se justifca de forma razonable el tipo de anlisis elegido en rela-
cin a la cuestin planteada?
En principio, las cuatro modalidades de anlisis (Anlisis de Minimizacin
de Costes, Anlisis Coste Efectividad, Anlisis Coste Utilidad y Anlisis
Coste Benefcio) son tcnicas aceptables de cara a una EETS. Los tipos de
anlisis, no deben considerarse como opciones excluyentes, sino como for-
mas complementarias de presentar los resultados de un mismo estudio. No
obstante, se debe justifcar claramente el tipo de evaluacin elegido en rela-
cin con la cuestin planteada, por ejemplo, segn los siguientes criterios:
Se podr aplicar el anlisis minimizacin de costes (AMC) cuando se
encuentre evidencia de que los efectos sobre la salud y sobre el bienestar
entre las tecnologas sanitarias examinadas sean bsicamente idnticos.
Se recomienda realizar un anlisis coste-efectividad (ACE) cuando
exista una medida de efectividad clnicamente relevante (mejora de la salud
y del bienestar) y no se disponga de informacin sufciente para realizar un
anlisis coste-utilidad.
Se recomienda que el anlisis coste-utilidad (ACU) sea la modalidad
adoptada si la prolongacin o mejora de la Esperanza de Vida Ajustada por
Calidad (fruto de una mejora en la esperanza, en la calidad de vida relacio-
nada con la salud o en ambas) es el resultado ms relevante para el decisor.
El anlisis coste-benefcio (ACB) es una tcnica aceptable siempre que
incluya una valoracin monetaria apropiada de los efectos sobre la salud de
las tecnologas sanitarias evaluadas.
En algunos casos podra considerarse la posibilidad de efectuar la eva-
luacin utilizando ms de un tipo de anlisis si las diferentes herramientas
revelan informacin complementaria entre s.
Orientacin: No se cumplir este elemento si no se justica de forma razonable el tipo de anlisis elegido en relacin a la
pregunta planteada.
tem 7. Se detallan con precisin los mtodos y las fuentes de datos utiliza-
dos para la obtencin de datos de efcacia y/o efectividad?
Como base de la evaluacin es recomendable una revisin sistemtica de la
evidencia disponible sobre la efcacia y la efectividad de la tecnologa sani-
taria. En la evaluacin han de exponerse con precisin las caractersticas de
la sntesis de la evidencia realizada: fuentes de datos, estrategia de bsqueda,
25. Barnes, D.E.; Bero, L.A. Why review articles on the health effects of passi-
ve smoking reach different conclusions. JAMA. 1998; 279:1566-1570.
26. Pogue, J.; Yusuf, S. Overcoming the limitations of current meta-analysis of
randomised controlled trials. Lancet. 1998; 351:47-52.
27. Sutton, A.J.; Abrams, K.R.; Jones, D.R.; Sheldon, T.A.; Song, F. Systematic
reviews of trials and other studies. Health Technol Assess. 1998; 2:1-276.
28. Clarke, M.; Oxman, A.D. Cochrane Reviewers Handbook 4.0 The Co-
chrane Collaboration; 1999.
29. Moher, D.; Cook, D.J.; Eastwood, S; Olkin, I.; Rennie, D.; Stroup D.F. Im-
proving the quality of reports of meta-analyses of randomised controlled
trials: the QUOROM statement. Quality of Reporting of Meta-analyses.
Lancet. 1999; 354:1896-1900.
30. Khan, K.S.; Ter Riet, G.; Glanville, J.; Sowden, A.J.; Kleijnen, J. Underta-
king Systematic Reviews of Research on Effectiveness. CRDs Guidance
for Carrying Out or Commissioning Reviews: York, England: University
of York, NHS Centre for Reviews and Dissemination; 2000.
31. New Zealand Guidelines Group. Handbook for the preparation of expli-
cit evidence-based clinical practice guidelines. Accessed December, 2006.
Web Page. Available at: http://www.nzgg.org.nz/
32. How to Use the Evidence: Assessment and Application of Scientifc Evi-
dence. Canberra, Australia: NHMRC. 2000.
33. Harbour, R.; Miller, J.A. New system [Scottish Intercollegiate Guidelines
Network (SIGN)] for grading recommendations in evidence based guide-
lines. BMJ. 2001; 323:334-336.
34. Stroup, D.F.; Berlin, J.A.; Morton, S.C. et al. Meta-analysis of observatio-
nal studies in epidemiology: a proposal for reporting. Meta-analysis Of
Observational Studies in Epidemiology (MOOSE) group. JAMA. 2000;
283:2008-2012.
35. Higgins, J.P.T.; Green. S. editors. Cochrane Handbook for Systematic
Reviews of Interventions 4.2.6 [updated September 2006]. http://www.
cochrane.org/resources/handbook/hbook.htm (accessed 6th October
2006).
36. JBIEBNM,2000. AppraisingSystematic Reviews,Changing Practice Sup. 1.
URL: http://www.joannabriggs.edu.au/pdf/BPISEngSup2000.pdf
11. Guyatt, G.H.; Naylor, C.D.; Juniper, E.; Heyland, D.K.; Jaeschke, R.;
Cook, D.J. Users guides to the medical literature. XII. How to use articles
about health-related quality of life. Evidence-Based Medicine Working
Group. JAMA. 1997 Apr 16;277(15):1232-7.
12. U.S. Department of Health and Human Services. Food and Drug
Administration. Patient-Reported Outcome Measures: Use in Medical
Product Development to Support Labeling Claims. U.S. Department of
Health and Human Services; 2006. Disponible en: http://www.fda.gov/
cder/guidance/index.htm
13. Effcace, F.;Bottomley, A.; Osoba, D.; Gotay, C.; Flechtner, H.; Dhaese, S.
et al. Beyond the development of health-related quality of life (HRQOL)
measures: a checklist for evaluating HRQOL outcomes in cancer clinical
trials-Does HRQOL evaluation in prostate cancer research inform clini-
cal decision making? J Clin Oncol 2003;21:3502-11.
14. Oxman, A.D.; Guyatt, G.H. Validation of an index of the quality of re-
view articles. J Clin Epidemiol. 1991; 44:1271-1278.
15. Oxman, A.D.; Guyatt, G.H.; Singer, J., et al. Agreement among reviewers
of review articles. J Clin Epidemiol. 1991; 44:91-98.
16. Irwig, L.; Tosteson, A.N.; Gatsonis, C. et al. Guidelines for meta-analyses
evaluating diagnostic tests. Ann Intern Med. 1994 Apr 15; 120:667-676.
17. Oxman, A.D.; Cook, D.J.; Guyatt, G.H. Users guides to the medical lite-
rature. VI. How to use an overview. Evidence-Based Medicine Working
Group. JAMA. 1994; 272:1367-1371.
18. Cook, D.J.; Sackett, D.L;, Spitzer, W.O. Methodologic guidelines for sys-
tematic reviews of randomized control trials in health care from the Pots-
dam Consultation on Meta-Analysis. J Clin Epidemiol. 1995; 48:167-171.
19. Sacks, H.S.; Reitman, D.; Pagano, D.; Kupelnick, B. Meta-analysis: an up-
date. Mt Sinai J Med. 1996; 63:216-224.
20. Auperin, A.; Pignon, J.P.; Poynard, T. Review article: critical review of
meta-analyses of randomized clinical trials in hepatogastroenterology.
Alimentary Pharmacol Ther. 1997; 11:215-225.
21. Beck, C.T. Use of meta-analysis as a teaching strategy in nursing research
courses. J Nurs Educ. 1997; 36:87-90.
22. Cranney, A.; Tugwell, P.; Shea, B., Wells, G. Implications of OMERACT
outcomes in arthritis and osteoporosis for Cochrane metaanalysis. J
Rheumatol. 1997; 24:1206-1207.
23. De Vet H.C.W.; De Bie, R.A.; Van der Heijden, G.J.M.G.; Verhagen, A.P.;
Sijpkes, P.; Kipschild, P.G. Systematic reviews on the basis of methodolo-
gical criteria. Physiotherapy. June 1997; 83:284-289.
24. Smith, A.F. An analysis of review articles published in four anaesthesia
journals. Can J Anaesth. 1997; 44:405-409.
criterios de inclusin/ exclusin de estudios, mtodo de sntesis de la eviden-
cia (cualitativa, cuantitativa o meta-anlisis) y una valoracin de su validez
interna y externa. En caso de que la obtencin de datos de efcacia/efecti-
vidad se basen en un nico estudio (ej. un ensayo clnico), se debe exponer
los detalles del diseo y los resultados de ese estudio con un alto grado de
precisin (seleccin de poblacin del estudio, mtodo de asignacin, si se
analiza por intencin de tratar o se trata de una cohorte evaluable, intervalos
de confanza, etc.).
Si no existiesen datos de efectividad disponibles o el horizonte tem-
poral de la fuente de datos es limitado, se recomienda emplear tcnicas de
modelizacin adecuadas. En este caso deben exponerse con alto grado de
precisin la construccin del modelo, las variables y valores utilizados y las
asunciones necesarias. Todas las hiptesis empleadas en estas extrapolacio-
nes deben ser explcitamente formuladas.
Se debe tener en cuenta que los estudios de efcacia y de efectividad no
son sustitutivos entre s, sino complementarios. Cuando hubiere una brecha
signifcativa entre los resultados basados en datos de efectividad y los de
efcacia, debe facilitarse un anlisis pormenorizado de las causas de estas
diferencias (falta de adhesin al tratamiento, variabilidad en la prctica cl-
nica, indicacin a pacientes con un perfl no apropiado, relevancia o no de la
presencia de comorbilidad, etc.).
Orientacin: No se cumplir este elemento si no se detalla con precisin los mtodos y las fuentes de datos utilizados para la
obtencin de los datos de ecacia y/o efectividad.
tem 8. Las medidas de resultado seleccionadas son clnicamente relevan-
tes (medida de efcacia/efectividad fnal)?
La medida de resultado principal debe estar claramente detallada y justifca-
da. Se debe utilizar medidas de resultados que sean relevantes clnicamente
o desde la perspectiva del paciente, y que sean aceptadas por la comunidad
cientfca para el tipo de problema de salud estudiado. Se recomienda que
los resultados estn vinculados a una revisin, ensayo clnico o estudio clni-
co de donde provengan los datos a emplear en el anlisis econmico.
En el caso de los anlisis coste utilidad la medida preferida es el ao de
vida ajustado por calidad (AVAC) debido a su claridad, simplicidad, facili-
dad de empleo y validez.
Orientacin: No se cumplir este elemento si no se detalla y justica que las medidas de resultados seleccionadas son
relevantes (medidas de ecacia/efectividad nal) desde la perspectiva clnica o desde la perspectiva de la Calidad de Vida
Relacionada con la Salud.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Bibliografa
1. Begg, C; Cho, M.; Eastwood, S.; Horton, R.; Moher, D.; Olkin, I., et al.
Improving the quality of reporting of randomized controlled trials. The
CONSORTstatement. JAMA. 1996;276:637-9.
2. Moher, D.; Cook, D.J.; Eastwood, S.; Olkin, I.; Rennie, D.; Stroup, D.F.
Improving the quality of reports of metaanalyses of randomised contro-
lled trials: the QUOROMstatement. Quality of Reporting of Meta-analy-
ses. Lancet 1999;354:1896900.
3. Moher, D.; Cook, D.J.; Eastwood, S.; Olkin, I.; Rennie, D.; Stroup, D.F.,
por el Grupo QUOROM. Mejora de la calidad de los informes de los
meta-anlisis de ensayos clnicos controlados: el acuerdo QUOROM.
Rev Esp Salud Pblica 2000; 74(2):107-118.
4. Altman, D.G.; Bossuyt, P.M.M. Estudios de precisin diagnstica
(STARD) y pronstica (REMARK).Med Clin (Bar) 2005; 125: 49-55.
5. Drummond, M.F.; Richarson, W.F.; OBrien, B.J.; Levine, M., Heyland, D.
for the Evidence-Based Medicine Working Group. Users Guides to the
Medical Literature. XIII: How to use an Article on Economic Analysis of
Clinical Practice. A. Are the Results of the Study Valid? JAMA 1997; 277:
1552-1557.
6. OBrien, B.J.; Heyland, D.; Richardson, W.S.; Levine, M.; Drummond,
M.F. for the Evidence-Based Medicine Working Group. Users Guides
to the Medical Literature. XIII. How to use an Article on Economic
Analysis of Clinical Practice. B. What Are the Results and Will They Help
Me in Caring for My Patients?. JAMA 1997;277: 1802-1806.
7. Hailey, D. Use of a consensus approach to develop a checklist for HTA
reports. Annu Meet Int Soc Technol Assess Health Care Int Soc Technol
Assess Health Care Meet. 2002; 18: abstract no. 125.
8. West, S.; King, V.; Carey, T.S.; Lohr, K.N.; McKoy, N.; Sutton, S.F., et al.
Systems to Rate the Strength of Scientifc Evidence. Evidence Report/Te-
chnology Assessment No. 47 (Prepared by the Research Triangle Institu-
teUniversity of North Carolina Evidence-based Practice Center under
MD: Agency for Healthcare Research and Quality. April 2002.
9. Katrak, P.; Bialocerkowski, A.E.; Massy-Westropp, N.; Kumar, S.; Grim-
mer, K.A. A systematic review of the content of critical appraisal tools.
BMC Medical Research Methodology 2004; 4: 22.
10. Valderas, J.M.; Ferrer, M.; Alonso, J. Instrumentos de medida de calidad
de vida relacionada con la salud y otros resultados percibidos por los
pacientes. Med Clin (Barc). 2005 Dec 1;125 Suppl 1:56-60.
tem 9. Se ajustan los costes recogidos a la perspectiva de anlisis seleccio-
nada?
La perspectiva del estudio determina cules son los recursos a incluir y ex-
cluir del anlisis. As, por ejemplo, los costes incluidos deben ajustarse a la
perspectiva del anlisis seleccionado. Desde la perspectiva del fnanciador
sanitario los costes indirectos, los costes asociados a los cuidados informa-
les o la contratacin de servicios privados de ayuda domiciliaria no tienen
por qu ser incluidos en el anlisis. La consideracin de los datos referidos
a la provisin de servicios sociales por parte del sector pblico depender
de si se considera que el fnanciador son las Administraciones Pblicas o el
anlisis se plantea exclusivamente desde la perspectiva del fnanciador sa-
nitario. Desde la perspectiva de la sociedad todas las partidas mencionadas
son relevantes.
Idealmente, se debern incluir los costes presentes y futuros que sean
consecuencia directa de la intervencin.
En el caso de los costes no sanitarios (cuidados formales, cuidados in-
formales y costes indirectos), se deberan identifcar de manera individuali-
zada y con detalle a travs de encuestas diseadas para tal fn. Por ejemplo,
se debera recoger las horas de cuidado de cuidador principal y secundario
distinguiendo entre horas destinadas a cubrir actividades bsicas de la vida
diaria y actividades instrumentales. En el caso de los costes indirectos habra
que recoger cambios en la participacin laboral y variaciones salariales.
Orientacin: No se cumplir este elemento si los costes recogidos no se ajustan a la perspectiva de anlisis seleccionado.
tem 10. Se describe y justifca el mtodo empleado para la valoracin de
los recursos y estos se detallan de forma adecuada?
Se debe separar las unidades fsicas de los recursos empleados (cantidades
medidas), de los precios o costes unitarios de los mismos.
Los resultados de los costes sanitarios, costes indirectos y costes aso-
ciados a cuidados informales deben expresarse de manera diferenciada, y se
debe prestar atencin a evitar dobles contabilizaciones en el caso de costes
indirectos y costes de cuidados informales.
Se debe describir y justifcar adecuadamente las fuentes y los mtodos
empleados para valorar los recursos empleados, especialmente en el caso de
los costes indirectos y los costes de los cuidados informales.
Los costes unitarios podrn provenir preferentemente de publicacio-
nes ofciales, de la contabilidad analtica de los centros, de precios de merca-
do y, en ltimo trmino de las tarifas aplicadas a los contratos de prestacio-
nes de servicios del SNS y/o de las CCAA.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
Recursos: Costes unitarios, unidades fsicas: Desde un punto de vista
econmico, se denomina recursos a todos los medios (materias primas,
capital fsico y humano) de que se hace uso para producir bienes y
prestar servicios.
Tasa de descuento: La tasa utilizada para descontar o calcular los cos-
tes y benefcios futuros para llegar a su valor actual (proceso de actua-
lizacin).
Defniciones del glosario adaptadas de:
Graf von der Schulenburg, J.M.; Kielhorn, A.; Antoanzas, F. Manual
de Economa de la salud. Primera Edicin en castellano. Madrid. Edit.
GlaxoSmithKline; 2002.
Last, J.M. Dictionary of epidemiology. Forth Edition. New York: Oxford
University Press; 2001.
Se recomienda utilizar la fuente que mejor refeje el coste de oportuni-
dad de los recursos empleados.
Orientacin: No se cumplir este elemento si no se describen y justican las fuentes y metodologa empleada para la valoracin
de los recursos o si no se detallan adecuadamente y de forma diferenciada los recursos empleados, sus cantidades y sus costes
unitarios.
tem 11. Se justifca la eleccin del modelo y este se presenta de forma
transparente y precisa?
Se debe aceptar la utilizacin de modelos para extrapolar los resultados de
los estudios experimentales ms all del horizonte temporal de stos.
El modelo debe confgurarse para el objetivo del estudio, ser til para
informar a los decisores a los que deben asistir y fcilmente comprensible.
En principio, no existe un tipo de modelo superior al resto (modelo de r-
boles de decisiones, modelos de Markov, modelos epidemiolgicos, modelos
de regresin, modelos de eleccin discreta). La eleccin del modelo ms
adecuado depende del problema a estudiar y de la disponibilidad de buenos
datos sobre efcacia/efectividad y utilizacin de recursos.
En todo caso, se deben dar detalles pormenorizados del modelo em-
pleado, justifcando su eleccin frente a otros alternativos, as como presen-
tando de manera transparente los parmetros clave en los cuales se asienta
el mismo.
Orientacin: No se cumplir este elemento si no se justica la eleccin del modelo utilizado de manera transparente y precisa.
tem 12. El horizonte temporal elegido es el ms adecuado para captar
todos los recursos empleados y los efectos sobre la salud atribuibles a la
utilizacin de las tecnologas sanitarias a estudio?
Se recomienda que el horizonte temporal empleado sea aquel que permita
de manera ms adecuada captar todos los efectos diferenciales de los tra-
tamientos sobre la salud y los recursos. Ello puede suponer toda la vida del
paciente, si es necesario.
Cuando el anlisis se basa en un ensayo clnico de corta duracin se
recomienda utilizar modelos para extrapolar los resultados al perodo rele-
vante.
Orientacin: No se cumplir este elemento si el horizonte temporal no es el ms adecuado para captar todos los efectos sobre
consecuencias sobre la salud y recursos utilizados.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
consecuencia de una disminucin de su rendimiento tambin por mo-
tivos de una enfermedad.
Curva de aceptabilidad: Grfco de probabilidad que indica la probabi-
lidad de que una TS sea coste-efectiva, en funcin de los valores asig-
nados a cada unidad adicional de efectos sobre la salud obtenido (Ao
de Vida Ganado, Ao de Vida Ajustado por Calidad, etc.).
Descuento: Mtodo de clculo mediante el cual se pueden comparar
los costes y los benefcios derivados de las intervenciones sanitarias
que tienen lugar en diversos momentos del tiempo. El mtodo consiste
en aplicar un proceso de actualizacin, expresando el valor que en el
momento presente tienen los costes y los benefcios que se producirn
en el futuro.
Efectividad: La medida en que una intervencin especfca, procedi-
miento, rgimen o servicio cuando es aplicada en circunstancias reales,
tiene por efecto lo que se espera que haga para una poblacin especf-
ca. La medida en que una intervencin alcanza sus objetivos.
Efcacia: La medida en que una intervencin especfca, procedimiento,
rgimen o servicio produce un resultado benefcioso cuando es aplica-
da en circunstancias ideales.
Efciencia: Los resultados fnales alcanzados en relacin al esfuerzo
empleado en trminos de dinero, recursos y tiempo. La medida en que
los recursos empleados para proveer de una intervencin, procedi-
miento o servicio determinado, de conocida efcacia y efectividad, son
minimizados.
Equidad: Justicia en la distribucin de recursos entre distintos indivi-
duos o grupos, de acuerdo con un juicio normativo que seala la dimen-
sin o concepto relevante desde donde se ha de plantear el anlisis.
Modelizacin: La modelizacin implica la simplifcacin de la realidad
hasta un grado tal que describa las principales consecuencias y com-
plicaciones que se derivan de las distintas opciones existentes para la
toma de decisiones. Se emplea en anlisis econmicos, con el fn de
obtener resultados que no han sido cuantifcados o para hacer extrapo-
laciones a partir de los ya obtenidos.
Modelos de Markov: Es un tipo de modelizacin cuantitativa que in-
cluye un grupo especfco de estados exhaustivos y mutuamente exclu-
yentes, para el que hay probabilidades concretas de transicin de un
estado a otro (y para no cambiar de estado).
Perspectiva: Se entiende por perspectiva el punto de vista desde el que se
considera o estudia un asunto. En las evaluaciones econmicas se puede
adoptar el punto de vista del paciente, del hospital o la clnica (provee-
dor), de la entidad aseguradora o del sistema de atencin sanitaria (pers-
pectiva del fnanciador), o el de la sociedad (perspectiva social).
tem 13. Se descuentan los costes y efectos sobre la salud que se producen
en el futuro?
Se debe descontar los costes y efectos que se producen en el futuro. Se re-
comienda la adopcin de una tasa de descuento del 3% para los resultados
bsicos (costes y efectos) y la utilizacin del 0% y del 5% en el anlisis de
sensibilidad para permitir la comparabilidad con otros estudios.
Cuando sea posible, se debern presentar los fujos de costes y efectos
sobre la salud en cada perodo de tiempo.
Orientacin: No se cumplir este elemento si no se descuentan los costes y efectos sobre la salud que se producen en el futuro.
Se recomienda realizar un anlisis de sensibilidad para tratar la incertidum-
bre y la variabilidad y valorar de forma indirecta la robustez de los resulta-
dos obtenidos en el caso base.
Se debe aportar detalles del mtodo de sensibilidad empleado (anlisis
univariante, multivariante, probabilstico) y justifcar la eleccin de variables
o parmetros clave del estudio en el anlisis de sensibilidad, y el intervalo
en el cual se varan.
Se recomienda, cuando sea posible, la realizacin de un anlisis de sen-
sibilidad probabilstica.
Orientacin: No se cumplir este elemento si no se realiza un anlisis de sensibilidad o no se justican sus parmetros claves.
tem 15. Se presenta el anlisis de equidad de forma transparente y des-
agregada, en caso de que fuera requerido por el decisor?
En principio, no se considera preceptivo ningn criterio concreto de equidad
en el estudio de evaluacin econmica, salvo que ste sea requerido expre-
samente por el decisor. En tal caso, el anlisis de equidad debe presentarse
de manera desagregada y transparente.
Para evitar posibles confusiones, el anlisis de equidad debe presen-
tarse de manera separada e independiente del anlisis de evaluacin eco-
nmica.
Orientacin: No se cumplir este elemento si no se presenta el anlisis de equidad de forma transparente y desagregada del
anlisis principal, en caso de que ste fuera requerido expresamente por el decisor.
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
C
M
Y
1
B
4
1
C
4
1
M
4
1
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
C
M
C
Y
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
M
Y
C
M
Y
C
M
Y
B
C
M
Y
C
M
Y
2
B
4
2
C
4
2
M
4
2
Y
4
7
0
%
7
0
%
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
7
0
%
C
M
Y
B
C
M
Y
S
L
U
R
C
M
Y
B
C
M
Y
1
2
1
2
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
P
r
i
n
e
c
t

4
G
S

D
i
p
c
o

2
.
1

F
o
r
m
a
t

1
0
2
2
0
0
4

H
e
i
d
e
l
b
e
r
g
e
r

D
r
u
c
k
m
a
s
c
h
i
n
e
n

A
G
1
2
1
2
1
2
1
2
1
2
1
2
tem 16. Permite el estudio extraer conclusiones sobre la transferibilidad o
extrapolacin de sus resultados a otros contextos?
Los analistas deben ser prudentes acerca de la generalizacin de sus resul-
tados. Los resultados obtenidos de un anlisis de sensibilidad correctamente
realizado deben desempear un importante papel sobre la transferibilidad
de los resultados obtenidos, as como permitir al decisor evaluar la solidez
de las conclusiones del estudio. La transparencia en el anlisis y la clara dis-
cusin de las limitaciones o puntos dbiles del mismo pueden ayudar a los
decisores a determinar el grado de transferibilidad de los resultados de una
situacin a otra.
Orientacin: No se cumplir este elemento si no se extraen conclusiones del estudio sobre la transferibilidad o extrapolacin de
sus resultados a otros contextos de los indicados o supuestos en el anlisis.
tem 17. Se presentan los resultados mediante un anlisis incremental y a su
vez de forma desagregada (costes y resultados de las alternativas)?
Los resultados se deben presentar mediante un anlisis incremental (ej. cos-
te incremental por unidad de resultado obtenida), comparando las alterna-
tivas relevantes y separando las perspectivas del anlisis, en caso de haber
utilizado la perspectiva social y la del fnanciador.
Se recomienda presentar los principales resultados (costes y efectos
sobre la salud) tanto de manera agregada (Razn Coste-Efectividad Incre-
mental) como desagregada.
En caso de realizar un anlisis probabilstico, se recomienda incluir
como parte de los resultados un anlisis de dispersin (plano coste-efectivi-
dad) y la curva de aceptabilidad.
Se recomienda la mxima transparencia en los datos y supuestos em-
pleados en los anlisis con el fn de que cualquier analista pueda reproducir
los resultados.
Para facilitar al responsable la toma de decisiones, se recomienda que
en las EETS se incorpore un anlisis de impacto presupuestario.
Orientacin: No se cumplir este elemento si no se presentan los resultados mediante un anlisis incremental y a su vez de
forma desagregada (costes y resultados de las alternativas).
Glosario
Anlisis Coste Benefcio: En los anlisis de coste-benefcio, tanto los
costes en que se incurre como los benefcios resultantes se expresan en
unidades monetarias y se calcula la diferencia entre la ganancia (efecto
sobre el bienestar) y la prdida neta o coste.
Anlisis Coste Efectividad: Mtodo de comparacin de diferentes TS
en el cual sus costes y sus consecuencias son variables. Los resultados
obtenidos con diferentes tratamientos se miden en la misma unidad
monetaria (en el caso de los costes) y natural (en el caso de los efectos
sobre la salud).
Anlisis Coste Utilidad: Tipo especial de anlisis del coste-efectividad
en el cual se calculan los costes por unidad de utilidad (unidad que est
relacionada con el bienestar de la persona). La unidad de utilidad que
se emplea ms frecuentemente es la denominada aos de vida ajusta-
dos por su calidad (AVAC).
Anlisis de impacto presupuestario: El impacto fnanciero de la im-
plantacin de una TS en los presupuestos de un gobierno o agencia.
Anlisis de Minimizacin de Costes: Mtodo mediante el cual se com-
paran los costes derivados de formas alternativas de TS que se supone
tienen un efecto equivalente. El objetivo estriba en determinar cul es
la forma menos costosa de lograr un determinado resultado.
Anlisis de sensibilidad: Es la tcnica analtica que se emplea en eco-
noma y para la toma de decisiones, mediante la cual se determina el
grado de incertidumbre comprobando si al variar de forma verosmil
los valores de las principales variables se alteran los resultados del an-
lisis.
Anlisis incremental: Es el anlisis de los costes y los resultados cl-
nicos adicionales que se derivan de diferentes TS. El cociente coste-
efectividad incremental se obtiene dividiendo la diferencia de costes
entre la correspondiente a los resultados.
Costes directos: Son los originados con motivo de la utilizacin de
bienes, servicios y otros recursos en una intervencin sanitarias o para
el tratamiento de efectos secundarios u otros inconvenientes. Pueden
ser de ndole sanitaria (medicamentos, hospitalizaciones, consultas a
especialistas, dispositivos, pruebas diagnsticas, programas de Salud
Pblica, etc.) o de otra ndole (cuidados a personas que padecen una
discapacidad por parte de profesionales sociales-cuidados formales o
por parte de amigos o familiares-cuidados informales).
Costes indirectos: Se referen a la prdida de produccin acaecida a
consecuencia de la ausencia de un trabajador de su puesto de trabajo
por un problema de salud, por su fallecimiento prematuro, o bien como
tem 18. Se discute de manera crtica las principales limitaciones o puntos
dbiles del anlisis?
Los autores deben plantear de manera clara y crtica aquellos aspectos a me-
jorar en caso de que se pudiera repetir el anlisis en un futuro, por ejemplo
con respecto a las limitaciones de las fuentes de informacin o el alcance de
la transferibilidad o validez externa de los resultados obtenidos. Mientras en
el resto de la estructura del anlisis, se debe mantener una posicin estric-
tamente objetiva y no aportar elementos valorativos o subjetivos (fuentes
de datos, mtodos, resultados), el apartado de discusin y limitaciones del
estudio queda reservado para incluir los elementos subjetivos u opinables
que deseen expresar los autores de la EETS.
Orientacin: No se cumplir este elemento si no se realiza un anlisis crtico de las fuentes de informacin, mtodos y
resultados obtenidos del anlisis.
tem 19. Las conclusiones del estudio responden a la pregunta de investiga-
cin, y se desprenden de los resultados obtenidos?
Los estudios de evaluacin econmica de tecnologas sanitarias deben esta-
blecer conclusiones claras, que hagan referencia a la pregunta planteada.
Una vez planteada la discusin y las limitaciones potenciales del traba-
jo, los autores deben exponer las principales conclusiones de su trabajo. Las
mismas parten de la pregunta de investigacin planteada, se sustenta en los
datos y mtodos empleados y se extraen de los resultados del anlisis.
Si las conclusiones escapan a los resultados obtenidos en el anlisis y
buscan causas externas, ajenas al trabajo de evaluacin realizado, de justif-
cacin de resultados, stos no deberan ser tomados en consideracin.
Orientacin: No se cumplir este elemento si las conclusiones del estudio no responden a la pregunta de investigacin y se
desprenden directamente de los resultados obtenidos, considerando las posibles limitaciones del anlisis.
Dominio 7. Conicto de inters
La evaluacin econmica debe incluir un apartado en el que especifque la
fuente de fnanciacin del estudio y en caso de que no coincidiera, quin lo
solicit.
Orientacin: No se cumplir este elemento si no se describe la fuente de nanciacin del estudio.
tem 21. Se informa sobre la posible existencia de conficto de inters?
inters secundario, sea este un benefcio fnanciero, de prestigio y promocin
Una declaracin de conficto de inters, que debe hacer referencia a
aquellos que han participado en la elaboracin, es necesaria incluso para
Orientacin: No se cumplir este elemento si el estudio no hace una referencia explcita a la existencia o ausencia de conicto
de inters.
tem 18. Se discute de manera crtica las principales limitaciones o puntos
dbiles del anlisis?
Los autores deben plantear de manera clara y crtica aquellos aspectos a me-
jorar en caso de que se pudiera repetir el anlisis en un futuro, por ejemplo
con respecto a las limitaciones de las fuentes de informacin o el alcance de
la transferibilidad o validez externa de los resultados obtenidos. Mientras en
el resto de la estructura del anlisis, se debe mantener una posicin estric-
tamente objetiva y no aportar elementos valorativos o subjetivos (fuentes
de datos, mtodos, resultados), el apartado de discusin y limitaciones del
estudio queda reservado para incluir los elementos subjetivos u opinables
que deseen expresar los autores de la EETS.
Orientacin: No se cumplir este elemento si no se realiza un anlisis crtico de las fuentes de informacin, mtodos y
resultados obtenidos del anlisis.
tem 19. Las conclusiones del estudio responden a la pregunta de investiga-
cin, y se desprenden de los resultados obtenidos?
Los estudios de evaluacin econmica de tecnologas sanitarias deben esta-
blecer conclusiones claras, que hagan referencia a la pregunta planteada.
Una vez planteada la discusin y las limitaciones potenciales del traba-
jo, los autores deben exponer las principales conclusiones de su trabajo. Las
mismas parten de la pregunta de investigacin planteada, se sustenta en los
datos y mtodos empleados y se extraen de los resultados del anlisis.
Si las conclusiones escapan a los resultados obtenidos en el anlisis y
buscan causas externas, ajenas al trabajo de evaluacin realizado, de justif-
cacin de resultados, stos no deberan ser tomados en consideracin.
Orientacin: No se cumplir este elemento si las conclusiones del estudio no responden a la pregunta de investigacin y se
desprenden directamente de los resultados obtenidos, considerando las posibles limitaciones del anlisis.
solicit.
de inters.
prestar servicios.
lizacin).
tem 16. Permite el estudio extraer conclusiones sobre la transferibilidad o
extrapolacin de sus resultados a otros contextos?
Los analistas deben ser prudentes acerca de la generalizacin de sus resul-
tados. Los resultados obtenidos de un anlisis de sensibilidad correctamente
realizado deben desempear un importante papel sobre la transferibilidad
de los resultados obtenidos, as como permitir al decisor evaluar la solidez
de las conclusiones del estudio. La transparencia en el anlisis y la clara dis-
cusin de las limitaciones o puntos dbiles del mismo pueden ayudar a los
decisores a determinar el grado de transferibilidad de los resultados de una
situacin a otra.
Orientacin: No se cumplir este elemento si no se extraen conclusiones del estudio sobre la transferibilidad o extrapolacin de
sus resultados a otros contextos de los indicados o supuestos en el anlisis.
tem 17. Se presentan los resultados mediante un anlisis incremental y a su
vez de forma desagregada (costes y resultados de las alternativas)?
Los resultados se deben presentar mediante un anlisis incremental (ej. cos-
te incremental por unidad de resultado obtenida), comparando las alterna-
tivas relevantes y separando las perspectivas del anlisis, en caso de haber
utilizado la perspectiva social y la del fnanciador.
Se recomienda presentar los principales resultados (costes y efectos
sobre la salud) tanto de manera agregada (Razn Coste-Efectividad Incre-
mental) como desagregada.
En caso de realizar un anlisis probabilstico, se recomienda incluir
como parte de los resultados un anlisis de dispersin (plano coste-efectivi-
dad) y la curva de aceptabilidad.
Se recomienda la mxima transparencia en los datos y supuestos em-
pleados en los anlisis con el fn de que cualquier analista pueda reproducir
los resultados.
Para facilitar al responsable la toma de decisiones, se recomienda que
en las EETS se incorpore un anlisis de impacto presupuestario.
Orientacin: No se cumplir este elemento si no se presentan los resultados mediante un anlisis incremental y a su vez de
forma desagregada (costes y resultados de las alternativas).
Glosario
sobre la salud).
lisis.
en el futuro.
minimizados.
Glosario
sobre la salud).
lisis.
en el futuro.
minimizados.
tem 13. Se descuentan los costes y efectos sobre la salud que se producen
en el futuro?
Se debe descontar los costes y efectos que se producen en el futuro. Se re-
comienda la adopcin de una tasa de descuento del 3% para los resultados
bsicos (costes y efectos) y la utilizacin del 0% y del 5% en el anlisis de
sensibilidad para permitir la comparabilidad con otros estudios.
Cuando sea posible, se debern presentar los fujos de costes y efectos
sobre la salud en cada perodo de tiempo.
Orientacin: No se cumplir este elemento si no se descuentan los costes y efectos sobre la salud que se producen en el futuro.
Se recomienda realizar un anlisis de sensibilidad para tratar la incertidum-
bre y la variabilidad y valorar de forma indirecta la robustez de los resulta-
dos obtenidos en el caso base.
Se debe aportar detalles del mtodo de sensibilidad empleado (anlisis
univariante, multivariante, probabilstico) y justifcar la eleccin de variables
o parmetros clave del estudio en el anlisis de sensibilidad, y el intervalo
en el cual se varan.
Se recomienda, cuando sea posible, la realizacin de un anlisis de sen-
sibilidad probabilstica.
Orientacin: No se cumplir este elemento si no se realiza un anlisis de sensibilidad o no se justican sus parmetros claves.
tem 15. Se presenta el anlisis de equidad de forma transparente y des-
agregada, en caso de que fuera requerido por el decisor?
En principio, no se considera preceptivo ningn criterio concreto de equidad
en el estudio de evaluacin econmica, salvo que ste sea requerido expre-
samente por el decisor. En tal caso, el anlisis de equidad debe presentarse
de manera desagregada y transparente.
Para evitar posibles confusiones, el anlisis de equidad debe presen-
tarse de manera separada e independiente del anlisis de evaluacin eco-
nmica.
Orientacin: No se cumplir este elemento si no se presenta el anlisis de equidad de forma transparente y desagregada del
anlisis principal, en caso de que ste fuera requerido expresamente por el decisor.
solicit.
de inters.
prestar servicios.
lizacin).
Se recomienda utilizar la fuente que mejor refeje el coste de oportuni-
dad de los recursos empleados.
Orientacin: No se cumplir este elemento si no se describen y justican las fuentes y metodologa empleada para la valoracin
de los recursos o si no se detallan adecuadamente y de forma diferenciada los recursos empleados, sus cantidades y sus costes
unitarios.
tem 11. Se justifca la eleccin del modelo y este se presenta de forma
transparente y precisa?
Se debe aceptar la utilizacin de modelos para extrapolar los resultados de
los estudios experimentales ms all del horizonte temporal de stos.
El modelo debe confgurarse para el objetivo del estudio, ser til para
informar a los decisores a los que deben asistir y fcilmente comprensible.
En principio, no existe un tipo de modelo superior al resto (modelo de r-
boles de decisiones, modelos de Markov, modelos epidemiolgicos, modelos
de regresin, modelos de eleccin discreta). La eleccin del modelo ms
adecuado depende del problema a estudiar y de la disponibilidad de buenos
datos sobre efcacia/efectividad y utilizacin de recursos.
En todo caso, se deben dar detalles pormenorizados del modelo em-
pleado, justifcando su eleccin frente a otros alternativos, as como presen-
tando de manera transparente los parmetros clave en los cuales se asienta
el mismo.
Orientacin: No se cumplir este elemento si no se justica la eleccin del modelo utilizado de manera transparente y precisa.
tem 12. El horizonte temporal elegido es el ms adecuado para captar
todos los recursos empleados y los efectos sobre la salud atribuibles a la
utilizacin de las tecnologas sanitarias a estudio?
Se recomienda que el horizonte temporal empleado sea aquel que permita
de manera ms adecuada captar todos los efectos diferenciales de los tra-
tamientos sobre la salud y los recursos. Ello puede suponer toda la vida del
paciente, si es necesario.
Cuando el anlisis se basa en un ensayo clnico de corta duracin se
recomienda utilizar modelos para extrapolar los resultados al perodo rele-
vante.
Orientacin: No se cumplir este elemento si el horizonte temporal no es el ms adecuado para captar todos los efectos sobre
consecuencias sobre la salud y recursos utilizados.
Bibliografa
1. Begg, C; Cho, M.; Eastwood, S.; Horton, R.; Moher, D.; Olkin, I., et al.
Improving the quality of reporting of randomized controlled trials. The
CONSORTstatement. JAMA. 1996;276:637-9.
2. Moher, D.; Cook, D.J.; Eastwood, S.; Olkin, I.; Rennie, D.; Stroup, D.F.
Improving the quality of reports of metaanalyses of randomised contro-
lled trials: the QUOROMstatement. Quality of Reporting of Meta-analy-
ses. Lancet 1999;354:1896900.
3. Moher, D.; Cook, D.J.; Eastwood, S.; Olkin, I.; Rennie, D.; Stroup, D.F.,
por el Grupo QUOROM. Mejora de la calidad de los informes de los
meta-anlisis de ensayos clnicos controlados: el acuerdo QUOROM.
Rev Esp Salud Pblica 2000; 74(2):107-118.
4. Altman, D.G.; Bossuyt, P.M.M. Estudios de precisin diagnstica
(STARD) y pronstica (REMARK).Med Clin (Bar) 2005; 125: 49-55.
5. Drummond, M.F.; Richarson, W.F.; OBrien, B.J.; Levine, M., Heyland, D.
for the Evidence-Based Medicine Working Group. Users Guides to the
Medical Literature. XIII: How to use an Article on Economic Analysis of
Clinical Practice. A. Are the Results of the Study Valid? JAMA 1997; 277:
1552-1557.
6. OBrien, B.J.; Heyland, D.; Richardson, W.S.; Levine, M.; Drummond,
M.F. for the Evidence-Based Medicine Working Group. Users Guides
to the Medical Literature. XIII. How to use an Article on Economic
Analysis of Clinical Practice. B. What Are the Results and Will They Help
Me in Caring for My Patients?. JAMA 1997;277: 1802-1806.
7. Hailey, D. Use of a consensus approach to develop a checklist for HTA
reports. Annu Meet Int Soc Technol Assess Health Care Int Soc Technol
Assess Health Care Meet. 2002; 18: abstract no. 125.
8. West, S.; King, V.; Carey, T.S.; Lohr, K.N.; McKoy, N.; Sutton, S.F., et al.
Systems to Rate the Strength of Scientifc Evidence. Evidence Report/Te-
chnology Assessment No. 47 (Prepared by the Research Triangle Institu-
teUniversity of North Carolina Evidence-based Practice Center under
MD: Agency for Healthcare Research and Quality. April 2002.
9. Katrak, P.; Bialocerkowski, A.E.; Massy-Westropp, N.; Kumar, S.; Grim-
mer, K.A. A systematic review of the content of critical appraisal tools.
BMC Medical Research Methodology 2004; 4: 22.
10. Valderas, J.M.; Ferrer, M.; Alonso, J. Instrumentos de medida de calidad
de vida relacionada con la salud y otros resultados percibidos por los
pacientes. Med Clin (Barc). 2005 Dec 1;125 Suppl 1:56-60.
tem 9. Se ajustan los costes recogidos a la perspectiva de anlisis seleccio-
nada?
La perspectiva del estudio determina cules son los recursos a incluir y ex-
cluir del anlisis. As, por ejemplo, los costes incluidos deben ajustarse a la
perspectiva del anlisis seleccionado. Desde la perspectiva del fnanciador
sanitario los costes indirectos, los costes asociados a los cuidados informa-
les o la contratacin de servicios privados de ayuda domiciliaria no tienen
por qu ser incluidos en el anlisis. La consideracin de los datos referidos
a la provisin de servicios sociales por parte del sector pblico depender
de si se considera que el fnanciador son las Administraciones Pblicas o el
anlisis se plantea exclusivamente desde la perspectiva del fnanciador sa-
nitario. Desde la perspectiva de la sociedad todas las partidas mencionadas
son relevantes.
Idealmente, se debern incluir los costes presentes y futuros que sean
consecuencia directa de la intervencin.
En el caso de los costes no sanitarios (cuidados formales, cuidados in-
formales y costes indirectos), se deberan identifcar de manera individuali-
zada y con detalle a travs de encuestas diseadas para tal fn. Por ejemplo,
se debera recoger las horas de cuidado de cuidador principal y secundario
distinguiendo entre horas destinadas a cubrir actividades bsicas de la vida
diaria y actividades instrumentales. En el caso de los costes indirectos habra
que recoger cambios en la participacin laboral y variaciones salariales.
Orientacin: No se cumplir este elemento si los costes recogidos no se ajustan a la perspectiva de anlisis seleccionado.
tem 10. Se describe y justifca el mtodo empleado para la valoracin de
los recursos y estos se detallan de forma adecuada?
Se debe separar las unidades fsicas de los recursos empleados (cantidades
medidas), de los precios o costes unitarios de los mismos.
Los resultados de los costes sanitarios, costes indirectos y costes aso-
ciados a cuidados informales deben expresarse de manera diferenciada, y se
debe prestar atencin a evitar dobles contabilizaciones en el caso de costes
indirectos y costes de cuidados informales.
Se debe describir y justifcar adecuadamente las fuentes y los mtodos
empleados para valorar los recursos empleados, especialmente en el caso de
los costes indirectos y los costes de los cuidados informales.
Los costes unitarios podrn provenir preferentemente de publicacio-
nes ofciales, de la contabilidad analtica de los centros, de precios de merca-
do y, en ltimo trmino de las tarifas aplicadas a los contratos de prestacio-
nes de servicios del SNS y/o de las CCAA.
Lancet. 1999; 354:1896-1900.
lines. BMJ. 2001; 323:334-336.
283:2008-2012.
2006).
Group. JAMA. 1997 Apr 16;277(15):1232-7.
Group. JAMA. 1994; 272:1367-1371.
Rheumatol. 1997; 24:1206-1207.
criterios de inclusin/ exclusin de estudios, mtodo de sntesis de la eviden-
cia (cualitativa, cuantitativa o meta-anlisis) y una valoracin de su validez
interna y externa. En caso de que la obtencin de datos de efcacia/efecti-
vidad se basen en un nico estudio (ej. un ensayo clnico), se debe exponer
los detalles del diseo y los resultados de ese estudio con un alto grado de
precisin (seleccin de poblacin del estudio, mtodo de asignacin, si se
analiza por intencin de tratar o se trata de una cohorte evaluable, intervalos
de confanza, etc.).
Si no existiesen datos de efectividad disponibles o el horizonte tem-
poral de la fuente de datos es limitado, se recomienda emplear tcnicas de
modelizacin adecuadas. En este caso deben exponerse con alto grado de
precisin la construccin del modelo, las variables y valores utilizados y las
asunciones necesarias. Todas las hiptesis empleadas en estas extrapolacio-
nes deben ser explcitamente formuladas.
Se debe tener en cuenta que los estudios de efcacia y de efectividad no
son sustitutivos entre s, sino complementarios. Cuando hubiere una brecha
signifcativa entre los resultados basados en datos de efectividad y los de
efcacia, debe facilitarse un anlisis pormenorizado de las causas de estas
diferencias (falta de adhesin al tratamiento, variabilidad en la prctica cl-
nica, indicacin a pacientes con un perfl no apropiado, relevancia o no de la
presencia de comorbilidad, etc.).
Orientacin: No se cumplir este elemento si no se detalla con precisin los mtodos y las fuentes de datos utilizados para la
obtencin de los datos de ecacia y/o efectividad.
tem 8. Las medidas de resultado seleccionadas son clnicamente relevan-
tes (medida de efcacia/efectividad fnal)?
La medida de resultado principal debe estar claramente detallada y justifca-
da. Se debe utilizar medidas de resultados que sean relevantes clnicamente
o desde la perspectiva del paciente, y que sean aceptadas por la comunidad
cientfca para el tipo de problema de salud estudiado. Se recomienda que
los resultados estn vinculados a una revisin, ensayo clnico o estudio clni-
co de donde provengan los datos a emplear en el anlisis econmico.
En el caso de los anlisis coste utilidad la medida preferida es el ao de
vida ajustado por calidad (AVAC) debido a su claridad, simplicidad, facili-
dad de empleo y validez.
Orientacin: No se cumplir este elemento si no se detalla y justica que las medidas de resultados seleccionadas son
relevantes (medidas de ecacia/efectividad nal) desde la perspectiva clnica o desde la perspectiva de la Calidad de Vida
Relacionada con la Salud.
tem 6. Se justifca de forma razonable el tipo de anlisis elegido en rela-
cin a la cuestin planteada?
En principio, las cuatro modalidades de anlisis (Anlisis de Minimizacin
de Costes, Anlisis Coste Efectividad, Anlisis Coste Utilidad y Anlisis
Coste Benefcio) son tcnicas aceptables de cara a una EETS. Los tipos de
anlisis, no deben considerarse como opciones excluyentes, sino como for-
mas complementarias de presentar los resultados de un mismo estudio. No
obstante, se debe justifcar claramente el tipo de evaluacin elegido en rela-
cin con la cuestin planteada, por ejemplo, segn los siguientes criterios:
Se podr aplicar el anlisis minimizacin de costes (AMC) cuando se
encuentre evidencia de que los efectos sobre la salud y sobre el bienestar
entre las tecnologas sanitarias examinadas sean bsicamente idnticos.
Se recomienda realizar un anlisis coste-efectividad (ACE) cuando
exista una medida de efectividad clnicamente relevante (mejora de la salud
y del bienestar) y no se disponga de informacin sufciente para realizar un
anlisis coste-utilidad.
Se recomienda que el anlisis coste-utilidad (ACU) sea la modalidad
adoptada si la prolongacin o mejora de la Esperanza de Vida Ajustada por
Calidad (fruto de una mejora en la esperanza, en la calidad de vida relacio-
nada con la salud o en ambas) es el resultado ms relevante para el decisor.
El anlisis coste-benefcio (ACB) es una tcnica aceptable siempre que
incluya una valoracin monetaria apropiada de los efectos sobre la salud de
las tecnologas sanitarias evaluadas.
En algunos casos podra considerarse la posibilidad de efectuar la eva-
luacin utilizando ms de un tipo de anlisis si las diferentes herramientas
revelan informacin complementaria entre s.
Orientacin: No se cumplir este elemento si no se justica de forma razonable el tipo de anlisis elegido en relacin a la
pregunta planteada.
tem 7. Se detallan con precisin los mtodos y las fuentes de datos utiliza-
dos para la obtencin de datos de efcacia y/o efectividad?
Como base de la evaluacin es recomendable una revisin sistemtica de la
evidencia disponible sobre la efcacia y la efectividad de la tecnologa sani-
taria. En la evaluacin han de exponerse con precisin las caractersticas de
la sntesis de la evidencia realizada: fuentes de datos, estrategia de bsqueda,
Lancet. 1999; 354:1896-1900.
lines. BMJ. 2001; 323:334-336.
283:2008-2012.
2006).
Group. JAMA. 1997 Apr 16;277(15):1232-7.
Group. JAMA. 1994; 272:1367-1371.
Rheumatol. 1997; 24:1206-1207.
P.V.P.: 6 euros
de instrumentos
de las Agencias
de Evaluacin de
www.msc.es
www.madrid.org/lainentralgo
M
I
N
I
S
T
E
R
I
O
D
E
S
A
N
I
D
A
D
Y
C
O
N
S
U
M
O
I
n
s
t
r
u
m
e
n
t
o
s
p
a
r
a
l
a
e
v
a
l
u
a
c
i
n
d
e
p
r
o
d
u
c
t
o
s
d
e
l
a
s
A
g
e
n
c
i
a
s
E
T
S

286 - Uets 2006 01

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

286 - Uets 2006 01

Încărcat de

Drepturi de autor:

Formate disponibile

P.V.P.

D3. Criterios de inclusin y exclusin 19 ; 3

INSTRUMENTOS PARA LA EVALUACIN DE PRODUCTOS DE LAS AGENCIAS ETS 65

D3. Criterios de inclusin y exclusin 19 ; 3

90 INFORMES, ESTUDIOS E INVESTIGACIN

D3. Criterios de inclusin y exclusin 19 ; 3

INSTRUMENTOS PARA LA EVALUACIN DE PRODUCTOS DE LAS AGENCIAS ETS 65

S-ar putea să vă placă și