Atencin Basada en el Paciente:

La validacin e implementacion de un
cuestionario de satisfaccin.
Dr. Ezequiel Garca Elorrio
Ege@cemic.edu.ar

I Jornada de la Sociedad Argentina de

Calidad en Salud
27/9/02

Objetivos de la
Presentacin
Exponer la poltica de Calidad del CEMIC.
Discutir la importacia de validacin
adecudada de cuestionarios de satisfaccin.
Describir los procesos generales que llevan
desde la ideacin de un instrumento hasta
su implementacin a travs de un caso
prctico.
Comentar cuales son los escollos habituales
en estos procesos.
27/9/02

I Jornada de SACAS

Poltica de calidad del

CEMIC

Poltica para la calidad

Comit de calidad
Comit de Efectividad Clnica
Crculos de Calidad
Acreditacin y certificacin por normas ISO.
Acreditacin institucional.
Implementacin de procesos de mejoramiento de la
calidad en mbitos mdicos y de gestin.

Desarrollo de instrumentos para la valoracin

de las preferencias de los pacientes.
Desarrollo de actividades que favorezcan la
investigacin en servicios de salud.
27/9/02

I Jornada de SACAS

Porque validar un
cuestionario.
La adaptacin e implementacin de
encuestas sin cumplir con las etapas
necesarias, puede llevar a la generacin
de conclusiones errneas.
El PEC promueve el desarrollo de
cuestionarios con criterios adecuados
de
validacin
y
aplicacin
de
cuestionarios de satisfaccin y de
calidad de vida.
27/9/02

I Jornada de SACAS

Porqu medir
satisfaccin?

1- Los pacientes pueden tener un rol primordial

en la manera en la cual los cuidados mdicos son
implementados (programas de Managed care
Gerenciamiento medico- )
2- Los pacientes contribuyen en definir que es
calidad de atencin ms all de los aspectos
tcnicos de los cuidados. Influidos por los
aspectos culturales del medio.
3- Las cualidades de relacin interpersonal de
los mdicos contribuyen a los mejores resultados
de la atencin mdica.

27/9/02

I Jornada de SACAS

Porqu medir
satisfaccin? II
4- Se cree que la satisfaccin produce un
efecto placebo que puede contribuir hasta en
un 30% del beneficio de los cuidados mdicos.
5- Con el desarrollo de la corriente que ha
transformado a los sistemas de salud en
proveedores de servicios a sus miembros
dentro de un medio altamente competitivo y
con multiples ofertas, la satisfaccin ha
tomado un rol fundamental en su desempeo.

27/9/02

I Jornada de SACAS

Mitos sobre los

consumidores

La mayora de las personas asume que recibir

cuidados de alta calidad
La gente que cree que la mayora de los centros
de atencin son similares
Estudios muestran que los pacientes no prestan
atencin a los datos publicados sobre calidad
Las personas toman decisiones basndose en el
precio.

27/9/02

I Jornada de SACAS

De que se preocupa la
gente?
La mayora de la gente cree que el la calidad de atencin es
buena, pero que hay mucha variabilidad.

La gente esta especialmente preocupada por el acceso y la

coordinacin de los cuidados.
Adems de la morbilidad y la mortalidad, la gente esta muy
preocupada por otros aspectos del cuidado de la salud.
La gente evala con cuidado aquellos reportes de calidad que
son distribuidos.
Calidad: Cumplir con las necesidades que los pacientes esperan.

27/9/02

I Jornada de SACAS

Cmo se mide
satisfaccin?
Quejas.
Motivos de baja.
Call centers.
Entrevistas personalizadas.
Grupos focales.
Encuestas estructuradas
Cuantitativas
Cualitativas
27/9/02

I Jornada de SACAS

Caractersticas Del
Proyecto

Objetivo: desarrollo y validacin de un cuestionario de

satisfaccion con la atencin ambulatoria. Validar con el
mayor parecido posible el MMSS del HEDIS 3.0.
Estudio bicentrico: CEMIC y plan de salud del Hospital
Italiano de Buenos Aires.
Llevado a cabo entre septiembre del 1998 y abril de
1999.
Falta de experiencia previa en cuanto a la
implementacion de proyectos en los sistemas de salud
involucrados.
Los costos operativos del programa fueron cubiertos por
los investigadores. Apoyo institucional indirecto a travs
del staff.
Limitaciones de implementacin frente a lo ideal.

27/9/02

I Jornada de SACAS

10

Etapas en La Generacin y
Validacin De Un
Instrumento

Determinacin de reas de inters a

evaluar.
Generacin de items y dominios.
Definicin de escala de respuesta.
Definicin de mtodo de administracin.
Estudio piloto.
Estudio para determinar confiabilidad y
validez.
Anlisis de los resultados y confeccion del
instrumento definitivo.
27/9/02

I Jornada de SACAS

11

Desarrollo De Items

Basado en las reas de inters de los pacientes.

Grupos focales y entrevistas personales.
Entrevistas con mdicos y personal paramedico.
Estudio piloto para valorar el inters de los
pacientes por los items seleccionados.
Generacin de dominios en base a los items
elegidos. (Ver tabla N 1.)
Instrumento bsico utilizado: MMSS HEDIS 3.0.

27/9/02

I Jornada de SACAS

12

Instrumentos de
referencia
Member satisfaction survey (MMS) HEDIS 3.0 NCQA 1998
PSQ III (Davies AR, Ware J E) 1987
Ambulatory Patients satisfaction questionnaire. The
Picker Institute 1995
CAHPS Questionnaire (RAND, Harvard Medical School
and Research Triangle institute AHCPR- ) 1997
The consumer satisfaction Survey (Ware- Quality Metric
inc) 1998
Visit Satisfaction questionnaire VSQ- (Ware JE RAND
corporation) 1988
ABIM PSQ (Hulka et al) 1970

27/9/02

I Jornada de SACAS

13

Adaptacin Transcultural
Habitual por el escaso desarrollo original de
cuestionarios de salud en idioma castellano.
Crtica para la acreditacion de resultados
vlidos.
Traduccion y contratraduccion.
Es importante definir correctamente los
trminos involucrados en los items.
Traduccion
por
el
autor
principal
y
contraduccion realizada por traductora
pblica con experiencia en trabajos sobre
ciencias de la salud.
27/9/02

I Jornada de SACAS

14

Mtodo de administracin
Las encuestas se hicieron disponibles en los
centro de atencin de los sistemas de salud
involucrados.
A completar en forma previa o posterior a la
consulta. Annimo para aumentar la tasa de
respuesta. Buzn disponible en las salas de
espera (tasa esperada entre 20-40 %).
Sesgo de seleccin relevante pero no
suficiente para invalidar validacin.
Otros
metodos:
entrevista
personal,
telefonica, Mailing e Internet.
27/9/02

I Jornada de SACAS

15

Lugar y Poblacion a
Evaluar
Poblacin a evaluar: pacientes Adultos que
reciben atencin ambulatoria en sistemas
prepagos privados sin fines de lucro de la
ciudad de Buenos Aires.
Participantes: Centro de educacion mdica e
investigaciones clinicas (CEMIC) y el Plan de
Salud del Hospital Italiano de Buenos Aires.
Pacientes con caractersticas definidas que
tal vez no sean representativos de otros
sistemas de salud de nuestro pas.
27/9/02

I Jornada de SACAS

16

Cuestionario para el
piloto

Seccin 1: Caracteristicas demogrficas y

sociales (8 preguntas en total).
Seccin 2: Cuestionario central (30
preguntas en total).
Seccin 3: integrada por el SF-12,
espeficaciones sobre morbilidad e ingresos
familiares (15 preguntas en total).
Seccin
4:
Caracterizacin
de
la
comprensin de las preguntas, tiempo de
llenado y observaciones.
27/9/02

I Jornada de SACAS

17

Piloto
Realizado entre los pacientes de ambos
sistemas con el fin de determinar si los
pacientes comprendian las preguntas y cuanto
tiempo les llevaba completar el cuestionario.
Duracin dos meses. Pacientes seleccionados y
con alto compromiso de participacin.
Los resultados del piloto fueron satisfactorios.
Modificaciones realizadas: Se reformularon los
enunciados de varias de las preguntas y 2
fueron eliminadas por no ser comprendidas y
decidirse que no eran tiles para nuestro medio.

27/9/02

I Jornada de SACAS

18

Consideraciones
estadsticas
Anlisis univariado- frecuencia,
normalidad y asociacion.
Muestra: cuntas encuestas son
suficientes? Considerar nmero de
items en validacin. Clculo muestral
Confiabilidad
Validez
Respuesta al cambio
27/9/02

I Jornada de SACAS

19

Confiabilidad
Es la capacidad del instrumento de
reproducir los resultados a lo largo del
tiempo. Se basa en un test de
correlacin.
Test- retest.
Instrumento paralelo.
Consistencia interna (alpha de
cobbrach). Ver resultados en tablas
N 5 y 6.
27/9/02

I Jornada de SACAS

20

Items

Correlation

RTT

Name

Label

Q5

Easiness of making appointments

0,46

0,912

Q6

Number of doctors

0,56

0,907

Q7

Waiting times at office

0,56

0,907

Q8

Amount of time given by your doctor

0,69

0,905

Q9

Attention to what you have to say

0,68

0,905

Q10
Q11
Q12
Q13

Explanations you received

Thoroughness of care
Information of plan benefits
Courtesy of administrative staff

0,69
0,75
0,64
0,60

0,90
0,90
0,90
0,907

Q14

Courtesy of paramedic personnel

0.57

0,908

Q16

Easiness for appointments

0,67

0,905

Q17

Cost of Health plan

0,49

0,910

Q18

Out of pocket money

0,49

0,912

Q19

Delay in approvals

0,39

0,910

Q20

Difficulties in receiving care

0,47

0,910

Q21

Not getting a referral for specialist

0,41

0,912

Q24
Q25

Are you satisfied with your health plan?

Overall performance

0,79
0,37

0,90
0,912

27/9/02

I Jornada de SACAS

21

Validez
Es la intencin de determinar si el instrumemto
mide lo que queremos medir.
Validez de contenido y de inspeccion: hablan
de la capacidad del instrumento de comprender
todos los aspectos que deben ser evaluados
segn los objetivos previamente planteados. La
primera se evala al final del desarrollo, mientras
que la segunda se evala durante la creacin del
instrumento. Ambas son subjetivas pero
necesarias.
Validez de construccin.
Validez de criterio.

27/9/02

I Jornada de SACAS

22

Validez De Construccin
Es la bsqueda de estructuras dentro de
cuestionario que brinden medidas sumarias
relacionadas con los dominios propuestos.
Factor analysis y principal component
analysis: intenta identificar factores latentes
que son responsables por la correlacin entre
factores entre los items. Comprueban el diseo
de los dominios.
Tambin se evalua la correlacin entre los items
(item-item correlation) y entre los items y el
total (item total correlation) para definir la
integridad del cuestionario.

27/9/02

I Jornada de SACAS

23

Validez de criterio
Variables incluidas exploradas para
deteminar correlacin entre los scores
obtenidos y datos de la realidad
Fuerte correlacin con :Intencin de
cambio de plan y de recomendar a sus
parientes y amigos,Ingreso familiar,
tiempo de espera autoreportado.
Debil correlacion con MCS y PCS del SF12,
Hx de morbilidad o enfermedad actual,
antigedad en el plan.
27/9/02

I Jornada de SACAS

24

Respuesta al cambio.
Es la capacidad del instrumento de
ser lo suficientemente sensible
para lograr identificar cambios
clnicamente importantes a lo largo
del tiempo.
Para ello es necesaria su
implementacin sucesiva a lo largo
del tiempo.
27/9/02

I Jornada de SACAS

25

Formalidades a Cumplir
Presupuesto para conseguir
financiacin.
Confidencialidad de los resultados.
Aprobacin de la direccin de
investigacion.
Aprobacin del director mdico o
responsable de la poblacin a
evaluar.
27/9/02

I Jornada de SACAS

26

Limitaciones y sesgos
Muestra de conveniencia, pacientes
que consultan al sistema de salud.
Validacin necesita ser confirmada
por estudios posteriores.
Baja tasa de respuesta frente a lo
ideal.
Es necesaria la valoracin de la
respuesta al cambio en sucesivas
implementaciones.
27/9/02

I Jornada de SACAS

27

Recursos Necesarios
Tiempo. Es un estudio primario.
Predisposicion de los encuestados
prelinarmente para hacer sugerencias
sobre las modifiacines.
$$$ Para la impresin de los cuestionarios
y su distribucin.
Personal para la carga de datos- data
entry-.
Habilidad para hacer un buen anlisis.
27/9/02

I Jornada de SACAS

28

Sugerencias
Inclusin de preguntas vlidas para
caracterizar adecuadamente la poblacin.
No asustarse por la cantidad de items. La
gente quiere expresarse. Aunque en
forma anonima.
El mailing es el mtodo ms adecuado
para para conseguir los resultados menos
sesgados. Los otros son muy caros.
Negocien tiempo para una adecuada
interpretacin de los resultados
27/9/02

I Jornada de SACAS

29

Implementacin
El instrumento fue nuevamente adaptado y corregido
(aunque no en forma estructural). Nuevo formato de
presentacion para respuesta postal paga. Se mantuvo
el cuestionario central y se adaptaron las preguntas
introductorias a las necesidades del momento.
Con un presupuesto adecuado, fue distribuido entre
los afiliados del CEMIC a principios de este ao. (1850
cuestionarios devueltos sobre 15.500 distribuidos).
El plan de Salud del HIBA decidio Implentar el CAHPS.
Anlisis presentado para mostrar resultados a los
directivos y sugerir oportunidades de mejora.

27/9/02

I Jornada de SACAS

30

El futuro
Aplicacin de mayor cantidad de
cuestionarios validados que valoren
adecuadamente satisfaccin con la
atencin mdica.
Uso de CAHPS del AHRQ por parte de
financiadores locales.
Idealmente regulacin para publicar
resultados y fundamentar la decisin de
elegir un plan de salud.
27/9/02

I Jornada de SACAS

31