Documente Academic
Documente Profesional
Documente Cultură
SALUD
EVALUACIN DE PROGRAMAS DE SALUD
INTRODUCCIN
Histricamente, la evaluacin de los programas de salud ha presentado
dificultades en una serie de aspectos polticos, econmicos, metodolgicos y
sociales para medir el resultado de las acciones realizadas.
Esta situacin es ms notable en los programas de promocin de la salud que
se acercan al concepto de salud integral de la O.M.S. es el estado de
completo bienestar fsico, mental y social, y no slo la ausencia de enfermedad
o dolencia, en contraposicin a aquellos que poseen una visin reduccionista
de la salud enfocada en la enfermedad. Algunos autores, entre ellos, Moreno
E., Morera R., Donabedian A., Morera R, Ligia de Salazar, y diversos
organismos y agencias internacionales plantean la necesidad de ejecutar
metodologas para la evaluacin de los programas de salud, enfatizando en la
evaluacin de la calidad de atencin, en la necesidad de sistematizacin de las
experiencias en salud, en la evaluacin de los programas de salud priorizando
la evaluacin de proceso frente a la evaluacin de estructuras y resultados,
entre otros elementos o aspectos a posicionar en trminos de evaluacin como
en el caso de esta propuesta, en donde se plantea a la auditoria como un
instrumento para la evaluacin.
Esta bsqueda metodolgica se basa en el reconocimiento fundamental
otorgado a la evaluacin que se traduce en la planificacin y programacin
permitiendo la construccin y definicin de polticas de salud de un pas.
EVALUACIN DE PROGRAMAS DE
SALUD
EVALUACIN DE PROGRAMAS DE
SALUD
La evaluacin debe ser parte integral del diseo y desarrollo de cualquier
programa o intervencin que pretenda aliviar o solucionar problemas
asociados a la calidad de vida de las personas.
La evaluacin de los servicios de salud puede ser entendida como el proceso
sistemtico cientfico para determinar el grado en el que una accin o grupo
de acciones alcanza los objetivos predeterminados.
La evaluacin de un programa supone la coleccin sistemtica de datos y el
anlisis e interpretacin de los mismos, con el propsito de determinar su
validez e impacto (el efecto general sobre la poblacin diana). La evaluacin
servir tambin para tomar decisiones sobre el programa a medida que este
se va desarrollando (feed-back).
Una evaluacin deber proporcionar informacin creble y til, que permita
incorporar las enseanzas aprendidas en el proceso de toma de decisiones de
beneficiarios y donantes. La evaluacin tambin se refiere al proceso de
determinar el valor o la significacin de una actividad, poltica o programa. Se
trata de una apreciacin, tan sistemtica y objetiva como sea posible, de una
intervencin para el desarrollo planeada, en curso o concluida.
1.1. Por qu evaluar?
a) Responsabilidad
La evaluacin servir para poner de manifiesto la relacin costebeneficio del programa. As mismo, servir como sistema de control de
calidad frente al usuario; en este caso, el grupo poblacional sobre el
que se intenta incidir.
b) Desarrollo y planificacin
La
preparacin
del
plan
de
evaluacin
obliga
planificar
EVALUACIN DE PROGRAMAS DE
SALUD
cundo, para quin, y cmo), y metas, (las metas indican en trminos
generales lo que un programa trata de conseguir.
Por ejemplo; incrementar el nmero de servicios de tratamiento de la
drogadiccin).
c) Retro-alimentacin (Feed-back)
El proceso de evaluacin obliga a examinar sistemticamente qu se
est haciendo y por qu (AUTO-EVALUACION). Es decir, sirve como
sistema de ajuste sobre el tipo, la calidad y cantidad de actividades
que se van realizando.
d) Mejora del programa
La evaluacin del proceso permitir ir haciendo reajustes para mejorar
el programa.
2. Un Programa de salud consiste generalmente en una serie de actividades
coherentes, organizadas e integradas destinadas a alcanzar unos objetivos
concretos y definidos previamente para mejorar el estado de salud de una
poblacin.
El anlisis y la evaluacin es un aspecto fundamental al disear un programa
de salud. Este aspecto va a permitir realizar las revisiones y los ajustes
necesarios al programa indicando a los decisores, si el programa en
cuestin funciona y cumple con los objetivos para los que fue diseado. Sin
embargo hay autores que sealan que la incorporacin de la evaluacin en
los programas y sistemas de salud ha sido una tarea que se ha realizado
tardamente.
La evaluacin de programas sugiere enfocarse en el logro alcanzado por un
programa, que se refiere exclusivamente a la magnitud del cambio
observado en el valor de los indicadores durante un periodo determinado,
por ejemplo: la reduccin de la probabilidad de morir en menores de cinco
4 FACULTAD DE ENFERMERA- UNSA
EVALUACIN DE PROGRAMAS DE
SALUD
aos durante un lapso de tiempo definido que se expresa como porcentaje
de cambio o como diferencia entre las cifras inciales y finales; y en el
desempeo del programa, que es una medida relativa de la eficiencia que
compara el nivel de logro alcanzado en relacin con los recursos empleados.
La evaluacin de programas es un proceso que trata de determinar en forma
sistemtica y objetiva la estructura, el proceso y los resultados del programa.
La definicin de evaluacin de programas de salud es vista desde diferentes
enfoques; dentro de los que destacan:
a) Valoracin sistemtica y objetiva;
b) Uso de procedimientos cientficos para investigar la efectividad de los
programas.
c) Procedimientos para orientar la toma de decisiones en las diferentes fases
de ejecucin de un programa.
La evaluacin de un programa de salud tambin puede ser vista desde la
perspectiva de conocer la contribucin del programa para afectar las
variables que contribuyen a explicar el problema de salud que intenta
resolver el mismo. Para esto se puede hacer uso de lo planteado por Mac
Rae (1985) quien propone el trmino de variables contributivas 1 para
expresar los factores asociados a problemas de la sociedad.
En el caso del sector salud estos factores asociados pueden ser
demogrficos, econmicos, educativos, ambientales, culturales y de salud.
La idea es que el diseo de evaluacin tome en cuenta las acciones que
ejecuta el programa para modificar estos factores asociados que estn
contribuyendo a la existencia del problema de salud. En algunos casos la
discusin se ha centrado en el hecho de si los programas de salud se
fundamentan en la eficacia de las acciones de la prctica mdica para
EVALUACIN DE PROGRAMAS DE
SALUD
detectar o resolver problemas de salud, con el objetivo de estudiar los
riesgos y beneficios del programa en trminos de su calidad.
La evaluacin de programas de salud tal como se concibe actualmente trata
fundamentalmente de contrastar las actividades programadas versus las
actividades cumplidas. Haciendo nfasis en lo que el evaluador, por lo
general el coordinador del programa considera fueron los logros del
programa y enumerando las dificultades que se tuvieron para no alcanzar las
metas previstas.
Esta forma de evaluacin por lo general se basa en la realizacin de una
evaluacin cuantitativa o cualitativa con indicadores de estructura, proceso y
resultados.
Con los indicadores de estructura se busca medir la oferta bsica del
servicio que presta el programa, los ms utilizados son los indicadores de
accesibilidad y disponibilidad.
En relacin a los indicadores de proceso se busca evaluar el funcionamiento
y utilizacin del programa. Los indicadores de proceso ms utilizados son los
que tienen que ver con las actividades del programa, la productividad, el uso,
utilizacin y calidad del mismo.
En cuanto a los indicadores de resultados se busca conocer cules son los
logros del programa y los indicadores ms utilizados son los de cobertura,
eficiencia y eficacia.
Un aspecto que vale la pena destacar es que en el sector salud se tiende a
confundir medicin con evaluacin. Ocurre porque la evaluacin es entendida
como el hecho de establecer un juicio valorativo, donde se requiere siempre
de la comparacin con algn estndar o referencia que se establece
previamente. Esta situacin ha llevado a que frecuentemente se evalen los
programas de salud exclusivamente sobre la base de la cobertura o el
rendimiento que tiene el programa, lo que en realidad corresponde a una
6 FACULTAD DE ENFERMERA- UNSA
EVALUACIN DE PROGRAMAS DE
SALUD
medicin. La evaluacin ocurrira cuando se compara el resultado obtenido
(que puede ser de cobertura, rendimiento u otro) contra el nivel planeado
para el programa que se est evaluando.
Lo anteriormente descrito a su vez hace que se entienda por evaluacin el
establecimiento de un juicio valorativo con base a las comparaciones que se
realizan, dejando de lado el establecimiento de significados sustantivos para
la interpretacin a partir de la comparacin entre resultados obtenidos y
planeados, lo que en ocasiones es un proceso de mayor complejidad que
requiere del concurso de grupos de expertos con formacin multidisciplinaria,
tal como lo seala Montero.
Es probable adems que se d el caso, que al disear el programa no se
determinan los niveles esperados de desempeo, siendo tarea de los
evaluadores determinar estos valores de desempeo.
Vale la pena sealar, que se acostumbra a evaluar programas desde la
perspectiva de si cumplieron o no las metas que han sido establecidas.
Basndose en establecer estas metas en el hecho del cumplimiento o no de
los indicadores de resultados como por ejemplo disminucin de la tasa de
mortalidad infantil.
Este tipo de evaluacin no toma en cuenta otros aspectos apartes del
programa, que pueden estar contribuyendo o no a la reduccin de la
mortalidad, en virtud de que alcanzar esa meta de reduccin puede estar
influida por elementos, que estn fuera del sector salud, pero que un
programa de reduccin de mortalidad infantil puede integrarlos dentro de las
acciones que se van a ejecutar.
De esto se desprende que pueden existir factores externos 2 que moldean el
resultado esperado con la ejecucin del programa. Plantendose la
necesidad de incluir en el diseo de evaluacin estos aspectos.
EVALUACIN DE PROGRAMAS DE
SALUD
Otros elementos de importancia son: a) uso de la teora al plantear el diseo
de evaluacin del programa. (4). Segn este planteamiento se trata de usar
la teora acumulada sobre el problema que trata de modificar el programa;
para planear los puntos que se incluirn en la evaluacin y b) mtodos de
evaluacin que incluyan aspectos descriptivos, valorando los resultados de la
poltica pblica a la que obedece el programa con base en los objetivos
establecidos en el mismo (5).
El diseo de evaluacin puede abordar diferentes aspectos, dentro de
los que se destacan:
Valoracin de necesidades: se refiere a si el programa es necesario o no.
Tambin se evalan las condiciones sociales y de salud a las que debe
dirigirse el programa.
Conceptualizacin del programa: Se refiere al hecho de si el programa
est bien diseado.
Operatividad del programa: En este aspecto se evalan la implementacin
del programa.
Resultados e impactos del programa: Se investiga si el programa est
alcanzando los resultados deseados e inclusive si hay efectos colaterales
positivos o negativos no previstos.
Costo y eficiencia del programa: Se determina si el programa es costo
efectivo, si es sostenible en el tiempo.
Ahora bien, estos diferentes aspectos se pueden abordar desde diferentes
tipos de diseo. Un aporte importante en cuanto a diseos, es el de Campbell
y Stanley, cuya propuesta aunque no es especficamente para programas de
salud, puede tener utilidad al disear una evaluacin de estos programas.
Estudio de casos: Se basa en que se escoge un grupo de personas a las
cuales se les aplica el programa y luego se evalan los resultados del
8 FACULTAD DE ENFERMERA- UNSA
EVALUACIN DE PROGRAMAS DE
SALUD
programa. Su limitacin est en el hecho de que no se pueden generalizar
los resultados. Sin embargo puede ser utilizado cuando se est comenzando
a aplicar el programa como proyecto piloto a los fines de hacer los ajustes
iniciales necesarios.
Pre test- post test: consiste en escoger un grupo de personas a las que no
se les haya ejecutado el programa y se les sensibiliza para que accedan al
programa. Evalundose antes y despus de administrar el programa los
aspectos que interesan. Su limitacin es que los resultados obtenidos en la
evaluacin pueden contener sesgos producto de la reciente introduccin del
programa.
Comparacin de grupos: En este caso se seleccionan dos grupos de
personas uno que haya accedido al programa y otro que no tenga acceso al
mismo comparndose los resultados que se esperan obtener con el
programa en ambos grupos. Siendo el acceso al programa la variable de
control. La limitacin principal es que los resultados pueden estar afectados
por la variable de control que se establece entre los dos grupos.
Pre test- post test con grupo control: Se trata de seleccionar en forma
aleatoria dos grupos que estn en condiciones de acceder al programa y se
les aplica un pre test. Posteriormente al primer grupo se le suministra
informacin sobre el programa y se aplica un post test. La principal limitacin
es que se puede encontrar un incremento del uso del programa por parte de
ambos grupos motivados por la aplicacin del pre test.
Diseo Salomn con cuatro grupos: Se seleccionan en forma aleatoria
cuatro grupos que estn en condiciones de acceder al programa, al grupo 1
y 2 se les aplicara el pre test y al grupo 1 y 3 se les dar informacin sobre el
programa. El post test se les aplicar a los cuatro grupos. La limitacin
principal es que los resultados obtenidos pueden deberse a que los grupos
participantes estn conociendo en el corto plazo los efectos del programa
EVALUACIN DE PROGRAMAS DE
SALUD
tanto de manera indirecta (con el pre test) como de manera directa (con la
informacin suministrada sobre el programa).
Post test con grupo control: Para este diseo se seleccionan dos grupos
de personas que estn en condiciones de acceder al programa, slo al
primer grupo se les suministra informacin sobre el programa y se aplica un
post test a ambos grupos. La limitacin consiste en que al omitir el pre test no
se puede verificar si la seleccin fue aleatoria lo que puede llevar a sesgos y
a interpretar los resultados de forma errnea.
Series de tiempo: Consiste en seleccionar un grupo de personas que
puedan acceder al programa y se les aplica un pre test por un largo periodo
de tiempo. Posteriormente se les da informacin sobre el programa y se les
aplica el instrumento de evaluacin nuevamente a lo largo de un periodo de
tiempo. Una de las ventajas es que este tipo de diseo permite evaluar las
ventajas del programa en el largo plazo, ms all del efecto novedad de los
casos anteriores. Su limitacin es que no hay control sobre agentes externos
que puedan estar influyendo en los resultados encontrados, que no
dependan del programa y que coincidan con la aplicacin del estudio.
Muestras temporales equivalentes: se escoge un grupo de personas que
puedan acceder al programa se les da informacin sobre el mismo y se
aplica un instrumento de evaluacin. En un segundo momento se le impide al
grupo el acceso al programa, aplicndose nuevamente el instrumento de
evaluacin. En un tercer momento se les permite acceder al programa y se
aplica nuevamente el instrumento de evaluacin. Los momentos 2 y 3 se
repiten en forma alternativa varias veces. La principal limitacin es que se
corre el riesgo de estar midiendo los efectos transitorios de la disponibilidad
del programa.
Diseo con grupo control no equivalente: Se seleccionan dos grupos y a
cada grupo se le aplica un pre test. A uno de los grupos se le da acceso al
EVALUACIN DE PROGRAMAS DE
SALUD
programa y luego se aplica un post test. La principal desventaja es el sesgo
de seleccin de los grupos.
Series de tiempo mltiple: Se seleccionan dos grupos y ambos grupos se
les aplica un pre test varias veces a lo largo del tiempo. A uno de los grupos
se le da acceso al programa y luego se aplica el post test a los dos grupos
varias veces en el tiempo. Su limitacin consiste en que
la continua
EVALUACIN DE PROGRAMAS DE
SALUD
Un aspecto clave es el referido a quin hace la evaluacin. Distinguindose
una evaluacin interna; cuando es realizada por los miembros del equipo de
ejecucin del programa.
La evaluacin externa es cuando es realizada por profesionales que trabajan
expresamente en el diseo y desarrollo de la evaluacin y no participan en la
ejecucin del programa. Ambos tipos de evaluacin tienen sus ventajas y
desventajas, la tendencia es a incorporar en el grupo evaluador miembros
externos e internos al programa.
EVALUACIN DE PROGRAMAS DE
SALUD
evidencias de relacin causal entre el programa y los resultados de salud que
se observan en la poblacin. Esto requiere el diseo de estudios rigurosos
que permitan controlar el efecto de otras variables que pueden estar
afectando los resultados de salud y que no tienen nada que ver con el
programa.
Evaluacin de calidad: Este tipo de evaluacin se basa en conceptualizar a
la calidad como un atributo del proceso de salud que debe tomar en cuenta la
perspectiva clnica y la poblacional para definir las dimensiones de calidad
que se evaluarn en un programa de salud.
Para concluir lo referente al proceso de evaluacin de programas de salud es
necesario destacar que no solamente el diseo de evaluacin y el enfoque
son importantes para el xito de un proceso de evaluacin, sino tambin el
considerar las metodologas de trabajo y la conformacin del grupo que
realizar la evaluacin.
Otros elementos a considerar son los sealados por Bamberger, en relacin
a que se hace necesaria la integracin de diferentes aspectos; a) entre
evaluadores de pases desarrollados y evaluadores de pases en vas de
desarrollo; b) entre metodologas cualitativas y cuantitativas; c) entre las
personas beneficiarias del programa y los evaluadores y d) integrar los
requisitos de informacin de agencias internacionales que financian los
programas con las tradiciones de investigacin, contextos sociales y polticos
de los pases en vas de desarrollo. Lograr esto evidentemente pasa por
fortalecer la capacidad tcnica en los pases en vas de desarrollo.
EVALUACIN DE PROGRAMAS DE
SALUD
GLOSARIO DE TRMINOS
1. Evaluacin: Apreciacin sistemtica y objetiva de un proyecto, programa o
poltica en curso o concluido, de su diseo, su puesta en prctica y sus
resultados. El objetivo es determinar la pertinencia y el logro de los objetivos,
as como la eficiencia, la eficacia, el impacto y. la sostenibilidad para el
desarrollo.
2. Programa: Es un enunciado de las actividades o pasos necesarios para la
realizacin de un(os) objetivo(s) de un plan. Generalmente, los programas se
orientan por un objetivo estratgico y pueden implicar la reestructuracin de
la organizacin o institucin como un todo o unidades funcionales de la
misma.
3.Evaluacin de programas: Evaluacin de un conjunto de intervenciones
estructuradas para alcanzar objetivos especficos de desarrollo a nivel global,
regional, de pas o sectorial. Nota: Un programa de desarrollo es una
intervencin de duracin limitada que comprende mltiples actividades que
pueden abarcar varios sectores, temas y/o zonas geogrficas. Trminos
conexos: evaluacin del programa/estrategia del pas.
4.Evaluacin de programas sectoriales: Evaluacin de un conjunto de
intervenciones para el desarrollo dentro de un pas o un grupo de pases en un
14 FACULTAD DE ENFERMERA- UNSA
EVALUACIN DE PROGRAMAS DE
SALUD
sector, todas las cuales contribuyen al logro de un objetivo especfico de
desarrollo. Nota: Un sector incluye actividades de desarrollo que se agrupan
comnmente para fines de accin pblica, tales como la salud, la educacin, la
explotacin agropecuaria, el transporte, etc.
5. Eficacia: Es el grado en que una intervencin produce un resultado
beneficioso en los receptores del programa
6. Efectividad: Es el grado en que una intervencin produce resultados
beneficiosos en el conjunto de la poblacin diana
7. Eficiencia: Son los efectos o resultados de una intervencin en relacin a los
recursos empleados
8. Monitorizacin del programa: Es la documentacin sistemtica de aspectos
de la ejecucin del programa que permiten valorar si est siendo aplicado de
la
forma
planificada o
bien
si
cumple
EVALUACIN DE PROGRAMAS DE
SALUD
14. Resultados de salud: Un cambio en el estado de salud de un individuo, grupo
o poblacin atribuible a una intervencin o serie de intervenciones planificadas,
independientemente de que la intervencin tenga o no por objetivo modificar el
estado de salud.
15. Retroalimentacin: Transmisin de las constataciones (hallazgos) a las que
se arrib en el proceso de evaluacin a aquellas partes para quienes son
pertinentes y tiles con objeto de facilitar el aprendizaje.