Esquema/resumen facilitado por el equipo docente

TEMA IV. LA EVALUACIÓN DE INTERVENCIONES SOCIALES: PROYECTOS,

PROGRAMAS Y POLÍTICAS

1. DIFERENCIAS ENTRE INVESTIGACIÓN Y EVALUACIÓN

La investigación implica la búsqueda del conocimiento o la comprensión de una realidad. La

investigación no aplica criterios de valor a la hora de interpretar el resultado de ese
conocimiento. Busca conocer.

La intervención supone el intento de transformar una realidad, habitualmente con la

intervención se busca mejorar la vida o las condiciones de vida de las personas sobre las que se
actúa. Busca transformar.

La evaluación implica valorar o apreciar una realidad sobre la que se ha intervenido o se

pretende intervenir. Busca evaluar.

EVALUACIÓN Y CRITERIOS DE EVALUACIÓN

Evaluar: emitir un juicio sobre el valor de un programa, o sobre algunos de sus componentes,
fundamentado en información recogida y analizada sistemáticamente, con el fin de actuar
sobre el programa.

Criterios de evaluación:
• Objetivos del programa: comparar los objetivos previstos y los conseguidos.
• Satisfacción de las necesidades de los destinatarios o efectos producidos por la
intervención.
• Necesidades y/o efectos identificados/definidos por el evaluador o por las partes
interesadas en la evaluación y el programa.
• Sostenibilidad, empoderamiento y complementariedad con otras intervenciones.

2. TIPOS DE EVALUACIÓN

• Según el momento:
o Antes (ex ante): Pertenencia, viabilidad y eficacia potencial de un programa o
servicio. Comporta dos aspectos:
§ Coherencia entre las soluciones que se proponen y la realidad que se
quiere modificar.
§ Coherencia o congruencia entre medios/recursos y objetivos, entre
objetivos generales y específicos, y entre el diagnóstico y las
propuestas de actuación.
o Durante: Evaluación de la gestión o evaluación continua.
o Después (ex post): Evaluación de resultados y del impacto final del programa.

1
• Según la procedencia de los evaluadores:
o Externa: evaluadores que no pertenecen ni están vinculados a la organización.
o Interna: participación de personas que pertenecen a la institución pero que no
son directamente responsables de la ejecución del programa o servicio.
o Autoevaluación: a cargo de aquellos implicados directamente en la ejecución o
realización del programa o prestación del servicio.
o Mixta: combinación de al menos dos tipos de los anteriores. Bien por un
equipo de trabajo con evaluadores internos y externos, bien por un equipo con
evaluadores internos/externos y autoevaluación.

• Según la naturaleza del objeto:

o Evaluación del diseño y conceptualización:
§ Necesidades
§ Diagnóstico
§ Concepción y diseño
o Evaluación de la instrumentación y seguimiento (Evaluación del proceso):
§ Cobertura
§ Implementación y funcionamiento (seguimiento y monitorización)
§ Ambiente organizacional (evaluación institucional)
§ Rendimiento del personal
o Evaluación de la eficacia y la eficiencia (Evaluación de resultados y efectos)
§ Resultados (eficacia y efectividad) e impacto
§ Eficiencia y/o rentabilidad económica

2
3. FASES DE LA EVALUACIÓN

Evaluación externa: Véase esquema página 275

Diseño/estrategia: Véase esquema página 277

La selección de técnicas de recogida de datos en la evaluación dependerá de:

• Naturaleza de la evaluación (preguntas, criterios de valor y objetivos de la evaluación)
• Aspectos de la intervención que serán objeto de la evaluación (tipo de evaluación)
• Recursos disponibles (costes, esfuerzo y tiempo)
• Grado de colaboración que se espera obtener por parte de quienes deben facilitar la
información.

Otros aspectos a tener en cuenta:

• Cuestiones éticas y culturales (qué información recoger y cómo hacerlo)
• Integrar la evaluación en las actividades propias del programa.
• Adoptar un punto de vista realista al decidir qué evaluar y cómo.
• Implicar al máximo número de personas tan pronto como sea posible.

4. EVALUACIÓN DEL PROCESO Y EVALUACIÓN DE LA CALIDAD.

Evaluación del proceso:

• Se lleva a cabo durante el desarrollo operativo e implementación del programa o

servicio. La formulación de un sistema de seguimiento comporta dos tipos de tareas:
o Diseño del flujo regular de datos: permite identificar, seleccionar y registrar la
información más significativa sobre el funcionamiento del servicio o la marcha
del programa.
o Analizar: la información para obtener una retroalimentación acerca del modo
en que está operando el programa.

• Componentes de la evaluación del proceso:

o Reclutamiento
o Mantenimiento
o Contexto
o Recursos
o Implementación
o Cobertura
o Barreras de acceso
o Exposición
o Uso inicial
o Uso continuado
o Contaminación

Evaluación de la calidad:

• Asociación Europea de Calidad: la calidad es “la totalidad de rasgos o características

que influyen en la capacidad para satisfacer necesidades expresadas o implícitas” y “se
puede considerar como la relación que existe entre las necesidades y expectativas del

3
 usuario y su percepción del servicio recibido”. La evaluación se puede realizar de
manera asíncrona (en un momento dado) o mediante la implantación de un sistema
interno de gestión y control de calidad.

• Modelos de evaluación de la calidad:

o Modelo SERVQUAL:
§ Calidad: discrepancia entre las expectativas de los usuarios y sus
percepciones sobre el servicio, por lo que su evaluación consiste en
verificar la amplitud de dicha discrepancia. Las discrepancias que
permite identificar son:
• Entre las expectativas del usuario y el servicio percibido.
• Entre lo que esperan los usuarios y lo que perciben los
directivos respecto a esas expectativas.
• Entre las percepciones de los directivos y las especificaciones o
normas de calidad.
• Entre las especificaciones de la calidad del servicio y la
prestación del mismo.
• Entre la prestación del servicio y la comunicación externa.

o Modelo EFQM:
§ Identifica los aspectos más importantes de la organización y
proporciona instrumentos y procedimientos de evaluación dirigidos a
mejorar la calidad.
§ Dimensiones de calidad:
• Liderazgo
• Personas
• Política y estrategia
• Alianzas y recursos
• Procesos
• Resultados en las personas
• Resultados en los clientes
• Resultados en la sociedad
• Resultados clave

Calidad total en la gestión de servicios: Véase esquema página 285

5. EVALUACIÓN DE LOS RESULTADOS/IMPACTO

• Evaluación de resultados: se centra en los efectos inmediatos y a corto plazo.

• Evaluación de impacto: se centra en los efectos finales (a medio y largo plazo)

abarcando los efectos en la población destinataria y en la no destinataria, así como el
total de efectos producidos (previstos y no previstos).
o Un buen diseño de evaluación de impacto o una buena evaluación de impacto
es aquel que presenta una alta validez interna, es decir, que controla todas las
posibles explicaciones o hipótesis alternativas. Para asegurar la validez interna
se debe:

4
§ Realizar comparaciones entre grupos y/o en el tiempo: que permitan
ver las diferencias y anular el posible efecto de las variables
explicativas alternativas.
• Procedimiento:
o Buscar grupos de comparación y control que queden
fuera del programa de intervención pero que en todas
las demás características sean iguales que los que sí
que lo han recibido.
o Utilizar al propio grupo que ha recibido el programa
como grupo de comparación con mediciones sucesivas
en el tiempo.

§ Utilizar el análisis multivariable: para averiguar el efecto del programa

manteniendo constante o controlando el efecto de las posibles
explicaciones alternativas.
• Procedimientos:
o Experimentación
o Modelización
o Contribution Analysis
o TDE y evaluación realista