Síntesis de la asignatura de Evaluación de Programas

1. Concepto y funciones de la evaluación de programas educativos.

2. Las teorías evaluativas de Michael Scriven. La evaluación como ciencia de la valoración.

3. El modelo CIPP de Daniel Stufflebeam. La evaluación orientada a la toma de decisiones para la

mejora de los programas.

4. El Modelo de evaluación de programas educativos de Ramón Pérez Juste.

5. Procedimientos para la realización de evaluaciones de programas.

6. Las normas para la evaluación de programas educativos.

7. Técnicas e instrumentos para la recogida de información en la evaluación de programas.

1. Concepto y funciones de la Evaluación de Programas

La evaluación es una actividad profesional que incluye procedimientos sistemáticos para la recogida
de información, que debe culminar con recomendaciones objetivas y con juicios bien
fundamentados sobre el valor y mérito del programa para orientar las decisiones de mejora.

Tres ideas subyacen a la definición de evaluación de programas:

1) El proceso de identificar, obtener y proporcionar información sobre el programa, lo que

presupone una metodología de investigación.

2) Los criterios a utilizar para realizar la valoración del programa, de su planificación, realización y
de sus resultados.

3) El propósito de utilización de los resultados en aquellos aspectos señalados por la evaluación.

De este modo, la evaluación proporciona información basada en hechos y datos, recogidos de modo
sistemático y riguroso, acerca de las características y realizaciones del programa en su contexto, y
orienta a los responsables en la toma de decisiones sobre sus mejoras, continuidad y expansión.

La evaluación cumple dos funciones principales, formativa o de mejora y de responsabilidad o de

rendición de cuentas. Pero el salto cualitativo de la evaluación es su orientación hacia la mejora, en
su función formativa, ya sea referida a la formación del estudiante, del docente, de la organización,
o de los sistemas educativos.

El propósito de la evaluación de un programa es informar a la acción, apoyar la toma de decisiones

y aplicar el conocimiento para resolver problemas humanos y sociales.

Cuando este estudio es realizado de manera sistemática y empírica mediante una cuidadosa
recogida de datos y análisis rigurosos, se está realizando investigación evaluativa.

Y ese es nuestro objetivo, realizar evaluaciones de programas como investigación evaluativa,

contextualizadas, al servicio de la mejora y del rendimiento de cuentas ante los beneficiarios e
interesados, con la finalidad de informar las decisiones de cambio y mejora de lo evaluado.

1.1. Los criterios y los estándares

Los criterios de la evaluación son los fines de la educación, sus objetivos.

Los criterios en la evaluación de programas son los objetivos de los programas.

La evaluación debe asegurar que dichos objetivos sean de calidad, coherentes con las necesidades y
que se cumplan.

Evaluar implica valorar de acuerdo con unos criterios, y determinar el mérito y la calidad de lo que
consigue el programa.

La comparación entre los criterios y las características del propio programa, de los resultados que
consigue durante su aplicación y tras su aplicación, nos permitirá atribuir valor al propio programa,
a su aplicación y a sus resultados, aportando información sobre lo evaluado, teniendo en cuenta las
condiciones del contexto. Todo ello nos permitirá elaborar recomendaciones.

La comparación entre los criterios y los estándares desde su diseño, su aplicación y sus resultados,
nos permitirá atribuir valor sobre el propio programa, su aplicación y sus resultados, aportando
información sobre lo evaluado, en torno a los criterios de:

• Adecuación o pertinencia,

• Eficiencia, eficacia o efectividad,

• Satisfacción e impacto.

Atendiendo a las referencias: • Idiosincráticas, normativas y criteriales.

Todo ello, y teniendo en cuenta las condiciones del contexto, nos permitirá elaborar
recomendaciones.

Scriven denomina estos elementos como el «mérito, valor y significación de lo evaluado».

Lo que la evaluación dice que es adecuado y positivo, es lo que orienta a mantener los fines de la
educación, los objetivos, o cambiarlos.

2. Scriven. La evaluación como la ciencia de la valoración. La evaluación formativa y

sumativa

Scriven es uno de los primeros teóricos de la evaluación moderna y ha influido más que ningún otro
en cómo se habla en evaluación. Su artículo The methodology of evaluation (1967) ha sido uno de
los más citados en evaluación educativa. Los términos evaluación sumativa y evaluación formativa
fueron introducidos por él en 1967; también los de evaluación libre de metas y la meta-evaluación,
el término inglés evaluand (el objeto a evaluar) y la evaluación libre de costes. Ha sido el gran
impulsor para el desarrollo de la Evaluación como disciplina de conocimiento.

La evaluación debe proporcionar información para los que toman decisiones, pero también debe
determinar el mérito y el valor de lo que se evalúa. Para Scriven la evaluación es la ciencia de la
valoración. "El valor, el mérito, la calidad, son constructos procedentes de variables observables, lo
mismo que las aptitudes, el rendimiento, la motivación o la ansiedad" (Scriven, 1986:39). La clave
para realizar una buena evaluación, de acuerdo con Scriven, consiste en determinar las premisas o
criterios y que orientan las metas de los programas y su realización, y la evaluación, basándose en
esos criterios debe verificar que dichos criterios y valores relevantes se consiguen.

2.1. La evaluación formativa y sumativa y la metaevaluación

La evaluación puede ser hecha para proporcionar información a las personas que intentan mejorar
algo mientras se está aplicando (evaluación formativa), o también puede ser hecha para
proporcionar información para los que toman decisiones, preocupados por crear, terminar o cambiar
algo (evaluación sumativa) (Scriven, 1980:6-7).

La metaevaluación se define como una investigación sistemática encaminada a emitir un juicio

valorativo acerca de la calidad y los méritos de una evaluación.

Scriven defiende su utilización como imperativo legal, con el fin de asegurar la calidad, honradez y
precisión del trabajo de evaluación realizado.

Scriven aporta a la evaluación muchos otros conceptos como la evaluación como la ciencia de la
valoración, la evitación de los prejuicios, o libre de metas.

La metaevaluación se define como una investigación sistemática encaminada a emitir un juicio

valorativo acerca de la calidad y los méritos de una evaluación.

El metaevaluador puede servirse tanto de listas de estándares (Listas de control), elaboradas para
una metaevaluación concreta, como de los estándares consensuados por la comunidad científica
(JCSEE).

La metaevaluación puede ser formativa, si ayuda al evaluador a planificar la evaluación, y sumativa

si le ayuda a realizar una evaluación de la evaluación una vez realizada. Sus informes fomentan la
transparencia y orientan el aprendizaje de la comunidad científica.

Scriven defiende su utilización como imperativo legal, con el fin de asegurar la calidad, honradez y
precisión del trabajo de evaluación realizado.

Scriven aporta a la evaluación muchos otros conceptos como la evaluación como la ciencia de la
valoración, la evitación de los prejuicios, o libre de metas.

3. Stufflebeam. La evaluación orientada a la toma de decisiones. Concepto

El modelo CIPP para la evaluación es un marco comprehensivo para realizar evaluaciones

sistemáticas de programas, proyectos, personal, productos, organizaciones y sistemas de educación.

"La evaluación es el proceso de identificar, obtener y proporcionar información útil y descriptiva

acerca del valor y mérito de las metas, la planificación, la realización y el impacto de un objeto
determinado, con el fin de servir de guía para la toma de decisiones, solucionar los problemas de
responsabilidad y promover la comprensión de los fenómenos implicados". (Stufflebeam &
Shinkfield 1987:183).

La idea central de las evaluaciones, de acuerdo con el modelo CIPP, es proporcionar información
fundamentada que pueda ayudar a los responsables del programa a recoger información evaluativa
regularmente para mejorar el programa, hacer uso efectivo y eficiente de los recursos, con el fin de
servir a las necesidades especificadas en el programa e informar a los beneficiarios adecuadamente
con equidad y a tiempo. (Stufflebeam & Shinkfield, 2007:330).

3.1. Los cuatro tipos de evaluación.

La evaluación del Contexto evalúa las necesidades, problemas, recursos y oportunidades para
ayudar a los que toman las decisiones a definir las metas y las prioridades, y ayudar a utilizar los
juicios sobre las metas, las prioridades y los resultados. Sirve a la toma de decisiones de
planificación.
La evaluación de los insumos, o de entrada, evalúa los enfoques alternativos de intervención, los
posibles planes de acción, incluidos los programas, la dotación del personal, los presupuestos para
asegurar la factibilidad, viabilidad y rentabilidad -coste-beneficio- potencial de las propuestas para
satisfacer las necesidades específicas y conseguir las metas. Sirve a las decisiones de
organización.

La evaluación de proceso evalúa la ejecución de los planes para ayudar al personal a llevar a cabo
las actividades y para ayudar a utilizar los juicios valorativos sobre la implementación del programa
y para interpretar los resultados que va consiguiendo. Sirve a las decisiones de implementación.

La evaluación de producto identifica y evalúa los resultados - intencionales o no, a corto, medio y
largo plazo - para ayudar al personal a decidir si mantener los programas que se están aplicando, en
su contexto, si son eficaces, si merece la pena mantenerlos o no, y, si han conseguido resultados
importantes, ayudar al grupo más amplio de usuarios y beneficiarios a valorar el éxito en los
esfuerzos dirigidos a atender las necesidades especificadas. Sirve a las decisiones de reciclaje,
sobre qué se debe hacer con el programa después de su aplicación.

4. El Modelo de Evaluación de Programas Educativos de Ramón Pérez Juste

Si bien la evaluación es una antigua actividad, el salto cualitativo de la evaluación se reconoce

cuando se identifica con la función de mejora.

• Mejora del objeto evaluado, los programas, las organizaciones, los profesionales, los estudiantes y
sus objetivos,

• Desde la evaluación de necesidades en sus contextos, hasta la evaluación de los resultados,

pasando por la evaluación del diseño de los programas y de su aplicación,

• De un modo continuo, formativo, aportando información para la mejora de los evaluados, de sus
objetivos, de las personas y de sus resultados.

La evaluación de programas y de sus resultados en sus beneficiarios no puede permanecer aislada

de los contextos en los que se aplican. Por ello, la evaluación es adjetivada como integral, integrada
e integradora.

4.1. Concepto.

La dimensión fundamental de programa es que se trata de un plan sistemático de intervención,

específica e intencionalmente elaborado, al servicio de metas consideradas valiosas desde una
perspectiva pedagógica. (Pérez Juste, 2006).

La evaluación de programas y de sus resultados en sus beneficiarios no puede permanecer aislada

de los contextos en los que se aplican los programas, en las organizaciones, en las instituciones
educativas, pertenecientes a sistemas más amplios como son los sistemas educativos. Por ello, la
evaluación es adjetivada como integral, integrada e integradora.

“El proceso sistemático, diseñado intencional y técnicamente, de recogida de información rigurosa

-valiosa, válida y fiable-, orientado a valorar la calidad y los logros de un programa, como base para
la posterior toma de decisiones de mejora tanto del programa como del personal implicado, y de
modo indirecto, del cuerpo social en que se encuentra inmerso”.
4.2. Momentos para la evaluación de programas

5. Procedimientos para la evaluación de programas. Los modelos lógicos

Los modelos lógicos para el diseño de programas y su evaluación tienen como finalidad ayudar a
realizar:

• El análisis de necesidades, la formulación de prioridades y concretar las metas para atenderlas,

• El diseño y gestión de los programas para conseguir los resultados pretendidos en coherencia con
las necesidades, y

• La planificación y realización de su evaluación.

Los modelos lógicos proporcionan una representación visual y esquemática del programa en
términos de sus insumos, actividades y resultados, mostrando una trayectoria lineal hacia los logros
futuros que pretende conseguir.

Es una herramienta para la gestión del programa que ayuda a clarificar las metas y sus relaciones,
conseguir acuerdos y consensos, identificar lagunas que necesitan ser subsanadas, explorar
enfoques alternativos.
5.1. Los elementos del modelo Lógico en un ejemplo: Programa de Escolarización Combinada
entre un centro de educación especial y un centro de educación ordinaria

6. Las normas de calidad del Comité Conjunto para la evaluación de programas educativos.
Conceptos

Estándar: Un principio acordado por gente comprometida en una práctica profesional. Sirven de
guía para mejorar la calidad y claridad de la práctica profesional.

La finalidad de las normas o estándares para la evaluación de programas, proyectos y materiales del
Joint Commijee es que sirvan de ayuda a los prácticos de la evaluación de programas educativos
para identificar y definir una evaluación de calidad y guiar a los evaluadores y usuarios de la
evaluación para conseguir realizar una evaluación de calidad, como investigación, y valorar las
evaluaciones y los informes de evaluación. Además de su objetivo para guiar la evaluación de
programas, los estándares guían el diseño y aplicación de los programas, formando parte de un
proceso continuo de diseño, aplicación, evaluación y mejora de los programas y mejora de la
evaluación.

6.1. Los cinco grupos.

Las normas, en un total de 30, se agrupan en torno a cinco categorías relacionadas con la:

• Utilidad de la información que aporte la evaluación, y que sea valiosa.

• Viabilidad, referida a que la evaluación se realice de manera eficiente y efectiva, gestionada por
procesos con objetivos claros y viables.

• Honradez o Adecuación, para que las evaluaciones sean conducidas legal y éticamente, basadas en
compromisos explícitos, que aseguren la cooperación, protección de los grupos implicados y la
honestidad de los resultados.

• Precisión o Exactitud, relacionadas con el rigor metodológico, para aumentar la fiabilidad y

veracidad de la evaluación, de sus proposiciones y procedimientos, coherencia de sus conclusiones
y la comunicación de sus hallazgos, especialmente aquellos que apoyan las interpretaciones y los
juicios.

• Responsabilidad, para evaluar la calidad de los resultados, desde el equilibrio entre la utilidad, la
viabilidad, la adecuación y la precisión, documentando los propósitos negociados y los diseños,
procedimientos, datos y resultados. Utilización de las normas para metaevaluación interna y
externa.

6.2. Su utilización

Todos los atributos de calidad y sus estándares deben ser utilizados de modo efectivo, adaptativo,
sensible y con significado de su utilización.

Los evaluadores, mediante un uso responsable en la aplicación de las normas, pueden incrementar
la calidad de la evaluación, si:

• Se comunican con sus clientes y juntos valoran si el programa es evaluable.

• Informan acerca de si se puede, o no, hacer una evaluación.

• Planifican la evaluación con los implicados.

• Organizan la realización de la evaluación, incluyendo la recogida de información y su análisis, la

comunicación de informes y el seguimiento de los hallazgos.

• Investigan, documentan y mejoran la calidad de la evaluación y la información sobre la misma

para el rendimiento de cuentas a través de la realización de la metaevaluación.

• Realizan y difunden informes sobre las evaluaciones y el uso apropiado de las mismas.

7. Técnicas para la recogida de información en la evaluación de programas. Y los métodos.

Este tema es fundamental para la realización de evaluaciones de programas reales. Complementa lo

presentado en los temas anteriores.

En ellos se menciona la evaluación de necesidades, para conocer las condiciones de las personas en
sus contextos, sobre las cuales se va a intervenir mediante la aplicación de un programa o
intervención.

Para ello es necesario realizar observaciones, encuestas, entrevistas y análisis de informes de

intervenciones previas, informes de investigaciones que nos ayudarán a elaborar propuestas de
mejora de la situación a atender.

Las técnicas e instrumentos de recogida de información y datos son necesarios para:

• Aplicar de los modelos de evaluación de programas.

• Evaluar de necesidades

• Conocer las condiciones de las personas en sus contextos y

• Valorar los diseños de las intervenciones, su aplicación de proyectos y sus resultados.

Y una vez diseñada nuestra intervención: el programa, sus objetivos y estrategias de aplicación y los
resultados pretendidos, junto con los recursos necesarios, deberemos analizar si se ajusta a las
necesidades, y si se orienta a conseguir los resultados, las metas, y que sean de calidad.

Y deberemos recoger información sobre los procesos de aplicación del programa mediante
observación y cuestionarios, pruebas de rendimientos, análisis de los resultados que se van
consiguiendo. Y analizar los resultados conseguidos para valorar la eficacia del programa y de su
aplicación, mediante grupos de discusión, y la satisfacción en sus usuarios y beneficiarios, y
asimismo podría verse conveniente realizar cambios, innovaciones, a la luz de nuevas necesidades
detectadas, para lo que podría ser conveniente realizar un Delphi con expertos.

La utilización del método científico en la investigación educativa y social supone un intento

sistemático dirigido a cuestionar y/o resolver problemas a través de la recogida y análisis de datos
primarios con el propósito de describir, explicar, generalizar y predecir, siendo las características
propias del método científico la repetibilidad, la estabilidad y la comunicabilidad.

Estos contenidos han sido ya objeto de estudio específico en las asignaturas de Metodología de
Investigación estudiadas por el alumno en cursos previos a éste, en el Grado, especialmente en la
Materia 8ª de la que forma parte esta asignatura, por lo que se espera tomen conciencia de la
importancia de la metodología de investigación para la intervención educativa y su mejora.

La evaluación de programas siempre es holística, sistémica, contextualizada.

La información a recoger tiene que ver con: Y Las técnicas:
• Las necesidades que originan los programas • La observación.
• Las metas de los programas, coherentes con las • Instrumentos para el registro de la observación
necesidades, • La evaluación de necesidades.
• Los programas, en sus metas, su estructura, • El cuestionario.
contenido. • La entrevista. El protocolo de la entrevista
• La planificación para su puesta en acción, • El análisis de contenido.
teniendo en cuenta • La técnica Delphi.
• El contexto, • Los grupos de discusión.
• Los recursos para su implantación, • Las pruebas de rendimiento
• Los procesos
• Los resultados
• Su impacto.
Tras analizar la información, las conclusiones guiarán las propuestas de cambios y de mejora.