TEMA 1

CONCEPTO Y FUNCIONES DE LA EVALUACIN DE PROGRAMAS EDUCATIVOS

1. OBJETIVOS

Conocer y valorar el concepto de evaluacin de programas y las diferentes definiciones de los autores ms
representativos en este campo. (2)
Comprender y valorar las consideraciones sobre la Evaluacin como disciplina de conocimiento. (3)
Conocer y valorar las diferencias y semejanzas entre evaluacin de programas y los conceptos de medida,
evaluacin de los estudiantes, diagnstico, investigacin, auditoria, evaluabilidad y meta-evaluacin.
Comprender y valorar las funciones de la evaluacin.

2. CONCEPTO DE EVALUACIN DE PROGRAMAS

1. Definicin

2. Scriven

La evaluacin es un proceso para valorar el mrito o valor de algo

El proceso para determinar en que medida los objetivos educativos han sido realizados (TYLER, fundador de la evaluacin aplicada a los programas educativos)

Es el proceso de determinar el valor y la calidad de algo, siendo las evaluaciones

el resultado de dicho proceso
Dos funciones de la evaluacin segn el uso de la informacin recogida:
- Evaluacin formativa: durante la aplicacin del programa
- Evaluacin sumativa: sobre los resultados del programa

Examen sistemtico de los acontecimientos que ocurren durante el proceso de

aplicacin de un programa y las consecuencias que se derivan del mismo, con
el fin de ayudar a su mejora y a la de otros programas con similar propsito y
caractersticas

Se proporciona informacin til para la toma de decisiones.

La evaluacin consiste en un proceso en 3 etapas para identificar, obtener y
proporcionar informacin acerca de un programa valorado en sus metas, en su
planificacin, en su realizacin y en su impacto,
El propsito de guiar la toma de decisiones, proporcionar informacin y contribuir a su comprensin y con el criterio de su valor (respuesta a las necesidades) y
su mrito (calidad)

3. Cronchach

4. Stufflebeam y Shinkfield

Proceso sistemtico de recogida de informacin rigurosa (valiosa, vlida y fiable)

orientado a valorar la calidad y los logros de un programa, como base para la
posterior toma de decisiones de mejora tanto del programa como del personal
implicado

Atender a unas necesidades,

Recogida de informacin sistemtica sobre la calidad del propio programa, en
sus fundamentos, estructura y coherencia interna;
Planificacin, considerando los recursos de la organizacin, incluidos los personales y materiales;
Sobre el programa en su desarrollo, resultados, impacto a medio y largo plazo,
Objetivo: comprobar y valorar el grado y calidad del programa, de acuerdo con
las metas pretendidas y si ha logrado otros valores

5. Prez Juste

6. Martnez Mediano

TEMA 1
CONCEPTO Y FUNCIONES DE LA EVALUACIN DE PROGRAMAS EDUCATIVOS
2. CONCEPTO DE EVALUACIN DE PROGRAMAS

7. Propsitos

Constituye una estrategia de aprendizaje continuo para la mejora de los programas,

de las personas, de la propia institucin y de la sociedad
1 propsito: Emitir juicios sobre el valor de un programa
2 propsito: asistir al responsable de la toma de decisiones
3 propsito: cumplir una funcin social

3. LA EVALUACIN COMO DISCIPLINA DE CONOCIMIENTO

1. Elementos de una
nueva disciplina
(SCRIVEN)

2. Evaluacin como
ciencia

1. Reconocimiento explcito de que algo nuevo aparece

2. Identificacin y desarrollo de una metodologa
- Metodologa especfica
- O metodologa de amplio rango de mtodos y modelos
3. Desarrollo del campo basado en una amplia produccin de investigaciones, de principios y de teoras generales
- Elementos presentados explcita o implcitamente
4. Desarrollo de una metateora de la disciplina que proporcione un mtodo de trabajo
para la prctica.
- Metateora descriptiva y prescriptiva derivando la ltima de la primera
A. Lmites de la evaluacin como disciplina:
- Evaluacin aplicada
- Con mtodos y tcnicas de investigacin sociales
- La evaluacin es una nueva disciplina pero con una prctica antigua (SCRIVEN)
B. Evaluacin como ciencia por estar comprometida con la produccin de conocimiento
- Forma parte de todas las disciplinas y del pensamiento racional en general
- Empieza identificando normas que prescriban cmo deben hacerse las evaluaciones
- Es considerada una transdisciplina o disciplina instrumental que sirve a otras disciplinas (al igual que la lgica o la estadstica)
C. Las seis subreas de la evaluacin:
- Evaluacin de programas, de productos, de personal, de rendimientos, de proyectos y
de polticas

TEMA 1
CONCEPTO Y FUNCIONES DE LA EVALUACIN DE PROGRAMAS EDUCATIVOS

1. Conceptos relacionados

2. Conceptos similares
a evaluacin

- Medida
- Evaluacin de aprendizajes
- Diagnstico e investigacin
- Evaluabilidad
- Auditora
- Meta-evaluacin
- evaluation: aplicado a la disciplina de Evaluacin, con sus diferentes
subcampos,
- assessment: aplicado a la Evaluacin del rendimiento de los estudiantes, o de las
personas.
- appraisal: connotaciones de aplicacin a valores de mercado o referido a objetos

TEMA 1
CONCEPTO Y FUNCIONES DE LA EVALUACIN DE PROGRAMAS EDUCATIVOS
4.1. Evaluacin de programas y medida

1. Medida

- La asignacin de cantidades numricas a algo y como el acto o el proceso

de medir
- La medida de las caractersticas psicolgicas en s mismo no confieren
valor a estas caractersticas, en su lugar, la interpretacin le confiere el valor

4.2. Evaluacin de programas y evaluacin de los estudiantes

1. La evaluacin del estudiante
2. La evaluacin de los
aprendizajes del estudiante
3. La evaluacin del rendimiento de los alumnos
4. La evaluacin referida a
norma

5. La evaluacin de los
aprendizajes con referencia
a criterio

6. Evaluar un programa

7. Agentes

- subcampos del rea de la evaluacin

- Surgi antes de la evaluacin de programas
- Basadas en pautas de normalidad y
- Las evaluaciones basadas en criterios.
- El criterio o la norma es el referente frente al cual se compara el rendimiento alcanzado con unos niveles previamente fijados,
- Comparndolo con el obtenido por un grupo de referencia
- El nfasis no recae sobre el aprendizaje real conseguido por el alumno, si
no en la posicin relativa de ste con un grupo normativo de referencia
- Instrumentos: test psicomtricos
- Representan el conocimiento real de un estudiante con referencia a un
dominio,
- Se valora el rendimiento real alcanzado por el alumno.
- El criterio es lo ideal; la consideracin de si un alumno debe o no promocionar debe fijarse mediante un punto de corte
- Requiere un conocimiento complejo y detallado del programa
- Requiere establecer criterios de calidad para las metas
- Requiere establecer normas de realizacin
- Teniendo en cuenta los medios y el contexto
- Aportando informacin para comunidad, mejora del programa, de su contexto, de su proceso y de sus resultados
- La evaluacin del aprendizaje de los estudiantes es una de las funciones
propias del profesor;
- La evaluacin de programas, o incluso del centro, suele corresponder al
profesional de la evaluacin de programas, o al profesor, o al equipo de
profesores

TEMA 1
CONCEPTO Y FUNCIONES DE LA EVALUACIN DE PROGRAMAS EDUCATIVOS
4.3. EVALUACIN DE PROGRAMAS Y DIAGNSTICO
1. Definicin

- el proceso de determinar la naturaleza de una posibilidad, de una dificultad, o de

una deficiencia de un sujeto y el informe de resultados

2. Objetivos y conclusiones

- Sus conclusiones tienen como finalidad la mejora, la correccin de las dificultades,

de las deficiencias encontradas, o el mayor desarrollo de sus potencialidades

3. Diferencias

DIAGNSTICO
- El diagnstico estudia a un sujeto,
- Busca identificar la causa o etiologa del problema, y lo clasifica en trminos de
una tipologa aceptada de las dificultades, usando trminos evaluativos
- Las evaluaciones analticas suelen estar relacionadas con el diagnstico.
- Segn los fines u objetivos que el diagnstico pretenda, se le asigna las siguientes
funciones: preventiva, predictiva, clasificatoria y correctiva
- Como finalidad la comprensin y clasificacin de las causas o factores etiolgicos
EVALUACIN DE PROGRAMAS
- Estudia programas, centros, materiales, polticas
- Su mbito de aplicacin y de implicacin es ms amplio, o ms general

4.4. Evaluacin de programas e investigacin

1. Investigacin y evaluacin

2. Diferencias entre evaluacin e investigacin evaluativa

- Investigacin: cuando es realizada de un modo sistemtico, con miras a ampliar el

conocimiento prctico y terico
- Evaluacin: su finalidad es resolver un problema concreto, dentro de una situacin particular,
- La principal diferencia entre evaluacin e investigacin es el grado por el cual los
hallazgos son generalizables ms all de sus aplicaciones a un producto, programa
o contexto particular
- la generalizacin tienden a hacer sus investigaciones artificiales o irrelevantes a los
ojos del prctico (STAKE)
- Evaluacin: cuando se examina y juzga la realizacin y la eficacia de un programa
concreto sin miras a obtener conclusiones que contribuyan al desarrollo del campo
- Investigacin evaluativa: cuando este examen de la eficacia es realizado sistemtica y empricamente mediante una cuidadosa recogida de datos y anlisis rigurosos
- Investigacin evaluativa: la resolucin de un problema real, que se puede extrapolar y de soluciones a problemas similares

3. Finalidades

- Modo de la finalidad: Los procedimientos, en ambos casos, evaluacin e investigacin evaluativa, deben ser rigurosos para que los resultados y conclusiones que se
puedan deducir sean fidedignos
- La investigacin: el problema dentro de una teora, procedimientos adecuados, y
los resultados mejoren la teora.

TEMA 1
CONCEPTO Y FUNCIONES DE LA EVALUACIN DE PROGRAMAS EDUCATIVOS
4.5. EVALUACIN DE PROGRAMAS Y AUDITORA

1. Preguntas

2. Actividades

3. Formacin

4. Colaboracin

5. Planificacin y
diseo

AUDITOR:
- Tipo de preguntas qu?
- Si lo que se ha hecho est conforme con lo que se deba haber hecho
- Comprometido con defender la transparencia y el derecho a saber
- Utiliza mtodos retrospectivos
EVALUADOR
- Trata de comprender que es lo que produce ciertos efectos ya sean deseados o no deseados
- Tipo de preguntas: por qu
- Reformular lo que se est haciendo, y anima a los responsables a buscar soluciones, e
incluso a ver los problemas de diferente modo.
- Utiliza metodologas retrospectivas y prospectivas, para detectar a qu se han podido
deber los incumplimientos, y proponer nuevas vas para nuevas metas.
AUDITORA:
- Provenientes de las instituciones auditoras estatales financiadas con fondos pblicos
- Reciben, sobre su formacin inicial, una formacin orientada a las polticas prioritarias
en cada perodo de tiempo.
EVALUADOR

- Se adaptan a las caractersticas del programa

- Completan su formacin, si fuera necesario, de acuerdo con las exigencias de la
empresa evaluativa a realizar
AUDITORA:
- Requieren una formacin que va ms all de las habilidades contables
- Como una formacin especfica con unas caractersticas ampliamente aceptadas por las
agencias nacionales e internacional de auditoria
EVALUADOR
- Deben constituirse en equipos expertos para manejar los problemas con maestra
AUDITORA:
- Conseguir colaboracin y apoyo de aquellos a los que auditan
- Tienen el acceso a la empresa a auditar (por ley) y a la documentacin
EVALUADOR
- Conseguir colaboracin y apoyo de aquellos a los que evalan
- Deben negociar su acceso a la organizacin, y no siempre se les facilita toda la informacin,
AUDITORA:
- Planifican sus auditorias de un modo pragmtico, sistemtico,
- Utilizan herramientas de recogida de informacin funcionales
EVALUADOR
- Disean sus evaluaciones siguiendo modelos de la investigacin social
- Recurren a la teora sustantiva
- Recogen la informacin, mediante diversidad de tcnicas
- Elaboran informes que pretenden sirvan a la propia organizacin as como al desarrollo
de teoras.

4.6. Evaluacin de programas y evaluabilidad

1. Definiciones

Evaluabilidad: la medida en que un programa puede ser evaluado (WHOLEY)

Problemas: ante problemas poco o mal definidos y que los fines no seran los previstos,
puede ser mejor no evaluar

2. Objetivos

- Todo programa persigue unos objetivos y tiene una poblacin a la que el programa se
dirige

3. Estructura

- Todo programa debe contener una estructura organizativa coherente,

4. Recursos

5. Elementos

- Debe contar con unos recursos personales y materiales

La evaluabilidad de un programa se centra en
- El propio programa y
- Las necesidades a las que pretende dar respuesta,
- La poblacin objeto del programa,
- Los objetivos que el programa afirma pretender conseguir,
- La teora que subyace a dicho programa y
- Las propuestas y acciones que realiza para conseguirlos

4.7. Evaluacin de programas y meta-evaluacin

1. Definiciones

2. Objetivos de la metaevaluacin

3. Finalidades

- investigacin sistemtica encaminada a emitir un juicio valorativo acerca de la calidad

y los mritos de una evaluacin (STUFFLEBEAM, SCRIVEN)
- Es asegurar la calidad de los servicios evaluativos,
- Evitar, o enfrentarse a las prcticas ilegales o a los servicios que no son de inters
pblico,
- Sealar el camino para el perfeccionamiento de la profesin y
- Promover una mayor comprensin de la actividad evaluativa (STUFFLEBEAM)
- Las evaluaciones se realizan con el propsito de informar e influir en el proceso de
toma de decisiones polticas, por lo que no estn exentas de influencias.
- La evaluacin produce informacin y la informacin proporciona poder
- Meta-evaluacin (SCRIVEN) debe utilizarse como:
. Imperativo profesional,
. Con el fin de asegurar la calidad y honradez, precisin y veracidad del trabajo de
evaluacin realizado, reflejado en sus informes

TEMA 1
CONCEPTO Y FUNCIONES DE LA EVALUACIN DE PROGRAMAS EDUCATIVOS
5. FUNCIONES DE LA EVALUACIN DE PROGRAMAS

1. FUNCIONES DE
LA EVALUACIN
(SCRIVEN)

2. TIPOS

3. FUNCIONES
ESPECFICAS

1. Funcin formativa
- Para la mejora del programa mientras se desarrolla
- Realizada desde el inicio del programa y durante su desarrollo con el fin de recoger
informacin til
- a mejora continua de lo que se est evaluando
2. Funcin evaluativa
- Valorando la eficacia del programa en su totalidad, cuando ha terminado
- Recoger informacin sobre los resultados finales,
y sobre el valor y mrito del programa.
Sirve al rendimiento de cuentas.
3. Funcin psicolgica o sociopoltica
- para motivar e incentivar una conducta deseada,
- para promover apoyo pblico
- e incrementar el conocimiento de unas actividades especiales
4. Funcin administrativa
- su uso para la aplicacin de las normas de funcionamiento de las organizaciones
5. Funcin poltica (GRONBACH)
- a las discusiones sobre vas alternativas que contribuyan al desarrollo de la accin
social,
- Detectar las necesidades y los temas importantes para la formacin de la comunidad
poltica.
a) Evaluacin interna o autoevaluacin de una institucin
- Realizad por los propios miembros de la institucin
b) Evaluacin externa
- Realizada por expertos para el rendimiento de cuentas
c) Autoevaluacin referida a las instituciones
- Herramienta fundamental que utilizan los modelos de evaluacin global de las organizaciones, como los modelos de excelencia
d) Evaluacin institucional con dos funciones
* evaluacin interna o autoevaluacin
* Evaluacin externa
- Rendimiento de cuentas ante la institucin
* Doble objetivo
- Evaluacin diagnstica
- Informar a la sociedad sobre cmo trabaja la institucin
- Determinadas en el momento de la planificacin
- Si va a ser sumativa, formativa, sociopoltico, administrativa, interna o de rendimiento de
cuentas

6. NUEVAS FUNCIONES DE LA EVALUACIN DE PROGRAMAS

6.1. UN NUEVO CONTEXTO POLTICO PARA LA EVALUACIN
1. Enfoque y metodologa

2. Globalizacin

a) SCRIVEN defiende que es posible evaluar todo, incluida la evaluacin

b) La evaluacin, cada vez ms, es metodolgicamente ms diversa
- Tendencias de polticas globales que estn transformando las sociedades a gran velocidad
- Nuevas tecnologas
- Grandes movimientos migratorios
- Los cambios de las economas locales a las economas globales

6.2. Nuevos actores, nuevos temas y nuevos sistemas de evaluacin

1. Auditoria

2. Gestin

- Inters por valorar el rendimiento de los programas, la evaluacin como rea clave
de trabajo para las agencias nacionales de auditoria (adopcin de la misma por 188
estados del mundo, 1992)
- los auditores han reconocido la necesidad que tenan de conocer mtodos diferentes a
los de la auditora:
. Metas de los programas y actividades
. Tareas relacionadas con el evaluador de programas

- Gestin: la medida y valoracin del rendimiento institucional, y de la satisfaccin de

las familias con ese rendimiento
- Rendir cuentas del logro de las metas
- Publicacin de informes de resultados de organismos gestionados con fondos pblicos o privados

6.3. Nuevos propsitos, perspectivas y mtodos para la realizacin de evaluaciones

1. Perspectivas generales

a) Evaluacin para el rendimiento de cuentas

- Pe, medida de resultados o eficacia
b) Evaluacin para el desarrollo
- pe, ayuda mediante la evaluacin para el fortalecimiento de las instituciones.
c) Evaluacin para el conocimiento
- Pe, la adquisicin de una ms profunda comprensin en alguna rea especfica.

6.3. Nuevos propsitos, perspectivas y mtodos para la realizacin de evaluaciones

2. Propsitos (CHELIMSKY)

3. Causas y efectos

1. Estudio, valoracin e informe de los resultados de las polticas pblicas y de sus programas.
2. Determinacin de la eficacia de los programas, proyectos y de sus componentes procesuales.
3. Mejora de las explicaciones de los problemas sociales y otros problemas pblicos, y sus
percepciones, para conducir los esfuerzos para mejorarlos.
4.Comprensin de cmo las organizaciones aprenden.
5. Fortalecimiento de la gestin de las instituciones para mejorar el rendimiento.
6.Incremento de la responsabilidad de las agencias pblicas.
7. Logro de reformas gubernamentales con la informacin evaluativa.
8 .Difusin de los resultados y medidas de eficacia de las intervenciones locales o nacionales hacia las intervenciones globales.

1 propsito: el evaluador se enfrenta con responder a la pregunta de s una intervencin

particular caus un particular resultado (tipos de preguntas de causa y efecto)
3 propsito el evaluador se enfrenta a cuestiones complejas para tratar de explicar los
asuntos que subyacen a las polticas pblicas, que requieren de diseos muy elaborados

a) Evaluacin para el rendimiento de cuentas

1. Punto de vista de
los auditores

- Las evaluaciones se hacen para el rendimiento de cuentas

- Cabra realizarse preguntas de causa y efecto sobre los resultados,
- Los diseos de grupos con muestras representativas de la poblacin
- Algo result como consecuencia del establecimiento de un determinado programa y el
desarrollo de sus acciones, son cuestiones que tienen que ver con la eficacia y la eficiencia
del programa
- Diseos de grupos experimentales o cuasi-experimentales
- Informacin de procesos probablemente sea ms relevante y til en las evaluaciones desde la perspectiva del desarrollo o de la mejora

b) Evaluacin para el desarrollo

1. Finalidades

- Para mejorar el rendimiento institucional

- Herramienta flexible que trabaja desde la perspectiva de prospectiva y retrospectiva, para
organizar un plan de investigacin y su seguimiento
- Mejorar los diseos de proyectos,
- Recomendacin de cambios en las actividades de una organizacin,
- Para desarrollar indicadores de rendimiento de acuerdo con las necesidades de mejora
de la eficacia de las instituciones, y
- Supervisar de cmo se estn aplicando los proyectos
- para comprender lo que est sucediendo con la aplicacin de un programa
- Para descubrir cmo se sienten los beneficiarios de un programa
- Si se est aplicando de acuerdo con el plan previsto

b) Evaluacin para el desarrollo

2. Otras perspectivas

- Desde la perspectiva de la evaluacin como rendimiento de cuentas, o desde la

evaluacin para el conocimiento, los evaluadores son vistos ms como consultores que
como evaluadores

3. Tipos de preguntas

- Cmo gestionar la mejora del programa y de la organizacin

- Cul es la mejor forma investigadora para formular o mejorar el plan?

5. Mtodos para evaluacin de la mejora

- La monitorizacin, o seguimiento de la conceptualization y aplicacin del programa,

- El estudio de casos, combinado con otros mtodos,
- La medida de la realizacin, con metodologas de investigacin cuantitativa y cualitativa

c) La evaluacin desde la perspectiva del conocimiento

1. Finalidad
2. Tipo de preguntas
3. Diseos de investigacin

- La evaluacin es hecha para generar comprensin y explicacin

- Tienen que ver con sus temas de inters, y de los equipos de investigacin
- Que permitan la obtencin de conclusiones y la generalizacin de los hallazgos
- Mayor claridad posible en la explicacin y documentacin de los mtodos utilizados
- Para permitir la replicacin o su uso en sntesis de investigacin y elaboracin de
nuevas polticas.

7. EL CONTEXTO POLTICO Y SU INCIDENCIA EN LA EVALUACIN

1. Preocupaciones

2. Expansin de la
prctica evaluativa

3. Caractersticas

La capacidad para realizar evaluaciones metodolgicamente vlidas y polticamente

relevantes
El desarrollo de mtodos, estilos y enfoques de evaluacin, informes para el uso de
los resultados de la evaluacin.
Incorporar los resultados de las evaluaciones en las decisiones polticas.
- Agencias Nacionales de Acreditacin (1992)
- Naciones Unidas
- Comisin Europea
- Banco Mundial
- Organizaciones no gubernamentales
- Asociaciones: Sociedad Europea de Evaluacin, las agencias de investigacin como la
Agencia Scrates de la Unin Europea o la revista internacional Evaluation publicada
por Sage y el Instituto Tavistock
1. Evaluacin, importante para las sociedades democrticas
2. Esfuerzo de dilogo con otras reas de estudio
3. Evaluacin en otros mbitos: sanidad, medioambientales, nuevas tecnologas, agricultura, defensa
4. Los evaluadores deben trabajar en grupo

7. EL CONTEXTO POLTICO Y SU INCIDENCIA EN LA EVALUACIN

4. Tareas de los evaluadores

1. Produccin de informes de evaluacin crebles y defendibles.

2. Independencia y libertad de presiones polticas.
3. Diseminacin de los hallazgos importantes de las evaluaciones.
4. Desarrollo de vnculos entre disciplinas y con la investigacin bsica.
5. Conseguir un mejor acceso a la informacin.
6. Introducir el realismo poltico dentro de la formacin en evaluacin.