Master en Innovación e Investigación en Educación

Departamento de Métodos de Investigación y Diagnóstico en

Educación I
Asignatura: Investigación Evaluativa - Curso 2019/2020

Profesora Dra. Dª. Catalina Martínez Mediano

Orientaciones para la realización del trabajo práctico

Para la realización del trabajo se recomienda su progresiva elaboración en paralelo al estudio de

los diferentes temas del curso y a la participación y seguimiento de los debates en los foros.
Presentamos las siguientes indicaciones a considerar para su realización paso a paso.

Antes de comenzar la realización del trabajo práctico, es conveniente conocer:

1. La finalidad y funciones de la evaluación y de la investigación evaluativa.
2. Los principales modelos de evaluación de programas que se estudian en este curso,
como son:
• El Modelo CIPP de Stufflebeam y Shinkfield: La evaluación orientada a la toma de
decisiones para la mejora y el rendimiento de cuentas.
• El modelo de Evaluación de progamas educativos de Ramón Pérez Juste.
• El enfoque Lógico para el diseño y la evaluación de programas, que ofrece un mapa
para la realización del trabajo práctico.
3. También se deben conocer las metodologías de investigación y sus técnicas para la
recogida de información y datos, para aplicarlas a la evaluación de un programa
4. Y será necesario conocer las Normas del Joint Committe para la evaluación de
programas, dado que su finalidad es orientar sobre cómo deben ser realizadas las
evaluaciones de programas, y comprobar si dicha evaluación ha sido realizada de
acuerdo con dichos normas o estándares.

El 5º tema del programa de este curso, El Modelo de Excelencia de la EFQM, no pretende su

aplicación, sino que se realizara su estudio, análisis y algunas de sus aplicaciones en ámbitos
educativos.

Cualquier actividad científica relacionada con la investigación, necesita estar fundamentada. Y

en la realización del trabajo se deberán tomar ciertas decisiones relacionadas con el programa a
evaluar, el modelo evaluativo más adecuado, y sus metodologías y las técnicas para la recogida
de datos, y las Normas o estándares que orientan al profesional de la evaluación de programas a
realizar de acuerdo con dichas normas, la evaluación, y una vez finalizada dicha evaluación del
programa, mostrar, mediante su aplicación, el grado de cumplimento de dichas normas.

El conocimiento de los temas del curso es fundamental para realizar bien el trabajo. Sin
embargo, debemos comenzar su realización a la par que estudiamos los contenidos del curso.

1
1. Selección del objeto de evaluación: un programa dentro de una institución educativa, o
un programa de ocio, o de formación en una empresa, con fines formativos, educativos.

En este punto van a tomar una decisión importante. Conviene a tal efecto, que tengan claro qué
es un programa educativo. Sobre esto, pueden encontrar información en el tema del Modelo de
evaluación de programas de Pérez Juste, en el libro de Pérez Juste, y también en el libro de la
profesora Catalina Martínez Mediano, en el tema referido al modelo de Pérez Juste, en el del
Modelo Lógico y en el tema dedicado a las normas del Joint Committee, en la introducción al
tema.

El programa educativo elegido para realizar su evaluación en el trabajo práctico, puede

desarrollarse dentro de una organización o institución educativa, aunque también puede
desarrollarse en ámbitos de educación no formal, o en un entorno laboral, con fines de
formación.

Se recomienda elegir un programa conocido por todos los miembros del grupo, o que la
temática sea de interés para todos los participantes en el equipo de trabajo. El programa no
necesariamente tiene que estar siendo aplicado, pudiendo realizarse un plan para la evaluación
de un programa, de modo más completo y detallado posible. No obstante, siempre que se pueda
será mejor evaluar un programa que esté siendo aplicado.

No serán programas elegibles para realizar el trabajo práctico, programas desarrollados por las
Comunidades Autónomas, debido a su gran magnitud, y a que suelen contar con su propio plan
de evaluación.
Se prefieren programas cortos, pequeños, fáciles de asumir, de controlar, e incluso desarrollar
por el propio equipo para aplicarlo durante un mes, o una quincena. Un programa corto puede
ser suficiente para aplicar todas las fases de un modelo evaluativo, y de ese modo, comprender
mejor todo el procedimiento, finalidad, de la evaluación de programas.

Debemos ser conscientes de que la realización de este trabajo es de aprendizaje, de prácticas,

con la finalidad aprender a evaluar programas, por lo que afrontar la evaluación de un programa
aplicándose en una institución, si se evalúa, debe hacerse desde esa perspectiva, de práctica.

Lo importante de esta práctica de evaluación de un programa educativo es que los miembros del
grupo aúnen esfuerzos, compartan compromisos, repartan tareas y colaboren en la realización
del trabajo, en la idea de que sumando se llega más que de modo individual.

Sugiero algunos temas para seleccionar el programa a evaluar, pudiendo ser cualquier otro:

• Programa para la reducción del acoso escolar.

• Programa de resolución de conflictos en los centros educativos.
• Programa para el desarrollo de estrategias colaborativas en el trabajo en grupo.
• Programa para la incorporación de las TICs para el aprendizaje de determinadas
materias.
• Programa para la formación en lengua de signos española en los centros educativos.
• Programa para incorporar el lenguaje de signos en los centros educativos y favorecer la
• inserción de alumnos con problemas de audición.

2
 • Programa para fomentar el deporte.
• Programa de desarrollo de competencias básicas en Educación Primaria.
• Programa para la mejora de la lectura comprensiva en primero de la ESO.
• Programa para el fomento de la música, instrumentos musicales, danza, teatro, etc.
• Programa para el desarrollo de la formación en nutrición en los centros educativos.
• Programa para el desarrollo de la formación en contenidos específicos en la empresa.
• Programa para el desarrollo de la creatividad en educación primaria.
• Programa para el desarrollo de la creatividad en educación secundaria.
• Programa para el desarrollo de la creatividad en educación superior.

Sabiendo que cualquiera de estos programas, nuestra finalidad principal en el trabajo práctico,
es evaluarlo.

Debemos ser realistas y ser conscientes de que en un semestre no se puede realizar una
evaluación completa sobre un programa que se esté aplicando en una institución educativa. Lo
importante es que los miembros del grupo se impliquen en la elección del programa, de modo
que sea interesante para todos, y juntos desarrolléis las estrategias para su diseño o selección y
plantear su evaluación, entre todos.

Los textos básicos del curso aportan información sobre lo que consideramos un programa en
contextos educativos. El modelo de evaluación de programas educativos de Pérez Juste
comienza con la aclaración del concepto de programa y sus características. Por institución
educativa podemos entender, básicamente, los centros educativos de cualquier nivel, siendo
digno de considerarse el concepto de organizaciones y, más en concreto, de organizaciones que
aprenden y su relación con la estrategia de mejora continua de los programas y de la
organización.

Deben mostrar en el trabajo debe reflejar las razones de la elección el programa, su finalidad las
estrategias y los procedimientos para su aplicación y su evaluación. El mapa que ofrece el
modelo lógico para la evaluación de programas que se muestra en el tema 5 del libro de la
profesora Martínez Mediano del 2017, es de gran ayuda para visualizar lo que debemos hacer a
la hora de elegir un programa con unas finalidades específicas para aplicarlo en un contexto
determinado, con unos recursos y tiempos necesarios para su aplicación, y cómo todo ello lo
vamos a evaluar, y finalmente valorar los resultados que consigue, para, posteriormente junto
con las propuestas que ayuden a tomar las decisiones para continuar con dicho programa,
suprimir lo que no haya resultado beneficioso, mejorar aquello que la evaluación haga
aconsejable, y completar con nuevas propuestas a realizar.

Hay una web conferencia sobre la aplicación del modelo CIPP para la evaluación de un
programa para el desarrollo de hábitos de vida saludable aplicado en la educación infantil en un
centro educativo, situada en el planificador de trabajo, al principio de la página principal del
curso.

La lectura actualizada de artículos debe quedar reflejada en el trabajo y debe estar bien citada en
el texto del trabajo y referenciada en la bibliografía siguiendo las normas de la APA.

3
2. Selección y justificación del modelo evaluativo a aplicar

En la bibliografía básica del curso se recogen algunos modelos de evaluación de programas, y

de ellos se van tratar en los debates en el curso virtual. Especialmente estudiaremos el modelo
CIPP de Stufflebeam y Shinkfield, el modelo de Pérez Juste y el enfoque de los Modelos
Lógicos.

Deben entender que, sea cualquiera que sea el modelo, no puede limitarse a tomarlo sin más
sino deberán analizarlo, valorarlo y razonar adecuadamente las decisiones a tomar para su
aplicación a la evaluación del programa que hayan elegido.

3. Presentación del plan de evaluación del programa educativo reflejando

• Motivaciones que le han llevado a seleccionar un determinado programa.

• Breve síntesis del programa, sus objetivos y sujetos a los que se dirige y características
generales de la organización, institución en donde se desarrolla el programa.
• Finalidad y objetivos que se pretenden en la evaluación del programa.
• Procedimiento y metodología para la realización de la evaluación:
o Indicadores de la calidad del propio programa, de su aplicación y de los resultados o
los logros que se esperan conseguir como resultado de su aplicación
o De quiénes recogerá información.
o Instrumentos y procedimientos a utilizar para la evaluación de los procesos y de los
resultados.
• Análisis de datos a realizar.

4. Realización del trabajo práctico de evaluación de un programa.

Deben desarrollar la evaluación del programa de acuerdo con el plan de evaluación indicado en
el apartado anterior, y todo ello en coherencia con los objetivos del programa educativo y los
objetivos de la evaluación del mismo. Deben desarrollar y mostrar algún instrumento para la
evaluación del programa, y justificar sus objetivos y cómo lo aplicaría. Y si lo aplica, mostrar
los datos obtenidos mediante tablas, sus análisis y los resultados e interpretación de los mismos.

Deben reflexionar y mostrar las implicaciones que los resultados de la evaluación del programa
pueden tener para el propio programa, así como para la organización en la que se desarrolla el
programa, las personas implicadas en su desarrollo y los beneficiarios directos e indirectos del
programa.

5. Aplicación de las Normas del Joint Committe.

Asimismo deberán aplicar las normas del Joint Committe del 2011 a todo el proceso evaluativo
realizado sobre el programa, valorando el grado de cumplimiento de cada una de las normas y
explicando las razones de no aplicación de alguna de ellas. La tabla a aplicar se presenta a
continuación:

4
Tabla 1. Tabla para la aplicación de las Normas del Joint Committee.

LISTA PARA LA COMPROBACIÓN DE LA APLICACIÓN DE LOS ESTÁNDARES

1 2 3 4
U1 Credibilidad del evaluador
U2 Atención a las audiencias
U3 Fines negociados
Utilidad

U4 Valores explícitos
U5 información relevante
U6 Procesos y productos significativos
U7 Oportuna y adecuada comunicación y presentación de los informes
U8 Preocupación por las consecuencias y la influencia
Factibilidad

F1 Gestión de proyectos
F2 Procedimientos prácticos
F3 Viabilidad contextual
F4 Uso de recursos
P1 Orientación de confianza e integradora
P2 Acuerdos formales
Legitimidad

P3 Derechos humanos y respeto

P4 Claridad y equidad
P5 Transparencia y divulgación
P6 Conflictos de intereses
P7 de Responsabilidad fiscal
A1 Conclusiones y decisiones justificadas
A2 Información válida
A3 información fiable
Exactitud

A4 Descripciones explícitas del programa y del contexto

A5 Gestión de la información
A6 Diseños y análisis adecuados
A7 Razonamiento explícito de la evaluación
A8 Comunicación y presentación de los informes
Respons

E1 Documentación de la evaluación
abilidad

E2 Metaevaluación interna
E3 Metaevaluación externa

El estándar puede recibir la valoración de 1 a 4, de acuerdo con el siguiente significado:

1. El estándar no era aplicable.
2. El estándar no se utilizó.
3. El estándar se utilizó parcialmente.
4. El estándar se utilizó
Debiendo explicar los motivos por los cuales el estándar no era aplicable, o no se utilizó.

6. El Informe de la evaluación del programa evaluado

Lo que se debe presentar como trabajo final, es el informe de la evaluación del programa. En
dicho informe se debe presentar el desarrollo completo de la evaluación del programa,
incluyendo los apartados que hemos mencionado, incluyendo los resultados del análisis de datos,

5
en el caso de que hubiera recogido datos, las conclusiones y recomendaciones derivadas para la
mejora del programa, la aplicación de las normas del Joint Committe a la evaluación del
programa evaluado, incluyendo una breve reflexión sobre el grado de cumplimento de los
estándares.

Al comienzo, después del índice, debe incluir un breve resumen –que debe mostrar la síntesis
del trabajo completa, pero brevísima, a modo de abstract, las palabras clave, o descriptores de lo
que se ha hecho en el trabajo, y también esto debe estar en inglés, como abstract y key words.
Es imprescindible leer artículos científicos para comprobar en qué consiste un informe de
investigación, breve, pero completo, con el resumen, las palabras clave, la introducción
incluyendo la motivación de la elección del tema, la presentación del programa, su evaluación y
sus resultados. Y finalmente, debe incluir la bibliografía utilizada en la realización del trabajo,
siguiendo las normas APA, quedando reflejada a lo largo del texto, bien citada la información
tomada de otras fuentes, libros, artículos, y referenciada correctamente en la bibliografía. La
lectura de los artículos ayudará a aprender, comprobar como se citan y referencian las fuentes
utilizadas para desarrollar el trabajo

No deben olvidar incluir la portada con el título del trabajo, los nombres de los miembros del
equipo, el nombre de la asignatura y la fecha del curso, en la página siguiente debe aparecer el
índice conteniendo los principales apartados del informe, incluida la bibliografía o referencias
bibliográficas.

La extensión del trabajo completo no debe ser inferior a 25 ni sobrepasar los 30 folios,
haciendo un esfuerzo por mostrar lo más importante del proceso evaluativo, escrito en
letra times 12 puntos, espacio interlineal 1,15.

7. Estructura para la realización del trabajo

El trabajo debe seguir la siguiente estructura básica:

Portada:
Nombre del máster y de la asignatura
Título del trabajo
Nombres de los miembros del equipo
Fecha

Segunda página:
Índice paginado

Tercera página:
Resumen del trabajo. Palabras claves.
Abstract. Key words.

Cuarta página y siguientes:

1. Introducción
Con motivaciones argumentadas para la elección del tema de trabajo, del programa a evaluar.
Interés, importancia, relevancia del mismo.
2. El programa a evaluar
2.1. El programa a evaluar.

6
 2.1.1. Sus fines y sus características
2.1.2. Fundamentación del programa. Referencias del mismo. Apoyo documental.
Calidad y relevancia del programa.
2.2. Contexto en el que se aplica. Organización. Recursos. Personas a las que se dirige.
3. Evaluación del programa
3.1. Propuesta justificada del modelo de evaluación de programas a utilizar, fines, objetivos,
fases o momentos, procedimientos.
3.2. Criterios de evaluación que utiliza. Indicadores de los mismos.
3.3. Metodologías de investigación y técnicas de recogida de
3.4. información, coherencia entre los criterios y los instrumentos.
3.5. Técnicas de análisis de la misma.
4. Resultados y propuestas de mejora
4.1. Presentación de resultados basados en los análisis de la evaluación del programa. Uso
adecuado de tablas y gráficos.
4.2. Discusión y Conclusiones.
4.3. Significado de la evaluación. Valoración de los resultados contextualizados.
4.4. Propuestas de mejora en coherencia sobre la calidad del programa, su funcionamiento
y sus resultados.
5. Aplicación de los estándares
5.1. Aplicación de las normas del Joint Committee a la evaluación realizada mediante una
tabla.
5.2. Comentarios sobre los estándares aplicados y grado de cumplimiento en la evaluación
del programa realizado.
6. Bibliografía Presentación ordenada, siguiendo normas APA. http://www.apastyle.org
7. Valoración personal acerca del trabajo realizado así como del trabajo en equipo con los
compañeros.

8. Criterios de valoración

El trabajo será valorado atendiendo a los siguientes criterios:

• Adecuación a las pautas dadas por el profesorado

• Fundamentación. Apoyo documental que evidencie las lecturas y la asimilación de las
mismas.

Las citas acertadas y pertinentes, y la bibliografía serán tomadas en consideración.

• Organización y estructura. Aunque como se suele decir, el Índice de un trabajo es lo

último que se confecciona, no es menos cierto que tal Índice es un indicador del grado
en que los autores tienen las ideas claras, organizadas y sistematizadas.
• Aportaciones personales. En un trabajo científico es preciso demostrar que se conoce
lo fundamental sobre el tema del mismo. Pero en un postgrado cabe esperar, también,
que los autores tengan posicionamiento propio, juicio personal, fruto de la reflexión y
de la asimilación alcanzada.

Ni que decir tiene que otros criterios, como la presentación, la riqueza y precisión del léxico y,
desde luego, la corrección ortográfica y sintáctica, son elementos a tomar en consideración en
la valoración del trabajo.

7
En síntesis, los criterios que serán aplicados, y la puntuación para cada uno de los apartados, se
muestran en la tabla 2.

Tabla 2. Estructura y criterios para la realización del trabajo y su evaluación.

Aspectos a Criterios de evaluación del trabajo Puntuación
evaluar
1. Presentación Organización y estructura interna. 0,25
Índice / Esquema. Paginación.
Resumen del trabajo. Palabras claves. También en inglés. 0,25
2. Introducción Motivaciones argumentadas para la elección del tema de 0,5
trabajo a
realizar. Interés del mismo.
3. El programa a El programa a evaluar. Sus fines, sus características 1
evaluar Fundamentación y referencias. Apoyo documental. Calidad y
relevancia de la bibliografía.
Contexto en el que se aplica. Organización. Recursos. 1
Personas a las que se dirige.
4. Evaluación del Propuesta justificada del modelo de evaluación de programas 1
programa a
utilizar, fines, objetivos, fases o momentos, procedimientos.
Criterios de evaluación que utiliza. Indicadores de los 1
mismos.
Metodologías de investigación y técnicas de recogida de 1
información, coherencia entre los criterios y los instrumentos.
Técnicas de análisis de la misma. 1
5. Resultados y Presentación de resultados basados en los análisis de la 0,5
propuestas de evaluación del programa. Uso adecuado de tablas y gráficos.
mejora Discusión y Conclusiones. 0,5
Significado de la evaluación. 0,25
Propuestas de mejora en coherencia sobre la calidad del 0,5
programa, su funcionamiento y sus resultados.
7. Aplicación de Aplicación de las normas del Joint Committee a la evaluación 0,25
los estándares realizada mediante una tabla.
Comentarios sobre los estándares aplicados y grado de 0,5
cumplimiento en la evaluación del programa realizado.
8. Bibliografía Presentación ordenada, siguiendo normas APA 0,5
http://www.apastyle.org
9. Valoración personal acerca del trabajo realizado así como del trabajo en equipo con los
compañeros.

La realización del trabajo práctico se realizará a lo largo del curso, pudiendo realizar preguntas
y recibir orientaciones a través del Foro para la Orientación del Trabajo Práctico.

Las tablas, gráficos o cuadros deberán ir con su correspondiente título y leyenda, y numeradas
correlativamente. La numeración de las tablas se sitúa encima de ellas, la de las gráficas debajo.
Más información sobre citas en la web de la APA (www.apastyle.org) y sobre la elaboración de
trabajos científicos en CASH, T.F. (2009). Caveats in the proficient preparation of an APA-
Style resarch manuscript for publiction. Body Image, 6, 1-6.

Se recomienda la lectura de artículos científicos como modo de aprender la escritura científica,

la presentación de los trabajos, la organización de los mismos en diferentes epígrafes, el
resumen, abstract, palabras clave, introducción, tablas, figuras, citas, referencias bibliográficas.

8
Quienes superen la prueba presencial y el trabajo en la convocatoria ordinaria serán incluidos en
actas con la calificación correspondiente.

Aquellos alumnos que no realicen alguna de tales actividades, o que no la superen, mantendrán
la parte superada para la convocatoria extraordinaria que se realiza en septiembre, pero no se
guarda la nota para el curso siguiente.

La profesora: Catalina Martínez Mediano Madrid, 1 de octubre de 2019