Documente Academic
Documente Profesional
Documente Cultură
MARCO TEÓRICO
Proponemos trabajar sobre la base teórica del modelo clásico de los cuatro niveles de
Donald Kirkpatrick (D. L. Kirkpatrick, 1959) para la evaluación de la formación.
1
aspectos más importantes (materiales, aulas, metodología pedagógica, organización,
profesor...). Una reacción positiva no asegura el aprendizaje, pero una reacción
negativa lo impide casi con toda probabilidad.
2
CARACTERIZACIÓN DEL MODELO DE EVALUACIÓN DE LA FORMACIÓN
CONTINUA
3
¿CON QUÉ se realiza la Evaluación?
Con los INSTRUMENTOS recogidos en esta guía y que han sido diseñados para cada
una de esas fases del proceso de evaluación.
¿CÓMO se comunicarán los resultados de la Evaluación?
Todo el proceso de evaluación se centralizará en la Unidad de Formación que,
recopilará los datos y resultados de cada fase analizados por el coordinador docente
de cada actividad que, una vez finalizado el proceso de evaluación, elaborará una
memoria final con informe de evaluación de la acción o programa y propondrá las
recomendaciones de mejora que considere convenientes.
4
CUADRO RESUMEN
Valoración de los aspectos Objetivos y Contenidos Participantes - Encuesta de Una vez finalizada la
básicos de la acción Logística y Medios Satisfacción según acción formativa
formativa propiamente Programación y gestión Participantes
dicha (satisfacción y - Encuesta de
docentes) Formadores Evaluación de Docentes
SATISFACCIÓN
Valoración de los aspectos Objetivos y Contenidos Formadores Encuesta de Una vez finalizada la
básicos de la acción Participantes Satisfacción según acción formativa
formativa propiamente Logística y Medios Formadores
dicha Programación y gestión
Valoración de la mejora del Resultados de aprendizaje Formadores Test a participantes Antes de y Nada
APRENDIZAJE aprendizaje con la acción más acabada la
formativa acción Formativa
IMPACTO EN Comprobación de Impacto Valorar la influencia de la Responsable de Encuesta de resultados A partir de 6 meses
RESULTADOS DE en la organización según formación sobre los resultados Unidad Superior responsable de después de
LA responsable de de la organización (impacto Unidad finalizada la
ORGANIZACIÓN Unidad/Servicio organizacional) actividad formativa
5
MODELO DE EVALUACIÓN DE LA FORMACIÓN CONTINUADA: DESCRIPCIÓN
DE CADA ETAPA. INDICADORES E INSTRUMENTOS
1. EVALUACIÓN DE SATISFACCIÓN
OBJETIVOS
Valorar los distintos aspectos que componen la acción formativa propiamente dicha
una vez finalizada su impartición, es decir, constituye una evaluación global de la
calidad del curso.
ASPECTOS A EVALUAR
Se evalúan los aspectos más relevantes de la acción formativa referidos a:
Expectativas
Organización
Metodología
Aplicabilidad
Competencia y Aptitud Pedagógica de los Formadores
Organización de la Planificación y Desarrollo de la Acción formativa
Participación de los alumnos
EVALUADORES
© Los PARTICIPANTES
© Los FORMADORES
INSTRUMENTOS/HERRAMIENTAS
En principio, se utilizarán dos instrumentos diferentes:
ENCUESTA DE SATISFACCIÓN SEGÚN PARTICIPANTES: “Cuestionario de
Evaluación del alumno de la planificación y desarrollo de la actividad formativa”
(UFyC 02.03)
ENCUESTA DE SATISFACCIÓN SEGÚN FORMADORES: “Cuestionario de
Evaluación del docente de la Planificación y Desarrollo de la acción formativa”
(UFyC 02.05)
ENCUESTA DE SATISFACCIÓN CON DOCENTES: “Cuestionario de
Evaluación del docente por los alumnos” (UFyC 02.04).
Ambos instrumentos son básicamente iguales con una única diferencia lógica, a los
participantes se les pide que evalúen el desempeño del formador/es del curso,
mientras que éstos deben evaluar aspectos relacionados con el clima de la clase y la
motivación e implicación de los participantes.
MOMENTO DE LA EVALUACIÓN
Esta evaluación se llevarán a cabo EL ÚLTIMO DÍA DEL CURSO, siendo el
Coordinador del mismo el responsable de prever y reservar en el calendario el tiempo
necesario para su realización (aproximadamente 10 minutos) así como entregar tanto
a los participantes como al formador las encuestas correspondientes para su
cumplimentación.
©
ı
En CURSOS donde participen VARIOS FORMADORES O PONENTES los
participantes expresarán su opinión sobre cada uno de ellos individualmente a través
de la ENCUESTA DE SATISFACCIÓN CON LOS DOCENTES. Para ello, una vez
finalizada la impartición del formador correspondiente los participantes deberán
cumplimentar dicha encuesta.
©
6
MODELO DE ENCUESTA DE SATISFACCIÓN SEGÚN PARTICIPANTES
7
MODELO DE ENCUESTA DE SATISFACCIÓN CON DOCENTES
8
RESULTADOS: INFORME EVALUACION DE SATISFACCIÓN FINAL
Los resultados de cada una de estas evaluaciones, generan un “INFORME
EVALUACION DE SATISFACCIÓN FINAL” que por cada cuestionario aporta los
siguientes datos:
A) SATISFACCION ALUMNOS:
a. Apartado A EXPECTATIVAS: Genera como Indicador el porcentaje
de consecución media de las expectativas de los alumnos respecto
al curso (media de 3 subcriterios: cobertura de expectativas de
expectativas, logro de objetivos y satisfacción general con el curso)
b. Apartado B ORGNIZACIÓN: Genera como Indicador el porcentaje
de satisfacción medio con la organización de la actividad (media de
3 subcriterios: satisfacción con la difusión e información de la
actividad, materiales y organización general del curso)
c. Apartado C METODOLOGÍA: Genera como Indicador el porcentaje
de satisfacción medio con la metodología docente utilizada en la
actividad (media de 3 subcriterios: satisfacción con la
documentación aportada, los medios didácticos empleados, los
ejercicios y casos prácticos presentados)
d. Apartado D APLICABILIDAD: Genera como Indicador el porcentaje
de satisfacción medio con la utilidad de la acción formativa (media
de 3 subcriterios: interés de los temas, grado de aprendizaje
conseguido percibido, utilidad para el puesto de desempeño actual)
e. Valoración Global: apartado reservado a la Unidad de Formación y
Calidad que calcula el porcentaje medio de las respuestas
recibidas).
B) SATISFACCION CON DOCENTES
a. Apartado A COMPETENCIA: Genera como Indicador el porcentaje
de satisfacción media con el nivel de competencia percibido del
docente (media de 2 subcriterios: nivel de competencia demostrado
y nivel de los temas tratados).
b. Apartado B ASPECTOS PEDAGÓGICOS: Genera como Indicador
el porcentaje de satisfacción media con la capacidad pedagógica del
docente (media de 3 subcriterios: claridad de los temas expuestos,
estructuración de los temas, adaptación a las necesidades del
grupo, mantenimiento del interés)
C) SATISFACCIÓN DEL DOCENTE
a. Apartado A ORGANIZACIÓN: Genera como Indicador el porcentaje
de satisfacción media del docente con la organización para impartir
la actividad (media de 5 subcriterios: organización del curso, aula,
medios audiovisuales, otros medios pedagógicos, apoyo de la
secretaría).
b. Apartado B ALUMNOS: Genera como Indicador el porcentaje de
satisfacción media con la participación de los alumnos en al curso
(media de 3 subcriterios: actitud, atención y motivación-
participación).
9
10
11
12
2. EVALUACIÓN DE APRENDIZAJE
OBJETIVOS
El objetivo de esta evaluación es controlar los resultados de aprendizaje de la acción
formativa, es decir, comprobar que los participantes en la acción formativa han
adquirido los conocimientos y/o destrezas previstos con el fin de verificar la
consecución de los objetivos específicos definidos en el proyecto formativo.
ASPECTOS A EVALUAR
Se trata de cuantificar el grado de asimilación de los conocimientos y/o habilidades
impartidos durante la acción formativa. La pirámide de la competencia de Miller
esquematiza diferentes aspectos de la evaluación de competencias (Figura 1) y
presenta 4 niveles de competencia, definidos como “sabe”, “sabe cómo”, “demuestra”
y “hace”.
Figura 1
EVALUADORES
Esta evaluación la realizará el FORMADOR/ES de las materias correspondientes en
estrecha colaboración con el COORDINADOR DOCENTE de la acción formativa con
el fin de homogeneizar la dificultad y características de las pruebas.
INSTRUMENTOS
Los instrumentos que existen para evaluar el aprendizaje son variados
dependiendo del objetivo específico de la evaluación. No obstante, el formador
y el coordinador de la acción formativa deberán decidir en cada caso la
conveniencia y utilidad de aplicar una determinada prueba, en función de los
objetivos específicos previstos en la acción formativa.
13
QUÉ PRUEBAS USAR
14
NIVEL DE HACE (o “muestra cómo”):
Los métodos utilizados para evaluar el tercer nivel de la pirámide ("muestra
cómo”) incluyen simulaciones estructuradas en que se usan personas in
vivo/situaciones para simular escenarios clínicos reales. Se basan
fundamentalmente en las simulaciones, que intentan reproducir situaciones
similares de la vida real en condiciones estandarizadas, que permiten que los
observadores puedan analizar las actuaciones específicas que se pretenden
evaluar. Estos métodos incluyen, las simulaciones por ordenador y los
enfermos simulados estandarizados.
Métodos para evaluar la actuación
a) La observación directa: La evaluación del desempeño de los alumnos con
pacientes/situaciones reales/simuladas a través de la observación puede ser
realizada de varias maneras: el observador puede estar físicamente presente,
observar desde un lugar contiguo o a través de cámaras de video u observar
un video de la entrevista. Esta decisión depende de los objetivos de la
evaluación:
presencia en caso de maniobras del examen físico o cirugías
cámaras o video-grabaciones para las habilidades de entrevista clínica.
El observador deberá recolectar información a través de una lista de cotejo o
una escala global que le permita dar feedback al alumno sobre el desempeño
con el propósito de mejorarla.
MOMENTO DE LA EVALUACIÓN
Para cada acción formativa debe realizarse una evaluación previa y otra posterior de
los conocimientos que posee el grupo de participantes en relación con los objetivos
propuestos.
La evaluación previa de conocimientos, permitirá al equipo docente disponer de
información acerca del nivel basal de conocimientos del grupo de modo que les sirva
de guía orientativa para adaptar los contenidos a impartir y la metodología y técnicas
didácticas a aplicar durante la acción formativa al perfil del grupo. Estas pruebas
deberán ser la misma de forma que permitan medir al final de la acción formativa si ha
habido una “ganancia de aprendizaje en el grupo”.
Y todo esto sin olvidar que para el resultado de la formación sea óptimo, LA
EVALUACIÓN DEL APRENDIZAJE debe ser CONTINUA durante todo el período que
dure la acción formativa.
El coordinador o Responsable de la acción formativa, previo a su comienzo, deberá
determinar la aplicación o no de la evaluación de aprendizaje y, en su caso, el
momento de su realización.
15
• Dadas las características de las acciones formativas, la prueba ha de ser
corta, una duración en torno a 5 minutos puede ser lo adecuado.
16
MODELO PRE-TEST/POST-TEST DE AUTOPERCEPCIÓN: Auto-percepción de
conocimientos/habilidades relacionados con los objetivos específicos de la actividad,
por parte del alumno antes y después de la acción formativa
PRE-TEST
(CUESTIONARIO A CUMPLIMENTAR ANTES DE COMENZAR LA ACTIVIDAD)
Denominación Unidad:
del curso:
Fecha de
celebración:
Estimado/a compañero/a: Con el fin de mejorar los contenidos del presente curso te pedimos
que contentes a estas cuestiones.
2.¿Tienes conocimientos………………………………………….?
¿Cuáles son tus expectativas respecto a lo que este curso te puede aportar?
17
CUESTIONARIO DE EVALUACIÓN DEL CONOCIMIENTO DEL ALUMNO UFyC
02.02
Denominación Unidad:
del curso:
Fecha de
celebración:
POST-TEST
(CUESTIONARIO A CUMPLIMENTAR AL FINALIZAR LA ACTIVIDAD)
Estimado/a compañero/a: Con el fin de mejorar los contenidos del presente curso te pedimos
que contentes a estas cuestiones.
18
MODELO TEST A PARTICIPANTES DE RESPUESTAS SIMPLES.
Fecha de celebración:
1.
Respuesta V F
2.
Respuesta V F
3.
Respuesta V F
4.
Respuesta V F
5.
Respuesta V F
6.
Respuesta V F
7.
Respuesta V F
8.
Respuesta V F
19
MODELO TEST A PARTICIPANTES DE RESPUESTAS MÚLTIPLES
Fecha de celebración:
1. a)
b)
c)
d)
2. a)
b)
c)
d)
3. a)
b)
c)
d)
4. a)
b)
c)
d)
5. a)
b)
c)
d)
6. a)
b)
c)
d)
7. a)
b)
c)
d)
8. a)
b)
c)
d)
a)
b)
20
RESULTADOS.
Informe de Resultados de la Evaluación de Aprendizaje
Este instrumento presenta información acerca de los resultados de aprendizaje
obtenidos por cada uno de los participantes, y es fruto de la aplicación de
herramientas de evaluación aplicadas a medir el nivel de aprendizaje de los
participantes en una acción formativa.
La estructura del instrumento presenta en el primer bloque los datos relativos al nivel
de conocimientos de los participantes a los que se aplica la evaluación antes del inicio
de la actividad.
El segundo bloque de información corresponde a los datos relativos al nivel de
conocimientos de los participantes a los que se aplica la evaluación al finalizar la
actividad.
El informe del pre-post test, cualquiera que sea el modelo de test elegido genera
información de puntuaciones promedio para cada pregunta al inicio y al final de la
acción formativa generando un gráfico que muestra el GAP de mejora de
conocimientos/habilidades percibidos por los alumnos entre el inicio y el final de la
intervención formativa.
Como medida del aprovechamiento de la acción formativa se toma un la puntuación
media obtenida por los participantes a cada una de las cuestiones planteadas así
como el Gap o diferencia entre la puntuación media de conocimientos al inicio y el final
de la acción formativa, lo que permite estimar la mejora de conocimientos adquirida.
21
22
EJEMPLO DE UN MODELO DE EVALUACIÓN DE CASO PRÁCTICO
CURSO: “_________________________________________________________”.
CRITERIO Punt.
Otros
Otros
23
Otros
PUNTUACIÓN TOTAL
Ausente-Incorrecto 0
Utiliza al menos uno de los indicadores propuestos. Se cumple el criterio, aunque no en toda su 1
dimensión
Utiliza al menos dos o más de los indicadores propuestos. Se cumple el criterio en todas sus 2
dimensiones
EVALUADOR:
24
3. EVALUACIÓN DE TRANSFERENCIA
OBJETIVOS
ASPECTOS A EVALUAR
Esta evaluación mide la influencia real de cada acción formativa o acción formativa en
el desempeño de las ocupaciones de los participantes y, por tanto, en la mejora de sus
competencias.
EVALUADORES
MOMENTO DE LA EVALUACIÓN
INSTRUMENTOS
25
su ocupación y explorar su percepción de utilidad para su desarrollo profesional:
TRANSFERENCIA AL PUESTO.
26
HERRAMIENTAS DE EVALUACIÓN. TRANSFERENCIA AL PUESTO.
CUESTIONARIO DE TRANSFERENCIA SEGÚN PARTICIPANTE
27
4. IMPACTO EN LA PRÁCTICA CLÍNICA (INDIVIDUAL)
OBJETIVO:
ASPECTOS A EVALUAR
Esta evaluación mide la influencia real de cada acción formativa o acción formativa en
un cambio en la práctica clínica que permite el desarrollo del profesional y por tanto,
en la mejora de sus competencias
Se evalúan los aspectos más relevantes de la acción formativa referidos a:
Aplicación mantenida en el tiempo al puesto de trabajo
Repercusión en el Desarrollo profesional
Desde la percepción del Superior inmediato respecto al cambio mantenido en el
tiempo de la práctica de los alumnos respecto a la aplicación de los contenidos
formativos a su puesto de trabajo y su influencia positiva consolidando en el tiempo
una mejora en su desarrollo profesional.
INSTRUMENTOS
EVALUADORES
MOMENTO DE LA EVALUACIÓN
28
Informe de resultados de la evaluación de impacto en la práctica clínica
individual.
El instrumento de evaluación de impacto en la práctica clínica tiene como fin
comprobar la eficacia de la acción formativa valorando su repercusión en cambio
mantenido en el tiempo en el desempeño de las funciones ordinarias de los
participantes, es decir, en qué medida los participantes están aplicando los
conocimientos y/o habilidades adquiridos en la acción formativa en el desempeño de
su ocupación y este cambio está “integrado” en su práctica habitual: IMPACTO EN LA
PRÁCTICA CLÍNICA (INDIVIDUAL).
29
HERRAMIENTAS DE EVALUACIÓN. IMPACTO INDIVIDUAL EN LA PRÁCTICA
CLÍNICA
30
RESULTADOS DE EVALUACIÓN DE TRANSFERECIA Y DE IMPACTO EN LA
PRÁCTICA CLÍNICA: INFORME DE EVALUACIÓN DE EVALUACION DE
TRANSFERENCIA INDIVIDUAL Y DE IMPACTO EN LA PRÁCTICA CLÍNICA
INDIVIDUAL
A) TRANSFERENCIA INCIVIDUAL (PARTICIPANTE)
31
GRÁFICOS DE IMPACTO INDIVIDUAL (PARTICIPANTE Y SUPERIOR)
32
5. IMPACTO A NIVEL DE ORGANIZACIÓN.
ASPECTOS A EVALUAR
Se evalúan los aspectos más relevantes de la acción formativa referidos a:
Impacto Interno
Impacto Externo
INSTRUMENTOS
Se utilizarán el siguiente instrumento: ENCUESTA DE IMPACTO EN LA
ORGANIZACIÓN (UFyC 03.03)
EVALUADORES
MOMENTO DE LA EVALUACIÓN
33
RESULTADOS DE LA EVALUACIÓN DE IMPACTO
Informe de resultados de la evaluación de transferencia al puesto.
El instrumento de evaluación de impacto en el CHJ tiene como objetivo evaluar el
efecto que la formación tiene sobre los RESULTADOS DE LA ORGANIZACIÓN del
CHJ, tanto a nivel interno, como a nivel externo, y ello teniendo en cuenta las dos
dificultades fundamentales que esto entraña: con frecuencia, la mejora de resultados
es debida simultáneamente a distintas acciones realizadas con este fin, y no
exclusivamente a acciones formativas.
34
MODELO CUESTIONARIO DE IMPACTO EN LOS RESULTADOS DE LA
ORGANIZACIÓN
Gracias a la Formación mi
Unidad/Servicio/Hospital ha mejorado
sus procesos.
La formación ha influido en la mejora
de la organización del trabajo de la
IMPACTO
Unidad/Servicio/Hospital.
La formación impartida en mi
Unidad/Servicio/Hospital ha influido
positivamente en la mejora de los
resultados anuales de nuestra
Unidad/Servicio/Hospital.
La formación ha propiciado que se
puedan incorporar Nuevas
Tecnologías en nuestra
EXTERNO
Unidad/Servicio/Hospital..
Debido a la formación nuestra
Unidad/Servicio/Hospital está en
mejores condiciones de calidad y
desarrollo que antes de la misma.
La formación ha favorecido que
IMPACTO
nuestra Unidad/Servicio/Hospital el
al cliente y sus necesidades tengan la
categoría de máxima prioridad
La formación ha propiciado que
Mejore la imagen exterior que se tiene
de nuestra Unidad/Servicio/Hopisltal.
35
A) IMPACTO EN RESULTADOS DE LA ORGANIZACIÓN
36
6. MEMORIA DE EVALUACIÓN FINAL DE LA ACCIÓN FORMATIVA
ÁREAS DE MEJORA
Identificación de los aspectos a destacar y a mejorar para incorporar mejoras o
correcciones en sucesivas convocatorias de la actividad formativa evaluada.
37
MODELO MEMORIA FINAL
Nº de Asistentes Definitivo:
INCIDENCIAS:
En caso de ser llevadas a cabo las acciones correctoras, resuma la resolución final de las
mismas.
EVALUACIONES
Fecha de Entrega:
Persona a la que se hace entrega:
Nº de encuestas
Denominación
del curso:
Fecha de
celebración:
Coordinador
Docente:
Observaciones:
Fecha de Entrega:
Persona a la que se hace entrega:
Nº de encuestas
Observaciones:
Resultados del pre-test (adjuntar respuestas y plantilla de análisis global):
Fecha de Entrega:
38
Persona a la que se hace entrega:
Nº de encuestas
Observaciones:
Fecha de Entrega:
Persona a la que se hace entrega:
Nº de encuestas
Observaciones:
Resultados de otros test o pruebas desarrollados durante la acción formativa, junto con el
análisis de los mismos (adjuntar respuestas y plantilla de análisis global).
Fecha de Entrega:
Persona a la que se hace entrega:
Nº de encuestas
Observaciones:
CONCLUSIONES:
Organizativos
A mejorar:
A destacar:
De los docentes.
A mejorar:
A destacar:
A mejorar:
A destacar:
Del Programa
A mejorar:
39
A destacar:
A mejorar:
A destacar:
Sugerencias generales:
A mejorar:
A destacar:
(nombre y firma):__________________________
40