Documente Academic
Documente Profesional
Documente Cultură
RESUMEN
ABSTRACT
The research evaluation was established as a new research field at the confluence of powerful
developments around the evaluation and the research itself. Evaluate Research (hereafter RE),
is developed as a relevant model for assessing social and especially educational projects,
given its flexibility and thoroughness in terms of time, space, actors, objectives and results.
Using this methodology have evaluated the educational project of the Ministry of National
Education of Colombia called "Circles of Learning for displaced and vulnerable population of
the Municipality of Pasto”, this dissertation seeks to lay down the foundations for building an
evaluation model can be replicated in similar contexts
PALABRAS CLAVE: Investigación, Evaluación, Investigación Evaluativa, Círculos de
Aprendizaje, Evaluación de Proyectos Educativos.
HERNAN MODESTO RIVAS ESCOBAR
Ingeniero Agrónomo, Licenciado en Educación Básica Primaria con énfasis en Tecnología e
Informática, Especialista en Educación Ambiental.
Candidato a Magister en Educación Universidad de Nariño
Hernanrivas2@gmail.com
1
INTRODUCCION
Utilizando las herramientas que nos pone a disposición la investigación evaluativa descriptiva
y utilizando la metodología desarrollada por Stufflebeam y otros, CIPP, Contexto, Entrada,
Proceso y Producto, por sus siglas en ingles, con acceso a información de alta calidad y
mediante un proceso reflexivo sistematizado, se evaluó el programa educativo del Ministerio
de Educación Nacional denominado “Círculos de Aprendizaje”, en su aplicación con niños y
niñas en condición de desplazamiento y vulnerabilidad de la Ciudad de Pasto, en el
Departamento de Nariño, Colombia, en el periodo académico 2008 – 2009.
2
La Investigación evaluativa debe permitirle a los proyectos educativos responder
asertivamente a dos preguntas fundamentales: 1. ¿Cuál es la Visión más apropiada para la
evaluación de mi proyecto educativo? y 2. ¿Qué pasos debe seguir mi organización para
realizar esa visión de evaluación?
Los objetivos de este trabajo son el de validar la metodología CIIP como herramienta de la
Investigación Evaluativa en la evaluación de proyectos educativos y describir los procesos
utilizados en la evaluación del proyecto educativo del Ministerio de Educación Nacional “Los
Círculos de Aprendizaje”, en su aplicación por parte de la Universidad de Nariño a población
infantil en condición de desplazamiento y alta vulnerabilidad en la ciudad de Pasto en el
periodo académico 2008 – 2009.
Es conveniente en esta parte definir los proyectos educativos. La palabra proyecto se deriva
de los términos latinos PROCEIRE y PROIECTARE, que significan lanzar algo hacia
adelante, proyecto en sentido genérico significa la organización y planeación de todas las
tareas y actividades necesarias para lograr un objetivo.
3
de factores de orden social que permiten mejorar las condiciones educativas del
contexto y de la población donde se interviene". 5
• "Herramienta de planificación y gestión que permite compartir una finalidad y un
quehacer común, que da sentido al proceso educativo que se desarrolla en las
escuelas/liceos y les otorga identidad".6
• "Instrumento, a la vez político y técnico, que toma en cuenta demandas explícitas
hechas a la escuela o liceo, y que simultáneamente, es capaz de anticiparse a nuevos
requerimientos". 7
Al contrastar esto con nuestra realidad, nos encontramos con que ha sido tradicional que las
decisiones y estrategias se generen en los niveles centrales, desde donde llegan a las unidades
educativas. Respecto a las estrategias de resolución de problemas, en la práctica actual éstas
suelen ser reacciones frente a los problemas y/o cambios que surgen, sin mayores
elaboraciones o reflexiones, sin permitir planificar acciones de mediano y largo plazo.
Normalmente estamos "apagando incendios" que aparecen en el momento, y que extinguimos
con lo que se tiene más a mano8. Un proceso sistemático de evaluación permanente permite la
resolución de los problemas por los actores involucrados en el origen de los mismos.
2. LA INVESTIGACION EVALUATIVA
La IE, según L. Ruthman, citado por Cook y Reichardt9, es “el proceso de aplicar
procedimientos científicos para acumular evidencia válida y fiable sobre la manera y grado en
que un conjunto de actividades específicas produce resultados o efectos concretos”. Según
este criterio que compartimos, la IE, obtiene de manera reflexiva y sistemática información
sobre un programa o proyecto, sobre su funcionamiento y sobre sus efectos y consecuencias,
con el fin de construir nueva información y evidencia, para los actores del programa
educativo o sus patrocinadores, acerca de cómo se está desarrollando el proyecto, a que
4
resultados se han llegado y porque no, como han resultado las inversiones hechas en el. En
conclusión podemos afirmar que cuando se investiga, se evalúa.
El método CIIP como forma de aplicar una investigación evaluativa a proyectos sociales tiene
grandes potencialidades, derivadas de su flexibilidad, en tiempo, espacio y actores.
Su flexibilidad no debe ser confundida con la dificultad de lograr el mayor rigor investigativo,
por el contrario, la posibilidad de abordar de forma holística todos los elementos y fases del
proyecto educativo le permiten la construcción de información valida y pertinente que a su
vez es herramienta para la toma de decisiones que permitan en el mismo ejercicio del
proyecto o en forma posterior realizar las modificaciones o adecuaciones que permitan una
mejor prestación del servicio a los usuarios finales.
3. EL MODELO CIIP.
La evaluación desde el método CIIP, puede hacerse en diversas fases de ejecución del
proyecto, su versatilidad permite inclusive aplicar el método en las fases de planificación, de
igual manera se puede desarrollar durante la ejecución del proyecto o una vez terminado este,
el momento de aplicación del proceso evaluativo depende de los intereses de los evaluadores
o de los objetivos de la investigación.
Bajo este enfoque el proceso evaluativo es supra temporal, en la medida que el análisis del
contexto, de la entrada, del proceso y del producto es susceptible, y en algunos casos hasta
5
necesario, de aplicarse en diferentes estados de desarrollo del proyecto. El tiempo y el espacio
de aplicación de la evaluación de proyectos educativos se determina en el desarrollo de los
fines de la evaluación y en el estado de avance y consolidación de las metas del proyecto
educativo. En la fase de planificación del proyecto se puede aplicar el modelo CIIP con el fin
de determinar la consistencia y validez tanto del proceso mismo de la planificación como de
los resultados de la misma, de igual manera, podemos aplicar el modelo CIIP, en la fase de
desarrollo del programa lo que permite tomar decisiones sobre la misma marcha del proyecto,
y es totalmente pertinente la aplicación del modelo una vez ejecutado el proyecto con el fin de
evaluar el logro de los objetivos. En todos los casos espacio temporales, la evaluación tiene
un objetivo propositivo de construcción y mejoramiento de la prestación del servicio
educativo a favor de los usuarios finales y del proceso como herramienta de posible
replicación en otros contextos de forma mejorada y eficiente.
En general y según Alvira11, se pueden identificar cuatro momentos clave para la realización
de un proceso de evaluación de proyectos educativos:
Primer momento: Al analizar el problema que se quiere solucionar, valorando las
necesidades existentes.
Segundo momento: Una vez elaborado/diseñado un programa educativo para asegurar su
coherencia con:
• El problema a resolver, y
• Las necesidades existentes.
Asimismo, hay que asegurar que la estrategia de intervención tenga una justificación
empírica-racional y que haya coherencia entre todos los elementos del programa (recursos,
actividades, objetivos).
Tercer momento: Al empezar su aplicación para:
• Identificar los obstáculos a su aplicación.
• Asegurar que se está realmente llevando a cabo como se pensó, que se están desarrollando
las actividades previstas, que se llega a la población deseada, etc.
• Modificar la intervención prevista, en caso de que fuera necesario.
Cuarto momento: Una vez que el programa funcione satisfactoriamente en su aplicación
para asegurarse de que realmente cumple los objetivos de resultados previstos de una manera
eficiente.
6
Todos estos momentos están relacionados con las preguntas que pueden surgir, y que revelan
incertidumbres, al diseñar y ejecutar proyectos educativos
Éstas son algunas de las preguntas que pueden dar pie a una evaluación, evaluación que se
centrará en darles respuesta y en facilitar información para poder tomar decisiones
relacionadas con las preguntas de un modo racional y empírico.
El CIIP, permite que la evaluación pueda ser endógena, es decir los actores, sujetos y objetos
del proceso educativo son a la vez sujeto y objetos del proceso evaluativo. “The CIPP Model
is a comprehensive framework for guiding formative and summative evaluations of projects,
programs, personnel, products, institutions, and systems.”12
7
Evaluación de contexto como ayuda para la designación de las metas; la evaluación de
entrada como ayuda para dar forma a las propuestas; la evaluación del proceso como guía de
su realización, y la evaluación del producto al servicio de las decisiones de retroalimentación
(o continuidad del programa).
Caso del proyecto los Círculos de Aprendizaje para población desplazada y vulnerable del
Municipio de Pasto en el periodo 2008 – 2009 ejecutado por la Universidad de Nariño.
Es muy importante determinar que las evaluaciones de contexto, entrada, proceso y producto,
se pueden aplicar al mismo tiempo, o por el contrario se puede desarrollar un solo de los
procesos en un momento específico de diseño o ejecución del proyecto. Existe una relación
entre los elementos del modelo CIIP y el conjunto de actividades de un proyecto educativo tal
como se indica en la Figura 1:
TIPOS DE
DECISIONES
TIPOS DE
EVALUACIONES
ONES
8
estudiante
Metodología de Base (Escuela
activa Escuela Nueva).
Plan de Estudios
Instrumentos de seguimiento
Pedagógico
Población beneficiada
Experiencia de la Universidad
INSUMO
de Nariño como ejecutor de los
círculos de Aprendizaje en la
Ciudad de Pasto
Infraestructura de las
Instituciones Educativas en la
cuales se desarrollaría los CA
COGNITIVOS
Equipo de Trabajo
El Clima Escolar
Utilización de la metodología
de base “Escuela Nueva
PROCESO Escuela activa”
Desempeño De Los Tutores En
Los Procesos Pedagógicos
Desarrollados En Los CA.
Permanencia De Los
Estudiantes En Los CA
Pruebas OREALC
Continuidad de los estudiantes
RESULTADOS
en la Institución Educativa
madre.
9
Estrategias de atención sicosocial.
La importancia de la educación
Desarrollo de una cultura
PROCESO
democrática
La autoestima
Los instrumentos de acción de la
metodología Círculos de
Aprendizaje (guías de
aprendizaje, autocontrol de
RESULTADOS
asistencia, cuadro de valores).
La permanencia en el Círculo de
Aprendizaje y la condición de
desplazamiento.
La evaluación del contexto permite no actuar en el vacío sino de acuerdo con las
características de la realidad donde se van a aplicar las actividades educativas.
Las preguntas que pueden plantearse y que nos dirigen claramente a una evaluación de
contexto pueden ser las siguientes:
Algunos instrumentos que se pueden llevar a cabo para una evaluación del contexto son:
1. Inventario de recursos.
2. Indicadores sociales:
10
• Análisis de áreas
• Análisis de factores de riesgo
• Descripción de la población objeto
3. Análisis de usuarios/clientes.
4. Análisis de uso/utilización.
5. Encuesta a actores educativos.
6. Encuesta a padres de familia y comunidad
7. Encuesta a directivos y administradores del servicio educativo.
8. Observación participante.
9. Grupo focalizado.
10. Delphi.
11. Foro o asamblea comunitaria.
El concepto Insumo traducido literalmente del ingles desde la sigla CIIP, que identifica esta
forma de adelantar una investigación evaluativa, puede llevar a confusiones e inexactitudes,
por lo que considero conveniente aclarar un poco el concepto.
Si la evaluación es “ex ante”, es decir antes de la ejecución del proyecto educativo entonces
este tipo de evaluación nos permite adelantarnos a posibles problemas en la aplicación y
funcionamiento del programa, así como a su posible falta de efectividad.
11
• Analizar la coherencia del programa con los resultados obtenidos en la evaluación de
necesidades.
• Analizar la adecuación lógica y empírica del modelo de intervención y de la estrategia de
intervención en los que se asienta el programa.
Según Aviles-Garay y Ortiz17, la evaluación del insumo está diseñada para proveer
información y determinar cómo se utilizarán las fuentes de acuerdo con las metas del
programa. Se evalúan los aspectos específicos del currículo. Atiende las decisiones
estructurales; identifica y juzga las capacidades del sistema, las estrategias, el presupuesto y
los itinerarios. En la evaluación del diseño y conceptualización de un proyecto educativo
surgen una serie de preguntas que nos orientan hacia el conocimiento integral del proyecto.
Sugerimos las siguientes preguntas como mecanismo de orientación:
Centradas en la coherencia interna del programa
1 ¿Se han previsto recursos suficientes para aplicar el programa?
2 ¿Se ha especificado un calendario de aplicación?
3 ¿Los objetivos están correctamente jerarquizados? ¿Hay coherencia entre objetivos
generales y específicos?
4 ¿Hay coherencia entre las actividades previstas y los objetivos a lograr?
Centradas en la coherencia con la evaluación de Contexto
5 ¿Responden los objetivos a las necesidades detectadas?
6 ¿Está adecuadamente conceptualizado el problema objeto de la intervención?
7 ¿Está adecuadamente definida la población destinataria y la población intermedia?
Centradas en la adecuación del modelo y la estrategia de intervención
8 ¿El programa tiene una base teórica y empírica adecuada?
9 ¿Hay una relación adecuada entre las actividades y actuaciones previstas y el modelo de
intervención?
10 ¿Hay relación lógica entre objetivos previstos y modelo de intervención?
11 Dada la evaluación del contexto, el modelo teórico y de intervención seleccionados son los
mejores?
12
Esta fase del proceso de evaluación nos brinda información acerca de:
• Evaluación de impacto
• Evaluación de la efectividad
• Evaluación de la sostenibilidad
• Evaluación de la transportabilidad
La evaluación del producto busca recopilar descripciones y juicios acerca de los resultados y
relacionarlos con los objetivos y la información proporcionada por el contexto, los insumos y
por los procesos e interpretar su valor y su mérito21.
La evaluación del producto o también llamada de “output”, según Velaz, 22 está dirigida a
analizar e interpretar los logros del proyecto educativo, no sólo en cuanto a lo que han
aprendido los estudiantes, sino también a los efectos derivados de la formación: hábitos
13
adquiridos, modificaciones que los profesores aplican en las aulas tras la formación, etc. En
definitiva, el impacto del curso en los alumnos y en su contexto.
Algunas preguntas orientadoras para la realización de una evaluación del producto o de los
resultados podrían ser23:
El objetivo de esta fase de la IE según el modelo CIIP es valorar, interpretar y juzgar los
logros del proyecto educativo. Su objetivo es averiguar hasta qué punto el programa ha
satisfecho las necesidades de los actores educativos a los que pretendía servir.
Debe ocuparse de los efectos del programa, tanto de los deseados como de los no deseados, de
los positivos y de los negativos. Debe recoger y analizar juicios acerca del éxito del programa
de una amplia gama de gente relacionada con el mismo24.
4. CONCLUSIONES
14
3. El análisis y desarrollo del contexto, el diseño, el proceso y el producto, es una
visión integral del proceso de investigación evaluativa.
4. El modelo CIIP, utiliza tanto herramientas cualitativas como cuantitativas para el
acceso y análisis de la información obtenida en el proceso de evaluación, sin que
por eso pierda su condición descriptiva y cualitativa.
5. La evaluación continua, la introducción de mejoras26, el trabajo en equipo entre
todos los miembros de la comunidad educativa, garantiza el mejoramiento en la
prestación del servicio educativo.
BIBLIOGRAFIA
Astudillo, E.; Astudillo O.; Cuadra G.; Guerrero G.' Vaccaro L. (1995) Fortalecimiento y
Consolidación de Equipos de Gestión Comunal y Escolares. Bogotá: PU.C. -CIDE-
Ministerio de Educación Nacional.
15
Cook, T.D., Reichardt, Ch. S. (2005). Métodos cualitativos y cuantitativos en Investigación
Evaluativa. Madrid: EDICIONES MORATA.
Correa Uribe S.; Puerta Zapata A.; Restrepo Gómez B. (1996). Investigación Evaluativa.
ICFES. Bogotá.
MEN. (1994). Reflexión sobre los Proyectos Educativos Institucionales. Colombia Ministerio
de Educación Nacional.
Rentroia Iannone L. (2004). Evaluación Institucional: relato de una experiencia. Siglo XXI.
México.
Rivas Escobar H. y Villota Pantoja O. (2011) Los Círculos de Aprendizaje una alternativa
integral para la atención a la población vulnerable en el Municipio de Pasto. Tesis de
Maestría no publicada. Universidad de Nariño. Pasto. Colombia.
Stufflebeam, D. L. & otros (1971). Educational Evaluation and Decision Making. Itasca,
Illions: Peacock.
Stufflebeam, D. Presented at the 2003 Annual Conference of the Oregon Program Evaluators
Network (OPEN)
16
Tobon, S. (2004). Formación basada en competencias. Bogotá. Ediciones ECOE.
CITAS
17
1
Correa Uribe S.; Puerta Zapata A.; Restrepo Gómez B. (1996). Investigación Evaluativa. ICFES. Bogotá.
2
Stufflebeam, D. L., & Shinkfield, A. J. (1984). Systematic evaluation: A self-instructional guide to theory and practice.
Boston: Kluwer-Nijhoff.
3
UNESCO. (1996). Evaluative research in population education: Manual arising out of a regional training workshop.
Manila. United Nations Education, scientific and cultural organization.
4
MEN. (1994). Reflexión sobre los Proyectos Educativos Institucionales. Colombia Ministerio de Educación Nacional
5
CINTERPLAN (1993) "Metodología para la formulación y evaluación de proyectos educativos: un enfoque estratégico".
Venezuela: MEN
6
Astudillo, E. (1995). Proyecto Educativo Institucional y Gestión Escolar en la escuela y liceo en un contexto
descentralizado. Revista Pensamiento Educativo. Vol 16,
7
Astudillo, E.; Astudillo O.; Cuadra G.; Guerrero G.' Vaccaro L. (1995) Fortalecimiento y Consolidación de Equipos de
Gestión Comunal y Escolares. Bogotá: PU.C. -CIDE- Ministerio de Educación Nacional.
8
Consultado en internet en http://www.slideshare.net/rommis/gestion-estrategica-educacional el 15 de marzo del 2011.
9
Cook, T.D., Reichardt, Ch. S. (2005). Métodos cualitativos y cuantitativos en Investigación Evaluativa. Madrid:
EDICIONES MORATA.
10
Correa Uribe S.; Puerta Zapata A.; Restrepo Gómez B. (1996). Investigación Evaluativa. ICFES. Bogotá.
11
Alvira Martin, Francisco. (1999). Manual para la elaboración y evaluación de programas de
prevención de abuso de drogas. Madrid: Agencia antidroga de la Comunidad de Madrid, Imprenta
de la Comunidad de Madrid..
12
Stufflebeam, D. Presented at the 2003 Annual Conference of the Oregon Program Evaluators Network (OPEN)
13
Rivas Escobar H. y Villota Pantoja O. (2011) Los Círculos de Aprendizaje una alternativa integral para la atención a la
población vulnerable en el Municipio de Pasto. Tesis de Maestría no publicada. Universidad de Nariño. Pasto. Colombia.
14
Rivas Escobar H. y Villota Pantoja O. (2011) Los Círculos de Aprendizaje una alternativa integral para la atención a la
población vulnerable en el Municipio de Pasto. Tesis de Maestría no publicada. Universidad de Nariño. Pasto. Colombia.
15
Rentroia Iannone L. (2004). Evaluación Institucional: relato de una experiencia. Siglo XXI.
México.
16
Alvira Martin Francisco. (1999). Manual para la elaboración y evaluación de programas de prevención de abuso de
drogas. Madrid: Agencia antidroga de la Comunidad de Madrid, Imprenta de la Comunidad de Madrid.
17
Aviles-Garay E. y Ortiz G. (1995) Diseño del Modelo Evaluativo (según el modelo de Stufflebeam). Recuperado el 1 de
marzo del 2011 de http://www.pucpr.edu/facultad/ejaviles/ED
18
Correa Uribe S.; Puerta Zapata A.; Restrepo Gómez B. (1996). Investigación Evaluativa. ICFES. Bogotá.
19
Rivas Escobar H. y Villota Pantoja O. (2011) Los Círculos de Aprendizaje una alternativa integral para la atención a la
población vulnerable en el Municipio de Pasto. Tesis de Maestría no publicada. Universidad de Nariño. Pasto. Colombia.
20
STUFFLEBEAM, Daniel (2002): “The CIPP model for evaluation”, en L. STUFFLEBEAM, KELLAGHAN, (eds.): The
international handbook of educational evaluation (Capítulo 2). Boston, Kluwer Academic Publishers.
21
IDEM 15
22
Velaz de Medrano Ureta C. (1995) Evaluación de programas y de centros educativos: Diez años de investigación.
Ministerio de Educación y Ciencia CIDE. Madrid.
23
Alvira Martin, F. (1997). Metodología de la Evaluación de Programas: Un enfoque práctico. Ed. Lumen. Buenos Aires.
24
Martínez Mediano, C. (1996). Evaluación de programas educativos. Investigación evaluativa. Modelos de evaluación de
programas. Madrid: UNED. (Cuadernos de la UNED, Nº 159)
25
Stufflebeam, D. L. & otros (1971). Educational Evaluation and Decision Making. Itasca, Illions:
Peacock.
26
Tobon, S. (2004). Formación basada en competencias. Bogotá. Ediciones ECOE.