Informe Memorias

INFORMES
Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010
Presidente de la Repblica Juan Manuel Santos Caldern Ministra de Educacin Nacional Mara Fernanda Campo Viceministro de Educacin Preescolar, Bsica y Media Mauricio Perfetti del Corral
Directora General Margarita Pea Borrero Secretaria General Gioconda Pia Elles Jefe Oficina Asesora de Comunicaciones y Mercadeo Ana Mara Uribe Gonzlez Director de Evaluacin Julin Patricio Mario Von Hildebrand Director de Produccin y Operaciones Francisco Ernesto Reyes Jimnez Director de Tecnologa Adolfo Serrano Martnez Jefe de la Oficina de Investigaciones Adriana Molina Mantilla Elaboracin del documento Luis Francisco Prez Calle Revisin de estilo Claudia Patricia Rojas Mora Diseo Giovanni Camacho Solorza ISBN de la versin electrnica: 978-958-11-0545-8 Bogot, D.C., octubre de 2010
INFORMES
Tabla de Contenidos
Presentacin ............................................................................................................................................5 1. El Seminario internacional anual: herramienta central del nuevo ICFES .............................................6 2. El Seminario anual del ICFES edicin 2010 ..........................................................................................8 3. Las presentaciones acadmicas ........................................................................................................13 4. Los participantes .................................................................................................................................46 5. Evaluacin del Seminario y de los talleres .........................................................................................48 6. Conclusiones ......................................................................................................................................53 Tabla de ilustraciones 1. Sistema articulado de evaluaciones del ICFES 2. Las preguntas deben orientar la investigacin y no al revs 3. Probabilidad de admisin en funcin del puntaje del Examen de Estado (SABER 11) en la Universidad de Los Andes 4. Distancia entre las residencias de los alumnos y los colegios en Bogot 5. La barra de aprendizaje 6. Segregaciones vertical y horizontal 7. Promedios TIMSS en matemticas octavo grado, pases participantes en 1995 y 2007 8. Distribucin de los puntajes de matemticas de Colombia en TIMSS 2007 9. Ejemplo de currculo de matemticas en pases con alto logro 10. Ejemplo de currculo de matemticas en Estados Unidos 11. Nmero total de asistentes al Seminario 12. Nmero de asistentes por afiliacin institucional 13. Nmero de asistentes por tipo de funcin 14. El Seminario hizo aportes a mi desempeo acadmico y/o profesional 15. Las temticas son pertinentes para ilustrar la importancia de investigar 16. Me gustara participar en seminarios posteriores 17. Las temticas me motivan a hacer investigacin 18. Tengo inters en participar en el Programa de fomento a la investigacin 19. El conocimiento de los conferencistas fue satisfactorio 20. La calidad de las conferencias fue satisfactoria 21. Resumen de las calificaciones del Seminario 22. Evaluacin de los talleres
INFORMES
Presentacin
Este informe tiene por objeto documentar las memorias del Seminario internacional de investigacin sobre la calidad de la educacin, organizado por el Instituto Colombiano para la Evaluacin de la Calidad (ICFES) y realizado en el Hotel Marriot de la ciudad de Bogot, los das 6 y 7 julio de 2010. El primer captulo del documento contiene los antecedentes del Seminario. En ste se presenta la funcin del evento en el marco del nuevo rol institucional del ICFES. Tambin se precisan los criterios que guiaron su organizacin. A continuacin se encuentra un resumen ejecutivo de las principales ideas desarrolladas en cada conferencia. Sus detalles pueden encontrarse en diversos estudios, cuyas referencias se indican en el documento. Varios de ellos se han publicado en la pgina web www.icfes.gov.co/investigacion. Luego se describen las estadsticas sobre el perfil de los participantes, los resultados de la evaluacin realizada por los asistentes al Seminario y a los tres talleres de entrenamiento que lo acompaaron. Finalmente se presentan algunas conclusiones.
I. El Seminario internacional anual: herramienta central del nuevo ICFES

El Seminario internacional de investigacin sobre la calidad de la educacin (Seminario anual del ICFES) es una de las actividades centrales del Programa de fomento a la investigacin de la entidad, el cual se deriva de la reciente reforma del Instituto. En efecto, desde 2009, la entidad se convirti en una empresa estatal de carcter social y adquiri un nuevo nombre: Instituto Colombiano para la Evaluacin de la Educacin. As, las funciones de promocin de la educacin superior fueron transferidas al Ministerio de Educacin. La sigla ICFES se conserv debido al reconocimiento y apropiacin social que tiene en el pas. El propsito de la reforma fue reorientar el Instituto hacia el sistema de evaluacin de resultados de la calidad de la educacin establecido en la Ley 1324 de 2009. De acuerdo con sta, la misin de la entidad tiene dos frentes: por una parte, ofrecer servicios de evaluacin de la educacin en todos sus niveles y, por otra, fomentar la investigacin sobre calidad educativa para contribuir a su mejoramiento, a partir de los datos de las pruebas aplicadas. Para promover la investigacin de la calidad educativa, el ICFES formul un Programa de fomento y cre en su estructura la Oficina de Gestin de Proyectos de Investigacin, encargada de ponerlo en marcha. ste se ejecuta a travs de dos convocatorias que, anualmente, financian estudios sobre la materia en los que los expertos emplean los datos de las evaluaciones del Instituto, as como otros de diferentes fuentes. La primera convocatoria es un proyecto conjunto del ICFES y del Departamento Administrativo de Ciencia, Tecnologa e Innovacin (Colciencias), dirigida a todos los grupos de investigacin del pas que se encuentran en la plataforma Scienti de la ltima entidad. La segunda es una iniciativa administrada enteramente por el Instituto, orientada a estudiantes colombianos de maestra y doctorado, residentes en el pas o en el exterior, interesados en realizar tesis de grado o trabajos de clase sobre la materia. En la primera convocatoria, la seleccin de las mejores propuestas, segn su rigor acadmico, est en manos de un Comit compuesto por miembros de diferentes programas nacionales de ciencia y tecnologa; en la segunda, es responsabilidad de un Comit Asesor integrado por acadmicos expertos1.
La informacin sobre la convocatoria ICFES-Colciencias puede encontrarse en el sitio www.colciencias.gov.co; la relacionada con la convocatoria ICFES dirigida a estudiantes, puede consultarse en www.icfes.gov.co, seccin Investigaciones.
INFORMES
El Seminario de investigacin sobre la calidad de la educacin fue concebido como un espacio acadmico anual para la presentacin de estudios innovadores adelantados por investigadores nacionales e internacionales, adems de los trabajos ms destacados financiados por el Programa de fomento. En el futuro, el Instituto espera que este evento se convierta en un referente obligado para la comunidad acadmica del pas, conocido por presentar trabajos rigurosos, recientes e independientes; cuyo proceso de seleccin sea competitivo; y donde los investigadores de distintas disciplinas encuentren un espacio de dilogo para el conocimiento y el mejoramiento de la calidad de la educacin. Tambin se espera la participacin de administradores pblicos y privados del sector, as como de docentes de todos los niveles, desde la educacin para la primera infancia hasta la superior. Cabe resaltar que el proceso de reforma del Instituto est acompaado de una poltica de acceso a las bases de datos para el desarrollo de investigaciones, sin menoscabo de la proteccin de la identidad de las personas que toman las pruebas y de las preguntas que se encuentran en stas2. As, la informacin del ICFES, financiada por la sociedad a travs del recaudo tributario, se convierte en un bien pblico que apoya el mejoramiento de la calidad de la educacin. Esta poltica de apertura tiene origen en la Ley 1324 de 2009.
En su Artculo 4, la Ley 1379 de 2009 establece que los resultados individuales podrn comunicarse a terceros que los requieran con el fin exclusivo de adelantar investigaciones sobre educacin, si garantizan que el dato individual no ser divulgado sin consentimiento previo de la persona evaluada. Sin perjuicio de la comunicacin de datos agregados, o para investigaciones, los datos relativos a cada persona pertenecern a aquella y no podrn ser divulgados sino con su autorizacin.
2. El Seminario anual del ICFES edicin 2010

El Seminario de 2010 fue una versin de transicin frente al evento deseado, pues las convocatorias para investigadores y estudiantes se abrieron ese mismo ao y los primeros trabajos para presentar en este espacio estarn disponibles a partir del segundo semestre de 2011. Por tanto, el ICFES recurri a un conjunto de estudios nacionales e internacionales que se asemejan a los que se difundirn en el futuro. Se espera que su presentacin motive la participacin de la comunidad acadmica en las convocatorias y que agreguen valor al conocimiento nacional sobre la calidad de la educacin y la manera de estudiarla. En las siguientes versiones del Seminario se mostrar una combinacin de estudios colombianos y extranjeros, adems de los de las convocatorias. En este contexto, el ICFES defini como propsitos del Seminario 2010: Presentar ante el pas el Programa de fomento a la investigacin sobre calidad de la educacin, el cual busca apoyar el desarrollo de las capacidades nacionales en investigacin a travs de la financiacin de proyectos sobre el tema. Los mejores trabajos de esta iniciativa se presentarn en posteriores ediciones del Seminario. Promover el inters en la investigacin sobre la calidad de la educacin, a travs de la presentacin de estudios nacionales e internacionales que empleen resultados de pruebas estandarizadas sobre el logro acadmico. Brindar talleres introductorios sobre el uso de las bases de datos de las pruebas aplicadas por el ICFES y las metodologas de investigacin cuantitativa. La seleccin de los estudios para la edicin 2010 del Seminario se bas en los siguientes criterios: rigor acadmico; uso de las bases de datos de las pruebas estandarizadas de logro acadmico del ICFES o de otras instituciones; y, especialmente, heterogeneidad de preguntas de investigacin, metodologas, niveles educativos y ubicaciones geogrficas. En cuanto al ltimo tema, el Instituto abri un espacio en el evento para la presentacin de trabajos comparativos internacionales que permitiera contrastar la situacin de Colombia con la de otros pases. Tambin invit profesores extranjeros, de manera que los participantes conocieran, de primera mano, literatura internacional relevante. Estos criterios se concretaron en un conjunto de trabajos de expertos colombianos, estadounidenses y canadienses, provenientes de la educacin, la economa y la estadstica. Las preguntas de investigacin fueron:
INFORMES
Qu orientaciones deben tenerse en cuenta para adelantar investigaciones cientficas sobre la calidad de la educacin? (Richard Shavelson, educacin, Universidad de Stanford, Estados Unidos). Cul es el valor agregado de las universidades en la formacin de capital humano en Colombia? (Juan Saavedra, economa, Colombia). Cul es el impacto de los colegios en concesin de Bogot en el desempeo escolar? (Juan Bonilla, economa, Estados Unidos). Cul es la importancia de las brechas de aprendizaje causadas por diferencias socioeconmicas en los resultados de las pruebas estandarizadas? (Douglas Willms, poltica social, Canad). Cmo ha sido el desempeo de Colombia en las diferentes versiones del Estudio Internacional de Tendencias en Matemticas y Ciencias (TIMSS, por sus siglas en ingls) realizadas en el pas? (Isabel Fernandes y Carolina Lopera, ICFES, Colombia). Qu se puede aprender sobre factores asociados a los puntajes obtenidos en el TIMSS? (Emilio Porta, Banco Mundial, Nicaragua). Cul es la relacin entre la organizacin curricular y el desempeo en las pruebas de logro? (William Schmidt, educacin, Estados Unidos). La heterogeneidad metodolgica fue otro de los criterios principales para integrar el programa, de forma que los participantes conocieran una amplia variedad de aproximaciones de investigacin desde distintas disciplinas. En el primer da se presentaron conferencias sobre estudios que emplean metodologas causales, es decir, aquellas en las que las estimaciones se pueden atribuir causalmente al programa o a la intervencin investigada, utilizando fuentes de variacin exgenas de las variables de inters para la construccin de grupos de control sin sesgos de seleccin (en otras palabras, los individuos promedio en los grupos de tratamiento y de control son iguales en variables observables e inobservables, y slo se diferencian por la pertenencia al programa evaluado). En el Seminario se expusieron trabajos que utilizan dos de estos mtodos: regresiones discontinuas (Saavedra) y variables instrumentales (Bonilla). En las conferencias del segundo da se expusieron estudios que emplean metodologas de correlacin de variables. stas, aunque no permiten atribuir causalmente el efecto de una variable sobre otra, s pueden: Describir qu est ocurriendo con el fenmeno de inters (por ejemplo, cmo se comparan los resultados de Colombia en el TIMSS frente a otros pases?). Visibilizar relaciones entre variables no intuitivas (cmo se asocia la coherencia del currculo con los puntajes obtenidos?).
Cuantificar relaciones entre variables (cunto aportan las diferencias socioeconmicas a la explicacin de las diferencias de puntaje entre colegios?). En el Seminario se presentaron las tres preguntas mencionadas en los trabajos de Fernandes y Lopera, adems de Porta (TIMSS); Schmidt (currculo); y Willms (brechas de aprendizaje). De otra parte, el Seminario permiti poner a prueba la primera versin de los talleres de entrenamiento sobre el uso de las bases de datos de pruebas de logro acadmico, dirigidos a investigadores. La decisin de llevarlos a cabo obedeci a una revisin adelantada por el ICFES sobre las actividades de institutos semejantes en otras partes del mundo. A partir de ella se concluy que varias de estas entidades capacitan a los investigadores en el tema. En esta ocasin, los talleres se implementaron de manera simultnea al Seminario, en las jornadas de la tarde, y se centraron en las metodologas empleadas en los estudios expuestos en las conferencias. As, el primer da se dedicaron a las metodologas causales; y el segundo, a las de correlacin. Estos eventos estuvieron a cargo de algunos conferencistas, de manera que los participantes pudieran profundizar en los mtodos a partir de un dilogo directo con los autores de las investigaciones. De esta forma, el martes 6 de julio se adelant el taller Inferencia causal en investigacin sobre calidad de la educacin, a cargo del economista Juan Saavedra (Universidad de Los Andes). Sus objetivos fueron determinar la diferencia entre asociacin y causacin, adems de presentar enfoques metodolgicos que permitieran establecer relaciones causales entre insumos didcticos y calidad de la educacin. El plan de trabajo se dividi en cinco partes: La diferencia fundamental entre asociacin y causacin. El problema fundamental de la evaluacin de la calidad de la educacin. Mtodos experimentales, fortalezas y debilidades. Mtodos cuasi-experimentales, fortalezas y debilidades. Ejercicio prctico de 1,5 horas de duracin, aproximadamente. Se esperaba que al final del taller los participantes hubieran comprendido la diferencia entre asociacin y causacin, y adquirido un conocimiento bsico sobre algunas herramientas empricas para la inferencia causal. El mismo martes, simultneamente, se dict un taller sobre el uso de la base de datos de SABER 2009, el cual estuvo a cargo de lvaro Uzaheta, Vctor Cervantes y Carolina Lopera, funcionarios de la Direccin de Evaluacin del ICFES. Durante la capacitacin se realiz una breve presentacin de la metodologa de valores plausibles y su utilidad en el contexto de
10
INFORMES
las pruebas en las que los evaluados se enfrentan a un conjunto reducido de tems. De esta forma, se ilustr la metodologa, el desarrollo de estimaciones sobre estadsticas de inters (medias, proporciones, regresiones) y el clculo de errores estndar a partir de la utilizacin conjunta del diseo muestral y los valores plausibles de la muestra nacional de SABER 2009. En las sesiones prcticas se utiliz el paquete estadstico SPSS. El mircoles 7 de julio se llev a cabo el Taller sobre modelos jerrquicos, a cargo de Douglas Willms (Universidad New Brunswick, Canad). Algunas de las preguntas ms interesantes de poltica pblica estn relacionadas con los efectos que las prcticas en el aula y las polticas escolares tienen sobre los resultados de los estudiantes en las pruebas. El propsito del taller fue generar un acercamiento de los participantes a las tcnicas apropiadas para responder a esas preguntas mediante el anlisis de datos estructurados jerrquicamente. En el taller se trabaj con una base de datos grande: la del Programa Internacional de Evaluacin de Estudiantes (PISA) de 2006 para Colombia. Los asistentes aprendieron cmo utilizar la compleja estructura de ponderacin de este estudio y los principios de los modelos lineales jerrquicos. El siguiente fue el programa del Seminario y sus talleres:
Sesin 1. Martes 6 de julio (maana)

08:00 09:00 9:30 Registro de participantes. Programa de fomento a la investigacin sobre la calidad de la educacin del lCFES Conferencista: Margarita Pea, Directora del ICFES. Preguntas de investigacin y mtodos empricos para el estudio de la calidad de la educacin en distintas disciplinas Conferencista: Richard Shavelson, Universidad de Stanford, Facultad de Educacin. (Videoconferencia desde Alemania, en ingls con traduccin simultnea). Sesin de preguntas de los participantes. Refrigerio. Capital humano, retornos y calidad de la educacin superior en Colombia Conferencista: Juan Saavedra, Universidad de Los Andes, Escuela de Gobierno. El impacto de los colegios en concesin en el rendimiento acadmico Conferencista: Juan Diego Bonilla, Universidad de Maryland, Facultad de Economa. Panel de preguntas y comentarios Comentarista: Mara Figueroa, Universidad de Los Andes, Centro de Informacin y Formacin en Educacin (CIFE). Almuerzo para los participantes en los talleres de la tarde.
10:30 11:00 12:00 13:00
13:30
11
Sesin 2. Martes 6 de julio (tarde)

15:00 Curso introductorio sobre inferencia causal en investigacin sobre calidad de la educacin Instructor: Juan Saavedra, Universidad de Los Andes, Escuela de Gobierno. Cupo limitado: hasta 30 participantes. Cierre del taller. Taller de uso de bases de datos SABER 2009 Instructores: Alvaro Uzhaeta, Vctor Cervantes y Carolina Lopera, ICFES. Cupo limitado: hasta 30 participantes. Cierre del taller.
18:00
Sesin 3. Mircoles 7 de julio (maana)

08:30 La desigualdad en el aprendizaje Conferencista: Douglas Willms, Universidad de New Brunswick, Instituto Canadiense de Poltica Social. (Conferencia en ingls con traduccin simultnea). Presentacin del libro Resultados de Colombia y prcticas curriculares en matemticas y ciencias TIMSS 2007 Conferencistas: Isabel Fernandes y Carolina Lopera, ICFES. Refrigerio. Usando TIMSS para entender los determinantes de aprendizaje Conferencista: Emilio Porta, Banco Mundial. Coherencia en la enseanza de las matemticas Conferencista: William Schmidt, Michigan State University, Facultad de Educacin. (Conferencia en ingls con traduccin simultnea). Panel de preguntas y comentarios Comentarista: Jorge Ivn Gonzlez, Programa de las Naciones Unidas para el Desarrollo (PNUD). Cierre del seminario Conferencista: Francisco Miranda, Director de Colciencias. Almuerzo para los participantes en los talleres de la tarde.
09:30
10:15 10:45 11:30
12:30 1:00 1:30
Sesin 4. Mircoles 7 de julio (tarde)

15:00 Taller sobre modelos jerrquicos Instructor: Douglas Willms, Universidad de New Brunswick, Instituto Canadiense de Poltica Social. (Taller en ingls con traduccin simultnea). Cupo limitado: hasta 30 participantes. Cierre del taller.
18:00
12
INFORMES
3. Las presentaciones acadmicas

En este captulo se presentan las principales ideas de los conferencistas. Sus presentaciones en Power Point y el texto del estudio respectivo se encuentran en la pgina web del ICFES (cuando aplica). Estos resmenes no pretenden reemplazar la lectura de los libros y los documentos de los autores, sino transmitir algunos de los planteamientos formulados en el evento. Conferencista: Conferencia: Margarita Pea, Directora del ICFES Programa de fomento a la investigacin sobre la calidad de la educacin
Los principales planteamientos de esta conferencia fueron: 1. El ICFES tiene nuevos objetivos misionales; entre ellos, el fomento de la investigacin es una prioridad. Se espera que el Instituto promueva capacidades nacionales de investigacin y contribuya a mejorar la calidad de la educacin en Colombia. 2. En este marco surge el Programa de fomento a la investigacin sobre la calidad de la educacin y sus dos convocatorias: una adelantada en alianza con Colciencias y dirigida a grupos de investigacin; y otra, administrada directamente por el ICFES, orientada a estudiantes de maestra y doctorado. 3. El ICFES pone a disposicin de la comunidad acadmica los datos de las pruebas: SABER 5 y 9. Mide competencias en lenguaje, matemticas y ciencias; y es adelantada de manera censal, segn lo establecido en la Ley 715 de 2001. Para el ao 2009 se dispone de informacin socioeconmica de los estudiantes, la cual es consistente con el ndice de Calidad de Vida del Departamento Administrativo Nacional de Estadstica (DANE); as como de factores asociados al desempeo escolar en las pruebas, obtenida a partir de formularios aplicados a estudiantes, docentes y rectores de las instituciones educativas. SABER 11 (antiguo Examen de Estado). Se emplea como criterio de admisin para la educacin superior. Su ncleo comn mide competencias en matemticas, lenguaje, qumica, fsica, biologa, ingls, ciencias sociales y filosofa; y su componente flexible tiene una prueba de profundizacin y otra interdisciplinar. Adems de sus resultados, existe informacin socioeconmica del individuo y su familia, as como datos de la institucin educativa, los cuales estn disponibles desde el ao 2000.
13
SABER PRO (antiguos ECAES). Se aplica al finalizar el pregrado, con el fin de medir competencias especficas de algunos programas acadmicos y competencias genricas (comunicacin escrita, solucin de problemas, pensamiento crtico, entendimiento interpersonal, comprensin lectora e ingls). Los resultados se acompaan con informacin socioeconmica del individuo y su familia, as como de la institucin educativa. Hay datos disponibles desde el ao 2003. Internacionales, como: TIMSS (Trends in Internacional Mathematics and Science Study, Estudio Internacional de Tendencias en Matemticas y Ciencias). Existen datos para una muestra de estudiantes de los grados cuarto y octavo, en las reas mencionadas y para los aos 1995 y 2007. PISA (Programa Internacional para la Evaluacin de Estudiantes): Prueba de desempeo en matemticas, lectura y ciencias aplicada a estudiantes de 15 aos de edad de varios pases del mundo. Incluye variables sociodemogrficas (por ejemplo, gnero, edad), informacin sobre el establecimiento educativo y los docentes (por ejemplo, percepcin de la calidad de los docentes, compromiso de los padres de familia, recursos de la institucin), y otras variables de los estudiantes (por ejemplo, uso del tiempo escolar y extraescolar). Datos disponibles de 2000, 2003 y 2006. PIRLS (Progress in International Reading Literacy Study): datos de 2001. Prueba de desempeo en lectura en estudiantes de cuarto grado de varios pases del mundo. Incluye variables sociodemogrficas, de los docentes y de las escuelas (por ejemplo, horas dedicadas en las escuelas a la instruccin en lenguaje, recursos de las escuelas, ambiente escolar), as como otras variables individuales de los estudiantes relacionadas con la lectura (por ejemplo, hbitos de lectura por fuera de la escuela). CIVED (Civic Education Study, Estudio de Educacin Cvica) e ICCS (Estudio Internacional de Cvica y Ciudadana). Miden conocimientos, conductas y actitudes cvicas de los estudiantes de 14 aos. Los datos disponibles son de los aos 1999 (CIVED) y 2009 (ICCS).
14
INFORMES
Ilustracin 1. Sistema articulado de evaluaciones del ICFES

Margarita Pea Borrero es la Directora del ICFES. Adems de liderar el proceso de reforma del Instituto, se ha desempeado como Secretara de Educacin de Bogot, Viceministra de Educacin Nacional, Directora de Desarrollo Social del Departamento Nacional de Planeacin y consultora internacional del Banco Interamericano de Desarrollo, entre otros cargos relacionados con el sector educativo. Conferencista: Conferencia: Estudio: Richard Shavelson (Universidad de Stanford, Estados Unidos) Preguntas de investigacin y mtodos empricos para el estudio de la calidad de la educacin en distintas disciplinas Shavelson & Towne (2002). Investigacin cientfica en educacin (Scientific Research in Education). Washington DC, Estados Unidos. National Research Council de Estados Unidos. (Disponible en ingls).
A continuacin se exponen los principales planteamientos de esta conferencia, presentada en directo a travs de una videoconferencia desde Alemania. 1. La conferencia se estructura en tres temas: Apoyo del gobierno al desarrollo de la infraestructura para investigar sobre calidad de la educacin en Colombia. Vnculos entre preguntas y mtodos de investigacin. Se hace nfasis en que las primeras deben orientar la seleccin de los segundos y no al contrario.
15
Las preguntas empricas deben diferenciarse de las preguntas normativas sobre la educacin (relacionadas con los valores y con lo que debe hacerse en este tema). Las primeras pueden informar, pero no reemplazar las segundas. 2. El autor destaca la importancia de la promocin de la investigacin en calidad educativa por parte del ICFES. Afirma que los gobiernos tienen problemas en hacer inversiones significativas en este aspecto porque la investigacin requiere teorizacin y mtodos complejos, y no hay suficientes expertos para llevar a cabo esta tarea. Sin embargo, el Instituto est haciendo este esfuerzo con su Programa de fomento. En 1988, el autor particip en el diseo y desarrollo de una iniciativa semejante en Estados Unidos, en compaa del Director del Centro Nacional de Estadsticas de la Educacin. sta surgi debido a que los datos longitudinales sobre educacin no se estaban utilizando y a que el Estado no financiaba la infraestructura para adelantar investigacin cuantitativa sobre calidad educativa. As naci el Programa AERA, cuyo Director actual es William Schmidt. El programa fue lanzado en 1990 y funciona hasta hoy. Es financiado por el Centro Nacional de Estadsticas de la Educacin de Estados Unidos y por la Fundacin Nacional para las Ciencias. Lo orienta un comit independiente de investigadores de alta credibilidad en el pas. Los componentes del programa han variado con el tiempo y han incluido, por ejemplo: seminarios dirigidos a funcionarios del gobierno para que conozcan estudios recientes; becas para investigadores sobre estudios aplicados que informen la poltica pblica y para tesis doctorales, semejantes a las entregadas por el ICFES a alumnos de maestra y doctorado; una reunin anual sobre estadsticas; y think tanks para brindar informacin oportuna a las preguntas del Estado sobre sus polticas educativas, las cuales requieren respuestas expertas. Hace poco se celebr el vigsimo aniversario del programa de becas. Adems, distintas evaluaciones externas y mediciones propias del programa han mostrado que ste ha tenido un xito extraordinario. 3. Las principales lecciones aprendidas sobre el programa AERA son: El esquema de funcionamiento del programa de becas es esencial para que realice un buen trabajo. La calidad de los miembros del Comit Directivo y su independencia de los intereses del gobierno le dan credibilidad a la iniciativa y a los trabajos que apoya. Es importante que el diseo de los programas sea flexible para responder a los cambios en las necesidades y conocimientos que emergen con el tiempo.
16
INFORMES
Construir el programa requiere tiempo. Se necesitaron casi 5 aos para recibir el nmero de propuestas deseado y otros 2 o 3 aos para conseguir propuestas con la calidad esperada. El Centro de Estadsticas tiene un rol vital en el programa: entrenar a los investigadores en las bases de datos y en los modelos que se pueden emplear, adems de formar las nuevas generaciones que van a adelantar los estudios. Es importante complementar los hallazgos cuantitativos con el seguimiento cualitativo. Por ejemplo, una reconocida investigadora present a AERA resultados interesantes sobre un famoso programa para la primera infancia en Estados Unidos (Head Start). Antes de finalizar su informe y de que ste fuera aceptado, se le solicit visitar los centros de esa iniciativa para contextualizar sus hallazgos. El think tank es muy til. Por ejemplo, en la preparacin del TIMSS existan desacuerdos entre los pases sobre los tems de matemticas y ciencias que deban incluirse en las pruebas, por lo que la tendencia fue escoger el mnimo comn denominador. AERA ayud en este proceso y contribuy al xito de este estudio. En las deliberaciones del Comit Directivo se aprendi mucho sobre la inferencia causal basada en datos observacionales. Estas reflexiones fueron publicadas y pueden consultarse en la pgina web de AERA. 4. El segundo tema son las preguntas y las metodologas de investigacin. Las tres preguntas centrales que la investigacin cientfica quiere contestar son (hay otras, por supuesto, pero no se responden desde la ciencia): Qu est ocurriendo? Esta pregunta se responde con mtodos descriptivos, cuantitativos y cualitativos, por ejemplo, el contexto escolar en el cual se alcanzan los puntajes observados o las diferencias de resultados por variables socio-demogrficas. Con frecuencia se piensa que este tipo de estudios no son investigaciones o no son interesantes, lo cual no es cierto: la educacin es especialmente susceptible al problema de recomendar polticas y prcticas sin haber comprendido bien el fenmeno educativo. Hay un efecto sistemtico o causal? Por ejemplo, cul es el impacto de la reduccin del tamao de la clase sobre el desempeo acadmico, especialmente entre las minoras? En la exploracin de tratamientos que funcionen para mejorar la calidad de la educacin se buscan las conclusiones causales de un tratamiento especfico. Cmo y por qu ese efecto est ocurriendo? Esta pregunta indaga por el o los mecanismos que generan el resultado encontrado para el tratamiento. Por ejemplo, qu explica el impacto de la disminucin del tamao de la clase? En el caso de Estados Unidos, se sabe que esta reduccin contribuye al mejoramiento del logro y que es muy costosa. Esto implica investigar por qu ese tratamiento tiene esos impactos, a fin de encontrar alternativas ms asequibles.
17
5. Para el primer tipo de preguntas existen numerosos mtodos; mientras que para el segundo (hay un efecto sistemtico o causal?), las opciones se reducen. Estos interrogantes requieren comparaciones entre dos o ms grupos: uno representa el statu quo (grupo de control) y el otro, las polticas o prcticas alternativas (el grupo de tratamiento). Estos mtodos enfrentan el problema del sesgo de seleccin cuando el resultado encontrado se da por diferencias entre los grupos antes de que el experimento ocurra y no por el tratamiento que se est evaluando. El estndar ideal para lograr causalidad y evitar sesgos de seleccin es el mtodo experimental aleatorio, con grupos de tratamiento y de control. Sin embargo, el autor advierte que en Estados Unidos el gobierno no defini la investigacin cientfica en educacin por las preguntas y los mtodos empleados, sino, simplemente, por la utilizacin de diseos experimentales, los cuales tienen varias falencias. Lee Cronbach seal hace un tiempo que los estudios experimentales no son ms que estudios de caso, pues los resultados que se presentan en un lugar pueden cambiar si el tratamiento se implementa en otro sitio. As, se debe tener cautela al interpretar los resultados obtenidos a partir de ellos (la literatura llama a este fenmeno el problema de la validez externa). Otra dificultad radica en que los tratamientos en educacin son muy complejos, por lo que es difcil establecer cules llevan a qu resultados. En algunos casos hay restricciones ticas que impiden la realizacin de este tipo de estudios. Se puede recurrir a alternativas como los diseos cuasi-experimentales, en los que se tiene un grupo de control y uno de tratamiento, y se emplean pre-tests para evitar sesgos de seleccin en ausencia de aleatoriedad. Varios mtodos se apoyan en este enfoque. Hay diseos observacionales de corte transversal y estudios longitudinales que utilizan bases de datos como las del ICFES, las cuales permiten crear grupos de comparacin con distintas metodologas, como los efectos fijos, el mtodo de aparejamiento (propensity score matching), el de regresin discontinua y las variables instrumentales. Algunos se emplean en las investigaciones que se presentan en este Seminario. El autor hace nfasis en que la pregunta de investigacin debe orientar la seleccin del diseo del estudio y no al revs (Ilustracin 2).
18
INFORMES
Ilustracin 2. Las preguntas deben orientar la investigacin y no al revs
Fuente: Tomado de Non Sequitur
6. El tercer tipo de preguntas de investigacin se refiere al mecanismo (por qu y cmo est ocurriendo el efecto encontrado?). Esta clase de interrogantes est en el corazn de la formulacin e implementacin de polticas y del desarrollo de pruebas. Los mecanismos se establecen a travs de distintos estudios que incluyen la observacin de los salones de clase y las entrevistas a maestros, los estudios etnogrficos, las correlaciones y los diseos experimentales. Teora e intuicin buscan los mecanismos para luego hacerles ingeniera a los tratamientos, es decir, llevarlos a la naturaleza, corregirlos y ajustarlos. Richard Shavelson es Doctor en psicologa educativa de la Universidad de Stanford. Se desempea como Profesor de educacin y psicologa de la Facultad de Educacin de esa institucin, donde dicta cursos relacionados con el anlisis estadstico y la investigacin en educacin. Su trabajo actual de investigacin est relacionado con la evaluacin del logro de los estudiantes en ciencias y los nuevos estndares para medirlo, el estudio de la evaluacin formativa en la enseanza de las ciencias, la rendicin de cuentas en educacin superior y las bases cientficas de la investigacin educativa.
Conferencista: Conferencia: Estudio:
Juan Saavedra (Universidad de Los Andes, Colombia) Capital humano, retornos y calidad de la educacin superior en Colombia Saavedra, Juan (2009). Los efectos de la calidad de las universidades en el aprendizaje y en el inicio en el mercado laboral: un anlisis de regresin discontinua. (Mimeo). (Disponible en ingls).
19
Los principales planteamientos de esta conferencia fueron: 1. Esta iniciativa del ICFES es un cambio de paradigma en el pas que va a contribuir a mejorar la calidad de la educacin en Colombia. 2. El crecimiento de un pas depende de manera importante de su capital humano, el cual permite el uso de nuevas tecnologas, la innovacin y el aumento de la productividad. Por tanto, cabe preguntarse si las universidades generan algn tipo de capital humano, qu tanto importa la calidad de las instituciones de educacin superior en su creacin, cules son los insumos universitarios que lo hacen posible y qu papel juega la calidad universitaria en la redistribucin de oportunidades educativas. Estas preguntas son importantes para el diseo de polticas, pero se sabe muy poco sobre ellas en el mbito internacional. La falta de conocimiento al respecto se debe a dos limitaciones: la primera, el problema de causalidad, porque es complicado aislar el efecto de la universidad de los atributos del estudiante; la segunda, porque es muy difcil medir de manera uniforme el capital humano de los graduados de la educacin superior. El contexto colombiano facilita responder estas preguntas porque en muchas universidades de alta calidad la admisin est exclusivamente determinada por los puntajes ICFES, lo que provee una fuente de variacin exgena en el acceso a estas instituciones, puesto que los puntajes de corte definen de manera arbitraria quien ingresa y quien no. La segunda razn por la cual el contexto colombiano es ideal para responder estas preguntas es la existencia de los Exmenes de Estado de la Calidad de la Educacin Superior (ECAES, actualmente SABER PRO), los cuales se realizan en pocos pases. La aplicacin de estas pruebas provee una medida uniforme, ya que el examen se toma en cualquier universidad y, despus de emplear varios controles, es un predictor muy fuerte del desempeo laboral inicial de los graduados universitarios. 3. Este trabajo muestra evidencia de que la calidad universitaria tiene un efecto importante sobre el capital humano, las oportunidades laborales y los salarios de los graduados. 4. Los diseos causales se encuentran en experimentos de la naturaleza y en cambios institucionales que pueden o no controlarse. Segn el autor, permiten ir ms all de los estudios habituales sobre factores asociados. La metodologa utilizada en este trabajo es cuasi-experimental y se conoce como regresin discontinua. En este caso tiene dos aplicaciones: una, con listas de los aspirantes que quieren ingresar a la Universidad de Los Andes; y otra, con las inferencias de los puntajes de corte de otras instituciones de educacin superior.
20
INFORMES
La intuicin detrs de la metodologa empleada ha llevado a la comparacin de la persona que est justo por encima del puntaje de corte con la que est justo por debajo. Este es el criterio con el cual se toma la decisin de ingreso a la universidad. El autor emplea ventanas de distancia (distancias) al punto de corte ms grandes y ms pequeas para probar la fortaleza de sus hallazgos (Ilustracin 3).
Ilustracin 3. Probabilidad de admisin en funcin del puntaje del Examen de Estado (SABER 11) en la Universidad de Los Andes
Fuente: Presentacin del autor en Power Point en el Seminario
5. La persona que accede a una universidad con mejores recursos que la que est por debajo del puntaje de corte provee una variacin que se emplea para medir el efecto de la calidad en los resultados en capital humano de los graduados. En el segundo enfoque, el autor extiende esta metodologa para inferir los puntajes de corte que usan las instituciones de educacin superior como criterio de admisin. 6. El autor encuentra que los aspirantes ubicados justo arriba del punto de corte para la admisin se ubican 0,2 desviaciones estndar por encima de los que estn por debajo en los ECAES, prueba aplicada al finalizar los programas de pregrado. 7. Para identificar los insumos ms importantes en la generacin de capital humano se emplean correlaciones, porque la metodologa de regresin discontinua mide el efecto del conjunto de la universidad sin desagregar sus componentes. El autor encuentra una alta
21
correlacin con el puntaje ICFES de los compaeros de la universidad y con el nmero de profesores de tiempo completo; y ninguna correlacin con la cantidad de docentes con doctorado. 8. El trabajo permite observar que entre los estudiantes de la Universidad de Los Andes se presenta un efecto muy grande en los alumnos de estratos bajos. Segn el autor, este hallazgo muestra que las instituciones de educacin superior de alto nivel estn allanando el terreno de juego al llevar a los jvenes de menores recursos al mercado laboral con atributos de capital humano, medidos por los ECAES, semejantes a los de los estratos altos. Por debajo del punto de corte, los estudiantes de estratos altos tienen mejores puntajes que los de los bajos, lo que no sucede en los resultados de Los Andes. 9. Los ECAES se aplican desde 2003 y se emplean para informar al mercado laboral sobre los atributos de los graduados, el ICETEX los usa para asignar becas de estudios de maestra y algunos programas de maestra los utilizan como criterio de admisin. Son un buen predictor de la empleabilidad y de los ingresos. Adems, pueden incentivar a los estudiantes a esforzarse, pues su credencial para el mercado del trabajo deja de ser la universidad de egreso. 10. La probabilidad de presentar el examen y el tiempo que toman los estudiantes en graduarse es semejante en ambos grupos (por encima y por debajo del puntaje de corte), lo que, en principio, permite la comparacin entre ellos para evaluar el efecto de las universidades. Sin embargo, los grupos de tratamiento y de control podran variar en caractersticas inobservables, como la motivacin para tomar la prueba, la cual era voluntaria cuando se realiz el estudio. 11. En su trabajo, el autor combina datos del proceso de admisin con resultados acadmicos y laborales. As, cruza las listas de aspirantes a la Universidad de Los Andes de varios aos con los resultados de los ECAES del momento en el cual se esperara su graduacin. Cuando no existen llaves como el nmero de cdula, se emplean estrategias de cruce alternativas como estandarizar nombres y apellidos, adems de validar con el sexo y la fecha de nacimiento. Tambin se utiliza la base de datos del observatorio laboral. 12. El estudio muestra que, en periodos recientes, la calidad de la educacin superior en Colombia s afecta las destrezas, opciones de empleo y salarios de los graduados. Un saldo en la distribucin de calidad de 20 puntos se traduce en un aumento de 10 puntos en las destrezas acadmicas, uno del 16% en el empleo y uno del 20% en los salarios.
22
INFORMES
Juan Saavedra es economista de la Universidad de Los Andes y Doctor de la Universidad de Harvard. Se desempea como Profesor Asistente de polticas pblicas en la Escuela de Gobierno Alberto Lleras Camargo de la Universidad de Los Andes. Su trabajo de investigacin se concentra en la economa laboral, la economa de la educacin, las finanzas pblicas y la econometra aplicada. Uno de sus estudios ms conocidos se titula Son los vouchers de educacin redistributivos?, el cual realiz con Michael Kremer. Saavedra ha sido expositor en eventos acadmicos de distintas organizaciones como RAND Corporation, el Departamento de Economa de la Universidad de Harvard, el ICFES y Fedesarrollo en Bogot.
Juan Bonilla (Universidad de Maryland, Estados Unidos) El impacto de los colegios en concesin en el rendimiento acadmico Bonilla, Juan (2010). Un contrato para que los colegios pblicos rindan cuentas: evidencia de Bogot, Colombia. Washington DC. Estados Unidos, Bogot (Disponible en ingls).
Los principales planteamientos de esta conferencia fueron: 1. Este trabajo evala el efecto causal de asistir a los colegios en concesin de Bogot en el desempeo acadmico, medido a travs del Examen de Estado, actualmente SABER 11. 2. Las caractersticas principales de los colegios de concesin son: Estn sujetos a un proceso de evaluacin anual por parte de una entidad independiente, es decir, estn inmersos en un sistema de rendicin de cuentas que les exige la provisin de ciertos servicios y resultados de aprendizaje de sus estudiantes. Tienen flexibilidad en la contratacin del recurso humano. Son semejantes a los colegios charter de Estados Unidos, en tanto ambos no pueden seleccionar a sus estudiantes, se financian con recursos pblicos, operan al margen de las convenciones colectivas de docentes y los contratos estn sujetos a resultados. Los colegios en concesin se diferencian de los charter en que la financiacin pblica estadounidense no cubre todos los costos; el pnsum puede ser distinto, mientras que en Bogot deben usar el mismo de las dems instituciones educativas de la ciudad; y la jornada es ms larga que la de los dems colegios. Las evaluaciones de esos establecimientos norteamericanos los favorecen en el desempeo en las pruebas de logro. El trabajo del autor documenta la literatura evaluativa sobre estos colegios, as como la que est relacionada con las respuestas de los establecimientos educativos a las normas de rendicin de cuentas.
23
3. Para obtener el efecto causal es necesario identificar especficamente el impacto de los planteles sin confundirlo con otras variables. Por ejemplo, hipotticamente, si los colegios en concesin tuvieran la facultad de seleccionar a sus alumnos y su criterio fuera escoger los ms inteligentes, el valor de estimacin del efecto de esas instituciones sera igual al efecto mismo, ms las capacidades adicionales de los alumnos inteligentes que no se pueden aislar del estimador. En la prctica, los estudiantes antiguos permanecen en el colegio, los padres de los alumnos nuevos escogen los planteles de su inters entre varias opciones y, si no hay cupo, la Secretara de Educacin los asigna a la institucin ms cercana a su residencia. 4. Los alumnos de los colegios en concesin y sus familias tienen, en promedio, condiciones socioeconmicas menores a las de los estudiantes de las instituciones oficiales regulares de la ciudad. Esto se debe a que esos planteles estn ubicados en la periferia de Bogot donde viven familias de los estratos 1 y 2, y no a un proceso de seleccin de los nios por sus caractersticas socioeconmicas. 5. El autor emplea en su estudio los resultados del Examen de Estado (SABER 11) del ao 2002, adems de la caracterizacin socioeconmica de los alumnos y su direccin de residencia. Esta ltima es confidencial y se usa para construir una variable instrumental: la distancia de la vivienda del estudiante al colegio ms cercano. Tambin utiliza las encuestas C-600 del DANE para incorporar al estudio datos sobre los insumos de los planteles. 6. En este trabajo, las variables instrumentales deben tener dos caractersticas: por una parte, explicar fuertemente la asistencia a los colegios en concesin (relevancia del instrumento, Ilustracin 4), la cual se puede constatar con los datos; y por otra, no estar correlacionadas con otras caractersticas que afecten el desempeo acadmico, condicin que es un supuesto y debe ser argumentada. En este estudio, el autor usa la distancia al colegio en concesin ms cercano como variable instrumental de la asistencia a un establecimiento de este tipo.
24
INFORMES
Ilustracin 4. Distancia entre las residencias de los alumnos y los colegios en Bogot
*CEC: Colegios en Concesin. Fuente: Presentacin del autor en Power Point en el Seminario
7. Al estimar las diferencias en los puntajes del ICFES en matemticas de los colegios en concesin frente a los de las instituciones distritales (asumiendo que, en promedio, los alumnos de ambos tipos de establecimientos tienen caractersticas observables y no observables semejantes), se encuentra que los primeros tienen 0,13 desviaciones estndar ms que las segundas. Esto sugiere que estn haciendo bien la tarea. Sin embargo, debido a que los nios que asisten a los colegios en concesin tienen condiciones socioeconmicas un poco ms bajas, el autor usa la variable instrumental, con la cual el efecto estimado para estos planteles es superior 0,4 desviaciones estndar, lo cual equivale a casi dos aos de educacin bsica. En lenguaje tambin se obtienen resultados positivos, aunque el efecto es menor. Segn el autor, este fenmeno est presente, en general, en la literatura. Tambin afirma que es posible que el colegio tenga mayor influencia en matemticas que en lenguaje, pues en esta ltima rea la familia tiene un rol ms influyente.
25
En el puntaje total del Icfes, sin variable instrumental se alcanza un efecto de los colegios en concesin de 0,1 desviaciones estndar, pero al usar la variable instrumental el efecto aumenta a 0,3 desviaciones estndar. El autor destaca que el puntaje total refleja el esfuerzo de la institucin porque sus estudiantes avancen en todas las reas y no slo en algunas, como se ha encontrado en otras sociedades donde las pruebas de una materia especfica motivan a los colegios a privilegiar su enseanza. De otra parte, al descomponer el efecto del puntaje total en distintos estratos socioeconmicos se encuentra que ste est distribuido en la mayora de estudiantes y no slo en un pequeo grupo, aunque aumenta en los estratos ms pobres. 8. Al explorar las caractersticas que eventualmente pueden explicar los resultados, el autor seala que no parece haber diferencias entre ambos tipos instituciones en cuanto a la formacin de los educadores, el tamao de las clases y los costos (stos seran semejantes). Adems, los colegios en concesin no tendran mayores tasas de desercin ni de traslado. 9. La principal conclusin del estudio es que los colegios en concesin tienen efectos positivos sobre el aprendizaje medido a travs de pruebas estandarizadas y que, comparados con otros programas, incluidos los vouchers, muestran buenos resultados. Juan Diego Bonilla es candidato a Doctor en economa de la Universidad de Maryland e Investigador del Centro Maryland para el Estudio de Poblaciones. Sus trabajos de investigacin han estado orientados a la economa del desarrollo, incluidos la educacin y el mercado laboral.
Douglas Willms (Universidad de New Brunswick, Canad) Brechas de aprendizaje Willms, Douglas (2006). La desigualdad en el aprendizaje. Montreal, Canad, Unesco.
Los principales planteamientos de esta conferencia fueron: 1. La conferencia se centra en cuatro temas: Importancia de aumentar y nivelar la barra de aprendizaje para lograr un equilibrio tolerable. El concepto de brechas de aprendizaje. Un modelo de aprendizaje que vincula los resultados en pruebas de logro con lo que actualmente ocurre en el saln de clase. El concepto de indicadores preventivos de aprendizaje.
26
INFORMES
2.La pregunta crtica en todos los pases, ciudades y colegios es: cmo se pueden mejorar los resultados cognitivos, de comportamiento y de salud al tiempo que se reducen las inequidades que son producto de las diferencias en el bagaje de las familias? Esto es lo que el autor llama aumentar y nivelar la barra de aprendizaje. Lo anterior puede observarse en la Ilustracin 5. En sta, el gradiente socioeconmico muestra la relacin entre alguna medida de resultado social, en este caso el logro acadmico en lectura de estudiantes de 15 aos de edad en PISA (puntaje que se estandariz para tener un promedio de 500 puntos y una desviacin estndar de 100). En el eje horizontal se ve un ndice compuesto con los niveles educativos y las ocupaciones de los padres, ms ciertas pertenencias en el hogar (se normaliz con una media de 0 cero- y una desviacin estndar de 1). La curva muestra la relacin entre las dos variables. Como es de esperar, los alumnos con mejores bagajes socioeconmicos en sus hogares tienen puntajes ms altos. El propsito de la poltica pblica es subir el nivel de la barra de aprendizaje y nivelarla (mayores puntajes, mejor distribuidos entre todos, indistintamente de su nivel socioeconmico). Cabe aclarar que en la ilustracin, los nios (puntos en la grfica) que slo alcanzan el nivel 2 (eje vertical de la derecha) en lectura provienen de todos los estratos socioeconmicos y no nicamente de los ms pobres. As mismo, la mayora de los estudiantes ubicados en los niveles 4 y 5 provienen de estratos socioeconmicos altos (a la derecha del eje horizontal). Ilustracin 5. La barra de aprendizaje
Fuente: Willms (2006)
27
3. En Canad, los jvenes que no alcanzan el nivel 1 en esta prueba (eje vertical de la derecha) generalmente tienen dificultades futuras en el mercado laboral y en su vida personal, es decir, se constituyen en una poblacin en riesgo. Quienes no superan el nivel 2, tienen menos inclinacin a adelantar estudios post-secundarios. Las barras de aprendizaje de Brasil, Chile, Mxico y Colombia tienen pendientes semejantes y se encuentran por debajo de las de los pases de la OCDE. Con datos de otras pruebas, Colombia presenta el mismo comportamiento y se ubica por encima de naciones como Bolivia, Paraguay, Venezuela y Honduras, pero por debajo de Chile y Argentina. 4. Con la misma metodologa, el autor analiza colegios en vez de alumnos y construye perfiles de instituciones para entender los sistemas escolares a la luz de estas variables. 5. Estudios como PISA y TIMSS se basan en un modelo de aprendizaje desarrollado por Caroll hace aproximadamente 30 aos, al cual se le han hecho ajustes. Hoy se considera que el aprendizaje puede comprenderse como una funcin del contexto, la calidad de la enseanza, el compromiso y el tiempo. Mejorarlo tiene que afectar estos cuatro aspectos. El conferencista considera que la rendicin de cuentas es apenas uno de los aspectos que puede marcar la diferencia a favor de los colegios en concesin. En sus aulas debe presentarse alguna dinmica relacionada con los factores del modelo de aprendizaje, especialmente con el de la calidad de la enseanza. Esto debe haber generado un mayor aprendizaje en los estudiantes. La labor del ICFES tiene sentido si afecta el trabajo que ocurre en los salones de clase donde sucede la accin. 6. Al analizar los procesos y recursos de la escuela en Colombia a partir de los datos de PISA y al compararlos con el promedio de los pases de la OCDE, el autor encuentra que la disponibilidad de recursos est muy dispersa en todos los gradientes del pas. De los diez factores asociados que afectan el aprendizaje y que fueron analizados por el conferencista, ste es el que tiene mayor correlacin con el nivel socioeconmico de los alumnos: los colegios con estudiantes ms ricos tienen los mejores recursos. 7. El autor introduce los conceptos de segregacin vertical y horizontal. La primera se refiere a las diferencias entre los colegios en las pruebas de logro, por ejemplo, Francia y Japn. Espaa no presenta la misma situacin entre instituciones, pero s una alta segregacin entre estratos socioeconmicos (horizontal). Finlandia tiene bajos niveles en ambos casos (Ilustracin 6). Pases con una amplia segregacin horizontal (entre niveles socioeconmicos) tienden a tener puntajes ms bajos en el logro acadmico; cuando sta es menor, tienen un mejor desempeo. Un fenmeno semejante sucede con la segregacin vertical: cuando es menor, los puntajes son mayores.
28
INFORMES
Ilustracin 6. Segregaciones vertical y horizontal
Fuente: Willms (2006)
8. Colombia registra una alta segregacin entre niveles socioeconmicos (horizontal). No muestra una alta segregacin entre puntajes. 9. El trabajo con la primera infancia, particularmente en el rea de la lectura, es uno de los frentes prioritarios para mejorar la calidad de la educacin. El lxico de las personas est asociado a la cantidad y a la calidad del vocabulario al cual estn expuestas en sus hogares durante sus primeros aos de vida. (Este planteamiento coincide con el de Juan Bonilla, quien atribuye un importante rol a la familia en el desempeo de los estudiantes en lenguaje, mientras que la escuela tiene mayor influencia relativa en el de matemticas). 10. A juicio del autor, a lo largo del proceso educativo (desde la infancia hasta los 18 aos) los aspectos prioritarios por aprender son (en orden cronolgico): desarrollo emocional y del lenguaje, los cuales se gestan en ambientes estimulantes; habilidades de lectura;
29
aprender a leer; leer para aprender; compromiso (durante la adolescencia temprana); y desarrollo de las aspiraciones. En la primera infancia, los factores primordiales para los menores son los estilos de crianza, el funcionamiento de la familia, el rol maternal y el compromiso. La evaluacin de los nios debe hacerse sobre los resultados que deberan tener para su nivel esperado de desarrollo y no sobre las variables socio-demogrficas tradicionales. 11. Estudios como PISA y TIMSS, as como las pruebas del ICFES muestran sus resultados a partir de indicadores de desempeo. stos se obtienen despus de cierto tiempo del proceso de aprendizaje y, en niveles agregados, permiten observar los efectos de la asignacin de recursos y las diferencias entre distintos grupos, entre otros aspectos. Sin embargo, en los colegios los maestros necesitan indicadores orientadores (leading indicators) que den informacin para la prctica docente. Por ejemplo, el indicador Early Years Evaluation (EYE), del cual el conferencista es coautor, sirve para evaluar a los menores antes de que comiencen la escuela. ste tiene cuatro dominios: conciencia de uno mismo y del ambiente, habilidades cognitivas, lenguaje y comunicacin, adems de desarrollo motor. Su aplicacin dura alrededor de 20 minutos por nio. Uno de sus propsitos es identificar a los pequeos que necesitan apoyos adicionales, as como los temas que ameritan esos soportes. La informacin obtenida se suministra a los padres. 12. Aproximadamente, los menores aprenden a leer hasta el tercer grado. Luego, alrededor de los 9 aos de edad, leen para aprender. Quienes no logran experimentar esta transicin exitosamente enfrentan muchas dificultades en la escuela. Los indicadores orientadores (preventivos) contribuyen a detectar problemas y a realizar intervenciones a tiempo; no slo cuando el nio falla. Los indicadores de desempeo y los orientadores deben complementarse para conformar un sistema de evaluacin completo. 13. Las principales conclusiones de este estudio son: para aumentar los resultados en las pruebas de logro es necesario reducir la segregacin socioeconmica entre instituciones; el empleo de indicadores preventivos favorece la identificacin de las falencias y las potencialidades de los estudiantes antes de que stas se materialicen; y las intervenciones tempranas, especialmente en lectura, definitivamente contribuyen a mejorar el desempeo de los alumnos, los colegios y los sistemas educativos en su conjunto. Douglas Willms es Profesor y Director del Instituto Canadiense de Investigacin en Poltica Social de la Universidad de New Brunswick, miembro de la Academia Internacional de Educacin y de la Academia Nacional de Educacin de Estados Unidos. Ha publicado numerosos artculos sobre poltica social que incluyen el tema de la rendicin de cuentas de los sistemas educativos. Tambin es experto en poblaciones vulnerables.
30
INFORMES
Willms particip en el diseo del estudio educativo internacional PISA (Programme for International Student Assessment). Recientemente dise, en compaa de otros colegas, un instrumento para la evaluacin directa de las destrezas de desarrollo de los nios entre 3 y 6 aos de edad (Early Years Evaluation Instrument, [EYE]). Tambin es conocido como instructor de investigadores en el anlisis de datos complejos multinivel, tema tratado en uno de los talleres del Seminario.
Conferencistas: Conferencia: Estudio:
Isabel Fernandes y Carolina Lopera (ICFES) Presentacin del libro: Resultados de Colombia y prcticas curriculares en matemticas y ciencias TIMSS 2007 ICFES (2010). Resultados de Colombia en TIMSS 2007. Bogot, Colombia, Mimeo.
Los principales planteamientos de esta conferencia fueron: 1. La publicacin describe qu est sucediendo en Colombia con base en los resultados del TIMSS. La presentacin se centra en cuatro temas: qu es el TIMSS, cul fue la metodologa empleada, factores asociados y puntos de partida para futuros estudios. 2. TIMSS es el Estudio Internacional de Tendencias en Matemticas y Ciencias. Su propsito es brindar informacin para apoyar procesos de mejoramiento de la enseanza y el aprendizaje de estas dos reas durante la educacin bsica. Este es un estudio internacional comparado que se realiza cada 4 aos desde 1995. Es liderado por la Asociacin Internacional para la Evaluacin del Logro Educativo (IEA, por sus siglas en ingls), organizacin que trabaja en alianza con el Boston College, Statistics Canad y el Educational Testing Service. El nmero de pases y provincias que participan en esta investigacin ha aumentado. Colombia particip en el TIMSS en 1995 y 2007. En el ltimo ao, 425 mil estudiantes de los grados cuarto (37 pases) y octavo (50 pases) se presentaron al estudio. Colombia y El Salvador son las nicas naciones latinoamericanas incluidas en la investigacin. A diferencia de PISA, TIMSS parte de un modelo curricular con tres elementos: currculo prescrito (anlisis de los currculos de los pases participantes que incluye estndares, parmetros y lineamientos, el cual es comparado con el marco de la propuesta de evaluacin de matemticas y ciencias), currculo aplicado (cobertura y cubrimiento de contenidos en los salones de clase y en las prcticas pedaggicas) y currculo alcanzado (logros de los estudiantes a partir de dos tipos de resultado: puntaje promedio y niveles de desempeo).
31
3. Las pruebas de matemticas de TIMSS valoran dominios cognitivos (conocer, aplicar y razonar) y de contenido. En cuarto grado se evalan nmeros, formas geomtricas, medidas y presentacin de datos; en octavo, nmeros, lgebra, geometra, datos y probabilidad. Las pruebas de ciencias valoran los mismos tipos de dominios: en cuarto grado se evalan ciencias fsicas, de la vida y de la tierra; en octavo, biologa, qumica, fsica y ciencias de la tierra. Esta presentacin slo incluye los resultados globales; los detalles pueden consultarse en la publicacin correspondiente. 4. TIMSS es un estudio muestral. En 2007, la muestra de Colombia fue representativa a nivel nacional, lo que permite realizar desagregaciones por sector (oficial y privado), zona (urbana y rural) y gnero (masculino y femenino) (Ilustracin 7).
Ilustracin 7. Promedios TIMSS en matemticas octavo grado, pases participantes en 1995 y 2007
Fuente: ICFES (2010)
32
INFORMES
5. Al comparar a Colombia con un subconjunto de pases del estudio (17 naciones) se puede sealar que los resultados del pas en matemticas y ciencias estn por debajo del promedio internacional (escala de 500 puntos con una desviacin estndar de 100); que sus puntajes son homogneos (tienen baja desviacin estndar) en ambas pruebas; y que naciones con un nivel de desarrollo econmico similar al colombiano obtienen mejores resultados en las dos reas y los dos grados evaluados. Ms de las dos terceras partes de los estudiantes colombianos tienen dificultades en el manejo de los conocimientos bsicos de las matemticas (se ubican en el nivel inferior). Adems, el 50% de los alumnos no demuestra los conocimientos bsicos de las ciencias. Colombia presenta las brechas de gnero ms altas, las cuales aumentan con la escolaridad. As, existen diferencias significativas en los resultados de los nios y las nias en ambas reas, las cuales favorecen a los primeros. Los estudiantes de los colegios privados y de las zonas urbanas tienen mejores resultados que los de las instituciones oficiales y de las reas rurales; las diferencias al respecto son estadsticamente significativas. No se hicieron controles por nivel socioeconmico de los alumnos. Para las autoras los resultados son preocupantes, aunque resaltan que, entre 1995 y 2007, y entre las naciones analizadas, Colombia es el pas que presenta el mayor incremento en los puntajes de matemticas. En ese periodo tambin se registra un aumento significativo en ciencias y disminuye el porcentaje de estudiantes ubicados en los niveles inferiores mientras se incrementa el de los alumnos en los niveles bajo y medio. Estos resultados se obtienen en un periodo en el que el pas hizo un importante esfuerzo de ampliacin de cobertura, especialmente entre los estratos ms pobres, por lo que los estudiantes tienen mayores requerimientos. Adicionalmente, los nios y nias mejoran en ese lapso de tiempo, pero las brechas entre los gneros se profundizan. 6. En cuanto a las prcticas pedaggicas, la informacin suministrada por los rectores y maestros de la muestra permite observar que en Colombia existe una alta correspondencia entre los contenidos evaluados por el estudio y lo previsto en los estndares bsicos: prcticamente todos los contenidos de matemticas evaluados por la prueba estn contemplados en los estndares nacionales. Algunos pases tuvieron menor cubrimiento en el currculo, pero lograron mejores resultados. Las autoras no encontraron una correlacin directa entre altos puntajes y cubrimiento curricular. (En este Seminario, William Schmidt argument que el currculo contribuye a mejorar los promedios en las pruebas estandarizadas a travs de la coherencia dentro del currculo de cada rea, argumento que se expone ms adelante).
33
En cuanto a las caractersticas de los docentes, al igual que en otros pases, en Colombia predominan las mujeres en cuarto grado; en octavo, esto slo ocurre en ciencias. La mayora de profesores tiene ms de 40 aos (edad superior a la media internacional). La experiencia de los maestros (aos de trabajo) del pas no vara por grado (alrededor de 18 aos). No se encuentra correlacin entre los aos de experiencia y los resultados de los estudiantes. En cuanto al desarrollo profesional, los docentes de octavo grado tienen mayor participacin en los procesos de formacin en servicio que los de cuarto. Las TIC son poco utilizadas por los maestros. El uso de estas tecnologas est muy por debajo de otros pases, especialmente los asiticos. Los profesores se sienten bien preparados para ensear en ambas reas, percepcin que es superior a la de los maestros de otras naciones. 7. En cuanto a otros factores asociados, las autoras encuentran una alta correlacin entre los resultados de los estudiantes colombianos y el nivel educativo de los padres: el 29% tiene progenitores con educacin superior; estos alumnos obtienen puntajes por encima de la media internacional. En el pas, el porcentaje de estudiantes (39%) que tiene computador en su casa es muy bajo, inferior al promedio internacional. Sin embargo, el uso del ordenador es alto, lo que se explica por su disponibilidad en las escuelas. La tenencia y el uso de los computadores estn positivamente correlacionados con los puntajes de los alumnos. Los estudiantes colombianos tienen una actitud muy favorable frente a las reas evaluadas, aunque esto no se ve reflejado en los resultados. Un hallazgo semejante fue obtenido con los datos del estudio internacional PISA. El estudio tambin pregunt a los rectores por la proporcin de estudiantes que provienen de hogares con desventajas econmicas. Los datos al respecto superan la media internacional. La informacin sobre asistencia escolar reportada por los directivos de los colegios de la muestra indica que slo el 28% de los alumnos de cuarto grado y el 15% de los de octavo eventualmente faltan a clase. Sobre el tamao de las clases, los datos de TIMSS no sugieren una correlacin entre esta variable y los puntajes. Adems, los maestros colombianos dejan a sus estudiantes una mayor cantidad de tareas (y ms largas) que la media internacional. En matemticas, esta prctica est asociada con mayores logros de los alumnos.
34
INFORMES
El informe profundiza en stos y otros factores asociados, especialmente en los siguientes aspectos: Por qu la brecha entre hombres y mujeres es tan alta? Cules son las prcticas pedaggicas ms efectivas para obtener mejores logros? Cul es el efecto del uso de las TIC en el desempeo de ambas reas? Por qu se producen resultados tan bajos si existe una cobertura adecuada de los estndares y una buena preparacin de los docentes? Cmo potenciar las actitudes de los estudiantes para traducirlas en mejores desempeos y resultados? 8. Colombia fue el segundo pas despus de Lituania que present el mayor incremento en los resultados de los estudiantes de octavo grado en matemticas y ciencias entre 1995 y 2007. Sin embargo sus resultados se ubican todava muy por debajo del conjunto de pases participantes. . Isabel Fernandes Cristvo es psicloga del Instituto de Psicologa de la Universidad de So Paulo (Brasil) y Magster en desarrollo educativo y social del Centro Internacional de Educacin y Desarrollo Humano (CINDE). Actualmente se desempea como Subdirectora de Anlisis y Divulgacin del ICFES. Fernandes tiene amplia experiencia en la formulacin de polticas para el sector educativo colombiano y en el anlisis de los resultados del pas en pruebas nacionales e internacionales, como SABER, ECAES, SERCE y TIMSS. Carolina Lopera es economista de la Universidad de Antioquia y Magster en economa de la Universidad del Rosario. Tiene experiencia en investigacin en poltica social, economa de la educacin y economa del conocimiento. Su trabajo se enfoca, especficamente, en el desarrollo de marcos metodolgicos para la medicin de los recursos humanos a travs de las estimaciones de los modelos economtricos. Adicionalmente, se ha desempeado como Profesional de la Direccin de Evaluacin del ICFES (Subdireccin de Anlisis y Divulgacin), donde ha participado en la produccin de informes sobre la aplicacin de instrumentos en pruebas nacionales (Examen de Estado [SABER 11] y SABER 5 y 9) e internacionales (TIMSS e ICCS), as como en el manejo y anlisis de la informacin derivada esos instrumentos.
35
Emilio Porta (Banco Mundial) Usando TIMSS para entender los determinantes de aprendizaje Porta, Emilio (2010). Usando TIMSS para entender los determinantes de aprendizaje. Washington, D.C. Estados Unidos. Banco Mundial.
Los principales planteamientos de esta conferencia fueron: 1. Colombia sale mal librada en el estudio TIMSS: sus puntajes son menores que los de 37 pases y mayores que los de siete. La relevancia de este hecho radica en que en una sociedad, el factor humano es el ms importante: si la poblacin no tiene un alto nivel de educacin es muy difcil competir en un mundo globalizado. Se puede aprender mucho de las naciones que superan a Colombia. Los retos para mejorar la calidad educativa son grandes. El estudio TIMSS tiene cuatro niveles: superior, alto, intermedio y bajo. En matemticas, octavo grado, ningn estudiante se ubica en el nivel superior, el 2% lo hace en el alto y el 11% en el intermedio, frente al 46% del promedio internacional. Adems, el 39% de los alumnos colombianos se clasifica en el nivel ms bajo, mientras que el promedio internacional es del 75%. En 2007, el 61% de los estudiantes del pas ni siquiera alcanzaba el nivel bajo. 2. Si se tiene en cuenta el nivel de ingresos, Colombia podra lograr mejores puntajes, pues pases con recursos similares, incluso con menores recursos, obtienen mejores promedios. Los recursos no son todo. Por ejemplo, si se compara a Colombia con Jordania, pas que tiene puntajes superiores, el 40% de las variaciones en los promedios de las dos naciones se explica por la diferencia de ingresos, pero alrededor del 20% se debe a factores no identificados. De otra parte, Hungra tiene el doble del PIB per cpita de Colombia; el 40% de las variaciones se debe a este hecho, pero existe un margen importante de explicacin relacionado con los esfuerzos de ese pas para mejorar sus logros educativos. 3. Los factores asociados del estudio de TIMSS 2007 que presenta el autor son semejantes a los expuestos por Fernandes y Lopera. Porta formula varias advertencias sobre el ejercicio: Este tipo de metodologa no permite atribuir causalidad del factor asociado al puntaje. La informacin de Colombia presenta dificultades de interpretacin porque la distribucin de los datos se encuentra a la izquierda de la media, y adems est muy concentrada (es decir, hay poca heterogeneidad), lo que le resta fuerza al anlisis (Ilustracin 8). Las respuestas a los cuestionarios pueden estar sesgadas. Por ejemplo, las de los docentes sobre su nivel de preparacin.
36
INFORMES
Por todo lo anterior, los anlisis sobre TIMSS deben hacerse con mucho cuidado.
Ilustracin 8. Distribucin de los puntajes de matemticas de Colombia en TIMSS 2007
Fuente: Portal (2010)
4. El Banco Mundial emplea un modelo conceptual que asocia los resultados de aprendizaje con variables del sistema educativo, del estudiante y de la escuela. En cuanto al primero, los autores han encontrado que las prcticas docentes contribuyen positivamente al logro, aunque el resultado no es estadsticamente significativo. De otra parte, la participacin de los padres en actividades escolares tiene una correlacin favorable con el puntaje y el estimador es estadsticamente importante.
37
Sobre variables de la escuela los resultados del ejercicio son semejantes aunque encontramos valores estadsticamente significativos para los menores resultados de los nios de escuelas rurales y signo positivo para las escuelas privadas y para los docentes que tienen especializacin en matemticas. De otra parte, las mujeres son mejores para ensear esta rea que los hombres. Adems, son ms efectivas para instruir a las estudiantes de gnero femenino. En cuanto a las variables de los estudiantes, el autor reporta una funcin de produccin estimada con una regresin lineal en la que se controlan los factores del alumno. Tres variables llaman la atencin: Los ambientes con matoneo o intimidacin estn correlacionados con menores puntajes. Se debe tener en cuenta que el tema de la seguridad en los colegios es muy importante en Colombia. El gnero del docente, tal como se mencion en prrafos anteriores. Las expectativas de los profesores: aquellos que creen que sus estudiantes van a aprender logran educar o transferir conocimiento de una manera ms eficaz. En otras palabras, la actitud del docente es importante. 5. Los resultados de Colombia son malos, pero fue el pas que ms avances tuvo entre 1995 y 2007 en matemticas en octavo grado. Puesto que el intervalo entre ambas aplicaciones es largo, no se puede atribuir esa mejora a un momento especfico del tiempo, lo que motiva a realizar mediciones peridicas. Adems, los cuestionarios de TIMSS varan mucho; esto dificulta el anlisis dinmico de los datos. Al comparar los resultados de Colombia en el periodo, se emplearon como controles variables socioeconmicas para explicar el cambio entre los dos puntos en el tiempo: apenas 8 de los 47 puntos del progreso estn relacionadas con el aumento en el PIB del pas. Colombia realiz otras acciones que favorecieron ese avance: casi cuatro puntos se deben a los cambios en la edad (por efecto de la reduccin en repitencia), los cuales inciden en los rendimientos de aprendizaje. Es importante resaltar que cuando los pases expanden la cobertura, la calidad disminuye porque los excluidos vienen de sectores marginales. Sin embargo, Colombia ha mejorado en ambos aspectos. 6. Las recomendaciones de poltica son: el pas puede hacer ms con los recursos disponibles. Colombia ha hecho mucho por mejorar la cobertura y la calidad al mismo tiempo y debe sentirse orgullosa por sus avances en estos 12 aos. Sin embargo, debe seguir esforzndose.
38
INFORMES
Adems, debe trabajar en el matoneo escolar, pues afecta el desempeo; atraer ms mujeres a la docencia en matemticas; crear incentivos para que los maestros ms capacitados vayan a las zonas rurales; as como evaluar e investigar, ya que tiene la estructura institucional (el ICFES) para hacerlo. Emilio Porta se gradu con honores de la maestra en gestin y polticas pblicas de la Universidad de Chile. Ha sido consultor de la Organizacin de las Naciones Unidas para la Educacin, la Ciencia y la Cultura (UNESCO); el Banco Mundial; el Banco Interamericano de Desarrollo (BID); y la Agencia para el Desarrollo Internacional de Estados Unidos (USAID). Se ha desempeado como Asesor del Ministro y del Director General de Prospeccin y Polticas del Ministerio de Educacin de Nicaragua. Actualmente es Asesor de Planificacin, Presupuesto y Finanzas del proyecto Dilogo para la inversin social en Guatemala.
William Schmidt (Universidad de Michigan) Coherencia en la enseanza de las matemticas Schmidt, William (2005). Por qu los colegios importan? Comparacin internacional de currculos y aprendizajes. San Francisco, California, Estados Unidos, Editado por Jossey Bass.
Los principales planteamientos de esta conferencia fueron: 1. Esta conferencia se refiere a la contribucin que hacen los currculos al aprendizaje, entendidos como los contenidos que se aprenden, y que son el tema ms importante del aprendizaje, frente a otros temas como la organizacin escolar. 2. Un estudio reciente de Erik Hanusheck muestra que la contribucin de la educacin al desarrollo econmico no proviene tanto de la escolaridad como del conocimiento. As, no es suficiente educar a los ms brillantes y mejores; es necesario promover la educacin en el conjunto de la poblacin. La comprensin sobre la educacin no puede limitarse a los datos de las pruebas. Es necesario complementarlos con otros tipos de informacin, como la relacionada con la coherencia curricular. El trabajo del autor se basa en los datos de TIMSS 1995, en grabaciones de las aulas de distintos pases realizadas en video y en el anlisis detallado de los estndares y del currculo de las naciones participantes. Schmidt observ las clases y estudi cientos de libros de 50 pases escritos en 30 idiomas. Este trabajo form parte del TIMSS y su propsito fue revisar los contenidos que se dictan en los pases participantes, en cuanto a los tpicos y la forma como stos se entrelazan. El anlisis gener cifras sobre el currculo de matemticas y ciencias de todas las naciones.
39
Los datos se analizaron cualitativamente porque el fenmeno de estudio no es cuantificable. De esta manera se mostr la importancia del currculo en la obtencin de resultados en las pruebas de logro. 1. Con base en este ejercicio se puede decir que existen tres caractersticas en los pases con mejores puntajes en TIMSS: Foco: tres o cuatro tpicos por rea en un grado, lo que permite que los estudiantes inviertan mucho tiempo en ellos hasta manejarlos. Por el contrario, en pases como Estados Unidos se dictan hasta 30 temas, en los cuales los alumnos trabajan muy poco. Como consecuencia, los tpicos deben repetirse ao tras ao porque no se aprenden. Rigor: es decir, qu tan sofisticados son los tpicos tratados y cunto debe aumentar ese rigor en el transcurso de la vida escolar. Por ejemplo, mientras que en otros pases los estudiantes aprenden lgebra de sexto a octavo grados, en Estados Unidos ven aritmtica. As, los alumnos de esta nacin estn muy atrasados frente a los del resto del mundo. Coherencia: este es el factor ms complicado e importante dentro del currculo. Se refiere a qu tanto se debe profundizar en los tpicos, en qu secuencia y en qu grados escolares. Sin ella, ni los estudiantes ni los educadores ven la lgica de la disciplina. Estos criterios no pueden ser arbitrarios en matemticas y ciencias y, probablemente, tampoco pueden serlo en otras reas. En Estados Unidos, los alumnos ms pobres (negros e hispanos) tienen ms dificultades debido, en gran parte, a la falta de coherencia curricular. En ese pas, cada maestro decide qu ensea y cmo lo hace con base en el texto que usa. Esta situacin genera caos. 2. La Ilustracin 9 muestra un patrn curricular para los pases de alto logro. En las filas se ubican los tpicos que conforman el rea estudiada (matemticas); y en las columnas, los grados en los cuales se ensean. Los asteriscos indican el tpico enseado en el grado correspondiente. Este mapeo permite apreciar las tres caractersticas mencionadas: Foco: en los primeros grados se ensean pocos tpicos (ver las columnas de la tabla). Rigor: se aprecia en la complejidad concentrada en las filas al final de la tabla. Coherencia: puede verse en el patrn. As, hay una secuencia ordenada de estudio de los tpicos. Por el contrario, la Ilustracin 10 muestra el currculo de matemticas propuesto por una asociacin de maestros en Estados Unidos, cuyo patrn no tiene coherencia. Tener muchos asteriscos por todas partes no demuestra coherencia, sino que hay que ensear todo en todos los grados porque probablemente alguien va a aprender algo en alguna parte.
40
INFORMES
El anlisis expuesto no muestra una nica manera de dar coherencia a los currculos, sino que provee un punto de comparacin para analizarlos y disearlos.
Ilustracin 9. Ejemplo de currculo de matemticas en pases con alto logro
Fuente: Schmidt, Power Point de su conferencia en el Seminario ICFES 2010
41
Ilustracin 10. Ejemplo de currculo de matemticas en Estados Unidos
Fuente: Schmidt, Power Point de su conferencia en el Seminario ICFES 2010
42
INFORMES
3. Es importante disponer de mediciones sobre el currculo. Los estudios de logro acadmico de los pases no son sensibles a este tema, por lo que los puntajes no muestran lo que los estudiantes aprenden en los planteles, sino su clase social, sus actitudes ante las materias, sus motivaciones, entre otros aspectos. Sin embargo, estos factores no necesariamente dependen de las instituciones y no pueden ser controlados por stas, aunque al anlisis se le denomine anlisis de los colegios. Ante tanta generalidad, no es posible tomar decisiones con base en ellos. En Estados Unidos se desarroll una medicin sensible al currculo sobre los tpicos enseados en las instituciones. Los datos provienen de los maestros, se recopilan a travs de Internet y no existen lmites de tiempo para diligenciar los cuestionarios. Los profesores aprecian mucho este tipo de estudios porque les dan informacin detallada sobre la prctica docente, aunque no generen puntajes totales agregados para los individuos, los colegios o los sistemas escolares. 4. En el libro Por qu los colegios importan? (Why schools matter?), el conferencista expone cmo se desagregan los puntajes de matemticas y de ciencias de TIMSS. En cada rea se estiman puntajes para 20 tpicos especficos por pas. stos varan enormemente al interior de cada nacin y entre los tpicos. En algunos casos, un pas puede estar en los ltimos lugares y en otros, en los primeros puestos, fenmeno que ocurre incluso en naciones con los puntajes totales ms altos, como Singapur. Segn el autor, la variacin no puede atribuirse a las diferencias en las clases sociales porque son los mismos nios, sino a las diferencias curriculares, las cuales son controladas por la escuela, pues se trata de puntajes en temas especficos de matemticas o de ciencias, fuertemente vinculados a lo que se ensea en los colegios y no a las caractersticas de los estudiantes. La variacin de los puntajes tambin se refleja en la variacin de los rankings: todos los pases se ubican en los cinco o diez primeros lugares en algn tpico. En 1995, los puntajes de Colombia para los 20 tpicos estaban, consistentemente, al final de los listados. De otra parte, este tipo de anlisis brinda informacin sobre cules son las debilidades que se deben intervenir, ejercicio que es necesario adelantar, tanto en el mbito nacional como en pequeas escalas, para detectar los problemas del sistema educativo. 5. Las condiciones socioeconmicas tambin deben tenerse en cuenta al explicar los puntajes. No obstante, el currculo tiene el potencial de generar un efecto an mayor en ellos. En otras palabras, s hay una manera de salir adelante, de mejorar la distribucin, de lograr que todos los alumnos tengan mayores desempeos. Schmidt comenta que se siente avergonzado porque en su pas, la mayor democracia del mundo, esto no se hace, se ignora el tema y se atribuye el problema a la clase social.
43
William Schmidt es Profesor de la Facultad de Educacin de la Universidad de Michigan, Estados Unidos; as como Codirector del Centro de Polticas Educativas de la misma entidad, del Centro Chino-Estadounidense de Investigacin sobre la Excelencia Educativa y del Proyecto para la Promocin de Resultados Rigurosos en la Educacin de Matemticas y Ciencias (PROM/SE). El profesor Schmidt tambin ensea medicin y mtodos cuantitativos en el Departamento de Estadstica de la Universidad de Michigan. Su trabajo actual de investigacin est orientado al contenido acadmico de la educacin bsica, la teora de la evaluacin y los efectos del currculo en el logro escolar.
Paneles de discusin sobre las conferencias del Seminario

Las presentaciones acadmicas de los dos das del Seminario concluyeron con paneles entre los conferencistas, moderados por Mara Figueroa, Investigadora de la Universidad de Los Andes (Julio 6), y Jorge Ivn Gonzlez, Profesor de la Universidad Nacional e Investigador del PNUD (Julio 7). En el primer panel se discuten preguntas aclaratorias sobre las metodologas empleadas en los estudios presentados. Por ejemplo, se explica que la evaluacin de los colegios en concesin arroja resultados sobre estas instituciones como un todo; no se desagregan los efectos de componentes como el tamao de las clases o la experiencia de los maestros. Lo anterior podra motivar un estudio diferente. En general, las aclaraciones a los alcances de los trabajos presentados favorecen el surgimiento de preguntas de investigacin para el futuro: cul es la diferencia de los colegios pblicos y los privados en las pruebas de logro si se controlan por el sesgo de seleccin que resulta de los estudiantes que resuelven asistir a uno u otro sector, ya que esta decisin no es aleatoria?, cul es el efecto de las universidades en el emprendimiento? En el segundo panel, el moderador Jorge Ivn Gonzlez resume las preguntas sobre las conferencias del da, as: cmo lograr convergencia frente a la segregacin asociada a factores socioeconmicos, culturales y de ubicacin espacial?, cmo conseguir un proceso continuo de calidad desde la infancia hasta el final de la educacin formal?, cmo lograr que lo desarrollado en la edad temprana perdure a lo largo de la vida? Los conferencistas responden las preguntas de los participantes. Por ejemplo, ante la inquietud sobre las ventajas y desventajas de publicar los rankings de los colegios segn los puntajes de las pruebas estandarizadas, los invitados plantean que es positivo introducir
44
INFORMES
la rendicin de cuentas en los sistemas escolares; que, en cuanto a los resultados, por lo general un gran nmero de establecimientos se ubica en la mitad de la distribucin, aunque tambin hay ganadores y perdedores; y que si un nio no puede decidir a qu institucin asistir la clasificacin no tiene sentido. Otros interrogantes se refieren a temas relacionados con la calidad de la educacin, pero no se remiten a los estudios presentados. Por ejemplo, el rol de la nutricin en los resultados en las pruebas de logro y la formacin en la casa como una opcin frente a la educacin escolarizada. En general, todos los conferencistas coinciden en la importancia de investigar ms sobre la calidad educativa. Uno de ellos invita a preguntarse no slo por las intervenciones ms efectivas, sino tambin por las ms costo-eficientes. Conferencista: Conferencia: Francisco Miranda, Director de Colciencias Clausura del Seminario
El Director de Colciencias destaca la transformacin que est llevando a cabo Colombia con el fin de incorporar el conocimiento y la innovacin en el desarrollo y cmo la investigacin es el centro de las actividades de Colciencias, desde una perspectiva de largo plazo. Adems, tiene diversas expectativas relacionadas con la consolidacin de las capacidades de los investigadores del pas que trabajan en la calidad de la educacin, ya que el mejoramiento de la calidad de vida se genera mediante la educacin.
45
4. Los participantes
El seminario estuvo dirigido a investigadores, profesores y estudiantes de educacin superior de diversas disciplinas: educacin, psicologa, sociologa, economa, estadstica y otras ciencias sociales relacionadas con la investigacin sobre la calidad de la educacin. El evento se llev a cabo en forma presencial en el Hotel Marriot de la ciudad de Bogot; y no presencial, mediante la realizacin de videoconferencias sobre las jornadas de la maana, transmitidas va Internet a travs del link: http://streamICFES.simplexsa.com/. La Ilustracin 11 muestra el nmero de inscritos o cupos disponibles para el Seminario y para los tres talleres dirigidos a un subconjunto de participantes previamente registrados ante el ICFES. Tambin permite observar el nmero efectivo de asistentes y el total de personas que diligenciaron voluntariamente la evaluacin del evento.
Ilustracin 11. Nmero total de asistentes al Seminario

Evento Seminario Taller inferencia casual Taller bases datos Taller modelos jerrquicos Evento Seminario Taller inferencial casual Taller bases datos Taller modelos jerrquicos Asistentes 458 56 56 58 Asistentes / Inscritos 78% 140% 140% 145% Evaluaron* 183 23 30 36 Evaluaron / Asistentes 40% 41% 54% 62%
* Personas que diligenciaron la evaluacin del evento
El 56% de los asistentes resida en una ciudad diferente a Bogot; el 44% estaba domiciliado en la capital del pas. Adems, el 57% trabajaba o estudiaba en instituciones de educacin superior tcnicas, tecnolgicas o universitarias, pblicas o privadas. Tambin participaron docentes y directivos docentes de colegios de educacin bsica, funcionarios de ONG y de entidades gubernamentales del orden nacional y subnacional (Ilustracin 12).
46
INFORMES
Ilustracin 12. Nmero de asistentes por afiliacin institucional

Asistencia por tipo de institucin Instituciones de educacin superior Instituciones de educacin bsica Organizaciones no gubernamentales Gobierno Nacional Gobiernos subnacionales Otros Total Nmero 260 40 30 31 9 88 458 Porcentaje 57% 9% 7% 7% 7% 19% 100%
A partir de los datos suministrados por los participantes que entregaron informacin sobre sus actividades, se puede concluir que al Seminario asisti una comunidad muy variada que incluye directivos universitarios, investigadores, docentes de educacin bsica y superior, funcionarios de organizaciones no gubernamentales y administradores pblicos. El grupo predominante estuvo conformado por directivos y asesores de instituciones de educacin superior, como decanos y directores de posgrado. Le sigui el grupo de personas que desempean funciones de investigacin (directores de oficinas dedicadas a esta labor, docentes investigadores y asistentes de investigacin) (Ilustracin 13).
Ilustracin 13. Nmero de asistentes por tipo de funcin

Cargo Directivo o asesor de educacin superior Investigadores* Otros Docente de educacin superior Estudiante de educacin superior Docente de colegio Administrador Pblico Subtotal asistentes reportan cargo Sin identificacin Total
* Incluye asistentes de investigacin
Nmero 72 54 50 39 36 30 13 294 164 752
Porcentaje / Total 10% 7% 7% 5% 5% 4% 2% 22% 100%
Porcentaje / Reportar 24% 18% 17% 13% 12% 10% 4% 100%
47
5. Evaluacin del Seminario y de los talleres

Al concluir el evento, los participantes diligenciaron voluntariamente un formato diseado por el ICFES, compuesto por siete preguntas sobre el Seminario y dos sobre los talleres, con respuestas tipo Lickert de cuatro opciones en ambos casos. En esta seccin se presentan los resultados de acuerdo con las personas que contestaron la evaluacin (Ilustracin 11, tercera columna). Inicialmente se muestra la valoracin del Seminario y al final, la de los tres talleres. Los datos presentados no estn desagregados por cargo o tipo de afiliacin institucional, debido a que, para respetar la confidencialidad de las evaluaciones, no hay llave que permita vincular ambas fuentes de informacin. Frente a la afirmacin, este evento me aport nuevos elementos conceptuales y/o metodolgicos tiles para mi desempeo acadmico y/o profesional, el 94% de los asistentes estuvo total (60%) o parcialmente de acuerdo (Ilustracin 14). En cuanto a la afirmacin, en general, las temticas presentadas durante el evento son pertinentes para mostrar la importancia de hacer investigacin sobre la calidad de la educacin en Colombia, el 94% de los asistentes estuvo total (74%) o parcialmente de acuerdo (Ilustracin 15). Ilustracin 14. El Seminario hizo aportes a mi desempeo acadmico y/o profesional
48
INFORMES
Ilustracin 15. Las temticas son pertinentes para ilustrar la importancia de investigar
Frente a la afirmacin, me gustara participar en siguientes versiones del Seminario o en eventos similares organizados por el ICFES, el 97% de los asistentes que diligenciaron la evaluacin estuvo total o parcialmente de acuerdo (Ilustracin 16). Ilustracin 16. Me gustara participar en seminarios posteriores
Cuando se les pidi a los asistentes calificar la afirmacin las temticas tratadas en este seminario me motivan a hacer investigacin (o a seguir investigando) sobre temas relacionados con la calidad de la educacin, el 96% estuvo total o parcialmente de acuerdo (Ilustracin 17).
49
Ilustracin 17. Las temticas me motivan a hacer investigacin
Por su parte, el 95% de los asistentes que diligenciaron la evaluacin estuvieron total o parcialmente de acuerdo con la siguiente afirmacin: estoy interesado(a) en participar en el Programa de fomento a la investigacin sobre la calidad de la educacin (por ejemplo, aplicando a convocatorias de investigacin) (Ilustracin 18).
Ilustracin 18. Tengo inters en participar en el Programa de fomento a la investigacin
50
INFORMES
Para el 95% de los asistentes la trayectoria y el conocimiento de los conferencistas y/o comentaristas fueron satisfactorios (Ilustracin 19). A su vez, el 94% consider que la calidad de las conferencias fue satisfactoria (Ilustracin 20).
Ilustracin 19. El conocimiento de los conferencistas fue satisfactorio
Ilustracin 20. La calidad de las conferencias fue satisfactoria
51
El resumen de las calificaciones obtenidas con el Seminario se presenta en la Ilustracin 21. Ilustracin 21. Resumen de las calificaciones del Seminario
Tema evaluado Me gustara participar en siguientes seminarios Estoy interesado(a) en participar en el Programa ICFES Las temticas me motivan a hacer investigacin Temticas presentadas, pertinentes Conocimiento de los conferencistas, satisfactorio Calidad de las conferencias, satisfactoria Este evento me aport para mi desempeo Promedio Total Parcial acuerdo acuerdo 95% 86% 79% 74% 64% 60% 60% 74% 2% 9% 17% 20% 31% 34% 34% 21% Parcial desacuerdo 0% 0% 1% 3% 4% 5% 2% 2% Total desacuerdo 3% 5% 3% 4% 1% 2% 4% 3% Total 100% 100% 100% 101% 100% 100% 100% 100%
La Ilustracin 22 muestra los resultados de la valoracin de los tres talleres de capacitacin de investigadores. En general, se aprecia heterogeneidad en las evaluaciones de las tres capacitaciones. La que tuvo mayor aceptacin fue la de modelos lineales jerrquicos. En total, para las dos terceras partes de los participantes el conocimiento de los talleristas y la calidad de estos eventos fueron plenamente satisfactorios.
Ilustracin 22. Evaluacin de los talleres

Tema evaluado por taller Taller sobre Inferencia Casual Conocimiento de talleristas, satisfactorio Calidad del taller, satisfactoria Taller sobre Uso de Bases de Datos Conocimiento de talleristas, satisfactorio Calidad del taller, satisfactoria Taller sobre Modelos Jerrquicos Conocimiento de talleristas, satisfactorio Calidad del taller, satisfactoria Promedio de los 3 talleres Conocimiento de talleristas, satisfactorio Calidad del taller, satisfactoria 69% 64% 27% 22% 1% 5% 2% 10% 100% 100% 97% 78% 3% 22% 0% 0% 0% 0% 100% 100% 63% 40% 30% 43% 0% 7% 7% 10% 100% 100% 48% 73% 48% 0% 4% 7% 0% 20% 100% 100% Total Parcial acuerdo acuerdo Parcial desacuerdo Total desacuerdo Total
52
INFORMES
6. Conclusiones
Los resultados de Colombia en las pruebas internacionales son menores que los de la mayora de los pases participantes en estos estudios, aunque para el caso de TIMSS se registra una mejora marginal en un lapso de 12 aos en matemticas y ciencias. En todo caso, se trata de puntajes nacionales considerablemente bajos que, adems, no varan cuando las mediciones de las reas se descomponen por tpicos, sino que stos, en forma consistente, tambin se clasifican al final de los rankings. En general, la posicin de las naciones en los listados vara entre tpicos de una misma rea: un pas puede ubicarse en los primeros lugares en uno y en los ltimos puestos en otro. Adems, para su nivel de desarrollo, se esperara que Colombia obtuviera resultados algo mayores. De las conferencias emergieron distintas alternativas de poltica para mejorar los promedios en las pruebas. Willms argument que una forma de aumentar los puntajes de un pas en estos estudios consiste en reducir la segregacin socioeconmica existente entre estudiantes y colegios, la cual se manifiesta, por ejemplo, en grandes diferencias entre ricos y pobres relacionadas con los recursos educativos. En la misma lnea y a travs de una evaluacin de impacto, Saavedra mostr cmo una universidad puede allanar el terreno entre alumnos de educacin superior que tienen distintos niveles socioeconmicos, a partir de la redistribucin de oportunidades entre la sociedad. Schmidt plante otra alternativa: seal que, aunque las diferencias socioeconmicas contribuyen de manera importante a explicar las variaciones en los puntajes de los pases, reorganizar el currculo tiene un mayor potencial de mejora en el desempeo que reducir la segregacin socioeconmica. Su estudio, con datos de 50 pases, constituye un caso a favor de intervenir los logros en las pruebas a travs del trabajo en el foco, la coherencia y el rigor curriculares, debido a su significativa contribucin a los resultados en el TIMSS y a que son variables controladas directamente por los colegios y los sistemas escolares. A la batera de opciones de poltica pblica que emergieron en el Seminario se sum la adopcin de esquemas de rendicin de cuentas para las instituciones como estrategia para aumentar los puntajes en las pruebas. Este argumento se deriva de la evaluacin de impacto de los colegios en concesin de Bogot presentada por Bonilla. Sobre los resultados de este trabajo, Willms seal que ese esquema institucional, en ltimas, debe estar generando cambios al interior de las aulas gracias a los cuales estos establecimientos alcanzan los mayores puntajes en las pruebas del ICFES.
53
Las conferencias presentadas tambin enriquecieron la concepcin de los sistemas de evaluacin de la calidad de la educacin. Tanto Willms como Schmidt argumentaron que el mejoramiento de la calidad necesita indicadores ms detallados que los de las pruebas estandarizadas, que permitan identificar con precisin dnde estn las falencias y orientar los esfuerzos hacia ellas. Schmidt se inclin por los indicadores sensibles al currculo para aumentar los puntajes en los tpicos que presentan las mayores fallas. Willms, por su parte, sostuvo que el problema radica en la oportunidad de la informacin: es deseable que los maestros dispongan de datos ex ante sobre el estado de desarrollo de los nios, en vez de esperar a que stos se equivoquen. Este conferencista hizo especial nfasis en la capacidad de los pequeos de aprender a leer como predictor de su desempeo futuro en la vida escolar. Al respecto, Bonilla seal que esta rea depende bastante de lo que los nios aprenden en sus casas, mientras que en matemticas, el colegio tiene mayores posibilidades de influir. Adicionalmente, los estudios sobre factores asociados aportan algunas lneas de accin en materia de polticas pblicas, por ejemplo las mejoras en el ambiente escolar. El Seminario tambin aport ideas clave para fortalecer el Programa de fomento a la investigacin sobre la calidad de la educacin del ICFES. Primero, la contribucin de la entidad al mejoramiento de la calidad es promisoria, en especial cuando se compara con experiencias internacionales como la de AERA en Estados Unidos. Segn Porta, Colombia registra avances en el desarrollo institucional del sector en general; y Shavelson opina que tambin hay progresos en la medicin y en la investigacin de la calidad educativa en el ICFES. En segundo lugar, a travs de argumentos y ejemplos prcticos, el Seminario mostr que el Programa de fomento debe apoyar distintas preguntas y mtodos de investigacin sobre calidad educativa. En el primer caso, Shavelson advirti que no se deben confundir las preguntas normativas con las cientficas; en el segundo, se hizo evidente la importancia de los anlisis descriptivos, los estudios de correlacin estadstica y la investigacin cualitativa para entender los fenmenos educativos en toda su complejidad. Al mismo tiempo, los trabajos de Saavedra y Bonilla fueron elocuentes en las bondades de emplear metodologas causales para evaluar las intervenciones. Qued claro que la riqueza de los problemas de estudio y su naturaleza interdisciplinaria impiden privilegiar un slo tipo de metodologas de investigacin; por el contrario, justifican su complementariedad. En tercer lugar, la exposicin de Richard Shavelson mostr cmo el proceso de montaje y consolidacin del Programa de fomento tomar tiempo hasta conseguir la cantidad y la calidad de propuestas deseadas. Finalmente, las conferencias corroboraron la importancia de la independencia acadmica en la produccin de los estudios sobre calidad educativa, pues no slo le da credibilidad a los resultados encontrados, sino que permite un dilogo objetivo en la bsqueda de frmulas para que los estudiantes aprendan ms y mejor.
54
INFORMES
El Seminario alcanz los objetivos propuestos desde el punto de vista de las calificaciones obtenidas y el nmero de participantes. Los propsitos relacionados con la presentacin del Programa de fomento y la promocin de la investigacin sobre la calidad de la educacin se cumplieron: el 86% de los asistentes manifest su inters en la iniciativa y el 79% expres que las temticas del Seminario motivan la realizacin de investigaciones en el rea. El objetivo relacionado con la oferta de talleres tambin se logr: el 69% de los participantes consider que los capacitadores tenan conocimientos satisfactorios y el 64% que la calidad de esos eventos fue satisfactoria. Cabe anotar que el nmero de asistentes desbord los planes iniciales. Las nacionalidades de los conferencistas y los pases estudiados en los trabajos presentados fueron heterogneas. Los primeros recibieron calificaciones positivas. En posteriores ediciones del Seminario, cada uno de los ponentes podra evaluarse separadamente, tal como se hizo con los talleristas. Los participantes tambin conformaron una poblacin heterognea. El grupo de asistentes estuvo integrado por docentes (desde bsica hasta superior), investigadores educativos de distintas disciplinas, adems de directivos y asesores de entidades de diferentes niveles educativos, pertenecientes a los sectores pblico y privado, y del orden nacional y subnacional. Es deseable conservar la diversidad de los asistentes, as como incrementar la participacin de los investigadores. De esta manera se podra incrementar el porcentaje de personas que podran aplicar los contenidos del Seminario en sus labores. Los talleres obtuvieron buenas calificaciones globales e individuales. En prospectiva, su impacto podra incrementarse si su tiempo efectivo se extiende y se realizan varias sesiones por taller. Igualmente, si se recogen mejores datos sobre los conocimientos estadsticos de los participantes en la preinscripcin y estos eventos se organizan tanto por temas, como por el nivel de familiaridad de los asistentes con la estadstica.
55
Calle 17 No. 3-40 Telfono:(57-1)338 7338 Fax:(57-1)283 6778 Bogot - Colombia www.icfes.gov.co

Informe Memorias

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Informe Memorias

Încărcat de

Drepturi de autor:

Formate disponibile

INFORMES

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

I. El Seminario internacional anual: herramienta central del nuevo ICFES

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

2. El Seminario anual del ICFES edicin 2010

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Sesin 1. Martes 6 de julio (maana)

10:30 11:00 12:00 13:00

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Sesin 2. Martes 6 de julio (tarde)

Sesin 3. Mircoles 7 de julio (maana)

10:15 10:45 11:30

12:30 1:00 1:30

Sesin 4. Mircoles 7 de julio (tarde)

3. Las presentaciones acadmicas

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Ilustracin 1. Sistema articulado de evaluaciones del ICFES

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Ilustracin 2. Las preguntas deben orientar la investigacin y no al revs

Fuente: Tomado de Non Sequitur

Conferencista: Conferencia: Estudio:

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Fuente: Presentacin del autor en Power Point en el Seminario

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Conferencista: Conferencia: Estudio:

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Conferencista: Conferencia: Estudio:

Fuente: Willms (2006)

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Ilustracin 6. Segregaciones vertical y horizontal

Fuente: Willms (2006)

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Conferencistas: Conferencia: Estudio:

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Fuente: ICFES (2010)

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Conferencista: Conferencia: Estudio:

Ilustracin 8. Distribucin de los puntajes de matemticas de Colombia en TIMSS 2007

Fuente: Portal (2010)

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Conferencista: Conferencia: Estudio:

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Ilustracin 9. Ejemplo de currculo de matemticas en pases con alto logro

Fuente: Schmidt, Power Point de su conferencia en el Seminario ICFES 2010

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Ilustracin 10. Ejemplo de currculo de matemticas en Estados Unidos

Fuente: Schmidt, Power Point de su conferencia en el Seminario ICFES 2010

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Paneles de discusin sobre las conferencias del Seminario

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010

Ilustracin 11. Nmero total de asistentes al Seminario

* Personas que diligenciaron la evaluacin del evento

Ilustracin 12. Nmero de asistentes por afiliacin institucional

Ilustracin 13. Nmero de asistentes por tipo de funcin

Nmero 72 54 50 39 36 30 13 294 164 752

Porcentaje / Total 10% 7% 7% 5% 5% 4% 2% 22% 100%

Porcentaje / Reportar 24% 18% 17% 13% 12% 10% 4% 100%

Seminario internacional de investigacin sobre la calidad de la educacin MEMORIAS - 2010