Exmenes de Estado:

Pruebas Ecaes - Saber Pro

Comprensin e Interpretacin Pruebas Saber Pro 2011-II
Criterios y Escalas Icfes

Compilacin, trascripcin y anlisis: Rodrigo Alfaro Profesor-tallerista neuropensamiento@gmail.com Mvil: 312 537 66 54

Presentacin

Se expone una visin general de la comprensin e interpretacin de los resultados de los Exmenes de Estado de la Calidad de Educacin Superior (Pruebas Saber Pro), teniendo en cuenta los criterios, los parmetros y las valoraciones psicomtricas del Icfes.

Contenido

Psicometra Modelos psicomtricos Criterios y parmetros Objetivos Resultados:

Individual Grupo de Referencia Nacional

Pruebas Genricas Pruebas Especficas-Comunes

Psicometra

Teoras psicomtricas utilizadas: Teora Clsica de Test (TCT) Teora Respecto del tem (TRI) Psicometras estandarizadas:

Prueba escrita Prueba de ingls

Modelos psicomtricos

Psicometra en TRI:

Validez de los tems ndice de confiabilidad Alfa de Cronbach (consistencia interna) Estimacin competencia de la/el evaluada/o Estimacin de la dificultad de cada tem Programas especializados Anlisis autput Asignacin de marcadores

Estadsticos bsicos:

Modelo Rasch

Anlisis prueba escrita:

Criterios y parmetros

Cada Mdulo se punta separado, esto quiere decir que no hay un puntaje nico por examinado; tampoco un puntaje o calificacin nica por mdulo; la valoracin es para cada prueba. Los mdulos son: Mdulo de Pruebas Genricas Modulo de Pruebas Especficas-Comunes Resultados por Mdulo: Individual Grupo de referencia Nacional

Objetivos
a) Comprobar el grado de desarrollo de las competencias de los estudiantes
prximos a culminar los programas acadmicos de pregrado que ofrecen las instituciones de educacin superior. b) Producir indicadores de valor agregado de la educacin superior en relacin con el nivel de competencias de quienes ingresan a este nivel; proporcionar informacin para la comparacin entre programas, instituciones y metodologas, y mostrar su evolucin en el tiempo. c) Servir de fuente de informacin para la construccin de indicadores de evaluacin de la calidad de los programas e instituciones de educacin superior y del servicio pblico educativo, que fomenten la cualificacin de los procesos institucionales y la formulacin de polticas, y soporten el proceso de toma de decisiones en todos los rdenes y componentes del sistema educativo.

Presentacin de Resultados Individuales para Mdulo de Competencias Genricas

A manera de Ejemplo Estudiante XYZ Mdulo Individual Puntaje Nivel Quintil

Razonamiento Cuantitativo
Lectura crtica Comunicacin escrita Ingls

10,1
10,4 9,7 9,1 II A

I
III

Resultado Individual-1

Puntaje (sobre una media de 10,0 y desviacin 1,0):

Es el resultado cuantitativo de las respuestas de las preguntas de la prueba respectiva. El resultado que se entrega se hace con relacin a la media 10, con desviacin 1,0

Puntaje (promedios) en:

Anlisis cuantitativo Lectura crtica Ingls Comunicacin escrita

Resultado Individual-2

Nivel (nivel de desempeo en escala predeterminada):

El nivel de desempeo es una descripcin cualitativa de las competencias que obtiene un/a Estudiante en la Prueba respectiva, sobe una escala previamente determinada Se espera que una persona ubicada en un determinado nivel demuestre las competencias de ese nivel y de los niveles inferiores Prueba de Comunicacin Escrita
(niveles de 1 a 8, siendo 1 el ms bajo y 8 el ms alto)

Niveles en las pruebas de:

Prueba de Ingls
(niveles de A-, A1, A2, B1, B+, siendo A- el ms bajo y B+ el ms alto)

Resultado Individual-3

Quintiles: Los Quintiles consisten en dividir el nmero total de Estudiantes del Grupo de Referencia que presenta cada prueba en cinco Al hacer la divisin, implica que cada Quintil tenga aprox. el 20% de las-os evaluadas-os de esa Prueba segn el Grupo de Referencia Los Quintiles se describen con nmeros romanos: I, II, III, IV, V Quintiles en las pruebas de: Prueba de Anlisis Cuantitativo (quintiles de I a V, siendo el Quintil I, puntaje ms bajo y el V el ms alto) Prueba de Lectura Crtica (quintiles de I a V, siendo el Quintil I, puntaje ms bajo, y el V, ms alto)

Presentacin de Resultados del Grupo de Referencia para el Mdulo de Competencias Genricas

A manera de Ejemplo Estudiante XYZ en relacin al Grupo de Referencia Mdulo Razonamiento Cuantitativo Lectura crtica Comunicacin escrita Ingls Grupo de Referencia N 18.401 18.401 18.401 18.125 Promedio 10, 8 10,5 10,2 10,1 Desviacin 1,1 0,9 1,0 1,2

Resultado Grupo de Referencia-1

N Nmero de estudiantes que respondieron la Prueba respectiva Pruebas de: Anlisis cuantitativo Lectura crtica Ingls Comunicacin escrita

(no se tienen en cuentan las pruebas de estudiantes que no contestan o el escrito es ilegible, esto es, que la prueba no se califica)

Resultado Grupo de Referencia-2

Promedio: es el promedio de las-os Estudiantes que respondieron la respectiva Prueba del Grupo de Referencia Pruebas de: Anlisis cuantitativo Lectura crtica Ingls Comunicacin

Resultado Grupo de Referencia-3

Desviacin (desviacin estndar):

Es una medida que permite apreciar la dispersin de los puntajes de Estudiantes que presentaron la prueba respectiva del Grupo de Referencia Se interpreta como la magnitud en que la mayora de Estudiantes se alejan del promedio hacia arriba o hacia abajo en la prueba respectiva del Grupo de Referencia
Anlisis cuantitativo Lectura crtica Ingls Comunicacin

Pruebas de:

Presentacin de Resultados del Nacional para el Mdulo de Competencias Genricas

A manera de Ejemplo Estudiante XYZ en relacin al Nacional
(poblacin nacional que presento la prueba respectiva)

Mdulo Razonamiento Cuantitativo

Nacional N Promedio Desviacin

145.799

10,0

1,0

Lectura crtica
Comunicacin escrita Ingls

145.799
145.799 142.821

10,0
10,1 10,0

1,0
1,2 1,0

Resultado Nacional 1

N Nmero Total de Estudiantes que respondieron la Prueba respectiva a nivel nacional Pruebas de: Anlisis cuantitativo Lectura crtica Ingls Comunicacin escrita

(no se tienen en cuentan las pruebas de estudiantes que no contestan o el escrito es ilegible, esto es, que la prueba no se califica)

Resultado Nacional - 2

Promedio: es el promedio de todas/os las/os Estudiantes que respondieron la respectiva Prueba a nivel nacional Pruebas de: Anlisis cuantitativo Lectura crtica Ingls Comunicacin

Resultado Nacional - 3

Desviacin (desviacin estndar):

Es una medida que permite apreciar la dispersin de los puntajes de Estudiantes que presentaron la prueba respectiva a nivel Nacional Se interpreta como la magnitud en que todas/os las/os Estudiantes se alejan del promedio hacia arriba o hacia abajo en la prueba respectiva a nivel Nacional
Anlisis cuantitativo Lectura crtica Ingls Comunicacin

Pruebas de:

Prueba Genrica - 1
Prueba de Anlisis Cuantitativo
(a manera de ejemplo, Estudiante XYZ)

N
(nmero estudiantes)

Puntaje

Desviacin

Quintil

Individual Grupo Referencia Nacional

Estudiante XYZ

10,1 10,8 10,0 1,1 1,0

18.401 145.799

Prueba Genrica - 2
Prueba de Lectura Crtica
(a manera de ejemplo, Estudiante XYZ)

N
(nmero estudiantes)

Puntaje

Desviacin

Quintil

Individual Grupo Referencia Nacional

Estudiante XYZ

10,4 10,5 10,0 0,9 1,0

III

18.401 145.799

Prueba Genrica - 3
Prueba de Comunicacin Escrita
(a manera de ejemplo, Estudiante XYZ)

N
(nmero estudiantes)

Puntaje

Desviacin

Quintil

Individual Grupo Referencia Nacional

Estudiante XYZ

9,7 10,2 10,1 1,0 1,2

II

18.401 145.799

Prueba Genrica - 4
Prueba de Ingls
(a manera de ejemplo, Estudiante XYZ)

N
(nmero estudiantes)

Puntaje

Desviacin

Nivel

Individual Grupo Referencia Nacional

Estudiante XYZ

9,1 10,1 10,0 1,2 1,0

18.125 142.821

Prueba de Competencias Especficas-Comunes

Cada Mdulo de competencias especficas evala un saber hacer complejo en contexto, y est definido con base en las competencias fundamentales de formacin de los grupos de programas o reas de conocimiento Se desarrollaron mdulos de competencias especficas comunes a grupos de programas, de manera que en un mismo mdulo puede evaluar a estudiantes de distintos programas, independientemente del rea de formacin a la que pertenezcan El Modulo de Competencias Especficas-Comunes esta compuesto por Prueba/s , que pueden ser combinaciones de 1, 2, 3 o 4.

Mdulos de pruebas para las Competencias Especficas-Comunes

Administracin en salud Atencin en salud a la persona, el paciente y la comunidad Comunicacin jurdica Desarrollo de soluciones de hardware y software Desarrollo e implementacin de estrategias comerciales y logsticas Desarrollo e implementacin de estrategias comerciales Desarrollo e implementacin de estrategias logsticas Diseo en Ingeniera Elaboracin de soluciones de diseo Ensamblaje, mantenimiento y operacin de maquinaria y equipos Ensear Evaluar Formar Expresin y representacin grfica

Gestin de proyectos Formulacin de proyectos de Ingeniera Gestin del conflicto Indagacin cientfica 1 Indagacin cientfica 2 Investigacin en ciencias sociales Investigacin jurdica Mantenimiento e instalacin de software y hardware Modelacin Produccin agrcola Produccin pecuaria Promocin y prevencin en salud Proyecto arquitectura Salud y bienestar animal Sistemas sostenibles de produccin agropecuaria

Prueba de Gestin de Proyectos

(a manera de ejemplo)
Este mdulo evala competencias para planear, dirigir y evaluar sistemticamente un

proyecto que busca desarrollar una idea para responder estratgicamente a una situacin especfica. Las competencias evaluadas tienen que ver con: a) Formular proyectos, b) dirigir la implementacin de un proyecto, c) evaluar el desarrollo del proyecto. En el mdulo se abordan procesos relacionados con:
Diagnosticar en un contexto especfico la situacin que se pretende mejorar con la realizacin del proyecto Justificar el proyecto con la situacin propuesta Definir objetivos, metas y el impacto del proyecto

Determinar la viabilidad y factibilidad del proyecto

Determinar estrategias y metodologas Coordinar la provisin y el uso de los recursos necesarios. Hacer el seguimiento del proyecto. Establecer y aplicar metodologas de evaluacin y procedimientos de anlisis Analizar la informacin relativa al cumplimiento al propsito del proyecto Documentar el proyecto

Desarrollo e implementacin de estrategias comerciales y logsticas (a manera de ejemplo)

a)

b)

Este mdulo evala competencias para realizar operaciones comerciales y logsticas de productos y servicios, segn los requerimientos legales, de calidad, seguridad y dems establecidos por el contexto mercantil. En el mdulo se abordan procesos relacionados con: a) conocer los requerimientos de calidad, seguridad y normatividad legal y aplicarlos en el diseo y desarrollo de estrategias comerciales y logsticas, b) determinar las actividades que respondan a la mezcla del marketing en funcin de los objetivos de la empresa, de las condiciones del mercado y la competencia. Conocer los requerimientos de calidad, seguridad y normatividad legal y aplicarlos en el diseo y desarrollo de estrategias comerciales y logsticas. Evala desempeos como: Definir y caracterizar los requerimientos de calidad, seguridad y normatividad legal vigente en las operaciones logsticas comerciales. Establecer la logstica y distribucin fsica necesaria para la fabricacin y comercializacin de los productos Aplicar los requerimientos de calidad, seguridad y normatividad legal vigente en las operaciones logsticas comerciales. Integrar la logstica y distribucin fsica necesaria para la fabricacin, y comercializacin de los productos. Determinar las actividades que respondan a la mezcla del marketing en funcin de los objetivos de la empresa, de las condiciones del mercado y la competencia. Evala desempeos como: Establecer las estrategias y actividades adecuadas para la comercializacin de un producto o servicio

Presentacin de Resultados Individuales para Mdulo de Competencias Especficas-Comunes-1

A manera de Ejemplo
Estudiante XYZ Referencia: Universitario (Pregrado) en Administracin, Contadura y Afines (Mdulo 55) Mdulo 55 Desarrollo e implementacin de estrategias comerciales y logsticas Gestin de Proyectos Individual Puntaje Nivel Quintil

8,9 10,5

I IV

Presentacin de Resultados Individuales para Mdulo de Competencias Especficas-Comunes-2

A manera de Ejemplo
Estudiante XYZ Referencia: Universitario (Pregrado) en Administracin, Contadura y Afines (Mdulo 55) Mdulo 55 Desarrollo e implementacin de estrategias comerciales y logsticas Gestin de Proyectos Grupo de Referencia N Promedio Desviacin

10.310 15.455

10,0 10,0

1,0 1,0

Presentacin de Resultados Individuales para Mdulo de Competencias Especficas-Comunes-3

A manera de Ejemplo
Estudiante XYZ Referencia: Universitario (Pregrado) en Administracin, Contadura y Afines (Mdulo 55) Mdulo 55 Desarrollo e implementacin de estrategias comerciales y logsticas Gestin de Proyectos Nacional N Promedio Desviacin

10.310 20.374

10,0 10,0

1,0 1,0

Resultados Individual para el Mdulo de Competencias Especficas-Comunes

Prueba de Desarrollo e implementacin de estrategias comerciales y logsticas

(a manera de ejemplo, Estudiante XYZ)

N
(nmero estudiantes)

Promedio Desviacin 8,9 10,0 1,0

Quintil I

Individual Grupo Referencia Nacional

Estudiante XYZ 10.310

10.310

10,0

1,0

Resultados Individual para el Mdulo de Competencias Especficas-Comunes

Prueba de Gestin de Proyectos

(a manera de ejemplo, Estudiante XYZ)

N
(nmero estudiantes)

Promedio Desviacin 10,5 10,0 10,0 1,0 1,0

Quintil IV

Individual Grupo Referencia Nacional

Estudiante XYZ 15.455 20.374

Presentacin Resultados Individuales

(a manera de ejemplo, 2011-II)

Comunicacin e Informacin:

Rodrigo Alfaro V.
Fil. U. Nacional de Colombia MA en Educacin. U. de Sherbrooke (Q) Consultor Internacional Telfono Mvil: 320 487 65 92 Correo: neuropensamiento@gmail.com Correo: lectura@neuropensamiento.com Twitter: @neurolenguaje

www.neuropensamiento.pt