GUÍAS

GUÍA DE DISEÑO, PRODUCCIÓN

APLICACIÓN Y
CALIFICACIÓN DEL EXAMEN
SABER 11

Colombia 2018
 Presidente de la
Directora General
República Juan Manuel
Ximena Dueñas Herrera
Santos Calderón
Ministra de Educación Nacional Secretaria General
Yaneth Giha María Sofía Arango Arango
Tovar
Directora de Evaluación
Viceministra de Educación Natalia González Gómez
Preescolar,
Básica y Director de Producción y Operaciones
Media Helga Milena José Giovany Babativa Márquez
Hernández
Directora de Tecnología
Ingrid Picón Carrascal

Subdirectora de Producción de Instrumentos

Nubia Sánchez

Subdirector de Diseño de Instrumentos

Javier Toro Baquero

Subdirectora de Análisis y Divulgación

Silvana Godoy Mateus

Subdirector de Estadística
Edwin Javier Cuellar Caicedo

Elaboración del documento

César Andrés Vega Pardo
Luis Felipe Dussán
Zuluaga

Revisión de estilo
Andrés Felipe Vélez Martínez

Diagramación
Alejandra Guzmán Escobar
Fotografía de portada
http://www.freepik.es/foto-gratis/bombilla-con-el-grafico-de-dibu-
jo_1010172.htm#term=team&page=1&position=28

ISBN: En trámite

Bogotá D.C., mayo de 2018

ADVERTENCIA
Con el fin de evitar la
sobrecarga gráfica que supondría
utilizar en español “o/a” para
denotar uno u otro género, el Icfes
opta por emplear el masculino
genérico en el que todas las
menciones de este se refieren siempre
a reproducción, utilización ni
hombres y mujeres.
Todo el contenido es propiedad
exclusiva y reservada del Icfes y
es el resultado de investigaciones
y obras protegidas por la
legislación nacional e
internacional. No se autoriza su
explotación a ningún tercero.
Solo se autoriza su uso para
fines exclusivamente
académicos. Esta
Icfes. 2018. Todos los derechos de autor reservados ©.
información no podrá ser alterada,
modificada o enmendada.
 TÉRMINOS Y CONDICIONES DE USO PARA PUBLICACIONES
Y OBRAS DE PROPIEDAD DEL ICFES

El Instituto Colombiano para la Evaluación de la Educación (Icfes) pone a la disposición de la

comunidad educativa y del público en general, DE FORMA GRATUITA Y LIBRE DE
CUALQUIER CARGO, un conjunto de publicaciones a través de su portal www.icfes.gov.co. Dichos
materiales y documentos están normados por la presente política y están protegidos por derechos
de propiedad intelectual y derechos de autor a favor del Icfes. Si tiene conocimiento de alguna
utilización contraria a lo establecido en estas condiciones de uso, por favor infórmenos al correo
prensaicfes@icfes.gov.co.

Queda prohibido el uso o publicación total o parcial de este material con fines de lucro.
Únicamente está autorizado su uso para fines académicos e investigativos. Ninguna
persona, natural o jurídica, nacional o internacional, podrá vender, distribuir, alquilar, reproducir,
transformar*, promocionar o realizar acción alguna de la cual se lucre directa o indirectamente con
este material. Esta publicación cuenta con el registro ISBN (International Standard Book Number, o
Número Normalizado Internacional para Libros) que facilita la identificación no sólo de cada
título, sino de la autoría, la edición, el editor y el país en donde se edita.

En todo caso, cuando se haga uso parcial o total de los contenidos de esta publicación del
Icfes, el usuario deberá consignar o hacer referencia a los créditos institucionales del Icfes
respetando los derechos de cita; es decir, se podrán utilizar con los fines aquí previstos
transcribiendo los pasajes necesarios, citando siempre la fuente de autor, lo anterior siempre que
estos no sean tantos y seguidos que razonadamente puedan considerarse como una reproducción
simulada y sustancial, que redunde en perjuicio del Icfes.

Así mismo, los logotipos institucionales son marcas registradas y de propiedad exclusiva del
Instituto Colombiano para la Evaluación de la Educación (Icfes). Por tanto, los terceros no
podrán usar las marcas de propiedad del Icfes con signos idénticos o similares respecto a cualquier
producto o servicios prestados por esta entidad, cuando su uso pueda causar confusión. En todo
caso queda prohibido su uso sin previa autorización expresa por Icfes. La infracción de estos
derechos se perseguirá civil y, en su caso, penalmente, de acuerdo con las leyes nacionales y
tratados internacionales aplicables.
El Icfes realizará cambios o revisiones periódicas a los presentes términos de uso, y los
actualizará en esta publicación.

El Icfes adelantará las acciones legales pertinentes por cualquier violación a estas políticas y
condiciones de uso.

* La transformación es la modificación de la obra a través de la creación de adaptaciones, traducciones, compilaciones,

actualizaciones, revisiones, y, en general, cualquier modificación que de la obra se pueda realizar, generando que la nueva obra
resultante se constituya en una obra derivada protegida por el derecho de autor, con la única diferencia respecto de las obras
originales que aquellas requieren para su realización de la autorización expresa del autor o propietario para adaptar, traducir,
compilar, etcétera. En este caso, el Icfes prohíbe la transformación de esta publicación.
CONTENIDO

Presentación.................................................................................................5

1. Características generales del examen Saber 11...........................................6

1.1 ¿Qué es?...................................................................................7
1.2 ¿Qué busca?.................................................................................7
1.3 ¿Qué evalúa?.............................................................................7

2. Proceso de evaluación..............................................................................8
2.1 Diseño y producción de instrumentos........................................................10
2.1.1 Fundamento conceptual................................................................10
2.1.2 Estructura del examen.................................................................12
2.1.3 Construcción de ítems...................................................................18
2.1.4 Armado del instrumento................................................................20
2.2 Aplicación........................................................................................22
2.2.1 Antes.......................................................................................22
2.2.2 Durante....................................................................................24
2.2.3 Después..............................................................................25
2.3 Calificación.......................................................................................25
2.3.1 Análisis de ítem e instrumento........................................................25
2.3.2 Procedimientos de ajuste..............................................................27
2.4 Análisis y divulgación de los resultados......................................................28

Bibliografía.................................................................................................30

Anexos.......................................................................................................32
Anexo 1. Definiciones generales..................................................................33
Anexo 2. Detección de copia.......................................................................34
Anexo 3. Indicadores estadísticos................................................................35

Guía de diseño, producción, 4

aplicación y calificación del
examen Saber 11
PRESENTACIÓN
El Instituto Colombiano para la Evaluación de
la Educación (Icfes) es la entidad encargada
de evaluar la calidad de la educación en
todos los niveles educativos, conforme a los
propósitos definidos por el Ministerio de
Educación Nacional (MEN). Para esto se
consolida el Sistema Nacional de Evaluación
Estandarizada de la Educación (SNEE) que
permite evaluar a los estudiantes del país
dependiendo de su grado o nivel de
formación.
En el caso de la educación media, el instituto
desarrolla el examen Saber 11 que permite
valorar el desarrollo de las competencias
obtenidas por los estudiantes que culminaron
o que van a culminar el grado undécimo.
Este examen es importante para diagnosticar
la calidad de la educación que imparten los
colegios del país, y para conocer las bases
con que los estudiantes van a ingresar a la
educación superior. Por esto, es fundamental
conocer el proceso de elaboración y
evaluación del examen, puesto que la
información recolectada debe ser válida y
confiable.
Esta guía está dirigida a estudiantes,
docentes, directivos docentes y a miembros
de la comunidad educativa, y tiene como
finalidad conocer todo el proceso de
construcción y evaluación del examen Saber
11 diseñado por el Icfes. El proceso consta de
cinco etapas, que son: i) diseño, ii)
producción, iii) aplicación,
iv) calificación de instrumentos, y, finalmente
iv) análisis y divulgación de los resultados. La
correcta articulación entre cada una de las
etapas brinda garantías sobre la pertinencia
y confiabilidad en los resultados reportados,
y sobre las interpretaciones que de allí se
derivan.
El presente documento está dividido en dos
secciones, la primera sección describe las
características generales del examen Saber
11, es decir, ¿qué es?, ¿qué busca? y ¿qué
evalúa?; y la segunda, que responde al
objeto de esta guía, contiene la descripción
del proceso desarrollado por el Icfes, desde los
fundamentos conceptuales hasta el análisis de
los resultados obtenidos por los evaluados.
1. CARACTERÍSTICAS GENERALES DEL EXAMEN SABER 11

Guía de diseño, producción, aplicación y

calificación del examen Saber 11 6
1. Características generales
del examen Saber 11
1.1 ¿Qué es?
El examen de Estado de la Educación Media,
Saber 11, es un instrumento de evaluación
estandarizado diseñado por el Icfes, y en
conjunto con las pruebas Saber 3°, 5° y 9°,
Saber TyT y Saber PRO, conforman el Sistema
Nacional de Evaluación.
1.2 ¿Qué busca?
Los objetivos del examen Saber 11 pueden
ser resumidos en tres grandes propósitos. El
primero, busca comprobar el grado de
desarrollo de las competencias de los
estudiantes que están por finalizar o que
finalizaron su educación media1, con el fin
de obtener resultados oficiales para ingresar
a la educación superior y, en este sentido,
también proporcionar información a las
instituciones de educación superior (IES)
sobre las habilidades y conocimientos de los
aspirantes a ingresar a sus programas
académicos. El segundo está relacionado con
la construcción de indicadores de calidad de
la educación que permiten diagnosticar y
monitorear la prestación del servicio
educativo en el nivel de educación media y
diseñar políticas educativas nacionales,
territoriales e institucionales. Finalmente, el
tercer propósito consiste en brindar a los
1 Quienes hayan obtenido el título de bachiller o hayan superado el examen de validación del bachillerato, de conformidad
con las disposiciones legales vigentes.
establecimientos educativos indicadores de
valor agregado e información relevante para
que estos implementen procesos de
consolidación y reorientación de sus
prácticas pedagógicas (Decreto 869 de 2010).
1.3 ¿Qué evalúa?
Los lineamientos del Ministerio de Educación
Nacional buscan que los estudiantes del país
desarrollen competencias, en lugar de aprender
contenidos de memoria; es decir, que estén
en capacidad de comprender conocimientos
y utilizarlos dentro y fuera del salón de clase
(Ministerio de Educación Nacional, 2006A).
En este sentido, el examen evalúa el
desarrollo de las competencias que adquieren
los estudiantes en su paso por el sistema
educativo.
Las competencias se pueden clasificar en
genéricas y no genéricas: las primeras
resultan necesarias en la vida cotidiana de
todo ciudadano, independientemente de su
oficio o profesión; y las segundas,
corresponde a habilidades y conocimientos
específicos que resultan indispensables en
profesiones u oficios particulares.
Guía de diseño, producción,
aplicación y calificación del
7
examen Saber 11
2. PROCESO DE EVALUACIÓN

Guía de diseño, producción, aplicación y

calificación del examen Saber 11 8
2. Proceso de evaluación

Las evaluaciones que se realizan a través de cabo el armado del instrumento. En la

pruebas estandarizadas deben basarse en
instrumentos válidos y confiables; válidos en
el sentido que las preguntas de la prueba
deben guardar coherencia con los referentes
definidos para la evaluación, y confiables en
la medida que permitan hacer mediciones
sobre lo que se está evaluando. Gracias a estas
características es posible hacer inferencias
sobre los conocimientos, habilidades y
capacidades de las personas evaluadas (Icfes,
2017A).
La figura 1 resume el proceso de elaboración
y evaluación del instrumento, es decir, del
examen Saber 11. El proceso inicia con la fase
de diseño de instrumentos, en donde se define
la estructura de la prueba a partir de los
fundamentos conceptuales, se construyen los
ítems (preguntas) y se lleva a
siguiente fase, producción de instrumentos,
tiene lugar la diagramación de las preguntas y
se consolida el banco de ítems. Durante la fase
de aplicación, los evaluados responden el
instrumento consolidado y luego, en la fase de
calificación, se procede a estimar el
desarrollo de las habilidades y las
competencias de los evaluados. Posterior a la
calificación, se entregan los reportes de
resultados y se brindan estrategias adicionales
(informes de resultados, guías de uso e
interpretación de resultados, capacitaciones,
entre otros) para analizar los resultados
obtenidos.
Cabe mencionar que todas las fases están
articuladas entre sí, y que en cada fase
tienen lugar varios subprocesos que son
abordados a lo largo del documento.

Figura 1. Proceso de elaboración y evaluación del examen Saber 11

Diseño

Fundamentos
conceptuales
Producción

Estructura del Diagramación de

examen ítems
Aplicación Calificació
n

Construcción de Banco de ítems Procedimientos de Análisis de ítem e

ítems aplicación instrumento
Análisis y
Divulgación

Armado del Procedimientos de Reportes guías e

instrumento ajuste informes de
resultados

Capacitaciones a
docentes y
directivos
docentes
Guía de diseño, producción, 9
aplicación y calificación del
examen Saber 11
Fuente: elaboración propia

Guía de diseño, producción, 10

aplicación y calificación del
examen Saber 11
2.1 Diseño y Producción
El instrumento de evaluación consta de un
conjunto de preguntas o ítems que permiten
hacer inferencias sobre el desempeño
académico de quienes lo responden. En
consecuencia, la elaboración de la prueba y
de los ítems deben cumplir con una serie de
propósitos y características, donde cada
pregunta resulta ser parte esencial de la
evaluación. Esta fase consiste en definir lo que
se evalúa desde las directrices nacionales y
la estructura adoptada.
2.1.1 Fundamento conceptual
El diseño del examen Saber 11, así como de
las pruebas Saber 3º, 5º y 9°, Saber TyT y
Saber PRO, sigue la metodología denominada
especificaciones a partir del modelo basado
en evidencias (Icfes, 2017A). Esta consiste en
alinear las diferentes etapas del diseño y
producción del instrumento, garantizando
coherencia entre lo que se quiere medir y las
habilidades observadas de los estudiantes (Ver
figuras 2 y 3).
La metodología inicia con la identificación
del marco de referencia -estándar- de la
evaluación, que para el caso colombiano son
los Estándares Básicos de Competencias
(EBC)definidos por el MEN. Allí se establece
lo que los estudiantes deben saber y saber
hacer con lo que aprenden en las áreas de
lenguaje, matemáticas, ciencias naturales,
ciencias sociales y competencias
2 periodísticos, permitiendo así abordar dos
ciudadanas . Del mismo modo, se toman
como referencia los estándares básicos de
competencias
2 A diferencia de las pruebas Saber 3°, 5° y 9° y del examen Saber 11, el marco de referencia para las pruebas Saber TyT y
Saber Pro no son los estándares básicos por competencias, sino que los fundamentos son construidos y actualizados por las
en lenguas extranjeras3, que tienen el objeto
de integrar “al país en los procesos de
comunicación universal, en la economía
global y en la apertura cultural” (Ministerio
de Educación Nacional, 2006B).
Es importante resaltar que no todas las
competencias definidas por el ministerio en
los EBC son susceptibles de ser evaluadas en
una prueba estandarizada de papel y lápiz,
pues, por construcción, el diseño del examen
Saber
11 implica algunas restricciones en el número
de preguntas y en el tipo de preguntas que
lo conforman, entre otras. Por esta razón, el
siguiente paso consiste en la coordinación
con grupos de trabajo, conformados por
expertos de la comunidad académica en las
áreas de interés, quienes identifican las
competencias que efectivamente se pueden
evaluar y definen las especificaciones de las
etapas subsiguientes.
Por ejemplo, la figura 2 muestra los EBC del
lenguaje para los grados 10° y 11°, e indica
los estándares que se tienen en cuenta a la
hora de formular los lineamientos de la
evaluación. Para el caso particular de la
evaluación del área de lenguaje en el
examen Saber 11, la prueba se denomina
“Lectura Crítica”, ya que solo aborda los
procesos de comprensión e interpretación de
textos. Para cumplir con este propósito, la
prueba usa diferentes tipos de textos en los
que se encuentran los literarios y
factores adicionales propuestos en los EBC:
Literatura y Medios de Comunicación y Otros
Sistemas Simbólicos.
 asociaciones de facultades y por docentes expertos.
3 Los estándares básicos de competencias en lenguas extranjeras responden a los niveles de desempeño propuestos por el
Marco Común Europeo de Referencia para las Lenguas del Consejo de Europa: aprendizaje, enseñanza y evaluación (Icfes,
2017C).
 Figura 2. Estándares Básicos de Competencias del Lenguaje, Décimo a undécimo

PRODUCCIÓN TEXTUAL
COMPRENSIÓN E INTERPRETACIÓN
TEXTUAL LITERATURA

Produzco textos Comprendo e interpreto textos con actitud Analizo crítica y creativamente
argumentativos que crítica y capacidad argumentativa diferentes manifestaciones literarias del
evidencian mi conocimiento de contexto universal.
la lengua y el control sobre el
uso que hago de ella en
contextos comunicativos ÉTICA DE LA COMUNICACIÓN
MEDIOS DE COMUNICACIÓN Y OTROS SISTEMAS SIMBÓLICOS
orales y escritos.

Interpreto en forma crítica Retorno críticamente los Expreso respeto por la diversidad
la información difundida lenguajes no verbales para cultural y social del mundo
por los medios de desarrollar procesos contemporáneo, en las situaciones
comunicación masiva. comunicativos comunicativas en las que intervengo.
intencionados.

de las preguntas de la prueba.

Posteriormente, los expertos formulan las
afirmaciones que se obtienen de cada
competencia-componente. Estas hacen
referencia a los conocimientos, habilidades y
capacidades que se pretenden inferir a partir
de las respuestas dadas por los estudiantes en
la prueba (Icfes, 2017A), o en otras palabras,
lo que se quiere decir sobre los estudiantes a
partir de sus respuestas. Además, permiten
entender el significado y el alcance de los
puntajes obtenidos por los estudiantes en
términos de su desempeño.

De cada afirmación se construyen las

evidencias que son esas acciones observables
que permiten dar cuenta si la afirmación se
cumple. Estas deben responder a: ¿qué deben
hacer los estudiantes de grado once en el
examen para inferir que tienen determinadas
competencias, conocimientos o habilidades?
(Icfes, 2017A). Las evidencias permiten al
evaluador entender si el estudiante tiene el
conocimiento y la habilidad evaluada y, en
ese sentido, son la base para la construcción
El siguiente paso es la elaboración de las tareas que
representan una actividad específica. A través de
estas es posible caracterizar la dificultad y
complejidad de las preguntas.

Finalmente, se establecen las pautas para la

construcción de las preguntas o ítems de una prueba,
y se garantiza que la correcta respuesta a las
preguntas del examen sea evidencia del desarrollo
de lo que se ha propuesto evaluar.

En suma, el modelo basado en evidencias (MBE)

muestra que existe un conjunto de preguntas que
responden a una tarea; un conjunto de tareas que
responden a una evidencia; y unas evidencias que
dan cuenta de que lo que saben y saben hacer los
estudiantes, de conformidad con la política
educativa del país (ver figura 3). Además, el MBE
garantiza la comparabilidad a través del tiempo, en
la medida que los instrumentos de evaluación que se
construyen para cada aplicación parten del mismo
marco de referencia.
 Figura 3. Modelo basado en evidencias

Estándar / Marco

Competencia 1 Competencia 3 Competencia etc.

Competencia 2

Afirmación 1 Afirmación 2 Afirmación 3 Afirmación etc.

Evidencia 1 Evidencia 2 Evidencia 3 Evidencia etc.

Tarea 1 Tarea 2 Tarea 3 Tarea etc.

Pregunta 1 Pregunta 2 Pregunta 3 Pregunta etc.

Fuente: Icfes (2017A)

2.1.2 Estructura del examen

El examen está compuesto de cinco pruebas: y sociedad), Sociales y Ciudadanas (incluye

Lectura Crítica (incluye competencias de ciencias sociales y competencias ciudadanas), e
lenguaje y filosofía), Matemáticas (incluye Inglés.
competencias de razonamiento cuantitativo y
conocimientos específicos de Matemáticas de la A continuación, se hace una breve
educación media), Ciencias Naturales (incluye descripción de las competencias y
biología, física, química y ciencia, tecnología afirmaciones evaluadas en cada una de las
pruebas4.

4 Para mayor información consulte el documento de Lineamientos generales para la presentación del examen de Estado Saber 11.
Lectura Crítica derivar implicaciones, reconocer estrate-
gias argumentativas y retóricas, relacionar
La prueba de Lectura Crítica evalúa las
contenidos con variables contextuales,
competencias necesarias para comprender,
etcétera. Esta competencia es propiamente
interpretar y evaluar textos que pueden
crítica y, como tal, exige un ejercicio
encontrarse en la vida cotidiana y en
adecuado de las dos anteriores.
ámbitos académicos no especializados.
Evalúa tres competencias que recogen, de
Para evaluar estas competencias, la prueba
manera general, las habilidades cognitivas
de Lectura Crítica utiliza dos tipos de textos.
necesarias para leer de manera literal,
Los primeros son los continuos, que se
inferencial y crítica:
caracterizan por ser leídos de manera
secuencial y ser organizados en frases,
• Identificar y entender los contenidos locales
párrafos, secciones, capítulos, etc. Los
que conforman un texto: se refiere a la
segundos son los textos discontinuos que no
capacidad de comprender el significado
son leídos secuencialmente e incluyen cuadros,
de las palabras, expresiones y frases que
gráficas, tablas, etc. Algunos ejemplos de
se encuentran explícitamente en el texto.
textos continuos son la novela, el cuento, la
No indaga por conocimientos sobre
poesía, el ensayo, la columna de opinión y la
gramática, pero sí por la comprensión de
crónica; mientras que la caricatura, el
las relaciones semánticas que existen
cómic, la infografía, la tabla, el diagrama, el
entre los diferentes elementos que
aviso publicitario, el manual y el reglamento
constituyen una frase. En ausencia de esta
son ejemplos de textos discontinuos.
competencia, no es posible contar con las
dos siguientes.
Matemáticas
• Comprender cómo se articulan las partes
de un texto para darle un sentido global:
La prueba de Matemáticas evalúa el uso que
se refiere a la habilidad de comprender
se hace de las matemáticas en función de
cómo se relacionan, formal y
tres dimensiones de evaluación (ver figura
semánticamente, los elementos locales que
4). De esta forma, evalúa lo que los
constituyen un texto, de manera que este
estudiantes aprendieron en estadística,
adquiera un sentido global (a nivel del
geometría, álgebra y cálculo -contenidos-; y
párrafo, sección, capítulo, etcétera). Las
cómo esto les permite interpretar y
preguntas correspondientes a esta
representar, formular y ejecutar, y argumentar
competencia involucran elementos locales
-competencias-. Los estudiantes se pueden
de un texto y exigen reconocer y
enfrentar a situaciones puestas en contextos
comprender su articulación. Esta
laborales, científicos, profesionales o
competencia es necesaria para contar con
matemáticos. El cuadro 1 resume las
la siguiente.
competencias y las afirmaciones de la prueba
de Matemática.
• Reflexionar a partir de un texto y evaluar
su contenido: se refiere a la capacidad de
evaluar la validez de argumentos, advertir
supuestos,
 Figura 4. Dimensiones de evaluación de la prueba de Matemáticas

Competencias
Dimensión de
evaluación

Contenido Context
s os
Fuente: elaboración propia

• Interpretación y representación: se refiere la pertinencia de soluciones propuestas a

a la habilidad para comprender y
transformar la información presentada en
distintos formatos, como tablas, gráficas,
conjuntos de datos, diagramas o
esquemas, y la capacidad de utilizar
estos tipos de representación para extraer
de ellos información relevante que
permita, entre otras cosas, establecer
relaciones matemáticas e identificar
tendencias y patrones.
• Formulación y ejecución: se refiere a
la capacidad para plantear y diseñar
estrategias que permitan solucionar
proble- mas provenientes de diversos
contextos matemáticos o de la vida
cotidiana que son susceptibles de un
tratamiento matemático. Incluye la
habilidad para seleccionar y verificar
problemas determinados, y analizar estrategias
de solución desde diferentes ángulos.
• Argumentación: se refiere a la capacidad
para validar o refutar conclusiones,
estrategias, soluciones, interpretaciones y
representaciones en situaciones
problemáticas, mediante la justificación o
rechazo de afirmaciones, interpretaciones
y estrategias de solución basándose en
propiedades, teoremas o resultados
matemáticos.
Para cada competencia existe una afirmación,
es decir, una descripción de aquello que se
espera que un estudiante esté en capacidad
de hacer cuando ha desarrollado cada
competencia5.

5 En el caso de la prueba de Lectura Crítica, las competencias corresponden con las afirmaciones, motivo por el cual estas últimas no
fueron mencionadas en la sección anterior.
 Cuadro 1. Competencias y afirmaciones de la prueba de Matemáticas

Competencia Afirmaci
ón

Comprende y transforma la información

Interpretación y
cuantitativa y esquemática presentada en
representación
distintos formatos.

Frente a un problema que involucre

Formulación y ejecución información cuantitativa, plantea e
implementa estrategias que lleven a
soluciones adecuadas.

Valida procedimientos y estrategias

Argumentación
matemáticas utilizadas para dar solución a
problemas.

Sociales y Ciudadanas competencia: la comprensión de

dimensiones
La prueba de Sociales y Ciudadanas evalúa
los conocimientos y habilidades del estudiante
para comprender el mundo social desde la
perspectiva propia de las ciencias sociales y
situar esta comprensión como referente del
ejercicio de su rol como ciudadano. Además,
evalúa la habilidad del estudiante para
analizar distintos eventos, argumentos,
posturas, conceptos, modelos, dimensiones y
contextos, así como su capacidad de
reflexionar y emitir juicios críticos sobre estos.
Las opiniones personales, los juicios de valor
o los conocimientos de memoria no son
evaluados.

Las competencias evaluadas en esta prueba

son: pensamiento social, interpretación y
análisis de perspectivas, y pensamiento
reflexivo y sistémico. El cuadro 2 resume las
competencias y las afirmaciones de la prueba
de Sociales y Ciudadanas.

• Pensamiento social: se refiere a la

capacidad del estudiante de analizar
diferentes situaciones sociales usando para
ello conceptos básicos de las ciencias
sociales. Hacen parte de esta
 temporales y espaciales de eventos y prácticas
sociales, la capacidad de relacionar sucesos o
procesos con contextos geográficos, y el
conocimiento de los principios constitucionales y
del ordenamiento político colombiano.

• Interpretación y análisis de perspectivas: se

refiere a la capacidad para pensar críticamente
sobre problemáticas y fenómenos sociales. Forman
parte de esta competencia la capacidad de
analizar una problemática según las perspectivas
de diferentes actores sociales o colectivos
involucrados en ella, y la capacidad de valorar la
pertinencia y la solidez de enunciados emitidos por
una fuente o un actor social.

• Pensamiento reflexivo y sistémico: se refiere a la

capacidad de comprender la realidad desde una
perspectiva sistémica. Hacen parte de esta
competencia la comprensión de modelos
conceptuales y de sus usos en determinados
contextos de aplicación, y la capacidad para
identificar diferentes dimensiones presentes en una
situación de interacción social.
 Cuadro 2. Competencias y afirmaciones de la prueba de Sociales y Ciudadanas

Competencia Afirmaci
ón
• Comprende modelos conceptuales,
sus características y contextos de
Pensamiento social aplicación.
• Comprende dimensiones espaciales y
temporales de eventos, problemáticas y
prácticas sociales.

• Contextualiza y evalúa usos de

Interpretación y fuentes y argumentos.
análisis de • Comprende perspectivas de distintos
perspectivas actores y grupos sociales.

• Evalúa usos sociales de las ciencias sociales.

Pensamiento reflexivo y • Comprende que los problemas y sus
sistémico soluciones involucran distintas
dimensiones y reconoce relaciones entre
estas.

Ciencias Naturales • Explicación de fenómenos: se refiere a

La prueba de Ciencias Naturales evalúa la
comprensión de la ciencia como una
dimensión universal cambiante de tipo
teórico y práctico, que se desarrolla
continuamente, y establece diferentes
relaciones con la tecnología y la sociedad.
Evalúa tres competencias básicas: uso
comprensivo del conocimiento científico,
explicación de fenómenos e indagación.
El cuadro 3 resume las competencias y las
afirmaciones de la prueba de Ciencias
Naturales.
• Uso comprensivo del conocimiento
científico: se refiere a la capacidad de
comprender y usar nociones, conceptos y
teorías de las ciencias naturales en la
solución de problemas, y de establecer
relaciones entre conceptos
conocimientos adquiridos, y fenómenos
que se observan con frecuencia.
la capacidad de construir explicaciones y
comprender argumentos y modelos que
den razón de fenómenos, y de establecer la
validez o coherencia de una afirmación o
de un argumento relacionado con un
fenómeno o problema científico.
• Indagación: se refiere a la capacidad
para comprender que a partir de la
investigación científica se construyen
explicaciones sobre el mundo natural.
Involucra los procedimientos o
metodologías que se aplican para generar
más preguntas o intentar dar respuestas a
ellas, e incluye observar, formular,
recurrir a fuentes de información, hacer
predicciones, plantear experimentos,
identificar variables, realizar mediciones, y
organizar y analizar resultados.
y
 Cuadro 3. Competencias y afirmaciones de la prueba de Ciencias Naturales

Competenci Afirmaci
a ón
Uso Asociar fenómenos naturales con conceptos propios del conocimiento científico.
comprensivo Identificar las características de algunos fenómenos de la naturaleza basado en el
del análisis de información y conceptos propios del conocimiento científico.
conocimiento
científico

Explicar cómo ocurren algunos fenómenos de la naturaleza basado en

observaciones, en patrones y en conceptos propios del conocimiento científico.
Modelar fenómenos de la naturaleza basado en el análisis de variables, la relación
Explicación de
entre dos o más conceptos del conocimiento científico y de la evidencia derivada de
fenómenos
investigaciones científicas.
Analizar el potencial del uso de recursos naturales o artefactos y sus efectos sobre
el entorno y la salud, así como las posibilidades de desarrollo para las comunidades.

Comprender que a partir de la investigación científica se construyen explicaciones

sobre el mundo natural.
Derivar conclusiones para algunos fenómenos de la naturaleza basándose en
Indagación
conocimientos científicos y en la evidencia de su propia investigación y de la de
otros.
Observar y relacionar patrones en los datos para evaluar las predicciones.
Utilizar algunas habilidades de pensamiento y de procedimiento para evaluar
predicciones.

Inglés relacionarlas con una lista de

palabras.
La prueba evalúa los niveles de desempeño
propuestos por el Marco Común Europeo de
Referencia para las Lenguas (aprendizaje,
enseñanza y evaluación) del Consejo de
Europa. Este marco contempla seis niveles: A1,
A2, B1, B2, C1, C2, donde la meta propuesta
por el MEN para el año 2019 es alcanzar el
nivel B1 en la población de educación media.
Para lograr este propósito, la prueba abarca
siete partes, así:

• Parte 1: indaga por el conocimiento

pragmático del estudiante, en particular,
reconocer el propósito comunicativo de un
aviso y el lugar donde este puede
aparecer, según ese propósito.

• Parte 2: evalúa el conocimiento lexical

del estudiante que le permita comprender
una serie de descripciones con el fin de
• Parte 3: indaga por la pertinencia del lenguaje
usado en situaciones particulares recreadas en
pequeñas conversaciones.

• Parte 4: evalúa el conocimiento gramatical del

estudiante a partir de un texto, eligiendo la
palabra más adecuada para completar los espacios
vacíos de este.

• Parte 5: indaga por la comprensión de lectura

literal de un texto, a partir de la paráfrasis que
permite responder correctamente a cada pregunta
sobre el texto.

• Parte 6: evalúa el proceso de lectura inferencial a

partir de un texto, con el planteamiento de
distintas preguntas sobre la intención del autor y
los aspectos generales y particulares por destacar
del texto.

• Parte 7: indaga por el conocimiento gramatical y

lexical del estudiante, a partir de la elección de las
palabras más adecuadas para completar un texto.
2.1.3 Construcción de ítems
Un paso fundamental en todo el proceso de
evaluación es la elaboración de las preguntas
que conforman la prueba. Con el fin de
construir un instrumento de calidad, la
elaboración de cada uno de los ítems o
preguntas implica un alto grado de
conocimiento sobre los temas de evaluación,
la población que se va a evaluar, los
estándares de competencias y las
especificaciones técnicas del examen (Rocha
& Pardo, 2008). De esta forma, las preguntas
deben indagar por lo que el evaluado es
capaz de hacer con lo que sabe, partiendo de
situaciones puestas en contexto que no
implican uso de conocimientos de memoria.
El proceso de construcción de ítems inicia
con la selección y entrenamiento de los
constructores de preguntas (ver figura 5).
Estos son expertos de asociaciones de
profesionales, asociaciones de facultades,
profesores universitarios, docentes
Figura 5. Proceso de construcción y validación de ítems
Selección
y entrenamiento de
constructores
Diagramación de
ítems
Armado del examen
6 Normalmente existen cuatro opciones de respuesta codificadas como A, B, C o D en el examen Saber 11. Sin embargo, este número
de educación básica y media, estudiantes
de posgrado, y estudiantes de último año de
pregrado, entre otros; que dominen el área
de interés y que cuenten con conocimientos
en pedagogía, medición y evaluación. En caso
de que alguno de los seleccionados no tenga
experiencia en la elaboración de las
preguntas, se llevan a cabo sesiones de
inducción y entrenamiento en técnicas de
construcción de preguntas, con el fin de
asegurar que todos comprenden el propósito
de la evaluación.
El siguiente paso es la construcción de los
ítems que conforman el instrumento. Para el
examen Saber 11, así como para la mayoría
de las pruebas masivas, usualmente se
elaboran preguntas de selección múltiple con
única respuesta, gracias a su practicidad y
confiabilidad. Una pregunta con este formato
se divide en tres partes, como
Revisión de
Construcción de
ítems
ítems
Pilotaje Banco de ítems
Revisión de Aplicación
instrumento
Fuente: Icfes
varía al interior de la prueba de Inglés.
se ilustra en la figura 6: contexto, enunciado
y opciones de respuesta. El contexto
introduce al evaluado en una situación dada;
el enunciado, por su parte, expone la tarea
que se va a evaluar, es decir, lo que el
estudiante va a realizar, y puede plantearse
en forma de pregunta o como proposición; por
último, las opciones de respuesta de las cuales
solo una es correcta6.
Es fundamental que las opciones de
respuesta guarden coherencia con el enunciado
planteado, pues, a partir de la redacción del
enunciado, estas deben formularse como
respuesta a una pregunta o como
complemento a una proposición.
Adicionalmente, estas opciones deber ser
independientes entre sí, es decir, no estar
relacionadas ni ser sinónimas.
La elaboración de este tipo de preguntas
supone una serie de consideraciones a tener
en cuenta. De acuerdo con Rocha & Pardo
(2008), los constructores deben: utilizar un
lenguaje directo, técnico y sencillo, de forma
coherente con el nivel de aprendizaje de la
población evaluada; evitar contenido
irrelevante o
ambiguo, posiciones ideológicas o
prejuicios, así como errores de ortografía,
gramática o puntuación; exponer de forma
clara y explícita en el enunciado la tarea de
evaluación y evitar opciones de respuesta
fácilmente descartables, entre otras.
Además, deben construirse ítems de
diferentes niveles de dificultad para que la
prueba pueda estimar con mayor precisión
la habilidad de los evaluados.
Una vez construidos los ítems, se llevan a
cabo fases de control y revisión sobre la
pertinencia y calidad de cada uno de los
estos a partir del objetivo de evaluación, el
fundamento conceptual y demás
especificaciones.
Posteriormente, los ítems son diagramados
y piloteados en una primera aplicación del
examen Saber 11 para saber si se comportan
adecuadamente, conforme a unos
parámetros establecidos. Por tanto, los ítems
piloto permiten: identificar en un primer
momento la escala de calificación y
reconocer las necesidades de ajustes para
garantizar preguntas de calidad; de lo
contrario son eliminados. En la sección 2.4.1,
se explica con mayor detalle este análisis.

Figura 6. Ejemplo de un ítem de selección múltiple

Una tienda de electrodomésticos fija el siguiente anuncio publicitario:

Televisor HD 32”Nevera 327 LLavadora 13 kg

Contexto

$1.200.000 $1.000.000 $1.100.000

Pague sus productos hasta en 12 cuotas mensuales sin intereses.

Gustavo lee el anuncio y hace la operación 1.000.000 + 1.200.000 .

6 Enunciado
Con esta operación, él halla

A. el costo promedio de una lavadora.

el costo promedio de una nevera y un televisor. Opciones de
la cuota mensual, si compra una lavadora a doce meses.
respuesta
la cuota mensual, si compra una nevera y un televisor a seis meses.
Fuente: Icfes
Por otro lado, los ítems que sí superan la fase
de pilotaje son almacenados en el banco de
ítems bajo estrictos estándares de seguridad
y confidencialidad; y, con los ítems que están
en el banco se arma el instrumento. Los
ítems que conforman el instrumento final
cumplen con un propósito de evaluación y
por esto se llaman ítems de medición.
realizar interpretaciones acertadas sobre el
desempeño de los estudiantes. El resultado
final debe ser un instrumento de evaluación
con una estructura definida y no un agregado
de ítems (Icfes, 2017C), que asegure que
cada ítem aporte verdaderamente a la
intención evaluativa.

Previo a la aplicación del examen, el 2.1.4 Armado del instrumento

instrumento final es sometido a la revisión de
un experto, denominado “ojo fresco”, quien
verifica la pertinencia académica y
evaluativa entre el examen Saber 11 y los
estudiantes evaluados (Icfes, 2017C).
Es importante resaltar que cada una de las
fases de construcción de los ítems y del
instrumento pasa por un proceso exhaustivo
de revisión y validación, desde un punto de
vista académico y técnico de la prueba,
para garantizar la confiabilidad y validez
del instrumento, y así
El examen diseñado en 2017 está compuesto por
244 preguntas de selección múltiple con única
respuesta (véase tabla 1)7: 58
correspondientes a la prueba de Ciencias
Naturales, 50 a las pruebas de Matemáticas, 50
a Sociales y Ciudadanas, 41 a Lectura Crítica y
45 a Inglés. Debido a la gran cantidad de
preguntas, es necesario que el examen se realice
en una jornada de dos sesiones, cada una con
una duración de cuatro horas y treinta minutos.
La población en condición de discapacidad
cognitiva o visual presenta una prueba de igual
duración, pero menor cantidad de ítems (177).

Tabla 1. Estructura de aplicación Examen Saber 11 - 2017

Pregunt Pregunta Pregunt

Sesión Prue Tiempo
as s as/
ba
medici piloto sesió
ón n

Matemáticas 1 22 3
Lectura Crítica 3 5
Primera 6 120 4h y 30
sesión Sociales y Ciudadanas 1 3 min.
2
2
Ciencias Naturales 1 26 3

Sociales y Ciudadanas 2 22 3
Matemáticas 2 2 3
Segunda 2 124 4h y 30
sesión Ciencias Naturales 2 3 min.
2
6
Inglés 45 0

Fuente: Icfes
7 La estructura del examen puede variar para la población validante, población en condición de discapacidad y la población que
presenta el examen de manera individual; entre otras razones, porque estos no responden ítems piloto.
Con el fin de realizar la evaluación en la
jornada y en el tiempo establecido y,
adicionalmente, de disminuir la probabilidad de
copia y de garantizar la comparabilidad, entre
otras disposiciones, el armado del examen
Saber 11 se realiza por medio de la
metodología de Diseño de Bloques
Incompletos Balanceados (BIBs).
A partir de este diseño, el instrumento de
evaluación está conformado por bloques, que
son conjuntos de ítems que siguen un mismo
propósito de evaluación; estos son incompletos,
en la medida que son un subconjunto del
total de preguntas diseñadas para medir las
competencias de los evaluados; y además,
están balanceados, gracias a que cada
bloque cuenta con un mismo número de ítems
distribuidos en una misma escala de dificultad.
Esto último es importante, ya que se garantiza
que todos los individuos que presentan la
prueba sean exigidos con el mismo rigor pese
a que no deban responder las mismas
preguntas, y las inferencias que se hagan de
cada uno de los bloques son similares a las
que se harían sobre el total de la prueba.
La figura 7 ilustra el diseño correspondiente
a la prueba de matemáticas que responden
los estudiantes en el examen Saber 118.
Esta prueba está compuesta por 88 ítems
de medición distribuidos en una escala de
dificultad entre 0 y 100 puntos, con media
50. Dado que es poco probable que los
evaluados respondan esa cantidad de
preguntas en el tiempo establecido, se
diseñan ocho bloques de 11 ítems, cada uno
guardando misma media de dificultad, y en
la aplicación cada evaluado responde
únicamente cuatro de estos bloques, es decir,
44 preguntas en total.
Finalmente, los bloques conforman formas
(cuatro bloques por forma), y con las formas
se realiza el ensamblaje de los
9
cuadernillos . Adicionalmente, en el
ensamblaje también se incorporan las
preguntas nuevas, es decir, los ítems piloto.
Al final del ejercicio, cada persona que
presenta el examen recibe un cuadernillo
que contiene una sola forma por prueba.

Figura 7. Diseño de BIBs - Prueba de Matemáticas

Prueba N 88
bi
Bloque A nA =
11
Bloque B
nB =
Bloque C 11
nC =
11
Bloque H nH = 11
0 media = 50 100
Escala de
dificultad
Fuente: Icfes

8 El mismo diseño aplica para las pruebas de Lectura crítica, Sociales y Ciudadanas, y Ciencias naturales.

9 Para el ensamblaje se deben cumplir dos condiciones: i) que cada bloque se encuentre el mismo número de veces en total, y
ii) que las parejas de bloques estén el mismo número de veces al interior de las formas de una prueba (Icfes, 2017A).
2.2 Aplicación
Como se menciona al inicio, el examen Saber
11 es requisito para ingresar a la educación
superior y por esto es presentado por
estudiantes que se encuentran cursando el
grado undécimo o por personas ya graduadas.
La aplicación tiene lugar en una jornada
dividida en dos sesiones de cuatro horas y
media, cada una. Su implementación
requiere el uso de recursos humanos, físicos
y tecnológicos, entre otros, dispuestos por el
Icfes para que la aplicación se desarrolle de
manera homogénea e imparcial para toda la
población. Lo anterior se convierte en una
condición indispensable, y tiene por objeto que
todos los participantes reciban las mismas
instrucciones, misma disponibilidad de
espacio, mismo tiempo, mismos materiales,
etc., de allí que sea una prueba
estandarizada.
La finalidad de esta fase es obtener los
insumos necesarios para estimar las
habilidades y competencias de cada evaluado,
a partir de sus respuestas. Luego, la
pertinencia, la confiabilidad y la validez de los
resultados obtenidos de los examinandos
depende de la rigurosidad, la seriedad y la
imparcialidad con que se implementen cada
uno de los procedimientos de aplicación.
Para comprender de manera adecuada el
procedimiento de aplicación del examen
Saber 11, esta fase se puede dividir en tres
momentos: antes, durante y después de la
aplicación.
2.2.1 Antes
La inscripción o registro es el proceso en el
que los colegios reportan ante el Icfes la
información de los estudiantes que lo
presentan, mediante una plataforma web. Esta
información corresponde a los nombres,
apellidos, tipo y número de documento de
identidad, fecha de nacimiento, sexo, y la
ciudad en el que presentarán el examen 10. El
proceso también incluye el registro de los
bachilleres que desean presentar nuevamente
el examen, en este caso presentan la prueba
como individuales.
Luego de la inscripción, se genera a cada
inscrito la referencia del pago que se debe
cancelar mediante los canales de pago
autorizados por el Icfes. Realizado el pago,
se cita a todos los inscritos y se indica la
fecha, la hora y el lugar de la aplicación.
Con la información obtenida durante el
proceso de inscripción, se imprime el material
de manera personalizada con la información
de cada aspirante a presentar la prueba.
El Icfes contrata cada año una empresa
especializada para llevar a cabo la impresión
del material personalizado junto con los
instructivos y demás materiales de apoyo. De
igual forma, contrata una empresa
especializada encargada de la seguridad y el
transporte del material requerido para la
aplicación en todos los sitios designados.
10 La información solicitada en este proceso también incluye si el estudiante presenta algún tipo de discapacidad o si se encuentra
privado de la libertad.
Adicional alaimpresióny el transporte del
material, la aplicación también requiere de
un operativo logístico que debe garantizar
que la prueba se realice en condiciones
homogéneas para todos los estudiantes a lo
largo y ancho del territorio nacional. Esta
operación, que es realizada continuamente
durante todo el año, tiene como principal
responsable al coordinador nacional
(Subdirector de Aplicación de Instrumentos) de
la aplicación de la prueba (véase figura 8). A
su cargo están los coordinadores de nodo,
que son los funcionarios del Icfes encargados
de gestionar la aplicación en cada una de los
nodos o departamentos a su cargo, contactar
los sitios en que se realizará la prueba –
conforme al número de estudiantes que
presentarán la aplicación–, y capacitar a los
delegados regionales y a los coordinadores de
municipio.
Los delegados regionales, por su parte, son
los funcionarios del Icfes responsables de la
prueba en el sitio de aplicación, por lo que
representan al Icfes en cada sitio de
aplicación y deben conocer y garantizar el
correcto procedimiento a realizar durante
cada aplicación. También deben capacitar a
los coordinadores y jefes de salón con dichos
procedimientos, y responder por el estricto
control y vigilancia del material de examen.
En los municipios en los que exista gran
cantidad de sitios de aplicación, se cuenta
con un coordinador de municipio por cada
seis sitios existentes, quienes realizan rutas de
monitoreo en los sitios de la aplicación que le
sean asignados en el municipio, auditando la
labor de los delegados.
En los sitios de aplicación se realiza el
proceso biométrico, con el fin de realizar
el cotejo
dactilar a los examinandos que, al momento
de su ingreso al sitio de aplicación,
presenten un documento válido pero que no
permita identificar la huella o la foto. De
igual forma este proceso se adelanta cuando
exista la sospecha de suplantación de
examinandos. Este personal es contratado
bajo las órdenes del delegado.
Los delegados regionales también son los
interlocutores directos con los coordinadores
de sitio, es decir, con el rector o la persona
delegada por el sitio de aplicación para
apoyar la labor del delegado, participar en el
control y el correcto desarrollo de la prueba,
y supervisar las actividades que deben realizar
los coordinadores de salón –se requiere uno
por cada seis salones–.
Los coordinadores de salón, por su parte,
apoyan las labores del delegado y del
coordinador de sitio velando por el
cumplimiento de los protocolos para la
aplicación de las pruebas, teniendo a su
cargo hasta seis salones. Cada salón cuenta
con un jefe de salón, quien es el responsable
del correcto desarrollo y cumplimiento de los
protocolos para la aplicación dentro de cada
salón, y deben responder al coordinador de
salones o al delegado.
Resulta importante mencionar que los
coordinadores de nodo son contratados
directamente por el Icfes, contrario a lo que
ocurre con los delegados regionales, los
coordinadores de municipio, los
coordinadores de sitio, los coordinadores de
salón, los jefes de salón y los auxiliares de
aseo, quiénes son vinculados a través del
operador logístico contratado por el Icfes.
 Coordinador de seguridad
Sitios con más de 800
examinandos

aplicación
Coordinador de municipio Coordinador de sitio 1 por cada 6 sitios de

Subdirector de aplicación de instrumentos

Coordinador de salón
Auxiliar de aseo

Jefes de salón

Coordinador de nodo Delegado regional

Figura 8. Estructura de aplicación

Fuente: Icfes

2.2.2 Durante quienes a su vez lo entregan a los

jefes de salón. Tanto los
El día de la aplicación, la compañía coordinadores de salón como los
contratada para la seguridad y el transporte jefes de salón al momento de la
distribuye el material a todos los sitios de la recepción del material deben revisar
aplicación en horas de la madrugada. El que el material entregado corresponde
delegado regional recibe el material y a los salones bajo su responsabilidad.
verifica junto con el coordinador de sitio que
este sea el correspondiente al de todos los
estudiantes que van a presentar el examen en
dicho lugar.

Una vez es contado y verificado, el material

es repartido a los coordinadores de salón,

La aplicación del examen es realizada en condiciones
homogéneas para todos los estudiantes. Por lo tanto,
el jefe de salón debe seguir el procedimiento
señalado: autoriza a los evaluados para ingresar al
salón y los organiza en forma “de culebrilla”11. Una
vez ubicadas todas las personas, se brindan las
instrucciones sobre la prueba y distribuye el
material correspondiente a cada estudiante.
Llegada la hora señalada por el Icfes para
iniciar el examen
–usualmente 8 am–, el jefe de salón autoriza
a los estudiantes para que abran el material
que consiste en el cuadernillo, la hoja de
respuestas y la hoja de operaciones
correspondiente a la sesión de la mañana.

11 Procedimiento que consiste en organizar los examinados del examen Saber 11 en forma de zig-zag, siguiendo el orden de la lista del
salón, partiendo de una esquina del salón y terminado en la esquina diagonal opuesta.

Una vez los estudiantes terminan de
responder su prueba o cuando el tiempo
establecido para realizar la sesión haya
finalizado, el jefe de salón procede a recoger
el material. El procedimiento de ingreso y
realización de la prueba descrito se repite en
la sesión de la tarde.
Luego de finalizar la sesión de la tarde, y de
forma similar a lo ocurrido con el proceso de
entrega, el material es recogido siguiendo la
cadena de custodia en la que el jefe de salón,
el coordinador de salón y el coordinador de
sitio deben garantizar que todas las hojas de
respuestas y cuadernillos retornen al Icfes,
incluyendo los no utilizados, a través de la
empresa de transporte. A su vez, la empresa de
transporte debe verificar que el material
entregado corresponda en su totalidad al
entregado a primera hora del día.
2.2.3 Después
El día de la aplicación finaliza con el
diligenciamiento del informe web por parte
de los delegados, en el que dejan registro de
los por menores ocurridos durante la jornada
de aplicación, tales como el número de
examinandos que presentaron la totalidad de
la prueba, el número de inscritos, los casos
de plagio y demás incidentes, en caso de
existir.
De igual forma, la empresa contratada para
el transporte y la seguridad recopila el material
de todo el país y lo entrega al operador de
lectura. El material es verificado y a partir
de las hojas de respuestas, la información es
escaneada y digitalizada con el objetivo de
conformar la base de datos con las
respuestas, que son el insumo para empezar
con el proceso de calificación.
2.3 Calificación
La fase de calificación empieza con la
consolidación de las respuestas de los
evaluados12; posteriormente tienen lugar
procesos de análisis de los ítems y del
instrumento; y por último, se llevan a cabo
procedimientos de ajuste que permiten
estimar la habilidad de los evaluados
mediante modelos estadísticos. A
continuación, se explican de manera general
los procesos desarrollados para calificar.
2.3.1 Análisis de ítem e instrumento
Las respuestas de la población evaluada son
el insumo necesario para el análisis de los
ítems y del instrumento. La finalidad de esta
fase es valorar el comportamiento del
instrumento de evaluación y de cada
pregunta que lo compone mediante el cálculo
de indicadores estadísticos. Los indicadores
son generados a partir de dos enfoques de
evaluación: la Teoría Clásica de los Tests
(TCT) y la Teoría de Respuesta al Ítem (TRI).
Por medio de la TCT se analiza el
comportamiento de los ítems en relación con
la proporción de personas que responden
correctamente cada pregunta o la proporción
de individuos que eligen cada una de las
opciones de respuesta del ítem, entre otros
indicadores. De igual forma, mide el grado
de estabilidad, precisión o consistencia13 del
examen para medir la habilidad de los
estudiantes (Icfes, 2014); en otras palabras,
estima la confiabilidad de las formas,
calculando la correlación entre sacar un buen
puntaje y la habilidad del estudiante.
La TRI, por su parte, estima el
comportamiento de cada uno de los ítems. El
modelo seleccionado para este fin se
denomina modelo
12 La calificación de los estudiantes en condición de discapacidad y los adultos (grado 26) se realiza de manera independiente.
13 El instrumento utilizado por la TCT para evaluar el grado de estabilidad, precisión o consistencia del instrumento de evaluación,
es el
coeficiente alpha de Cronbach. Este coeficiente depende del número de ítems en la prueba, la covarianza media entre un par de ítems
y la varianza del puntaje total.
de tres parámetros o 3PL. Este modelo
predice la probabilidad de que un
participante responda correctamente una
pregunta como función de su habilidad, y de
tres parámetros que son: la dificultad, la
discriminación y el pseudo-azar de la
pregunta. El modelo propuesto es:
1 una pregunta estuvo muy fácil o muy difícil
P(Uij=1|Qj, ai, bi, ci )= ci + (1-ci ) -
1+
e
Con i = 1, 2, ... , I y j = 1,2, ... ,
n
Donde, P(Uij = 1|jj) es la probabilidad de
que un individuo j con habilidad j responda
correctamente el ítem i; bi es el parámetro
de dificultad del ítem i; ai es el parámetro de
discriminación; y ci es el pseudo-azar, que
representa la probabilidad de individuos con
baja habilidad de responder correctamente el
ítem.
En conjunto, ambos enfoques de evaluación
permiten valorar los ítems en términos de su
nivel de dificultad, el grado de ajuste al
modelo, la distribución de respuestas entre las
opciones de respuesta, la correlación ítem-
prueba y el error de medición. La definición
de los indicadores estadísticos se puede
consultar en el anexo 3.
Relativo al examen Saber 11, el análisis
realizado a las preguntas a través de la TCT y
la TRI se realiza en dos escenarios
dependiendo si los ítems son piloto o
medición.
En el primer caso, se analizan los ítems
nuevos y se seleccionan aquellos que mejor
responden al propósito de la evaluación para
conformar el banco de ítems y hacer parte
de un instrumento definitivo en futuras
aplicaciones.
En este análisis se logra identificar cuando
en comparación con su dificultad esperada; o
por
Dai ( j -bi
) el contrario, si la pregunta no permite
discriminar entre un individuo con habilidad
alta o baja. Los ítems que no se comportan de
la manera deseada
se pueden ajustar o se eliminan, la decisión
final es tomada en un comité de la dirección de
evaluación y sus subdirecciones.
En el segundo caso, se analiza el
comportamiento global de la prueba. Los
ítems de medición cumplen con las
propiedades necesarias para la medición de
la habilidad de los evaluados, ya que fueron
piloteados en una aplicación pasada.
Cabe mencionar que el único caso en que se
excluirían ítems de medición, es cuando en
el análisis de ítem e instrumento se
identifican preguntas que salieron con errores
de impresión o diagramación; no obstante la
probabilidad de que esto pase es baja.
En suma, el subproceso de análisis permite
que los ítems de medición maximicen la
precisión y la confiabilidad del examen para
medir los conocimientos y capacidades del
estudiante.
2.3.2 Procedimientos de ajuste:
calibración y estimación
El proceso de ajuste consiste en estimar la
La escala de transformación toma como base
dificultad, la discriminación y el pseudo-azar
la aplicación del 2014-2 donde se estableció
de las pregunta, por medio del modelo 3PL,
un puntaje promedio de 250 y desviación
para predecir la habilidad de los evaluados y
estándar de 50 puntos para la calificación
luego asignarle una calificación a cada uno.
global, que es resultante de la ponderación de
A diferencia de los modelos de Rasch o 2PL,
las calificaciones obtenidas en cada área
el modelo 3PL proporciona más información
evaluada (Matemáticas, Lectura Crítica,
sobre el comportamiento de los ítems, y en
Ciencias Naturales, Sociales y Ciudadanas e
últimas sobre los conocimientos y habilidades
Inglés). A nivel de pruebas, la escala definida
de la población estudiada.
fue de media 50 y desviación estándar 10.
Para este proceso, se eliminan los registros
Un aspecto fundamental en el examen Saber
de personas sospechosas de copia (ver anexo
11 es la comparabilidad en el tiempo. Esta se
2), de evaluados que no estuvieron presenten
garantiza gracias a que el examen: se diseña
en las dos sesiones de aplicación, y de
bajo el mismo marco de referencia con base
aquellos que no respondieron más de la
en el MBE; se construye siguiendo la
mitad de las preguntas, con el fin de obtener
metodología de diseño de BIB’s; se realiza
estimaciones más acertadas. Asimismo, no se
una asignación aleatoria de cuadernillos a
tienen en cuenta a los estudiantes que hayan
cada estudiante; todos los individuos
presentado un cuadernillo especial, dado que
presentan el examen en igualdad de
reportaron algún tipo de discapacidad
condiciones en la aplicación; y, para la
cognitiva.
calificación, se utilizan preguntas
-ítems piloto- como anclaje entre
Implícitamente, la estimación de la habilidad
aplicaciones (técnica conocida como
de la población evaluada tiene en cuenta la
anchoring-equiting) para mantener una misma
coherencia en las respuestas, es decir, asume
escala. También permite comparar resultados
que la adquisición de conocimiento ocurre
entre diferentes niveles de agregación, como
de forma acumulativa: las habilidades más
por ejemplo, comparaciones entre los
complejas requieren del dominio de las más
resultados del país y de una entidad
simples. Por lo tanto, cuando un estudiante
territorial particular; pero más importante aún,
responde correctamente las preguntas de
permite equiparar puntuaciones en el
mayor complejidad, y no las de menor grado
tiempo.
de dificultad, no hay coherencia en sus
respuestas. En este caso, el parámetro de Ahora bien, la comparación de resultados de
pseudo-azar hace que su nota sea menor que las áreas evaluadas debe hacerse en términos
alguien que guarde coherencia en sus pedagógicos, es decir, en términos de cuánto
resultados (INEP, 2012). conocimiento tiene un estudiante de un área
u otra (INEP, 2012). Para lo anterior, el Icfes
Obtenida la dificultad, la discriminación y el ha establecido unas descripciones
pseudo-azar de cada pregunta, se predice cualitativas de lo que sabe y sabe hacer un
la habilidad latente de cada estudiante y estudiante a partir del puntaje obtenido14,
se transforma de acuerdo a unas escalas este resultado se conoce como niveles de
establecidas. desempeño.
14 Para mayor información sobre los descriptores por área de cada nivel de desempeño, consultar el documento de lineamientos
2017.
2.4 Análisis y divulgación de
los resultados

Los resultados de las evaluaciones a cargo de Lectura Crítica, Matemáticas,

del Icfes ofrecen información sobre el Sociales y Ciudadanas, Ciencias
desempeño académico de los estudiantes en Naturales (1, 2, 3 y 4), e Inglés (-
las diferentes áreas. Estas son consideradas A, A1, A2, B1 y B+).
esenciales para propiciar el desarrollo de
competencias que todos los ciudadanos
requieren para desempeñarse en entornos
sociales y laborales, así como para solucionar
problemas de distinta índole.

El proceso de evaluación de la calidad de la

educación se completa con la correcta
divulgación e interpretación de resultados. Para
ello, el Icfes realiza reportes individuales o
agregados según el establecimiento, entidad
territorial o país. Estos reportes deben
contener información clara y precisa, de
forma que el evaluado conozca su
desempeño y pueda tomar las medidas para
emprender acciones de mejora.

Los resultados individuales e institucionales

se informarán a través de la página web, de
acuerdo con el calendario establecido por el
Icfes, sin perjuicio de que se utilicen para este
fin también otros medios oficiales (Decreto 869
de 2010). Los tipos de reportes realizados son
(Icfes, 2017D):

• Reportes individuales: muestra el

desempeño que registró el evaluado al
realizar la prueba a través del puntaje
global, que permite al estudiante
comparar su desempeño con relación a la
población que participó en la prueba.
También cuenta con información sobre las
cinco pruebas evaluadas (Lectura Crítica,
Matemáticas, Sociales y Ciudadanas,
Ciencias Naturales e Inglés), que tendrán
puntajes individuales en escalas de 0 a
100. Adicionalmente, cuenta con el nivel
de desempeño alcanzado en las pruebas
• Reportes por establecimiento educativo: muestra los
resultados obtenidos por el establecimiento educativo
con base en los resultados de sus estudiantes, y
tienen por objetivo que cada establecimiento
educativo conozca en detalle el desempeño
promedio de sus estudiantes y generen estrategias
pertinentes para mejorar los resultados obtenidos.

• Reportes por secretarías de educación: muestra

los resultados obtenidos para cada secretaría de
educación departamental y por los municipios no
certificados que pertenecen a la entidad territorial
certificada, y tienen por objetivo que cada
secretaría de educación conozca en detalle el
desempeño promedio de sus colegios y generen
estrategias pertinentes para mejorar los resultados
obtenidos. Esta información está disponible para
el público en general, ingresar Año, Periodo,
Grado y Secretaría.

• Resultados para instituciones de educación

superior: muestra los resultados que los
departamentos de admisiones de las instituciones
de educación superior descargan masivamente, para
verificar que sus aspirantes cumplen con el
requisito de la Ley 1324 de 2009 y para conocer el
desempeño de cada persona en las distintas áreas
evaluadas. Esta información está disponible para
las instituciones de educación superior que cuenten
con su respectivo usuario y contraseña.

• Resultados históricos: muestra los puntajes

promedio en cada prueba del examen Saber 11 para
establecimientos educativos, municipios,
departamentos y el país, desde el año 2000. Este
reporte incluye comparaciones estadísticas a través de
las cuales podrá saber cómo han cambiado los
resultados del establecimiento
 educativo o de las sedes seleccionadas a
través del tiempo. Su importancia radica
en que permite identificar si los cambios
producidos en los establecimientos
educativos o en alguna sede/jornada están
siguiendo alguna tendencia.
• Clasificación de resultados de planteles
educativos: muestra los establecimientos
y sus sedes clasificados en las categorías
de rendimiento según los resultados. Esta
información se encuentra disponible para
consulta del público en general.
• Resultados nacionales: muestra un
análisis descriptivo de los resultados
nacionales paras las áreas evaluadas, e
incluye un análisis de los resultados
basado en algunos indicadores
contextuales como la zona y la naturaleza
de los establecimientos educativos de donde
provienen los estudiantes. Esta información
se encuentra disponible para consulta del
público en general.
• Mejores resultados por año: muestra el
listado de estudiantes que presentaron el
examen Saber 11 y que lograron alto
desempeño en el mismo. La información
se encuentra disponible a partir de 2004 y
disponible para consulta del público en
general. La elección se basa en los
estudiantes con índice global más alto. En
caso de empate, se elige el estudiante con
mayor promedio simple en los puntajes
de todas las pruebas. Solo considera a los
estudiantes que hayan presentado el
examen por primera vez.
Adicionalmente, el Icfes viene realizando
desde el año 2015 capacitaciones a nivel
nacional sobre cómo realizar la lectura, el
análisis, la interpretación y el uso de los
resultados de las pruebas Saber 3°, 5° y 9°,
Saber 11 y Saber PRO. Los usuarios de estas
actividades son los establecimientos
educativos públicos y privados pertenecientes
a cada una de las 95 Secretarías de
Educación del país.
En cada una de las divulgaciones son
realizadas capacitaciones, talleres prácticos
y entrega de información impresa y digital.
Sin embargo, con el fin de que todos los
ciudadanos puedan utilizar esta
información, el Icfes también publica los
contenidos entregados en cada una de las
divulgaciones en su página web15. La
información digital suministrada también
contiene las guías de orientación, talleres,
informes nacionales y boletines Saber en
Breve realizados por el Icfes.
Finalmente, con el ánimo de brindar mayor
alcance a la divulgación de la información
sobre el examen, desde el 2018 se
implementaron nuevas estrategias de apoyo
a la comunidad educativa por medio de cursos
virtuales los cuales consolidan los talleres y
capacitaciones que se han realizado en años
anteriores.
15 Información disponible en www.icfes.gov.co/divulgaciones-establecimientos/informacion-general
BIBLIOGRAFÍA

Guía de diseño, producción, aplicación y

30
BIBLIOGR
AFÍA

• Icfes. (2011). Informe técnico Saber 5° y 9° - 2009.

• Icfes. (2014). Calificación del examen de estado de la educación media, Saber 11°.

• Icfes. (2016). Resolución 457 de 2016.

• Icfes. (2017A). ¿Cómo se elaboras las pruebas? Obtenido de Instituto Colombiano para la
Evaluación de la Educación: http://www.icfes.gov.co/instituciones-educativas-y-secretarias/
acerca-de-las-evaluaciones/como-se-elaboran-las-pruebas

• Icfes. (2017B). Implementación de un Diseño de Bloques Balanceados en las pruebas Saber

11°.
Dirección de Evaluación.

• Icfes. (2017C). Lineamientos generales para la presentación del examen de Estado Saber 11°.

• Icfes. (2017D). Tipos de resultados generados a partir de las evaluaciones. Obtenido de

Icfes: http://www.icfes.gov.co/instituciones-educativas-y-secretarias/acerca-de-las-
evaluaciones/tipos- de-resultados-generados-a-partir-de-las-evaluaciones

• INEP. (2012). Entenda a sua nota no Enem. Guia do participante.

• Ministerio de Educación Nacional. (2006A). Estándares Básicos de Competencias en

Lenguaje, Matemáticas, Ciencias Naturales y Ciencias Sociales y Ciudadanas.

• Ministerio de Educación Nacional. (2006B). Estándares Básicos de Competencias en

Lenguas Extranjeras: Inglés. Serie Guías Nº 22.

• Quantil. (2011). Algoritmo para la detección de copia en exámenes estandarizados de

múltiples opciones: modelos de respuesta nominal y pruebas múltiples de copia.

• Rocha, M., & Pardo, C. (2008). Diseño de pruebas para evaluación educativa. Reglas para
elaborar ítems de selección múltiple.

Guía de diseño, producción,

aplicación y calificación del
31
examen Saber 11
ANEXOS

Guía de diseño, producción, aplicación y

32
Anexo 1. Definiciones generales16

• Examen: conjunto de pruebas que

la dificultad del ítem, la discriminación del
presentan los evaluados. Pruebas de:
ítem y el pseudo-azar.
Matemáticas, Lectura Crítica, Sociales y
Competencias Ciudadanas, Ciencias
• Puntaje global: calificación obtenida del
Naturales e Inglés.
cómputo de las 5 áreas. Está en una
escala de 0 a 500.
• Índice global: cálculo para obtener la
medida global de los resultados del
• Resultados Agregados: Todos aquellos
estudiante en las 5 pruebas. Permite
reportes de resultados que no
calcular el puntaje global. Las
corresponden a resultados individuales,
ponderaciones son de 3 para todas las
es decir, que agrupan estudiantes o
áreas, exceptuando inglés con un
establecimientos o sedes educativas en
ponderador de 1. función de variables sociodemográficas
(municipio, sector, naturaleza, etc.).
• Modelo logístico de 3 parámetros para
calificar (3PL): Modelo que define la
• Resultados Individuales: Son los que
probabilidad de un individuo de
están destinados a informar a cada uno
responder correctamente, como función de
de los estudiantes evaluados con el
suhabilidad, la dificultad del ítem, la
Examen, su desempeño en el mismo.
discriminación del ítem y el pseudo-azar.
• Resultados Institucionales: Son los que
 Puntaje de pruebas: cálculo mediante el
se reportan a los establecimientos o
modelo 3PL. Tiene una escala de 0 a 100
sedes educativas y que consolidan los
(sin decimales), con puntaje promedio de
resultados de los estudiantes de dicho
50 puntos y desviación estándar 10
establecimiento o sede.
puntos.
• Teoría de respuesta al ítem (TRI):
• Modelo logístico de 3 parámetros para modelo estadístico para analizar ítems
calificar (3PL): Modelo que define la (preguntas).
probabilidad de un individuo de
responder correctamente, como función de
suhabilidad,

Guía de diseño, producción, 33

aplicación y calificación del
examen Saber 11
16 Icfes (2016)

Guía de diseño, producción, 34

aplicación y calificación del
examen Saber 11
Anexo 2. Detección de copia
Por su practicidad y objetividad para la
evaluación de conocimientos o habilidades de
los estudiantes, los exámenes con formato de
selección múltiple son altamente utilizados; no
obstante, este resulta más vulnerable a que los
estudiantes realicen copia o fraude (Quantil,
2011).
La detección de copia es parte integral del
proceso de calificación17 del examen Saber
11 al garantizar la depuración de los
resultados, el adecuado análisis de los ítems
y la generación de escalas, niveles de
desempeño y posterior asignación de puntaje
por establecimiento. En otras palabras, la
detección de copia como parte del proceso de
calificación contribuye con la confiabilidad y
la coherencia de los resultados publicados y
divulgados por el Icfes.
Para detectar el fraude, se identifican las
parejas sospechosas de copia mediante la
evaluación de la probabilidad18 de que una
persona haya incurrido en el acto de copia –
bien sea como fuente o como receptor de
esta–, para todas las parejas posibles dentro
de cada salón. Se considera a dos personas
como sospechosas cuando la probabilidad de
coincidencia por azar disminuye a medida que
aumenta el número de respuestas iguales.
Este proceso de detección incluye la
identificación de parejas sospechosas de copia,
tanto a nivel de la prueba como de las
formas.
Cuando dos o más individuos presentan
indicios significativas (alta probabilidad) de
haber realizado fraude, esta situación de
semejanza entre las cadenas de respuestas es
revisada de manera exhaustiva a través de
unos filtros adicionales para evitar la
probabilidad de acusar de fraude
erróneamente a personas que aleatoriamente
podrían haber coincidido en sus respuestas
en una prueba. Los filtros mencionados son:
• Excluir parejas con el 20% o menos de
respuestas coincidentes incorrectas en el
mismo sitio de aplicación.
• Excluir parejas con el 40% o menos de
respuestas coincidentes correctas o
incorrectas en el mismo salón.
• Excluir parejas con el 75% o menos de
respuestas coincidentes correctas o
incorrectas en el mismo sitio de
aplicación.
• Excluir parejas en donde alguna de las
personas tenga el 90% o más de omisiones
o preguntas no contestadas.
• Excluir las personas que usen la misma
opción de respuesta en al menos 70% de
las preguntas.
• Excluir las personas con coincidencias en
menos de 2 formas o pruebas.
Si una vez realizados estos filtros continúa
existiendo dos o más personas acusadas de
plagio en dos o más formas, estas serán
acusados de copia y serán sujeto del
procedimiento administrativo señalado en la
Resolución 631 de 2015 del Icfes, en el que
se invalidan los resultados de los acusados y se
les inhabilita para presentar el examen por un
período de entre uno
(1) y cinco (5) años, dependiendo de la
gravedad del hecho. En la actualidad el
procedimiento descrito tiene un margen de
error de uno en un millón de que la
identificación del acusado de fraude sea
errónea.
17 Detectar fraude posterior al proceso de calificación es uno de los controles posteriores realizados por el Icfes que trata el Artículo
22 de la Resolución 068 de 2016 de esta institución.
18 Los instrumentos estadísticos para la detección de copia se enfrentan a tres problemas: i) incapacidad para descartar la posibilidad de
que
dos individuos obtengan respuestas idénticas por azar; ii) no ser un un argumento suficiente para acusar a alguien de copia, y iii)
suponer una distribución de probabilidad con que los estudiantes responden las preguntas (Quantil, 2011).
Anexo 3. Indicadores estadísticos
Derivadas de la Teoría Clásica de los Tests
(TCT)
• N: Número de estudiantes a quienes se
administró el ítem.
• Dificultad: la proporción de personas
que responden correctamente el ítem.
• Discriminación: (correlación ítem-prueba):
la correlación entre el acierto al ítem y la
suma de respuestas correctas en los
demás ítems de la prueba, es decir, el
total de respuestas correctas no incluyó
al ítem para el cual se calculó la
correlación.
• Flujo de opciones: corresponde a las
proporciones de estudiantes que eligieron
cada una de las opciones de respuesta
del ítem.
• N. omisiones: número de estudiantes a
quienes se presentó el ítem en el
cuadernillo de prueba y que no marcaron
ninguna opción de respuesta.
• N. no alcanzado: número de
estudiantes a quienes se presentó el ítem
en el cuadernillo de prueba y que no
marcaron ninguna opción de respuesta en
el ítem y en ninguno de los siguientes
hasta el final del cuadernillo del área.
Derivadas de la Teoría de Respuesta al Ítem
(TRI)
• Dificultad: corresponde al valor de
habilidad en el que la probabilidad de
acertar el ítem se estima igual a 0,5.
• Discriminación: es proporcional al cambio
en la probabilidad de acertar al ítem
alrededor del valor estimado para la
dificultad.
• Curvas empíricas por opción de
respuesta: las curvas empíricas de cada
opción de respuesta se calcularon por la
proporción de evaluados que eligió la
opción entre aquellos a quienes se les
presentó el ítem.
• Pendientes de las curvas empíricas
por opción de respuesta: las
pendientes se calcularon a partir de la
recta de mejor ajuste. Esta recta fue
estimada por mínimos cuadrados
ordinarios entre la proporción de elección
de la opción sobre el punto medio de los
intervalos de habilidad utilizados para
calcular la curva empírica.
Calle 26 No. 69 - 76 • Centro empresarial Elemento - Torre 2 - Piso 17 • Bogotá - Colombia
www.icfes.gov.co