Documente Academic
Documente Profesional
Documente Cultură
Resumen ejecutivo
Departamento de Segundas Lenguas y Lenguas Extranjeras CEIP
Inspeccin de Ingls CES
Inspeccin de Ingls - CETP
Programa Ceibal en Ingls - Plan Ceibal
Departamento Monitoreo y Evaluacin - Plan Ceibal
Divisin de Investigacin, Evaluacin y Estadstica - CODICEN
British Council
Cecilia Marconi - Plan Ceibal
Consultor: Mario Luzardo
Contenido
Evaluacin adaptativa de ingls 2016 ........................................................................................... 2
Introduccin - Aspectos generales ............................................................................................ 2
Objetivos de la evaluacin ........................................................................................................ 2
Cobertura de la enseanza de ingls y de la evaluacin........................................................... 3
Diseo de la evaluacin............................................................................................................. 4
Resultados de los alumnos de Educacin Primaria ....................................................................... 5
Resultados globales ................................................................................................................... 5
Resultados segn contexto sociocultural y grado escolar ........................................................ 6
Resultados segn programa ...................................................................................................... 9
Resultados de los alumnos de Educacin Media ........................................................................ 10
Evolucin de los desempeos en el perodo 2014-2016 ............................................................ 11
Conclusiones ............................................................................................................................... 15
ANEXO ......................................................................................................................................... 16
Anexo 1 - Descriptores ............................................................................................................ 16
Anexo 2 tems de ejemplo.................................................................................................... 19
1
Evaluacin adaptativa de ingls 2016
Introduccin - Aspectos generales
Durante noviembre de 2016 se realiz la tercera edicin de la prueba adaptativa de ingls. La
prueba fue diseada, elaborada y administrada por el programa Ceibal en Ingls de Plan
Ceibal, el Departamento de Segundas Lenguas y Lenguas Extranjeras del CEIP, las Inspecciones
de Ingls del CES y CETP, la Divisin de Investigacin, Evaluacin y Estadstica de CODICEN, el
Departamento de Monitoreo y Evaluacin de Plan Ceibal, el British Council, en conjunto con
tcnicos especialistas.
La evaluacin estuvo dirigida a todos los alumnos de 4 a 6 ao de Educacin Primaria que
aprenden ingls en modalidad presencial (Programa del Departamento de Segundas Lenguas y
Lenguas Extranjeras) o por videoconferencia (Programa Ceibal en Ingls), y por primera vez se
incorpor a los estudiantes de 1 de Educacin Media.
La prueba se aplic durante el mes de noviembre de 2016 y es de carcter adaptativo, es decir,
se ajusta al nivel de conocimientos de ingls de cada estudiante que la realiza. Este tipo de
evaluaciones utilizan las actividades de un banco de tems calibrados para estimar el nivel de
desempeo del alumno. Las actividades que responde cada estudiante se gradan en funcin
de sus respuestas, de este modo, cada estudiante recorre un conjunto de actividades en
funcin del desempeo que va demostrando.
Al igual que en las ediciones anteriores, la prueba se implement en lnea a travs de la
plataforma SEA e incluy tres componentes: un componente de comprensin lectora
(vocabulario, gramtica y lectura), un segundo componente de comprensin auditiva y
finalmente uno de produccin escrita (nico componente que no tiene carcter adaptativo).
Objetivos de la evaluacin
Los objetivos de la evaluacin son:
Obtener informacin sobre los conocimientos de ingls alcanzados por los nios de 4,
5 y 6 ao de Primaria en ambas modalidades de enseanza de ingls y de 1 de
Educacin Media.
Informar a Educacin Media los niveles alcanzados por los alumnos que egresan de
Primaria para contribuir a la continuidad de los aprendizajes de ingls a lo largo de
todo el trayecto educativo.
Ofrecer a los alumnos que toman la prueba un certificado que acredita los
resultados obtenidos.
2
Cobertura de la enseanza de ingls y de la evaluacin
En 2016 la cobertura de la enseanza de ingls en los alumnos de 4, 5 y 6 de escuelas
urbanas del pas alcanz el 93%. De estos 109.517 estudiantes que estudian ingls, 80.217
(73%) participan en el programa Ceibal en Ingls y los restantes 29.300 (27%) en el programa
de Segundas Lenguas. En Educacin Media por su parte, la enseanza de ingls constituye una
asignatura obligatoria por lo que la cobertura en principio es total, exceptuando los grupos
que quedan sin profesor (horas que no se eligen).
De los 109.517 estudiantes de Primaria que constituan el universo potencial, 66.345
participaron de la prueba, lo que representa una tasa de respuesta del 61%. En el caso de
Educacin Media, participaron 6.925 estudiantes, lo que represent una tasa de respuesta del
13%1.
A pesar de que la cobertura no fue universal, la respuesta en Primaria fue relativamente
balanceada, es decir, no se registraron grandes sesgos en la respuesta por contexto
sociocultural o por grado escolar. Los siguientes grficos comparan la distribucin de la
poblacin evaluada con la poblacin total de alumnos que aprende ingls en Primaria.
Comparacin de la distribucin de los alumnos de la poblacin objetivo con los alumnos que
realizaron la prueba en Primaria
Grfico 1. Distribucin por contexto sociocultural de la escuela 2015
En % de alumnos de 4-6
1
Segn datos de Ceibal, 52.155 alumnos constituan el universo de 1 de Media en 2016. Debe tenerse
en cuenta que en Enseanza Media esta prueba se plantea a los docentes por primera vez y con carcter
opcional, su aplicacin no era de carcter obligatorio.
3
Grfico 2. Distribucin por grado escolar
En % de alumnos de 4-6 de Primaria
4 5 6
Diseo de la evaluacin
Las actividades de la prueba fueron diseadas por una unidad especializada del British Council
y calibradas en una muestra representativa de centros educativos. La aplicacin de los
componentes de la prueba se concaten de manera que el alumno comenzaba por el test de
comprensin lectora (Vocabulary, Reading y Grammar), continuaba por comprensin auditiva
(Listening) y finalizaba con la consigna de produccin escrita (Writing).
En el primer componente de la prueba el alumno responda preguntas de opcin mltiple y
poda obtener un puntaje entre 0 y 2.756 puntos. Esta escala de puntaje fue calificada en seis
niveles (A0, A1-, A1+, A2-, A2+ y B1) asociados a los niveles de desempeo del Marco de
Referencia Europeo de Enseanza y Aprendizaje de Lengua 2. En el segundo componente, el
alumno deba escuchar breves archivos de audio y responder una pregunta de opcin mltiple.
La escala tena un puntaje entre 0 y 1.712 puntos, que fue calificada en los mismos seis niveles
(A0, A1-, A1+, A2-, A2+ y B1) con sus respectivos descriptores de logro 3. Finalmente, se le
presentaba al alumno la propuesta de produccin escrita. A partir de una imagen y una serie
de consignas, el alumno deba realizar una produccin escrita que se correga posteriormente
a partir de una rbrica de seis niveles (A0, A1-, A1+, A2-, A2+ y B1)4.
En el caso de los tests adaptativos, la estimacin del nivel de ingls era reportada en tiempo
real, mientras que las producciones escritas fueron corregidas por un equipo de docentes
entre los meses de diciembre de 2016 y febrero de 2017. Se presentan en el Anexo 2 algunos
ejemplos de los tems aplicados segn nivel de dificultad, as como la consigna para evaluar
produccin escrita.
2
Ver Anexo 1, Tabla 1
3
Ver Anexo 1, Tabla 2
4
Ver Anexo 1, Tabla 3
4
Resultados de los alumnos de Educacin Primaria
Resultados globales
A continuacin se presentan los resultados obtenidos por todos los alumnos evaluados en los
diferentes componentes de la prueba.
Grfico 3. Niveles alcanzados en Vocabulary-Reading-Grammar (Primaria)
55
23
16
1 4 ,2
34 30
11 17
7
1
47
34
17
2 0 0
5
En el caso del componente de comprensin lectora (Vocabulary, Reading y Grammar) el 39%
de los alumnos obtuvo un nivel A1 (A1- y A1+ sumados) y el 59% un nivel A2 (A2- y A2+
sumados). En comprensin auditiva (Listening) por su parte, el 11% de los alumnos no super
el nivel A05, el 51% se ubic en el nivel A1 y el 37% en el A2. Los resultados del componente
de produccin escrita muestran que un 47% de los alumnos se encuentra en un nivel A0, un
51% en un nivel A1 y el 2% restante en un nivel A2.
5
Los resultados muestran un aumento de 4% en el porcentaje de alumnos con nivel A0 respecto de la
prueba 2015. Esto podra deberse a un problema de audio que se observ en algunos casos en los
dispositivos de 4 y 5 de Primaria. Este factor se analizar ms adelante en el informe.
6
Grfico 7. Listening segn contexto (Primaria)
33% 25% A0
42% 39% 36%
15% A1-
18%
18% 18% A1+
17% 36%
28% 32% A2-
24% 26%
4% 5% 7% 13%
3%
0% 0% 0% 1% 1% A2+
Nivel 1 Nivel 2 Nivel 3 Nivel 4 Nivel 5 B1
menos menos
crtico crtico
38% A0
56% 50% 50% 45%
A1-
35% 36% A1+
31% 33% 32%
15% 16% 18% 22% A2-
11%
1% 2% 2% 2% 3%
A2+
Nivel 1 Nivel 2 Nivel 3 Nivel 4 Nivel 5
ms menos B1
crtico crtico
Grado escolar
Si se analizan los resultados por grado escolar se constata, al igual que en aos anteriores, que
a mayor grado escolar, mejores son los desempeos de los alumnos en todos los componentes
de la prueba. Dicha tendencia no se explica exclusivamente por una mayor exposicin al ingls,
ya que particularmente en el caso de Ceibal en ingls, un grupo de 5to o 6 de Primaria podra
estar cursando su primer o segundo ao en el programa6.
6
A medida que avanza la cobertura de Ceibal en Ingls, mayor es la correspondencia entre grado escolar
y tiempo de exposicin (los alumnos de 4 realizan Nivel 1 (un ao de exposicin), los de 5to Nivel 2 (dos
aos de exposicin) y los de 6to realizan el Nivel 3 (tres aos de exposicin).
7
Grfico 9. Vocabulary-Reading-Grammar segn grado escolar (Primaria)
12% 17% 7% A0
26%
A1-
46% 33%
16%
A1+
16%
18% 38% A2-
29%
21% A2+
3% 5% 12%
1%
B1
4 5 6
38% A1+
34% A2-
29%
24%
10% 15% A2+
1% 2% 4%
4 5 6 B1
8
socioculturales, no ocurre lo mismo por grado escolar donde se observa que 4 y en particular
5 presentan porcentajes superiores que 6 grado. Esta diferencia entre grados escolares
estara dando indicios de que el aumento del nivel A0 podra explicarse por problemas de
audio que se detectaron durante la aplicacin de la prueba en algunos dispositivos 7, que
interfirieron en la realizacin de este componente (en particular, se constat que varios de los
estudiantes que realizaron la prueba de comprensin auditiva en el equipo XO 4.0 tuvieron
problemas para escuchar los archivos de audio del test).
11% 12% A0
34% 34% A1-
17% 16% A1+
30% 30% A2-
7% 7%
A2+
Ceibal en ingls Segundas Lenguas
7
Dispositivos que se concentran en 4 y 5 de Primaria.
9
Grfico 14. Writing segn Programa (Primaria)
A0
47% 46% A1-
A1+
34% 33%
A2-
17% 18%
2% 3%
A2+
Ceibal en ingls Segundas
Lenguas B1
Al igual que en las ediciones anteriores de la prueba, los resultados alcanzados por los alumnos
de Ceibal en Ingls y de Segundas Lenguas fueron muy similares en cada uno de los tres
componentes de la evaluacin.
Cabe resaltar que ambos programas trabajan con poblaciones de alumnos distintas y con
distintos tiempos de exposicin. Mientras que Ceibal en Ingls es un programa con un mximo
de tres aos de duracin, Segundas Lenguas trabaja hasta siete aos con los alumnos.
68
20
,2 6 5 ,5
10
Grfico 16. Niveles alcanzados en Listening (Educacin Media)
42
20
15 15
5 2
36,6 36,6
22,6
3,6 0,5 0,0
11
Grfico 18. Evolucin de resultados en Vocabulary, Reading y Grammar
69
54 2014
32 3328 33 2015
14 15 2016
7 9
000 34 1
Si se compara a los alumnos que realizaron el primer componente de la prueba los tres aos
(10.309 alumnos), los progresos son significativos. Luego de un ao adicional de exposicin a la
enseanza de ingls el porcentaje de estudiantes con nivel A2 aumenta aproximadamente en
20 puntos porcentuales8.
Grfico 19. Evolucin de los resultados Vocabulary, Reading y Grammar por contexto
sociocultural 2015
750
700 702
672
650 647 641 653
631
600 597
560 560 574 559
550
523 527 532
500 515
450
Nivel 1 ms Nivel 2 Nivel 3 Nivel 4 Nivel 5 menos
crtico crtico
Puntaje promedio 2014 Puntaje promedio 2015 Puntaje promedio 2016
Adems, como se muestra en el grfico, mientras que en los contextos menos crticos (niveles
4 y 5) la mejora en el puntaje de un ao a otro se encuentra en el entorno de los 65 y 75
8
En 2014 el 36% alcanza un nivel A2, en 2015 el 58% y en 2016 el 78%, aumentando en 22 y 20 puntos
porcentuales respectivamente.
12
puntos, en los contextos ms crticos se observa una mejora menor entre 2014 y 2015 (en un
entorno de 37 y 46 puntos), y significativamente mayor entre 2015 y 2016 (en un entorno de
79 y 87 puntos, incluso superando la mejora de puntaje de los niveles 4 y 5). De acuerdo a lo
anterior, puede afirmarse que el tercer ao de ingls corrige una parte importante de la
brecha generada en los primeros dos aos.
Por otro lado, al observar a los estudiantes que realizaron el componente de comprensin
auditiva tanto en 2015 como en 2016 (21.320 alumnos) tambin se constata una mejora en los
resultados luego de un ao ms de exposicin al ingls. En este caso el aumento en el nivel A2
es de 17 puntos porcentuales.
47
43
30 2015
2016
9
4 1
A0 A1 A2 B1
Al analizar dicha evolucin por contexto sociocultural, se observa que a pesar de que los
alumnos de todos los contextos mejoran sus puntajes en dicho componente, los alumnos de
contexto menos crtico mejoran sus puntajes casi tres veces ms que los de contexto ms
crtico.
400
300
Nivel 1 ms Nivel 2 Nivel 3 Nivel 4 Nivel 5 menos
crtico crtico
13
Por ltimo, al observar a los estudiantes que realizaron el componente de produccin escrita
en 2015 y 2016 (21.876 alumnos) se constata un aumento en el porcentaje de alumnos en los
niveles A0 y A1 y una disminucin del porcentaje de alumnos que en el nivel A2.
44% 2015
35% 37%
26% 23%
22% 2016
7%4%
1%0% 0%
9
Ver anexo 2 - Consigna para evaluar produccin escrita
14
Conclusiones
En 2016 se aplic la tercera edicin de la prueba adaptativa de ingls para alumnos de 4, 5 y
6 de Primaria y se puso a disposicin por primera vez para todos los estudiantes de 1 de
Educacin Media. Al igual que en 2015, se evaluaron las habilidades de Vocabulary, Reading,
Grammar, Listening y Writing, en una serie de tres pruebas concatenadas.
Los resultados muestran logros en materia de aprendizaje de ingls en Primaria en ambos
programas de enseanza (presencial y por videoconferencia), en todos los grados escolares y
en los distintos contextos socioculturales. Asimismo, al analizar la evolucin de los resultados
en las distintas ediciones de la prueba se constatan avances interanuales significativos.
En el caso de los estudiantes de 6to ao de Primaria, el 75% alcanza un nivel A2 en
comprensin lectora, el 50% alcanza nivel A2 comprensin auditiva y el 4% alcanza el nivel A2
en produccin escrita. Esto constituye un dato relevante para la construccin de continuidad
con el ciclo de Educacin Media.
Los estudiantes de Educacin Media que tomaron la prueba mostraron un desempeo ms
alto que los estudiantes de Primaria en los tres componentes de la prueba. Debe tenerse en
cuenta, sin embargo, que no constituyen una muestra representativa de los estudiantes de 1er
ao de Educacin Media. Futuras ediciones de la prueba con mayor participacin de
estudiantes de Media darn la posibilidad de analizar la continuidad de aprendizajes de ingls
entre ambos ciclos educativos.
15
ANEXO
Anexo 1 - Descriptores
16
Tabla 2. Descriptores y niveles prueba Listening
17
Tabla 3. Descriptores y niveles prueba Writing
18
Anexo 2 tems de ejemplo
Preguntas de nivel A0 (no demuestran conocimiento de ingls)
19
Preguntas de nivel A2, dimensin Reading
Esta es una foto de Laura. Mira la foto y completa la frase con una, dos o tres palabras en el
recuadro debajo de la oracin.
This is Laura. She is______________________.
She has______________________________hair.
She_________________________________friends.
She_________________________________apples.
She can______________________________.
Presta atencin a la foto.
Escribe en ingls todo lo que puedas sobre Laura.
Puedes escribir sobre el aspecto fsico de Laura, su ropa, lo que le gusta y no le gusta, lo que
puede y no puede hacer, sobre la rutina de Laura y sus sueos.
20