Diversidad

Cultural y Validez en las Pruebas de

Aprovechamiento Escolar: Retos Prc>cos y
Posibilidades Metodolgicas
Guillermo Solano-Flores
Stanford University

Seminario, Evaluacin y Diversidad: Jus7cia y Equidad en la Evaluacin Educa7va
Ins7tuto Nacional para la Evaluacin de la Educacin
Ciudad de Mxico, 22 de sep7embre de 2016

Deniciones

Cultura. Conjunto de valores, experiencias, patrones

de comunicacin, formas de socializacin y
circunstancias histricas que comparten los individuos
de un grupo social.*
Validez cultural. Grado de efec7vidad con el que el
proceso de evaluacin considera las inuencias
socioculturales en la manera en que los estudiantes
interpretan los tems de una prueba y responden a
esos tems. Tales inuencias incluyen: experiencias
sociales diarias, patrones de comunicacin, variedades
de lenguaje, epistemologas, y condiciones
socioeconmicas. **
* Consejo Tcnico Especializado Ad-Hoc para la Elaboracin de Criterios Tcnicos de Validez Cultural de los Instrumentos de Evaluacin
Educa7va (2015). Promocin y evaluacin de la validez cultural en las ac7vidades evalua7vas del INEE. (Por Orden Alfab7co de
Apellido): Gigante, E. von Groll, B. Mar7nez-Casas, R., Sandoval-Cruz, F. y Solano-Flores, G. (2015). Ins7tuto Nacional para la Evaluacin
de la Educacin Ciudad de Mxico, D.F., Enero 16.

** Solano-Flores, G., & Nelson-Barber, S. (2001). On the cultural validity of science assessments. Journal of Research in Science Teaching,
38(5), 553-573.

Limitaciones en las prc7cas evalua7vas

Se piensa en diversidad cultural y lings7ca al nal del proceso de
desarrollo de la prueba
Se asume universalidad en el diseo de tems
Se invoca la existencia de tcnicas estads7cas para analizar sesgo, sin que
realmente se les emplee
Se trata a la diversidad cultural como un asunto supercial, no tcnico
Se asignan pocos recursos y poco 7empo para examinar asuntos de
cultura
Se usan o promueven estereo7pos sociales
Se subes7ma la complejidad de los asuntos culturales y lings7cos
Se hace algo con respecto a cultura por conveniencia pol7ca, sin un
compromiso profundo
Se considera que las acciones para tratar cultura son opcionales
Se operacionaliza a la cultura de manera inadecuada

Factores agravantes
Pocos expertos en medicin estn interesados en conocer a
fondo las bases tericas de la relacin entre cognicin,
cultura y lengua
Pocos expertos en antropologa y lings7ca estn
interesados en conocer a fondo las bases tericas y
metodolgicas de la medicin
Se establece una falsa dicotoma entre lo cualita7vo y lo
cuan7ta7vo
En la mayora de los pases, existen pocos expertos en
medicin
Muchos pases importan prc7cas evalua7vas de otros
pases, incluyendo aquellas que 7enen que ver con
diversidad cultural, sin cues7onar sus limitaciones

Buena ideas, dudosa implementacin

Estndar 3.3: Inclusin de sub-grupos poblacionales

American Educational Research Association, American Psychological Association,

and National Council for Measurement in Education (2014). Standards for
Educational and Psychological Testing. Ch. 3, Fairnes in Testing, p. 64.
Washington, DC: Author.

Un ejemplo histrico sobre sesgo

cultural en pruebas

Qu le falta?*

En cada par de caras, cul es ms bonita?**

*Basado en y **citado por Jensen, A. R. (1960). Bias in mental tes7ng. New York: The Free Press.

Cultura y contexto en tems

Item:
Juan va a cenar con sus paps. Su pap deja $17.00 de propina.
Cul es el total de la cuenta de la cena, suponiendo que se
agrega el 10 % de propina a la cuenta total?

Reporte tcnico:

Un panel de expertos revis los tems para asegurarse de que no resultaran diTciles
de entender para alumnos de ciertos grupos culturales o lings7cos.

Nos aseguramos de usar un lenguaje estndar en la redaccin de los tems

Empleamos los principios del diseo universal

Enfoques convencionales en el tratamiento

de cultura: Ejemplo de DIF en dos tems
Con funcionamiento
diferencial

Probabilidad de
repuesta correcta

Sin funcionamiento
diferencial

Puntuacin Z en la variable latente

Poblacin 1
Poblacin 2
Adaptado de: Zumbo, B. D. (1999). A Handbook on the Theory and Methods of Dieren7al Item Func7oning (DIF): Logis7c Regression Modeling as a Unitary Framework for
Binary and Likert-type (Ordinal) Item Scores. Olawa ON: Directorate of Human Resources Research and Evalua7on, Department of Na7onal Defense.

Limitaciones en el anlisis del

funcionamiento diferencial de tems
Supone heterogeneidad en las poblaciones
Requiere de un nmero rela7vamente grande de
estudiantes en cada grupo
Se 7ene que realizar separadamente por cada
tem
Se iden7ca a los tems inadecuados muy tarde
en el proceso de evaluacin
Conduce a pensar en validez en trminos de un
grupo poblacional, no de los constructos
evaluados

Necesidad de nuevas metodologas

PROMOCIN Y EVALUACIN DE LA VALIDEZ CULTURAL EN

LAS ACTIVIDADES EVALUATIVAS DEL INEE

Consejo Tcnico Especializado Ad-Hoc para la Elaboracin de
Criterios Tcnicos de Validez Cultural de los Instrumentos de
Evaluacin Educa>va

Ciudad de Mxico, D.F., Enero 16 de 2015

Deniciones de validez
juicio evalua7vo integral sobre el grado en que la
evidencia emprica y el razonamiento terico apoyan la
adecuacin y la propiedad de las inferencias y las acciones
basads en calicaciones de pruebas u otras formas de
evaluacin (Messick, 1989)
grado en que la evidencia y terica apoyan a las
interpretaciones de las calicaciones en pruebas para los
usos propuestos de esas pruebas (AERA, APA, & NCME,
2014)
grado en el que se pueden hacer generalizaciones
apropiadas acerca de las habilidades y el conocimiento de
los estudiantes en un rea de dominio determinada con
base en su desempeo en una prueba

Argumentos y evidencia en apoyo a

generalizaciones e interpretaciones
Poblacin total
Estudiantes de grupos
predominantes y minoritarios

Prueba

Grupo de referencia y grupo focal

Prueba

Segmento poblacional
predominante
(Grupo de Referencia)

Segmento poblacional
minoritario
(Grupo Focal)

Desagregacin
Prueba

Segmento poblacional
predominante

Prueba

Segmento poblacional
minoritario

Ejemplo 1: Desagregregacin
Nmero mnimo de tems necesarios para obtener
coecientes de generalizabilidad aceptables
Grupo
Predominante

16

Grupo
Minoritario 1

19

Grupo
Minoritario 2

25

Basado en: Solano-Flores, G., & Li, M. (2006). The use of generalizability (G) theory in the tes7ng of
linguis7c minori7es. Educa7onal Measurement: Issues and Prac7ce 25(1), 13-22.

Ejemplo 2: Entrevistas cogni7vas y

validacin cultural

Solano-Flores, G., & Li, M. (2009). Generalizability of cognitive

interview-based measures across cultural groups. Educational
Measurement: Issues and Practice, 28 (2), 9-18.

Ejemplo 3: Sistema7zacin en el desarrollo

de pruebas
Contexto social implcito en el diseo de tems

El tpico o la situacin reeja la vida y
el ambiente social de

muchos alumnos, individuos de un
individuos de un
independientemente grupo cultural, tnico grupo cultural, tnico
de su grupo cultural, o socioeconmico
o socioeconmico
tnico o
especco pero es
especco y es poco
socioeconmico.
familiar o conocido familiar o es
por individuos de
desconocido por
muchos otros
individuos de otros
grupos.
grupos.

hlps://www.smarterbalanced.org/wp-content/uploads/2015/08/ItemAccessibility-and-Language-Varia7on-Conceptual-Framework.pdf

Adaptado de: Solano-Flores, G., Shade, C., & Chrzanowski, A. (2014). Item
accessibility and language varia7on conceptual framework. Submimed to the
Smarter Balanced Assessment Consor7um. October 10. hlp://
www.smarterbalanced.org/wordpress/wp-content/uploads/2014/11/
ItemAccessibilityandLanguageVaria7onConceptualFramework_11-10.pdf

Ejemplo 4: Sistema7zacin en el diseo de

tems
Nombres de personajes c7cios a usar en las pruebas desarrolladas por
un sistema de evaluacin
Personajes Femeninos

Personajes Masculinos

Adaptado de: Solano-Flores, G., Shade, C., & Chrzanowski, A. (2014). Item accessibility and language varia7on conceptual framework. Submimed
to the Smarter Balanced Assessment Consor7um. October 10. hlp://www.smarterbalanced.org/wordpress/wp-content/uploads/2014/11/
ItemAccessibilityandLanguageVaria7onConceptualFramework_11-10.pdf

Criterios de validez cultural

Marco conceptual de los instrumentos de evaluacin

Especicacin de poblaciones y unidades de anlisis
Estrategia para considerar diversidad cultural, lings?ca y socioeconmica
Especicacin de tems
Profesionales involucrados en el desarrollo de los tems
Representacin de poblaciones diversas en las muestras
Validacin cogni?vo-cultural
Revisin de expertos
Anlisis de sesgo cultural
Estudios de generalizabilidad
Tiempos y calendarios
Mecanismos de correccin

Enfasis en el proceso de desarrollo de

pruebas: Acciones inmediatas
Desarrollar un documento con el marco poblacional
que dena grupos de inters
Localidad: rural y urbana
Niveles socioeconmicos: alto, medio y bajo
Etnicidad: indgena, no indgena
Lengua materna: espaol, lengua indgena

Probar borradores de los tems con muestras de

estudiantes pertenecientes a esos grupos de inters
Inclusin de lingistas y antroplogos en los equipos
de autores de tems
Inclusin de maestros provenientes de ml7ples
contextos sociales

Gracias!
gsolanof@Stanford.edu