Construcción de un test

PROFESOR GABRIEL BERNAL

 FASES

1. Propósito de las puntuaciones (de la medición)

2. Restricciones
3. Definición del constructo
4. Especificación de contenidos
5. Formato (y elaboración) de ítems
6. Diseño y diagramación de la prueba
7. Estudio piloto: Tratamiento de los ítems
8. Estadísticos versión definitiva (dificultad, validez y
confiabilidad)
9. Tipificación o construcción de normas o estándares (Criterio)
10. Manual
 1. Propósito

Se deben considerar

 Población o poblaciones que serán objeto de evaluación

 Tipo de inferencias / decisiones deseadas

Población o poblaciones
 Tipo de decisiones (1)
Nivel de instrucción

Diagnóstico

Selección
 Tipo de decisiones (1)
Asignación

Clasificación

Consejo
 2. Restricciones
Identificar limitaciones prácticas

 Tiempo

 Forma de aplicación

 Masiva

 Individual

 Condiciones de aplicación (por ejemplo, aplicador)

 Otros (por ejemplo, características de la población, formas,

usuarios, ética…)
 3. Definición del constructo

Para evaluar un constructo es necesario establecer

Sustento teórico Operacionalización

Dominio
del ítem*

*Población de conductas
 3. Definición del constructo

Validez sustantiva: ¿Qué es exactamente lo que se

desea medir?
 Nivel de detalle y especificidad
 Diferenciación de otros constructos (cercanos y no tan
cercanos…)
 Lugar en la jerarquía, amplitud / Ubicación en el contexto
teórico
 Constructos huérfanos, instersticiales o conglomerados
 Varianza única y compartida
 Diseño de los ítems
 3. Definición del constructo

Cuando no existe suficiente marco teórico…

 Análisis de contenido
 Revisión empírica
 Incidentes críticos
 Observación directa
 Juicio de expertos
 Objetivos instruccionales o de programas de intervención
 4. Especificación de contenidos

Se definen

 Especificaciones de los ítems

 Fuentes de contenido
 Descripción de estímulos o situaciones problema
 Características de las respuestas
 Estructura de prueba
 Matriz de contenidos y procesos
 Distribución de ítems
La taxonomía de Bloom
 La taxonomía de Bloom

CONOCIMIENTO COMPRENSION APLICACIÓN ANALISIS SINTESIS EVALUACION

Abocar Argumentar Aplicar Analizar Agrupar Acordar
Apuntar Asociar Aprovechar Abstraer Arreglar Apreciar
Citar Codificar Calcular Aislar Aprestar Aprobar
Definir Comprobar Cambiar Calcular Categorizar Apoyar
Describir Concluir Construir Categorizar Clasificar Calificar
Designar Contrastar Comprobar Contrastar Compilar Categorizar
Determinar Convertir Delinear Criticar Componer Comparar
Distinguir Concretar Demostrar Comparar Combinar Concluir
Enumerar Criticar Describir Debatir Concebir Contrastar
Enunciar Deducir Despejar Describir Construir Criticar
Escribir Definir Determinar Descomponer Conceptuar Defender
Explicar Describir Discriminar Designar Crear Demostrar
Exponer Demostrar Diseñar Detallar Dirigir Descubrir
 Los contenidos

Pueden ser
Hechos

Conceptos

Principios

Procedimientos
 Ejemplo de estructura de prueba (1)
CONTENIDO

Teoría de Historia de TOTAL

Ética de la
la la
medición
medida psicometría

Recuerdo 10% 20% 0% 30%

PROCESO

Comprensión 20% 10% 10% 40%

Aplicación 20% 0% 10% 30%

TOTAL 50% 30% 20% 100%

 Ejemplo de estructura de prueba (1)
CONTENIDO

Teoría de Historia de TOTAL

Ética de la
la la
medición
medida psicometría

Recuerdo 5 10 0 15
PROCESO

Comprensión 10 5 5 20

Aplicación 10 0 5 15

TOTAL 25 15 10 50
 Ejemplo de estructura de prueba (2)
TIPO DE SEXISMO

TOTAL
Hostil Benévolo
TIPO DE PREJUICIO

Heterosexualidad 16,5% 16,5% 33%

Diferenciación de género 16,5% 16,5% 33%

Paternalismo 16,5% 16,5% 33%

TOTAL 50% 50% 100%

 Ejemplo de estructura de prueba (2)
TIPO DE SEXISMO

TOTAL
Hostil Benévolo
TIPO DE PREJUICIO

Heterosexualidad 10 10 20

Diferenciación de género 10 10 20

Paternalismo 10 10 20

TOTAL 30 30 60
 Otras metodologías. El modelo Basado en la
Evidencia – MBE (Mislevy, 1999)

¿Qué se quiere decir sobre el

Modelo del
estudiante a partir de la
estudiante evaluación?
(¿Qué
medimos?)

¿Qué debe hacer el

estudiante para poner en
Evaluación
evidencia lo que sabe? centrada
en la
Modelo de
evidencia evidencia Modelo de
tarea
(¿Cómo lo (¿En dónde lo
medimos?) medimos?)

¿Qué actividades le
permiten al estudiante
demostrar lo que sabe?
Implementación en el ICFES del MBE

Tomado de la página WWW.ICFES.GOV.CO

 5. Formato de ítems

En este punto hay que definir

 Formato de ítems
 Selección
 Construcción
 Formato de registro y criterios de puntuación
 Forma de registro de las respuestas
 En el cuadernillo
 En hoja de respuestas aparte

¡EN ESTA FASE SE CONSTRUYEN LOS ÍTEMS Y LOS MATERIALES DE

PRUEBA (TEXTOS, GRÁFICOS, MAPAS, CUBOS…)!
 5. Formato de ítems
Propósitos

El
formato
de ítems
depende
de
Contenidos
Población / Procesos
 Formatos de ítems (1)
Elección múltiple
Presentación

Identificación

¿Quien es tu profezor?

¿Cual es tu color favorito?

Ordenación Ya no quiero mas helado.

Me dijo de que va a venir.

Mi primo se va a italia este mes.

La escuela esta cerrada por vacaciones

No sé si el sea el culpable del accidente.

Comimos dos pollos grande y una ensaladas

En la fiesta habrá muchas amigos de la infancia.

 Formatos de ítems (2)
Sustitución/Corrección
En las siguientes frases reemplace la palabra subrayada por la que
considere correcta (sinónima):
Para construir un test se deben establecer definiciones semánticas
del constructo de interés
Completar
Un rasgo psicológico es una ____________ de comportamiento,
constituido por un conjunto de ____________ aprendidos.
Construcción
Explique cuáles fueron los principales aportes de Galton para el
origen de la psicometría.
________________________________________________
________________________________________________

Dibuje un plano de esta habitación.

 Formatos de ítems (3)

Relacione los nombres de los actores (a a f) con sus

personajes (1 a 7)

a) Sylvester Stallone 1. Ace Ventura

b) Jim Carrey 2. Indiana Jones
c) Johnny Deep 3. Zorro
d) Mike Myers 4. Rocky
e) Harrison Ford 5. Austin Powers
f) Antonio Banderas 6. Jack Sparrow
7. Tootsie
 Formatos de ítems (4)
En los cuestionarios de personalidad se pueden utilizar
formatos
Dicotómicos
Tengo un sueño profundo y reparador
o Sí
o No

Politómicos
Me adapto fácilmente cuando empiezo un nuevo trabajo
o Totalmente de acuerdo
o De acuerdo
o Ni acuerdo ni desacuerdo
o En desacuerdo
o Totalmente en desacuerdo
 6. Tratamiento de los ítems

Dificultad
Sobre

Discriminación

Para el análisis
de ítems
decidir Población (características,
estratos y tamaños muestrales)

Tiempo de aplicación y longitud

Con base en
de respuesta

Criterios de discriminación
 7. Estimación de propiedades del test y los ítems
(Estudio Piloto)

Para elegir los mejores ítems se deben estimar

 Frecuencias de respuestas

 Dificultad

 Discriminación
 8. Tipificación / Definición de estándares

El sujeto se
compara
Criterios contra un
estándar

Un test puede
ser referido a

El sujeto se
Normas compara con
otros
 8. Tipificación / Definición de estándares

Para normalizar, se debe tener en cuenta

 Población objetivo
 Diseño muestral
 Selección de la muestra
 Aplicación del test
 Selección del tipo de escala
 Definición de procedimientos de igualación y equivalencia
 9. Recogida de datos

Se debe definir cómo se analizarán los datos

 Según el modelo psicométrico
 Teoría Clásica de los Tests (TCT)
 Teoría de Respuesta al Ítem (TRI)
 Teniendo en cuenta
 Población objetivo
 Grupos y subgrupos muestrales
 Posibles fuentes de error
 Estandarización de procedimientos de aplicación
 Para el test hay que estimar
 Validez
 Confiabilidad
 10. Manual

Protocolo estandarizado con

 Definición del constructo

 Posibles usos
 Instrucciones administración
 Procedimientos conversión de puntajes
 Propiedades psicométricas (validez y confiabilidad)
 Muestras de tipificación y validación
 Sugerencias uso de puntuaciones
 Interpretación de puntuaciones
 11. Cronograma de actividades

SEMANA
FASE ACTIVIDAD RESPONSABLE PRODUCTO/RESULTADO
1 2 3 4 5 6 7 8 9 10
GREG Svdfvd ntyr
DFSFS VG Gefe vdsvda
CAA Bfrbrt vfbrt
CEG Bfrbrt vdfbnty
FSDFS NHNY Bfrbrt vthnt
KUIU Gefe oihtdxe
AD Bfrbrt wjkljjñl
HTRHR CRT Gefe kuyvtx
NUY Bfrbrt lkjoibtre
VREVD Svdfvd ñlkonu
KUTYT CET Gefe pouuyxze
MSDFEW Bfrbrt mpopibuyrz