Documente Academic
Documente Profesional
Documente Cultură
INFORMATIZADOS
Julio Olea
Vicente Ponsoda
Presentación
4. ALGORITMOS ADAPTATIVOS
6.1. Presentación..................................................................... 73
6.2. Precisión y sesgo de las estimaciones.............................. 75
6.3. Alternativas a la información de Fisher........................... 79
6.4. Restricciones en la selección de ítems............................. 82
6.5. Control de la exposición................................................... 85
6.6. Generación automática de ítems...................................... 87
6.7. Nuevos modelos............................................................... 94
6.8. Condiciones de aplicación............................................... 107
6.9. Otros objetivos de investigación...................................... 114
D (θ −b )
j
e
P (θ ) = D (θ −b j )
1+ e
En este modelo P(θ) es la probabilidad de acertar el ítem j
cuando la persona tiene un nivel de rasgo θ. Este parámetro
normalmente asume valores entre –4 y +4. bj es el parámetro de
dificultad del ítem (normalmente asume valores entre –4 y +4, pues
se mide en la misma escala que θ), D es un valor constante (si D=1 se
16 TESTS ADAPTATIVOS INFORMATIZADOS
1,0
,8
,6
P(θ)
,4
,2
ítem 1
0,0 ítem 2
-4,00 -3,00 -2,00 -1,00 ,00 1,00 2,00 3,00 4,00
-3,50 -2,50 -1,50 -,50 ,50 1,50 2,50 3,50
Da (θ −b )
e j j
P (θ ) = Da (θ −b )
1+ e j j
donde aj es proporcional a la pendiente de la CCI en el valor θ = bj.
Este parámetro de discriminación, que suele oscilar entre 0 y 3,
indica el grado en que el ítem discrimina entre los niveles θ
superiores e inferiores a la dificultad del ítem. Si la CCI tiene poca
pendiente en bj (aj cercano a 0), el ítem resulta poco discriminativo;
si su pendiente es elevada, el ítem sirve para diferenciar los niveles de
rasgo por encima y por debajo de su dificultad.
18 TESTS ADAPTATIVOS INFORMATIZADOS
,8
,6
P(θ)
,4
,2
ítem1
0,0 ítem2
-4,00 -3,00 -2,00 -1,00 ,00 1,00 2,00 3,00 4,00
-3,50 -2,50 -1,50 -,50 ,50 1,50 2,50 3,50
Da (θ −b )
e j j
P (θ ) = c j + (1 − c j ) Da (θ −b )
1+ e j j
En la figura 3 se representan dos ítems con igual dificultad,
idéntica discriminación pero diferente parámetro de pseudoazar.
Mientras que para el ítem 1 c1=0.5, el parámetro de pseudoazar del
ítem 2 es c2=0.1. Si supiéramos, por ejemplo, que ambos ítems tienen
diferente número de opciones de respuesta, seguramente el ítem 2
tendría mayor número de opciones que el ítem 1, ya que resulta
menos probable de acertar teniendo un nivel de rasgo muy bajo.
,8
,6
P(θ)
,4
,2
ítem 1
0,0 ítem 2
-4,00 -3,00 -2,00 -1,00 ,00 1,00 2,00 3,00 4,00
-3,50 -2,50 -1,50 -,50 ,50 1,50 2,50 3,50
θ
20 TESTS ADAPTATIVOS INFORMATIZADOS
,08
,06
L
,04
,02
0,00
-4,00 -3,00 -2,00 -1,00 ,00 1,00 2,00 3,00 4,00
-3,50 -2,50 -1,50 -,50 ,50 1,50 2,50 3,50
j =1
CAPÍTULO 2. CONCEPTOS BÁSICOS DE LA TRI 23
N n
ln L = ∑∑ [ uij ln Pij + (1 − uij ) ln Qij ]
i =1 j =1
CAPÍTULO 2. CONCEPTOS BÁSICOS DE LA TRI 25
n
∂ ln L(u j ) / ∂θ = D Σ (uij − Pij )
i =1
g (θ ) L(u | θ )
P (θ | u ) = ∝ g (θ ) L(u θ )
L(u )
1
σ (2θˆ|θ ) = n
Pi´2
∑
i =1 Pi Qi
1
Se =
I (θ )
I (θ ) = D 2 Σa 2 Pi Qi
a 2Qi ( Pi − c ) 2
I (θ ) = D Σ2
Pi (1 − c) 2
1,0
,8
,6 ITEST
I(θ)
I1
,4
I2
I3
,2
I4
0,0 I5
-4,00 -3,00 -2,00 -1,00 ,00 1,00 2,00 3,00 4,00
-3,50 -2,50 -1,50 -,50 ,50 1,50 2,50 3,50
1
J (θ ) = + I (θ )
σ2
3.2.-Elaboración de ítems
a) Formato, nº de opciones y especificaciones de contenido.
3.3.- Calibración
Uno de los requerimientos que resultan más costosos en un TAI
tiene que ver con la necesaria calibración del banco de ítems a partir
de los desarrollos de un modelo concreto de la TRI. Algunos estudios
empíricos (Hetter, Segall y Bloxon, 1994) concluyen que la
calibración realizada a partir de la aplicación en lápiz y papel
proporciona resultados comparables a la que se obtiene en
aplicaciones informatizadas de los mismos ítems. Desde un punto de
vista operativo, este dato resulta importante dado que la aplicación
informatizada siempre resulta más costosa a todos los niveles.
Para el proceso de calibración debe decidirse el tamaño mínimo
muestral recomendable, el modelo TRI más apropiado y si se va a
establecer un determinado diseño de anclaje y equiparación. Como en
cualquier otro test, deben comprobarse también el grado de ajuste de
los ítems al modelo TRI seleccionado y otras propiedades
psicométricas adicionales.
a) Tamaño muestral
c) Modelo de TRI
d) Ajuste al modelo
Q=∑
k [
n j P(θ j ) − Pe (θ j ) ] 2
j =1 P(θ j )[ 1 − P(θ j ) ]
con distribución Chi-cuadrado con k-s grados de libertad,
siendo s el número de parámetros del ítem según el
correspondiente modelo TRI. Los valores de Q superiores a
los valores críticos tabulares correspondientes indicarán un
desajuste estadístico entre el modelo y los datos empíricos en
el ítem. Si sumamos los n valores Q de un banco de ítems,
obtendríamos un indicador global de ajuste con distribución
Chi-cuadrado con[(n-1)(k-s)] grados de libertad.
e) Software
1
Reconocemos la posibilidad de cierto grado de inestabilidad de los parámetros
estimados, debida a la ratio tan exigua entre sujetos e ítems y al número elevado de
opciones de respuesta que éstos tienen. El tamaño muestral empleado en este trabajo no
debe ser tomado como ejemplo de las necesidades muestrales que exige el modelo 3P.
CAPÍTULO 3. DISEÑO DEL BANCO DE ÍTEMS 43
30
N
20
10
0
0.25 0.5 0.8 1.1 1.4 1.7 2 2.3
30
20
N
10
50
40
información
30
20
10
0
-3.5 -2.5 -1.5 -0.5 0.5 1.5 2.5 3.5
niveles de rasgo
b − θˆi
θˆi +1 = θˆi + M
2
Si el primer ítem es fallado, la expresión a aplicar es:
b − θˆ
θˆi +1 = θˆi + m i
2
donde bM y bm son, respectivamente, los parámetros de
dificultad mayores y menores de los ítems que componen el
banco. Las expresiones se siguen aplicando hasta que se
obtiene un vector de respuestas que contenga tanto aciertos
como errores.
30
V = ∑ P (u1 , u 2 ,..u 5 θ )(θˆ − θ ) 2 ,
i =1
30
θ = ∑ P (u1 , u 2 ,..u 5 θ )θˆ
i =1
5.1.- Precisión
Como se dijo en apartados anteriores, una de las ventajas
fundamentales de la TRI es que proporciona medidas de precisión
(información o error típico de medida) condicionadas a los diferentes
niveles de rasgo; es decir, diferentes para distintos evaluandos.
Haciendo uso de esta propiedad, la eficiencia del TAI puede
estudiarse mediante los oportunos estudios empíricos o de
simulación, informando de los siguientes aspectos:
5.2.- Validez
Un TAI, como cualquier otro test, debe someterse a las
oportunas comprobaciones empíricas de validez para estudiar el
grado en que se cumplen determinadas inferencias realizadas a partir
de las puntuaciones que proporciona. En este sentido, los algoritmos
adaptativos no garantizan en principio mayor o mejor prueba de
validez, aunque hay algunas consideraciones particulares que
debemos tener en cuenta.
6.1.- Presentación
No son pocos los desafíos que tiene planteados la investigación
sobre TAIs para que resulten eficientes en diversos contextos de
evaluación psicológica y educativa, que tienen a su vez muy diversos
objetivos, necesidades y restricciones. En uno de los últimos
congresos de la National Council on Measurement in Education, una
de las principales reuniones científicas internacionales sobre
Psicometría, alrededor del 25 % de las comunicaciones se
relacionaron con investigaciones sobre TAIs (Ponsoda, 2000).
Mientras que los primeros libros específicos sobre el tema (v.g.
Wainer, 1990; Weiss, 1983) describían algoritmos de selección de
ítems muy básicos y escasas aplicaciones reales, los más actuales
(v.g. Drasgow y Olson-Buchanan, 1999; Olea, Ponsoda y Prieto,
1999; Sands, Waters y McBride, 1997; van der Linden y Glas, 2000)
incluyen la descripción pormenorizada de diversas aplicaciones en
programas de evaluación a gran escala y la revisión de las líneas de
investigación que se desarrollan sobre el tema en los últimos años,
74 TESTS ADAPTATIVOS INFORMATIZADOS
∑a I
j =1
j j ( Pj* − 0.5)
SESGO( ML(θ )) ≈
I2
En la ecuación anterior puede comprobarse que el sesgo que
produce el método de máxima verosimilitud será mínimo cuando,
como ocurre en los TAIs, la dificultad de los ítems se ajusta al nivel
de rasgo del evaluando (entonces será cercano a cero el numerador).
Por ello se asume que la aplicación de este procedimiento a un TAI
produce estimaciones “esencialmente insesgadas”, ya que el sesgo
será mínimo cuando se aplique un número elevado de ítems. Wang y
Vispoel (1998) han comprobado que los métodos bayesianos
producen mayor sesgo absoluto y en dirección “hacia adentro”, lo
cuál podría perjudicar a los sujetos de alto nivel de rasgo y beneficiar
de forma ilegítima a los de nivel bajo. Si las estimaciones máximo
verosímiles son esencialmente insesgadas, en la expresión que sigue
puede comprobarse esta dirección del sesgo:
θ
SESGO( MAP(θ )) ≈ SESGO( ML(θ )) −
I
CAPÍTULO 6. INVESTIGACIÓN ACTUAL EN TAIS 77
I j (θ ) =
(P (θ ))
j
' 2
Pj (θ )Q j (θ )
FII j (θ ) = ∫W (θ ) I
−∞
j (θ )dθ = ∫I
θl
j (θ )dθ
Pj (θ 0 ) 1 − Pj (θ 0 )
KL j (θ || θ 0 ) = Pj (θ 0 ) log + (1 − Pj (θ 0 ) )log
P (θ ) 1 − P (θ )
j j
KL j (θˆ) = ∫ KL (θ || θˆ)dθ
θl
j
∑I
j =1
j (θ 0 ) x j
∑x
j =1
j = 25 , x 64 + x65 ≤ 1 , ∑x
j∈V1
j ≤ 10 , ∑x
j∈V2
j ≥ 10 , ∑x
j∈V3
j =5
ABCGHID_
f (u | θ )= ∫ p (u | θ , b) f (b)db
92 TESTS ADAPTATIVOS INFORMATIZADOS
P (u θ, a, b, c)
f (u θ)
• Testlets:
• TAIS multidimensionales:
p
e(θm −bim )
p
Pi (θ ) = ∏ Pim (θ m ) = ∏ (θm −bim )
m=1 m=1 1 + e
1 − ci
Pi (θ ) = ci + p
∑ − Da im θ m + bi
1+ e m =1
1,0
,8
,6
P*
,4
,2
0,0
-3,50 -2,50 -1,50 -,50 ,50 1,50 2,50 3,50
-3,00 -2,00 -1,00 ,00 1,00 2,00 3,00
niveles de rasgo
,8
,6
P
,4
,2
0,0
-3,50 -2,50 -1,50 -,50 ,50 1,50 2,50 3,50
-3,00 -2,00 -1,00 ,00 1,00 2,00 3,00
niveles de rasgo
• TAIs fáciles
H 0 :θ ≥ θ e ≡ θ 0 + δ H1 :θ ≤ θ d ≡ θ 0 − δ
c) Se fijan las probabilidades de error α (rechazar la hipótesis
nula cuando es verdadera) y β (mantener la hipótesis nula
cuando es verdadera la alternativa).
d) Usando el test de razón de verosimilitud de Wald se obtiene
la razón entre las verosimilitudes, LR, definido como :
LR = L(θ e ) / L(θ d ) .
e) Si LR ≤ β /(1 − α ) se mantiene H 0 , si LR ≥ (1 − β ) / α se
rechaza, y si se encuentra entre los dos valores anteriores
continúa la presentación de ítems.
Banco 1 Banco 2
I1 I2 I3 I1 I2 I3
Atributos A1 1 0 1 1 1 1
A2 0 1 0 0 1 0
f (u j )
ζj =
Var[ f (u j )]
siendo,
n
f (u j ) = ∑ [ pi (θ j ) − u i ][ pi (θ j ) − T (θ j )]
i =1
n
var[ f (u j )] = ∑ pi (θ j )[1 − pi (θ j )][ p i (θ j ) − T (θ j )] 2
i =1
I (θ h ) −1 0
∑h 0
=
1
CAPÍTULO 6. INVESTIGACIÓN ACTUAL EN TAIS 121
D 2jh = (x j − x h ) ∑ (x − xh )
' -1
h j