ANALISIS DE LOS REACTIVOS

Qu es un buen reactivo?
Podemos decir que un buen reactivo de una prueba es confiable y vlido.
Ayuda a diferenciar a los examinados.
Despus de nuestro primer borrador de la prueba es necesario realizar un
escrutinio estadstico para verificar nuestro reactivos, a esto se le conoce
como anlisis de reactivo.
Entre las herramientas que podran emplearlos en laboratorios de pruebas
para analizar y seleccionar reactivos se encuentran:

ndice
ndice
ndice
ndice

de
de
de
de

dificultad del reactivo

confiabilidad del reactivo
la validez del reactivo
la diferenciacin de un reactivo

ndice de dificultad del reactivo.

Se obtiene calculando la proporcin del nmero total de quienes
respondieron la prueba que tuvieron correcto del reactivo. Se usa
una p para denotar la dificultad del reactivo y subndice hace referencia al
nmero de reactivo p1.
Desde un punto de vista terico el valor del ndice de dificultad de un
reactivo puede variar del cero a uno. 50 de los examinados que fueron 100
tuvieron correcto el reactivo dos entonces el ndice de dificultad del reactivo
sera igual a 50 dividido entre 100 =0.5.
En cuanto mayor sea p para un reactivo, ms fcil ser este. En estadstica
aquello conocido como ndice de dificultad del reactivo en el contexto de las
pruebas de rendimiento en otros contextos puede hacer un ndice de
aprobacin del reactivo, como es el caso de las pruebas de personalidad.
Aqu, la estadstica no proporciona una medida del porcentaje de personas
que aprueban el reactivo, y no una medida del porcentaje de personas que
dijeron s, estuvieron de acuerdo con l o que de alguna otra manera lo
aprobaron.
Podemos calcular un ndice promedio de la dificultad de los reactivos
para una en particular al promediar los ndices de dificultad de cada reactivo
con todos los reactivos de la prueba. Esto se logra sumando los ndices de
dificultad de cada reactivo y dividiendo la suma entre el nmero total de
reactivos que constituyen la prueba. La dificultad promedio clima de los
reactivos es aproximadamente 0.5
En un reactivo verdadero/falso, la habilidad de adivinar en forma correcta
slo en base a la azar Es de 1/2 0.5. Por consiguiente la dificultad ptima del
reactivo. Est en el punto intermedio entre 0.5 y 1 sea 0.75. Este punto
medio se obtiene sumando la proporcin del xito al azar y luego dividiendo
la suma entre dos.
ndice de confiabilidad del reactivo

Proporciona un indicio de la consistencia interna de una nueva, entre mayor

sea este ndice, mayor ser la consistencia interna. Este ndice es igual al
producto de la desviacin estndar de la puntuacin del reactivo y la
correlacin entre la puntuacin del reactivo y la puntuacin total de la
prueba.
Anlisis factorial y consistencia entre reactivos. Una herramienta estadstica
til para determinar si los reactivos de una prueba parecen medir el mismo
o los mismos objetos es la tcnica del anlisis del factor. Mediante el uso
razonable del anlisis del actor, los reactivos que no estn cargados con el
elemento el que redactados pueden ser revisado o eliminados.

ndice de validez del reactivo

El ndice de validez del reactivo es una estadstica preada para dar una
indicacin del grado en el que una prueba mide lo que se supone debe
medir; mientras mayor sea el ndice de validez del reactivo, mayor ser la
validez en relacin al criterio de la prueba. El ndice de validez del reactivo
puede ser calculado una de que se conocen las siguientes dos estadsticas:

la desviacin estndar de la puntuacin del reactivo.

la correlacin entre la puntuacin del reactivo y la puntuacin criterio.

La desviacin estndar de la puntuacin ( p1) en la siguiente frmula:

La correlacin entre la puntuacin en el reactivo 1 y una puntuacin en la

medida criterio (denotada con el smbolo r1c ) se multiplica por la desviacin
estndar de la puntuacin del reactivo para el reactivo 1 (s1) y el producto
es igual al ndice de la validez del reactivo (s1r1c). El clculo del ndice de la
validez del reactivo ser importante cuando la meta del elaborador sea
maximizar la validez de la prueba en relacin con un criterio.
ndice de discriminacin de reactivos
Las medidas de discriminacin de reactivos indican que tan adecuadamente
separa o diferencia un reactivo entre quienes obtienen puntuaciones altas y
quienes obtienen puntuaciones bajas en una prueba completa. El sentido
comn dicta que un reactivo en una prueba de rendimiento no est
haciendo su trabajo respondido en forma correcta por quienes entienden
menos de la materia.
El ndice de diferenciacin de reactivos es una medida de distribucin de
preguntas simbolizada por una letra cursiva minscula d (d) esta estimacin
de la diferenciacin del reactivo en esencia, compara el desempeo de un
reactivo particular con el desempeo de la regin es superior e inferior de
una distribucin continua de puntuaciones de la prueba. Las lneas lmite
ptimas para demarcar a lo que nos referimos como reas superior e
inferior de una distribucin de puntuaciones son las puntuaciones dentro del
27% superior e inferior del total de la distribucin de puntuaciones, a
condicin de que la distribucin sea normal.

El ndice de diferenciacin de los reactivos es una medida de la diferencia

entre la proporcin de altos puntajes obtenidos al contestar un reactivo
correctamente y la proporcin de bajos puntajes al contestar tambin
correctamente el reactivo; entre mayor sea el valor de d mayor ser el
nmero de puntuaciones altas al responder el reactivo correctamente. Un
valor d negativo en un reactivo en particular es una buena bandera roja
pues indica que los examinados que obtienen puntuaciones bajas tienen
mayor probabilidad de responder el reactivo en forma correcta que los que
obtienen puntuaciones altas.
Anlisis de alternativas de reactivo. La calidad de cada alternativa dentro de
un reactivo de opcin mltiple puede evaluarse con facilidad en relacin al
desempeo comparativo de quienes obtienen puntuaciones superiores e
inferiores. Aqu en realidad no son necesarias frmulas ni estadsticas.
Elaborando una tabla del nmero de examinados en los grupos S e I QUE
eligieron cada alternativa, el elaborador de la prueba puede tener idea de la
efectividad de un distractor por medio de una simple mirada a ojo de buen
cubero.
Ej. pg. 217.

Caractersticas del reactivo

Una forma valiosa de aprender acerca de los reactivos es practicando sus
caractersticas, lo que puede hacerse mediante la curva de caractersticas
del reactivo. Para algunos de ellos pueden elaborarse una grfica en la que
la puntuacin Total de la prueba se trata en el eje horizontal X Y la
proporcin de examinados que respondieron correctamente los reactivos de
grfica en el eje vertical Y. la calificacin total de la prueba se usa como una
estimacin de la cantidad de rasgo en los individuos. Por lo tanto la relacin
entre el desempeo en un reactivo y el desempeo en la prueba
proporciona informacin acerca de que tambin capta el reactivo la
informacin que deseamos
Trazo de la grfica caracterstica del reactivo. Para trazar la grfica es
necesario definir las categoras discretas del desempeo en la prueba. Si la
prueba se administr a muchas personas, podramos elegir que cada
puntuacin de prueba formara una sola categora (65 66.67 etc.) utilizar
menos intervalos de clase permite que la curva toman apariencia ms
suave. Una vez que se han definido estas categoras, es necesario
determinar qu proporcin de personas dentro de las categoras respondi
correctamente cada uno de los reactivos. Por ejemplo debe determinar qu
proporcin de la gente con puntuacin total de 65 respondi correctamente
al reactivo 34, qu proporcin de la gente con puntuacin total de 66 lo
correcto es el mismo reactivo y as sucesivamente.

Teora de la respuesta al reactivo

Los enfoques ms modernos de la evaluacin basados en el anlisis del
reactivo consideran la probabilidad de responder reactivos particulares, ya

sea correcta o incorrectamente. Estos enfoques actualmente conocidos

como teora de la respuesta al reactivo, hacen el uso del anlisis del
reactivo. De acuerdo con estos enfoques cada reactivo de una prueba tiene
su propia curva caracterstica que describe la probabilidad de responder
cada reactivo particular correcta o incorrectamente dado el nivel de
capacidad de cada persona que contesta la prueba.
Existen varios enfoques en torno a la elaboracin de pruebas utilizando la
teora de la respuesta al reactivo. Algunos de ellos usando dimensiones
mostradas en la figura seis-ocho: dificultad y discriminacin. Otras
aproximaciones aaden una tercera dimensin para la probabilidad de que
los examinados con los niveles ms bajos de capacidad obtengan una
respuesta correcta.
Criterios externos
Se pueden utilizar procedimientos para comparar el desempeo en un
reactivo con el desempeo en un criterio externo. Por ejemplo, si estuviera
elaborando una prueba para seleccionar pilotos de aviacin, tal vez querra
evaluar que tambin predicen los reactivos individuales el xito en el
entrenamiento de pilotos pon el desempeo de vuelo.
Reactivos para pruebas referidas a criterio
Una prueba referida a criterio compara el desempeo con algn criterio de
aprendizaje claramente definido. Este enfoque es popular en programas de
instruccin individualizada. Para cada estudiante se define un conjunto de
objetivos que establece exactamente lo que debera ser capaz de hacer
despus de la experiencia educativa. Por ejemplo, un objetivo para un
estudiante de lgebra a nivel secundaria podra ser resolver ecuaciones
lineales con dos incgnitas. La prueba referida criterios usara para
determinar si este objetivo se ha logrado.
El primer paso para desarrollar referidas a criterio incluye especificar los
objetivos mediante la redaccin clara y precisa de las afirmaciones de lo
que el programa de aprendizaje espera lograr. Estas explicaciones
restablecen regular en trminos de lo que el estudiante ser capaz de hacer.
Para evaluar los reactivos de la prueba referida a criterio, debera
administrarse la prueba a dos grupos de estudiantes uno que haya sido
expuesto a la unidad de aprendizaje y el otro que no lo haya hecho.
Otras consideraciones en el anlisis de los reactivos p220.
Adivinacin. Cmo manejar que las personas adivinen? Una correccin
para las respuestas al azar debe reconocer que cuando una persona adivina
una respuesta en una prueba de rendimiento, generalmente no lo hace
completamente al azar. Es ms razonable suponer que la adivinacin de
quien responde se basa en algn conocimiento de la materia y en la
capacidad de descartar una o ms alternativas distractoras. Cualquier
correccin para la adivinacin puede sobreestimar o subestimar
notoriamente los efectos de la adivinacin para quienes tuvieron suerte y
para quienes no.

Imparcialidad del reactivo. Un reactivo de prueba sesgado es un reactivo

que favorece a un grupo particular de examinados en relacin con otro,
cuando las dimensiones de capacidad del grupo estn controladas. Las
curvas de los reactivos pueden utilizarse para ver cul de ellos esta
sesgado. Son sesgados si exhiben un funcionamiento diferencial, es decir
formas distintas de curvas para diferentes grupos., aun cuando los grupos
no difieren en la puntuacin total.
Pruebas con lmite de tiempo. Los anlisis de pruebas para este tipo de
reactivos producen resultados engaosos; entre ms prximo est el
reactivo al final de la prueba ms difcil parece ser. Esto es tan solo porque
puede ser que una persona que respondi la prueba no haya llegado a l. Si
la velocidad no es un elemento importante de la capacidad que se est
midiendo y debido a que produce informacin engaosa acerca del
desempeo del reactivo, quien elevadora las pruebas de manera ideal,
debera aplicar la prueba para ser analizada por reactivos con lmites
generosos de tiempo para completarla.

Anlisis cualitativo de los reactivos.

Los mtodos cualitativos son tcnicas de generacin y anlisis datos que
dependen sobre todo de procedimientos verbales ms que de los
matemticos. Alentar a los participantes para que analicen su experiencia
como examinados es obtener generar datos.
Anlisis cualitativo de los datos es un trmino general para diversos
procedimientos no estadsticos diseados para explorar cmo funcionan los
reactivos de las pruebas en forma individual. Estos mtodos involucran las
exploracin de los temas a travs de medios verbales como entrevistas y
discusiones de grupo conducidas con examinados y otras personas
relevantes para el proceso.
1. Administracin de una prueba tipo pensar en voz alta
implica hacer que los respondientes verbalicen su pensamientos
conforme estos les llegan. Por ejemplo si la prueba est diseada
para medir el rendimiento, esta tcnica puede ser til no solo para
saber los pensamientos del alumno, sino para verificar si estn
comprendindolo bien y saber cmo lo interpretan.
2. Paneles de expertos. Se puede consultar a expertos para que
analicen los reactivos cualitativamente. La revisin de sensibilidad es
un estudio de los reactivos de pruebas que suele hacerse durante el
proceso de desarrollo de las mismas, en el cual los reactivos son
estudiados en cuanto a su imparcialidad para todos los posibles
examinados, as como para detectar el uso de lenguaje ofensivo,
estereotipos o situaciones adversas.
Con base a la informacin obtenida de los expertos o examinados el
usuario o elaborador de la prueba puede elegir modificarla. Esto podra
implicar cambio de redaccin, eliminacin de reactivos, adicin de
nuevos etc.

Revisin de la prueba
Una vez conceptualizada la prueba nueva, construida, ensayada y con sus
reactivos analizados de manera cuantitativa y cualitativa, lo que resta es
actuar juiciosamente con toda la informacin y moldear la prueba para su
forma final. Un paso importante es la revisin de los reactivos, la cual puede
concluir en su eliminacin, modificacin o sustitucin.
El siguiente paso es aplicar la prueba revisada bajo condiciones
estandarizadas a una apropiada segunda muestra de examinados.
La estandarizacin puede verse como el proceso empleado para introducir
objetividad y uniformidad en la administracin, calificacin e interpretacin
de la prueba. Una muestra de estandarizacin es representada por el grupo
o grupos de individuos con quienes se compara el desempeo de los
examinados. Para las pruebas con referencia a una norma es importante
que esta muestra sea representativa de la poblacin en aquellas variables
que podran afectar el desempeo.
Cuando el anlisis de los reactivos de los datos derivados de la aplicacin de
una prueba indica que todava no est finalizada, los pasos de revisin,
Ensayo, y anlisis de los reactivos se repiten hasta que la prueba sea
satisfactoria y pueda llevarse a cabo la estandarizacin.
Revisin e prueba en el ciclo de vida de una prueba existente.
No hay reglas precisas para cuando revisa runa prueba. El APA ofrece la
sugerencia general de que una prueba se mantenga en su forma presente
mientras siga siendo til y que se revise cuando ocurran cambio
significativos ene l dominio representado o cuando surjan nuevas
condiciones en el uso e interpretacin de la prueba y que estas las hayan
vuelto inapropiada. En la pg. 221 muestran algunas condiciones para
decidir cundo revisar una prueba.
Los pasos para revisar una prueba son comparables a aquellos para crear
una nueva. En la fase de conceptualizacin del constructor o desarrollador
debe pensar de manera completa en los objetivos de la revisin y la mejor
forma en que pueden lograrse. En la fase de construccin se efectan los
cambios propuestos. Los pasos siguientes son la etapa de revisin o
probanza de la prueba el anlisis de los reactivos y a la ltima revisin.
Un paso clave en el desarrollo de todas las pruebas nuevas o ediciones
revisadas es la validacin cruzada. Este trminos e refiere a una
revalidacin de una prueba en una muestra de examinados diferentes de
aquellos en quienes el desempeo de la prueba mostro ser un medio valido
para pronosticar algn criterio se espera que haya una reduccin de la
validez cuando se aplica la prueba a otra muestra de personas. Por otro
lado la convalidacin puede ser definida como el proceso de validacin de
una prueba en base a dos o ms pruebas y utilizando la misma muestra de
examinados. Cuando se usa en conjunto con la creacin de normas o la
revisin de normas existente este proceso tambin puede llamarse
conormar.

Confirmacin de la calidad durante la revisin de la prueba. Es

importante que los examinadores se apeguen a los procedimientos
estandarizados, lo mismo puede decirse de su competencia, y puede
mejorarse dicha calidad con la utilizacin de un protocolo ancla, el cual es
una prueba de protocolo calificada por un calificador de elevada autoridad
diseada como un modelo para calificar y un mecanismo para resolver
discrepancias en la calificacin.