CONFIABILIDAD En la conversacin cotidiana, confiabilidad es sinnimo de seguridad o consistencia, como "el amigo confiable que siempre esta cuando

lo necesitas". En el lenguaje de la psicometra, confiabilidad se refiere, en un sentido amplio, al atributo de consistencia en la medicin. Y mientras en la conversacin cotidiana confiabilidad siempre denota algo que es valorado en forma positiva, confiabilidad en el sentido psicomtrico tan slo denota algo que es consistente, no necesariamente consistentemente bueno o malo, sino tan slo consistente. Es importante saber qu tan confiables son las pruebas as como otros procedimientos de medicin. Pero la confiabilidad rara vez es una cuestin de todo o nada; hay diferentes tipos y grados de confiabilidad. Un coeficiente de confiabilidad es un ndice de confianza. Expresando de manera ms tcnica, es una proporcin que indica la razn entre la varianza de la puntuacin verdadera en una prueba y la varianza total. Establece la porcin de puntaje verdadero que en el puntaje observado.

El concepto de confiabilidad Se supone que una puntuacin en una prueba de capacidad refleja tanto la puntuacin verdadera de quien responde la prueba en la capacidad que se est midiendo como tambin el error. En su sentido ms amplio, error" se refiere al componente de la puntuacin observada en la prueba que no tiene que ver con la capacidad de quien responde la prueba. Si usamos y para representar una puntuacin observada, T para representar una puntuacin verdadera y e para representar el error, entonces el hecho de que una puntuacin observada sea igual a la puntuacin verdadera ms el error puede expresarse como sigue: y = T+e donde T , e son variables independientes

Una estadstica til para describir fuentes de variabilidad en las puntuaciones de una prueba es la varianza y. Esta estadstica es til debido a que puede descomponerse en sus componentes. La varianza de las diferencias verdaderas es varianza verdadera y la varianza de fuentes aleatorias irrelevantes es varianza de error. Si
2 y 2

representa la varianza total,

2 e

representa la varianza

verdadera y

representa la varianza de error, entonces la

relacin de las varianzas puede expresarse como:

2 e

2 y

El trmino confiabilidad se refiere a la proporcin de la varianza verdadera contenida en la varianza observada, es decir,
2 T

/ y.

Entre mayor es el cuociente entre ambas varianzas, la prueba es ms confiable. Debido a que se supone que las diferencias verdaderas son estables, se presume que producen puntuaciones consistentes en aplicaciones repetidas de la misma prueba al igual qu en formas equivalentes de las pruebas. Debido a que la varianza de error puede incrementar o disminuir una puntuacin de prueba en cantidades variables, se vera afectada la consistencia de la puntuacin, y por tanto la confiabilidad. Fuentes de varianza de error Las fuentes de varianza de error incluyen la construccin, administracin, calificacin e interpretacin de la prueba. Construccin de pruebas Una fuente de varianza de error durante la construccin de pruebas es el muestreo de tems o muestreo de contenido.

Considrense dos o ms pruebas diseadas para medir una capacidad, atributo de personalidad o cuerpo de conocimiento especficos. Es seguro que se encuentren diferencias en la forma en que estn redactados los tems y diferencias en el contenido exacto del que se ha sacado la muestra. Es probable que antes de rendir una prueba de logro acadmico, algn estudiante haya pensando "Espero que no hagan esta o aquella pregunta". Con suerte, slo las preguntas que deseamos que nos hagan aparecern en el examen. En tales situaciones, algunos de quienes responden la prueba logran puntuaciones superiores en la prueba de las que habran obtenido en otra prueba, que pretendiera medir lo mismo, tan slo debido al contenido especfico incluido en la muestra de la primera prueba y la forma en que se redactaron los tems. El grado en que la puntuacin de quien responde la prueba es afectada slo por el contenido presentado en la prueba al igual que por la forma en que se hizo el muestreo del contenido (es decir, la forma en que se construy el reactivo) constituye una fuente de varianza del error. Desde la perspectiva de un autor de pruebas, un desafo en la elaboracin de una prueba es maximizar la proporcin de la

varianza verdadera que hay en la varianza observada y minimizar la proporcin de la varianza total que es varianza del error. Administracin de pruebas. Las fuentes de varianza de error que ocurren durante la aplicacin de la prueba pueden influir en la atencin o motivacin de quien responde la prueba; por tanto, sus reacciones ante estas influencias son la fuente de una clase de varianza del error. Ejemplos de influencias adversas que operan durante la aplicacin de una prueba incluyen factores relacionados con el ambiente de la prueba: la temperatura del saln, el nivel de iluminacin y la cantidad de ventilacin y ruido. Otras fuentes potenciales de varianza de error durante la aplicacin de la prueba incluyen variables de quien responde la prueba como el grado de incomodidad fsica, la cantidad de descanso que tuvo la noche anterior, el grado de ansiedad por la prueba, la extensin de problemas emocionales apremiantes o el efecto de frmacos. Una persona que responde una prueba puede, por cualquier razn, cometer un error al contestar una respuesta. Por ejemplo, el examinando puede rellenar un crculo "B" cuando quera rellenar el crculo "D".

Un examinando podra leer equivocadamente las instrucciones sobre el formato de respuesta. Una pregunta omitida por descuido en una larga lista de preguntas de opcin mltiple del tipo para rellenar crculos podra dar como resultado que las respuestas subsecuentes en la prueba estn fuera de secuencia; por ejemplo, quien responde la prueba podra responder el octavo reactivo pero rellenar el crculo del sptimo, esto debido a que el sexto reactivo fue omitido de manera inadvertida. Las experiencias de aprendizaje formales, las experiencias casuales de la vida, terapia, enfermedades y otros acontecimientos parecidos que pueden haber ocurrido en el periodo entre aplicaciones de formas paralelas de una prueba tambin sern fuentes de varianza de error relacionadas con el examinado. Las variables relacionadas con el examinador que son fuentes potenciales de varianza de error incluyen la presencia o ausencia de un examinador, su apariencia fsica y comportamiento del examinador y el profesionalismo con que tome la situacin de prueba. Algunos examinadores en algunas situaciones de prueba pueden apartarse a sabiendas o sin querer del procedimiento prescrito para una prueba particular. En un examen oral, algunos

examinadores podran proporcionar sin querer claves planteando preguntas que enfatizan diversas palabras, o transmitir informacin de manera inadvertida sobre la correccin de una respuesta por medio de asentimientos de cabeza, movimientos oculares u otros gestos no verbales Calificacin e interpretacin de pruebas El advenimiento de la calificacin computarizada y una creciente dependencia de tems objetivos calificables por computadora casi han eliminado la varianza de error causada por diferencias de los evaluadores en muchas pruebas. Sin embargo, no todas las pruebas pueden calificarse con crculos rellenados con lpices del nmero 2. Las pruebas de inteligencia administradas en forma individual, algunas pruebas de personalidad, pruebas de creatividad, diversas medidas conductuales y otras innumerables pruebas todava requieren calificarse en forma manual por personal capacitado. Si la subjetividad est implicada en la calificacin, el calificador (o evaluador) puede ser una fuente de varianza de error. En efecto, a pesar del establecimiento muy riguroso de criterios de calificacin en muchas de las pruebas, el examinador y los calificadores en ocasiones se enfrentaran con situaciones donde la respuesta de un examinando cae en un rea difusa.

Los problemas sobre el acuerdo en la calificacin pueden abordarse por medio de una capacitacin rigurosa diseada para hacer que la consistencia, o confiabilidad, de varios calificadores sea lo ms perfecta posible. Consistencia interna Una medida de consistencia describe estimaciones de

confiabilidad basada en la correlacin promedio entre tems dentro de una prueba. Un ndice de consistencia entre tems es til, a su vez, para evaluar la homogeneidad de la prueba. Se dice que las pruebas son "homogneas" si contienen tems que miden una sola capacidad. Como un adjetivo usado para describir tems de prueba, homogeneidad (derivada de las palabras griegas homos, que significa "misma", y genous, que significa "clase") es el grado en que una prueba mide un solo factor; o sea, el grado en que los tems en una escala son unifactoriales. La homogeneidad de la prueba es deseable debido a que permite una interpretacin relativamente sencilla de la puntuacin de la prueba. Es probable que aquellos que obtienen la misma

puntuacin en una prueba homognea tengan capacidades parecidas en el rea examinada. Adems de algunas de las influencias aleatorias que pueden afectar a las medidas de confiabilidad, la varianza de error en una medida de consistencia entre tems proviene de dos fuentes: 1) el muestreo de tems y 2) la heterogeneidad del rea de contenido. Entre ms heterognea sea el rea de contenido de la que se extrae la muestra de tems, ser menor la consistencia entre tems.

Un procedimiento de estimacin de la confiabilidad de una prueba formulada en trminos de la correlacin entre tems, pude expresarse como (Sperman-Brown):

rk k

k. rij 1 (k 1 ) . rij

Se observa que la confiabilidad no solo depende del grado de relacin que existe entre los puntajes estimados por el instrumento y los verdaderos puntajes, tambin depende del nmero de tems que componen la prueba. Es posible determinar el nmero de tems necesarios en una prueba para lograr una confiabilidad deseada. Esta relacin queda expresada como:

. 1 0. ( 1

0 )

donde 0 representa la confiabilidad de una prueba de m tems,

la confiabilidad deseada y k el nmero de veces que la prueba

de m tems tendra que ser alargada para alcanzar la confiabilidad deseada.

Medidas de confiabilidad entre evaluadores

En situaciones en las que estamos siendo evaluados, por lo general nos gustara creer que sin importar quin est haciendo la evaluacin, seramos evaluados en la misma forma.

Por desgracia, en algunos tipos de pruebas bajo algunas condiciones, la puntuacin puede ser ms una funcin del evaluador que de alguna otra cosa. Esto se demostr cuando unos investigadores presentaron una composicin de ingls de un alumno a una convencin de maestros, y fue calificada por voluntarios, con calificaciones que variaron desde un mnimo de 50 hasta un mximo de 98 (Starch y Elliott, 1912)

Quiz la forma ms simple de determinar el grado de consistencia que existe entre evaluadores en la calificacin de una prueba es calcular un coeficiente de correlacin, un coeficiente de confiabilidad entre evaluadores.

Suponiendo, por ejemplo, que se aplic una prueba de 30 tems a un sujeto y fue calificada por dos evaluadores A y B, la confiabilidad se puede calcular usando la siguiente formula (Por mitad de Speraman-Brown):

rkk

2. rAB 1 rAB

Si se encontrara que el coeficiente de confiabilidad es, digamos, 0.90, esto significara que el 90% de la varianza en las puntuaciones asignadas por los evaluadores se deriva del rasgo medido, mientras que el 10% podra atribuirse a factores distintos del rasgo medido, es decir, producidos por fuentes de error. En tales casos, se correlacionaran las puntuaciones obtenidas por los dos evaluadores, usando la r de Pearson o la rho de Spearman, dependiendo de la escala de medicin de la puntuacin de la prueba.

La estadstica kappa. La estadstica kappa fue diseada en un principio para ser usada en el caso en el que los evaluadores hacen estimaciones usando escalas nominales de medicin (Cohen, 1960). La estadstica kappa fue modificada despus por Fliess (1971) para ser usada con mltiples evaluadores. Por lo general se ha recibido bastante bien la estadstica kappa como una medida de confiabilidad entre evaluadores (Hartmann, 1977). OTRAS FORMULAS PARA LA ESTIMACIN DE LA

CONFIABILIDAD 1. Spearman-Brown

rkk

k. rij 1 (k 1 ) . rij

2. Alpha de Cronbach
2

Si rkk k k 1 . 1 i Sy
2

3. Guttman
2 2

rkk

2. 1

Spares

Simpares Sy
2

La naturaleza de la prueba Relacionadas en forma muy estrecha con consideraciones relativas al propsito y uso de un coeficiente de confiabilidad estn las consideraciones relacionadas con la naturaleza de la prueba en s. Aqu se incluyen consideraciones como: 1) Si los tems de prueba son de naturaleza homognea o heterognea,

2) Si se supone que la caracterstica, capacidad o rasgo que se est midiendo es dinmico o esttico, 3) Si el rango de puntuaciones de la prueba est restringido o no, 4) Si la prueba es de velocidad. El estudio de decisin est diseado para indicar al administrador de la prueba cmo deberan emplearse las puntuaciones de prueba y qu tan fiables son esas puntuaciones como base para las decisiones, dependiendo del contexto de su uso. Por qu es tan importante esto? Cronbach (1970) lo explic:

La decisin de que un estudiante ha completado un curso o que un paciente est listo para la terminacin de la terapia no debe ser influida en forma seria por errores aleatorios, variaciones temporales en el desempeo o la eleccin de preguntas del examinador. Una decisin errnea puede ser irreversible y puede daar a la persona o a la comunidad...

La investigacin, tambin, requiere una medicin fiable. Es probable que la varianza de error grande enmascare un resultado importante desde el punto de vista cientfico. Tomar una medida de mejor calidad incrementa la sensibilidad de un experimento en la misma forma en que lo hace el incremento en el nmero de sujetos.

Confiabilidad y puntuaciones individuales El coeficiente de confiabilidad ayuda al elaborador de la prueba a construir un instrumento de medicin adecuado y al administrador a seleccionar una prueba adecuada. Sin embargo, la utilidad del coeficiente de confiabilidad no termina con la construccin y seleccin de la prueba. El administrador de la prueba tiene otra estadstica descriptiva relevante para la interpretacin de la prueba, dispone de una formula que estima el error estndar de medicin, sta til para describir la cantidad de error que hay en una prueba o escala de medicin.

El error estndar de medicin

De acuerdo con el modelo de de la teora clsica no hay forma de conocer la puntuacin verdadera, el puntaje observado de una prueba es slo una estimacin. Sin embargo, si se conoce (o puede calcularse) la desviacin estndar para la distribucin de puntuaciones de prueba (
2 y

) y si se conoce (o puede calcularse)

una estimacin de la confiabilidad de la prueba, puede determinarse una estimacin del error estndar de una puntuacin particular (es decir, el error estndar de medicin) con la siguiente frmula:

y. 1

rkk

donde

es igual al error estndar de medicin,

es igual a la

desviacin estndar de las puntuaciones de prueba por el grupo de personas que la respondieron y rkk es igual al coeficiente de confiabilidad de la prueba. El error estndar de medicin nos permite estimar el rango en que es probable que se encuentre la puntuacin verdadera, con un nivel de confianza especfico. Si, por ejemplo, una prueba de ortografa tiene un coeficiente de confiabilidad de 0.84 y una desviacin estndar de 10, entonces:

10. 1

0.84 = 4

Para usar el error estndar de medicin que estime el rango de la puntuacin verdadera, hacemos una suposicin: si el individuo fuera a presentar una gran cantidad de pruebas equivalentes, las puntuaciones en esas pruebas tenderan a estar distribuidas de manera normal con la puntuacin verdadera del individuo igual a la media.

La mejor estimacin disponible respecto a la puntuacin verdadera del individuo en la prueba es la puntuacin de prueba ya obtenida. Por lo tanto, si un estudiante logr una puntuacin de 50 en una prueba de ortografa, y si la prueba tena un error estndar de medicin de 4, entonces usando 50 como el punto estimado, se puede determinar un intervalo confidencial que el verdadero puntaje del siguiente modo:

Li x
Ls x

z. e
z. e

Es decir Li = 50 1.96*4 42

Ls = 50 + 1.96*4 58 Existe un 95% de seguridad de que la puntuacin verdadera est contenido entre 42 y 58