Introduccin

QU REQUISITOS DEBE SATISFACER UN INTRUMENTO DE MEDICION?

El rigor y la calidad para evaluar el instrumento dependen, fundamentalmente,
de cmo se aborde la confiabilidad y la validez, cualidades esenciales que
deben estar presentes en el desarrollo del proceso de recoger y analizar la
informacin conducente a garantizar una mayor confianza sobre las
conclusiones emitidas.

Tanto la la confiabilidad como la validez se conjugan para ayudar al evaluador a
ser objetivo en el proceso de describir la realidad derivada de un instrumento
especfico.

Validez
El grado de precisin con el cual un instrumento/
investigacin mide lo que ha sido diseado para
medir.
Lo que se valida son las inferencias

Validez
A. Validez Interna
Pregunta si la variable
independiente es
realmente la causa del
cambio.
Coeficiente de
homogeneidad de
Loevinger: grado en
que los items se
ordenan por rangos

Amenazas a la validez Interna
Historia
Maduracin
Exposicin a pruebas
Instrumentacin
Variable de confusin
Mortalidad
Bias o prejuicios en seleccin de
la muestra.
B. Validez Externa
Evala la posibilidad de generalizar los hallazgos a otras poblaciones.
VALIDEZ DE CONTENIDO
Se determina hasta donde los itemes de un
instrumento son representativos de las
variables que se desea medir (grado de
representatividad). Palella y Martins; 2006
No puede ser
expresada
cuantitativamente
(Ruiz; 2003)
Tcnica: Juicio de Expertos
tems Congruencia Claridad Tendenciosidad Observaciones
Si No Si No Si No
1
2
4
5
6
7
8
9
10
11
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

__________________________
__________________________
__________________________
__________________________
__________________________
__________________________
__________________________
__________________________
__________________________
__________________________
__________________________
Validez de Contenido
Validez de Apariencia
Evaluacin subjetiva de las
premisas de un instrumento por parte de
personas con poco o ningn
conocimiento sobre la variable.
El test ha de aparentar lo que debe
medir

Adecuacidad con que las aseveraciones
del instrumento representan el rea
de contenido que se desea medir
(revisin de literatura y evaluadores
expertos)
Validez de criterio, predictiva o de
pronstico
Adecuacidad con que los resultados
obtenidos con el instrumento
predicen o se relacionan con
los resultados que se obtienen
con otros instrumentos ya
validados que miden una
variable similar
Ej. Enfermo o no
Tipos de Validez de Criterio:
1. Validez Concurrente grado de relacin
(correlacin) entre 2 instrumentos
diferentes que miden el mismo concepto y
que se administran a la misma vez.

2. Validez Predictiva grado de correlacin
entre un instrumento que mide el concepto
y un evento que operacionaliza el mismo en
el futuro.
Validez de constructo
Valida los fundamentos
tericos/conceptuales sobre
los cuales se ha desarrollado
el instrumento.
Tipos:
Interna: Dimensiones clnicas
que subyacen al instrumento.
Factorial: Grado de
coherencia o convergencia
entre las dimensiones de
medida y los constructos del
instrumento.
Anlisis factorial
Convergente: Coeficiente de
correlacin
Formas de Establecer la Validez de Constructo
Prueba de la Hiptesis
se desarrollan hiptesis basadas en
los fundamentos tericos del
instrumento y los hallazgos se usan
para verificar que los conceptos
tericos sobre los cuales se basa el
instrumento son correctos

Prueba de Validez Convergente
se encuentran otros instrumentos que
midan el mismo constructo, se aplican
y relacionan en una correlacin de
Pearson, si los resultados son iguales o
similares se gana validez para el
instrumento.

Formas de Establecer la Validez de Constructo
Prueba de Grupos de Contraste
consiste en seleccionar 2 grupos (uno
alto en la variable y otro bajo),se
analizan los hallazgos y deben
evidenciar una diferencia significativa
entre ambos grupos.

Prueba de Validez Divergente
consiste en buscar instrumentos que
midan el opuesto al constructo, se
aplican y relacionan en una correlacin
de Pearson, si los resultados son
diferentes se gana validez para el
instrumento.

EVIDENCIA RELACIONADA CON EL CONSTRUCTO
Hasta donde un instrumento
mide realmente un determinado
rasgo latente o una caracterstica
de las personas ? Con cuanta
eficacia lo hace? (Ruiz; 2003)
Verifica que el instrumento
contenga todas las dimensiones,
indicadores y variables que se
reflejan en la operacionalizacin
de variables. (Palella y Matins;
2006)
1. Ruiz (1988)
desarroll la escala
AC 2000 que mide
autoconcepto de
alumnos de 6to.
grado
Mtodo: Validez de Constructo
Tcnica: Anlisis Factorial
Con la Tcnica Anlisis Factorial
comprob que las dimensiones
(Autoconcepto: social, personal y
escolar) tenan soporte emprico en
los datos
EJEMPLOS
En otro instrumento, que busca medir ansiedad, un compaero suyo incluye 54 tems con
igual nmero de preguntas de Si / No y Escala Lickert. El cuestionario parece servir para los
fines que fue diseado, por eso se dice que tiene VALIDEZ APARENTE. Pero estrictamente si
se verifica que el nmero total de reactivos cubre todos los componentes del fenmeno a
medir, son una muestra representativa del universo de conductas a medir, puede afirmarse que
existe VALIDEZ DE CONTENIDO.
Si los tems sirven para anticiparse a qu tanta ansiedad se tendr en un futuro prximo, es
decir, pronostica la condicin de los sujetos para un posible desarrollo de un trastorno de
ansiedad propiamente dicho, puede afirmarse que este instrumento tiene VALIDEZ
PREDICTIVA.
Pero, si adicionalmente los criterios del instrumento hacen posible saber que el nivel de
ansiedad est relacionado con un evento actual de estrs postraumtico, es decir los
resultados del instrumento me sirven para saber que los sujetos presentan o no ansiedad como
parte de otra alteracin en el momento actual y adems al aplicar otra prueba ya estandarizada
encuentro que los resultados son semejantes, entonces puede afirmarse que este instrumento
tambin tiene VALIDEZ CONCURRENTE.
De otro lado, si resultara que el este instrumento incluye preguntas slo referidas a las
manifestaciones fsicas de la ansiedad y excluye el componente emocional, entonces
el instrumento al fallar en tratar de medir la ansiedad carece de VALIDEZ DE CONSTRUCTO.
IMPORTANCIA DE LA VALIDEZ
Cmo sabemos que
estamos haciendo la
inferencia correcta?
Consciencia de usar
instrumentos
tcnicamente bien
calibrados
Un instrumento que no
tiene una validez
demostrada no vale la
pena aplicarlo
Construir un instrumento
tcnicamente bien
hecho, implica en si
mismo una investigacin
CONFIABILIDAD
Se refiere al grado en que su aplicacin de un
instrumento repetida al mismo sujeto produce
iguales resultados Hernndez, Fernndez y
Bastita (1998) (p.21)
Se refiere a la consistencia de los resultados.
En el anlisis de la confiabilidad se busca que
los resultados de un cuestionario concuerden
con los resultados del cuestionario en otra
ocasin. Menndez (2009)
Se refiere al grado en que su aplicacin repetida
al mismo sujeto u objeto produce iguales
resultados. Silva (2009)
Reproducibilidad
Estabilidad y
Predictibilidad
Seguridad Precisin
Consistencia
Interna u
Homogeneidad
CONFIABILIDAD
Supuestos Bsicos: La persona no cambia

-Diferentes tiempos (Test Retest)
-Diferentes observadores (Confiablidad interobservador)
- Diferentes versiones (Confiabilidad en paralelo)

Muoz, (2009)

Grupo homogneo: Confiabilidad baja
Grupo heterogneo: Confiablidad alta


TIPOS DE CONFIABILIDAD


MTODO TCNICA PROPSITO
Test/retest Coeficiente r correlacin
de Pearson
Consistencia en el
tiempo de los puntajes
Formas Equivalentes Coeficiente r correlacin
de Pearson
Estabilidad Temporal,
consistencia de las
respuestas.
Divisin por dos mitades Pearson/Spearman-
Brown.
Ruln
Guttman
Homogeneidad de los
tems al medir el
constructo
Anlisis de
homogeneidad de los
tems
KR 20 Coeficientes de fiabilidad
como consistencia
interna para tems
dicotmicos (KR20).
Alfa de Cronbach Homogeneidad de los
tems con escala tipo
Lickert.
DESCRIPCIN DE LOS MTODOS
Mtodo: TEST RETEST

Caractersticas:
El investigador debe aplicar el mismo instrumento dos veces al
mismo grupo despus de cierto perodo.

Debe calcular la confiabilidad del instrumento ANTES de la
aplicacin definitiva del mismo.

Coeficiente de Correlacin de Pearson altamente positivo =
Instrumento confiable.

Debilidades:
El periodo de tiempo (corto largo) entre las mediciones puede
confundir el coeficiente de confiabilidad.


DESCRIPCIN DE LOS MTODOS

Mtodo: FORMAS EQUIVALENTES

Caractersticas:
Se administran dos o ms versiones equivalentes de un mismo
instrumento.
Deben ser similares en contenido, instrucciones, tipos de
preguntas y dificultad.
Son administradas al mismo grupo en un perodo relativamente
corto.
Los patrones de respuestas deben variar POCO entre las
aplicaciones.
Coeficiente de Confiabilidad = Frmula de Correlacin de
Pearson.

Debilidades:
Dificultad para obtener dos pruebas realmente paralelas
Implica doble trabajo
Confiable solo si la correlacin entre los resultados de ambas
aplicaciones es positiva

PROCEDIMIENTO:
Correlacin a travs de proporciones de
aciertos y desaciertos y varianza del total de
aciertos.

APLICABLE EN:
Lista de Cotejo y cuestionarios de
preguntas cerradas con opciones de
respuestas dicotmicas (SI- NO)




CONFIABILIDAD KUDER-RICHARDSON (KR-20)


CONFIABILIDAD KUDER-RICHARDSON (KR 20)
Sujetos 1 2 3 4 5 6 Total
1
1 0 1 1 1 1
5
2
0 0 1 1 0 0
2
3
1 1 1 0 1 1
5
4
1 1 0 1 1 0
4
5
1 1 0 0 0 1
3
p
q
p.q
PROCEDIMIENTO:
Correlacin a travs de la varianza de cada tem
asociado por variables y la varianza de las
puntuaciones totales.

APLICABLE EN :
Escalas de Estimacin, Escala de Lickert,
cuestionario de preguntas cerradas con opciones
policotmicas , test de aptitud verbal, test de aptitud
no verbal , test psicolgico.


CONFIABILIDAD ALFA DE CRONBACH
CONFIABILIDAD


RANGOS MAGNITUD
0,81 A 1,00 Muy Alta
0,61 A 0,80 Alta
0,41 A 0,60 Moderada
0,21 A 0,40 Baja
0,01 A 0,20 Muy Baja
FUENTE: RUIZ (2002).
Importante: se sugiere repetir la validacin del instrumento
puesto que es recomendable que el resultado sea mayor o igual
a 0,81
Una alta confiabilidad, por si sola, no
garantiza buenos resultados
cientficos. Pero no puede haber
buenos resultados cientficos sin
instrumentos confiables.

Carlos Ruiz Bolvar (2003)
Suponga que ha diseado un cuestionario que busca medir los
niveles de estrs en tres esferas, que son la interaccin laboral,
interaccin social e interaccin familiar, con preguntas como: Me
preocupa no cumplir mis obligaciones a )casi siempre, b) algunas
veces y c) casi nunca; entonces para establecer la
CONFIABILIDAD usted decide aplicar el instrumento a un grupo
de hombres y mujeres entre 20 y 35 aos de edad y pasados 15
das ha realizado una nueva aplicacin del mismo, para
posteriormente comparar los resultados entre ambas
aplicaciones.
Este procedimiento se conoce como TEST-RETEST. Usted sabr
que su instrumento es adecuado si los resultados son
CONSISTENTES. Pero, en el caso de que el cuestionario est
construido con otro tipo de reactivo, por ejemplo: Lo que ms me
preocupa en mi familia es Cuando mi jefe me da una orden me
siento, de modo que usted no puede anticipar una calificacin
determinada a las respuestas, usted opta por apelar a varios
expertos para que califiquen las respuestas dadas, en este caso
el procedimiento usado se conoce como CONFIABILIAD ENTRE
CALIFICADORES y sirve para establecer la FIABILIDAD de su
instrumento.

Factores que pueden afectar
la confiabilidad y la validez



La improvisacin. Algunas personas creen que elegir un instrumento de medicin o desarrollar
uno es algo fcil y que no requiere de supervisin alguna. Para poder construir un
instrumento se requiere conocer muy bien la variable que se pretende medir y la teora que
la sustenta.

La traduccin, an cuando adaptemos los trminos a nuestro lenguaje no es ni remotamente
validarlo. Es simplemente un primer paso ya que validar un instrumento implica realizar
una investigacin extensa y compleja. Los grupos, las personas cambian y tienen valores
diferentes de acuerdo a la cultura. Por lo tanto, se deben aplicar instrumentos ya validados
en el contexto.
Factores que pueden afectar
La inadecuacin o falta de empata. Hay instrumentos que tienen un lenguaje
muy elevado para el entrevistado o no toma en cuenta diferencias de sexo, edad,
nivel ocupacional y educativo; todo esto puede resultar en errores de validez y
confiabilidad del instrumento de medicin.

Las condiciones de aplicacin. El ruido, presionar para que una persona
conteste un instrumento largo en un perodo de tiempo corto, el hambre o falta
de motivacin para responder influir negativamente en la validez y
confiabilidad de la medida.

Los aspectos mecnicos. Que el instrumento tenga instrucciones precisas, que
se lea bien (si se trata de un cuestionario escrito), que no le falten pginas, que
haya un espacio adecuado para contestar.

Variable de confusin
Un estudio busca determinar el impacto en la salud a largo plazo en jugadores profesionales de
futbl que slo incluya las fallas actuales de los jugadores
Validez interna
Validez externa.
Confiabilidad interna
Validez de constructo
Confiabilidad de constructo
En un estudio psicolgico, la
confiabilidad se refiere a
El tamao de una muestra