Sunteți pe pagina 1din 37

Confiabilidad y validez en

psicología
Silva, A. (1992). Métodos Cuantitativos en Psicología. Un enfoque metodológico. México:
Trillas.

Representación Cuantitativa
de Datos Psicológicos

Dr. Daniel González Lomelí


Introducción
 Los métodos de la evaluación conductual
consisten en la identificación de unidades
de respuesta significativas y las variables
que la controlan (organísmicas o
ambientales) con el propósito de entender
y modificar la conducta (Nelson y Hayes,
1981).
 Técnicas de evaluación conductual:
– Entrevista.
– Observación directa. Respuestas:
– Autoinforme. Cognoscitivas
– Automonitoreo. Fisiológicas
– Aparatos mecánicos
Motoras
y electrónicos.
Introducción
 En la evaluación conductual (EC):
– La confiabilidad de sus instrumentos es una
condición necesaria para la validación de los
mismos.
– Informar sobre la validez de los tratamientos ,
puesto que “la probabilidad de detectar una
diferencia en la ejecución entre condiciones de
tratamiento está en función directa de la
confiabilidad de la medida usada”.
– La utilización de técnicas de observación
directa se debe a que son congruentes con los
supuestos teóricos de la EC, tales como:
 Que sea conductual
 Que sea empírica

Nota: se cuestiona la confiabilidad y validez de las otras técnicas de EC


(autoinforme, entrevista, etcétera).
La observación directa:
métodos de registro
 La observación conductual directa se
lleva a cabo en medios naturales, en
situaciones análogas o en ambientes
estructurados, con la finalidad de
identificar y cuantificar el segmento
conductual de interés, encontrar los
determinantes de los cuales la
conducta es función, así como
también en la evaluación de los
resultados de la intervención.
La observación directa:
métodos de registro
 Enla EC no sólo interesa identificar
las características relevantes del
segmento conductual que permita
describirlo sino, entre otras cosas, la
forma de medir esas características.
La observación directa:
métodos de registro
 Cuando deseamos medir alguna
propiedad de la conducta mediante
una técnica de observación directa se
debe tener en cuenta que la
conducta ocurre de forma continua,
y que necesariamente debe ser
segmentada a partir del
establecimiento de un límite
espaciotemporal determinado.
La observación directa:
métodos de registro
 Sin embargo, puesto que la conducta no
sólo ocurre en un espacio temporal sino
que también se presenta de una manera
particular, es preciso además, especificar
la topografía de la respuesta.
 Estas propiedades de la conducta, la
geografía y la topografía, son dos aspectos
muy importantes cuando se va a llevar a
cabo la evaluación de una conducta
mediante un instrumento de medición
observacional directo.
La observación directa:
métodos de registro
 Una vez que el segmento conductual
se ha identificado por medio de la
determinación del límite
espaciotemporal en donde se va a
llevar a cabo la observación y se
especifica la topografía, debe
seleccionarse una estrategia para
medir el parámetro o los parámetros
de interés.
La observación directa:
métodos de registro
 La cuantificación debe efectuarse
sobre el parámetro más relevante
para la conducta particular, y puede
ser la frecuencia, la duración,
distancia de recorrido, ocurrencia por
oportunidades, productos
permanentes, etcétera.
Confiabilidad
 Después de que se mide un evento
conductual cabe preguntarse:
– ¿Realmente se está midiendo lo que se quiere
medir? validez
– ¿Reflejan las medidas obtenidas las variaciones
de la dimensión del evento conductual medido?
confiabilidad
 La confiabilidad ha de responder:
– ¿Los datos obtenidos mediante un instrumento
son estables y relativamente predecibles?
– ¿Las mediciones obtenidas por medio de un
instrumento corresponden a las verdaderas
medidas de la propiedad en cuestión?
Confiabilidad
 Instrumento de medición: es cualquier
tipo de aparato (contador, relojes,
galvanómetro, entre otros) o procedimiento
(entrevista, encuesta, registro conductual,
etcétera) que proporcione datos acerca de la
conducta o evento de interés (Nava, 1984).
 Índices de confiabilidad:
– Por ensayo o punto por punto. Porcentaje
de acuerdo y coeficientes de correlación: Ji
cuadrada, Coeficiente de contingencia C, el
coeficiente phi, el coeficiente kappa, pi,
coeficiente de correlación intraclase.
– Por sesión. Coeficiente de correlación de
Pearson, confiabilidad para datos
secuenciales.
Índices de confiabilidad por
ensayo o punto por punto
1. La Ji cuadrada: probar la “Bondad
de ajuste” de los datos de un
observador con un conjunto de valores
estándar esperados.
Fórmula X =Σ Σ (fo – fe )2 t k
ij ij
2

i=1 j=1 -------------


feij
foij es la frecuencia observada de la casilla ubicada en el renglón i de la
columna j, y
feij es la frecuencia esperada de la casilla ubicada en el renglón i de la
columna j. Se obtiene al multiplicar el total marginal del renglón i por el total
marginal de la columna j, y dividiendo el producto por el total general (N).
Confiabilidad
 Tabla 3.3 datos hipotéticos de la conducta de un niño de
levantarse de su asiento en el salón de clase.
30
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
O1
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
O2

60
1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
Matriz resultante al codificar los registros de ambos observadores
Observador 2

0 1

4 11
10 5
0 15
Observador 1 a b
12 33
6 39
1 45
c d
16 44 60
El cálculo de la 2 está dado por la fórmula:
2=Σt Σk (foij – feij)2
i=1 j=1
feij

 = (10 - 4) + (5 – 11 ) + (6 – 12) + (39 - 33) = 16.36


2 2 2 2 2

4 11 12 33
Nota: Una de las desventajas de este estimador es que sólo brinda un
índice global de asociación para la totalidad de la distribución del código
de observación, ya que aun cuando se realiza la contrastación no es
posible tener un estimador puntual de la confiabilidad de dichos datos.

2. El coeficiente de contingencia C brinda una medida


de asociación o relación entre los registros de los dos observadores

C=[ 2 ] C=[ 16.36


]  = 0.46
N+2 60 :+el16.36
Conclusión acuerdo entre observadores
es de 0.46
Desventaja: el coeficiente no alcanza la unidad.
3. El coeficiente phi (  ): mide la asociación entre
los registros de los dos observadores

 Fórmula del coeficiente phi:

= ad – bc

 (a + c) (b + d) (a + b) (c + d)

= (10) (39) – (5) (6)

 (10 + 6) (5 + 39) (10 + 5) (6 + 39)

= 390 – 30 = 0.52

 475200
4. El coeficiente kappa (  ): calcula el acuerdo
entre dos observadores al registrar una categoría
conductual
La fórmula de  es:
 = Po – Pc
Donde: 1 - Pc
Po es la proporción de acuerdos entre observadores, y
Pc es la proporción de acuerdos por azar.

Po = (10 + 39) = 0.817


60 Pc = [ (16 x 15) + (44 x 45) ] / 60 = 0.617
60
 = 0.817 – 0.617 = 0.52
S = [ Po (1 – Po) ] 
1 - 0.617
Z= 
N (1 – Pc)2 S
S = [ 0.817 (1 – 0.817) ]  = 0.13 Z = 0.52 = 4
El valor de 60 (1 – 0.617) 0.13a la Tabla A del
2
probabilidad asociado para este valor de Z conforme
apéndice II, es p (Z = 4) = 0.00003, el cual es significativo con  igual a .01, ya que
p < .01 por lo tanto, se puede concluir que el acuerdo entre observadores es mucho
mayor que el que podría esperarse ocurriera por azar.
Coeficientes de confiabilidad cuando se registran más
de dos categorías conductuales
Tabla 3.4. Datos hipotéticos obtenidos por dos registradores al medir las
conductas de agresión (A), acercamiento afectivo (B) y aislamiento (C).
30
A A B B C B A A A A A C C C B A C B B B C A A A A A C C C A

A A A A C C A A A A A C C C C A A C A A A B B A A A A C C B

60
A B B A C A A B B A A B B A A C A A C A A B B B B B B B C B
B B B B A B A A A A B B B B B C B B C A A C B B C C C C C B
Observador 2
A B C
A 15 11 26
Observador 1 B 6 7 8 21
C 4 9 13
25 18 17 60
Coeficientes de confiabilidad cuando se registran más
de dos categorías conductuales
5. Coeficiente pi: Scott propuso un índice que llamó pi ( π )
para estimar el acuerdo entre los observadores, y se calcula por la
ecuación
π = Po – Pe
Donde: 1 - Pe
Po es la proporción de veces en que ambos observadores están de
acuerdo en la aparición de una categoría conductual (diagonal de la matriz).
Po = 15 + 7 + 9 = 0.517
60 Categoría A observador 1: 26/60 = 0.433

Pe es el acuerdo probable o esperado: Categoría A observador 2: 25/60 = 0.417

Promedio P1 = 0.425

Pe = (0.425)2 + (0.325)2 + (0.25)2 = 0.349

π = 0.517 – 0.349 = 0.26


1 – 0.349
Coeficientes de confiabilidad cuando se
registran más de dos categorías conductuales
6. El coeficiente Kappa también puede emplearse para
calcular la confiabilidad en este tipo de registros. Calcular Kappa
(κ) es más conveniente, puesto que puede contrastarse la
significancia del valor obtenido.
Po = 15 + 7 + 9 = 0.517
60
Pc = [(25)(26) + (18)(21) + (17)(13)]/60 = 0.347
60
κ = 0.517 – 0.347 = 0.26 S = [ Po (1 – Po) ] 
1 – 0.347
N (1 – Pc)2
S = [ 0.517 (1 – 0.517) ]  = 0.099
N (1 – 0.347)2
Z =  = 0.26 = 2.62
S 0.099
Conforme a la Tabla de valores de Z, este valor de Z tiene una probabilidad asociada de
p (2.62) = 0.0044, que es menor de α = 0.01, por lo que puede concluirse que la
confiabilidad obtenida por los observadores al registrar las tres categorías conductuales
es significativa.
Cuando se utilizan más de dos observadores y se
registra una sola categoría conductual
7. Coeficiente de Correlación Intraclase (CCI)

CCI = 1 – (N)(R) [ (T)(R) – Σ Si 2]


(T) [ (N)(R) –T] (R - 1)

R es el número de observadores
N es el número de intervalos o sujetos de observación
T es el total de intervalos en los que se presentó la conducta
Si es el total de apariciones de la conducta a través de los
observadores en el intervalo o sujeto (i).

Ejemplo: Seis observadores entrenados registran la conducta de un niño


de conversar en el salón de clase, durante 20 intervalos de observación de
dos minutos cada uno. Al final de cada intervalo, si el niño estaba
platicando los observadores anotaban un 1 en la hoja de registro, y en caso
de que no fuera así, un 0. En la Tabla 3.5 se muestra los datos hipotéticos.
Tabla 3.5. Datos hipotéticos obtenidos por seis observadores al examinar la
conducta de un niño, cuando platica en el salón de clase.

Intervalos de Observadores  
observación 1 2 3 4 5 6 Si

1 1 1 1 0 1 1 5
2 1 0 1 0 1 0 3
3 1 0 0 0 0 1 2
4 1 1 1 1 1 1 6
5 0 0 0 0 0 0 0
6 0 0 0 0 0 0 0
7 0 1 1 1 1 0 4
8 0 0 0 0 0 0 0
9 1 0 0 0 0 0 1
10 0 0 0 0 0 0 0
11 1 1 1 1 1 1 6
12 1 1 1 1 1 1 6
13 1 1 0 0 1 1 4
14 1 1 0 0 0 1 3
15 0 1 1 1 1 1 5
16 0 0 0 1 0 0 1
17 0 0 0 0 0 0 0
18 0 0 0 0 0 0 0
19 1 1 1 0 1 1 5
20 1 1 1 1 1 1 6
  11 10 9 7 10 10 57
R es el número de observadores
N es el número de intervalos o sujetos de observación
T es el total de intervalos en los que se presentó la conducta
Si es el total de apariciones de la conducta a través de los
observadores en el intervalo o sujeto (i).

CCI = 1 – (N)(R) [ (T)(R) – Σ Si 2]

(T) [ (N)(R) –T] (R - 1)

CCI = 1 – (20)(6) [(57)(6) – (25 + 9 + 4 + 36 + 16 + 1 + 36 + 36 + 16 + 9 + 25 + 1 + 25 + 36) ] =


57 [ (20) (6) – 57] (6 – 1)

CCI = 1 – 8040 = 0.55


17955

En conclusión, se puede afirmar que la


confiabilidad con la que estuvieron registrando los
seis observadores la conducta de un niño de
conversar en el salón de clase fue de 0.55
Índices de confiabilidad por
sesión
 Las dos aproximaciones generales utilizadas para
evaluar la confiabilidad por ensayo se han
empleado para medir la confiabilidad entre
observadores por sesión: el porcentaje de
acuerdos y los coeficientes de correlación.
 Lo único que varía son los índices estadísticos
usados para su cuantificación ya que se considera
que las medidas por sesión al obtenerse de la
suma de frecuencias o duración a lo largo de un
periodo y puesto que las medidas oscilan entre
cero hasta un valor positivo, se puede considerar
que poseen la propiedad de escala de razón.
8. Coeficiente de correlación de
Pearson (r)
 La medida más tradicional de
confiabilidad por sesión es el
coeficiente de correlación producto-
momento (r). Este estadístico es
apropiado cuando se recolectan
medidas de intervalo (frecuencia y
duración) y tiene una gran variedad
de ventajas asociadas con su estatus
estadístico paramétrico.
Uso de la r de Pearson
VALOR CORRELACIÓN FUERZA DE LA
CONCORDANCIA

De ± .96 a ± 1.0 Perfecta

De ± .85 a ± .95 Fuerte

De ± .70 a ± .84 Significativa

De ± .50 a ± .69 Moderada

De ± .20 a ± .49 Débil

De ± .10 a ± .19 Muy débil

De ± .09 a ± .00 Nula o Inexistente


9. Confiabilidad de datos
secuenciales
Interés en el estudio de interacciones diádicas,
dado la relación y/o interdependencia que entre
estas se pudiera dar.
Ejemplo: Las relaciones recíprocas entre el maestro
y sus alumnos.
El viraje de la concepción estática (unidireccional) a
una dinámica (dependencia recíproca) ha tenido
implicaciones sobre el tipo de datos a obtenerse,
lo cual ha llevado a interesarse en detectar
patrones temporales en las interacciones.
Entonces, el criterio para evaluar el acuerdo entre
observadores no debería centrarse en el acuerdo
punto por punto, ya que es posible que dos
observadores acuerden en el número de veces
que aparece la conducta, pero no coincida en
cuando ocurre, por eso, cuando se está
interesado en detectar patrones secuenciales, la
confiabilidad debe centrase en lo similar de las
estructuras secuenciales de los datos.
Se parte de que la probabilidad del evento de
interés o X (el llanto del menor) no tiene una
probabilidad de ocurrir al margen de la aparición
de la conducta Y (la atención de la madre).
 Por un periodo determinado, 2 observadores registran
los episodios de llanto de un niño y la atención que la madre
presta. Aquí se parte del supuesto que el llanto del niño
generalmente sigue la atención de la madre.

X es el llanto del niño


Y es la atención de la madre

XXYXYYXYXXXYXYXYYYXY

Z = ___P(Y/X)- P(Y)_______
√ [(1- P(X)][P(Y)][1-P(Y)]
n(X)
Donde:
P(Y/X) es la probabilidad condicional de Y, puesto que ocurrió la conducta criterio,
P(X) es la probabilidad de aparición de la conducta criterio en la secuencia
temporal,
P(Y) es la probabilidad de la conducta no criterio,
n(X) es el número de veces que apareció la conducta criterio.
O1 X X Y X Y Y X Y X X X Y X Y X X Y Y O O
O2 X X Y Y X X X Y X X X Y X Y X Y Y Y X Y

Obtener:
1. Para el primer observador las probabilidades de X y de Y
Obs 1= P (X)= 10/20= 0.5
P (Y)= 8/20= 0.4
2. La probabilidad condicional P(Y/X)
Dado que el número de periodos de llanto seguidos
por la atención de la madre son 6 de 10, quedaría:
P(Y/X)= 6/10= 0.6
Entonces, aplicamos la fórmula

Z1= ______0.6 - 0.4_________ = __0.2__ = 1.83


√ (1 - 0.5) (0.4) (1 – 0.4) 0.1095
10
Obtener:
1. Para el segundo observador las probabilidades de X y de Y
Obs 2= P (X)= 11/20= 0.55
P (Y)= 9/20= 0.45
2. La probabilidad condicional P(Y/X)
Dado que el número de periodos de llanto seguidos
por la atención de la madre son 6 de 11, quedaría:
P(Y/X)= 6/11= 0.55
Entonces, aplicamos la fórmula

Z2= ______0.55 - 0.45________ = __0.1__ = 0.99


√ (1 - 0.55) (0.45) (1 – 0.45) 0.1006
10
Ahora se contrasta con los criterios para
saber si hay confiabilidad:
1. Cuando las Z de ambos son mayores a
1.96
2. Cuando son menores de -1.96
3. Cuando ambas no son significativas

¿Cuál es el caso con estos resultados?


Las Z de los dos observadores No son significativas, ya que son
menores a 1.96; sin embargo, como ambas lo son se puede
afirmar que existió confiabilidad en los registradores. Lo
anterior indica que los observadores detectaron la misma
estructura secuencial utilizando como criterio la categoría
conductual del llanto del niño.
Resumen: para examinar Confiabilidad
A. Índices de confiabilidad por ensayo o punto por punto:
1. Acuerdos/Ac + Desacuerdos Una cta/2 obs.
2. Ji Cuadrada; Coef. de contingencia C Una cta/2 obs.
3. Phi Una cta/2 obs.
4. Kappa Una cta/2 obs.
5. Kappa Más de dos ctas/2 obs.
6. pi (π) (Scott) Más de dos ctas/2 obs.
7. Coeficiente de corr. intraclase Una cta/más de 2 obs.
B. Índices de confiabilidad por sesión:
8. Coeficiente de corr. de Pearson Una cta/2 obs.
9. Confiab. de datos secuenciales Dos o más ctas/dos obs.
Validez de un instrumento:

Se refiere a la certeza con la que el mismo sirve


para la finalidad que su aplicación persigue.
¿Es útil para medir una conducta en especial?
¿Medimos en realidad lo que nos proponemos medir?
¿Los datos proporcionados por el instrumento son
los que realmente se esperan o poseen algún otro
aspecto que no se ha considerado?
En la observación y registro de conducta en
condiciones naturales, esto se refleja en la
adecuación de nuestra teoría para “reflejar” la
realidad.
A partir de esto podemos formular hipótesis sobre la
conducta en medios naturales.
Debemos estar lo más seguros de que los datos resultantes
constituyen una representación exacta de las conductas
elegidas.

La evaluación de la validez de un sistema de evaluación


conductual implica la evaluación de su utilidad, aplicación,
exactitud, comprensión, generalidad y sensibilidad.

ISOMORFISMO:
Es la identidad o semejanza de forma
¿Qué relación existe entre el fenómeno que se está midiendo y el
instrumento de medición empleado?, o ¿Existe alguna
correspondencia empírica entre la realidad y el instrumento de
medición utilizado?
Ejemplos: Estatura - balanza Inteligencia - test

El isomorfismo se entiende como la coherencia que existe entre el


instrumento de medición y la realidad y, además, la precisión o
sensibilidad que muestre dicho instrumento para detectar los cambios
ocurridos en las variables de interés.
Validez de Constructo:
¿El evento identificado corresponde realmente al
dominio al que se cree pertenece o corresponde a
otro?
Cuando hablamos de categorías amplias de
comportamiento, tales como conductas
apropiadas versus conductas No apropiadas…
estamos poniendo nombres a dimensiones
amplias de conducta, en este nivel estamos
hablando de constructos (Fernández y Carrobles,
1981, p. 183).
En resumen, se afirma que la validez de constructo
se interesa por la validez de la teoría.