ANUARIO DE PSICOLOGA Nm.

36/37 - 1987 (1-2)

ALGUNAS CONSIDERACIONES SOBRE LA UTILIZACION DEL COEFICIENTE r DE PEARSON COMO NDICE DE ACUERDO ENTRE OBSERVADORES

ARTURO SILVA R O D R ~ G U E Z Escuela Nacional de Estudios Profesionales Universidad Nacional Autnoma d e Mxico

Arturo Silva Rodrguez Escuela Nacional de Estudios Profesionales Universidad Nacional Autonoma de Mxico IZTACALA. C.P. 54090 Mxico

Uno de 10s temas recientemente abordados es el de 10s principios psicomtricos de las tcnicas de evaluacin conductual. Aunque si bien es cierto que existia ya una teoria psicomtrica muy desarrollada a partir de modelos estructural-diferenciales, se empez a cuestionar si todas estas tcnicas desarrolladas bajo la tutela teorica de la psicometria clsica eran adecuadas para la evaluacin conductual, desarrollada sta bajo marcos tericos totalmente diferentes. Aunque algunas tcnicas de evaluacin conductual estructuralmente parecen similares a las tcnicas tradicionales, difieren significativamente en sus supuestos y objetivos, puesto que como sealan Nelson y Hayes (1981), 10s mtodos de la evaluacin conductual consisten en la identificacin de unidades de respuesta significativas y las variables que las controlan (tanto organismicas como ambientales), con el propsito de entender y modificar la conducta; mientras que la evaluacin tradicional generalmente sostiene que la conducta es el resultado de variables intraorganismicas, ms an, supone que estas variables son mentales en lugar de fisicas. Este trabajo tiene como objetivo el hacer un anlisis del coeficiente de correlacin r de Pearson como una tcnica utilizada para estimar las propiedades psicomtricas de algunos instrumentos de evaluacin en situaciones de obsewacin conductual directa.

EL V E F I C I E N T E DE CORRELACION r DE PEARSON COMO PUNTUACION

ESTANDAR

El coeficiente r de Pearson es el estimador por excelencia de la confiabilidad de 10s instrumentos en la psicometria clasica. Dos son las suposiciones bsicas de confiabilidad desde este punto de vista. La primera se refiere a la obtencin de puntajes idnticos, y la segunda se refiere a la obtencin de idnticas posiciones relativas en las distribuciones de 10s puntajes obtenidos por 10s individuos en medidas sucesivas. La forma de ejemplificar claramente estas dos suposiciones es calculando el coeficiente de correlacin r de Pearson a travs de la tipificacin de 10s puntajes de 10s individuos, ya que por medio de este procedimiento es posible determinar "...basta qu punto 10s mismos individuos o sucesos ocupan

Trabaio presentado en el X X l l I Congreso Inti,rnacional de Psicologia, Acapulco, Mexico. Septiembre 1984.

54

A. Silva

la misma relacin relativa respecto a dos variables" (Haber y Runyon, 1973, p. 121). Supongamos que aplicamos el mismo instrumento al mismo grupo despus de cierto tiempo, y encontramos 10s siguientes resultados.
Tabla 1. Resultados hipotticos de la aplicacin de un mismo test en dos ocasiones diferentes a un grupo de cinco sujetos.

Como se puede observar en la Tabla 1, 10s cinco sujetos en ambas ocasiones de medida obtienen el mismo puntaje absolut0 y, por consiguiente, al obtener las puntuaciones tipificadas para el clculo del coeficiente de correlacin, cada individuo obtiene exactamente la misma calificacion estindar en ambas aplicaciones del test. Como en este caso hipottico se encontr un coeficiente r = 1.00, se puede afirmar que existen evidencias de que dicha prueba es confiable, puesto que presenta estabilidad temporal a travs de aplicaciones sucesivas. Sin embargo, como se mencion anteriormente, dentro de este concepto de confiabilidad el inters se centra principalmente en la posicin relativa de 10s puntajes de 10s individuos en las dos distribuciones, independientemente de las diferencias en 10s puntajes absolutos obtenidos en las distintas situaciones de medida. Para ejemplificar esto, supongamos que administramos durante la misma sesin dos formas equivalentes de un test y obtenemos 10s siguientes resultados:
Tabla 2 Resultados hipotticos de la aplicacin de dos formas paralelas de un test a un . grupo de cinco sujetos.

SS

la FORMA (X) 20 25 30 45 40

2a FORMA (Y) 24 29 34 49 44

zx

Y
-

1 2 3 4 5

-1.29 -0.75 -0.22 1.40 0.86

-1.29 -0.75 -0.22 1.40 0.86

Algunas consideraciones sobre la utilizacin del coeficiente r de Pearson ...

55

En la Tabla 2 se observa que 10s cinco sujetos en las dos formas del test obtienen puntajes absolutos diferentes, sin embargo, las puntuaciones tipificadas en ambas formas son las mismas, por 10 que al igual que en el ejemplo anterior, la confiabilidad estimada a travs del coeficiente r de Pearson es igual a 1.00, pudindose afirmar que existen evidencias que llevan a suponer que ambas formas del test son equivalentes. En conclusin, de 10s dos ejemplos anteriores se desprende que el supuesto fundamental de la confiabilidad en la psicometria clasica, es el comparar en qu medida un grupo de sujetos mantienen la misma posicid relativa en las dos distribuciones, cuando es aplicado un instrumento de evaluacin en diferentes situaciones de medida. De esta forma, en 10s diferentes diseos para evaluar la confiabilidad en la psicometria clsica, 10 que interesa es comparar la posicin relativa de cada individuo con respecto al grupo, debido a que siempre el anlisis del puntaje absolut0 obtenido por un individuo depender del status relativo que guarde este puntaje con respecto al grupo "...todos 10s procedimientos psicomtricos clasicos dependen de la consistencia en las diferencias entre individuos para demostrar 10 adecuado de la medida..." (Cone, 1981, p. 42). En la evaluacin conductual, sin embargo, el acuerdo entre observadores como indicador de confiabilidad, so10 supone la existencia de medidas absolutas idnticas entre 10s observadores en 10s diferentes momentos m, de observacin, independientemente de la posicin relativa que tengan las medidas obtenidas en 10s diferentes m, de cada observador. Supongamos que dos observadores han registrado la ocurrencia de la conducta de lavarse las manos de un paciente obsesivo compulsivo, a 10 largo de cinco dias, habiendo anotado cada uno la frecuencia de aparicin de tal segmento conductual durante las ocho horas de la jornada laboral, obteniendo 10s siguientes resultados:
Tabla 3. Datos hipotticos de la ocurrencia de lavarse las manos d e un paciente obsesivocompulsivo durante cinco dias. OBSERVADOR 1 Dia
1 2 3 4

(x)
30 15 25 35 20

OBSERVADOR 2 (y)
30 15 25 35 2o

RANGO (x)
4 1 3 5 2

RANGO (Y)
4 1 3 5 2

Z,

Z,

0.71 0.71 -1.41 -1.41 .O.OO 0.00 1.41 1.41 -0.71 -0.71

Como se puede ver en la Tabla 3, en todos 10s dias 10s observadores concuerdan en el numero de veces que el segmento conductual aparece durante la jornada laboral; por consiguiente, la posicion ordinal de aparicin de la conducta evaluada a travs del rango, durante 10s cinco dias para cada una

56

A. Silva

de las distribuciones de 10s observadores, es la misma, asi como tambin la posicin relativa de 10s puntajes dentro de cada distribucin (puntaje 2). De tal manera, que al calcular la confiabilidad de acuerdo entre observadores por medio del r de Pearson el valor ser6 igual a 1.00, el cua1 indicar6 un acuerdo perfecto entre 10s observadores. Sin embargo, cuando existen cambios en las medidas absolutas entre 10s observadores, mantenindose constante la posicion ordinal y la relativa, el coeficiente r de Pearson produce indices de acuerdo falsos. Por ejemplo, supongamos que en lugar de haberse obtenido 10s datos de la Tabla 3, se hubieran encontrado 10s siguientes resultados:
Tabla 4. Datos hipotticos de la ocurrencia de lavarse las manos de un paciente obsesivocompulsivo durante cinco das. OBSERVADOR 1 Dia
1 2 3 4 5

OBSERVADOR 2

(x)
30 15 25 35 20

P I
35 20 30 40 25

RANGO (x)
4 1 3 5 2

RANGO (Y)
4

Z,

Z,

1 3 5 2

0.71 0.71 -1.41 -1.41 0.00 0.00 1.41 1.41 -0.71 -0.71

La Tabla 4 muestra que no hubo acuerdo entre 10s dos observadores en ningun dia sobre el nmero de veces que apareci el segmento conductual, puesto que el observador 2 estuvo sobreestimando consistentemente la ocurrencia de la conducta. No obstante, tanto la posicion ordinal como la posicin relativa de las medidas dentro de cada distribucion son las mismas, por 10 que si se calcula el r de Pearson indicar6 un acuerdo perfecto entre 10s observadores, con un valor estimado igual a 1.00; esto es debido a que como se mencion anteriormente, el coeficiente de correlacin solo compara las posiciones relativas de 10s puntajes con respecto a las dos distribuciones, independientemente de 10s valores absolutos y, como en este caso, las posiciones relativas son iguales, el r de Pearson sobreestima el acuerdo entre observadores. De esto se deriva, que si bien es cierto 10 que menciona Hartman (1977), de que una r de Pearson igual a 1.00 indica perfecto acuerdo entre observadores en el sentido de puntajes estandar idnticos, esta afirmacin no tiene ninguna validez, puesto que en la evaluacin conductual el concepto de confiabilidad no supone igualdad en 10s puntajes estndar, sino en 10s puntajes absolutos de ambos observadores; esto es, Y = X.

Algunas consideraciones sobre la utilizacin del coeficiente r de Pearson ...

57

EL COEFICIENTE DE CORRELACION r DE PEARSON COMO UN MODELO LINEAL

En la psicometria clsica el concepto de confiabilidad, adems de la igualdad entre las mediciones absolutas y/o la igualdad entre posiciones relativas en las dos distribuciones, supone que existe una relacin lineal entre ambos conjuntos de medida. "El coeficiente de correlacin indica entonces el grado en que 10s puntajes en una de las variables mantiene una relacin lineal sistemtica con 10s puntajes en la otra". (Magnusson, 1975, p. 47). De esta manera, el supuesto de linealidad entre 10s puntajes de medidas sucesivas estar; representado por el modelo matemtico de: Y=a+flX Conforme a la suposicin de linealidad, la forma de evaluar la confiabilidad es analizando la dispersin de 10s puntos de ambas mediciones con respecto a un modelo lineal estimado a partir de 10s datos obtenidos. Cuando 10s puntos estn ampliamente dispersos alrededor del modelo lineal estimado, el coeficiente de correlacin r de Pearson es pequeo, mientras que cuando todos 10s puntos del diagrama de dispersin caen sobre el modelo estimado el coeficiente r es igual a 1.00. Hagamos ahora una interpretacin del coeficiente de correlacin r de Pearson, calculando para 10s datos hipotticos de las Tablas 1y 2 , el modelo matematico lineal.
Figura 1. Resultados hipotticos de la aplicacin de un mismo test en dos ocasiones diferentes a un grupo de cinco sujetos.

Al evaluar la relacin lineal de las dos aplicaciones del test, a travs de 10s minimos cuadrados, 10s estimadores de 10s parmetros a y fl son cero y uno respectivamente. El modelo lineal estimado quedaria: Y = O + 1(X); es decir, Y = X

58

A. Silva

El diagrama de dispersin de la Tabla 2 que representa 10s resultados hipotticos de la aplicacin de dos formas paralelas de un test, se muestra a continuacin:
Figura 2. Resultados hipotticos de la aplicacin de dos formas paralelas de un test a un grupo de cinco sujetos.

En la Figura 2 se ve que al igual que 10s puntos de la Figura 1, stos tambin caen sobre una lnea recta, slo que aqu 10s puntos se han desplazado un poc0 mis hacia arriba en el eje de la ordenada. Este es el efecto caracterstic0 que sucede en el modelo lineal cuando 10s valores absolutos en ambas distribuciones no son 10s mismos. Sin embargo, puesto que el coeficiente r de Pearson visto como un modelo lineal, 10 que evalua es el grado en que 10s pares de valores dan como resultado puntos que caen sobre una recta, y en el diagrama de dispersin de la Figura 2 todos 10s puntos caen sobre la recta, el coeficiente de correlacin es tambin igual a 1.00. Si estimamos 10s valores de a y p para la relacin lineal de la Figura 2, stos sern 4 y 1respectivamente. El modelo lineal estimado quedaria: Y=4+X En la Figura 3 se representan conjuntamente ambas relaciones lineales:

Algunas consideraciones sobre la utilizacion del coeficiente r de Pearson...

59

Figura 3. Representacin conjunta de las relaciones lineales obtenidas de las Tablas 1 y 2 .

50

25

.. ..
I

. .

X
50

25

En esta Figura se observa que la nica diferencia en estas dos relaciones lineales es en el punto en donde cruzan el eje de las ordenadas, puesto que ambas tienen el mismo valor estimado de P , que es de 1.00. En la primera relacin lineal la ordenada al origen es igual a O y en la segunda igual a 4. De esta manera, se puede concluir que si bien es cierto que en la psicometria clsica el concepto de confiabilidad tambin presupone una relacin lineal entre ambos conjuntos de mediciones, sta puede ser cualquier tip0 de relacin lineal positiva, puesto que como seala Magnusson (1975) la confiabilidad puede tomar valores entre cero y uno, pero jams puede tener valores negativos. De esta forma, el supuesto de linealidad en la confiabilidad, presupone cualquier tipo de recta con pendiente positiva. Dentro del campo de la evaluacin conductual, algunos autores (Anguera, 1983; Hartmann, 1977; Kent y Foster, 1977) han sealado que es necesario que exista una linealidad en 10s puntos correspondientes a 10s valores obtenidos en las sesiones de obsewacin. De esta manera, al igual que en la psicometria clsica, el concepto de confiabilidad dentro de la evaluacin conductual supone tambin la existencia de una linealidad entre el conjunt0 de datos de 10s dos observadores. Igualmente, la relacin lineal especifica que se presupone es del tip0 positiva, puesto que como Hartmann (1977) menciona, coeficientes de confiabilidad de acuerdo entre observadores negativos no son posibles. Similarmente, la forma de evaluar la linealidad de 10s datos de 10s dos observadores es por medio del diagrama de dispersion, obtenido a partir de la representacin de 10s pares de datos. Los datos hipotticos de la Tabla 3, de la ocurrencia de lavarse las manos de un paciente obsesivo cornpulsivo, se muestran en la siguiente figura:

6O

A. Silva

Figura 4. Datos hipotticos de la ocurrencia de lavarse las manos de un paciente obsesivocompulsivo durante cinco dias.

El diagrama de dispersin de la Figura 4 muestra que, debido a que ambos observadores acordaron perfectamente sobre la frecuencia de ocurrencia de la conducta durante 10s cinco dias, es decir, Y = X, estos pares de valores dan como resultado que todos 10s puntos estn sobre una linea recta; adems, que la correlacin entre 10s pares de valores sea igual a 1.00. Los parametros estimados de esta relacin lineal dan como resultado un cr = O y 0 = 1,de 10 cua1 se desprende que para afirmar la existencia de un perfecto acuerdo entre observadores, es necesario que 10s parimetros del modelo lineal tengan una ordenada al origen igual a cero y una pendiente igual a uno. Con respecto al diagrama de dispersin de 10s datos hipotticos de la Tabla 4, en donde a simple vista se observa que no hubo absolut0 acuerdo entre 10s observadores, es decir, Y # X, sin embargo 10s pares de valores dan tambin como resultado una nube de puntos que caen sobre una linea recta.
Figura 5. Datos hipotticos de la ocurrencia de lavarse las manos de un paciente obsesivocompulsivo durante cinco dias.

Algunas consideraciones sobre la utilizacion del coeficiente r de Pearson...

61

De esta forma se puede explicar el porqu al calcular el coeficiente de correlacion r de Pearson, ste es igual a 1.00. Sin embargo, al comparar las funciones lineales obtenidas en ambas situaciones hipotticas de observacin, como 10 muestra la Figura 6, se observa que si bien ambas funciones son lineales, stas difieren en el punto de interseccin con el eje de las ordenadas, puesto que 10s datos de la Tabla 3 arrojaron un cr = O y 0 = 1 , mientras que 10s datos de la Tabla 4 dieron un a=5yp=l.
Figura 6. Representacin conjunta de las funciones lineales obtenidas en arnbas situaciones hipotticas de observacin.

De 10 anterior, se desprende en conclusion que si bien el concepto de confiabilidad en la evaluacin conductual, al igual que en la psicometria clsica, supone la existencia de una linealidad entre el conjunt0 de datos de 10s dos observadores, esta suposicion de linealidad no presupone cualquier tip0 de relacin lineal, sino que es una relacion especial que parte del origen y su inclinacion con respecto al eje de las X'x es de 45", cuyos parimetros ptimos son cr = O y 0 = 1 ; como se muestra en la Figura siguiente:
Figura 7. Representacin de la relacin lineal especial que presupone el concepto de confiabilidad en la evaluacin conductual.

62

A. Silva

De tal modo, debido a que el coeficiente de correlacin r de Pearson evala cualquier tip0 de relacin lineal, su uso con cualquier otra recta que se aleje ya sea tanto del origen como de 10s 45O, pondr en tela de juicio la validez de su uso como estimador de la confiabilidad entre observadores. Sin embargo, es posible determinar si el coeficiente de correlacin r de Pearson es un indice adecuado de acuerdo entre observadores, a travs de considerar la relacin entre 10s dos conjuntos de datos, como un modelo de regresin lineal simple, en el cual, ambas variables (10s puntajes del observador 1 y 10s puntajes del observador 2) son consideradas variables aleatorias. Conforme a esta aproximacin, es factible probar la hiptesis de que cu = O y fl = 1; en caso de comprobarse esta hiptesis, existirian evidencias que nos permitirian afirmar que el coeficiente r de Pearson es un indice adecuado para evaluar la confiabilidad entre observadores. Esto se deriva del hecho de que como se mencion anteriormente, la linealidad dentro del concepto de confiabilidad entre observadores presupone medidas absolutas idnticas en ambos conjuntos de datos, es decir, Y = X. De tal manera, que un error aditivo en uno de 10s observadores arrojaria medidas absolutas diferentes (Y # X), cuyo efecto estaria reflejado en cambios en el parmetro cu de la funcin lineal, como se muestra en la siguiente Figura:
Figura 8. Comparacin de la funcin lineal de la Figura 5 con la funcin lineal ptima de confiabilidad.

La funcin lineal de la Figura 8, fue estimada a partir de 10s datos hipotticos de la Tabla 4; en esta funcin se observa que el nico parmetro que difiere con 10s valores ptimos de linealidad es cu, puesto que el valor estimado es igual a 5 y el valor ptimo es igual a cero; mientras que, el valor de fl estimado es igual a uno, por 10 que no difiere con el valor ptimo, de 10 cua1 se obtiene el modelo lineal siguiente: Y=5+ X De esta forma, se ve claramente que un error aditivo sistemtico en

Algunas consideraciones sobre la utilizacion del coeficiente r de Pearson...

63

cualquiera de 10s observadores produce un efecto de desplazamiento de la funcion lineal a 10 largo de la ordenada, mientras que la inclinacion seguir siendo de 45O, por 10 que ser6 importante saber si la magnitud del desplazamiento es 10 suficientemente significativa como para invalidar el uso del coeficiente r de Pearson como indice de confiabilidad. La forma de probar si el valor estimado de a se aleja de cero es por medio del estadstic0 "t,", que permite probar la hiptesis nula de que a es igual a cero. El hecho de aceptar la hiptesis nula, es decir, que a sea igual a cero, no garantiza que el valor estimado de acuerdo entre observadores a partir de la r de Pearson sea un valor adecuado de confiabilidad, puesto que con esto, s610 se habr probado que no existe un error sistemtico aditivo en 10s observadores que afecte el valor del coeficiente de correlacin, ya que un error sistemtico multiplicativo en 10s observadores, tambin produce que la r de Pearson sobreestime el acuerdo entre 10s registradores. Pongamos por ejemplo, la observacin del mismo segmento conductual de lavarse las manos en un paciente obsesivo-compulsivo, por dos observadores independientes. Los datos hipotticos obtenidos por ambos registradores durante cinco dias se muestran en la Tabla 5, y el diagrama de dispersion que generan estos datos se muestra en la Figura 9.
Figura 9. Comparacin de la funcin lineal estimada a partir de 10s datos hipotticos de la Tabla 5 con la funcin lineal optima de confiabilidad.

X
O
25

50

Tabla 5. Datos hipotticos d e la ocurrencia de lavarse las manos de un paciente obsesivocompulsivo durante cinco dias. OBSERVADOR 1 Dia
1 2 3 4 5

OBSERVADOR 2

(x)
30 15 25 35 20

(x)
36 18 3o 42 24
A

64

A. Silva

A simple vista se observa en la Tabla 5, que el supuesto bsico de acuerdo de Y = X no fue obtenido, puesto que en todos 10s dias de registro se ve que Y # X. Sin embargo, al representar graficamente 10s pares de valores para cada dia, stos dan como resultado que todos los puntos estn sobre una linea recta. Por consiguiente, el valor que se obtiene en-este caso particular es r = 1.00. Los parmetros estimados de la relacin lineal, generados por estos datos hipotticos, dan como resultado un a = O y una 0 = 1.20, de 10 que se obtiene el modelo lineal siguiente: Y = 1.20X De esta forma, se ve claramente que un error multiplicativo sistemtico en cualquiera de 10s observadores produce un efecto de desplazamiento de la funcin lineal, como se observa en la Figura 9, puesto que esta recta aumenta su ngulo de inclinacin, mientras que la ordenada al origen, sigue teniendo el parmetro ptimo, es decir, a es igual a cero. De aqui que tambin es importante saber, si la magnitud del aumento del angulo de inclinacin de la recta es 10 suficientemente grande para invalidar el uso de la r de Pearson como ndice de confiabilidad entre observadores. La forma de probar esta suposicin es por medio del estadistico "to", que permite probar la hipotesis nula de que P = 1. En conclusin, s610 hasta que se demuestre que la funcin lineal generada por 10s datos de 10s observadores, no se aleja significativamente de 10s parimetros ptimos del supuesto de linealidad especial que presupone el concepto de confiabilidad, el coeficiente de correlacin r de Pearson no puede ser tomado como estimador adecuado de la confiabilidad en la evaluacion conductual.

Como se habra notado, todas las anteriores consideraciones sobre el uso de la r de Pearson como indice de acuerdo, se han abocado a travs del modelo de regresin lineal simple a proponer un procedimiento cuantitativo que permita tomar una decision acerca de 10 adecuado de dicho coeficiente de correlacin, para estimar ia confiabilidad entre observadores; pero de ninguna manera este procedimiento estadistico da elementos de analisis sobre la magnitud aceptable de la r de Pearson para afirmar la existencia de confiabilidad en 10s datos de 10s observadores. De aqui que si el concepto de confiabilidad en la evaluacion conductual supone una relacin lineal positiva especifica en donde Y = X, con parametros a = O y P = 1, y la r de Pearson evala la dispersion de 10s datos con respecto a cualquier relacin lineal y, si por otro lado, el modelo de regresin simple s610 permite saber si dicho coeficiente es adecuado como indice de

Algunas consideraciones sobre la utilizacion del coeficiente r de Pearson ...

65

confiabilidad, jno seria mejor desecharlo y buscar otras alternativas para cuantificar la confiabilidad en la evaluacion conductual? Sin embargo, el hecho de que se desprecie el coeficiente de correlacion r de Pearson como indice de confiabilidad, no invalida el uso del modelo de regresin lineal simple dentro de la evaluacin conductual, puesto que al conceptualizar el acuerdo entre observadores como un modelo de regresin, permitiria detectar errores aditivos y/o multiplicativos en las medidas de 10s observadores, independientemente de la confiabilidad que existiera entre ellos. De esta forma, la deteccin de estos tipos de errores en 10s puntajes de 10s observadores tiene implicaciones metodolgicas y de procedimiento mis importantes, que el demostrar s610 si la r de Pearson es un estimador adecuado de la confiabilidad. Para finalizar, es importante mencionar que este tip0 de consideraciones acerca del uso del modelo de regresion lineal simple para detectar errores aditivos ylo multiplicativos entre 10s datos de 10s observadores, se abordarn en un trabajo posterior.

En este trabajo, se mostr que el concepto de confiabilidad en ambos modelos difiere marcadamente, puesto que mientras en la evaluacin tradicional se supone la existencia de confiabilidad en 10s instrumentos de medicin cuando dicho instrumento produce posiciones relativas iguales en las distribuciones de 10s puntajes en cada ocasin de medida, en la evaluacin conductual, la suposicibn en la mayoria de 10s estudios observacionales, es que la confiabilidad puede ser evaluada a partir de la estimacin del acuerdo entre observadores, para 10 cua1 es necesario que 10s puntajes absolutos en ambos observadores en cada momento de registro sean iguales, esto es, Y = X. Tal vez uno de 10s aspectos ms polmicos dentro de la evaluacin conductual, sea el hecho de la extrapolacin de 10s indices estadisticos utilizados en la psicometria clsica, derivados del modelo tradicional de evaluacin, para estimar la confiabilidad, ya que la psicometria clsica, no s610 desamo116 principios tericos que la fundamentan, sino que a la par, tambin cre tcnicas estadisticas que le dieran un soporte formal ms estructurado; de aqu que la evaluacin conductual no puede extrapolar asi como asi las tcnicas estadisticas desarrolladas a partir de principios tericos diferentes, sino que debe por un lado analizar crticamente dicha extrapolacin y, por otro lado, crear sus propias tcnicas estadisticas que tomen en cuenta 10s principios tericos en 10s cuales se sustenta.

66

A. Silva

Dentro del Qmbito de la evaluacin conductual y, en concreto, en situaciones de observacin directa, se analiza mediante ejemplos con datos hipotticos el funcionamiento del coeficiente r de Pearson, que por otra parte es el estimador por excelencia de la confiabilidad de 10s instrumentos en la psicometria clasica. Se revela su inadecuacion al diferir claramente el concepto de confiabilidad en 10s modelos psicomtrico y conductual, a pesar de no invalidarse el uso de la regresin lineal simple dentro de la evaluacin, puesto que al conceptualizar el acuerdo entre observadores como un modelo de regresin permitiria detectar errores aditivos y/o multiplicativos en las medidas de 10s observadores, independientemente de la confiabilidad que existiera entre ellos. Las consecuencias practicas que de aqu se derivan son importantes, favorecindose la creacion de tcnicas estadisticas que sean sensibles a 10s principios tericos correspondientes en cada caso y buscindose otras alternativas para cuantificar la confiabilidad en la evaluacirl conductual.

In the ambit of behavioural evaluation and specifically in situations of direct observation, the Pearson r coefficient functioning is analysed by means of hypothetic data. Pearson being, on the other and, the appraiser par excellence of instrument reliability in classic psychometry. Its inadequacy is made known by the differing reliability concept of the psychometric and behavioural models, despite the fact that the use of uncombined linear regression i the evaluation is not invalidated, as by considering the agreen ment between observers as a regression model may enable t o detect additive and/or multiplicative errors in the observer's measures, independently of the reliability that may exist between them. The practica1 consequences steming from this are important and favour the creation of statistics techniques perceptive to the corresponding theoretic principles of each case and other alternatives t o quantify reliability in behavioural evaluation are being sought.

Dans le cadre de l'valuation conductuelle et, plus prcisment dans des situations d'observation directe, on analyse a l'aide d'exemples avec des lments d'hy pothese le fonctionnement du coefficient r de Pearson, qui par ailleurs value au mieux la fiabilit des instruments de la psychomtrie

Algunas consideraciones sobre la utilizacion del coeficiente r de Pearson...

67

classique. I1 se rvele inadquat car les concepts de fiabilit pour les modeles psychomtrique ou conductuel sont bien diffrents, et ceci sans mettre en question l'usage de la rgression linaire simple dans l'valuation, d'autant plus que si on conceptualise l'accord entre observateurs comme un mod&le de rgression, i1 permet de dtecter des erreurs additives etlou multiplicatives proportionnelles au nombre des observateurs et indpendamment de la confiance qui existe entre eux. Les consquences pratiques qui en dcoulent sont importantes, elles favorisent la cration de techniques statistiques qui soient sensibles aux principes thoriques correspondants a chaque cas et la recherche d'autres possibilits pour quantifier la fiabilit dans l'valuation conductuelle.

Anguera, M.T. (1983). Manual d e practicas d e obseruacion. Mxico: Trillas. Cone, J.D. (1981). Psychometric considerations. E n M. Hersen y A.S. Bellack (Eds.). Behauioral assessment: A practical handbook. New York: Pergamon Press. Haber, A. y Runyon, R.P. (1973). Estadstica general. Mbxico: Fondo Educativo Interamericano. HartmaIlI& D.P. (1977). Considerations in t h e choice of interobserver agreement. Journal o f Applied Behauior Analysis, 10, 103-116. Kent, R.N. y Foster, S.L. (1977). Direct observational procedure: Methodological issues in naturalistic setting. E n A.R. Ciminero, K.S. Calhoun y H.E. Adams (Eds.), Handbook of behauioral assessment. New York: Wiley and Sons. Magnussons, D. (1975). Teoria d e 10s tests. Mxico: Trillas. Nelson, R.O. y Hayes, S.C. (1981). Nature of behavioral assessment. E n M. Hersen Y A.S. Bellack (Eds.), Behavioral assessmcnt: A practica1 handbook. New York: Pergamon Press.