CONSTRUCCION Y ADAPTACION DE PRUEBAS PSI (MIKULIC)/ HOGAN CAP 4 Y 5

 PSICOLOGIA-------Aquella disciplina que estudia la conducta de las personas en interaccion con

su contexto.
EVALUACION PSICOLOGICA---Proceso de toma de decisiones cuyo objetivo es apuntar, con
precision y validez, a la tarea de psicologia aplicada para solucionar problemas individuales, sociales y
ambientales. Tres fuentes en el desarrollo de pruebas: 1. Señala que muchas pruebas de uso mas
generalizado se originarion en respuesta a cierta necesidad practica. 2. Fundamento teorico importante. 3.
Adaptar o revisar los instrumentos ya existentes. Recopilacion e integracion de datos relacionados con la
psicologia con el proposito de hacer una valoracion psico, lograda con el uso de herramientas como pruebas,
entrevistas, etc.

HISTORIA------Raices en Francia a principios de siglo XX. Binet, colocar a los niños en clases
apropiadas. Apogeo pruebas psi en 1950 y principios 1960. Segunda guerra mundial: termino evaluación.

 PRUEBA PSICOLOGICA-----Proceso de medir variables relacionadas con la psico por medio de

dispositivos o precedimientos diseñados para obtener una muestra de comportamiento.

 TEST: Instrumento de evaluacion cuantitativa de los atributos psicologicos de un individuo.

 SITUACIONES DE DIAGNOSTICO----Aquellas en las que se produce el conocimiento mediato,

no directo, sino a traves de indicadores que son observables, comportamentales y/o clinico.

o SUPUESTOS EN LAS PRUEBAS Y LA EVALUACION PSICO:

 Los rasgos y estados psico existen.
 Los rasgos y estados psicos pueden cuantificarse y medirse.
 Pueden ser utiles diversos enfoques para medir aspectos del mismo objetos de estudio.
 La evaluacion puede señalar fenomenos que requieren una mayor atencion o estudio.
 Diversas fuentes de informacion enriquecen y son parte del proceso de evaluacion.
 Diversas fuentes de error son parte del proceso de evaluacion.
 Las pruebas y otras tecnicas de medicion tienen ventajas y desventajas.

1- CONFIABILIDAD

Una prueba es confiable, es decir, consistente y precisa al margen de lo que mida exactamente. Es
decir, que la confiabilidad tiene que ver con que la prueba mida bien, más allá de qué mida. Los mejores
sinónimos en psicología del término técnico confiabilidad son consistencia, replicabilidad y fiabilidad. Una
prueba confiable es la que consistentemente genera la misma puntuación o una similar en el caso de un
individuo. La calificación puede replicarse (o reproducirse) al menos con cierto margen de error. Podemos
fiarnos (o depender) de que una prueba confiable genere en buena medida la misma puntuación en un
individuo. Una medición puede ser confiable sin ser válida, pero no puede ser válida sin ser confiable.
La confiabilidad permite evaluar si una misma técnica funcionara de igual forma bajo diferentes
condiciones.

Cambio real----No son fuente de inestabilidad. No explica tampoco los errores constantes. Solo se
relaciona con los no sistemáticos.

1-1 PRINCIPALES FUENTES DE INESTABILIDAD

 CALIFICACION DE LA PRUEBA---- Las variaciones en los criterios de calificación pueden influir

en los reactivos de las prubas mas simples. Las faltas de acuerdo entre los calificadores puede generar
variacion no sistematica en las puntuaciones.
 CONTENIDO DE LA PRUEBA---Variaciones en el muestreo de los reactivos generan errores no
sistematicos. Puntuaciones de los individuos aumentan o disminuyen no por diferencias reales en el
rasgo que se mide.
 APLICACIÓN DE LA PRUEBA----Debe contar con procedimientos estandarizados para su
aplicacion. Instrucciones, limites de tiempo, disposicion fisica.
 CONDICIONES PERSONALES--- Las condiciones temporales de los examinados pueden ejercer
influencias no sistematicas. No generan automaticamente inestabilidad. Su influencia es empirica.

1-2 METODOS PARA DETERMINAR LA CONFIABILIDAD

 TEST RETEST

Coeficiente de confiabilidad se obtiene aplicando la misma prueba a los mismos individuos en ocasiones
diferentes. Margen de un dia o hasta un mes. El coeficiente de confiabilidad es la correlación. Si la
correlación entre los resultados de las diferentes aplicaciones es altamente positiva, el instrumento es
confiable. Evalúa los cambios en las condiciones personales, condiciones en las aplicaciones y condiciones
en los calificadores dependiendo si la prueba califica la misma persona o proceso. Coeficiente = la
correlacion entre el puntaje de una prueba y el de la otra. Desventajas--------No evalúa los cambios en
el contenido de la prueba, porque siempre es la misma que se aplica. No explica el error no sistematico.
Efecto del aprendizaje---- Preocupa el efecto de la primera prueba en la segunda, quizá el examinado
recuerde la primera y de las mismas respuestas en la segunda ocasión, o también puede equivocarse en la
primera y resolverlo en los días intermedios y así contestarlo bien en el segundo. El intervalo debe ser lo
suficientemente largo para que la primera prueba ejerza una influencia mínima en la segunda, pero no debe
ser tan largo que el rasgo medido pueda sufrir un cambio verdadero entre ambas.

CONFIABILIDAD ENTRE CALIFICADORES/INTERJUECES/DEL PUNTUADOR--- Se evalua

la variacion no sistematica debida solo a quienes califican la prueba. Prueba se califica dos veces. Mínimo
dos personas califican la prueba (en forma independiente) y se correlacionan las puntuaciones que asigno
cada calificador. Es importante cuando el juicio interviene en el proceso de calificación. Coeficiente =
correlacion entre la puntuaciones obtenidas.

FORMA ALTERNA/PARALELAS/EQUIVALENTES---- Exige que haya dos formas de la prueba

que deben ser iguales o similares en la cantidad de reactivos, límites de tiempo, contenido, etc. Se deben
aplicar ambas formas de la prueba a los mismos examinados y sacar un coeficiente de correlación entre las
puntuaciones obtenidas de las dos formas. Pueden aplicarse sucesivamente ambas pruebas si son breves y
poco exigentes, sino se puede dejar un tiempo estipulado entre cada aplicación de las formas. Si se deja ese
tiempo no solo se medirá las variaciones en el contenido sino también en las condiciones personales y de
aplicación. No se utiliza mucho ya que son pocas las pruebas que cuentan con formas alternas, además
reduce, pero no elimina el efecto de la práctica y lleva tiempo.

CONSISTENCIA INTERNA------Se utiliza cuando no interesa cuanto han cambiado los sujetos en el
tiempo, sino en saber si los ítems o las partes del cuestionario responden a las mismas especificaciones y si
los ítems son representativos del constructo a estudiar. Es imprescindible que todas las partes del
cuestionario representen al mismo dominio de contenido, además de que los ítems estén bien construidos.

Hay distintos métodos de medir la consistencia interna:

- División por mitades------Division non-par, segunda mitad mas difícil se realiza la aplicación de
una sola prueba, pero se califica a la misma por dos mitades, como si cada mitad fuera una forma alterna de
la prueba. Luego se correlacionan los puntajes de ambas partes. A la correlación entre las dos mitades se le
aplica correccion spearman-brown.

- Coeficiente de alfa de Cronbach o fórmulas de Kuder-Richardson-----Son procedimientos

estadísticos que evalúan la homogeneidad de la prueba. Cuanta más correlación más estable es. Se utiliza el
alfa de Cronbach cuando los ítems son politómicos y los Kuder-Richardson cuando los ítems son
dicotómicos.

-Error en el estándar de medición-----El error estándar de medición tiene una relación inversa
con la confiabilidad. Un instrumento altamente confiable, tiene un nivel de error pequeño. Un instrumento
con confiabilidad baja mide su objeto con un alto índice de error. Por lo tanto, el mayor índice de error de
medición, menor confiabilidad, y viceversa. Es la diferencia de las puntuaciones observadas con respecto a
las puntuaciones verdaderas de las personas. Interpretacion practica de la confiabilidad a traves de el. Es la
desviacion estandar de una cantidad hipoteticamente infinita de puntuaciones obtenidas en torno a la
puntuacion verdadera de la persona. Puede usarse para crear un intervalo de confianza. Se expresa en
unidades de puntuacion natural.

Distintos tipos de errores que se pueden llegar a dar:

-Error constante----Es aquel que genera una puntuación sistemáticamente elevada o baja
en una persona al margen de la constancia que haya en la persona en el rasgo medido. Estos errores
 son aleatorios, constantes y no sistematizados que no afectan a la confiabilidad (por ejemplo: si a
niño de lengua materna español se le evalúa ingles obtendrá un puntaje inferior a sus capacidades de
forma constante). Puede afectar a todas las observaciones por igual y ser un error constante, o afectar
a cierto tipo de observaciones, y ser un sesgo. Es difícil predecir y controlar ya que está relacionado a
factores casuales. Se suele decir que son tendencias que desplazan las puntuaciones en una
determinada dirección.

- Error no sistemático-----Son los errores que dan problemas de confiabilidad. Las

principales fuentes de error son:

*Calificación de prueba: Surge de la falta de acuerdo entre calificadores en los

criterios para calificar las puntuaciones de las personas en las pruebas. Cuanto más juicio
(deliberación, pensar sobre ello, cuanto más subjetivo) exija la calificación, más será posible
la falta de confiabilidad. Para que esto no suceda se debe contar con criterios de calificación
claros y explícitos a fin de que se reduzca al mínimo las variaciones entre calificaciones.

*Contenido de la prueba: Las variaciones del muestreo de los reactivos de una prueba
pueden generar un error no sistemático en las puntuaciones. Las puntuaciones aumentan o
disminuyen no por diferencias reales sino por cambios aleatorios en el conjunto de los
reactivos que se presentan a la prueba (por ejemplo: de 6 temas, un alumno estudia los
primeros 3 y el otro alumno estudia los otros 3; la profesora pregunta sobre los primeros 4
temas, los dos estudiaron la misma cantidad de temas, pero al primero le va mejor).

*Aplicación de una prueba: Se da por las variaciones de las aplicaciones, por

ejemplo, en cómo se da la instrucción, los límites de tiempo, la luz, el ruido o las
disposiciones físicas. Para esto, la prueba debe contar con procedimientos estandarizados de
aplicación donde deban ser controladas todas las variables contaminantes.

*Condiciones personales: Las condiciones de las personas varían de un día a otro.

Pero las variaciones en estos factores no generan automáticamente inestabilidad o falta de
confiabilidad

2- VALIDEZ

Es el grado en el que una prueba mide lo que pretende medir. Validez se refiere a la puntuacion de una
prueba, no a la prueba en si, y no en abstracto, si en funcion de un uso. Es una cuestion de grado. Depende
de la confiabilidad de la prueba y de la confiabilidad del criterio. Si una prueba carece por completo de
confiabilidad, entonces no tiene validez.

Se refiere a lo que mide una prueba, es decir si la prueba mide lo que dice medir. Consigna el uso
particular para el que se planea usar el instrumento. Cada ítem debe ser representativo de la prueba y esta ha
de serlo, a su vez, del constructo que dice medir. La validez es una cuestión de grado, no es un asunto de
todo o nada. La nueva concepción de la validez supone que la misma no es una propiedad del test, sino,
del significado de las puntuaciones de los test.

El termino SUBREPRESENTACION DEL CONSTRUCTO alude a que una prueba no capta aspectos
importantes del constructo, y la varianza irrelevante se refiere a la influencia de procesos ajenos al
constructo que ejerce en la puntuación de la prueba.

El aspecto básico consiste en ofrecer evidencia de que las puntuaciones en una prueba son indicadores
del rasgo o constructo de interés. La validez es la característica aislada mas importante de una prueba, es
la consideración fundamental al desarrollar y evaluar pruebas.

 CONSTRUCTO--------Lo que se desea medir, rasgo o caracteristica.

 PRUEBA-------------Lo que se pretende q mida este constructo.
 SUBPRESENTACION DEL CONSTRUCTO---------Parte del constructo que no cubre la
prueba.
 ANALISIS MULTIRRASGO-MULTIMETODO---------Consiste en demostrar que las
correlaciones dentro de un rasgo que trascienden diferentes metodos, son mas elevadas que las
correlaciones dentro de los metodos que trascienden diferentes rasgos.
 COMBINACION DE PRUEBAS---------- Utilizar varias pruebas para pronosticar la condicion
en un criterio. Correlacion multiple: para generar la mejor prediccion posible de una variable
dependiente a partir de varias otras variables de la manera mas economica posible. Tambien, entener
en terminos teoricos que variables contribuyen de manera mas eficaz a la prediccion de una variable
dependiente y cuales son redundantes.
 ACIERTO--------Es un caso que tiene la misma condicion con respecto a la prueba y al criterio.
 FALSOS POSITIVOS----------Son casos que superan la puntuacion de corte de la prueba.
NEGATIVOS: son aquellos que se ubican por debajo de la puntuacion de corte de la prueba.
 TASA BASE---------Porcentaje de individuos en la poblacion que poseen cierta caracteristica. Si
es extrema, resulta dificil demostrar que una prueba tiene una buena validez para identificar a los
individuos en el grupo meta.
 SELECTIVIDAD DE LA PRUEBA--------Es el grado en que esta se identifca de manera
correcta al criterio. ESPECIFIDAD: es el grado en esta no reconoce o evita reconocer al grupo de
contraste.
 COEFICIENTE DE LA VALIDEZ---------Correlacion entre la puntuacion de la prueba y la
medida del criterio.
 2-1 TIPOS DE VALIDEZ

 VALIDEZ APARENTE

La Prueba "parece" medir su constructo meta. Parece medir lo que dice medir. Nunca sustituirá la
validez empírica, no es posible tan solo ver una prueba y saber su grado de validez. Ej: test de revista. Esto
se utiliza en el caso de que dos pruebas contengan una validez establecida en forma empírica, es preferible
utilizar la que tiene mejor validez aparente.

 VALIDEZ DE CONTENIDO

Pone el acento en el contenido que los compone, en qué medida reflejan el constructo. Tiene que ver con
la relacion entre el contenido de una prueba y cierto campo de conocimiento o comportamiento bien
definido. Debe haber correspondencia adecuada entre el contenido y el campo de interés. Supone la noción
de muestreo, el contenido de la prueba ha de medir una muestra representativa del área de la conducta que
debe medir, es decir que abarca una muestra representativa de todos los posibles contenidos del campo.
Tiene dos tipos de aplicaciones: 1. aprovechamiento educativo; 2. laborales.

Pasos para establecer validez de contenido:

1. Definicion del contenido que se abarcara, lo que genera un cuadro de especificaciones.

2. Se fija la validez del contenido de la prueba haciendo que corresponda el contenido y el cuadro de
especificaciones, se realiza reactivo por reactivo.

El método para corroborar esta validez es el análisis sistemático de los contenidos de la prueba a través de
diferentes jueces (varias personas puntúan y se correlacionan) o también se pueden comparar los resultados
con otra prueba validada para saber si correlacionan los resultados. Complicaciones: Obtener la
especificiacion del campo de contenido.

 VALIDEZ DE CRITERIO.

Establecer un vinculo entre el desempeño de la prueba y algun otro criterio que se toma como indicador
importante del constructo de interes. Establecer relacion entre el desempeño de la prueba y la posicion en
algún otro constructo. Hay dos criterios generales para la validez de criterio:

-Validez predictiva----------Cuando la prueba busca pronosticar la condición de algún criterio a futuro.

¿en qué medida es posible anticipar un logro o comportamiento a futuro? Se correlaciona el desempeño en la
prueba con algún otro criterio externo establecido a futuro (ejemplo: aplico una prueba a un grado escolar,
espero todo el año escolar y correlaciono los puntajes del instrumento con las notas escolares obtenidas).
Anticiparse sobre un intervalo.
 -Validez Concurrente------ Se revisa la concordancia entre el desempeño en la prueba y la condicion
actual en alguna otra variable. La prueba se aplica a personas que ya cuentan con datos de criterio, estado
actual. No se deja pasar tiempo entre la aplicación del instrumento y la correlación con el criterio externo.

Los 3 empleos comunes de la validez de criterio suponen el uso de:

- Criterio externo--------Criterio externo que ofrece una definición realista del constructo de interés,
define lo que en específico se quiere conocer. El coeficiente de validez es la correlación entre los criterios.

- Grupos de contraste-----Se quiere demostrar que la prueba diferencia a un grupo de otro, cuanto mejor
sea la diferenciación entre grupos más valida será la prueba.

- Correlación con otras pruebas--------- Se utiliza cuando es probable que la nueva tenga mejores normas
o procedimientos de calificación más eficaces.

Efectividad de la prueba para predecir el desempeño del individuo en actividades especificas.

Contaminacion del criterio como fuente de error en la validacion de la prueba, el resultado no deben influir
en la condicion del criterio de cualquier individuo. Medidas de criterio: Una prueba puede validarse si se la
compara con tantos criterios como usos especificos existan para ella.

También 2 conceptos a tener en cuenta en la VALIDEZ DE CRITERIO son:

*VALIDEZ CONVERGENTE--------- Correlación entre la prueba y algún criterio que se

considera que mide el mismo constructo de la prueba. Una misma dirección entre la prueba y el recurso
utilizado, hay convergencia entre ambos, una correlación alta.

*VALIDEZ DISCRIMINANTE--------- La prueba cuenta con una correlación relativamente baja

con constructos distintos al que se intenta medir. Cuando se busca correlacionar el instrumento con una
prueba en la que creemos que los constructos dos diferentes.

Para analizar la validez convergente y discriminante se utiliza la MATRIZ MULTIRASGO-

MULTIMETODO, cuando se intentan medir varios rasgos diferentes. La finalidad es demostrar que las
correlaciones dentro de un rasgo, pero que trascienden diferentes métodos, son más elevadas que las
correlaciones dentro de los métodos que trascienden diferentes rasgos.

- Matriz multirasgo------Pruebas que poseen distintos rasgos, por lo tanto, se espera que en todas
las dimensiones o rasgos se encuentre validez discriminante.

- Matriz multimétodo:-----Se utiliza más de instrumento y se espera encontrar correlación alta

 VALIDEZ DE CONSTRUCTO.

Se refiere al grado en que puede afirmarse que se mide el constructo o rasgo teórico. Centra su atención
en la función que cumple la teoría psicológica en la elaboración de la prueba y en la necesidad de formular
hipótesis que puedan ser comprobadas o refutadas en el proceso de validación, para lo cual requiere la
acumulación de diversas fuentes de información.

Una prueba que trata de medir cierto constructo que en ocasiones no tiene puntos de referencia obvios y
pueden darse distintas clases de evidencia que sustenten la proposicion de aquel a prueba mide el constructo.
Esos metodos son la validez de constructo. Como algo que incluye a la validez de contenido y relacionada
con el criterio. Los métodos para corroborar esta validez son:

- Análisis factorial-----Se evalúa la correlación de los ítems con las dimensiones de la definición del
constructo a estudiar. Forma de cotejar que los ítems del test se relacionen con el constructo y la teoría. Se
utiliza como herramienta la estadística. Remite reducir un numero de variables, ordenar los distintos ítems
en distintos factores. Su cantidad puede ser libre o regulada por el experimentador, y se tienen que relacionar
con las dimensiones teóricas de las que se parte en la conformación del instrumento.

- Efecto de variables experimentales------Se produce en el sujeto una variable, un factor (ejemplo:

proyectar una película) y luego se aplica el instrumento que se busca validar. El factor y el instrumento
tienen que estar relacionados con el constructo que se quiere validar (ejemplo: la emoción que provoca el
film debe relacionarse con el constructo).

- Correlación c/ otras pruebas------Se correlaciona la técnica c/ otra prueba que mida el constructo.

La validez de constructo de un instrumento es el grado en el que puede afirmarse que mide un

constructo o rasgo teorico. Re quiere de la acumulacion gradual de diversas fuentes de informacion.
Consecuencias: Relaciona la prueba con las consecuencias de sus usos e interpretaciones. El concepto
incluye las consecuencias deliberadas y las no deliberadas.

 VALIDEZ ECOLOGICA

Se garantiza la representatividad de las características sociales de la población de la que se extrajeron los

sujetos experimentales. Trata de la semejanza entre las condiciones de investigación y las condiciones que se
encuentran en el mundo real.

Grado en que la prueba tiene sentido en el ambito en que se se aplica. Insiste por un lado en la semejanza
entre las condiciones de investigacion y las condiciones del mundo real en que se produce un fenomeno, y
por otro, en que el sujeto experimente la situacion de investigacion con las mismas propiedades que el
investigador supone.

 COEFICIENTE DE VALIDEZ----Es la correlación entre la puntuación de la prueba y la medida

de criterio. Los datos empleados al calcular cualquier coeficiente de validez también pueden expresarse
como tablas o gráficos de expectanticas que muestran la probabilidad de que un individuo que obtiene
cierta puntuación en la prueba obtenga un nivel especificado de desempeño en la de criterio. Es esencial
especificar la naturaleza del grupo en el que se calculó el coeficiente de validez dado que la misma prueba
puede medir diferentes funciones cuando se aplica a individuos que difieren en características importantes
entre sí.
 VALIDE DE LA PRUEBA Y TEORIA DE LA DECISION----Una característica de la teoría de
decisión es que las pruebas se evalúan en términos de su eficacia en una situación particular. La evaluación
no solamente toma en consideración la validez de la prueba para predecir un criterio particular, sino
también otros parámetros como la tasa base y la razón de selección. La teoría de la decisión no introduce al
proceso de decisión el problema de los valores. Los sistemas de valores siempre han estado presentes en
las decisiones. La teoría de la decisión ha permitido centrar la atención en la complejidad de los factores
que determinan la contribución de determinado instrumento a una situación particular. El coeficiente de
validez por sí mismo no puede indicar si se debe usar o no una prueba, ya que solo uno de sus factores
puede ser considerados al evaluar el impacto de la prueba sobre la eficacia del proceso total de la toma de
decisiones.