Documente Academic
Documente Profesional
Documente Cultură
Artículo
Validez de contenido de una Entrevista Conductual
Estructurada*
RESUMEN
ABSTRACT
This paper reports on an empirical study of the content validity of a Structured Beha-
vioural Interview (SBI). The study was based on 11 experts’ ratings, using a method pro-
posed by Lawshe (1975). A significant Content Validity Ratio (CVR) was found for 4 out
of 14 questions and for 4 out of 10 general dimensions. A Content Validity Index (CVI) of
.86 was obtained for the significant dimensions as a whole and of .68 for the questions.
*
La investigación que se incluye este artículo ha sido parcialmente subvencionada por el Ministerio de Educa-
ción y Ciencia con cargo al proyecto SEJ2005-03842/PSIC en el que figura como investigadora Silvia Moscoso.
Toda la correspondencia referida al contenido del presente trabajo debe dirigirse a Beata Choragwicka
(beciach@usc.es) o bien a Silvia Moscoso (pssilvia@usc.es), Departamento de Psicología, Universidad Santiago
de Compostela, Campus Sur, 15872 Santiago, A Coruña, España.
1
Universidad de Santiago de Compostela.
Additionally, reliability was estimated by using the coefficient of agreement between raters
(6 or 12) and the result was .78, similar to the .75 value obtained in meta-analyses by Con-
way, Jako and Goodman (1995) and by Salgado and Moscoso (1995).
PALABRAS CLAVE
KEY WORDS
do a conclusiones diferentes que en caso ción del rango y error de medida en el cri-
de los estudios dedicados a la entrevista terio fue de .37, y para los 4 niveles de
convencional (Wagner, 1949; Mayfield, estandarización fue de .20, .35, .56, 57 (de
1964; Urlich y Trumbo, 1965; Wright, 1 a 4 respectivamente). Salgado y Mosco-
1969; Schmitt, 1976; Arvey y Campion, so (1995) en su investigación meta-analíti-
1982; Reilly y Chao, 1982; y Hunter y ca sobre la ECE, analizaron los estudios
Hunter, 1984). realizados entre 1980 y 1994 (N=2.121) y
encontraron una validez corregida de .68.
Con respecto a la validez, en 1988 Los autores concluyeron también que la
Wiesner y Cronshaw en una investigación ECE tiene una validez similar a la de los
que incluía no solamente los estudios nor- mejores métodos selectivos, siempre y
teamericanos sino también de otros países cuando se respeten los pasos de un des-
(Australia, Alemania, Francia, Holanda, arrollo correcto (en particular el análisis
Inglaterra, Israel, Suecia), encontraron un de puesto) y afirmaron que esta validez es
valor de validez de criterio de la entrevista generalizable a cualquier tipo de ocupa-
igual a .26 (no corregido) y .47 (corregi- ción. Más recientemente, Schmidt y Rader
do) (N=51.459). Descubrieron también (1999) realizaron un meta-análisis sobre la
que la validez de entrevista depende en validez de la entrevista estructurada tele-
gran medida del nivel de estructuración de fónica y alcanzaron una validez corregida
la misma; la validez promedio corregida de .40 para el criterio de rendimiento.
de las entrevistas individuales no estructu-
radas fue de .20, para las entrevistas de Todos los estudios mencionados indi-
panel no estructuradas de .37 y para las can que los valores de validez que pueda
entrevistas estructuradas individuales y de alcanzar la entrevista de selección en su
panel .63 y .60 respectivamente. A pesar formato estructurado son próximas a los
de las limitaciones de este meta-análisis, valores de validez de los mejores métodos
cabe enfatizar que fue el primer estudio selectivos: los tests de habilidades cogniti-
que de algún modo demostró que las vas (.51) y los tests de muestras de trabajo
entrevistas de selección podían ser un (.54). No obstante cabe resaltar que la
buen predictor del rendimiento. En el mayor parte de la investigación sobre la
siguiente meta-análisis sobre la entrevista validez de la entrevista de selección, y de
de empleo, McDaniel, Whetzel, Schmidt y su versión estructurada, se ha centrado en
Maurer (1994), al dividir las entrevistas en la validez de criterio, pues desde el punto
estructuradas y no estructuradas, hallaron de vista de la selección de personal, es la
que las primeras mostraban una validez evidencia de validez que suele interesar
corregida de .44 y las segundas de .33. más. Sin embargo, los otros tipos de vali-
El mismo año Huffcutt y Arthur lleva- dez también son de gran relevancia, prin-
ron a cabo un estudio meta-analítico cipalmente teniendo en cuenta que la vali-
(N=18.652) donde clasificaron las entre- dez es un concepto unitario, pero con dife-
vistas según dos criterios: (a) la de estan- rentes fuentes para aportar su evidencia
darización de preguntas (4 niveles progre- (SIOP, 2003). Cada una de estas fuentes,
sivos) y (b) la estandarización de las valo- tanto la validez de contenido como la de
raciones de las respuestas (3 niveles pro- criterio y la de constructo nos aportan una
gresivos). El coeficiente de la validez glo- información útil que, dependiendo de los
bal de la entrevista corregido por restric- objetivos de estudio, puede ser más o
menos eficaz para confirmar la relación Cabe mencionar que no es posible apli-
del instrumento de selección con el ámbito car el método de Lawshe (1975) a las
laboral en cuestión. En caso de la entrevis- entrevistas convencionales, ya que éstas a
ta, un método de selección basado en las menudo no poseen un único contenido,
valoraciones subjetivas, también la valida- sus preguntas varían de candidato a candi-
ción del contenido parece ser de gran rele- dato y, frecuentemente, están desvincula-
vancia. das por completo del ámbito laboral (p. ej.
preguntas sobre aficiones, opiniones o
La evidencia de la validez de contenido biográficas). Por esa razón no se puede
consiste en la mayoría de los casos en medir la relación que tienen estas pregun-
demostrar un fuerte vínculo entre el conte- tas con el contenido del puesto en cues-
nido del procedimiento de selección y los tión, aunque sí que parece posible utilizar
requisitos del puesto o las habilidades y la RVC en lo que concierne a las pregun-
destrezas necesarias para un buen desem- tas de las ECE que, partiendo de un análi-
peño en el mismo. Este procedimiento sis de puesto, se refieren a las conductas
aporta una base lógica para inferir los laborales específicas. Pero incluso así, no
resultados en los comportamientos organi- hay muchos trabajos previos sobre la vali-
zacionales de interés. El éxito del estudio dez de contenido de las entrevistas estruc-
basado en la validez de contenido está liga- turadas. En nuestro conocimiento, en la
do a las valoraciones aportadas por los actualidad existen solamente tres estudios
expertos en la materia (SIOP, 2003). publicados en los que se utilizó esta evi-
Lawshe en su trabajo “Quantitative appro- dencia de validez aplicándola a la entre-
ach to content validity” (1975) desarrolló vista de selección. En el primer estudio,
un modelo de cuantificación para relacio- Schmitt y Ostroff (1986) desarrollaron un
nar el contenido de un instrumento de procedimiento, del cual formaba parte una
selección y el desempeño. El autor deno- entrevista situacional, para seleccionar
mina a su método el Panel de Evaluación operadores de un teléfono de urgencias.
del Contenido y consiste en la utilización La entrevista desarrollada contenía 17 pre-
de un grupo de expertos con vasto conoci- guntas y evaluaba cuatro dimensiones
miento en el puesto de interés, los cuales principales: habilidades comunicativas,
deben evaluar de manera separada todos control emocional, juicio y compañeris-
los ítems que contiene el instrumento. A mo. Ocho expertos valoraron cada una de
continuación se calcula la fórmula llamada las preguntas y las RVC medias calcula-
Razón de Validez de Contenido (RVC) das para cada juez varían desde .53 a -.82.
que sirve para determinar cuales de las pre- Aunque la entrevista se basaba en el análi-
guntas (dimensiones) del instrumento ana- sis de puesto, solamente dos expertos eva-
lizado son significativas y deben de ser luaron más de la mitad de las preguntas
retenidas en la versión final del mismo. La como esenciales o necesarias y las RVC
mínima RVC aceptable varía según el provenientes de los restantes miembros de
número de los miembros del grupo de panel fueron negativos. En otro de los
expertos. Al final del procedimiento se cal- estudios mencionados, Carrier, Dalessio y
cula el Índice de Validez de Contenido Brown (1990) investigaron la relación
(IVC) para el total de la herramienta que es entre las inferencias basadas en la validez
un promedio de la validez de contenido de de contenido y las basadas en la validez de
todas las preguntas (ítems) significativas. criterio en un proceso selectivo para un
Tabla 1.
Evaluaciones del Panel de Expertos por dimensiones
vista. Tal y como se puede apreciar en la las preguntas obtuvo la RVC negativa
Tabla 1, ninguno de los miembros del (véase Tabla 2), es decir, menos de la
Panel de Evaluación del Contenido consi- mitad de los expertos la consideró funda-
deró alguna de las dimensiones evaluadas mental para un buen desempeño en el
por la entrevista como irrelevante. Cabe puesto del camarero (la pregunta 9.1). El
subrayar también que solamente una de resto de las preguntas (13 en total) han
Tabla 2.
Evaluación del Panel de Expertos por preguntas
lidad interjuez mínimo encontrado era de en los estudios meta-analíticos sobre las
.34 y el máximo de .91, con un promedio ECE (Conway, Jako y Goodman, 1995;
ponderado de .78. Salgado y Moscoso, 1995). En concreto,
encontramos la fiabilidad promedio pon-
derada por el tamaño de la muestra de .78,
DISCUSIÓN es decir ligeramente superior a la espera-
da.
En este estudio se confirmó nuestra
hipótesis inicial, que el valor de la fiabili- Otro resultado importante que también
dad de la ECE desarrollada será alrededor cabe destacar es que de las 12 entrevistas,
de .75, tal y cómo se indicó anteriormente las 4 que han sido valoradas por todos los
Tabla 3.
Resultados del análisis de fiabilidad interjuez de la entrevista desarrollada
miembros del panel (12) son las que han DISCUSIÓN GENERAL
alcanzado los niveles de fiabilidad más
altos con un promedio de .89. No obstan- El presente trabajo consistió en un exa-
te, entre los restantes ocho entrevistas, tres men empírico de la validez de contenido
estaban muy por debajo del valor .70, con- de una entrevista conductual estructurada,
siderado una fiabilidad aceptable de las basándose en las opiniones de un panel de
ECE. Dichas entrevistas fueron valoradas expertos, según el método sugerido por
por distintos paneles, dos fueron realiza- Lawshe (1975). Por otro lado se llevó a
das con hombres y una con una mujer; en cabo un examen empírico de la fiabilidad
dos casos el candidato tuvo experiencia de la entrevista, aplicándosela a los candi-
previa en el puesto y en un caso no. Por datos expertos e inexpertos y calculando
las razones mencionadas anteriormente, el coeficiente de fiabilidad a partir de las
cabe descartar que el bajo valor de fiabili- valoraciones aportadas por los paneles de
dad en los tres casos pudiese ser el resulta- 6 ó 12 jueces. Para poder realizar los estu-
do de las características del panel o bien dios mencionados se creó una entrevista
del perfil del candidato. Para contrastar, de descripción de conducta para un puesto
en el estudio de Salgado, Moscoso y de camarero, partiendo de un análisis de
Gorriti (2004) sobre las entrevistas con- puesto.
ductuales estructuradas utilizadas en la
AGPV se encontró que la mayoría de las Con respecto a la validación del conte-
entrevistas alcanzó los niveles de fiabili- nido, siguiendo el método propuesto por
dad de panel por encima de .90 con un Lawshe (1975), encontramos una RVC
valor mínimo de .73. positiva para todas las dimensiones y para
todas las preguntas menos una, lo que
Sin embargo, entre los puntos fuertes implica que estas han sido valoradas como
de este estudio cabe resaltar que el número fundamentales por más de la mitad de los
de los miembros de panel fue de un míni- miembros de panel. No obstante, la RVC
mo de 6 personas y un máximo de 12. En mínima aceptable para el Panel de la Eva-
la literatura existente acerca de la fiabili- luación del Contenido compuesto por 11
dad interjuez de la entrevista no hemos expertos es de .59 y esta RVC resultó ser
encontrado ningún estudio con el número una exigencia muy elevada para la entre-
igual (o superior) de jueces que valoraban vista desarrollada, ya que no la alcanzaron
a la vez a un sólo candidato. Cuantas más incluso las dimensiones y preguntas sobre
personas valoren dicho candidato, más fia- los cuales 8 de los 11 panelistas estaban
ble es el resultado final, y ésta es la base de acuerdo en que eran fundamentales
para tomar las decisiones sobre la eventual para un desempeño adecuado en el puesto
contratación del mismo. Por esa razón, es del camarero. En dos de los tres estudios
de interés para las empresas conseguir, en anteriores en los que se aplicó esta misma
la medida de lo posible, que la proporción técnica, tampoco se alcanzó una RVC sig-
de varianza verdadera que hay en la nificativa en la mayoría de preguntas. Este
varianza empírica de las puntuaciones de hecho está relacionado con el número de
los candidatos sea lo más alta posible. expertos utilizados y con que la fórmula
Como muestra el presente estudio, pode- RVC `penaliza´ la presencia de un número
mos conseguirlo aumentando el número pequeño de jueces. También se relaciona
de evaluadores. con la característica de este coeficiente de
no asignar ningún peso a las preguntas éxito, siempre y cuando ésta haya sido
consideradas por los jueces como útiles desarrollada de acuerdo con todos los
pero no fundamentales para un buen des- pasos debidos (véase Salgado y Moscoso,
empeño en el puesto. Por estas razones, 2001). Por esta razón deducimos que otra
sugerimos que la fórmula debería ser revi- de las limitaciones de este estudio fue un
sada para incorporar de algún modo las tiempo de entrenamiento de los jueces
preguntas que han sido valoradas como relativamente corto (una sesión de dos
útiles por la mayoría de los jueces. Por horas) que podría haberse alargado. Con-
ejemplo, se podría asignar algún peso siderando todas estas desventajas, cabe
menor que 1 también a los ítems conside- destacar otra vez que el resultado de fia-
rados útiles, aunque no fundamentales, bilidad interjuez obtenido (.78) es exito-
que hasta el momento han sido tratados so, ya que los instrumentos de selección
igual que los ítems valorados como irrele- más comunes, como los tests de habilidad
vantes. mental general o los tests de la personali-
dad basados en cinco grandes factores tie-
Por otro lado, el coeficiente de fiabili- nen una fiabilidad promedio de .83 y .80
dad promedio obtenido en esta investiga- respectivamente, es decir, muy cercana a
ción es de .78, lo que puede considerarse la encontrada para el instrumento analiza-
un resultado más que satisfactorio, en con- do. Por otra parte, la diferencia entre la
creto comparándolo con el resultado del fiabilidad encontrada por Salgado et al.
clásico meta-análisis de Conway, Jako y (2004) y la encontrada en este estudio
Goodman (1995) cuyo resultado promedio puede ser atribuible a la experiencia de
fue de .70, y de .75 para las entrevistas los miembros del panel al juzgar las con-
con el cuarto nivel de estandarización de ductas relativas al puesto de trabajo. Si
preguntas (igual al utilizado en la entrevis- esta conjetura es correcta, la diferencia
ta en cuestión), o comparándolo con el entre ser experto y no serlo añadiría (o
resultado de un trabajo meta-analítico de reduciría) un 15% el error de medida
Salgado y Moscoso (1995), donde la fiabi- (.93-.78).
lidad promedio encontrada de las ECE fue
de .75. Finalmente cabe mencionar que queda-
ría pendiente un estudio en el que se exa-
Aunque el resultado obtenido en el mine la validez predictiva de la entrevista
presente estudio (.78) es más bajo que la creada, es decir, que confirmare o no que
fiabilidad promedio de .93 encontrada por las personas seleccionadas con esta entre-
Salgado, Moscoso y Gorriti (2004) para vista presentan mejores resultados en tér-
las entrevistas conductuales estructuradas minos del desempeño de tarea, desempeño
utilizadas en la selección por la AGPV, contextual y, globalmente, en su producti-
cabe resaltar que en nuestro estudio no vidad. Esto implicaría el uso de dicho ins-
participaron los jueces expertos, ni entre- trumento en el proceso selectivo y la
vistadores homologados, indudablemente medición del desempeño de personas eva-
una de las limitaciones de este estudio. Al luadas tras transcurrir un periodo de tiem-
mismo tiempo se plantea una conclusión: po lo suficientemente largo para que per-
El uso de los entrevistadores expertos y mitiese la observación de su desempeño
homologados puede ser un elemento cru- en el puesto. En nuestro caso, no hemos
cial para la aplicación de una ECE con podido realizar tal estudio aunque creemos
que, dada la fiabilidad obtenida (rxx=.78), interrater and internal consistency reliabil-
la validez de contenido alcanzada ity of selection interviews. Journal of
(IVC=.86) y que fue desarrollada con Applied Psychology, 80(5), 565-579.
todos los requisitos de una entrevista con-
ductual estructurada, su validez de criterio Flanagan, J. C. (1954). The critical
debiera estar en torno a .45, al igual que el incidents technique. Psychological Bul-
promedio obtenido en las revisiones meta- letin, 51, 327-358.
analíticas de las entrevistas conductuales
estructuradas (Salgado y Moscoso, 1995; Green, P. C. y Hogan, D. D. (1982).
Salgado, 1999; Salgado, Viswesvaran y Behavioral Interviewing. Memphis, TN.
Ones, 2001).
Harris, M. M. (1989). Reconsidering
the employment interview: a review of
REFERENCIAS BIBLIOGRÁFICAS recent literature and suggestions for future
research. Personnel Psychology, 42, 691-
Anderson, N. R. (1992). Eight decades 725.
of employment interview research: a retro-
spective meta-review and prospective Huffcutt, A. I., y Arthur, W. Jr. (1994).
commentary. European Work and Organi- Hunter y Hunter (1984) revisited: Inter-
zational Psychologist, 2 (1), 1-32. view validity for entry-level jobs. Journal
of Applied Psychology, 79, 184-190.
Arvey, R. D., y Campion, J. E. (1982).
The employment interview: a Summary Hunter, J. E., y Hunter, R.F. (1984).
and review of recent research. Personnel Validity and utility of alternative predic-
Psychology, 35, 281-322. tors of job performance. Psychological
Bulletin, 96, 72-98.
Campion, M. A.; Palmer, D.K, y Cam-
pion, J.E. (1997). A review of structure in Janz, T. (1977). The behaviour based
the selection interview. Personnel psy- patterned interview: an effective alternati-
chology, 50, 1-64. ve to the warm smile selection interview.
Compendio de la Conferencia Anual de la
Campion, M. A.; Pursell, E. D., y Asociación de las Ciencias Administrati-
Brown, B. K. (1988). Structured inter- vas de Canadá.
viewing: Raising the psychometric proper-
ties of employment interview. Personnel Janz, T. (1982). Initial comparisons of
Psychology, 41, 2542. patterned behavior description interview
versus unstructured interviews. Journal of
Carrier, M. R.; Dalessio, A. T., y Applied Psychology, 67, 577-580.
Brown, S. H. (1990). Correspondence
between estimates of content and criteri- Janz, T. (1989). The Patterned Behav-
on-related validity values. Personnel Psy- ior Description Interview: The best
chology, 43, 85-100. prophet of the future is the past. En R. W.,
Eder y G. R., Ferris (Eds.). The employ-
Conway, J. M; Jako, R. A., y Good- ment interview: Theory, research and
man, D. F. (1995). A meta-analysis of practise. Beverly Hills, Sage: 158-168.
Implications for the employment interview. applicants what they would do versus
Personnel Psychology,29, 79-101. what they did do: A meta-analytic com-
parison of situational and past behaviour
Schmitt, N., y Ostroff, C. (1986). Oper- employment interview questions. Journal
ationalizing the «behavioral consistency» of Occupational and Organizational Psy-
approach: Selection test development chology,75, 277-294.
based on a content-oriented strategy. Per-
sonnel Psychology, 39, 91-108. Wagner, R. (1949). The employment
interview: A critical review. Personnel
Schüler, H., y Funke, U. (1989). The Psychology, 2, 17-46.
interview as a multimodal procedure. En
Eder, E.W. y Ferris G. R. (Eds.). The Wiesner, W. H., y Cronshaw, S. F.
employment interview: Theory, research (1988). The moderating impact of inter-
and practice. Newbury Park, CA: Sage. view format and degree of structure on
interview validity. Journal of Occupation-
SIOP (2003). Society for Industrial and al Psychology, 61, 275-290.
Organizational Psychology. Principles for
the validation and use of personnel selec- Wright, O. R. Jr. (1969). Summary of
tion procedures (4th ed.). Documento pdf., research on the selection interview since
www.siop.org 1964. Personnel Psychology, 22, 391-413.