Sunteți pe pagina 1din 18

Revista de Psicología del Trabajo y de las Organizaciones - 2007

Volumen 23, n.º 1 - Págs. 75-92. ISSN: 1576-5962

Artículo
Validez de contenido de una Entrevista Conductual
Estructurada*

Content validity of a Structured Behavioral Interview


BEATA CHORAGWICKA1
SILVIA MOSCOSO1
Fecha de Recepción: 10-10-2006 Fecha de Aceptación: 19-02-2007

RESUMEN

Este trabajo presenta un examen empírico de la validez de contenido de una Entrevista


Conductual Estructurada (ECE), realizado a partir de las valoraciones de un panel de 11
expertos, utilizando el método sugerido por Lawshe (1975). Se encontró la Razón de Vali-
dez de Contenido (RVC) significativa para 4 de las 14 preguntas y 4 de las 10 dimensiones.
El Índice de Validez de Contenido (IVC) hallado para las dimensiones significativas era de
.86 y para las preguntas significativas .68. También se estimó la fiabilidad del instrumento
mediante un coeficiente de acuerdo entre 6 ó 12 evaluadores, obteniendo un valor promedio
de .78, semejante al resultado .75 proveniente de los meta-análisis de Conway, Jako y
Goodman (1995) y de Salgado y Moscoso (1995).

ABSTRACT

This paper reports on an empirical study of the content validity of a Structured Beha-
vioural Interview (SBI). The study was based on 11 experts’ ratings, using a method pro-
posed by Lawshe (1975). A significant Content Validity Ratio (CVR) was found for 4 out
of 14 questions and for 4 out of 10 general dimensions. A Content Validity Index (CVI) of
.86 was obtained for the significant dimensions as a whole and of .68 for the questions.

*
La investigación que se incluye este artículo ha sido parcialmente subvencionada por el Ministerio de Educa-
ción y Ciencia con cargo al proyecto SEJ2005-03842/PSIC en el que figura como investigadora Silvia Moscoso.
Toda la correspondencia referida al contenido del presente trabajo debe dirigirse a Beata Choragwicka
(beciach@usc.es) o bien a Silvia Moscoso (pssilvia@usc.es), Departamento de Psicología, Universidad Santiago
de Compostela, Campus Sur, 15872 Santiago, A Coruña, España.
1
Universidad de Santiago de Compostela.

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 75


Validez de contenido de una Entrevista Conductual Estructurada

Additionally, reliability was estimated by using the coefficient of agreement between raters
(6 or 12) and the result was .78, similar to the .75 value obtained in meta-analyses by Con-
way, Jako and Goodman (1995) and by Salgado and Moscoso (1995).

PALABRAS CLAVE

Entrevista conductual estructurada, Validez de conteni-


do, Propiedades psicométricas.

KEY WORDS

Structured behavioral interview, Content validity, Psy-


chometric properties.

76 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1


B. Choragwicka, S. Moscoso

Varios estudios han confirmado que, (tests de habilidades cognitivas y tests de


independientemente del país del que se muestras de trabajo), siempre y cuando su
trate, las entrevistas son un núcleo central formato convencional (es decir no estruc-
de cualquier proceso selectivo, siendo turado) se sustituya por el formato de las
muchas veces la única base para tomar las entrevistas conductuales estructuradas
decisiones de contratación. Su flexibilidad (ECE) en las que se controlan e incluso
como método y su relativamente bajo coste eliminan varios de los sesgos existentes
de ejecución, comparando con otras técni- cuando un proceso de selección se basa en
cas de selección, permite su amplio uso: se las entrevistas convencionales (Salgado,
estima que, dependiendo de los autores del 1995).
estudio, el 90% de empresas europeas y
entre el 80 y 99% de empresas americanas La ECE es un modelo de entrevista
utilizan este instrumento en los procesos de relativamente reciente ya que se desarrolló
selección [Harris (1989); Salgado y Mosco- a lo largo de los años 80 del siglo XX.
so (2001); Moscoso y Salgado (2001); Bajo la denominación de las ECE están
McDaniel et. al (1994)]. Desde este punto incluidas la “entrevista de descripción de
de vista resulta sorprendente que los datos conducta” (Janz, 1977, 1982, 1989), la
acumulados a través de numerosas investi- “entrevista desarrollada a partir de un aná-
gaciones tanto cuantitativas (meta-análisis) lisis del puesto” (Campion, Pursell y
como cualitativas sobre las propiedades Brown, 1988; Wright, Lichtenfels y Pur-
psicométricas de las entrevistas de selec- sell, 1989), la “entrevista situacional”
ción convencionales muestran que éstas (Latham, Saari, Pursell, y Campion, 1980;
poseen una fiabilidad de moderada a baja y Latham, 1989), la “entrevista multimodal”
una validez de criterio muy pequeña (Wag- (Schüler y Funke, 1989), “entrevista con-
ner, 1949; Mayfield, 1964; Urlich y Trum- ductual” (Green y Hogan, 1882), y la
bo, 1965; Wright, 1969; Schmitt, 1976; “entrevista conductual estructurada”
Arvey y Campion, 1982; Reilly y Chao, (Motowidlo et al., 1992). Todas ellas unen
1982; y Hunter y Hunter, 1984). una serie de condiciones, que permite que
su denominación genérica sea igual (Sal-
Aunque pudiera tener un base real lo gado y Moscoso, 2001): (a) Las preguntas
anteriormente dicho, hoy en día existe una de la entrevista parten de un análisis de
gran bibliografía que indiscutiblemente puestos; (b) a todos los candidatos se les
demuestra que las propiedades psicométri- hacen las mismas preguntas; (c) se utilizan
cas de la entrevista aumentan cuanto más las escalas de valoración basadas en la
estructurado es su formato (Wiesner y conducta; (d) Se realiza el mismo proceso
Cronshaw, 1988; Harris, 1989; Anderson con todos los entrevistados; (e) los entre-
1992; Mc Daniel et al., 1994; Huffcutt y vistadores son previamente formados
Arthur, 1994, Salgado y Moscoso, 1995; sobre la ECE; (f) la decisión sobre la con-
Campion, Palmer y Campion, 1997; Sal- tratación se toma una vez terminadas
gado, Ones y Viswesvaran, 2001). Tanto todas las entrevistas.
los estudios meta-analíticos como los estu-
dios primarios ponen de manifiesto que A lo largo de los años, se han llevado a
las entrevistas pueden alcanzar unos nive- cabo múltiples estudios primarios y meta-
les de validez y fiabilidad similares a los analíticos que investigaban el tema de
de los mejores instrumentos selectivos validez y de fiabilidad de las ECE, llegan-

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 77


Validez de contenido de una Entrevista Conductual Estructurada

do a conclusiones diferentes que en caso ción del rango y error de medida en el cri-
de los estudios dedicados a la entrevista terio fue de .37, y para los 4 niveles de
convencional (Wagner, 1949; Mayfield, estandarización fue de .20, .35, .56, 57 (de
1964; Urlich y Trumbo, 1965; Wright, 1 a 4 respectivamente). Salgado y Mosco-
1969; Schmitt, 1976; Arvey y Campion, so (1995) en su investigación meta-analíti-
1982; Reilly y Chao, 1982; y Hunter y ca sobre la ECE, analizaron los estudios
Hunter, 1984). realizados entre 1980 y 1994 (N=2.121) y
encontraron una validez corregida de .68.
Con respecto a la validez, en 1988 Los autores concluyeron también que la
Wiesner y Cronshaw en una investigación ECE tiene una validez similar a la de los
que incluía no solamente los estudios nor- mejores métodos selectivos, siempre y
teamericanos sino también de otros países cuando se respeten los pasos de un des-
(Australia, Alemania, Francia, Holanda, arrollo correcto (en particular el análisis
Inglaterra, Israel, Suecia), encontraron un de puesto) y afirmaron que esta validez es
valor de validez de criterio de la entrevista generalizable a cualquier tipo de ocupa-
igual a .26 (no corregido) y .47 (corregi- ción. Más recientemente, Schmidt y Rader
do) (N=51.459). Descubrieron también (1999) realizaron un meta-análisis sobre la
que la validez de entrevista depende en validez de la entrevista estructurada tele-
gran medida del nivel de estructuración de fónica y alcanzaron una validez corregida
la misma; la validez promedio corregida de .40 para el criterio de rendimiento.
de las entrevistas individuales no estructu-
radas fue de .20, para las entrevistas de Todos los estudios mencionados indi-
panel no estructuradas de .37 y para las can que los valores de validez que pueda
entrevistas estructuradas individuales y de alcanzar la entrevista de selección en su
panel .63 y .60 respectivamente. A pesar formato estructurado son próximas a los
de las limitaciones de este meta-análisis, valores de validez de los mejores métodos
cabe enfatizar que fue el primer estudio selectivos: los tests de habilidades cogniti-
que de algún modo demostró que las vas (.51) y los tests de muestras de trabajo
entrevistas de selección podían ser un (.54). No obstante cabe resaltar que la
buen predictor del rendimiento. En el mayor parte de la investigación sobre la
siguiente meta-análisis sobre la entrevista validez de la entrevista de selección, y de
de empleo, McDaniel, Whetzel, Schmidt y su versión estructurada, se ha centrado en
Maurer (1994), al dividir las entrevistas en la validez de criterio, pues desde el punto
estructuradas y no estructuradas, hallaron de vista de la selección de personal, es la
que las primeras mostraban una validez evidencia de validez que suele interesar
corregida de .44 y las segundas de .33. más. Sin embargo, los otros tipos de vali-
El mismo año Huffcutt y Arthur lleva- dez también son de gran relevancia, prin-
ron a cabo un estudio meta-analítico cipalmente teniendo en cuenta que la vali-
(N=18.652) donde clasificaron las entre- dez es un concepto unitario, pero con dife-
vistas según dos criterios: (a) la de estan- rentes fuentes para aportar su evidencia
darización de preguntas (4 niveles progre- (SIOP, 2003). Cada una de estas fuentes,
sivos) y (b) la estandarización de las valo- tanto la validez de contenido como la de
raciones de las respuestas (3 niveles pro- criterio y la de constructo nos aportan una
gresivos). El coeficiente de la validez glo- información útil que, dependiendo de los
bal de la entrevista corregido por restric- objetivos de estudio, puede ser más o

78 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1


B. Choragwicka, S. Moscoso

menos eficaz para confirmar la relación Cabe mencionar que no es posible apli-
del instrumento de selección con el ámbito car el método de Lawshe (1975) a las
laboral en cuestión. En caso de la entrevis- entrevistas convencionales, ya que éstas a
ta, un método de selección basado en las menudo no poseen un único contenido,
valoraciones subjetivas, también la valida- sus preguntas varían de candidato a candi-
ción del contenido parece ser de gran rele- dato y, frecuentemente, están desvincula-
vancia. das por completo del ámbito laboral (p. ej.
preguntas sobre aficiones, opiniones o
La evidencia de la validez de contenido biográficas). Por esa razón no se puede
consiste en la mayoría de los casos en medir la relación que tienen estas pregun-
demostrar un fuerte vínculo entre el conte- tas con el contenido del puesto en cues-
nido del procedimiento de selección y los tión, aunque sí que parece posible utilizar
requisitos del puesto o las habilidades y la RVC en lo que concierne a las pregun-
destrezas necesarias para un buen desem- tas de las ECE que, partiendo de un análi-
peño en el mismo. Este procedimiento sis de puesto, se refieren a las conductas
aporta una base lógica para inferir los laborales específicas. Pero incluso así, no
resultados en los comportamientos organi- hay muchos trabajos previos sobre la vali-
zacionales de interés. El éxito del estudio dez de contenido de las entrevistas estruc-
basado en la validez de contenido está liga- turadas. En nuestro conocimiento, en la
do a las valoraciones aportadas por los actualidad existen solamente tres estudios
expertos en la materia (SIOP, 2003). publicados en los que se utilizó esta evi-
Lawshe en su trabajo “Quantitative appro- dencia de validez aplicándola a la entre-
ach to content validity” (1975) desarrolló vista de selección. En el primer estudio,
un modelo de cuantificación para relacio- Schmitt y Ostroff (1986) desarrollaron un
nar el contenido de un instrumento de procedimiento, del cual formaba parte una
selección y el desempeño. El autor deno- entrevista situacional, para seleccionar
mina a su método el Panel de Evaluación operadores de un teléfono de urgencias.
del Contenido y consiste en la utilización La entrevista desarrollada contenía 17 pre-
de un grupo de expertos con vasto conoci- guntas y evaluaba cuatro dimensiones
miento en el puesto de interés, los cuales principales: habilidades comunicativas,
deben evaluar de manera separada todos control emocional, juicio y compañeris-
los ítems que contiene el instrumento. A mo. Ocho expertos valoraron cada una de
continuación se calcula la fórmula llamada las preguntas y las RVC medias calcula-
Razón de Validez de Contenido (RVC) das para cada juez varían desde .53 a -.82.
que sirve para determinar cuales de las pre- Aunque la entrevista se basaba en el análi-
guntas (dimensiones) del instrumento ana- sis de puesto, solamente dos expertos eva-
lizado son significativas y deben de ser luaron más de la mitad de las preguntas
retenidas en la versión final del mismo. La como esenciales o necesarias y las RVC
mínima RVC aceptable varía según el provenientes de los restantes miembros de
número de los miembros del grupo de panel fueron negativos. En otro de los
expertos. Al final del procedimiento se cal- estudios mencionados, Carrier, Dalessio y
cula el Índice de Validez de Contenido Brown (1990) investigaron la relación
(IVC) para el total de la herramienta que es entre las inferencias basadas en la validez
un promedio de la validez de contenido de de contenido y las basadas en la validez de
todas las preguntas (ítems) significativas. criterio en un proceso selectivo para un

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 79


Validez de contenido de una Entrevista Conductual Estructurada

puesto de representante de compañía de nivel de estandarización (a todos los can-


seguros. Las aptitudes de los candidatos se didatos se les hace las mismas preguntas,
verificaban mediante tres versiones de no obstante el entrevistador tiene cierta
entrevista situacional. Como criterio se libertad para adaptar las preguntas y son-
utilizaron la cantidad de comisiones obte- dear al candidato cuando lo considere
nidas y la permanencia en el puesto. Las oportuno) el valor de la fiabilidad fue de
RVC para cada pregunta fueron estimadas .75 (N=12.549). Dichos autores aportaron
partiendo de las valoraciones de 300 supe- también los coeficientes alfa de las valora-
riores. La RVC mínima aceptable para ciones de la entrevista, es decir de la fiabi-
este número de las valoraciones es de .15, lidad por consistencia interna que fueron
aunque los valores hallados para tres tipos de .67 para las entrevistas altamente
de las entrevistas utilizadas fueron .03, - estructuradas, .56 para las entrevistas
.21, -.22, respectivamente. El tercer estu- semiestructuradas y .34 para las entrevis-
dio conocido fue llevado acabo por Mos- tas no estructuradas. Al mismo tiempo,
coso y Salgado (2001). Los autores calcu- Salgado y Moscoso (1995) analizando
laron la validez de contenido de una entre- conjuntamente los datos disponibles sobre
vista de descripción de conducta, desarro- la fiabilidad interjuez de las ECE encon-
llada para un puesto de vigilante de segu- traron una fiabilidad promedio de .75, es
ridad. El instrumento contenía 7 preguntas decir, igual que en el meta-análisis de
y cada una de ellas fue valorada por un Conway, Jako y Goodman (1995). Más
panel compuesto por 11 expertos. La RVC recientemente, Taylor y Small (2002) en
hallada para la mayoría de preguntas fue una investigación meta-analítica encontra-
significativa y obtuvieron un IVC de .89. ron un coeficiente de fiabilidad .79 para
las entrevistas situacionales y .76 para las
En cuanto a la fiabilidad de las ECE de descripción de conducta. Otro meta-
existen varios estudios primarios cuyo análisis sobre la fiabilidad interjuez de la
propósito era analizar esta propiedad ECE es el de Salgado, Moscoso y Gorriti
investigando algunos tipos de entrevistas (2004) llevado a cabo en España, en la
estructuradas. No obstante, hasta hace Administración General del País Vasco
poco la bibliografía más numerosa concer- (AGPV). Dichos autores analizaron la fia-
nía las entrevistas situacionales. Latham, bilidad de las entrevistas conductuales
Saari, Pursell y Campion (1980) encontra- estructuradas utilizadas en el proceso de
ron un coeficiente de fiabilidad intereva- selección para los puestos de jefatura de la
luador de .76 (N=49) y .79 (N=63) utili- AGPV. Se investigaron las fiabilidades
zando tres entrevistadores. Campion, Pur- para un conjunto de 20 entrevistas des-
sell y Brown (1988) obtuvieron un resulta- arrolladas para otros tantos puestos especí-
do de .88 (N=149), utilizando igualmente ficos del personal funcionario del Gobier-
tres entrevistadores. Por otro lado, la pri- no Vasco. Los paneles de expertos se
mera investigación importante que confir- componían de 3 ó 4 personas, entrevista-
maría alta fiabilidad de la entrevista de la dores con experiencia de los que uno
descripción de conducta fue el metaanálsis siempre era un entrevistador homologado.
de Conway, Jako y Goodman (1995) Los coeficientes de fiabilidad de cada uno
donde el valor promedio de la fiabilidad de los miembros de los paneles varían
interevaluador encontrado fue de. 70 y desde .41 hasta .96 y un valor promedio
cuando se utilizaban las preguntas con alto fue de .83. En cuanto a la fiabilidad de

80 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1


B. Choragwicka, S. Moscoso

distintos paneles, los coeficientes varían camareros de los restaurantes y hoteles


desde. 73 a .93, con un promedio de .93. más apreciados de Santiago de Composte-
la (Galicia), dueños de los restaurantes en
Resumiendo, las ECE pueden aportar Santiago, profesores del Centro Superior
valores de validez y de fiabilidad muy ele- de Hostelería de Galicia y profesionales
vados, siempre y cuando su desarrollo haya de la profesión, valoraron por separado las
sido correcto. En cuanto a validez de las preguntas y las dimensiones de una ECE
mismas cabe enfatizar que no siempre es desarrollada para seleccionar camareros.
posible aportar las evidencias para su vali-
dación de criterio, por lo que la validación
de contenido puede ser una alternativa com- PROCEDIMIENTO
prometedora. No obstante la investigación
al respecto es insuficiente y no aporta resul- En el estudio se utilizó una entrevista
tados contundentes, por lo que se necesitan de descripción de conducta de Janz (1977,
más estudios dedicados a este tema. 1982, 1989). El objetivo de esta modali-
dad de la ECE es conocer el comporta-
El presente artículo contiene los resulta- miento del candidato en situaciones pasa-
dos de dos estudios independientes pero das, que se parezcan lo máximo posible a
relacionados, cuyo fin es determinar la vali- las situaciones a las cuales el candidato
dez de contenido y fiabilidad interjuez de la tendrá que enfrentarse en el puesto al que
misma ECE desarrollada para seleccionar aspira. La entrevista utilizada fue desarro-
camareros. Los objetivos de este trabajo llada a partir de un número elevado (137)
son averiguar: (a) en qué medida los valo- de incidentes críticos (véase Flanagan,
res de la validez de contenido de la ECE 1954), respetando todos los pasos indica-
utilizada se aproximan al modelo de exce- dos por Janz (1977, 1982, 1989), con las
lencia propuesto por Lawshe (1975) y (b) modificaciones propuestas por Salgado y
en qué medida la fiabilidad interjuez de la Moscoso (2001) y Moscoso y Salgado
misma es cercana a los valores provenien- (2001). La versión original de la entrevis-
tes de los estudios meta-analíticos sobre la ta, aplicada al estudio de validación de
fiabilidad de las ECE (Conway, Jako y contenido, la formaban 14 preguntas
Goodman, 1995; Salgado y Moscoso, correspondientes a 10 dimensiones gene-
1995). Nuestra hipótesis inicial es que la rales. A seis dimensiones les correspondía
mayoría de preguntas y dimensiones alcan- una pregunta (amabilidad, resistencia al
zarán la RVC significativa y que la fiabili- estrés, solucionar problemas, “saber ganar
dad promedio será alrededor de .75. clientes”, paciencia, compañerismo) y a
cuatro les correspondían dos preguntas
(responsabilidad, atención, discreción,
ESTUDIO 1 conocimientos del puesto). A cada pre-
gunta principal, la seguían las preguntas
MÉTODO de sondeo destinadas a profundizar el
conocimiento del entrevistador en cuanto
Muestra a la situación descrita por el candidato.

Once expertos en materia de hostelería, El cálculo de la validez de contenido se


que incluían a supervisores directos de los realizó a partir del método del Panel de

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 81


Validez de contenido de una Entrevista Conductual Estructurada

Evaluación de Contenido desarrollado por para un rendimiento adecuado en el pues-


Lawshe (1975). A cada uno de los miem- to. Si alguna está considerada irrelevante,
bros se le proporcionó un ejemplar de la es por un máximo de 3 de los 11 miem-
entrevista, la descripción de las dimensio- bros del panel.
nes que ésta evalúa y una hoja de evalua-
ción estandarizada. Los expertos dieron su No obstante, cabe destacar que una
puntuación en cada una de las dimensio- RVC significativa la consiguieron sola-
nes y también en cada una de las pregun- mente 4 de las 10 dimensiones y 4 de las
tas de la entrevista, respondiendo a la 14 preguntas. Según el método de Laws-
cuestión: “¿La característica (conocimien- he, la RVC mínima para el Panel de Eva-
to, habilidad) que mide esta dimensión/ luación del Contenido compuesto por 11
pregunta le parece a Usted: (a) fundamen- expertos es de .59. Esta razón de validez
tal, (b) útil pero no fundamental, o (c) irre- de contenido resultó ser muy exigente, ya
levante para el desempeño adecuado en el que no la alcanzaron incluso las dimensio-
puesto del camarero?”. nes y preguntas sobre las cuales 8 de los
11 panelistas coincidían en que eran fun-
A continuación se calculó la Razón de damentales para un desempeño adecuado
Validez de Contenido (RVC) para cada en el puesto de camarero. Solamente cuan-
dimensión y para cada pregunta, y el Índi- do 9 de los 11 panelistas indicaron dicha
ce de Validez de Contenido (IVC) para el dimensión (o la pregunta) como funda-
total de dimensiones y el total de las pre- mental, el ítem valorado alcanzó la RVC
guntas significativas de la entrevista. significativa. Éste era el caso de las
dimensiones: amabilidad (1), resistencia al
estrés (.82), responsabilidad (.82) y aten-
RESULTADOS ción (.82). Las preguntas evaluadas como
fundamentales por nueve o más panelistas
En la Tabla 1 se pueden ver los resul- no siempre coincidieron con las dimensio-
tados del procedimiento de validación de nes anteriormente mencionadas y fueron
contenido de las dimensiones de la entre- las preguntas 3.1 (solucionar problemas)
vista. Tal y como puede verse, ninguno RVC = .82; 5.1 (atención) RVC = .64, 6.1
de los miembros del panel consideró que (conocimientos del puesto) RVC = .64 y
alguna de las dimensiones de la entrevis- 8.1 (compañerismo) RVC = .64 (véase
ta era irrelevante y también puede verse Tabla 2). El IVC para las dimensiones sig-
que siempre más de la mitad de los nificativas es de .86 y para las preguntas
miembros estaba de acuerdo en que cada significativas es de .68.
una de las dimensiones es fundamental
para un buen desempeño en el puesto de
camarero, lo que indica que el instrumen- DISCUSIÓN
to ha sido creado exitosamente. En la
Tabla 2 aparecen los resultados de las El estudio de la validez de contenido
valoraciones de los jueces en cuanto a las no confirmó completamente nuestra hipó-
preguntas de la entrevista. En este caso, tesis ya que sólo una parte de las pregun-
todas las preguntas menos una (la pre- tas y dimensiones mostró la RVC signifi-
gunta 9.1) fueron valoradas por la mayo- cativa. Los resultados obtenidos se pue-
ría de los expertos como fundamentales den considerar desde diferentes puntos de

82 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1


B. Choragwicka, S. Moscoso

Tabla 1.
Evaluaciones del Panel de Expertos por dimensiones

vista. Tal y como se puede apreciar en la las preguntas obtuvo la RVC negativa
Tabla 1, ninguno de los miembros del (véase Tabla 2), es decir, menos de la
Panel de Evaluación del Contenido consi- mitad de los expertos la consideró funda-
deró alguna de las dimensiones evaluadas mental para un buen desempeño en el
por la entrevista como irrelevante. Cabe puesto del camarero (la pregunta 9.1). El
subrayar también que solamente una de resto de las preguntas (13 en total) han

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 83


Validez de contenido de una Entrevista Conductual Estructurada

Tabla 2.
Evaluación del Panel de Expertos por preguntas

sido valoradas como fundamentales para 4 de las 10 dimensiones y 4 de las 14 pre-


un desempeño adecuado en el puesto de guntas alcanzaron la razón de validez de
camarero por la mayoría de los panelistas contenido significativa según el método
(mínimo por 6). Desde este punto de desarrollado por Lawshe (1975). ¿Por qué
vista, el instrumento de selección que cre- ocurre eso con un instrumento basado en
amos es exitoso. Por otro lado, solamente un número de incidentes críticos alto? Un

84 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1


B. Choragwicka, S. Moscoso

examen más detenido del método de ESTUDIO 2


Lawshe muestra que éste asigna el valor 1
a todos los ítems del instrumento valora- MÉTODO
dos por los expertos como fundamentales
y que los ítems considerados tanto útiles Muestra
como irrelevantes tienen el mismo peso,
es decir 0, lo que hace este procedimiento Entrevistados. Seis hombres y seis
desmesuradamente estricto y que requiere mujeres fueron entrevistados mediante la
un número de jueces muy alto para ate- ECE, en cada grupo la mitad tuvo expe-
nuar algo el grado de exigencia del méto- riencia previa en el puesto de camarero.
do. A la vez, el grado de exigencia que el Su edad varía entre 21 y 43 años. Ocho
método de Lawshe impone a los procedi- eran españoles y cuatro eran extranjeros
mientos cuanto el número de jueces no es y provenían de México, Honduras,
alto, nos lleva a sugerir la necesidad de la Colombia y Polonia (dos pertenecían a
creación de un procedimiento alternativo candidatos con experiencia laboral previa
al método de Lawshe en el que se podría y dos a candidatos sin experiencia; dos
asignar algún peso (menor que 1) a la res- eran mujeres y dos hombres). Los entre-
puesta Este ítem me parece útil pero no vistados no estaban sujetos a un proceso
fundamental. Finalmente, para elegir las de selección verdadero, la muestra se
preguntas que formarían parte de la ver- creó para satisfacer las necesidades del
sión final de la entrevista hay que elegir presente estudio, estando todos los candi-
uno de varios posibles caminos. Una de datos expertos empleados como camare-
las opciones sería seguir estrictamente el ros en el momento de la realización de la
procedimiento de Lawshe (1975) y dejar entrevista.
en la versión final del instrumento sola-
mente las preguntas y dimensiones con la Jueces. Doce personas (tres hombres y
RVC significativa. No obstante este méto- nueve mujeres) que no tenían experiencia
do no siempre es recomendable ya que, previa a la hora de valorar las entrevistas
tal y como lo demuestran algunos de los conductuales, pero fueron entrenados en la
estudios anteriores (Schmitt y Ostroff, función que debían desempeñar. Todos
1986; Carrier et al., 1990), no en todos los eran de nacionalidad española.
casos es posible conseguir que un número
de ítems elevado lo consiga. Otra posibili-
dad sería dejar todas las preguntas/dimen- PROCEDIMIENTO
siones que tienen la RVC positiva, es
decir, las que han sido valoradas como El total de 12 entrevistas de las que se
fundamentales por de la mitad de los componía nuestro estudio fueron llevadas
panelistas. La siguiente de las posibilida- a cabo por un único entrevistador y graba-
des sería que el investigador estableciera das en un soporte digital de tal modo que
a priori el número mínimo de jueces que solamente se oía la voz del candidato, sin
deben considerar dicho ítem como funda- que se pudiera ver su apariencia física.
mental, que en nuestro caso podría ser Esto se hizo para controlar que sólo las
siete u ocho, y a partir del cual se incluirí- respuestas a las preguntas de entrevista
an las preguntas en la versión final de la eran evaluadas por los jueces. Para llevar
entrevista. a cabo las entrevistas se utilizaron dos ver-

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 85


Validez de contenido de una Entrevista Conductual Estructurada

siones resumidas de la entrevista descrita dos candidatos en una reunión de los


anteriormente en el estudio de la valida- miembros del panel. Los miembros del
ción de contenido (para candidatos con y panel trabajaron por separado, sin poder
sin previa experiencia en el puesto). De consultar sus opiniones con los demás
las 14 preguntas originales se han utiliza- miembros. Se les pidió a los jueces que
do 10 preguntas para candidatos expertos tomasen notas mientras escuchaban la
y 9 para los candidatos inexpertos que entrevista y valorasen al candidato al final
reflejaban las mismas 7 dimensiones gene- de la entrevista. Los candidatos fueron
rales (amabilidad, resistencia al estrés, res- valorados en la escala de 1 (desempeño
ponsabilidad, atención en el trabajo, cono- extraordinariamente malo) a 5 (desempe-
cimientos del puesto, compañerismo, dis- ño extraordinariamente bueno) de forma
creción). separada en cada pregunta.

Como ya se indicó, los jueces recibie- Para conseguir el valor de la fiabilidad


ron un curso de formación sobre la ECE. de la entrevista en cuestión se utilizó un
En dicho curso, los jueces recibían infor- coeficiente de acuerdo entre los evaluado-
mación sobre qué son las ECE, que las res. Se calculó la fiabilidad de los paneles
diferencia de otras modalidades de entre- (rxx panel) para todas entrevistas realizadas.
vista, cómo se recoge información, cómo Con este propósito se aplicó la fórmula
se formulan las preguntas, qué relación profecía de Spearman-Brown, entendien-
tienen con el empleo a desarrollar y, fun- do como “n” el número de los miembros
damentalmente, como se evalúan las res- de panel. Puesto que había paneles de 6 ó
puestas mediante escalas de valoración 12 miembros, la fórmula podía adoptar
con anclajes conductuales. Antes de una de las siguientes formas:
comenzar el estudio propiamente dicho,
los jueces hicieron varias prácticas de rxx panel= (6 * rxx individual) / [1 + (5* rxx individual)]
evaluación de preguntas y se contestaron
las preguntas que tenían. Además del o bien
entrenamiento previo, los evaluadores
fueron equipados con un manual que con- rxx panel= (12 * rxx individual) / [1 + (11* rxx individual)]
tenía las instrucciones específicas, las
versiones de la entrevista para candidatos
con y sin experiencia con las preguntas RESULTADOS
de sondeo, las descripciones de las
dimensiones y las escalas de valoración En la Tabla 3, la primera columna
de conducta con anclajes conductuales. muestra el número de la entrevista, la
Los panelistas disponían también de una segunda, la correlación promedio entre las
hoja de evaluación estandarizada para valoraciones de todos los jueces miembros
cada candidato. del panel (fiabilidad individual promedio),
la tercera, la fiabilidad de panel, y las tres
Cuatro candidatos fueron valorados por últimas columnas, el número de jueces
todos los jueces (12) y los ocho restantes que valoraron cada entrevista, el sexo del
por seis jueces (cuatro por un grupo de entrevistado y si éste poseía o no expe-
seis jueces y los demás cuatro por otro riencia laboral previa en el puesto. Se
grupo de seis). Nunca se evaluaron más de puede apreciar que el coeficiente de fiabi-

86 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1


B. Choragwicka, S. Moscoso

lidad interjuez mínimo encontrado era de en los estudios meta-analíticos sobre las
.34 y el máximo de .91, con un promedio ECE (Conway, Jako y Goodman, 1995;
ponderado de .78. Salgado y Moscoso, 1995). En concreto,
encontramos la fiabilidad promedio pon-
derada por el tamaño de la muestra de .78,
DISCUSIÓN es decir ligeramente superior a la espera-
da.
En este estudio se confirmó nuestra
hipótesis inicial, que el valor de la fiabili- Otro resultado importante que también
dad de la ECE desarrollada será alrededor cabe destacar es que de las 12 entrevistas,
de .75, tal y cómo se indicó anteriormente las 4 que han sido valoradas por todos los

Tabla 3.
Resultados del análisis de fiabilidad interjuez de la entrevista desarrollada

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 87


Validez de contenido de una Entrevista Conductual Estructurada

miembros del panel (12) son las que han DISCUSIÓN GENERAL
alcanzado los niveles de fiabilidad más
altos con un promedio de .89. No obstan- El presente trabajo consistió en un exa-
te, entre los restantes ocho entrevistas, tres men empírico de la validez de contenido
estaban muy por debajo del valor .70, con- de una entrevista conductual estructurada,
siderado una fiabilidad aceptable de las basándose en las opiniones de un panel de
ECE. Dichas entrevistas fueron valoradas expertos, según el método sugerido por
por distintos paneles, dos fueron realiza- Lawshe (1975). Por otro lado se llevó a
das con hombres y una con una mujer; en cabo un examen empírico de la fiabilidad
dos casos el candidato tuvo experiencia de la entrevista, aplicándosela a los candi-
previa en el puesto y en un caso no. Por datos expertos e inexpertos y calculando
las razones mencionadas anteriormente, el coeficiente de fiabilidad a partir de las
cabe descartar que el bajo valor de fiabili- valoraciones aportadas por los paneles de
dad en los tres casos pudiese ser el resulta- 6 ó 12 jueces. Para poder realizar los estu-
do de las características del panel o bien dios mencionados se creó una entrevista
del perfil del candidato. Para contrastar, de descripción de conducta para un puesto
en el estudio de Salgado, Moscoso y de camarero, partiendo de un análisis de
Gorriti (2004) sobre las entrevistas con- puesto.
ductuales estructuradas utilizadas en la
AGPV se encontró que la mayoría de las Con respecto a la validación del conte-
entrevistas alcanzó los niveles de fiabili- nido, siguiendo el método propuesto por
dad de panel por encima de .90 con un Lawshe (1975), encontramos una RVC
valor mínimo de .73. positiva para todas las dimensiones y para
todas las preguntas menos una, lo que
Sin embargo, entre los puntos fuertes implica que estas han sido valoradas como
de este estudio cabe resaltar que el número fundamentales por más de la mitad de los
de los miembros de panel fue de un míni- miembros de panel. No obstante, la RVC
mo de 6 personas y un máximo de 12. En mínima aceptable para el Panel de la Eva-
la literatura existente acerca de la fiabili- luación del Contenido compuesto por 11
dad interjuez de la entrevista no hemos expertos es de .59 y esta RVC resultó ser
encontrado ningún estudio con el número una exigencia muy elevada para la entre-
igual (o superior) de jueces que valoraban vista desarrollada, ya que no la alcanzaron
a la vez a un sólo candidato. Cuantas más incluso las dimensiones y preguntas sobre
personas valoren dicho candidato, más fia- los cuales 8 de los 11 panelistas estaban
ble es el resultado final, y ésta es la base de acuerdo en que eran fundamentales
para tomar las decisiones sobre la eventual para un desempeño adecuado en el puesto
contratación del mismo. Por esa razón, es del camarero. En dos de los tres estudios
de interés para las empresas conseguir, en anteriores en los que se aplicó esta misma
la medida de lo posible, que la proporción técnica, tampoco se alcanzó una RVC sig-
de varianza verdadera que hay en la nificativa en la mayoría de preguntas. Este
varianza empírica de las puntuaciones de hecho está relacionado con el número de
los candidatos sea lo más alta posible. expertos utilizados y con que la fórmula
Como muestra el presente estudio, pode- RVC `penaliza´ la presencia de un número
mos conseguirlo aumentando el número pequeño de jueces. También se relaciona
de evaluadores. con la característica de este coeficiente de

88 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1


B. Choragwicka, S. Moscoso

no asignar ningún peso a las preguntas éxito, siempre y cuando ésta haya sido
consideradas por los jueces como útiles desarrollada de acuerdo con todos los
pero no fundamentales para un buen des- pasos debidos (véase Salgado y Moscoso,
empeño en el puesto. Por estas razones, 2001). Por esta razón deducimos que otra
sugerimos que la fórmula debería ser revi- de las limitaciones de este estudio fue un
sada para incorporar de algún modo las tiempo de entrenamiento de los jueces
preguntas que han sido valoradas como relativamente corto (una sesión de dos
útiles por la mayoría de los jueces. Por horas) que podría haberse alargado. Con-
ejemplo, se podría asignar algún peso siderando todas estas desventajas, cabe
menor que 1 también a los ítems conside- destacar otra vez que el resultado de fia-
rados útiles, aunque no fundamentales, bilidad interjuez obtenido (.78) es exito-
que hasta el momento han sido tratados so, ya que los instrumentos de selección
igual que los ítems valorados como irrele- más comunes, como los tests de habilidad
vantes. mental general o los tests de la personali-
dad basados en cinco grandes factores tie-
Por otro lado, el coeficiente de fiabili- nen una fiabilidad promedio de .83 y .80
dad promedio obtenido en esta investiga- respectivamente, es decir, muy cercana a
ción es de .78, lo que puede considerarse la encontrada para el instrumento analiza-
un resultado más que satisfactorio, en con- do. Por otra parte, la diferencia entre la
creto comparándolo con el resultado del fiabilidad encontrada por Salgado et al.
clásico meta-análisis de Conway, Jako y (2004) y la encontrada en este estudio
Goodman (1995) cuyo resultado promedio puede ser atribuible a la experiencia de
fue de .70, y de .75 para las entrevistas los miembros del panel al juzgar las con-
con el cuarto nivel de estandarización de ductas relativas al puesto de trabajo. Si
preguntas (igual al utilizado en la entrevis- esta conjetura es correcta, la diferencia
ta en cuestión), o comparándolo con el entre ser experto y no serlo añadiría (o
resultado de un trabajo meta-analítico de reduciría) un 15% el error de medida
Salgado y Moscoso (1995), donde la fiabi- (.93-.78).
lidad promedio encontrada de las ECE fue
de .75. Finalmente cabe mencionar que queda-
ría pendiente un estudio en el que se exa-
Aunque el resultado obtenido en el mine la validez predictiva de la entrevista
presente estudio (.78) es más bajo que la creada, es decir, que confirmare o no que
fiabilidad promedio de .93 encontrada por las personas seleccionadas con esta entre-
Salgado, Moscoso y Gorriti (2004) para vista presentan mejores resultados en tér-
las entrevistas conductuales estructuradas minos del desempeño de tarea, desempeño
utilizadas en la selección por la AGPV, contextual y, globalmente, en su producti-
cabe resaltar que en nuestro estudio no vidad. Esto implicaría el uso de dicho ins-
participaron los jueces expertos, ni entre- trumento en el proceso selectivo y la
vistadores homologados, indudablemente medición del desempeño de personas eva-
una de las limitaciones de este estudio. Al luadas tras transcurrir un periodo de tiem-
mismo tiempo se plantea una conclusión: po lo suficientemente largo para que per-
El uso de los entrevistadores expertos y mitiese la observación de su desempeño
homologados puede ser un elemento cru- en el puesto. En nuestro caso, no hemos
cial para la aplicación de una ECE con podido realizar tal estudio aunque creemos

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 89


Validez de contenido de una Entrevista Conductual Estructurada

que, dada la fiabilidad obtenida (rxx=.78), interrater and internal consistency reliabil-
la validez de contenido alcanzada ity of selection interviews. Journal of
(IVC=.86) y que fue desarrollada con Applied Psychology, 80(5), 565-579.
todos los requisitos de una entrevista con-
ductual estructurada, su validez de criterio Flanagan, J. C. (1954). The critical
debiera estar en torno a .45, al igual que el incidents technique. Psychological Bul-
promedio obtenido en las revisiones meta- letin, 51, 327-358.
analíticas de las entrevistas conductuales
estructuradas (Salgado y Moscoso, 1995; Green, P. C. y Hogan, D. D. (1982).
Salgado, 1999; Salgado, Viswesvaran y Behavioral Interviewing. Memphis, TN.
Ones, 2001).
Harris, M. M. (1989). Reconsidering
the employment interview: a review of
REFERENCIAS BIBLIOGRÁFICAS recent literature and suggestions for future
research. Personnel Psychology, 42, 691-
Anderson, N. R. (1992). Eight decades 725.
of employment interview research: a retro-
spective meta-review and prospective Huffcutt, A. I., y Arthur, W. Jr. (1994).
commentary. European Work and Organi- Hunter y Hunter (1984) revisited: Inter-
zational Psychologist, 2 (1), 1-32. view validity for entry-level jobs. Journal
of Applied Psychology, 79, 184-190.
Arvey, R. D., y Campion, J. E. (1982).
The employment interview: a Summary Hunter, J. E., y Hunter, R.F. (1984).
and review of recent research. Personnel Validity and utility of alternative predic-
Psychology, 35, 281-322. tors of job performance. Psychological
Bulletin, 96, 72-98.
Campion, M. A.; Palmer, D.K, y Cam-
pion, J.E. (1997). A review of structure in Janz, T. (1977). The behaviour based
the selection interview. Personnel psy- patterned interview: an effective alternati-
chology, 50, 1-64. ve to the warm smile selection interview.
Compendio de la Conferencia Anual de la
Campion, M. A.; Pursell, E. D., y Asociación de las Ciencias Administrati-
Brown, B. K. (1988). Structured inter- vas de Canadá.
viewing: Raising the psychometric proper-
ties of employment interview. Personnel Janz, T. (1982). Initial comparisons of
Psychology, 41, 2542. patterned behavior description interview
versus unstructured interviews. Journal of
Carrier, M. R.; Dalessio, A. T., y Applied Psychology, 67, 577-580.
Brown, S. H. (1990). Correspondence
between estimates of content and criteri- Janz, T. (1989). The Patterned Behav-
on-related validity values. Personnel Psy- ior Description Interview: The best
chology, 43, 85-100. prophet of the future is the past. En R. W.,
Eder y G. R., Ferris (Eds.). The employ-
Conway, J. M; Jako, R. A., y Good- ment interview: Theory, research and
man, D. F. (1995). A meta-analysis of practise. Beverly Hills, Sage: 158-168.

90 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1


B. Choragwicka, S. Moscoso

Latham, G. P. (1989). The reliability, Industrial and Organizational Psycholo-


validity and practicality of the situational gy, 12, London, UK, John Wiley and
interview. En R. W., Eder, y G. R., Ferris Sons: 1-53.
(Eds.). The employment interview: Theory,
research and practise. Beverly Hills, Salgado, J. F., y Moscoso, S. (1995).
Sage, 169-182. Validez de las entrevistas conductuales
estructuradas. Psicología del Trabajo y las
Latham, G. P. et al. (1980). The situa- Organizaciones, 11, 9-24.
tional interview. Journal of Applied Psy-
chology, 65, 422-427. Moscoso, S. y Salgado, J. F. (2001).
Entrevista Conductual Estructurada de
Lawshe, C. H. (1975). A quantitative Selección de Personal. Teoría, práctica y
approach to content validity. Personnel rentabilidad. Madrid, Pirámide.
Psychology, 28, 563-575.
Moscoso, S. y Salgado, J. F. (2001b).
Mayfield, E.C. (1964). The selection Psychometric properties of a structured
interview: A re-evaluation of published interview to hire private security person-
research. Personnel Psychology, 17, 239- nel. Journal of Business and Psychology,
260. 16(1), 51-59.

McDaniel, M. A., Whetzel, D. L., Salgado, J. F., Moscoso, S., y Gorriti,


Schmidt, F. L., y Maurer, S. D. (1994). The M. (2004). Investigaciones sobre la Entre-
validity of employment interviews: a com- vista Conductual Estructurada (ECE) en la
prehensive review and meta-analysis. Jour- Selección de Personal en la Administra-
nal of Applied Psychology, 79 (4), 599-616. ción General del País Vasco: Meta-análi-
sis de la Fiabilidad, Revista de Psicología
Motowidlo, S. J., Carter, G. W., de Trabajo y Organizaciones, 20 (2), 107-
Dunette, M. D. Tippins, N., Werner, s., 139.
Burnett, J.R y Vaughan, J. (1992). Studies
of structured behavioral interview. Jour- Salgado, J. F., Viswesvaran, C., y
nal of Applied Psychology, 77, 571-588. Ones, D. S. (2001). Predictors used for
personnel selection. En N., Anderson, D.
Reilly, R. R., y Chao, G. T. (1982). S., Ones, H. K., Sinangil, y C., Viswes-
Validity and fairness of some alternative varan (Eds.). Handbook of industrial,
employee selection procedures. Personnel work, and organizational psychology. Vol
Psychology, 35, 1-62. 1. London, UK, Sage: 165-199.

Salgado, J. F. (1995). Validez de las Schmidt, F. L., y Rader, M. (1999).


entrevistas conductuales estructuradas. Exploring the boundary conditions for
Psicología del Trabajo y las Organizacio- interview validity: Meta-analytic validity
nes, 11, 9-24. findings for a new interview type. Person-
nel Psychology, 29, 79-101.
Salgado, J. F. (1999). Personnel selec-
tion methods. En Cooper C. L. y Robert- Schmitt, N. (1976). Social and situation-
son I. T (Eds.). International Review of al determinants of interviews decisions:

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 91


Validez de contenido de una Entrevista Conductual Estructurada

Implications for the employment interview. applicants what they would do versus
Personnel Psychology,29, 79-101. what they did do: A meta-analytic com-
parison of situational and past behaviour
Schmitt, N., y Ostroff, C. (1986). Oper- employment interview questions. Journal
ationalizing the «behavioral consistency» of Occupational and Organizational Psy-
approach: Selection test development chology,75, 277-294.
based on a content-oriented strategy. Per-
sonnel Psychology, 39, 91-108. Wagner, R. (1949). The employment
interview: A critical review. Personnel
Schüler, H., y Funke, U. (1989). The Psychology, 2, 17-46.
interview as a multimodal procedure. En
Eder, E.W. y Ferris G. R. (Eds.). The Wiesner, W. H., y Cronshaw, S. F.
employment interview: Theory, research (1988). The moderating impact of inter-
and practice. Newbury Park, CA: Sage. view format and degree of structure on
interview validity. Journal of Occupation-
SIOP (2003). Society for Industrial and al Psychology, 61, 275-290.
Organizational Psychology. Principles for
the validation and use of personnel selec- Wright, O. R. Jr. (1969). Summary of
tion procedures (4th ed.). Documento pdf., research on the selection interview since
www.siop.org 1964. Personnel Psychology, 22, 391-413.

Urlich, L., y Trumbo, D. (1965). The Wright, P. M., Lichtenfels, P. A. y Pur-


selection interview since 1949. Psycholog- sell, E.D (1989). The structured interview:
ical Bulletin, 63, 100-116. Additional studies and meta-analysis.
Journal of Occupational Psychology. 62,
Taylor, P. J., y Small, B. (2002). Asking 191-199.

92 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1

S-ar putea să vă placă și