Evaluacin de programas de formacin de formadores

6 .DISEO Y DESARROLLO DEL ESTUDIO.

6.1 Introduccin.
El desarrollo terico y prctico sobre la formacin de formadores que trabajan en
contextos de formacin y trabajo es actualmente un mbito de estudio de muchos
investigadores y es objeto de debate en encuentros, congresos y seminarios.
A su vez, a la creciente preocupacin de muchas empresas e instituciones por la
formacin ocupacional, inicial y continua, y la necesaria cualificacin de sus
trabajadores en esta sociedad cambiante, se le suma el inters y la necesidad de
contar con formadores bien formados no slo en aspectos tcnico profesionales,
sino tambin psicopedaggicos y contextuales.
Parece lgico tambin que los profesionales que forman a otros profesionales para
desarrollar las competencias que se les exigen en los nuevos escenarios laborales
estn tambin formados para hacer frente a los nuevos retos que se les plantean en
los contextos de formacin y trabajo.
El perfil del formador tambin ha cambiado, debido a las modificaciones que han
sufrido los contextos en los que desarrollan su actividad y, por lo tanto, tambin se
les exigen nuevas competencias. En este sentido, los programas de formacin de
estos formadores deben responder a esas nuevas necesidades formativas que se
generan por las exigencias y los cambios producidos en los perfiles profesionales
del formador. Por esta razn, es importante que los programas de formacin de
formadores sean adecuados a esta realidad cambiante y que incluya la formacin en
contenidos y estrategias demandadas actualmente. Hay que asegurar, por otra parte,
que estos programas sean de calidad y contribuyan, desde el papel que tiene la
formacin a desarrollar, esas competencias exigidas.
Esta preocupacin nos lleva a plantear este estudio cuyo propsito se centra en
valorar la pertinencia del diseo y la puesta en prctica de programas de
formacin de formadores en el contexto de la formacin ocupacional para la
posterior contrastacin crtica entre la planificacin realizada y su desarrollo
prctico. Igualmente, se analizarn los resultados del programa para determinar su
vala en trminos de eficacia, eficiencia, efectividad, comprehensividad, etc.
Todo ello como accin para determinar los criterios de calidad que deberan de
considerarse en el diseo y desarrollo de programas de formacin de formadores.
En este sentido las intenciones del estudio se concretan en los siguientes objetivos
especficos:
Caracterizar las instituciones que disean, desarrollan y evalan programas
de formacin de formadores.
Carme Ruiz Bueno, (2001)

244

Evaluacin de programas de formacin de formadores

Valorar la adecuacin de los programas de formacin de formadores con

las necesidades individuales y sociales de stos y las competencias que se
les exige.
Identificar los puntos crticos en el desarrollo de los programas de
formacin de formadores.
Analizar los resultados, a corto plazo, de los programas de formacin de
formadores para determinar su eficacia y eficiencia para la posterior toma
de decisiones con relacin a la certificacin.
Establecer los criterios de calidad para el diseo y desarrollo de
programas de formacin de formadores que permitan la adquisicin de
competencias.
Para ello, se han delimitado dos grandes bloques de estudio: el marco terico de
referencia y el estudio emprico. La intencin es establecer toda una serie de
propuestas de mejora con relacin a los programas de formacin de formadores y
determinar los modelos ms pertinentes de formacin de formadores en el mbito
ocupacional.
Por esta razn, el estudio pretende igualmente:
Contextualizar la realidad e incidir en ella mediante propuestas de mejora.
Fundamentar la prctica analizada y aportar nuevas perspectivas en
relacin con la evaluacin de programas y la formacin de formadores
Proporcionar una metodologa de trabajo en la evaluacin de programas
de formacin de formadores, al igual que experimentar y validar
instrumentos para la evaluacin de los mismos.

6.2 Variables implicadas en el estudio.

En el acercamiento que queremos realizar sobre la evaluacin de programas se
implican todo un conjunto de variables que, como hemos podido apreciar en el
marco terico, tienen que ver con las fases de articulacin de un programa, por lo
tanto, a su diseo, desarrollo y evaluacin, sin perder de vista que para ello es
imprescindible la caracterizacin y anlisis de los contextos y las necesidades a las
que trata de responder. Adems, cuentan como referentes tanto el perfil del
formador y el modelo contextual crtico de formacin de formadores.
Por esta razn, las variables implicadas en el estudio pretenden responder a las
siguientes cuestiones.

Carme Ruiz Bueno, (2001)

245

Evaluacin de programas de formacin de formadores

1. En qu contextos se disean, se desarrollan y evalan los programas de

formacin de formadores?, lo que supone establecer las caractersticas de
las instituciones implicadas en el programa y el sistema de necesidades
establecido y el contexto general.
2. Cmo se planifican y se disean los programas de formacin de
formadores?.
3. Cmo se estn desarrollando los programas?.
4. Qu resultados, a corto y medio plazo han tenido los programas de
formacin de formadores
5. Qu consideracin tiene la evaluacin en los programas de formacin de
formadores y, en concreto, la certificacin de las competencias
profesionales?
6. Quin interviene en el diseo del programa?
Indudablemente, la caracterizacin de la institucin nos ayudar a entender e
interpretar la realidad del diseo, del desarrollo, de la evaluacin y de los resultados
de los programas.
En el siguiente cuadro se establecen las variables implicadas en el estudio y los
indicadores y algunos criterios para cada una de las variables consideradas, desde la
lgica que venimos argumentando.

Carme Ruiz Bueno, (2001)

246

Evaluacin de programas de formacin de formadores

VARIABLES IMPLICADAS
Contexto institucional

Diseo del programa

Desarrollo del programa

Carme Ruiz Bueno, (2001)

INDICADORES-CRITERIOS
Poltica formativa, poltica institucional
Subsistema de objetivos: objetivos de
centro, planteamientos institucionales
Subsistema
estructural:
Recursos
humanos, materiales y funcionales y su
organizacin, estructura organizativa,
Subsistema relacional: la comunicacin, la
toma de decisiones, el clima de centro, los
conflictos, la coordinacin, etc.
Innovacin
institucional:
actitudes,
procedimientos
Relacin de la institucin con el contexto:
sociolaboral, cultural, econmico, con otras
instituciones, con otros agentes, etc
Bases y fundamentos currculum:
antropolgico, psicolgico, pedaggico,
epistemolgico
Contexto: social, laboral, artstico, cultural,
econmico, poltico, tecnolgico
Necesidades:
sociales,
individuales,
intereses
Grupos: participacin, heterogeneidad,
intereses, actitudes, contexto social y laboral,
etc
Objetivos: pertinencia a las necesidades,
adecuacin al perfil profesional, tipologas
Contenidos: Seleccin, Secuenciacin,
actualidad, aplicabilidad, utilidad, etc
Estrategias metodolgicas: multivariedad,
adecuacin a objetivos, suficiencia
Recursos: calidad, variedad, cantidad,
adecuacin a actividades
Evaluacin: Criterios de evaluacin,
finalidad, instrumentos, agentes, modelo,
evaluacin del diseo.
Contrastacin del diseo:
con otros
profesionales, y estructuras.

Objetivos: Consecucin de objetivos

Contenidos: tratamiento, dificultad
Estrategias metodolgicas: variedad,
utilidad, suficiencia
Dinmica grupal: Clima de grupo,
relaciones entre participantes, comunicacin,
implicacin
Papel formador: competencia, dominio
materia, empata, etc
Caractersticas alumnos: Motivacin,
intereses, expectativas.
Recursos: Condiciones aula, variedad,
calidad, cantidad, etc.
Evaluacin: Sistema, evaluacin formativa,
instrumentos.

247

Evaluacin de programas de formacin de formadores

INDICADORES

VARIABLES IMPLICADAS

Instrumentos de evaluacin.
Agentes de evaluacin.
Toma de decisiones en la evaluacin.
Objetos de evaluacin.
Evaluacin de competencias.
Protagonismo de la evaluacin.
Finalidad de la evaluacin
Modelo de evaluacin

Evaluacin del programa

....
Resultados del programa

Contenidos en los programas de Formacin

de Formadores

Logro de objetivos
Satisfaccin de expectativas.
Conocimientos adquiridos.
Actitudes, motivacin.
Transferencia de aprendizajes
.Contenidos relacionados con el diseo de
la formacin
Contenidos relacionados con el desarrollo
de la formacin.
Contenidos psicopedaggicos.
Contenidos contextuales.
Contenidos organizacin de la formacin.
Contenidos relacionados con la innovacin
e investigacin

Tabla 6.1: Variables implicadas en el estudio.

6.3 Metodologa.
La investigacin, en funcin de los objetivos generales planteados, se organiza de la
siguiente manera.
Anlisis y valoracin de los programas de formacin de formadores.
Caracterizacin de los centros que disean, desarrollan y evalan
programas de formacin de formadores.
El rigor de la investigacin nos obliga a precisar de antemano, cuando se analizan y
evalan situaciones concretas, el conjunto de supuestos que subyacen en las
actuaciones que hay que emprender.
En este sentido, la metodologa se enmarca dentro del paradigma cualitativo y ser
predominantemente descriptivo, a partir de los datos derivados del uso fundamental
del cuestionario, e interpretativo, que se justifica por el hecho de conocer y
analizar distintos programas de formacin de formadores que se estn desarrollando
en la actualidad. En este sentido, se complementarn metodologas cualitativas y
cuantitativas, asumiendo que la utilizacin complementaria de algn instrumento
de corte cuantitativo no supone la prdida del carcter cualitativo de la misma.
Asimismo, se implicarn distintos instrumentos y fuentes de informacin bajo el
principio de la triangulacin. Estos se refieren fundamentalmente a:
Carme Ruiz Bueno, (2001)

248

Evaluacin de programas de formacin de formadores

El cuestionario como medio de recopilar una cantidad alta de datos con

rapidez, pero sobre todo, emplendolo como instrumento detector de
puntos que necesitan una profundizacin. En este sentido, usaremos el
cuestionario como instrumento para diagnosticar, en una primera instancia,
el campo de estudio en el que nos moveremos. Lo empleamos a modo de
radiografa de urgencia
Entrevistas individuales en profundidad con el fin de llegar a clarificar
aquellos aspectos que en los cuestionarios se muestran poco estables,
dudosos, contradictorios, etc.
Guin para el anlisis de contenido para los distintos programas de
formacin de formadores, como un elemento de contraste con las
valoraciones de los implicados en el mismo.
Guin para la descripcin de los centros, como un elemento de
caracterizacin del contexto en el que se desarrollan los programas
analizados.
A su vez, calificamos el estudio en cuanto descriptivo como de ex-post-facto. Este
tipo de metodologa (despus del hecho) pretende validar las hiptesis de trabajo
una vez ha sucedido el fenmeno. No existe un control de la situacin, ni una
manipulacin por parte del investigador. Normalmente se analiza a posteriori el
fenmeno de la influencia (Campbell y Stanley, 1973).
Esta utilizacin metodolgica se justifica por los propios objetivos del estudio. Es
evidente que no podemos caracterizar las instituciones sino utilizamos metodologas
cualitativas que puedan acercarnos a las caractersticas, historia, al clima y la cultura
de las mismas. De la misma manera, ser muy complicado buscar explicaciones de
cmo se ha desarrollado el programa sin tener en cuenta las vivencias y sensaciones
de las personas implicadas. Slo a partir de las entrevistas podemos obtener este
tipo de informacin.
Teniendo en cuenta estos supuestos, debemos sealar que el estudio se caracteriza
por ser:
Completo, en la medida en que aspira a conocer la realidad de los
programas de formacin de formadores, tanto desde la propia valoracin
de los implicados como desde la de otros sujetos con los que interacta,
adems de considerar analticamente su contextualizacin..
Multidimensional, ya que contempla:
1. Contenidos diversos: distintos tipos de valoraciones y necesidades,
modelos, teoras, contextos, etc., adems de analizar las caractersticas
personales/profesionales de los implicados y sus valoraciones sobre el

Carme Ruiz Bueno, (2001)

249

Evaluacin de programas de formacin de formadores

diseo, desarrollo, evaluacin y contenidos de programas de

formacin de formadores.
2. Dimensiones diversas: situaciones deseables y posibles; situaciones
problemticas; necesidad, importancia, utilidad, etc. De los programas
de formacin para el formador; etc.
3. Instrumentalizacin diversa: tanto en referencia al objeto y al
contenido como a los agentes que los han de aplicar o responder.
Abierto, por combinar presupuestos estructurados y emergentes, que
posibilitan su enriquecimiento en funcin de la informacin que el propio
proceso de investigacin va generando.
Coherente con los objetivos, con las posibilidades y las limitaciones del
objeto de estudio y con el diseo que al respecto se utiliza.
Exhaustivo, pues, aparte de ser multidimensional y completo, procura
evitar el conjunto de patologas que a menudo acompaan a los procesos
de investigacin: no contener procesos de control externo, ser
unidireccional en las fuentes de informacin, partir de diseos previos
insuficientemente estructurados, etc.
Factible, esto es, ajustado a las necesidades que plantea la realidad.
Participativo, en la media en que prev la posibilidad de incorporar las
aportaciones de los participantes y de la negociacin con ellos en
determinados aspectos: tipos de entrevista, modelo de informe, etc.
Confidencial, ya que garantiza reserva sobre la procedencia o
circunstancias que acompaa a la informacin y que afecta a las personas o
a las organizaciones.
til, en la medida en que, respetando la complejidad del proceso
investigativo, busca proporcionar informacin de acuerdo a los recursos
existentes y en un tiempo adecuado.
Accesible, porque, que pretende una difusin y utilidad socio-educativa de
la informacin tanto de la planificacin, como del proceso y de las
conclusiones de la investigacin.

Carme Ruiz Bueno, (2001)

250

Evaluacin de programas de formacin de formadores

6.4 Poblacin y muestra.

Representa la poblacin objeto de estudio todos los programas de formacin de
formadores que se planifican, desarrollan y gestionan programas de formacin en
centros e instituciones de formacin o de trabajo dentro de la provincia de
Barcelona.
Se ha tomado la opcin de identificar la unidad muestral con los centros para
conseguir precisar diferentes fuentes de informacin sobre el mismo objeto de
estudio: los programas de formacin de formadores. Para ello, no slo se va a tener
en cuenta las valoraciones de los formadores, sino tambin de los participantes y los
directores o coordinadores de los programas. Adems se ha intentado que otros
expertos externos valoren tambin desde una perspectiva ms objetiva, la formacin
de formadores y sus programas de formacin.
El sistema de muestreo utilizado el estratificado por conglomerados. Estratificado
porque se han establecido intencionalmente distintos criterios, a priori, de
extraccin (Titularidad del centro: pblico, privado; tipologa de institucin:
universidad, agentes sociales, asociaciones). Por otro lado, se considera los centros
como unidades muestrales de primer orden, desde la ptica de muestreo por
conglomerados, como hemos dicho anteriormente. Ahora bien, una vez se
seleccionan los centros, se procede a constituir la muestra de posibles implicados en
el estudio (directores de programa, docentes, participantes en el programa) mediante
un muestreo intencional. En este tipo de tcnica de muestreo, se eligen los
individuos que se estiman que son tpicos de la poblacin, y el investigador, bajo
criterios pertinentes al objeto de estudio, selecciona los sujetos que consideran que
facilitarn la informacin necesaria. (Arnal, del Rincn y Latorre, 1992).
Una vez decidido estos criterios se seleccionan dos centros privados y dos centros
pblicos, los privados que los constituyen dos consultoras de formacin y los
pblicos que lo constituyen dos universidades y para cada uno de los centros que
disean y desarrollan los programas de formacin de formadores se estima, en un
primer momento, la siguiente muestra de implicados:
2 Directivos o coordinadores de programa.
10 formadores
15 participantes.
Ahora bien, la resultante definitiva de personas implicadas ha sido menos de los
prevista de antemano porque, entre otras razones, la participacin de futuros
formadores en este tipo de acciones, en la mayora de los casos era inferior a 15
destinatarios, incluso en algunos de ellos slo participaban 7 u 8 participantes.

Carme Ruiz Bueno, (2001)

251

Evaluacin de programas de formacin de formadores

En cuanto a los formadores en casi todos los programas el nmero de participantes

en la plantilla del centro slo era de entre 4 a 10 formadores. Por esta razn, la
proporcin estimada en la configuracin de la muestra definitiva no se ha podido
respetar.
Una vez articulado todo este proceso, la muestra definitiva se configur de la
siguiente manera:

Titularidad
PRIVADO
PBLICO

Tipo de institucin
CONSULTORA
CONSULTORA
UNIVERSIDAD
UNIVERSIDAD
TOTAL

Entrevistas
(1)
(2)
(2)
(1)
Experto (1)
7

Directivos
2
2
2
1

Formadores
5
6
4
5

Participantes
4
6
6

20

16

Tabla 6.2: Muestra Implicada en la investigacin.

6.5 Instrumentos y fuentes de recogida de informacin.

En el apartado de metodologa hemos insistido en que se utilizarn y implicarn
instrumentos y fuentes de informacin bajo el principio de la triangulacin. Desde
esta ptica se contemplarn diferentes, variados y complementarios instrumentos y
tcnicas de recogida de informacin, as como de fuentes de informacin con el fin
de recoger y disponer de una informacin lo ms pertinente y vlida posible.
En la siguiente tabla intentamos recoger los instrumentos y fuentes a utilizar en el
estudio:

Responder a

Instrumentos
y Fuentes de informacin
tcnicas
Directivos o gestores de
Valoracin de la pertinencia del Anlisis de documentos
Entrevistas
programa, docentes, expertos
diseo de los programas de
Cuestionarios
Agentes sociales
formacin de formadores, con el
contexto y las necesidades

Identificacin de los puntos crticos

en el desarrollo del programa

Anlisis de la eficacia y eficiencia

de los programas de formacin de
formadores

Entrevistas

Participantes
Docentes.

Cuestionarios
Cuestionario
Entrevistas

Participantes.
Docentes
Gestores de programa

Tabla 6.3: Relacin de instrumentos y fuentes de informacin implicadas en el estudio.

Concretamente se han utilizado, como instrumentos de recogida de informacin

para la evaluacin de programas, los cuestionarios, las entrevistas, el guin para el
anlisis de contenido de los programas y el guin de anlisis de las instituciones
implicadas para poder contextualizar la realidad en la que se estn diseando y
Carme Ruiz Bueno, (2001)

252

Evaluacin de programas de formacin de formadores

desarrollando los programas de formacin de formadores, sin olvidar que existe otro
contexto ms general que igualmente est presente en la evaluacin de programas
Es indiscutible, tambin, la consideracin del formador y su perfil profesional como
referente bsico, juntamente con el modelo contextual crtico de formacin de
formadores. Estos referentes nos aportarn la fuente de criterios, objetos e
indicadores par la evaluacin de los programas.
En esta triangulacin de instrumentos se aada, por otra parte la triangulacin de
agentes que, en nuestro caso, se concreta en los responsables o coordinadores de los
programas, los formadores y los participantes, incluyendo las aportaciones de otras
fuentes de informacin externas al programa, como es el caso de agentes sociales y
expertos.

CONTEXTO

Entrevistas
Cuestionarios
Formadores

PERFIL
FORMADOR
CRITERIOS
OBJETOS
INDICADORES

INSTITUCIN
DE
FORMACIN
Entrevistas
Cuestionarios
DirectivosCoordinadores

Participantes
Entrevistas
Cuestionarios

Agentes
Sociales

PROGRAMA DE
FORMACIN DE
FORMADORES

CONTEXTO DE
FORMACIN

Entrevistas
Expertos

SOCIOLABORAL

Entrevistas

Figura 6.1: Objetos, instrumentos y fuentes de informacin.

Por parte, es necesario destacar que en relacin con los instrumentos de recogida de
informacin se debe asegurar una serie de caractersticas tcnicas como son la
validez, la fiabilidad y la pertinencia al objeto de evaluacin. Todo ello se tendr en
cuenta en el proceso de confeccin y validacin de los mismos.

Carme Ruiz Bueno, (2001)

253

Evaluacin de programas de formacin de formadores

6.5.1 Los cuestionarios.

La utilizacin del cuestionario se justifica por el hecho de obtener la mxima
informacin de carcter general y de forma rpida sobre el diseo, desarrollo y
resultados de los programas evaluados, como estrategia de deteccin de sus
virtualidades y sus deficiencias para, posteriormente orientar y centrar las
entrevistas.
Adems, el cuestionario nos posibilita el acceso al mayor nmero de personas que
participan en programas de formacin de formadores, aspecto que hubiese sido ms
complicado a travs de la entrevista, aunque posteriormente se utiliza como
instrumento de contraste y triangulacin
Bien es sabido, que el cuestionario presenta limitaciones, tales como la poca
flexibilidad y la falta de oportunidades de interpretacin, como argumento Walker
(1989), el cuestionario es una especie de entrevista en serie y, como tal, presenta
alguno de los problemas tpicos de la produccin en masa, sobretodo en lo que
respecta a la falta de oportunidades de interpretacin (...) ofrece numerosas
ventajas de cara a su administracin, al presentar, al menos parcialmente, un
estmulo idntico a numerosos sujetos de forma simultnea, proporcionando al
investigador, la oportunidad de aumentar datos con (relativa) facilidad.
La investigacin utiliza otro tipo de procedimientos que pueden superar las
limitaciones del cuestionario, aunque esos procedimientos pueden presentar
igualmente problemticas genuinas. As, por ejemplo, se utiliza la triangulacin con
fuentes de datos mltiples (Denzing, 1978); triangulacin de los datos, pero tambin
de investigadores, e igualmente triangulacin de instrumentos: utilizacin de las
entrevistas y el anlisis de documentos, as como la triangulacin de las fuentes de
informacin: alumnos, formadores y coordinadores del programa.
6.5.1.1 El proceso de confeccin.
El proceso de confeccin de los cuestionarios ha seguido una serie de fases, como
son:
a) La determinacin de las variables del estudio: la evaluacin de programas
de formacin de formadores: contexto, diseo, desarrollo, evaluacin,
resultados, contenidos para la formacin.
b) El establecimiento de criterios e indicadores en relacin con las variables
de estudio, sin perder de vista nuestro modelo de referencia, el modelo
contextual crtico de formacin de formadores y el modelo de macro y
microdidctica de Ferrndez (1998) para la elaboracin de programas..
c) La elaboracin de un primer cuestionario provisional.

Carme Ruiz Bueno, (2001)

254

Evaluacin de programas de formacin de formadores

d) La validacin del cuestionario por parte del equipo de investigacin CIFO

mediante la realizacin de diversas reuniones en las que se valor la
pertinencia, la univocidad y la importancia en relacin con el objeto de
investigacin. (tcnica grupo de discusin, modalidad consenso
intersubjetivo).
e) Segunda validacin de contenido a partir de la contrastacin realizada por
el equipo CIFO y otros agentes y expertos externo. En este caso se
realizaron 3 reuniones para su validacin. (tcnica grupo de discusin,
modalidad consenso intersubjetivo).
f) Confeccin definitiva de los cuestionarios1, despus de su validacin.
6.5.1.2 Caractersticas del cuestionario.
En el siguiente cuadro se recogen los criterios e indicadores que se han establecido
para la redaccin de cada uno de los tems para cada uno de los cuestionarios, tanto
de participantes, directivos como de profesores. Evidentemente que no todos los
criterios e indicadores han servido para los tres cuestionarios, por esa razn, en las
tres columnas siguientes, se determinan los criterios e indicadores que se han
seleccionado para la redaccin de los tems. Los nmeros en las columnas
identifican los tems en los distintos cuestionarios

1 Los cuestionarios definitivos pueden consultarse en el anexo n1.

Carme Ruiz Bueno, (2001)

255

Evaluacin de programas de formacin de formadores

Indicadores
V. Personales
- Edad
-Gnero
-Cargas familiares
-Experiencia vital
- Loc. Residencia
-Ciudadana
V. Formativas
- Titulacin. mxima
- Formacin Continua
- F. Psicopedaggicas
- Experiencia. Docente
- Experiencia. Gestin
-Experiencia investigadora
-Pertenencia a grupos de
Trabajo
V. Sociolaborales-contextuales
- Tipo de institucin
- Titularidad
- Actividades tiempo libre
- Pertenencia a colectivos
profesionales
Datos del programa
-Caractersticas del programa
-Razones
para
realizar
formacin de formadores
Diseo del programa
Estudio del contexto
Necesidades formativas
Grupos de incidencia
Objetivos
Contenidos
Estrategias metodolgicas
Medios y recursos
Evaluacin
Bases y fundamentos del
curriculum
Informacin
sobre
el
programa
Cambios en la programacin
Consideracin
de
la
orientacin vocacional
Contrastacin del programa
Seleccin de participantes
Desarrollo del programa
Tratamiento de contenidos
Intencionalidad docente
Logro de objetivos

Formadores
tems

Directivos
tems

Participantes
tems

8/9

8/9

8/9

10

10

10

11

11

11

12

12

12

13

13

13

14

14

14

15

15

15

16

16

16

17

17

17

18

18

18

7/8/9/10

7/8/9/10

5/6

11/12/13

11/12/13

7/8

14

14

10

17

17

15

15

16

16

11

18

18

19

19

20

20

21

21

22

22

23

24

25

20

Tabla 6.4: Indicadores segn implicados

Carme Ruiz Bueno, (2001)

256

Evaluacin de programas de formacin de formadores

Indicadores
Proceso seguido
Estrategias metodolgicas
Participacin
Actuacin del formador
Espacios
Tutoras
Medios didcticos
Resultados del programa
- Evaluacin global
- Instrumentos de evaluacin
- Agentes de evaluacin
-Certificacin
de
competencias
- Conocimiento de evaluacin
Referentes de evaluacin
Utilidad
evaluacin
diagnstica
Finalidades evaluacin
Objetos de evaluacin
Protagonismo del centro en la
evaluacin
Orientacin de la evaluacin
Notificacin de la evaluacin
Resultados del programa
Institucin
- Poltica formativa
- Innovacin
- Objetivos de centro
- Participacin en elaboracin
de documentos
- Estructura organizativa
- Sistema de relaciones
- Relacin con el entorno
Contenidos de formacin de
formadores
- Diseo de formacin
- Desarrollo de formacin
- Bases psicopedaggicas
- Contexto de la formacin
-Organizacin
de
la
formacin
-Investigacin e innovacin

Formadores

Directivos

23/25/

24-26

26/27/28/29/30/32/3 27/28/29/30/31/33/3
8/39/40
8/40/41
31
32

Participantes
12/15
13/14/16/17
18

32/34/42/43

33/35/43/44

21/22

35/36

36/37

37

38

41

42

19

44

45

23

45/47

46/48

26

46/55

47/56

25

48/49/50/61

49/50/51/62

27/28/29
30

51

52

52/54

53/55

53

54

57/60

58/61

56

57

58

59

59

60

62

63

63

64

24

1
2
3
4
5
6/7/8
9/10/11

Tabla 6.5: Indicadores segn implicados

Carme Ruiz Bueno, (2001)

257

Evaluacin de programas de formacin de formadores

Algunas de las caractersticas de los cuestionarios elaborados seran:

Desde el punto de vista formal, diramos que se determina previamente en
los cuestionarios el contexto institucional y su relacin con el entorno
sociolaboral cultural y las caractersticas de los destinatarios. Cada
cuestionario va presentado con una carta donde se explica el objetivo del
estudio.
Desde el punto de vista del contenido, los cuestionarios se estructuran en:
1. Cuatro bloques para el cuestionario de los participantes, que hacen
referencia a los datos generales de los mismos (datos personales,
formativos y sociolaborales), al diseo del programa, al desarrollo del
programa y a los resultados del mismo.
2. En el caso del cuestionario de los formadores, ste se estructura en
cinco bloques de contenido, que hacen referencia a los datos generales
(datos personales, formativos y sociolaborales-contextuales), al diseo
del programa, al desarrollo, a los resultados y a los contenidos para
la formacin de formadores.
3. Para los directivos, el cuestionario se estructura en seis bloques que
hacen referencia a los datos generales (datos personales, formativos y
sociolaborales-contextuales), al diseo del programa, al desarrollo, a
los resultados, a las caractersticas de la institucin y a los
contenidos para la formacin de formadores
6.5.1.3 Proceso de validacin de los cuestionarios.
Con respecto a la validacin de los cuestionarios, como ya hemos apuntado, se
utiliza el procedimiento de la validez de contenido, ya que el objetivo es tratar de
probar que los instrumentos incluyen una muestra de elementos suficientes y
representativos de los que pretendemos medir. (Arnal, del Rincn, Sans y Latorre,
1995:76). En nuestro caso, la validez de contenido intenta determinar si el
cuestionario elaborado incluye todos los elementos y variables en la evaluacin de
programas y hasta que punto son suficientes.
Para realizar la validez de contenido se utiliza la tcnica de jueces, en la que el
Grupo CIFO y expertos externos actuaron como jueces. (10 personas).
Dicha validacin se realiza en funcin de tres criterios:
1. La univocidad, en la que se pregunta a los jueces, si el tem se entiende o
no, si todos los jueces lo entienden as, si se presta a confusin o no, y si
consideran que hay que modificarlo. En definitiva, se evala el aspecto
formal y de expresin del tem.
Carme Ruiz Bueno, (2001)

258

Evaluacin de programas de formacin de formadores

2. La pertinencia, en la que se determina la vala del tem para el objeto de

evaluacin (programa). En este criterio los jueces deben valorar si el tem
es pertinente o no lo es.
3. El grado de importancia del tem, donde se tiene en cuenta el peso y la
importancia del tem respecto al objeto de evaluacin. Segn este criterio,
los jueces deben valorar cada tem del cuestionario en una escala de 1 a 5,
siendo el 1 el valor mnimo y el 5 como el valor mximo.

6.5.2 Las entrevistas.

Las entrevistas, pues, a realizar con el soporte mencionado sirven para obtener datos
relevantes sobre las concepciones de los entrevistados, considerados en nuestro caso
como informantes clave. Gracias a ellas se pueden conocer y profundizar matices.
Como sealan Goetz y Lecompte (1988): Los informantes clave pueden
sensibilizar al investigador hacia cuestiones valorativas de una cultura y las
implicaciones de algunos hallazgos concretos.
La utilizacin de las entrevistas en el estudio realizado, se justifica por la necesidad
de profundizar en las opiniones y valoraciones de los distintos informantes
(alumnos y profesores), con el fin de encontrar explicaciones con respecto al diseo,
desarrollo, resultados y coordinacin del programa de formacin y poder interpretar
los resultados obtenidos en cada uno de los apartados. Indudablemente, la entrevista
nos aproxima y nos permite recoger informacin sobre aspectos ms subjetivos de
los entrevistados, como las creencias, los valores, los sentimientos, etc. Desde la
percepcin del propio sujeto la entrevista aade una perspectiva interna que
permite interpretar comportamientos, constituyendo una fuente de significados y
complemento para el proceso observacin. (Arnal, del Rincn, Sans y Latorre,
1995:307).
Desde esta perspectiva, y de acuerdo con los objetos del estudio, el tipo de
entrevista utilizada es la entrevista no estructurada; aunque existe un guin
previo, ste es aproximativo e indicativo, y las preguntas formuladas tienen un
carcter abierto. De hecho, nuestra intencin es adaptarnos a las exigencias propias
de nuestro estudio, y a las necesidades de los destinatarios. Sin duda, sin este
carcter abierto y flexible de la entrevista no estructurada no seria posible dicha
adaptacin.

Carme Ruiz Bueno, (2001)

259

Evaluacin de programas de formacin de formadores

6.5.2.1 Proceso de confeccin.

El proceso de elaboracin del guin de las entrevistas ha seguido distintas fases:
Establecimiento de criterios e indicadores.
Determinacin de preguntas a partir de los indicadores establecidos por
parte del investigador.
Validacin del guin de entrevista por el Grupo CIFO.
Estructuracin y elaboracin definitiva del guin de entrevista.
6.5.2.2 Caractersticas de las entrevistas.
En el cuadro siguiente queda establecido el guin utilizado en la entrevista para
formadores, directivos y coordinadores de programas y para expertos externos.

Valoracin sobre la conceptualizacin de las competencias:

contenido.

su significado y

Valoracin del perfil del formador: funciones y competencias:

en

planificacin, desarrollo, en evaluacin, innovacin,...

Diseo del programa de formacin de formacin de formadores:

anlisis de
necesidades, objetivos, contenidos, estrategias metodolgicas, evaluacin: Problemticas y propuestas
de mejora de cada uno de los apartados.

Desarrollo del programa: Problemticas y propuestas de mejora.

Valoracin del modelo contextual crtico de formacin de formadores:
importancia de los contenidos contextuales y la reflexin en y sobre la accin

Valoracin sobre la certificacin del formador y el sistema nacional de

cualificaciones.
Valoracin de los criterios de calidad en los programas de formacin de
formadores.
Cuadro 6.1: Guin de entrevista.

Como se observa, las entrevistas inciden en los aspectos de contenido del

cuestionario, ya que como hemos comentado anteriormente, las entrevistas tienen la
finalidad de profundizar e indagar en los aspectos significativos del diseo,
Carme Ruiz Bueno, (2001)

260

Evaluacin de programas de formacin de formadores

desarrollo, resultados y coordinacin del programa, as como de otro tipo de

cuestiones interesantes de cara a la evaluacin del programa.

6.5.3 Otros instrumentos y fuentes de recogida de informacin.

Adems de la consideracin de los instrumentos citados, a lo largo del estudio se
han utilizado guas para el anlisis de la normativa y otros documentos con el fin de
elaborar el apartado terico-contextual, guin para el anlisis de los documentos de
los centros, y un guin para el anlisis de las instituciones implicadas, con el fin de
contextualizar los programas de formacin evaluados.

6.6 Actuaciones realizadas.

Intentando sintetizar las actuaciones realizadas, a continuacin se especifican las
distintas actuaciones realizadas a lo largo del estudio. Estas actuaciones son las
siguientes:
a) En primer lugar se realiz el marco terico a partir de los estudios sobre la
evaluacin de programas y la formacin de formadores en el contexto de la
formacin ocupacional.
b) Simultneamente con el desarrollo del marco terico y contextual de
referencia, se elaboran los instrumentos a partir de los indicadores y se
procede a su validacin y fiabilizacin, de cara a la configuracin
definitiva.
En esta fase se realizan los contactos con los centros seleccionados para la
entrega de los cuestionarios que, en un principio, fueron 2 directivos, 10
formadores y 15 participantes para cada centro. En este sentido tambin se
dieron una serie de indicaciones para que los implicados respondieran a los
cuestionarios dado su volumen y complejidad.
c) Negociacin-concrecin de la entrevistas. Una vez entregados y
contestados los cuestionarios se llevan a cabo las entrevistas individuales
mediante la grabacin con material audio, respetando en todo momento la
confidencialidad de los datos. La utilizacin de este material de soporte fue
pactada previamente.
d) Cumplimentacin de los guiones para el anlisis de contenido de los
programas y de los documentos de centro. En este caso se concert hora
con el coordinador o director del programa.
e) El anlisis de los datos, en los que se diferencian dos procesos. Un
proceso estadstico para las valoraciones recogidas en los cuestionarios,
mediante el programa estadstico SPSS, y un anlisis ms cualitativo de las
Carme Ruiz Bueno, (2001)

261

Evaluacin de programas de formacin de formadores

entrevistas. En este caso, no se ha utilizado ninguna tcnica informtica

sino que se ha realizado un anlisis de contenido, destacando las opiniones
tal y como las expresaban los implicados
f) En la ltima fase se elaboran las conclusiones y las propuestas y se redacta
el informe final.

Carme Ruiz Bueno, (2001)

262

Evaluacin de programas de formacin de formadores

TAREAS

Marzo Abril

Descripcin del problema X

de investigacin
Desarrollo Marco terico
Elaboracin de criterios e X
indicadores
Anlisis de la bibliografa en X
funcin de los criterios e
indicadores
Redaccin Marco terico
Instrumentos y fuentes de
informacin
Elaboracin y validacin de
los instrumentos
Recogida y obtencin de la
informacin
Anlisis de la informacin
Conclusiones y propuestas

Mayo

Junio

Ao 2000
Julio Agosto Sep

Octub Nov Dic

Ao 2001
Ener Febrer Marzo Abril Mayo
o

X
X

X
X

Junio

Julio

Agos

Tabla 6.6: Temporalizacin de las acciones realizadas.

Carme Ruiz Bueno, (2001)

263

Evaluacin de programas de formacin de formadores

6.7 La credibilidad de la investigacin.

En este apartado trataremos de detallar algunos procedimientos que hemos utilizado
para tratar de asegurar la veracidad de nuestra investigacin. Es decir, las estrategias
utilizadas, tanto durante el proceso de recogida de informacin como en el anlisis
de la misma, para alcanzar los niveles necesarios de rigor, credibilidad y validez en
el conocimiento producido que suponen los resultados de nuestra investigacin.
Seguiremos a Guba y Lincoln (1989: 148-164) en sus cuatro criterios, que han de
ser cumplidos para que los resultados de una investigacin puedan ser considerados
como cientficos: valor de verdad, aplicabilidad, consistencia y neutralidad. Las
estrategias utilizadas para alcanzar dichos criterios son diferentes en funcin del
tipo de investigacin y supuestos epistemolgicos en los que se puedan apoyar. En
nuestro caso, al posicionarnos en un estudio de corte descriptivo, interpretativo que
integra lo cuantitativo y lo cualitativo, consideramos que hemos de operar con los
criterios de credibilidad (valor de verdad o validez interna en la investigacin de
corte positivista), transferibilidad (aplicabilidad o validez externa), dependencia
(consistencia o fiabilidad) y confirmabilidad (neutralidad u objetividad en los
estudios de corte positivista).
1. Credibilidad: Se trata de responder a la cuestin de si lo que hemos
observado, registrado, descrito, anotado o interpretado en nuestra
investigacin se corresponde con la realidad de los fenmenos que
estudiamos. En otras palabras son nuestros resultados crebles?. En este
aspecto habra que matizar lo siguiente. Para la lgica de la investigacin
positivista, la validez interna se dirige principalmente a conseguir y
demostrar el isoformismo entre los resultados y los fenmenos que se
estudian. Sin embargo, el hecho de que la naturaleza de la realidad que
estamos investigando, antes que estable y regular, dependa de significados de
personas que la construyen como consecuencia de relaciones dialcticas con
otras personas y con la estructura social objetiva en la que se desenvuelven,
nos impide siquiera considerar la posibilidad de obtener un total isomorfismo
entre sus realidades y nuestras percepciones.
En cualquier caso, nos hemos preocupado por la credibilidad de nuestros
resultados en relacin con el contexto y circunstancias en la que se ha
desarrollado nuestra investigacin y con las fuentes de informacin que
hemos utilizado. Se trata, segn Guba, de contrastar nuestras interpretaciones
con las diferentes fuentes de las que hemos obtenido nuestros datos.
Las estrategias seguidas para asegurar la credibilidad de nuestros datos han
sido la triangulacin (de mtodos, implicados e investigadores).
Con la triangulacin, siguiendo a Cohen y Manion (1990), hemos pretendido
combinar dos o ms metodologas para la recogida y anlisis de los datos y
para el establecimiento de las conclusiones. La triangulacin se convierte de
Carme Ruiz Bueno, (2001)

264

Evaluacin de programas de formacin de formadores

este modo en el procedimiento (o mejor, conjunto de procedimientos) ms

importante y poderoso de contrastacin; esto es, de produccin de validez o
credibilidad en la investigacin cualitativa. Pero por su multifuncionalidad,
la triangulacin tambin nos ha permitido reforzar la confirmabilidad
(objetividad) y la dependencia (fiabilidad) de nuestros datos.
De las mltiples modalidades de triangulacin existentes (de mtodos, de
teoras, de fuentes de datos, de investigadores, de sujetos) en nuestro trabajo
hemos utilizado dos de ellas en dos mbitos diferentes pero
complementarios: para contrastar la opinin de personas (de investigadores y
de sujetos) y para complementar mtodos de recogida de datos (de mtodos).
Estos procedimientos de contraste los hemos efectuado repetidas veces, tanto
durante nuestra permanencia en el campo como despus de abandonarlo para
reconstruir el conocimiento generado.
Pero el recoger la informacin por diferentes vas (la triangulacin
plurimetodolgica que hemos llevado a cabo) adems de facilitarnos la
captacin del objeto de estudio, nos ha permitido, sobre todo, comprobar la
informacin misma, detectando sus coincidencias, contradicciones,
estableciendo, en suma, su veracidad. Con el uso de varios mtodos de
recogida de informacin hemos pretendido detectar y corregir los sesgos y
parcialidades de cada uno de ellos. Al utilizar entrevistas, cuestionarios y
guin para el anlisis de contenido, adems de captar ms fcilmente la
complejidad de nuestro objeto, hemos podido contrastar la informacin
misma reforzando la validez interna (credibilidad), la fiabilidad
(dependencia) y la confirmabilidad (objetividad) de nuestros datos.
2. Transferibilidad: Aunque estamos razonablemente convencidos de que el
diseo y desarrollo de programas de formacin de formadores que hemos
estudiado depende el contexto en el que se inscribe, y por tanto, nuestros
resultados son de difcil generalizacin o transferibilidad, no es menos cierto
que todo investigador tiene la intencin, ms o menos explcita, de que su
trabajo trascienda y se proyecte al exterior. Si en la investigacin de corte
positivista, la generalizacin de los resultados (validez externa) viene
apoyada por la aleatorizacin de los muestreos y el principio de uniformidad
de la naturaleza, en la investigacin descriptivo etnogrfica, la
transferibilidad de los resultados a otros contextos se alcanza con
descripciones densas y minuciosas de los fenmenos observados, de su
contexto de ocurrencia y con muestreos tericos.
En nuestro caso, hemos pretendido ajustar las variables personales y
sociocontextuales como marco justificativo, a la par que los propios centros.
Tambin es cierto que nuestra muestra no es necesariamente aleatoria, sino
que en cierta forma nos obliga a poner en juego diferentes tipos de centro,
capaces de mostrar la realidad compleja en la que opera este profesional. Es
pues, a partir de esta realidad delimitada por tales circunstancias, como
hemos de considerar nuestras conclusiones, transferir nuestro conocimiento y
Carme Ruiz Bueno, (2001)

265

Evaluacin de programas de formacin de formadores

esperar nuevas falsaciones de nuestro estudio por otros profesionales y

prcticas como garantizamos la transferibilidad del mismo.
3. Dependencia: En el contexto de las investigaciones positivistas, la
dependencia, como venimos sosteniendo, hace referencia a la fiabilidad de
los instrumentos de medicin utilizado y su precisin. La fiabilidad asegura
la consistencia, estabilidad, congruencia o confiabilidad de un instrumento de
medicin. Para evaluar la fiabilidad trataremos de conocer dos de sus
caractersticas. Su estabilidad, a travs de la repeticin de las mediciones (se
trata de buscar correlacin entre las puntuaciones a las que han llegado el
mismo grupo de individuos a los que se les ha pasado la prueba y la
congruencia interna, o grado de homogeneidad interna. En nuestro caso, la
validacin realizada por los jueces, en concreto por el grupo de investigacin
CIFO, sobre la idoneidad, pertinencia y vala de los instrumentos para
nuestro objeto de estudio.
4. Confirmabilidad: Por ltimo, considerando los criterios anteriores,
igualmente nos hemos preocupado por la objetividad de nuestro proceso de
investigacin (su independencia con respecto a nosotros), pero ms que
abordada directamente como tal, nos ha preocupado su confirmabilidad y el
consenso con otros investigadores sobre nuestros datos. En este sentido,
hemos centrado nuestros esfuerzos en conseguir rigor y validez para nuestros
datos a travs de diversas modalidades de triangulacin de personas e
investigadores. Igualmente hemos perseguido conscientemente la
intersubjetividad entendida antes como fusin que como adicin de
subjetividades para acercarnos a una objetividad compartida y reconstruida

6.8 Limitaciones y posibilidades de la investigacin.

Es evidente que cualquier estudio realizado refleja los esquemas de interpretacin o
la manera de ver la realidad del investigador o los investigadores. Si es cierto que
existe un proceso de contrastacin con los compaeros, los otros miembros
implicados, aunque en ltima medida la opcin que queda es la del propio
investigador.
Por esta razn, en ocasiones pensamos que el proceso seguido es el correcto o que
el diseo metodolgico es el ms adecuado, o que las posturas tericas estn
suficientemente argumentadas.
Pero en este proceso investigador, quizs la mayor virtualidad, es la de detectar que
an siendo meticulosos y argumentando las decisiones, existen limitaciones que nos
hacen conscientes de que todo aquello que hacemos es mejorable y que
indudablemente debe ser contrastado y revisado. Posiblemente esta propia
autocrtica permita avanzar y mejorar no slo los procesos de investigacin, sino el
propio conocimiento que, a veces, muy vanidosamente, lo consideramos como
nico.
Carme Ruiz Bueno, (2001)

266

Evaluacin de programas de formacin de formadores

Concretando un poco ms, diramos que las limitaciones se centran en:

La dimensin temporal implicada en la evaluacin por considerar
nicamente la evaluacin de los resultados inmediatos. Decamos que la
evaluacin de los resultados no slo evala los efectos inmediatos del
programa, sino que debe analizar los resultados de stos a medio y largo
plazo. De hecho, el impacto de un programa se verifica en funcin de los
cambios producidos en las prcticas profesionales de los jvenes que
realizaron los programas. Asimismo, esta evaluacin diferida permite
verificar si los programas pueden ser aplicados en otras poblaciones ms
amplias (comprehensividad).
Al tratarse de un estudio ex-post-facto, la evaluacin del desarrollo slo
puede evaluarse mediante las opiniones de los implicados una vez se ha
concluido el programa de formacin. En este caso, las informaciones in
situ, no se tienen en cuenta y posiblemente sean estas informaciones las
que permitan determinar realmente las caractersticas del desarrollo del
programa.
La muestra implicada en el estudio comporta otra de las grandes
limitaciones por tratarse de una muestra de implicados muy pequea y muy
concreta por estudiar, en este caso cuatro programas de formacin. Desde
esta perspectiva va a ser difcil generalizar los resultados obtenidos, ya que
stos son parciales y slo referidos a los programas y su contexto de
actuacin concreto, resultados muy mediatizados tambin por los propios
implicados. En este sentido, habr que implicar, en estudios posteriores
una muestra mucho ms representativa de programas para poder establecer
algunas conclusiones ms generales en relacin con la formacin de
formadores y sus programas de formacin.
A pesar de las limitaciones que presenta el estudio, el estudio presentado permite
abrir nuevas lneas de trabajo en relacin con la evaluacin de programas y la
formacin de formadores en el contexto de la formacin ocupacional en este
contexto. Por tanto las posibilidades que presenta el estudio se centran en:
La posibilidad de realizar la evaluacin diferida para analizar el impacto
del programa.
La posibilidad de analizar los cambios introducidos en los programas
derivados de la evaluacin formativa.
Profundizar en el anlisis de necesidades de los formadores.
Evaluar las competencias profesionales de los formadores para adecuar los
programas de formacin a este referente, conjuntamente con el estudio de
las necesidades
Carme Ruiz Bueno, (2001)

267

Evaluacin de programas de formacin de formadores

Continuar reflexionado sobre los criterios y modelos de certificacin de las

competencias profesionales.

Carme Ruiz Bueno, (2001)

268

Evaluacin de programas de formacin de formadores

.DISEO Y DESARROLLO DEL ESTUDIO.............................................................................. 244

INTRODUCCIN. ....................................................................................................................... 244
VARIABLES IMPLICADAS EN EL ESTUDIO. ................................................................................. 245
METODOLOGA. ....................................................................................................................... 248
POBLACIN Y MUESTRA. .......................................................................................................... 251
INSTRUMENTOS Y FUENTES DE RECOGIDA DE INFORMACIN.................................................... 252
6.5.1
Los cuestionarios. .............................................................................................................. 254
6.5.2
Las entrevistas. .................................................................................................................. 259
6.5.3
Otros instrumentos y fuentes de recogida de informacin................................................. 261
6.6
ACTUACIONES REALIZADAS. .................................................................................................... 261
6.7
LA CREDIBILIDAD DE LA INVESTIGACIN. ................................................................................ 264
6.8
LIMITACIONES Y POSIBILIDADES DE LA INVESTIGACIN........................................................... 266
6.1
6.2
6.3
6.4
6.5

NDICE DE FIGURAS.
Figura 6.1: Objetos, instrumentos y fuentes de informacin. ...................................................................... 253

NDICE DE TABLAS
Tabla 6.1: Variables implicadas en el estudio. ............................................................................................ 248
Tabla 6.2: Muestra Implicada en la investigacin. ...................................................................................... 252
Tabla 6.3: Relacin de instrumentos y fuentes de informacin implicadas en el estudio............................ 252
Tabla 6.4: Indicadores segn implicados..................................................................................................... 256
Tabla 6.5: Indicadores segn implicados..................................................................................................... 257
Tabla 6.6: Temporalizacin de las acciones realizadas. .............................................................................. 263

Carme Ruiz Bueno, (2001)

269