Evaluar La Evaluacion - Juan Murciano

24_ANUARIO3-2007.
qxd
29/11/2007
17:03
Pgina 173
_ EVALUAR LA EVALUACIN: UNA HERRAMIENTA PARA LA MEJORA.

APLICACIN AL CASO DE LA INICIATIVA COMUNITARIA EQUAL EN ANDALUCA1
_ EVALUATING THE EVALUATION PROCESS: A TOOL FOR IMPROVEMENT.
IMPLEMENTATION TO THE CASE OF THE EUROPEAN UNION INITIATIVE 'EQUAL'
IN ANDALUSIA
Juan Murciano Rosado
Instituto de Estudios de Economa, Evaluacin y Empleo
1 Esta metaevaluacin fue realizada como Memoria de Grado del Master de Evaluacin de Programas y Polticas
Pblicas de la Universidad Complutense de Madrid y algunas de las consideraciones que se presentan sobre la
Iniciativa Comunitaria Equal han sido publicas en el nmero 2 de la Revista e-valuacin de la Sociedad Espaola
de Evaluacin y en diversas publicaciones del Servicio Andaluz de Empleo, recogidas en la bibliografa, en las
que el autor ha participado.
sumario//summary
1
JUSTIFICACIN DE LA OPORTUNIDAD DE EVALUAR LAS EVALUACIONES DE EQUAL EN ANDALUCA /

JUSTIFICATION OF THE POSSIBILITY TO EVALUATE THE EQUAL EVALUATIONS IN ANDALUSIA
2 APROXIMACIN A LA METAEVALUACIN: MEJORA DE LA CALIDAD VS. COMPRENSIN DE LOS PROCESOS

/ APPROXIMATION TO METAEVALUATION: QUALITY IMPOVEMENT VS. PROCESSESS COMPREHENSION
Metaevaluacin basada en estndares / Metaevaluation based on standards
Metaevaluacin comprensiva / Comprehensive metaevaluation
3
EL CASO DE LA INICIATIVA COMUNITARIA EQUAL EN ANDALUCA / THE CASE OF THE EAUROPEAN UNION
INITIATIVE 'EQUAL' IN ANDALUSIA
Objetivo y principios inspiradores de Equal / Objective and principles that inspire the Initiative Equal
Balance de las actuaciones Equal en Andaluca: 2001-2004 y 2004-2007 / Balance of the Equal proceedings in
Andalusia: 2001-2004 y 2004-2007
Marco normativo y metodolgico de la evaluacin en Equal / Regualative and methodological frame of evaluation
in Equal
4
DISEO DE LA METAEVALUACIN DE EQUAL EN ANDALUCA / 'EQUAL' METAEVALUATION DESIGN IN
ANDALUSIA
Tipologa / Typology
Cuestiones que buscan respuesta / Issues that need a response
Metodologa / Methodology
PRINCIPALES HALLAZGOS DE LA METAEVALUACIN / METAEVALUATION MAIN FINDINGS

Tipologa de las evaluaciones / Evaluations typology
Centralidad del proceso de evaluacin / Centrality of the evaluation process
Diseo metodolgico: indicadores, fuentes de verificacin y herramientas / Methodological design: indicators,
verification sources and tools
Hallazgos, interpretaciones, juicios de valor y recomendaciones / Findings, interpretation, value judgements and
advice
Utilidad y utilizacin de los resultados de las evaluaciones para la transferencia: evaluacin y mainstreaming. /
Usefulness and use of the evaluation outcomes for the transfer: evaluation and mainstreaming
6
CONCLUSIONES: SEGUIMIENTO O EVALUACIN, LLMALO COMO QUIERAS / CONCLUSIONS:
MONITORING OR EVALUATION, IT IS UP TO YOU
173
24_ANUARIO3-2007.qxd
29/11/2007
17:03
Pgina 174
NUEVAS POLTICAS PBLICAS. Anuario multidisciplinar para la modernizacin de las Administraciones Pblicas
EVALUACIN DE POLTICAS PBLICAS
resumen//summary
En este artculo se presenta una aproximacin al concepto y
mtodo de la metaevaluacin, un ejercicio que facilita la mejora de la prctica evaluativa y de las evaluaciones. Se presentan dos enfoques para metaevaluar, comprensivo y basado en criterios, y se analizan las claves epistemolgicas de
cada uno de ellos como base para el enjuiciamiento sistemtico de las evaluaciones.
Si bien en la teora se encuentran referencias a la bondad y
oportunidad de realizar metaevaluaciones en la prctica son
pocas las experiencias a las que se tiene acceso, ofrecindose en este artculo su aplicacin para el caso de la Iniciativa
Comunitaria Equal en Andaluca.
Las preguntas que motivan esta metaevaluacin se centran
en el anlisis y la interpretacin de los procesos de evaluacin puestos en marcha y no en su calidad tcnica individual,
dotndola de un carcter eminentemente comprensivo.
Concretamente, las preguntas que buscan respuesta con
esta metaevaluacin comprensiva son las siguientes: cmo
se han planteado las evaluaciones y cules han sido sus estrategias evaluativas.
Constrastada la preferencia de las evaluaciones analizadas por
la contratacin de asistencias tcnicas externas (81%) se ha
detectado una confusin conceptual entre seguimiento y evaluacin que tiene importantes consecuencias metodolgicas y
deriva en la recogida indiscriminada de informacin, en la dictadura de las tcnicas en el proceso evaluativo y en la indefinicin de las cuestiones que deben orientar toda evaluacin.
In this article it is introduced an approach to the notion and
method of metaevaluation, a practice that makes the
improvement of the evaluative practice and the evaluations
themselves easier. Two approaches in order to metaevaluate
are introduced: comprehensive and based on some criteria;
and the epistemological keys of each of them are analysed
as the basis for the evaluations systematic judgement.
Although the theory includes enough references to the
kindness and opportunity to carry out metaevaluations, there
are in practice just a few experiences to which we have
access so that this article offers its implementation in the
case of the European Unity Initiative 'Equal' in Andalusia.
The questions that give rise to this metaevaluation are
focused on the analysis and interpretation of the evaluation
processes previously set out rather than on its individual
technical quality, giving it an essentially comprehensive
character. To be precise, the questions that seek an answer
with this comprehensive metaevaluation are the following
ones: how the evaluations have been designed and which
evaluative strategies have been used.
Once the preference for the hiring of external technical
assistance (81%) was verified, a certain degree of
conceptual confusion between monitoring and evaluation
has been detected which has significant methodological
consequences and results in the indiscriminate compilation
of data, the dictatorship of the evaluative process techniques
and the lack of definition of the issues that must guide the
whole process of evaluation.
Palabras Clave:
- Evaluacin.
- Metaevaluacin.
- Iniciativa Comunitaria Equal.
ESTUDIOS
174
Key Words:
- Evaluation.
- Metaevalution.
- European Initiative Equal.
1
JUSTIFICACIN DE LA OPORTUNIDAD
DE EVALUAR LAS EVALUACIONES DE
EQUAL EN ANDALUCA
a evaluacin de las polticas pblicas en

Espaa se encuentra actualmente en un proceso de cambio, entre la difusin de la cultura
de evaluacin y su institucionalizacin e internalizacin por parte de sus Administraciones Pblicas.
En la ltima dcada se ha ido generando una
oleada de evaluaciones por la exigencia reglamentaria de los fondos europeos para el desarrollo
(Fondos Estructurales) as como por la presin de
los Estados miembros de la Unin Europea con
aportaciones netas al presupuesto comunitario, para
el control de la eficacia y la eficiencia del gasto en
regiones beneficiarias netas, como aquellas cuyo
PIB se encuentra por debajo del 75% de la media
comunitaria, entre ellas Andaluca (Vlez, 2001).
Si en el mbito regional andaluz se observa una creciente incorporacin del seguimiento y la evaluacin
a escala de programas, no as en la de polticas, en
el mbito local es an casi inexistente y ha estado
muy vinculado a proyectos de empleo y desarrollo
local promovidos por Iniciativas Comunitarias
(Leader, Urban o Equal, entre otras) que incorporan
el mandato de evaluar los proyectos que con ellas
se cofinancian. Con este tipo de proyectos se ha generado el caldo de cultivo idneo para el fomento de
la cultura de evaluacin a escala local.
Tras un periodo en el que se han realizado esfuerzos
por difundir la cultura de evaluacin entre los responsables polticos y los gestores pblicos, y se han
realizado evaluaciones, principalmente reglamentarias e impuestas por los fondos europeos para el
desarrollo, se est gestando un proceso de institucionalizacn de la evaluacin.
29/11/2007
17:03
Pgina 175
EVALUAR LA EVALUACIN: UNA HERRAMIENTA PARA LA MEJORA. APLICACIN AL CASO DE LA INICIATIVA COMUNITARIA EQUAL EN ANDALUCA
En Espaa este proceso se ha impulsado con la reciente creacin de la Agencia de Evaluacin de las
Polticas Pblicas y la Calidad de los Servicios, en
Andaluca se ha puesto de manifiesto con la aprobacin de la propuesta de reforma del Estatuto de
Autonoma en la que se indica que la ley regular la
organizacin y funcionamiento de un Sistema de
Evaluacin de las Polticas Pblicas (Art. 138) y se establece como objetivo la participacin ciudadana en
dicha evaluacin (Art. 10.19).
Es por ello que en este momento existe la necesidad
de realizar estudios, evaluaciones y metaevaluaciones
sobre los incipientes procesos evaluativos que se
estn llevando a cabo en los entornos locales andaluces de forma que se pueda conocer, orientar y desarrollar la capacidad institucional y organizativa existente para ello, el rol que est ocupando y las estrategias evaluativas que se emplean.
Este contexto de desarrollo de la cultura de evaluacin
a escala local en Andaluca se presenta a continuacin ejemplificado para el caso del seguimiento y la
evaluacin de la Iniciativa Comunitaria Equal en
Andaluca (2001-2004) realizada por el Instituto de
Desarrollo Regional para el Servicio Andaluz de
Empleo de la Junta de Andaluca.
La Iniciativa Comunitaria Equal ha supuesto un importante desarrollo de la cultura de evaluacin a escala
local y regional en Andaluca. Con esta Iniciativa se
han desarrollado mltiples procesos de seguimiento y
evaluacin que se pueden caracterizar como evaluaciones internas asistidas: seguimiento continuo (interno) y evaluacin final (mixta).
2 APROXIMACIN A LA METAEVALUACIN:
MEJORA DE LA CALIDAD VS. COMPRENSIN
DE LOS PROCESOS
Cuando se realiza una evaluacin, ms all de intentar
obtener respuestas sobre el objeto evaluativo, se
puede estar interesado en conocer la utilidad y oportunidad del propio proceso de evaluacin, su rigor metodolgico, el acierto en el manejo de los recursos y
enfoques as como el propio desempeo profesional
y tico del equipo evaluador.
Son estas ltimas preocupaciones las que nos sitan
ante la metaevalaucin o lo que es lo mismo ante la
evaluacin de la evaluacin y su corolario la evaluacin de los evaluadores, conceptos introducidos por
Scriven en 1968 en un artculo en el que argumentaba
como evaluar la evaluacin (Stufflebeam, 1987: 352).
No debe confundirse la metaevaluacin con la sntesis
de evaluaciones (ver Figura 1) que sirve para aunar,
resumir e incluso potenciar los resultados de varios
estudios de evaluacin de programas o polticas similares, poniendo la atencin en los resultados, conclusiones y recomendaciones de las evaluaciones
(Bustelo, 2003:194). Con ello, el objetivo ltimo de la
sntesis de evaluaciones es mostrar evidencias sobre
las intervenciones evaluadas que sustenten la transferencia a las polticas generales de las buenas prcticas detectadas o lo que podramos determinar como
el desarrollo de polticas basadas en la evidencia.
Figura 1. Diferencias entre metaevaluacin y sntesis de evaluaciones
Sntesis de evaluaciones
Este esfuerzo por desarrollar procesos de evaluacin

requiere afrontar nuevos retos que favorezcan su institucionalizacin en el seno de las administraciones
pblicas y de los partenariados que promueven el empleo y el desarrollo a escala local y regional.
La metaevaluacin se presenta como una herramienta
para facilitar la identificacin de los aprendizajes generados en los procesos de evaluacin desarrollados
y para establecer recomendaciones de mejora.
Foco de
Metaevaluacin
Los resultados de la evaluacin El proceso de evaluacin
anlisis
Finalidad
-Detectar aprendizajes y
-Mejorar la calidad de
buenas prcticas
las evaluaciones
-Identificar elemento comunes -Mejorar la comprensin

entre intervenciones y factores de los procesos
de xito
evaluativos
Fuente: Elaboracin propia.

ESTUDIOS
175
29/11/2007
17:03
Pgina 176
La metaevaluacin, por su parte, puede poner mayor o

menor nfasis en cmo se llev a cabo la evaluacin
original o en qu produjo y, a su vez, puede estar tambin ms basada en estndares o ser ms comprensiva (Stake, 2006: 256). De esta forma el objetivo ltimo
de la metaevaluacin es asegurar la calidad de los servicios evaluativos, evitar o enfrentarse a las prcticas ilegales o a los servicios que no son de inters pblico,
sealar el camino para el perfeccionamiento de la profesin y promover una mayor comprensin de la empresa evaluativa (Stufflebeam, 1987: 52).
Por tanto, la metaevaluacin no es ms que una evaluacin que tiene por objeto otra evaluacin o conjunto
de evaluaciones. En tanto que es un proceso de evaluacin debe ajustarse a la metodologa sistemtica
propia de dicha disciplina, explicitando las cuestiones
o preguntas que la motivan y a las que se deber dar
respuesta sobre la base de los datos, hechos y hallazgos recopilados y observados.
No obstante, para llevar a cabo una metaevaluacin
se pueden encontrar diferentes propuestas en los manuales de evaluacin. En los dos epgrafes siguientes
se presentan las principales propuestas metodolgicas para disear y realizar metaevaluaciones.
METAEVALUACIN BASADA EN ESTNDARES

Estas metaevaluaciones parten de la necesidad de explicitar de manera previa los criterios de valor que sustentarn el enjuiciamiento de la evaluacin o evaluaciones. Es este el principal problema con el que nos
enfrentamos al abordar una metaevaluacin basada
en estndares (Garca, en lnea).
Estos criterios sern especficos para cada situacin
y contexto evaluativo y, en cualquier caso, vendrn determinados por la funcin que se le asigne a esta evaluacin que tiene por objeto otra evaluacin o conjunto
de evaluaciones.
ESTUDIOS
176
En la literatura especializada el debate sobre los roles

bsicos que puede desempear una metaevaluacin
se ha centrado en torno a su funcin de control de calidad de los trabajos realizados. Para unos autores este
control de calidad debe sustentarse en unos determinados estndares metodolgicos y para otros ha de
apoyarse en una serie de normas tico-profesionales.
La cercana a una u otra posicin depender del enfoque metodolgico que se adopte, estando los cuantitativistas ms preocupados por la metodologa utilizada y la correcta aplicacin de tcnicas (cuantitativas), mientras que los cualitativistas focalizan su
atencin en las consideraciones ticas derivadas del
contexto poltico en el que se desenvuelve la evaluacin (Garca, en lnea). A este respecto Stake afirma lo
siguiente:
Una de las marcas distintivas de la ciencia es el
deseo de explicitar la confianza que se puede depositar en las diferentes mediciones y conclusiones. La elegancia del anlisis estadstico se
aprecia especialmente en su empeo por mostrar
hasta qu punto difiere la distribucin de los datos
de la que sera una distribucin aleatoria. La investigacin cualitativa no ha llegado a desarrollar
modos tan sistemticos de expresar los niveles de
confianza, pero toda la investigacin tiene sus
formas de mejorar la confianza. Es lo que, en evaluacin, llamamos la metaevaluacin. (Stake,
2006: 255).
As, para la realizacin de metaevaluaciones basadas
en criterios o estndares se han desarrollado bsicamente dos tipos de propuestas:
a) Propuestas que establecen criterios generales para
realizar metaevaluaciones. Estas propuestas suelen
estar basadas en algn concepto central: calidad metodolgica del proceso; tica profesional; justicia en el
enjuiciamiento; o sensibilidad del proceso a los deseos de los destinatarios, entre otros. Estas propuestas han desarrollado un conjunto de criterios de
referencia generales para metaevaluar entre los que
29/11/2007
17:03
Pgina 177
se encuentran los siguientes: conveniencia, utilidad,

credibilidad, relevancia o suficiencia tcnica, accesibilidad y coste-efectividad.
b) Propuestas que establecen criterios o normas para
realizar evaluaciones como guas para metaevaluar el
desempeo profesional de los evaluadores y evaluadoras. Mas all de establecer criterios especficos de
metaevaluacin las propuestas tambin se han basado en la utilizacin de catlogos de criterios para la
realizacin de evaluaciones como The Key Evaluation
Checklist de Scriven. Esta lista contempla 18 indicadores a tener en cuenta para realizar evaluaciones y
en el ltimo de ellos se hace referencia a la necesidad
de evaluar la evaluacin mediante la aplicacin de
todos los anteriores.
Este segundo tipo de propuestas se ha ido consolidando a partir del desarrollo de cdigos deontolgicos
de diferentes sociedades o grupos de evaluacin que
han aportado principios ms ampliamente compartidos acerca de lo que debe ser una evaluacin solvente (Stufflebeam, 1987: 208). Entre ellos hay que
destacar las Normas de Precisin de The Joint
Committee on Standards for Educational Evaluation
(1980) que por su especial aportacin como gua para
metaevaluar se han convertido en el referente ms habitual, probablemente debido a su especificacin, claridad, orden y estructuracin (Bustelo, 2003: 220).
Con estos criterios como referentes las propuestas
metodolgicas de metaevaluacin se centran en contrastar las actividades del evaluador con los estndares definidos o en tomar un conjunto de datos revelados por una evaluacin para ver si de forma independiente se llegan a conclusiones similares o
diferentes. Stake seala como representante de la primera alternativa a Stufflebeam y como referente a los
Joint Standards. La segunda alternativa parte de las
recomendaciones de Michael Scriven (1969) y es la
forma de metaevaluacin que ms se parece a los
procedimientos psicomtricos de estimacin de la validez de un test (Stake, 2006: p.256).
METAEVALUACIN COMPRENSIVA
Adems de contrastar la validez del proceso evaluativo el otro gran propsito de la metaevaluacin es sealar el camino para el perfeccionamiento de la profesin y promover una mayor comprensin de la empresa evaluativa (Stufflebeam, 1987: p. 52).
Es en este marco en el que se sita la metaevaluacin
comprensiva propuesta por Stake que se basa en la
familiaridad personal directa con las personas, evaluadores y evaluadoras, con los hechos de la evaluacin
y con las opiniones de la gente (Stake, 2006: p.257).
El carcter comprensivo de esta propuesta radica en
su orientacin a aprehender el contexto en el que se
desenvuelven los evaluadores y evaluadoras, tratando
de entender sus decisiones e interpretaciones y detectando sus mritos y defectos en funcin de su experiencia en el trabajo previo.
Las conclusiones de este tipo de metaevaluaciones se
apoyan ms, como afirma el propio Stake, en la experiencia de los actores implicados que en indicadores
de productividad o del grado de cumplimiento del
contrato (Stake, 2006: p.257). Por tanto, aspectos
como las limitaciones en el acceso a la informacin y
a los informantes pueden convertirse en condicionantes del proceso que deben ser tenidos en cuenta
al enjuiciar una evaluacin. Estos hechos se revelaron
clave en la metaevaluacin que realiz el profesor
Stake del programa Ciudades Escolares, recogida en
su libro Quienting Reform (1986).
Las cuestiones centrales de la metaevaluacin comprensiva estaran basadas en la correspondencia entre
los hallazgos de la evaluacin y sus conclusiones y haran referencia a la calidad de las evaluaciones, su lgica y sesgo, el desarrollo del trabajo, las preguntas de
evaluacin, su utilidad y su capacidad de generalizacin.
Stake apunta una serie de dimensiones de anlisis de
las cuestiones de metaevaluacin que deben ayudar
al examen de la correspondencia entre hallazgos y
ESTUDIOS
177
29/11/2007
17:03
Pgina 178
conclusiones: el tiempo, el espacio, las personas,

los/as investigadores/as, las teoras y los mtodos. En
la medida en que se mantenga el significado de las
observaciones ante cambios en cada una de estas dimensiones, mayor ser la confianza de haber
realizado una buena interpretacin.
La fiabilidad y la validez de los datos son componentes destacados en todo ejercicio de metaevaluacin, tanto si se lleva a cabo con tcnicas psicomtricas como si no. Igualmente la metaevaluacin procura aportar cierta confirmacin de lo que se ha
descubierto tanto si se lleva a cabo de forma comprensiva como si est basada en estndares metodolgicos o ticos.
Para la seleccin de las cuestiones de metaevaluacin
se ha de tener en cuenta el contexto en el que estas
se desarrollan y fundamentalmente el grado de institucionalizacin que tenga la evaluacin. Esto es as,
ya que ser ms complicado encontrar evaluaciones
o centrarse exclusivamente en su rigor metodolgico
en un contexto en el que
La funcin de evaluacin no se encuentre normalizada en el proceso de elaboracin de polticas de
la administracin pblica.
Exista escasa formacin reglada sobre la materia.
Existan pocos profesionales especializados y no
estructurados en torno a sociedades profesionales.
En definitiva, las metaevaluaciones basadas en estndares tratan de definir de manera previa y explcita las cualidades de una buena evaluacin para, a partir de ellas,
poder emitir un juicio crtico sobre el mrito o bondad de
la evaluacin o evaluaciones objeto de estudio.
Por su parte, las metaevaluaciones comprensivas, persiguen describir el proceso o los procesos de evaluacin que se analizan para a partir de ah tratar de comprender porque se opt por unas alternativas metodolgicas y no por otras y, que consecuencias tuvo ello
ESTUDIOS
178
para la utilidad y capacidad de respuesta de la evaluacin a las cuestiones que le dieron origen.
EL CASO DE LA INICIATIVA COMUNITARIA

EQUAL EN ANDALUCA
OBJETIVO Y PRINCIPIOS INSPIRADORES DE EQUAL

La Iniciativa Comunitaria Equal tiene como objetivo
promover nuevas maneras de combatir todas las
formas de discriminacin y desigualdad que se generan en el mercado de trabajo a travs de la cooperacin institucional a escala local y transnacional. Con
este planteamiento se constituye como un laboratorio de experimentacin de nuevas formas de disear, implementar y evaluar las Polticas de Empleo.
Por tanto, las actuaciones de los proyectos Equal son
intervenciones de empleo con un marcado carcter
experimental, lo que hace que sus resultados y sus
evaluaciones se conviertan en referentes para la mejora de las Polticas de Empleo.
Los proyectos que se desarrollan al amparo de esta
Iniciativa se articulan sobre los pilares de la Estrategia
Europea de Empleo (EEE): desarrollar la capacidad de
insercin laboral; fomentar el espritu de empresa; favorecer la adaptabilidad de empresas y trabajadores/as;
y desarrollar la igualdad de oportunidades.
Para la planificacin de estas experiencias de empleo
se estableci un conjunto de principios rectores que
deba guiar la actuacin de los proyectos: cooperacin
institucional local y transnacional, innovacin, complementariedad, enfoque integrado y concentracin y
transferencia.
La cooperacin institucional se tradujo en la necesidad
de constituir partenariados locales, denominados
agrupaciones de desarrollo, en los deban participar
29/11/2007
17:03
Pgina 179
los principales agentes representativos del mercado

de trabajo de cada territorio, sector y colectivo. Estas
agrupaciones de desarrollo deban suscribir, a su vez,
acuerdos de cooperacin transnacional con dos o
ms agrupaciones de otros Estados Miembros para
intercambiar experiencias que favoreciesen el aprendizaje mutuo y la deteccin de buenas prcticas transferibles a otros contextos y territorios.
Para dar cumplimiento al principio de enfoque integrado y concentracin, las agrupaciones deban realizar un diagnstico de las desigualdades y discriminaciones que se generan en el mercado laboral como
sustento para disear actuaciones tendentes a mitigar
las causas de la exclusin y sus consecuencias, concentrndose, entonces, en los colectivos que las sufren en mayor medida y encuentran mayores dificultades de acceso al mercado de trabajo.
El principio de innovacin propona la concentracin
de los esfuerzos en tres mbitos concretos: el objetivo
de los proyectos, el contexto en el que se plantean las
actuaciones y el proceso de trabajo puesto en
marcha. As, las nuevas soluciones para luchar contra
la discriminacin en el mercado de trabajo pueden referirse a los objetivos y la poblacin destinataria del
proyecto, a los modelos de organizacin y gestin de
los partenariados, a los mecanismos empleados para
la prestacin de servicios o al diseo de estos servicios y de los mtodos e instrumentos utilizados.
El principio de complementariedad hace referencia a
la capacidad de un proyecto para generar sinergias
con otros programas y polticas que incidan en el
mismo territorio y horizonte temporal. sta puede
darse en el diseo, siempre que se de respuesta a necesidades no cubiertas, y en la gestin, cuando en el
desarrollo del proyecto se establezcan relaciones con
otras entidades y agentes para coordinar la intervencin, evitando as duplicidades.
Con el establecimiento del principio de transferencia,
se pretenda asegurar que las mejores prcticas experimentadas en los proyectos fuesen generalizadas ver-
ticalmente, a travs de su aplicacin a las polticas generales de empleo, y horizontalmente, a travs de su

difusin entre organizaciones de un mismo mbito o
nivel para extrapolarlas a nuevos contextos y territorios.
Adems de estos principios rectores, los proyectos
deban considerar su contribucin a las prioridades
del Fondo Social Europeo, incorporndolas de forma
transversal: igualdad de oportunidades, desarrollo de
la sociedad de la informacin y promocin del medio
ambiente.
BALANCE DE LAS ACTUACIONES EQUAL EN

ANDALUCA: 2001-2
2004 Y 2004-2
2007
La ejecucin de esta Iniciativa se ha llevado a cabo en
dos convocatorias separadas que abarcan los periodos 2001-2004 y 2005-2007.
En Espaa, durante el periodo 2001-2004 se aprobaron 160 proyectos con una dotacin financiera de
212,226 Meuros. La incidencia en Andaluca de esta
Iniciativa durante este periodo se tradujo en la ejecucin de 29 proyectos que desarrollaron actuaciones
en sus 8 provincias, de los cuales 21 contaron con la
participacin del Servicio Andaluz de Empleo como
entidad representante, y reunieron una dotacin de
48,4 millones de euros.
Estos 21 proyectos congregaron a 251 entidades en
torno a 21 agrupaciones de desarrollo. Estas agrupaciones, compuestas por 16 entidades por trmino
medio, suscribieron 21 acuerdos de cooperacin
transnacional en los que participaron 41 partenariados
de otros estados europeos, conformando una compleja red de redes.
De las actuaciones de la IC Equal en Andaluca durante el periodo 2001-2004 se beneficiaron 74.786 personas de forma directa, siendo el perfil de la persona
beneficiaria una mujer espaola, desempleada de
corta duracin, de cualificacin media-baja, de entre
ESTUDIOS
179
29/11/2007
17:03
Pgina 180
25 y 50 aos de edad que no posea ningn tipo de

discapacidad.
De estas personas beneficiarias 2.027 consiguieron un
empleo y el 35% lo hizo por cuenta propia, dando lugar
a la creacin de 512 actividades empresariales. Entre
las actividades que contaron con mayor participacin
de personas beneficiarias se encontraron la orientacin
laboral y asesoramiento empresarial, la formacin de
personas desempleadas y las prcticas laborales.
Durante la segunda convocatoria de Equal, 2005-2007,
se seleccionaron 226 proyectos2 a escala nacional que
contaron con una dotacin financiera de 254,9 Meuros.
De estos proyectos 47 desarrollaron sus actuaciones
en el mercado laboral andaluz con una inversin prevista de 70,91 Meuros: 41 circunscritos exclusivamente
en Andaluca y 6 de mbito plurirregional.
De estos 41 proyectos desarrollados en Andaluca,
con una inversin prevista de 46,28 millones de euros,
26 se encuentran representados por la Junta de
Andaluca que aporta una cofinanciacin de 7,82 millones de euros. Los 15 proyectos restantes prevn
una inversin de 21 millones de euros y se encuentran
promovidos por otras entidades pblicas andaluzas.
Los 6 proyectos plurirregionales que cuentan entidades andaluzas en sus agrupaciones de desarrollo
destinaron parte de sus intervenciones a territorios,
sectores y colectivos de Andaluca contando para ello
con una inversin prevista de 3,63 millones de euros.
MARCO NORMATIVO Y METODOLGICO DE LA

EVALUACIN EN EQUAL
En respuesta a las exigencias de los Fondos
Estructurales, la Iniciativa Comunitaria Equal incorpor
un proceso de evaluacin al inicio, a medio camino y
a su finalizacin. La estrategia evaluativa propuesta ha
trasladado en cascada la responsabilidad de la evaluacin desde el nivel europeo al nacional (Unidad

Administradora del Fondo Social Europeo UAFSE-) y
de ste al local (Agrupaciones de Desarrollo).
En Andaluca hay que considerar otro nivel, el regional,
debido a la iniciativa del Servicio Andaluz de Empleo
de asumir, entre otras funciones, la de asegurar el seguimiento y evaluacin de los proyectos en los que
actu como entidad representante. Para el desarrollo
de estas tareas puso a disposicin de los proyectos
una aplicacin informtica para facilitar el seguimiento
y evaluacin, el Sistema Equal GSE; realiz actividades de apoyo y emiti informes individuales y agregados de seguimiento y evaluacin.
Las Agrupaciones de Desarrollo, por su parte, tuvieron
que realizar una evaluacin continua, que pudo gestionarse interna o externamente, y deba abarcar tanto
su programa de trabajo nacional como el transnacional. De este modo, todas las entidades andaluzas
disearon sistemas de seguimiento y evaluacin para
controlar la calidad de las acciones ejecutadas, el
avance en el cumplimiento de los objetivos y la gestin ptima de los recursos.
Para afrontar esta responsabilidad se presentaron dos
alternativas: asumir el seguimiento y evaluacin de
forma interna y autnoma; y/o contratar a una entidad
externa para que asistiese el proceso evaluativo.
3
DISEO DE LA METAEVALUACIN DE
EQUAL EN ANDALUCA
El objeto de esta metaevaluacin es el diseo, puesta
en marcha y resultados de los procesos de evaluacin
de los 21 proyectos Equal que represent el Servicio
Andaluz de Empleo de la Junta de Andaluca durante
el periodo 2001-2004.
2 Resolucin de 17 de noviembre de 2004, de la Unidad Administradora del Fondo Social Europeo, por la que se resuelve la
convocatoria de ayudas del Fondo Social Europeo correspondientes a la Iniciativa Comunitaria Equal en Espaa.
ESTUDIOS
180
29/11/2007
17:03
Pgina 181
La oportunidad de analizar comparativamente estos

procesos paralelos de evaluacin radica en su capacidad para extraer elementos comunes y lecciones de
la experiencia que deben permitir una mejor comprensin del rol que ha jugado la evaluacin y de su potencial como herramienta para la mejora de la planificacin y gestin pblica.
Mediante este ejercicio evaluativo el principal propsito es la comprensin del incipiente proceso de
desarrollo de la evaluacin en los partenariados andaluces creados para favorecer el empleo en mbito local en el marco de la Iniciativa Comunitaria
Equal.
Con este propsito el enfoque que se adopta es el de
una evaluacin comprensiva no sujeta a criterios o estndares (Stake, 2003). Como apunta Bustelo, la metaevaluacin puede utilizarse para comprender los
procesos de evaluacin, ver qu papel han cumplido
dichos procesos en la poltica pblica evaluada y analizar y valorar cmo se ejecuta la funcin de evaluacin en un determinado sector, poltica, organismo o
institucin (Bustelo, 2003: 203)
El objetivo final, por tanto, no es determinar la mayor o
menor calidad de las evaluaciones sino analizar las estrategias evaluativas desarrolladas y valorar su oportunidad.
TIPOLOGA
La metaevaluacin en tanto que es una evaluacin
que tiene por objeto otra u otras evaluaciones puede
ser tratada y, por lo tanto, clasificada, como cualquier
otra Evaluacin (Bustelo, 2001:198)
La metaevaluacin puede ser formativa, si ayuda al
evaluador a planificar y realizar una evaluacin solvente, o sumativa, si proporciona al cliente pruebas independientes acerca de la competencia tcnica del
evaluador principal y de la solvencia de sus informes.
(Stufflebeam, 1987: p.352)
Atendiendo al papel que se le encomienda a esta metaevaluacin se puede calificar como formativa, ya
que se pretende que sus resultados sirvan para
orientar y mejorar los diseos y la gestin de las evaluaciones de los proyectos de empleo. Tambin podra decirse que esta metaevaluacin es sumativa teniendo en cuenta que persigue una recapitulacin
sobre como se han realizado los procesos de evaluacin durante el periodo 2001-2004.
En relacin con el momento en que se realiza la metaevaluacin, Scriven apunta que la evaluacin debe
ser evaluada preferiblemente antes de su realizacin
y antes de la difusin final del informe (Stufflebeam,
1987: p.351). Atendiendo al momento de su realizacin esta metaevaluacin puede calificarse como intermedia y final ya que se llev a cabo cuando los procesos de evaluacin que tiene por objeto se encontraban en marcha y se actualizaron sus contenidos
una vez que estos finalizaron.
En cuanto al agente que la realiza, esta metaevaluacin es externa ya que se realiza por un evaluador
ajeno a los procesos objeto de estudio.
Segn el contenido, esta metaevaluacin se puede
calificar como de diseo, procesos y resultados.
La metaevaluacin de diseo se ocupa de analizar el
ajuste de las evaluaciones a las necesidades de los
proyectos; de su atencin a las orientaciones establecidas para la realizacin de evaluaciones en el marco
de Equal; de su identificacin y respuesta a las necesidades informativas de los agentes interesados, y de
la relacin entre su propsito, timing y presupuesto.
Asimismo, se trata de analizar el diseo metodolgico
de la evaluacin, el conjunto de tcnicas seleccionadas, la participacin o la consulta a los stakeholders,
y la fiabilidad y validez de la informacin a recoger.
La metaevaluacin del proceso trata de arrojar luz sobre
la caja negra de la evaluacin, identificando las claves
de la implementacin, indagando en los condicionantes
a los que se enfrentaron los equipos de evaluacin y
sus posibles desviaciones respecto a lo planificado.
ESTUDIOS
181
29/11/2007
17:03
Pgina 182
La metaevaluacin de resultados se centra en analizar en que medida las conclusiones de las evaluaciones dieron respuesta a las preguntas o cuestiones
que las motivaron, y en que medida estas conclusiones se deducen directamente de la informacin recopilada en ellas.
CUESTIONES QUE BUSCAN RESPUESTA

Definidos el objeto y los propsitos, hay que determinar las cuestiones o preguntas a las que deba dar
respuesta esta metaevaluacin. Como se ha comentado en el epgrafe de Aproximacin al concepto de
metaevaluacin, la determinacin de las cuestiones
est condicionada por la funcin que se le haya asignado al trabajo de metaevaluacin y por el contexto
en el que se insertan las evaluaciones que se analizan.
Las evaluaciones de los proyectos Equal se incardinan
en un contexto caracterizado por la falta de experiencia
y cualificacin especfica en la materia por parte de los
evaluadores internos o gestores de las evaluaciones.
A ello, se le une, desde el lado de la oferta, una escasa
y poco vertebrada comunidad evaluadora andaluza.
Ambas situaciones han motivado tanto al dificultad
para el diseo de evaluaciones internas como la deteccin de especialistas externos que pudiesen prestar
asistencia tcnica a los proyectos.
Es por ello, que las preguntas que motivan esta metaevaluacin se centran en el anlisis y la interpretacin de los procesos de evaluacin puestos en
marcha y no en su calidad tcnica individual, dotndola de un carcter eminentemente comprensivo.
Concretamente, las preguntas que buscan respuesta

con esta metaevaluacin comprensiva son las siguientes3:
Cmo se han planteado las evaluaciones?
Cules han sido sus estrategias evaluativas?
Para responder a estas preguntas se procedi a delimitar conceptualmente cada una de ellas y a desglosarlas en variables operativas, prescindiendo en
un primer momento de la construccin de indicadores, de forma que a travs de las herramientas empleadas y las fuentes consultadas pudiesen alimentarse estas variables operativas y posteriormente
acometer las respuestas a las cuestiones planteadas
por la metaevaluacin.
De esta forma, no se sigue la corriente de evaluacin
sin indicadores que se centra en la sistematizacin
de experiencias basada en los sucesos clave de
cambio (Rodrguez, 2003), sino mas bien se pretende
concretar los aspectos relevantes de cada cuestin de
evaluacin de forma que sean los propios agentes interesados los que den respuestas a las preguntas ms
simples o desagregadas (a travs de cuestionarios,
entrevistas o talleres de participacin) y stas vayan
alimentndose hasta dar respuesta a la pregunta ms
general de la evaluacin.
En este sentido, se ha prestado especial importancia
al contexto en el que se desarrollan los mandatos de
evaluacin, teniendo como punto de partida las variables situacionales de Patton y centrando la atencin en
algunos aspectos considerados clave para el
desarrollo de los trabajos.
3 Estas preguntas generales de metaevaluacin se inspiran en las establecidas por la profesora Bustelo en su Tesis Doctoral
(Bustelo, 2001) en la que se hace una Metaevaluacin de las polticas de igualdad y, por tanto, suponen una forma de corroborar su validez como marco terico para abordar la metaevaluacin.
ESTUDIOS
182
29/11/2007
17:03
Pgina 183
A continuacin se relacionan las cuestiones planteadas, generales y especficas, y las variables operativas en las que se desagregan.
La motivacin es obligatoria o voluntaria?

Quin gestiona la evaluacin?
Cul es la utilidad percibida del proceso?
d) Actitud del staff

Cmo se han planteado las evaluaciones?
Tienen tiempo para evaluar los evaluadores (internos)
Esta cuestin hace referencia tanto al contexto en el

que surgen y se desarrollan las evaluaciones como al
propsito que las motiva.
-contingencias-?
1) Contexto evaluativo
e) Capacitacin del staff
El contexto evaluativo se presenta como un condicionante de los procesos de evaluacin. Por ello, resulta
relevante valorar el mrito y/o valor de las evaluaciones teniendo en cuenta su grado de contextualizacin, es decir su flexibilidad y permeabilidad para integrar los condicionantes del entorno de las organizaciones manejando las variables situacionales como
catalizadores del proceso de evaluacin, favoreciendo
o neutralizando los efectos previstos de las variables
para lograr su xito. A continuacin se relacionan las
variables situacionales consideradas, y los aspectos
a los que deben dar respuestas.
a) Tiempo. Centrando la cuestin en la "historia del
programa"
Cunto tiempo lleva funcionando la intervencin?
Desde cundo estaba prevista la evaluacin?
Es importante para ellos la evaluacin?

Desean evaluar?
Tenan formacin o experiencia previa en evaluacin?

La han desarrollado como fruto de la intervencin o del
proceso evaluativo?
Se han previsto acciones especficas de capacitacin en
evaluacin?
2) Propsitos de las evaluaciones

Los propsitos de las evaluaciones, es decir los
fines a los que deben servir, son los referentes que
deben guiar el proceso evaluativo de forma que se
optimice su utilidad. En algunos casos estos propsitos podrn encontrarse explcitamente en las evaluaciones y en otros casos aparecern de forma implcita. Su claridad, concrecin y ajuste a las necesidades de la intervencin se convierten en
elementos clave. Por tanto, las cuestiones que se
plantean son las siguientes.
Cundo debe estar lista la evaluacin?

Son claros y explcitos?
b) Recursos: dotacin presupuestaria
Son realistas?
Qu presupuesto, total y relativo, existe para la evaluacin?

Qu coherencia existe entre el presupuesto y la opcin
Cules han sido sus estrategias evaluativas?
metodolgica?
Quin financia la evaluacin?
c) nfasis
Quin promueve la evaluacin (liderazgo)?
Cuntos la siguen y apoyan?
A este respecto se trata de realizar una aproximacin

comprensiva a las evaluaciones que permita valorar su
mrito y bondad en funcin de la tipologa evaluativa
propuesta, la atencin a las necesidades informativas
de los agentes implicados y el enjuiciamiento sistemtico realizado y apoyado en los hallazgos y evidencias.
ESTUDIOS
183
29/11/2007
17:03
Pgina 184
Sern aspectos clave el anlisis de la participacin de

los agentes implicados en la evaluacin y la adopcin
tcnicas cuantitativas o cualitativas para la recogida
de la informacin, ambas como estrategias que se
adaptan a contextos evaluativos como el que caracteriza a los proyectos Equal: intervenciones con un marcado carcter experimental y que renen a un elevado
nmero de agentes en partenariados.
A continuacin se relacionan las cuestiones que
orientan la evaluacin comprensiva de las estrategias
adoptadas.
a) Qu tipologa de evaluacin se ha propuesto?
(segn el agente evaluador, objeto y momento)
b) Qu tipo de estructura se ha puesto al servicio de
la evaluacin? (equipo evaluador, estructura de apoyo
o unidad de evaluacin)
c) En qu medida se ha incorporado la participacin
(quines, cmo, cuando)?
mtodos, tcnicas e instrumentos. La estrategia de investigacin se ha basado en la aplicacin de:

Anlisis documental sobre la Iniciativa Equal, principalmente informes de seguimiento y evaluacin
tanto del conjunto de proyectos como de cada uno
de ellos; informes de diagnstico de los proyectos
y de las evaluaciones; publicaciones de buenas
prcticas de los proyectos y de sus evaluaciones;
planes de evaluacin e informes de evaluacin intermedios y finales.
Entrevistas a responsables tcnicos de los 21 proyectos Equal. Una vez transcritas y codificadas, el
anlisis de contenido ha perseguido buscar las redundancias en los discursos con las que el mtodo
cualitativo encuentra su saturacin, criterio de validez en la investigacin.
Observacin directa, realizada tanto en las instalaciones de las entidades participantes como en el
marco de las visitas de seguimiento que se han
realizado a los 21 proyectos.
d) Cmo se valora la utilidad de la evaluacin?

e) Qu metodologa evaluativa se ha aplicado? En
qu medida se adapta al contexto?
Identificacin y priorizacin de necesidades informativas
Estudio de caso. Cuando se ha tenido acceso a los

planes e informes de evaluacin, se ha realizado un
estudio en profundidad, recogiendo la informacin
ms destacada a travs de fichas de registro como
la que se muestra en la Figura 2.
Criterios de evaluacin utilizados, indicadores y fuentes de

verificacin
Procedimientos de recopilacin y anlisis de la informacin
Hallazgos, interpretacin, juicios y recomendaciones
METODOLOGA
El enfoque metodolgico propuesto en esta metaevaluacin se apoya en una aproximacin multimtodo que
facilite una estrategia de triangulacin, de forma que se
acceda combinando procedimientos de investigacin
para realizar la observacin y anlisis desde diferentes
ESTUDIOS
184
Grupo de discusin con los investigadores e investigadoras del Instituto de Desarrollo Regional encargados del seguimiento y evaluacin externa de
Equal en Andaluca. Este trabajo ha tenido como
principal finalidad alcanzar un consenso cientfico
acerca de los anlisis e interpretaciones efectuados
(procedimiento de triangulacin que permite cierto
nivel de objetividad en las apreciaciones).
29/11/2007
17:03
Pgina 185
Figura 2. Modelo de Ficha de registro de evaluaciones
FICHA DE REGISTRO DE EVALUACINES

Intervencin evaluada
Fecha de inicio
Fecha de finalizacin
Equipo evaluador
Unidad gestora de la evaluacin
CONTEXTO EVALUATIVO
Observaciones
Tiempo
Dotacin presupuestaria
nfasis
Actitud del staff
Observaciones generales:
PLAN DE EVALUACIN
Observaciones
Tipologa (agente, momento, contenido,..)

Marco terico y contextualizacin
Objetivos
Criterios y cuestiones de evaluacin
Diseo metodolgico, indicadores, tcnicas
INFORME DE EVALUACIN
Observaciones
Hechos, hallazgos
Interpretaciones
Juicios de valor, conclusiones
Recomendaciones
ESTUDIOS
185
29/11/2007
17:03
Pgina 186
4 PRINCIPALES HALLAZGOS DE LA
METAEVALUACIN
TIPOLOGA DE LAS EVALUACIONES

En el marco de Equal la evaluacin interna es obligatoria para los proyectos pero puede que al realizarse
se haga de manera independiente o conjunta una evaluacin del programa de trabajo nacional y del transnacional. Para acometer esta tarea evaluatoria los proyectos pueden adems optar por complementar el trabajo con una evaluacin externa o recurrir a una
asistencia tcnica para que tutele la evaluacin interna.
Si adems se tiene en cuenta la relacin y coordinacin que pueda establecerse entre los diferentes procesos evaluativos (programa de trabajo nacional y
transnacional, interna y/o externa), el abanico de posibilidades que aparece es aun mayor.
A continuacin se presenta la tipologa de las evaluaciones segn el agente encargado de realizarla, el momento en que se efecta, la funcin encomendada a
la evaluacin y segn su contenido prioritario.
Haremos referencia a co-evaluacin o evaluacin conjunta cuando ms de una entidad del partenariado sea
promotora de la evaluacin, desarrollando de manera
compartida una o varias de las fases del itinerario de
la evaluacin, desde que se disea hasta que se comunican sus resultados.
La evaluacin individual ha sido la alternativa elegida
unnimemente en los partenariados Equal andaluces,
en los que ha sido usual que la misma entidad que se
ha encargado de la coordinacin de la intervencin y
de una parte importante de su ejecucin haya asumido la responsabilidad de la evaluacin4. Esta situacin, que en principio puede parecer adecuada, ha
provocado que ante dificultades y retrasos en la ejecucin de la intervencin, la evaluacin haya quedado
relegada a un segundo plano, perdiendo la centralidad
que deba tener.
Esta evaluacin individual estuvo, no obstante, sopesada por la participacin del resto de entidades socias
del partenariado en el seno de Comits de Gestin,
Seguimiento y Evaluacin que se constituyeron en la
mayora de proyectos Equal y reunieron a representantes tcnicos y polticos de dichas entidades y en
algn caso contaron con la presencia de los equipos
de evaluacin.
a) Agente que evala

a.1) Evaluacin individual vs. co-e
evaluacin
La funcin de evaluacin dentro de un partenariado
puede ser responsabilidad de una nica entidad, en
cuyo caso hablaremos de evaluacin individual, de un
grupo o del conjunto de entidades asociadas. Esta
participacin en la evaluacin puede variar desde una
implicacin directa en el diseo, realizacin y comunicacin de resultados hasta la coordinacin del proceso evaluativo externalizado o su cofinanciacin.
Por ltimo, hay que decir que una cuestin ms relevante que la asignacin responsabilidades en materia
de evaluacin en el seno de un partenariado es la determinacin de las funciones que se deben asumir en
cada una de las fases del proceso. Ello es as porque
aunque se pueda externalizar la realizacin de la evaluacin existen muchas decisiones que corresponden
a los propios actores del partenariado y que no se
pueden eludir, como la determinacin de los objetivos,
el mbito, el alcance o las cuestiones a las que se
debe dar respuesta con el ejercicio evaluativo.
4 En algn caso, la responsabilidad de la evaluacin recay en una entidad socia con experiencia en la materia o en aquella
temtica o enfoque priorizado en la evaluacin (impacto de gnero o calidad del servicio), limitndose el resto de socios a su
participacin en las consultas realizadas.
ESTUDIOS
186
29/11/2007
17:03
Pgina 187
a.2) Evaluacin interna vs. Evaluacin externa

Las evaluaciones se pueden clasificar en internas o
externas atendiendo a si el agente encargado de su
realizacin es una entidad del partenariado (interna) o
ajena a ste (externa). Las internas podemos, a su
vez, clasificarlas en asistidas o autnomas para reflejar si el personal interno que las realiza cuenta o no
con una asistencia tcnica para ello.
La evaluacin en los partenariados Equal andaluces
se realiz mayoritariamente compaginando procesos
internos y externos, optando en ms del 80% de los
casos por contratar servicios de asistencia tcnica externa como se puede observar en el Grfico 1.
Grfico 1. Tipologa de evaluacin en funcin del
agente evaluador
tenariado, con cargo al proyecto, fue calificada como

evaluacin externa. En este caso y en algunas de las
evaluaciones calificadas como internas asistidas parece existir cierta confusin entre la consideracin de
una asistencia tcnica y una prestacin de servicios,
hecho ste tambin constatado en la Evaluacin
Intermedia de Equal a escala nacional, en la que se
indicaba que en muchos proyectos hay confusin
entre derivar acciones y contratar personas y servicios.
Lo primero debiera tener un fin ms estratgico y lo
segundo es una prestacin. En el 83.6% de los casos
se piensa contratar o se contratan desde el principio
servicios de asistencia tcnica, en primer lugar para el
seguimiento y la evaluacin (UAFSE, 2003).
Si tomamos los datos presentados en el grfico anterior se habran contratado servicios de asistencia tcnica para la evaluacin en el 81% de los casos, porcentaje bastante superior al 68% que refleja para el
mismo concepto la Evaluacin Intermedia de mbito
nacional, en la que se mostraba la preocupacin
porque se pudiera estar externalizando totalmente el
ejercicio de autoevalaucin que requiere de la participacin y reflexin del conjunto de los interesados.
Figura 3. Tipologa de asistencias tcnicas contratadas
Fuente: SAE (2005), La Iniciativa Comunitaria Equal.

Actuaciones en Andaluca. Informe Final 2001-2004
En tanto que ms del 50% de los proyectos desarroll

evaluaciones internas y externas y ms del 80% cont
con servicios de asistencia tcnica externa, se puede
concluir que se ha generado una tipologa de evaluaciones particular, que podramos denominar como
evaluaciones internas asistidas.
Hay que hacer constar que en algunos casos las evaluaciones realizadas por alguna entidad socia del par-
Fuente: UAFSE (2003). Primer Informe de Evaluacin

Intermedia de la I.C. Equal (Borrador). Encuesta a representantes y responsables tcnicos de la AD.
ESTUDIOS
187
29/11/2007
17:03
Pgina 188
b) Momento en que se evala: evaluacin intermedia

vs. evaluacin final
El momento elegido para llevar a cabo la evaluacin
suele ser un condicionante normativo ligado a la financiacin, es decir, la administracin o administraciones
que cofinancian la intervencin suelen establecer la
obligatoriedad de la evaluacin y los periodos en los
que debe llevarse a cabo.
Cuando las evaluaciones se realizan antes de que las
intervenciones se pongan en marcha se permite introducir mejoras en su diseo incrementando su pertinencia, racionalidad y coherencia, a la vez que se facilita la preparacin de la intervencin para ser evaluada. Las evaluaciones intermedias suponen una
herramienta para los gestores ya que les permite realizar los ajustes oportunos para maximizar las oportunidades de alcanzar los objetivos establecidos. Y las
evaluaciones realizadas una vez finalizadas las intervenciones tienen el potencial de contrastar el logro de
objetivos e identificar aprendizajes y buenas prcticas.
En el caso de la IC Equal si bien se estableca la indicacin de llevar a cabo una evaluacin continua la obligacin de los partenariados era la de presentar un informe de evaluacin final. Ello ha derivado en la recogida constante de informacin o seguimiento continuo y
en la realizacin de evaluaciones finales, que en algunos
casos estuvieron precedidas por informes intermedios.
La escasa realizacin de evaluaciones intermedias, no
slo en Andaluca sino tambin a escala nacional, y la
tarda puesta en marcha efectiva de los procesos evaluativos ha restado capacidad a los partenariados
Equal para introducir mejoras durante la ejecucin de
sus intervenciones. Este hecho ha podido estar provocado porque usualmente la puesta en marcha de
los partenariados requiere tiempo y es habitual que se
produzcan retrasos en la ejecucin mientras que se
definen las tareas y los procedimientos o hasta que se
hacen efectivas las aportaciones y ayudas financieras.
La preferencia por la realizacin de evaluaciones fi-
ESTUDIOS
188
nales entre los proyectos andaluces parece ser coherente con la orientacin de la Evaluacin en Equal
hacia la deteccin de nuevas formas de combatir las
discriminaciones y desigualdades en el mercado de
trabajo. Es habitual que la evaluacin en este tipo de
proyectos de marcado carcter experimental requiera
dejar transcurrir el tiempo suficiente para que los resultados puedan ser apreciados.
c) Funcin encomendada a la evaluacin: evaluacin
sumativa vs. evaluacin formativa
En la mayora de las entrevistas realizadas los responsables tcnicos han referido que gracias a la informacin recogida por ellos mismos o por los evaluadores
externos se han introducido mejoras en los proyectos
sobre la marcha. Ha sido en este punto dnde ms se
ha mostrado la participacin de los beneficiarios de las
actividades, a travs de cuestionarios, especialmente las
actividades formativas y las actividades transnacionales
como las visitas de aprendizaje o los intercambios.
Si en las orientaciones para la evaluacin de Equal se
deja entrever un especial nfasis hacia la evaluacin
formativa, la tipologa de evaluacin parece apuntar
haca lo que podramos denominar evaluacin formativa de actividades y evaluacin sumativa del proyecto
en su conjunto.
d) Contenido de la evaluacin: procesos vs. resultados
Durante la metaevalaucin ha emergido una confusin
entre el contenido o mbito prioritario de la evaluacin
(diseo, proceso o resultados) y los criterios de evaluacin definidos para sustentar el enjuiciamiento (eficacia, impactos, pertinencia, entre otros). En los informes consultados se hace referencia al tipo de anlisis que realizan las evaluaciones para referirse tanto
al contenido como a los propios criterios de valor.
Si bien en un determinado contexto evaluativo pueden
existir mayores intereses por establecer un contenido
prioritario, el enfoque integral de la evaluacin aconseja evaluar el diseo, los procesos y los resultados
29/11/2007
17:03
Pgina 189
de manera conjunta, ya que de esta manera se facilita un mayor conocimiento de las intervenciones identificando factores clave de xito.
El contenido ms comn de los ejercicios evaluativos
ha sido el proceso, es decir, la propia ejecucin o implementacin del proyecto, seguido de los resultados.
Son pocas las evaluaciones que se han preocupado
por el diseo a excepcin de un proyecto que concentr todos sus esfuerzos evaluativos en una evaluacin externa sobre su diseo.
Hay que destacar la preocupacin de los proyectos
Equal andaluces por la evaluacin de procesos que
amplia la concepcin tradicional y restrictiva de la evaluacin como un ejercicio de valoracin de resultados.
Este hecho contrasta con la escasa preocupacin por
el diseo de los proyectos en los ejercicios evaluativos, ya que siendo experiencias piloto destinadas a
probar nuevas formas de intervencin su conceptualizacin y diseo pueden convertirse en elementos
clave para su validacin y transferencia.
CENTRALIDAD DEL PROCESO DE EVALUACIN

El anlisis de la centralidad del proceso evaluador en
el seno de los proyectos Equal no viene definido nicamente por ellos mismos sino que en cierta medida
est condicionado por el papel orientador que realizan

las administraciones pblicas competentes en los mbitos regional (Servicio Andaluz de Empleo, SAE) y nacional (Unidad Administradora del Fondo Social
Europeo, UAFSE). En este sentido resultan determinantes los recursos que se destinan, econmicos, humanos y temporales, as como la respuesta a las necesidades concretas de los proyectos.
Administraciones Pblicas competentes: UAFSE y SAE
Desde la UAFSE se licit el proceso de Evaluacin intermedia en agosto de 2002 por una cantidad que supona el 0.38% del presupuesto total que tena consignada la Iniciativa Equal en Espaa para la primera fase
de su ejecucin (2001-2004).
En junio de 2003 el Servicio Andaluz de Empleo (SAE)
licit una asistencia tcnica para el seguimiento, difusin y evaluacin de los 21 proyectos Equal que representaba. El presupuesto de esta licitacin fue del
1.13% del presupuesto total para la primera fase 20012004, como se puede observar en el Figura 4. Este
porcentaje hay que corregirlo ya que una parte importante corresponde a actividades de difusin, quedando un 0.62% para las tareas de seguimiento y evaluacin que, aunque no se destina nicamente a evaluacin, supone casi un 30% ms de dotacin
presupuestaria de la evaluacin nacional encargada
por la UAFSE.
Figura 4. Dotacin presupuestaria de las evaluaciones en Equal
Fuente: Elaboracin propia a partir de datos del BOE y BOJA. Datos en euros
ESTUDIOS
189
29/11/2007
17:03
Pgina 190
Adems de la contratacin de estas evaluaciones externas, ambas entidades ofrecieron herramientas de

apoyo, especialmente el SAE. La UAFSE encarg la
publicacin de una Gua metodolgica de evaluacin
interna con el propsito de facilitar y orientar el proceso de evaluacin de los proyectos Equal espaoles.
La gran limitacin de esta gua como orientadora de
las evaluaciones ha sido, segn el personal tcnico de
los proyectos, que lleg tarde, cuando muchos procesos ya estaban en marcha, si bien se ha reconocido
su utilidad para mejorarlos.
Por su parte, el SAE como entidad representante de
21 proyectos asumi la funcin de asegurar las tareas
de seguimiento y evaluacin continua de dichos proyectos. Para ello, les ofreci una herramienta informtica de seguimiento y evaluacin continua del proyecto, realiz informes de seguimiento de cada uno de
ellos y del conjunto y celebr actividades de refuerzo
de la evaluacin y para la deteccin y difusin de
buenas prcticas.
Como tareas especficas de evaluacin se organiz en
Granada durante el mes de diciembre de 2002 un seminario en el que hubo un taller especfico sobre
Evaluacin. Por otro lado, se organiz en Crdoba un
seminario de capacitacin con el objetivo de realizar
un diagnstico de los sistemas de seguimiento y evaluacin de los proyectos y detectar buenas prcticas.
Las buenas prcticas detectadas y validadas en un
seminario posterior celebrado en Sevilla, han sido recogidas en una publicacin que recoge las herramientas empleadas con mejores resultados para la
evaluacin y el seguimiento de los proyectos.
En octubre de 2004 se celebr en Jan una jornada
para el intercambio y presentacin de evaluaciones de
proyectos Equal andaluces que congreg a evaluadores internos y externos de dichos proyectos y sirvi
para detectar aprendizajes y establecer retos de futuro.
ESTUDIOS
190
Agrupaciones de Desarrollo
Para poder tener un referente del presupuesto de las
evaluaciones de los proyectos Equal andaluces se
puede recurrir a los datos recogidos en la Evaluacin
Intermedia del PIC Equal que se muestran en la Figura
5, (UAFSE, 2003).
Figura 5. Realizacin financiera por Comunidad

Autnoma y categora de gasto. Accin 1
CCAA
EVALUACIN
CCAA
EVALUACIN
Navarra
7.1
Com. Valenciana
ANDALUCA
5.5
Cantabria
2.6
2.1
Castilla y Len
5.2
Asturias
2.0
Plurirregionales
5.2
Pas Vasco
0.9
0.0
Madrid
5.0
Aragn
Catalua
4.4
Baleares
0.0
Galicia
4.4
Canarias
0.0
Castilla La Mancha
3.5
La Rioja
0.0
3.1
Melilla
0.0
20.1*
TOTAL
4.4
Extremadura
Murcia
Fuente: UAFSE, 2003. Primer Informe de Evaluacin

Intermedia de la I.C. Equal (Borrador). Mdulo de
Seguimiento EQUAL.
Durante la fase inicial destinada a la constitucin de

los partenariados (Accin 1), el gasto en evaluacin
de los proyectos supuso en Andaluca un 5.5% del
total, situndose como la segunda Comunidad
Autnoma que dedic mayores esfuerzos presupuestarios a las tareas evaluativas. Este porcentaje fue superior a la media nacional del 4.4% y a la media de las
regiones objetivo 1, 4.8%. Este esfuerzo superior en
evaluacin parece correlacionarse con el grado de
desarrollo de los territorios y la capacidad supuestamente instalada en ellos.
29/11/2007
17:03
Pgina 191
Durante la fase de ejecucin (Accin 2) en muchos

proyectos se han reconocido dificultades para llevar a
cabo las evaluaciones y se han detectado deficiencias
en sus planes de evaluacin. Los tcnicos entrevistados han puesto de manifiesto que los retrasos acumulados hicieron que existiese una mayor preocupacin por ejecutar las acciones del proyecto que por
extraer buenas o malas prcticas o por evaluar, unido
a las dificultades propias que supona para ellos acometer un proceso de evaluacin y los importantes recursos que haba que destinar a ello.
DISEO
METODOLGICO:
INDICADORES,
FUENTES DE VERIFICACIN Y HERRAMIENTAS
El diseo metodolgico de las evaluaciones, teniendo
en cuenta sus objetivos y criterios, debe adaptarse al
contexto en el que se desarrollan los proyectos. Este
trabajo de investigacin evaluativa es un procedimiento reflexivo, sistemtico, controlado y crtico que
hace necesario organizar y planificar el trabajo de
acuerdo con una estrategia que oriente el modo de
obtener datos e informacin pertinente al objeto de la
evaluacin de la manera ms adecuada.
El marco metodolgico debe describir cmo se medirn los cambios que la intervencin ha previsto, los
indicadores que reflejarn el grado de consecucin de
cada uno de ellos, las fuentes, tcnicas e instrumentos
que se emplearn para la recogida de informacin y
los procesos para su tratamiento y anlisis.
En la mayora de las evaluaciones consultadas no se
han observado referencias explcitas al modo en que
abordan la medicin de los cambios que pretenda
provocar la intervencin entre sus destinatarios. En
ms del 60% de los planes e informes de evaluacin
consultados, las referencias metodolgicas comienzan
con la descripcin de las tcnicas que se aplican para
la recogida de informacin haciendo referencia a su
carcter cuantitativo o cualitativo, o bien participativo.
Entre los principales elementos empleados para la recogida de informacin se encontraron las fichas y
cuestionarios de seguimiento y evaluacin que incorporaban una batera de indicadores y, en ocasiones,
se instrumentalizaron a travs de aplicaciones informticas que permitan su acceso remoto a travs de
Internet y facilitaban el tratamiento de la informacin y
la elaboracin de informes y estadsticas bsicas.
Adems de estas fichas y cuestionarios fue frecuente
la realizacin de entrevistas y encuestas a travs de
cuestionarios dirigidos al personal tcnico de los proyectos y a las personas beneficiarias de las actividades. En la Figura 6 se recogen las principales herramientas e instrumentos empleados por los proyectos para la recogida de informacin.
Figura 6. Mecanismos para la recogida de informacin empleados y n de proyectos que los aplicaron
Herramientas e instrumentos
N proyectos
Observacin continuada
14
Fichas de recogida de informacin
20
Visitas de seguimiento
15
Grupos de trabajo de equipos tcnicos 15
Entrevistas
19
Cuestionarios
20
Grupos de discusin
18
Fuente: SAE (2005).
En cuanto al diseo de herramientas que faciliten la recogida de informacin para la evaluacin se realiz un
esfuerzo importante tanto por parte de los evaluadores
externos como de los internos. El mejor ejemplo de ello
es el documento editado por el Servicio Andaluz de
Empleo bajo el ttulo Buenas prcticas en seguimiento
y evaluacin de proyectos de empleo. Experiencias de
la Iniciativa Comunitaria Equal en Andaluca. Una batera de estas herramientas calificadas como buenas
prcticas se presentan en la Figura 7 haciendo referencia al proyecto que las emple.
ESTUDIOS
191
29/11/2007
17:03
Pgina 192
Figura 7. Herramientas e instrumentos de seguimiento y evaluacin aplicados por los proyectos Equal andaluces
Metodologa, tcnica, herramienta
Proyecto que la ha empleado
Unidad de anlisis en el contexto de una evaluacin etnogrfica
EQUAL Andaluca: Estrategias para el empleo
Taller de escenarios de futuro EASW
Co-labora.con
Metodologa Empowerment
Arena
Historias de vida
Construyendo futuro
Encuentros y reuniones grupales
Clave & Laboro, Co-labora.con, EQUAL-Granada
Diario Comn
EQUAL-Andaluca: Estrategias para el empleo
Cuaderno de campo
EQUAL Granada
Aplicacin informtica de seguimiento
La oportunidad de emprender en el Norte de Crdoba
Grupo de pilotaje para la validacin de herramientas
ODISEA
Manual de procedimientos de evaluacin interna y externa
Filn
Cuestionario para evaluar el funcionamiento interno de la AD
ITACA, Andaluca en e-Igualdad
Fuente: SAE (2004).
La recogida de informacin cualitativa sobre los procesos, las estrategias y su alcance se contempl en
los proyectos a travs, fundamentalmente, de tcnicas
participativas como las reuniones, los grupos de discusin y la realizacin de talleres para el diseo de escenarios de futuro y estrategias de desarrollo.
Como ningn mtodo o tcnica es exhaustivo e infalible, en la actualidad, se aboga por una metodologa
plural, no sujeta a ningn mtodo especfico. Se opta
por la combinacin de mtodos que traten de adecuarse, de manera complementaria, a la complejidad
estructural de la realidad social. Cada mtodo ser
adecuado a cada objeto particular de conocimiento,
de ah que resulte til la conjugacin de varios, o incluso la indagacin y creacin de otros mtodos innovadores, empleando cada uno de ellos para comprobar las restantes, proceso que se conoce con el
nombre de triangulacin.
ESTUDIOS
192
HALLAZGOS, INTERPRETACIONES, JUICIOS DE

VALOR Y RECOMENDACIONES
Por elaboracin prctica de la evaluacin se entiende
la cadena de razonamiento que lleva secuencialmente
desde los hallazgos de la evaluacin (afirmaciones basadas en hechos registrados) hasta las conclusiones
(basadas en los hallazgos y en las interpretaciones
que sobre ellos se hacen) y recomendaciones (propuestas suscitadas por las conclusiones a fin de mejorar la calidad de la intervencin evaluada).
Cada uno de estos niveles implica un grado de reflexin
ms profundo y basado en el nivel anterior, configurando una secuencia de razonamiento y determinando
el enjuiciamiento sistemtico de la evaluacin. Es recomendable que las evaluaciones recojan de manera diferenciada estos tres niveles: hallazgos, conclusiones y
recomendaciones, estableciendo de manera clara la
cadena los postulados establecidos para alcanzarlos.
29/11/2007
17:03
Pgina 193
Es en este apartado en el que menos aportaciones realizan las evaluaciones consultadas en las que en
contadas ocasiones se presentan de manera diferenciada los hallazgos y las interpretaciones que sobre
ellos hacen los evaluadores, las conclusiones que se
derivan y las recomendaciones. Este hecho ha sido
especialmente significativo en las evaluaciones internas en las que esta diferenciacin de hallazgos, juicios de valor y recomendaciones queda ms difusa.
La funcin que se le encomend a la evaluacin en

Equal fue la de sustentar el debate sobre la transferencia de las mejores prcticas experimentadas en los
proyectos a las polticas generales de empleo. Es por
ello que para que las evaluaciones fuesen tiles y utilizadas, adems de generar informacin til deban
estar listas antes de la puesta en marcha de esta ltima fase destinada a la difusin y transferencia
(Accin 3, en terminologa Equal).
En ms del 50% de las evaluaciones consultadas se

introduce un apartado dedicado a las conclusiones y
recomendaciones si bien, en la mayora de los casos,
no se encuentran organizadas en torno a las grandes
cuestiones a las que debe responder la evaluacin.
No obstante, durante la fase de preparacin y presentacin de propuestas para participar en dicha Accin
3, las evaluaciones, en general, ni estaban finalizadas
ni fueron consideradas como elementos centrales
para la discusin y el debate sobre la transferencia.
En cuanto al elemento valorativo o la emisin de juicios

de valor la mayora de informes consultados realizan
pocas aportaciones, centrndose en la descripcin de
las intervenciones y de sus procesos de aplicacin, estableciendo datos totales y parciales de realizacin.
En la estrategia de evaluacin que la Comisin

Europea dise se contempl una evaluacin expost
realizada sobre la base de las evaluaciones nacionales y de proyecto. Esta evaluacin final a escala comunitaria se configur como una sntesis de evaluaciones con el objeto de poder determinar las lecciones aprendidas.
UTILIDAD Y UTILIZACIN DE LOS RESULTADOS DE

LAS EVALUACIONES PARA LA TRANSFERENCIA:
EVALUACIN Y MAINSTREAMING.
Metodolgicamente el empleo de la sntesis de evaluaciones a escala comunitaria como sustento para la

transferencia parece, a priori, acertado ya que sirve
para aunar, resumir e incluso potenciar los resultados
de varios estudios de evaluacin de programas o polticas similares, poniendo la atencin en los resultados
de las evaluaciones. Con ello, el objetivo ltimo es mostrar evidencias empricas de las buenas prcticas detectadas que sustenten la transferencia a las polticas
generales configurando lo que se puede denominar el
desarrollo de polticas basadas en la evidencia.
Con el anlisis de la utilidad de la evaluacin se pretende dar respuesta a la pregunta para qu sirven o
ha servido las evaluaciones? As es primordial analizar
los propsitos y funciones que se le han encomendado
a la evaluacin, observando su claridad y explicitacin.
Los trabajos de evaluacin sern meritorios en la medida en que sus resultados sean usados y contribuyan
a mejorar el conocimiento de los agentes interesados.
Entre los aspectos que condicionan la utilidad de la
evaluacin se encuentran su capacidad de dar respuestas a las cuestiones o preguntas que le dieron
origen; la proporcionalidad y concrecin de sus recomendaciones y la bondad de su estrategia de comunicacin de resultados.
En cuanto a la circulacin de la informacin arrojada

por las evaluaciones algunos proyectos haban previsto la publicacin de sus resultados en su Web o en
la del SAE.
ESTUDIOS
193
29/11/2007
17:03
Pgina 194
5
CONCLUSIONES: SEGUIMIENTO O EVALUACIN, LLMALO COMO QUIERAS
Como ha revelado la metaevaluacin los proyectos
Equal que tutel el Servicio Andaluz de Empleo optaron mayoritariamente (81%) por la contratacin de
asistencias tcnicas externas. Pese a no ser concluyentes los hallazgos en cuanto a la tipologa de evaluaciones, existen hechos y discursos que hacen
pensar en que las agrupaciones de desarrollo promotoras de estos proyectos se han apropiado de una
manera limitada de los procesos evaluativos.
La evaluacin externa ha sido puesta en marcha, en
muchos casos, durante el ltimo ao de la ejecucin,
lo que le ha restado capacidad para introducir mejoras
sobre la marcha y se ha desviado de la evaluacin
continua que se persegua.
Normalmente, los promotores de las evaluaciones han
sido las entidades que coordinan tcnicamente los
proyectos y la implicacin del resto de socios del partenariado se ha limitado a un estatus consultivo ms
que participativo. Hay que decir que los esfuerzos presenciales y de tiempo que requiere la participacin en
un proyecto marcado por la cooperacin institucional
y que constituye una autentica red de redes han dificultado la participacin efectiva de las entidades socias en la evaluacin.
Los retrasos en la puesta en marcha de los proyectos
han dilatado la puesta en marcha de las evaluaciones,
relegndolas adems a un segundo plano y en algunos casos ha derivado en su externalizacin. Esta
deficiente planificacin y gestin del tiempo en el proceso evaluativo descansa en gran medida en la propia
complejidad de la Iniciativa Equal en s y ms an
como objeto de un ejercicio evaluativo.
Si la evaluacin qued relegada a un segundo plano
en los proyectos Equal andaluces, con contadas excepciones, se situ en un lugar central de la actividad
del Servicio Andaluz de Empleo. Este liderazgo regional en la evaluacin, en respuesta a los compro-
ESTUDIOS
194
misos adquiridos por el SAE, ha servido para paliar las

carencias de las evaluaciones de muchos proyectos,
difundir la cultura de evaluacin, capacitar al personal
tcnico de los proyectos y, fundamentalmente, para
detectar buenas prcticas entre los proyectos.
En algunas ocasiones las causas que han emergido
para justificar esta situacin residual de la evaluacin
entre los proyectos ha sido la percepcin de que las
tareas de control, seguimiento y evaluacin continua
eran responsabilidad ltima del SAE, ya que eran
stas algunas de sus funciones como socio representante. Este hecho ha relegado a algunos proyectos a
suministradores de informacin peridica al ente regional, dando lugar ms que a evaluaciones internas
continuas a recogidas peridicas de informacin.
Un discurso bastante extendido entre el personal tcnico fue el que se recogi como seguimiento, evaluacin, llmalo como quieras, que ms all de reflejar
una confusin conceptual tiene importantes consecuencias metodolgicas y principalmente deriva, por
un lado, en la recogida indiscriminada de informacin
y, por otro, en la dictadura de las tcnicas en el proceso evaluativo.
se le puede llamar evaluacin o seguimiento o
como tu quieras. yo dira que lo que ms
cambia es el apellido, es decir, el nombre de evaluacin se lo podemos dar pero el apellido no, o
sea, no ha sido una evaluacin quizs de proceso
y tal, sino que al final, por el momento y las circunstancias el anlisis no va a permitir una reconduccin a mitad, pero lo que si ha habido es el seguimiento aunque no podamos llamarlo evaluacin, pero el seguimiento si ha ido modificando el
programa. (E021NRP4).
En no pocas entrevistas surgi esta aclaracin al preguntar por los criterios y por las cuestiones a las que
tendra que dar respuesta la evaluacin o por si se
consideraba que la evaluacin haba recogido o estaba recogiendo sus necesidades informativas.
29/11/2007
17:03
Pgina 195
La interpretacin realizada de esta situacin es que

entre el personal tcnico de los proyectos, encargado
de la evaluacin interna o gestores de las evaluaciones externas, existe una gran concienciacin sobre
la necesidad, casi obligacin, de establecer indicadores para satisfacer los requerimientos habituales de
los cofinanciadores y emitir memorias o informes, intermedios o finales de la actividad. La respuesta habitual es el establecimiento de una batera de indicadores lo ms amplia y exhaustiva posible que, a
priori, garantice la disponibilidad de informacin suficiente sobre la intervencin.
Pensamos al principio de la evaluacin que debamos llevar a cabo una fase de recogida de informacin los mas amplia y exhaustiva posible que
tocase a tcnicos, beneficiarios y otros socios,
que fuese tanto cuantitativa como cualitativa
(E021NRP1).
As, bajo el discurso cuanta ms informacin mejor
se puso de manifiesto el importante esfuerzo realizado
en el diseo de herramientas e instrumentos de recogida de informacin para el seguimiento fsico de las
actuaciones, desde fichas de seguimiento de actividades a cuestionarios de evaluacin-satisfaccin, entrevistas y grupos de discusin hasta aplicaciones informticas de seguimiento.
No obstante, se constat que en muchos casos exista
la percepcin de que con el diseo de indicadores
para la recogida de informacin se daba comienzo al
trabajo evaluativo, sin haber establecido previa y explcitamente las cuestiones a las que dicha evaluacin
tena que dar respuesta y que, por tanto, deban
orientar el proceso de construccin de indicadores.
Ahora hemos reducido al mximo aquellas cuestiones que tienen que ver con la atencin directa
al usuario y es el momento de retomar todo, toda
la informacin recogida por distintas vas, seleccionar la que es rica e interesante, analizarla y convertirla en documento til,.. (E021NRP1).
En este sentido hay que apuntar que la informacin

aportada por los sistemas de seguimiento, cuando
existe, constituye una poderosa fuente de verificacin
para la evaluacin. A pesar de ello, puede ocurrir que
algunas de las cuestiones de evaluacin no encuentren respuesta o argumentos explicativos a travs de
dicha informacin. En muchas ocasiones el problema
no suele ser la falta de informacin, en cuanto a cantidad, sino su falta de desagregacin o heterogeneidad, es decir, aspectos ms vinculados con la calidad. Por tanto, no debiera identificarse la informacin
o indicadores de seguimiento con los correspondientes de evaluacin.
Se puede concluir que no hay buen viento para quien
no sabe a donde va o, lo que es lo mismo, si no sabes
lo que buscas, no entenders lo que encuentras.
Nos dimos cuenta que estbamos haciendo muchas cosas pero que no las habamos estructurado estaban un poco deshilvanadas y bueno
. lo nico que hay que hacer ahora es estructurarlas en un documento entendible y coherente
para todo el mundo .. yo adems, la diferencia
entre seguimiento y evaluacin y tal nosotros habamos hecho, creo, mucho hincapi en el proyecto en el tema de indicadores y todas estas
cosas pero en el tema de lo que es la evaluacin
no estaba tan bien pero vamos ahora lo estamos
reconvirtiendo. (E031NRP2)
En un proyecto surgi esta apreciacin que resume
todo el proceso que se ha ido describiendo anteriormente. La evaluacin no se ha concebido, en general,
en el seno de los partenariados Equal como un proceso sistemtico para enjuiciar el mrito o valor de sus
intervenciones sino como un conjunto de actividades
a incluir en la fase de planificacin, como la construccin de indicadores o la recogida de informacin a
travs de cuestionarios y sistemas de seguimiento
para mejor documentar la intervencin, sus realizaciones y resultados.
ESTUDIOS
195
29/11/2007
17:03
Pgina 196
Este hecho provoca una carencia absoluta de referente que gue el proceso y muchas preguntas quedan
sin responder, ya que a la evaluacin con criterios tradicionales (y ms an sin ellos) le cuesta ver donde no
le han dicho que mire (Ligero Lasa, J.A.).
En conclusin, al esfuerzo por disear herramientas e
instrumentos de recopilacin de informacin se le
unieron las dificultades de los equipos internos de evaluacin para diferenciar las tareas de seguimiento de
las de evaluacin y para establecer, en ocasiones, las
cuestiones a las que se deba dar respuesta.
Algunas de estas dificultades estn relacionadas con
las que a continuacin se relacionan:
La homogeneizacin de instrumentos de recogida
de informacin para un mismo territorio y para un
conjunto de entidades socias.
La ausencia de una entidad que aglutine el diseo
y revisin de los parmetros a evaluar en las diferentes actividades.
El diseo de indicadores e instrumentos para la recogida de informacin, debido a la dilatacin del
proceso de definicin de algunas actividades.
La insuficiencia del marco metodolgico dispuesto
para la evaluacin al no permitir recoger la informacin pertinente para responder a cuestiones como
el alcance de las actividades de sensibilizacin, el
cambio de actitudes en la poblacin y la mejora en
la empleabilidad de las personas beneficiarias. Ello
es debido, en parte, al tiempo necesario que hay
que dejar transcurrir para que se manifiesten los
efectos de la intervencin, que supera la duracin
de los proyectos.
La evaluacin de algunos criterios como la aplicacin del principio de igualdad de oportunidades en
los proyectos, ya sea porque en ellos no se han incorporado medidas concretas o porque resulta difcil su medicin.
ESTUDIOS
196
La atribucin de los efectos provocados por la intervencin entre los diferentes agentes implicados,
a la que se aade la dispersin territorial de muchas
de las actuaciones puestas en marcha.
La aplicacin de herramientas participativas debido
al amplio nmero de socios y personas beneficiarias de las agrupaciones de desarrollo.
Para superar las dificultades encontradas en el diseo
y aplicacin de metodologas, tcnicas e instrumentos
de seguimiento y evaluacin se hace necesario el anlisis del contexto en el que desarrollan su actividad los
equipos evaluadores, principalmente internos. Los seminarios y talleres organizados por el SAE sobre el seguimiento y la evaluacin han propiciado, en algunos
casos, la superacin de esas dificultades.
La complejidad intrnseca de un proyecto Equal, con
un amplio partenariado y un conjunto de actividades
innovadoras locales y transnacionales, y la obligacin
reglamentaria de responder a las necesidades informativas de la administracin nacional y europea ha
provocado que el diseo y aplicacin de herramientas
de recogida de informacin haya ocupado gran parte
del tiempo del personal tcnico adscrito a los proyectos, relegando, en ocasiones, al proceso de evaluacin a un segundo plano. Todo ello ha provocado,
en ocasiones, que las evaluaciones continuas hayan
derivado en recogidas peridicas de informacin.
Si bien, se han observado muchas dificultades en la
concepcin y diseo de las evaluaciones, el proceso
de reflexin que se ha originado en el seno de los proyectos y el desarrollo de la capacidad de las estructuras tcnicas para realizar evaluaciones hacen que
uno de los elementos ms positivos haya sido el
propio aprendizaje experimentado durante los ejercicios evaluativos.
La experiencia acumulada en evaluacin de proyectos
Equal permite hablar de intervenciones complejas
que, partiendo del reconocimiento de la multidimensionalidad de los problemas, generan mltiples
29/11/2007
17:03
Pgina 197
agentes participantes, mltiples niveles administrativos

implicados y mltiples polticas y marcos superiores
de programacin afectados (Vlez, C; Cirera, A y
Murciano, J: 2004).
Este tipo de intervenciones precisan de nuevos enfoques de evaluacin que sobre el despliegue de una
metodologa participativa sean capaces de satisfacer
las necesidades informativas de estos agentes y niveles administrativos implicados. Una consecuencia directa de ello es la necesidad de establecer sistemas
globales e integrales de evaluacin que consideren los
diferentes niveles y, sobre las cuestiones de evaluacin
pertinentes para cada uno de ellos, trasladen en cascada la responsabilidad de la evaluacin destilando las
funciones que debe cumplir cada nivel en el proceso
evaluativo y consideren las fuentes de informacin, que
en ningn caso pueden quedar saturadas por los diferentes procesos evaluativos paralelos.
Otra consecuencia de la complejidad de las intervenciones es la pertinencia de incorporar un enfoque de
procesos en la evaluacin con el objetivo de identificar
y explicitar las estrategias de intervencin y las teoras
del programa (Weiss, C: 1975), estableciendo la ruta
de anlisis adecuada para su seguimiento. Ello contribuye tambin a determinar los mecanismos de gestin y coordinacin y el reparto de tareas que se establecen en los partenariados o entre los mltiples
agentes y niveles administrativos que se ven implicados en la intervencin, con el propsito de poder
avanzar en la atribucin de los resultados alcanzados
y en el aprendizaje sobre los factores clave del xito.
A su vez, la afectacin de mltiples polticas y marcos
superiores de programacin est determinando que
emerjan nuevos aspectos en las evaluaciones con entidad suficiente para ser considerados como criterios
de evaluacin. Este es el caso de las prioridades horizontales de las polticas o instrumentos financieros,
que en el caso de los fondos europeos para el desarrollo son los siguientes: igualdad de oportunidades,
medio ambiente y sociedad de la informacin.
La necesidad de dar respuesta con la evaluacin a la

contribucin de las intervenciones al desarrollo de estas
prioridades hace necesario su delimitacin como criterio que permita emitir juicios de valor al respecto. Esta
misma situacin se produce en la Iniciativa Comunitaria
Equal con los principios rectores que deban contemplar y desarrollar los proyectos a ella adscritos.
Las dificultades expuestas que han enfrentado los procesos de evaluacin analizados y la propia complejidad de la Iniciativa Equal como objeto de evaluativo
recomiendan el desarrollo de acciones de sensibilizacin y capacitacin del personal tcnico de los proyectos encaminadas a clarificar las diferencias entre
seguimiento y evaluacin. Especialmente relevante se
ha manifestado la oportunidad de garantizar que las
evaluaciones establezcan de manera previa y explicita
las cuestiones a las que deben dar respuestas los
ejercicios evaluativos.
Por otro lado, la limitada centralidad de los procesos
de evaluacin se ha revelado como un aspecto clave,
derivada de los retrasos en la ejecucin de los proyectos. Los retrasos en la ejecucin y la concepcin
tradicional y restrictiva de la evaluacin como ltima
etapa del proceso de planificacin son obstculos que
han enfrentado las evaluaciones de los proyectos
Equal y que han restringido su utilidad y potencial.
Ello hace necesario establecer mecanismos que garanticen la puesta en marcha efectiva de los procesos
de evaluacin en este tipo de proyectos, estableciendo
controles iniciales e intermedios. Inicialmente debe garantizarse el establecimiento de planes de seguimiento
y evaluacin y la realizacin de pruebas de evaluabilidad que mejoren la capacidad de los proyectos de
ser evaluados. A medio camino, el requerimiento de informes intermedios de avance de la evaluacin,
adems de permitir la introduccin de mejoras en la
planificacin, debe permitir la reorientacin en su caso
de los procesos evaluativos en los que se observen retrasos y dificultades en su puesta en marcha.
ESTUDIOS
197
29/11/2007
17:03
Pgina 198
BIBLIOGRAFA
Bustelo, M. y Sotillos, B. La formacin de especialistas en evaluacin de programas y polticas pblicas:

revisin del estado de la cuestin y anlisis de un caso
de formacin de post-grado. Ponencia presentada en la
III Conferencia de la Sociedad Espaola de Evaluacin:
Los retos tericos y metodolgicos de la evaluacin en
los sectores del empleo, la educacin y el desarrollo.
Jerez, 12,13 y 14 de noviembre 2003. Mimeo.
Bustelo, M (2001). La evaluacin de las polticas
pblicas de igualdad de gnero de los gobiernos central y autonmicos en Espaa: 1995 1999. Memoria
para optar al grado de Doctor. En lnea:
http://www.ucm.es/BUCM/tesis/cps/ucm-t25225.pdf,
junio de 2003.
Bustelo, M (2003). La metaevaluacin como herramienta para la mejora y el desarrollo de la funcin de
evaluacin en las administraciones pblicas, en
Materiales del Experto en Evaluacin de Programas y
Polticas Pblicas de la Universidad Complutense de
Madrid (2002/2003). Mimeo.
Cohen E. y Franco R., (1993:282-286), Evaluacin de
proyectos sociales. Madrid. Siglo XXI de Espaa Editores.
Diagnstico de los sistemas de seguimiento y evaluacin de los 21 proyectos de la IC EQUAL. Mimeo.
Garca, Esther, Metaevalaucin, en Diccionario
Crtico de Ciencias Sociales, Romn Reyes (Dir),
Universidad Carlos III de Madrid. En lnea
http://www.ucm.es/info/eurotheo/diccionario, julio de 2004.
Garrido, F.J. (2003) EL anlisis de redes en el desarrollo local, en Prcticas locales de creatividad social, Rodrguez, T; Montas, M. y Martn, P. (Coord.)
I.C. EQUAL. Informe de Seguimiento de los
Proyectos en los que participa el Servicio Andaluz de
Empleo (junio 2002-diciembre 2003).
ESTUDIOS
198
IDR y SAE. Seminario de seguimiento y evaluacin

de proyectos de empleo. Cartaya (Huelva), 27 de septiembre de 2005.
MAE (1998). Ministerio de Asuntos Exteriores, MAE.
Secretara de Estado para la Cooperacin
Internacional y para Iberoamrica, SECI. Metodologa
de evaluacin de la Cooperacin Espaola. Secretara
de Estado para la Cooperacin Internacional y para
Iberoamrica. Madrid. Espaa.
Murciano, J (2004). Metaevaluacin de proyectos
Equal en Andaluca. Memoria de Grado del Master de
Evaluacin de programas y polticas pblicas de la
UCM. Mimeo.
Murciano, J (2005). La experiencia de evaluacin en
la Iniciativa Comunitaria Equal en Andaluca. CLAD.
Santiago de Chile.
Murciano, J (2006). Evaluacin de partenariados y
evaluacin en partenariados. El caso de la Iniciativa
Comuntiaria Equal. En E-valuacin, Revista de evaluacin de la Sociedad Espaola de Evaluacin. Ao 0,
n3. Diciembre de 2006.
Osuna, J.L. y Mrquez, C. (Dir.) y A. Cirera y C.
Vlez (2000), Gua para la Evaluacin de Polticas
Pblicas, Instituto de Desarrollo Regional, Fundacin
Universitaria (ed.), Sevilla.
Osuna, J.L., C. Vlez, A. Cirera y J. Murciano (2006).
Programacin y Evaluacin Pblica: un tringulo
complejo. En Ekonomiaz, Revista Vasca de
Economa, n 60. 76-97. Servicio Central de
Publicaciones del Gobierno Vaso. Viztoria-Gasteiz.
Rodrguez Carmona, A. Modulo de Introduccin a
la evaluacin participativa. Material didctico del
Master en Evaluacin de Programas y Polticas
Pblicas (UCM). Mimeo.
SAE (2004). Buenas prcticas en seguimiento y eva-
29/11/2007
17:03
Pgina 199
luacin de proyectos de empleo. Experiencias de la

Iniciativa Comunitaria Equal en Andaluca (2004). DG
de Fomento del Empleo. SAE. Consejera de Empleo.
Junta de Andaluca. En lnea: http:\\www.juntadeandalucia.es/servicioandaluzdeempleo/equal
SAE (2005). La IC Equal en Andaluca: actuaciones
transnacionales. Informe final 2001-2004. SAE.
Consejera de Empleo.
luacin de la Sociedad Espaola de Evaluacin. Ao

0, n3. Diciembre de 2006.
Vlez, C; Cirera, A y Murciano, J, (2004),
Aproximacin a la evaluacin: un tringulo complejo.
Diciembre de 2004. En lnea: www.ess.org
Weiss, C. (1975:135-137), Investigacin evaluativa,
Mxico, Editorial Trillas
SAE (2005). La Iniciativa Comunitaria Equal.

Actuaciones en Andaluca. Informe final 2001-2004.
SAE. Consejera de Empleo.
Stake, R.E. (2006). Evaluacin comprensiva y evaluacin basada en estndares. Coleccin Crtica y
Fundamentos. Barcelona.
Stufflebeam, D.L. y A. J. Shinkfield (2005).
Evaluacin sistemtica. Gua terica y prctica. Temas
de educacin, 4. Paids. Ministerio de Educacin y
Ciencia. Barcelona.
Subirats, J. (2006). Catorce puntos esenciales sobre
evaluacin de las polticas de pblicas con especial
referencia al caso de las polticas sociales. En
Ekonomiaz, Revista Vasca de Economa, n 60. 34-35.
Servicio Central de Publicaciones del Gobierno Vaso.
Viztoria-Gasteiz.
UAFSE (2003). Evaluacin Intermedia del PIC Equal.
En lnea: http://www.mtas.es/UAFSE/default.htm
Vlez, C. (2000). La evaluacin de las polticas pblicas en Andaluca: una realidad en proceso de gestacin. En Cuadernos Econmicos de Granada n
11: Estrategia y tcticas de desarrollo regional y convergencia econmica: urbanismo, coyuntura inmobiliaria y sistema financiero. Enero del ao 2000.
Pginas 53-68.
Vlez, C (2006). La evaluacin: un nuevo yacimiento de empleo. En E-valuacin, Revista de eva-
ESTUDIOS
199

Evaluar La Evaluacion - Juan Murciano

Încărcat de

Informații document

Titlu original

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Evaluar La Evaluacion - Juan Murciano

Încărcat de

Drepturi de autor:

Formate disponibile

24_ANUARIO3-2007.

_ EVALUAR LA EVALUACIN: UNA HERRAMIENTA PARA LA MEJORA.

JUSTIFICACIN DE LA OPORTUNIDAD DE EVALUAR LAS EVALUACIONES DE EQUAL EN ANDALUCA /

2 APROXIMACIN A LA METAEVALUACIN: MEJORA DE LA CALIDAD VS. COMPRENSIN DE LOS PROCESOS

PRINCIPALES HALLAZGOS DE LA METAEVALUACIN / METAEVALUATION MAIN FINDINGS

a evaluacin de las polticas pblicas en

Este esfuerzo por desarrollar procesos de evaluacin

Los resultados de la evaluacin El proceso de evaluacin

-Identificar elemento comunes -Mejorar la comprensin

Fuente: Elaboracin propia.

La metaevaluacin, por su parte, puede poner mayor o

METAEVALUACIN BASADA EN ESTNDARES

En la literatura especializada el debate sobre los roles

se encuentran los siguientes: conveniencia, utilidad,

conclusiones: el tiempo, el espacio, las personas,

EL CASO DE LA INICIATIVA COMUNITARIA

OBJETIVO Y PRINCIPIOS INSPIRADORES DE EQUAL

los principales agentes representativos del mercado

ticalmente, a travs de su aplicacin a las polticas generales de empleo, y horizontalmente, a travs de su

BALANCE DE LAS ACTUACIONES EQUAL EN

25 y 50 aos de edad que no posea ningn tipo de

MARCO NORMATIVO Y METODOLGICO DE LA

trasladado en cascada la responsabilidad de la evaluacin desde el nivel europeo al nacional (Unidad

La oportunidad de analizar comparativamente estos

CUESTIONES QUE BUSCAN RESPUESTA

Concretamente, las preguntas que buscan respuesta

La motivacin es obligatoria o voluntaria?

d) Actitud del staff

Esta cuestin hace referencia tanto al contexto en el

e) Capacitacin del staff

Es importante para ellos la evaluacin?

Tenan formacin o experiencia previa en evaluacin?

2) Propsitos de las evaluaciones

Cundo debe estar lista la evaluacin?

b) Recursos: dotacin presupuestaria

Qu presupuesto, total y relativo, existe para la evaluacin?

Cules han sido sus estrategias evaluativas?

A este respecto se trata de realizar una aproximacin

Sern aspectos clave el anlisis de la participacin de

mtodos, tcnicas e instrumentos. La estrategia de investigacin se ha basado en la aplicacin de:

d) Cmo se valora la utilidad de la evaluacin?

Estudio de caso. Cuando se ha tenido acceso a los

Criterios de evaluacin utilizados, indicadores y fuentes de

Figura 2. Modelo de Ficha de registro de evaluaciones

FICHA DE REGISTRO DE EVALUACINES

Tipologa (agente, momento, contenido,..)

TIPOLOGA DE LAS EVALUACIONES

a) Agente que evala

a.2) Evaluacin interna vs. Evaluacin externa

tenariado, con cargo al proyecto, fue calificada como

Fuente: SAE (2005), La Iniciativa Comunitaria Equal.

En tanto que ms del 50% de los proyectos desarroll

Fuente: UAFSE (2003). Primer Informe de Evaluacin

b) Momento en que se evala: evaluacin intermedia

CENTRALIDAD DEL PROCESO DE EVALUACIN

est condicionado por el papel orientador que realizan

Figura 4. Dotacin presupuestaria de las evaluaciones en Equal

Adems de la contratacin de estas evaluaciones externas, ambas entidades ofrecieron herramientas de

Figura 5. Realizacin financiera por Comunidad

Fuente: UAFSE, 2003. Primer Informe de Evaluacin

Durante la fase inicial destinada a la constitucin de

Durante la fase de ejecucin (Accin 2) en muchos

Metodologa, tcnica, herramienta