1

1.1

Estudio de caso
Por qu utilizar esta herramienta en evaluacin?

Realizar uno o diversos estudios de caso consiste en utilizar uno o varios ejemplos reales con objeto de profundizar en el conocimiento del tema analizado y, si es posible, extraer una serie de lecciones aplicables al conjunto de la evaluacin. En situaciones complejas, el objetivo del estudio de caso es responder a las preguntas Cmo? y Por qu? a partir de ejemplos concretos adecuadamente seleccionados en funcin de los objetivos de la evaluacin. En los casos en los que falla la informacin de base (algo frecuente en las evaluaciones geogrficas), el uso de esta herramienta permite obtener informacin emprica y, por lo tanto, a menudo ms verosmil. Fig. 1 Elementos constitutivos del estudio de caso Documentos Entrevistas Datos estadsticos Observacin directa

Estudio de caso El estudio de caso puede incluir el anlisis de documentos, de datos estadsticos o datos de ejecucin, pero lo que s implica y destaca especialmente es la observacin directa del fenmeno estudiado y las entrevistas a las personas directamente implicadas (como actores institucionales o beneficiarios).

1.2
1.2.1

Cmo aplicar el estudio de caso?

Condiciones para su utilizacin

Para que el estudio de caso sea plausible y d resultados satisfactorios, el contexto especfico de la evaluacin geogrfica requiere: Encontrar a un socio local eficaz, neutro respecto del objeto de evaluacin y con la competencia necesaria en los temas que haya que analizar y los mtodos de evaluacin que se vayan a emplear. Aplicar procesos de supervisin del trabajo realizado por los equipos locales e internacionales. Seleccionar adecuadamente a los interlocutores. Garantizar el equilibrio entre la representatividad de instituciones y beneficiarios en las entrevistas.

Fig. 2 Esquema general de aplicacin del estudio de caso

Condiciones para la utilizacin de la herramienta

Seleccin de las unidades de observacin

Planificacin del estudio

Recopilacin de datos

Anlisis e interpretacin de los resultados

1.2.2

Seleccin de las unidades de observacin

La seleccin de las unidades de observacin es fundamental para garantizar la calidad de la evaluacin y para intentar conseguir la generalizacin de los resultados obtenidos.

La United States Gouvernment Accountability Office (USGAO) propone tres posibles claves para la seleccin de las unidades de observacin: Facilidad (facilidad de realizacin de los estudios). Seleccin del muestreo segn el objetivo. Bsqueda de representatividad estadstica. Ejemplo de criterios de seleccin de pas para la evaluacin de la ayuda europea en el sector del agua: 1. Que el pas sea uno de los principales beneficiarios de la ayuda de la CE en el sector del agua. 2. Contar con un representante de cada regin mundial. 3. Que el agua intervencin. constituya el principal sector de

4. No haber sido objeto de estudio en las ltimas evaluaciones dirigidas por la Unidad de Evaluacin.

1.2.3

Planificacin

Fig. 3 Para dirigir el estudio o los estudios de caso siempre se requiere un protocolo
Elementos concretos del mtodo (gua de entrevista, etc.)

Datos sobre el contexto

Protocolo para dirigir el estudio Mtodo para la recopilacin de informacin Presentacin del informe, etc.

Preguntas a las que debe responder el estudio

Criterios de evaluacin

La realizacin de un estudio de caso piloto permite, entre otras cosas:

Comprobar la validez del mtodo para dirigir los estudios al someterlo a prueba sobre el terreno. Pulir la lista de grupos de personas que hay que contactar y la bibliografa bsica. Perfilar las guas de entrevista y los cuestionarios. Revisar las preguntas para los evaluadores, los criterios y los indicadores a partir de los elementos realmente disponibles sobre el terreno. Realizar un informe tipo, que servir de modelo para los dems evaluadores.

1.2.4

Recopilacin de datos

Para que los resultados del estudio de caso sean fiables, durante la recopilacin de datos hay que tener en cuenta una serie de puntos bsicos: El carcter de los datos recopilados debe ser longitudinal, es decir, que abarquen un perodo de tiempo lo bastante amplio y evitar as que se tomen como referencia situaciones momentneas. Deben verificarse los datos mediante su triangulacin, mtodo sistemticamente adoptado en evaluacin. El evaluador debe asegurarse de que se saca el mximo partido a la informacin recopilada, especialmente en caso de divergencias entre las personas implicadas. Por definicin, el estudio de caso se mantiene abierto a posibles nuevos hallazgos fruto de estudios en curso. Durante la realizacin del estudio de caso, el evaluador debe saber identificar los puntos clave y profundizar en ellos, aunque esto suponga desviarse del plan inicial. Finalmente, la fase de terreno permite la observacin directa de lo que sucede en la realidad. En este sentido, es importante que el evaluador tome nota de ello con la mxima precisin.

1.2.5

Anlisis e interpretacin de los resultados

Se trata de la etapa ms delicada del estudio de caso. El objetivo es tratar la informacin recopilada durante la fase de terreno y establecer relaciones causa-efecto tanto como sea posible respecto de lo observado. Contrariamente a las fases de diseo y de recopilacin de datos, este anlisis est menos sujeto a

metodologas de trabajo, lo que de hecho constituye su relativa dificultad. En parte, este anlisis se realiza simultneamente a la fase de recopilacin de datos, especialmente en los estudios de caso en que: el estudio es lo bastante amplio como para que los primeros resultados permitan al evaluador pulir la continuacin de la fase de recopilacin en tiempo real, la fase de recopilacin de informacin incluya un test de hiptesis preestablecidas que requiera modificar en parte el contenido del estudio segn se vaya avanzando.

1.3

Qu recursos se necesitan?

Fig. 4 Recursos necesarios En tiempo Preparacin: de 15 a 20 das. Terreno: de 3 a 10 das. Anlisis: de 3 a 10 das. Formacin de los evaluadores (en un estudio de caso mltiple): de 2 a 3 das. Sntesis de estudios de caso mltiples: de 10 a 30 das. Humanos Personas cualificadas que dominen la problemtica y las tcnicas de entrevista y el idioma de las personas entrevistadas. En el caso de los estudios mltiples, hay que prever un presupuesto del orden de 15.000 para la fase de preparacin. A continuacin, hay que prever un presupuesto de 5.000 a 7.000 por estudio de caso (gastos de viajes de largo recorrido no incluidos).

Econmicos

1.4

Cules son las ventajas y los lmites de esta herramienta?

Fig. 5 Ventajas y lmites

Ventajas

La abundancia de una informacin cualitativa detallada que describe de forma clara los contextos de aplicacin. Relativa simplicidad de uso. Flexibilidad para adaptarse a las situaciones en tiempo real. Plazos de puesta en prctica compatibles con la evaluacin geogrfica. Informacin obtenida con la suficiente profundidad y, en especial, la capacidad de delimitar las lgicas de accin de los diferentes actores.

Lmites

Dificultad para identificar a los interlocutores adecuados. Dificultad para identificar los casos y sus lmites y para asociarlos a las amplias problemticas de las evaluaciones geogrficas. Dificultades para la generalizacin (por ejemplo a escala de pas) de temticas estudiadas a escala local. Coste de la herramienta. Esta herramienta slo permite la interpretacin estadstica de los datos en raras ocasiones. Esta herramienta se basa en el juicio de uno o diversos evaluadores, por lo que, a pesar de adoptar las debidas precauciones al emplearla, puede comportar cierta parcialidad.

1.5

Listas de control

Lista de control para los evaluadores Est fundamentada la utilizacin de esta herramienta en la evaluacin? Se ha argumentado la seleccin del tipo de estudio de caso? Si el estudio de caso es mltiple, se ha justificado el nmero de estudios de caso? Se ha elaborado un protocolo? Se ha previsto la realizacin de un estudio de caso piloto? Si el estudio de caso es mltiple, se ha formado previamente a los evaluadores? Es explcito el uso de la triangulacin en el mtodo y en los informes de misin? Figuran las fuentes de informacin (documentos, entrevistas, datos de seguimiento, observacin directa) en los informes de misin? Se distingue debidamente, tanto en el mtodo como en los informes, entre los hechos y las opiniones? Se argumenta en el informe de misin el establecimiento de una secuencia de pruebas? Se ha continuado durante la fase de anlisis con el proceso iterativo iniciado en la fase de recopilacin de datos para llegar al establecimiento de una secuencia de pruebas? Se han estudiado y rechazado de forma justificada las informaciones alternativas? Son las justificaciones de los razonamientos suficientes para garantizar la posible reproduccin de dichos razonamientos? Incluye el anlisis la bsqueda de relaciones causaefecto? Se presentan y argumentan las tcnicas elegidas para el anlisis de datos en caso de estudio mltiple?

Es el informe del comprensible y explcito?

estudio

de

caso

lo de

bastante caso las

Han revisado el informe del estudio principales personas que han participado?

Se explicitan debidamente los lmites del alcance de los resultados del estudio?

Lista de control para los gestores Se ha fundamentado la utilizacin de esta herramienta? Se distingue debidamente, tanto en el mtodo como en los informes, entre los hechos y las opiniones? Se presentan y argumentan las tcnicas elegidas para el anlisis de datos en caso de estudio mltiple? Es el informe del comprensible y explcito? estudio de caso lo bastante

Se explicitan debidamente los lmites del alcance de los resultados del estudio?