Manual Evaluacion Proyectos

Manual de seguimiento y evaluacin
1a edicin Octubre de 2002
Federacin Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja Est autorizado citar, copiar, traducir a otros idiomas o adaptar a las necesidades locales cualquier parte de esta publicacin sin necesidad de solicitar previamente la aprobacin de la Federacin Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja, siempre que se indique la fuente de manera expresa e inequvoca.
2004 Federacin Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja Apartado Postal 372 CH-1211 Ginebra 19 Suiza Telfono: +41 22 730 42 22 Fax: +41 22 733 03 95 Telex: 412 133 FRC CH Correo electrnico: secretariat@ifrc.org Sitio Web: www.ifrc.org
Prlogo
Deseo que todas las partes interesadas dentro de la Federacin reciban con entusiasmo esta primera edicin del Manual de seguimiento y evaluacin. El panorama siempre cambiante del desarrollo, adems de los desafos cada vez mayores en las reas de rendicin de cuentas, rendimiento, normas de calidad y aprendizaje, convierten a sta en una publicacin oportuna para la Divisin de Seguimiento y Evaluacin. El Manual de seguimiento y evaluacin es una caja de herramientas una coleccin de herramientas, cada una de las cuales est diseada para apoyar la funcin de seguimiento y evaluacin. Como responsabilidad de los rganos de gestin, la actividad de seguimiento proporciona los componentes bsicos para los procesos de toma de decisiones, planificacin estratgica y movilizacin de recursos. Es una actividad clave de medicin en nuestro esfuerzo por lograr la eficacia de la organizacin. Si no podemos medir no podremos gestionar. Aunque el Manual est concebido principalmente para las partes interesadas que trabajan sobre el terreno, constituye, sin embargo, un til e interesante recurso para todas aquellas personas del mbito de la prctica que comparten el objetivo comn de servir eficazmente a las personas ms vulnerables de nuestro mundo. El Manual de seguimiento y evaluacin constituye una iniciativa en evolucin, y esta primera edicin merece ser valorada crticamente. Las diferentes herramientas tratadas se exponen de forma interesante, sencilla y entretenida. La terminologa armonizada facilita utilizar el Manual junto con el Manual del proceso de planificacin del proyecto y la Iniciativa "Mejor diseo de programas" (MDP). La segunda edicin del Manual estar disponible en rabe, espaol y francs. Teniendo en cuenta su calidad de instrumento de aprendizaje organizacional, permanecemos a la espera de recibir sus comentarios constructivos, a fin de convertir la segunda edicin en una ayuda incluso ms pertinente y eficaz para el logro de las metas y objetivos de la Federacin.
Ibrahim Osman Divisin de Seguimiento y Evaluacin Octubre de 2002
ndice de contenidos
Introduccin Mdulo 1 Resumen
1.1 1.2 1.3 1.3.1 1.3.2 1.3.3 1.3.4 1.3.5 1.4 1.4.1 1.4.2 1.4.3 1.4.3.1 1.4.3.2 Objetivo del Manual Cul es el contenido del Manual? Qu principios y definiciones deben tenerse presentes? Gestin basada en resultados Vinculacin del seguimiento y evaluacin a una matriz de planificacin Qu es el seguimiento? Qu es la evaluacin? Seguimiento y evaluacin durante la ejecucin de una operacin Qu es el marco para el seguimiento y evaluacin? El propsito de un nuevo marco para el seguimiento y evaluacin Principios del seguimiento y evaluacin orientados a la obtencin de resultados en la Federacin Enfoque de la Federacin relativo al seguimiento y evaluacin El enfoque del seguimiento orientado a la obtencin de resultados El enfoque de la evaluacin orientada a la obtencin de resultados Enseanzas extradas del mdulo 1 1-1 1-1 1-4 1-4 1-5 1-6 1-7 1-8 1-9 1-9 1-9 1-9 1-10 1-10 1-12
Mdulo 2 Seguimiento y evaluacin

2.1 2.2 2.2.1 2.2.2 2.2.3 2.2.3.1 2.3 2.3.1 2.3.2 2.3.2.1 2.4 2.4.1 2.4.2 2.4.2.1 2.4.2.2 2.4.2.3 2.4.2.4 2.4.2.5 2.4.3 2.4.4 2.5 2.5.1 2.5.2 2.6 2.6.1 2.6.2 2.6.3 2.6.4 Cmo disear un sistema de seguimiento y evaluacin Comprobacin del diseo de la operacin Con qu claridad estn formulados los objetivos? Se han tenido en cuenta factores externos? Medirn los indicadores eficazmente los progresos? Indicadores de seguimiento a travs del contacto con beneficiarios Estimacin de la capacidad de seguimiento y evaluacin Cmo determinar la capacidad de seguimiento y evaluacin Estimacin de necesidades de capacitacin Etapas de un anlisis de las necesidades de capacitacin y del diseo y realizacin de actividades de capacitacin Planificacin de la recopilacin y anlisis de datos Por qu son necesarios los datos de referencia? Qu datos de seguimiento se necesitan y de dnde se obtendrn? Qu datos son necesarios para realizar el seguimiento? Seguimiento de insumos Visitas al terreno una valiosa fuente de informacin complementaria Seguimiento de la participacin Seguimiento y evaluacin del compromiso de la Federacin y de las Sociedades Nacionales con las mujeres Quin recopila y analiza los datos sobre el terreno? Sistemas informatizados de seguimiento Preparacin del plan y presupuesto de seguimiento y evaluacin Plan de seguimiento y evaluacin Presupuesto de seguimiento y evaluacin Planificacin de la notificacin e informacin de retorno Orientacin para la elaboracin de informes de seguimiento y evaluacin Cmo utilizaran los directores de proyectos o programas los diferentes informes? Seguimiento del sistema de notificacin de los asociados Informacin de retorno Enseanzas extradas del mdulo 2 2-1 2-2 2-3 2-3 2-3 2-4 2-6 2-6 2-6 2-6 2-8 2-8 2-9 2-9 2-9 2-9 2-10 2-10 2-10 2-12 2-13 2-13 2-14 2-15 2-15 2-15 2-16 2-16 2-17
Mdulo 3 Seguimiento de programas de las Sociedades Nacionales y notificacin al respecto

3.1 3.2 3.2.1 3.2.2 3.3 3.3.1 3.3.2 3.4 3.4.1 3.4.2 3.4.2.1 3.4.2.2 3.4.2.3 3.5 3.5.1 3.5.2 3.6 3.6.1 3.6.2 3.6.3 Cmo disear un sistema de seguimiento y evaluacin para programas de las Sociedades Nacionales Comprobacin del diseo de programas y actividades de las Sociedades Nacionales En el nivel de Sociedad Nacional En el nivel de actividad Estimacin de la capacidad de seguimiento y evaluacin para estrategias de cooperacin y actividades Cmo determinar la capacidad de seguimiento y evaluacin para estrategias de cooperacin y actividades Estimacin de necesidades de capacitacin para estrategias de cooperacin y actividades Planificacin de la recopilacin y anlisis de datos para estrategias de cooperacin y actividades Qu datos de referencia son necesarios? Qu datos de seguimiento se necesitan y de dnde se obtendrn? Visitas al terreno una valiosa fuente de informacin complementaria Seguimiento a travs del contacto con beneficiarios determinacin del acceso al producto resultante de las actividades, la utilizacin del mismo y la satisfaccin al respecto por parte de los beneficiarios Quin recopila y analiza los datos sobre el terreno? Preparacin del plan y presupuesto de seguimiento y evaluacin El plan de seguimiento y evaluacin El presupuesto de seguimiento y evaluacin Planificacin de la notificacin e informacin de retorno Informes escritos Cmo utilizaran los directores de proyectos o programas los diferentes informes? La informacin de retorno en las estrategias de cooperacin y actividades Enseanzas extradas del mdulo 3 3-1 3-2 3-2 3-2 3-4 3-4 3-4 3-5 3-5 3-6 3-6 3-6 3-6 3-7 3-7 3-9 3-10 3-10 3.10 3-10 3.11
Mdulo 4 Seguimiento y notificacin

4.1 4.2 4.3 4.3.1 4.3.2 4.4 4.4.1 4.4.2 4.5 4.5.1 4.5.2 4.5.2.1 4.5.2.2 4.5.2.3 4.5.3 4.6 4.6.1 4.7 4.7.1 Particularidades del seguimiento y evaluacin Cmo disear un sistema de seguimiento y evaluacin (recordatorio) Comprobacin del diseo de la operacin Consideraciones para el seguimiento y evaluacin en las diferentes fases del ciclo del proyecto Revisin o preparacin de una matriz de planificacin Estimacin de la capacidad de seguimiento y evaluacin Definicin de funciones y responsabilidades en el seguimiento Estimacin de la capacidad de seguimiento Planificacin de la recopilacin y anlisis de datos Datos de referencia Qu datos de seguimiento se necesitan y de dnde se obtendrn? Cul es el mnimo de informacin de seguimiento que debemos recopilar en el caso de emergencias repentinas? Visitas al terreno una valiosa fuente de informacin complementaria Seguimiento a travs del contacto con beneficiarios determinacin del acceso al producto resultante de las actividades, la utilizacin del mismo y la satisfaccin al respecto por parte de los beneficiarios Quin recopila y analiza los datos sobre el terreno? Preparacin del plan y presupuesto de seguimiento y evaluacin El plan de seguimiento y evaluacin Planificacin de la notificacin e informacin de retorno Informes escritos 4-1 4-2 4-3 4-3 4-4 4-5 4-5 4-6 4-7 4-7 4-7 4-7 4-8 4-8 4-9 4-10 4-10 4-11 4-11
4.7.1.1 4.7.2 4.7.3
Informes de situacin e informes de situacin de los suministros pendientes de entrega a los almacenes Cmo utilizaran los jefes de operaciones los informes? Informacin de retorno para las operaciones Enseanzas extradas del mdulo 4
4-11 4-11 4-11 4-12
Mdulo 5 Evaluacin
5.1 5.1.1 5.1.2 5.1.3 5.1.4 5.2 5.3 5.4. 5.4.1 5.4.2 5.4.3 5.5 5.6 5.7 5.8 5.9 5.9.1 Introduccin Para qu? Para quin? Qu es un jefe de evaluacin? Por qu se evala? Un marco para la evaluacin Tipos de evaluacin Normas y principios de la evaluacin Normas generales Principios claves para evaluar operaciones Criterios de evaluacin Existe una base para determinar los criterios? Plantear preguntas sobre el contexto de la evaluacin Plantear preguntas sobre la planificacin de ayuda humanitaria Planificar una autoevaluacin La autoevaluacin de la Sociedad Nacional forma parte del proceso de seguimiento Objetivos de la autoevaluacin y marco operativo Enseanzas extradas del mdulo 5 5-1 5-1 5-1 5-1 5-1 5-2 5-3 5-4 5-4 5-4 5-6 5-8 5-10 5-11 5-15 5-16 5-16 5-21
Mdulo 6 Etapas en la planificacin y gestin de una evaluacin

6.1 6.1.1 6.1.2 6.1.3 6.1.4 6.2 6.2.1 6.3 6.4 6.5 6.6 6.6.1 6.6.2 6.7 6.7.1 6.7.2 6.8 6.8.1 6.9 6.10 6.10.1 6.10.2 6.10.3 Etapa 1 Aclaracin/acuerdo sobre la necesidad de realizar una evaluacin Propsito de la evaluacin Consultas Cuestiones a evaluar Fuentes de financiacin Etapa 2 Planificacin de la evaluacin Planificacin de la evaluacin Etapa 3 Preparacin de los trminos de referencia de la evaluacin Etapa 4 Seleccin del equipo de evaluacin Etapa 5 Estudio terico (previo a la misin) Etapa 6 Ejecucin de la misin de evaluacin Previamente a la llegada del equipo de evaluacin al pas Durante la misin de evaluacin Etapa 7 Preparacin del informe de evaluacin Procedimiento Orientacin para el jefe de evaluacin Etapa 8 Difusin del informe Qu ocurre con las recomendaciones? Etapa 9 Utilizacin de los resultados y aprendizaje a partir de la evaluacin Mejora de la eficacia del proceso de evaluacin Aclarar los objetivos Mejorar la disponibilidad y exactitud de la informacin de seguimiento Lograr que las evaluaciones sean tiles Enseanzas extradas del mdulo 6 6-3 6-3 6-3 6-3 6-4 6-5 6.5 6-6 6-15 6-16 6-16 6-17 6-17 6-23 6-23 6-24 6-25 6-25 6-26 6-28 6-28 6-28 6-29 6-28
Mdulo 7 Estudios de referencia

7.1 7.2 7.3 7.3.1 7.3.2 7.3.3 7.3.4 7.3.5 7.3.6 7.3.7 7.3.8 7.3.9 7.3.10 7.3.11 7.3.12 7.4 7.4.1 7.4.2 7.4.3 7.4.4 7.5 Qu es un estudio de referencia? Estudios de referencia para diferentes tipos de situaciones Planificacin y gestin de un estudio de referencia Es necesario realizar una encuesta de referencia? Quin realizar el estudio de referencia? Determinar los objetivos del estudio Determinar la pertinencia Determinar las preguntas y temas que deber abordar el estudio Seleccionar las unidades de estudio Decidir la utilizacin de un grupo de comparacin Controlar la posible influencia de un ao o intervalo de tiempo de caractersticas especiales Determinar qu datos secundarios se utilizarn Elegir tcnicas de recopilacin de datos primarios Seleccionar la muestra o los lugares que se visitarn Preparar el plan de trabajo y presupuesto Cmo analizar los datos y cmo elaborar informes a partir de los mismos La presentacin es esencial Tener en cuenta la relacin con el seguimiento Utilizacin de los resultados Preparacin del informe Prximas etapas estudios complementarios para el seguimiento y evaluacin Enseanzas extradas del mdulo 7 7-1 7-3 7-5 7-5 7-6 7-6 7-7 7-7 7-7 7-8 7-9 7-9 7-9 7-10 7-11 7-13 7-13 7-13 7-13 7-13 7-16 7-17
Mdulo 8 Herramientas para la recopilacin de datos

8.1 8.1.1 8.1.2 8.1.3 8.1.4 8.2 8.2.1 8.2.2 8.2.3 8.2.4 8.2.5 8.2.5.1 8.2.5.2 8.2.6 8.2.6.1 8.2.6.2 8.2.6.3 8.2.6.4 8.2.6.5 8.2.6.6 8.2.6.7 8.3 8.4 Conceptos y definiciones Datos, informacin y calidad Exactitud, precisin y sesgo Mtodos cuantitativos y cualitativos Ignorancia ptima Herramientas para la recopilacin de datos Qu es el diagnstico rpido? Qu es el diagnstico participativo? El inventario comunitario una herramienta prctica y rentable para la recopilacin de datos Qu es un estudio por muestreo? El seguimiento a travs del contacto con beneficiarios seguimiento de la probabilidad de alcanzar los objetivos Tcnicas para el seguimiento de indicadores de BCM en el nivel 1 Tcnicas para el seguimiento de indicadores de BCM en el nivel 2 Visitas al terreno Quin deber formar parte del equipo que realiza las visitas al terreno? Seleccin de lugares - adnde ir? Con quin reunirse? Cmo realizar la labor sobre el terreno? Por qu constituye una prctica recomendable utilizar listas de verificacin de entrevistas? Anlisis de datos recopilados utilizando listas de verificacin Presentacin de informes cmo documentar y utilizar los resultados Utilizacin de datos secundarios Vnculos con material adicional de orientacin tcnica Enseanzas extradas del mdulo 8 8-1 8-1 8-2 8-3 8-4 8-5 8-5 8-6 8-8 8-10 8-12 8-13 8-14 8-15 8-15 8-15 8-15 8-15 8-16 8-16 8-17 8-18 8.19 8.20
Mdulo 9 Glosario de seguimiento y evaluacin Anexo 1 Ejemplo de trminos de referencia para la realizacin de una evaluacin
Introduccin
Octubre de 2002
Introduccin
La Divisin de Seguimiento y Evaluacin se complace en presentar este Manual como parte de su esfuerzo por lograr una mejora de las actividades de seguimiento y evaluacin llevadas a cabo por las partes interesadas. Aunque el Manual est concebido para ser utilizado por todas ellas, tiene especialmente presente la funcin de seguimiento y evaluacin desde la perspectiva de las Sociedades Nacionales. El Manual presenta tiles herramientas de seguimiento y evaluacin, acompaadas por material terico. Previsiblemente, el Manual se complementar con una serie de sesiones de capacitacin e informacin autnomas o incorporadas en programas existentes, como el Programa de Formacin de Dirigentes de Sociedades Nacionales o el proceso de planificacin de proyectos (PPP). El Manual puede utilizarse junto con otros documentos pertinentes, tales como la Iniciativa Mejor Diseo de Programas (MDP), el Manual del proceso de planificacin del proyecto y el Operational framework for evaluation (marco operativo para la evaluacin), y es un documento que ir perfeccionndose y evolucionando a medida que lo vayamos utilizando en nuestro esfuerzo conjunto por lograr un aprendizaje organizacional. Desde hace tiempo, las partes interesadas han estado solicitando aclarar y desmitificar la funcin de seguimiento y evaluacin para convertirla en una herramienta de actuacin que contribuya a consolidar la MDP y el PPP. El presente Manual sistematiza una bsqueda ms rigurosa de mejores mtodos para determinar si las organizaciones hacen las cosas bien y si hacen las cosas adecuadas. El Manual de seguimiento y evaluacin est estructurado en mdulos, lo que facilita su lectura y permite hacer un recorrido lgico a travs del seguimiento y la evaluacin. Abordando diferentes cuestiones claves al final de cada uno de los mdulos, proporciona al lector la oportunidad de reflexionar y repasar sus conocimientos. La Federacin ha establecido ya la MDP. Muchos de los pases que viven situaciones de postconflicto continan padeciendo tensiones mucho tiempo despus del restablecimiento general de la paz y los elevados niveles de violencia social siguen constituyendo un factor de alteracin para las bases de subsistencia. La programacin explcita permite a las Sociedades Nacionales fortalecer las relaciones dentro de y entre comunidades divididas. La MDP hace hincapi en la importancia de analizar el contexto de las situaciones, describir las actividades de los programas, determinar el impacto y buscar nuevas posibilidades dentro de un slido marco analtico. Iniciativas de este tipo se han puesto a prueba en varios pases, incluidos Colombia y Nigeria. En este primer pas, los resultados pusieron de manifiesto la necesidad de intensificar la coordinacin entre diferentes departamentos de la Sociedad Nacional de la Cruz Roja Colombiana, especialmente en la planificacin de programas para personas desplazadas en el propio pas. En Nigeria, el anlisis segn la MDP sirve de ayuda al personal de la Cruz Roja de Nigeria para determinar formas de mejorar la puesta en prctica de programas de agua y saneamiento. El presente Manual de seguimiento y evaluacin servir de apoyo a la MDP mediante la clara presentacin de preguntas que deben plantearse en torno al diseo de programas. Del mismo modo, el Manual de seguimiento y evaluacin est vinculado tambin al Manual del proceso de planificacin del proyecto, una nueva herramienta de gestin prctica con la que se pretende ayudar a mejorar la planificacin y elaboracin de informes por parte de las Sociedades Nacionales y la Federacin para alcanzar una calidad aceptada en el nivel internacional. El Manual del proceso de planificacin del proyecto, al igual que el de seguimiento y evaluacin, posibilita al usuario desarrollar con rapidez y facilidad herramientas compatibles con los requisitos de los principales donantes, para la identificacin, estimacin, ejecucin y evaluacin de proyectos. El Manual del proceso de planificacin del proyecto se ajusta a las necesidades de la Cruz Roja y de la Media Luna Roja y, al igual que el presente Manual, es aplicable tanto a operaciones de socorro como de desarrollo. i
Introduccin
Octubre de 2002
Como resultado de esta iniciativa en torno al seguimiento y evaluacin se prev que: los jefes de programas/proyectos poseern los conocimientos necesarios y dispondrn de las herramientas adecuadas para aplicar el enfoque de seguimiento y evaluacin; mejorar la calidad de las propuestas y ejecucin de programas/proyectos, y de la elaboracin de los informes correspondientes; se establecern normas de planificacin y una terminologa comn; la capacitacin en materia de planificacin se ajustar a las necesidades y requerimientos de la Federacin, las Sociedades Nacionales y los donantes; el sistema de planificacin de la Federacin adquirir mayor coherencia con el de sus diferentes asociados y donantes; y en el largo plazo y tras un cierto perodo de capacitacin en materia de seguimiento y evaluacin y de puesta en prctica de actividades de seguimiento y evaluacin, las Sociedades Nacionales mejorarn la generacin de ingresos y la obtencin de fondos, la calidad de sus programas/proyectos y la elaboracin de informes.
Cada vez ms, las Sociedades Nacionales hacen hincapi en la evaluacin de la vulnerabilidad y de la capacidad (EVC). Se trata de un nuevo mtodo dinmico de anlisis promovido por la Federacin y complementario al enfoque orientado a las necesidades. La EVC puede utilizarse como herramienta de diagnstico para evaluar la capacidad institucional y como herramienta para evaluar la eficacia e impacto de programas actuales. Para verificar que en las fases de preparacin para emergencias, intervencin y rehabilitacin se hayan cubierto las necesidades bsicas de las personas afectadas por un episodio de crisis, es importante la evaluacin tradicional orientada a las necesidades. La Cruz Roja Nepalesa ha realizado dos EVC piloto utilizando tcnicas de diagnstico rural participativo. Estas evaluaciones mostraron la existencia de una relacin entre la vulnerabilidad, por un lado, y la migracin estacional, la carencia de tierra y el grado de alfabetizacin, por otro lado, y permitieron clasificar las reas segn el riesgo al que estn expuestas. Como respuesta al anlisis realizado en la EVC, el seguimiento y evaluacin pueden posibilitar la supervisin de los progresos. El presente Manual de seguimiento y evaluacin, junto con otras herramientas del marco de programacin y planificacin de la Federacin MDP, PPP y EVC , constituye una caja de herramientas esencial para las Sociedades Nacionales, que aborda sus propias necesidades de informacin para la gestin as como las de los donantes y partes interesadas. Todas las herramientas de esta caja sirven para diferentes tareas, pero todas ellas deben ser utilizadas con creatividad. "Se establecer un sistema de evaluacin en toda la Federacin que incluir la autoevaluacin y el examen por homlogos para medir el progreso en todas las reas esenciales e incorporar las enseanzas en el desarrollo de programas futuros." Estrategia 2010
ii
Mdulo 1: Resumen
Octubre de 2002
1.
1.1
RESUMEN
Objetivo del Manual
El objetivo del Manual es suministrar a la Federacin, a las Sociedades Nacionales de la Cruz Roja y de la Media Luna Roja y a los asociados ejecutores la informacin necesaria para disear, gestionar y promover un sistema de seguimiento y evaluacin orientado a la obtencin de resultados para operaciones de emergencia y desarrollo.
1.2
Cul es el contenido del Manual?
El manual ofrece un recorrido estructurado a travs del diseo del seguimiento y la evaluacin en el contexto de la Federacin y las Sociedades Nacionales. Mdulos 1. Resumen
Este mdulo presenta los conocimientos bsicos que deben poseerse en torno a los conceptos utilizados en el seguimiento y evaluacin orientados a la obtencin de resultados en el contexto de la Federacin y las Sociedades Nacionales.
Contenido de los mdulos
Objetivo del Manual Cul es el contenido del Manual? Qu principios y definiciones deben tenerse presentes? Qu es el marco para el seguimiento y evaluacin?
2. Seguimiento y evaluacin
Este mdulo sirve de orientacin genrica en cuanto al diseo de un sistema de seguimiento y evaluacin. En mdulos posteriores se suministran detalles adicionales especficos para los diferentes tipos de operaciones de la Federacin y de las Sociedades Nacionales.
Cmo disear un sistema de seguimiento y evaluacin Comprobacin del diseo de la operacin Estimacin de la capacidad de seguimiento y evaluacin Planificacin de la recopilacin y anlisis de datos Preparacin del plan y presupuesto de seguimiento y evaluacin Planificacin de la notificacin e informacin de retorno Cmo disear un sistema de seguimiento y evaluacin para programas de las Sociedades Nacionales Comprobacin del diseo de programas y actividades de las Sociedades Nacionales Estimacin de la capacidad de seguimiento y evaluacin para estrategias de cooperacin y actividades Planificacin de la recopilacin y anlisis de datos para estrategias de cooperacin y actividades Preparacin del plan y presupuesto de seguimiento y evaluacin Planificacin de la notificacin e informacin de retorno
3. Seguimiento de programas de las Sociedades Nacionales y notificacin al respecto

Basndose en la orientacin genrica ofrecida en el mdulo 2, este mdulo informa en torno al seguimiento y notificacin relativos especficamente a programas ejecutados en el nivel nacional.
1-1
Mdulo 1: Resumen
Octubre de 2002
4. Seguimiento y notificacin
Basndose en la orientacin genrica ofrecida en el mdulo 2, este mdulo orienta en torno al seguimiento.
Particularidades del seguimiento y evaluacin Cmo disear un sistema de seguimiento y evaluacin (recordatorio) Comprobacin del diseo de la operacin Estimacin de la capacidad de seguimiento y evaluacin Planificacin de la recopilacin y anlisis de datos Preparacin del plan y presupuesto de seguimiento y evaluacin Planificacin de la notificacin e informacin de retorno Introduccin Un marco para la evaluacin Tipos de evaluacin Normas y principios de la evaluacin Existe una base para determinar los criterios? Plantear preguntas sobre el contexto de la evaluacin Plantear preguntas sobre la planificacin de ayuda humanitaria Planificar una autoevaluacin La autoevaluacin de la Sociedad Nacional forma parte del proceso de seguimiento
Etapa 1 Aclaracin/acuerdo sobre la necesidad de realizar una evaluacin Etapa 2 Planificacin de la evaluacin Etapa 3 Preparacin de los trminos de referencia de la evaluacin Etapa 4 Seleccin del equipo de evaluacin Etapa 5 Estudio terico (previo a la misin) Etapa 6 Ejecucin de la misin de evaluacin Etapa 7 Preparacin del informe de evaluacin Etapa 8 Difusin del informe Etapa 9 Utilizacin de los resultados y aprendizaje a partir de la evaluacin Mejora de la eficacia del proceso de evaluacin Qu es un estudio de referencia? Estudios de referencia para diferentes tipos de situaciones Planificacin y gestin de un estudio de referencia Cmo analizar los datos y cmo elaborar informes a partir de los mismos Prximas etapas estudios complementarios para el seguimiento y evaluacin
5. Evaluacin
Este modulo orienta de forma genrica en torno al diseo y realizacin de una evaluacin. Adems, sirve de orientacin especfica en relacin a la autoevaluacin y a la evaluacin de estrategias de cooperacin.
6. Etapas en la planificacin y gestin de una evaluacin

El mdulo detalla cmo abordar con seguridad la realizacin de una evaluacin.
7. Estudios de referencia
Basndose en la orientacin genrica ofrecida en el mdulo 2, este mdulo orienta en torno al diseo y elaboracin de un estudio de referencia para una operacin o programa. Se proporcionan vnculos pertinentes con el mdulo 8, en el cual se ofrecen detalles adicionales sobre mtodos especficos de recopilacin de datos.
1-2
Mdulo 1: Resumen
Octubre de 2002
8. Herramientas para la recopilacin de datos

Este mdulo ofrece detalles sobre herramientas pertinentes de recopilacin de datos que pueden ser utilizadas para el seguimiento y evaluacin.
Conceptos y definiciones Herramientas para la recopilacin de datos Utilizacin de datos secundarios Vnculos con material adicional de orientacin tcnica
9. Glosario de seguimiento y evaluacin

El glosario proporciona definiciones y explicaciones para los conceptos utilizados actualmente en el contexto del seguimiento y la evaluacin en la Federacin y las Sociedades Nacionales.
1-3
Mdulo 1: Resumen
Octubre de 2002
1.3
Qu principios y definiciones deben tenerse presentes?
1.3.1 Gestin basada en resultados

La Federacin y las Sociedades Nacionales estn comprometidas a aplicar una gestin basada en resultados. Este tipo de gestin pretende mejorar su propia eficacia y la rendicin de cuentas: definiendo resultados previstos que se ajusten a la realidad, haciendo un seguimiento de los progresos alcanzados hacia el logro de los resultados previstos, tomando las decisiones de gestin segn los resultados que se obtienen, y notificando sobre el rendimiento. Un aspecto central de la gestin orientada a la obtencin de resultados es la cadena de resultados, definida como orden causal de una operacin necesario para alcanzar los objetivos deseados. La cadena de resultados empieza por los insumos, pasa por actividades y producto, y culmina en consecuencias e impacto (meta). La cadena de resultados proporciona el marco para identificar los indicadores para el seguimiento y la evaluacin. La figura 1.1 muestra la terminologa y definiciones empleadas en relacin con la cadena de resultados. Figura 1.1: Cadena de resultados
Impacto Resultados
(meta)
Resultados positivos y negativos, intencionados o no, en el largo plazo, producidos directa o indirectamente por una operacin de la Federacin o de Sociedades Nacionales. Resultados en el medio plazo derivados del producto de una operacin. Productos, bienes de capital y servicios resultantes de una operacin de la Federacin y/o de Sociedades Nacionales. Acciones emprendidas o labor realizada a travs de las cuales se movilizan los insumos para producir un producto especfico. Recursos financieros, humanos y materiales necesarios para ejecutar la operacin.
Consecuencias
Producto Actividades
Insumos
Qu significa gestin orientada a la obtencin de resultados para la Federacin y las Sociedades Nacionales? Es una gestin que: ampla el alcance del seguimiento y evaluacin a lo largo de la cadena de resultados; garantiza que las consecuencias y el impacto (meta) se incluyan en los planes para medir los progresos y el rendimiento; implica un alejamiento de los insumos y actividades; traslada el inters hacia la medicin de los cambios en el comportamiento y bases de subsistencia de los beneficiarios.
1-4
Mdulo 1: Resumen
Octubre de 2002
1.3.2 Vinculacin del seguimiento y evaluacin a una matriz de planificacin

El principal resultado de un enfoque lgico de diseo de un proyecto es la matriz de planificacin o marco lgico (vase figura 1.2). La Federacin y las Sociedades Nacionales comparten un enfoque relativo a la planificacin en matriz resumido en el Manual del proceso de planificacin del proyecto. Figura 1.2: Relacin de la matriz de planificacin con la cadena de resultados
Matriz de planificacin
Meta Resultados Propsito Consecuencias Actividades Insumos
(recursos)
Cadena de resultados
Resultado, en el nivel ms elevado, al cual pretende contribuir una operacin de la Federacin o de Sociedades Nacionales. Situacin mejorada a la que pretende contribuir significativamente una operacin, suponiendo que se concluya con xito y en el tiempo previsto. Productos, bienes de capital y servicios resultantes de una operacin. Acciones emprendidas o labor realizada a travs de las cuales se movilizan los insumos para producir un producto especfico.
Recursos financieros, humanos y materiales necesarios para ejecutar la operacin.
La matriz de planificacin es una tabla resumen, de no ms de 2-3 pginas, y normalmente acompaa al documento de diseo de la operacin (vase figura 1.3).
1-5
Mdulo 1: Resumen
Octubre de 2002
Figura 1.3: Matriz de planificacin

Lo que conseguir la operacin; lo que pretende lograr Cmo se medir el rendimiento Factores no sujetos al control de los responsables de gestin del proyecto que podran afectar al rendimiento del mismo
Jerarqua de la matriz de planificacin Meta Objetivo, en el nivel ms elevado, al cual pretenden contribuir esta y otras operaciones. Propsito Consecuencia de una operacin. Cambios en el comportamiento de los beneficiarios, en sistemas o en el rendimiento institucional resultantes de la combinacin de la estrategia aplicada para la obtencin del producto y las hiptesis claves. Producto Lo que realmente se produce. Lo que puede considerarse responsable de haber producido la operacin.
Indicadores de rendimiento (Impacto) Indicadores (creciente normalizacin) para medir el rendimiento del programa.
Medios de verificacin
Hiptesis y riesgos (Meta a meta superior) Riesgos relativos al impacto estratgico.
Sistema de evaluacin del programa.
(Consecuencias) Medidas que describen el logro del propsito. Valor, beneficio y rendimiento de la inversin.
Personas, eventos, procesos y fuentes de datos para organizar el sistema de evaluacin de la operacin.
(Propsito a meta) Riesgos relativos al impacto en el nivel de programa.
Indicadores de producto que miden los bienes y servicios que finalmente resultan de la operacin.
Personas, eventos, procesos y fuentes de datos sistema de supervisin y seguimiento para validar el diseo de la operacin.
(Producto a propsito) Riesgos relativos a la eficacia del diseo.
Actividades Principales grupos de actividades que deben llevarse a cabo a fin de conseguir el producto.
Insumos/recursos Presupuesto por actividades. Recursos econmicos, materiales y humanos necesarios para producir el producto.
Personas, eventos, procesos y fuentes de datos sistema de seguimiento para validar los progresos en la ejecucin.
(Actividades a producto) Riesgos relativos a la ejecucin y la eficiencia.
1.3.3 Qu es el seguimiento?
El seguimiento es la tarea diaria de gestin de recopilar y analizar informacin que revela cmo evoluciona una operacin y los aspectos, si acaso los hay, que deben corregirse. El seguimiento es una actividad continua que hace uso de la recopilacin sistemtica de datos sobre indicadores especificados a fin de informar a los responsables de gestin y a las principales partes interesadas de una operacin en curso de la Federacin y/o de las Sociedades Nacionales sobre los progresos registrados y los resultados obtenidos en relacin con la utilizacin de los fondos asignados. La notificacin es parte integrante del seguimiento. La informacin obtenida en el seguimiento: se compila en informes ordinarios y especiales; se comparte con asociados ejecutores, donantes y beneficiarios; se utiliza para sacar conclusiones en las evaluaciones. La figura 1.4 refleja las preguntas claves de cada etapa de la matriz de planificacin a las que deber prestarse especial atencin en la realizacin del seguimiento. Los responsables de gestin debern recibir peridicamente informacin actualizada relativa a la respuesta a estas preguntas para poder responder oportuna y constructivamente a fin de poder encarrilar la operacin hacia el logro de sus objetivos.
1-6
Mdulo 1: Resumen
Octubre de 2002
Figura 1.4: Preguntas para el seguimiento y matriz de planificacin
Meta Propsito Producto Actividades
Preguntas para el seguimiento

La medida de los cambios en el nivel de meta requiere un plazo de tiempo ms largo, por lo que en lugar de abordarse durante el seguimiento, se realiza durante la evaluacin. Se estn alcanzando las consecuencias previstas? Indicadores de seguimiento a travs del contacto con beneficiarios Conduce el producto al logro del propsito? Conducen las actividades al producto previsto? Se estn realizando las actividades segn el calendario y presupuesto planificados? Estn disponibles los recursos econmicos, humanos y materiales en el momento, cantidad y calidad apropiados? Qu est provocando retrasos o resultados imprevistos? Est sucediendo algo que debera empujar a los responsables de gestin a modificar el plan de ejecucin de la operacin?
Insumos
* Los indicadores de seguimiento a travs del contacto con beneficiarios (BCM de sus siglas en ingls) miden los cambios en el comportamiento de los beneficiarios como resultado del producto de la operacin y constituyen un medio importante para dirigir los progresos hacia las mejoras que se desean alcanzar en las condiciones de vida o bases de subsistencia.
1.3.4 Qu es la evaluacin?
La evaluacin es la valoracin sistemtica y objetiva de una operacin en curso o concluida, de un programa o de una poltica, as como de su diseo, ejecucin (o aplicacin) y resultados. Se trata de determinar la pertinencia y logro de los objetivos, as como la eficiencia, eficacia, impacto (meta) y sostenibilidad. La evaluacin deber suministrar informacin fidedigna y til que permita incorporar enseanzas en el proceso de toma de decisiones relativas a la gestin. En la figura 1.5 se exponen las preguntas bsicas a las que deber dar respuesta la evaluacin.
1-7
Mdulo 1: Resumen
Octubre de 2002
Figura 1.5: Preguntas para la evaluacin y matriz de planificacin
Meta Propsito Producto Actividades
Preguntas para la evaluacin

Impacto Sostenibilidad Qu cambios ha ocasionado la Es probable que los beneficios se operacin? mantengan durante un largo perodo de tiempo una vez Se han producido cambios imprevistos o no intencionados? concluida la asistencia? Eficacia Pertinencia Se han alcanzado los objetivos Han sido coherentes los objetivos de la operacin? de la operacin con las necesidades de los beneficiarios y Ha conducido el producto a las polticas de la Cruz Roja y de las consecuencias previstas? la Media Luna Roja? Eficiencia Han estado las reservas de productos disponibles en el momento, cantidad y calidad apropiados? Se han realizado las actividades segn el calendario y presupuesto planificados? Ha sido rentable la obtencin de los productos?
Insumos
1.3.5 Seguimiento y evaluacin durante la ejecucin de una operacin

El seguimiento se realiza durante toda la operacin. Antes de comenzar la operacin, habitualmente se elabora una estudio de referencia. La evaluacin puede llevarse a cabo, por diferentes motivos, en diferentes momentos de una operacin. Figura 1.6: Seguimiento y evaluacin durante la ejecucin de una operacin
Flujo de beneficios
Evaluacin Evaluacin intermedia de la evolucin Estudio de referencia
Evaluacin final
Evaluacin ex post
Seguimiento permanente y exmenes peridicos de la gestin Tiempo Duracin de la operacin
1-8
Mdulo 1: Resumen
Octubre de 2002
1.4
Qu es el marco para el seguimiento y evaluacin?
Como expresin de la orientacin hacia la obtencin de resultados caracterstica de la Federacin se ha establecido un nuevo marco para el seguimiento y evaluacin orientados a la obtencin de resultados, que ha sido aprobado por los rganos superiores de gestin. El marco esboza el propsito y la definicin habitual de los dos conceptos, los principios y funciones del seguimiento y evaluacin orientados a la obtencin de resultados, as como el enfoque general de la Federacin en torno al seguimiento y a la evaluacin. En el Operational framework for evaluation (marco operativo para la evaluacin) de la Federacin pueden consultarse detalles acerca de este enfoque.
1.4.1 El propsito de un nuevo marco para el seguimiento y evaluacin

El marco se centra principalmente en fortalecer la funcin de seguimiento y evaluacin dentro de la Federacin, a fin de asegurar: mayor responsabilidad en la utilizacin de recursos, mayor concentracin en la obtencin de resultados, una base ms slida para la toma de decisiones, y la promocin del aprendizaje e intercambio de conocimientos en el mbito institucional.
1.4.2 Principios del seguimiento y evaluacin orientados a la obtencin de resultados en la Federacin

El marco de la Federacin para el seguimiento y evaluacin se basa en cuatro principios rectores generales: I. Todas las operaciones de la Federacin y de Sociedades Nacionales debern ser sometidas peridica y sistemticamente a seguimiento y evaluacin (incluyendo procesos, rendimiento y contexto), a no ser que la situacin sea tal que ponga en peligro la seguridad del personal de la Federacin y de las Sociedades Nacionales y/o de los copartcipes. El seguimiento y la evaluacin deben estar incorporados en el diseo de todas las operaciones de emergencia y desarrollo. Los sistemas de seguimiento y evaluacin deben ser sensibles y apropiados en relacin con las caractersticas de la situacin y la operacin que se somete a seguimiento o evaluacin. En la medida de lo posible, estos sistemas debern combinarse con los sistemas correspondientes de los asociados ejecutores. Los sistemas de seguimiento y evaluacin deben hacerse eco de las necesidades de informacin y enfoques establecidos por polticas (Principios Fundamentales del Movimiento Internacional de la Cruz Roja y de la Media Luna Roja) y estrategias (p. ej. Estrategia 2010) claves de la Federacin as como de los requisitos relativos a la notificacin. Estos sistemas debern, adems, suministrar datos claves e informacin sobre los resultados, tanto para los sistemas de la Federacin y las Sociedades Nacionales como para los sistemas locales de informacin para la gestin orientada a la obtencin de resultados.
II. III.
IV.
1-9
Mdulo 1: Resumen
Octubre de 2002
1.4.3 Enfoque de la Federacin relativo al seguimiento y evaluacin

1.4.3.1 El enfoque del seguimiento orientado a la obtencin de resultados
La herramienta bsica para establecer un sistema slido de seguimiento es el enfoque del modelo lgico. Entre los componentes esenciales de este sistema deben incluirse: Objetivos de la operacin claramente definidos, expresados en una matriz de planificacin en la que se determine la poblacin beneficiaria y se persigan los objetivos conforme a un conjunto de normas establecidas. Para cada objetivo e hiptesis, un mnimo de indicadores de resultados, tanto cuantitativos como cualitativos, cuya obtencin y anlisis sean factibles. Una estimacin de la capacidad de seguimiento y, cuando la capacidad requiera ser fortalecida, una estimacin de las necesidades de capacitacin. Un plan de recopilacin y anlisis de datos, incluidos datos de referencia y datos actuales. El plan debe considerar una combinacin de tcnicas tales como el anlisis de informes, visitas al terreno, y estudios especiales y por muestreo. Un plan y presupuesto de seguimiento y evaluacin que resuman las necesidades de informacin, la recopilacin y anlisis de datos y la utilizacin de la informacin (elaboracin de informes y presentacin de la informacin). El plan debe identificar a los responsables, y se sealar y actualizar peridicamente el plazo en el cual deban realizarse las tareas claves. El presupuesto debe incluir fondos para personal, asesores, viajes, reuniones y talleres pertinentes, recopilacin de datos de referencia, gestin de datos, informes y estudios especiales y, en el caso de estar previstas actividades de capacitacin, fondos para el fortalecimiento de la capacidad en este mbito. Un sistema de notificacin e informacin de retorno que permita a los rganos de gestin tomar decisiones oportunamente de acuerdo con los hallazgos del seguimiento; determinar quin es responsable de asegurar intervenciones justiciables. Una reunin anual de revisin en la que participen las partes interesadas claves y que permitir estimar anualmente de forma participativa el rendimiento y resultados obtenidos hasta la fecha as como planificar las actividades de seguimiento y evaluacin del siguiente ao.
1.4.3.2 El enfoque de la evaluacin orientada a la obtencin de resultados
En relacin con las evaluaciones, es esencial disponer de un sistema slido de seguimiento, a fin de suministrar informacin fidedigna sobre los resultados. La informacin suministrada por los estudios de referencia, informes de situacin y reuniones de revisin permite a la Federacin y las Sociedades Nacionales centrar sus evaluaciones en la obtencin de resultados y en la confirmacin de los ya existentes, aparte de en la rendicin de cuentas a la Junta de Gobierno, al Secretario General y a los donantes. Las evaluaciones realizadas por evaluadores independientes slo se llevan a cabo cuando existe una necesidad especial de gestin o cuando esa evaluacin puede brindar informacin para las necesidades de la organizacin en el largo plazo relativas a estrategias y polticas. La evaluacin desempea tambin una funcin importante en una organizacin en proceso de aprendizaje. A fin de hacer ms hincapi en una reflexin general y en el aprendizaje a partir de buenas y malas experiencias, se estimula, como mecanismo de aprendizaje habitual en todas las operaciones, la realizacin de autoevaluaciones efectuadas conjuntamente por Sociedades Nacionales y asociados ejecutores.
1-10
Mdulo 1: Resumen
Octubre de 2002
Por ejemplo, durante la ejecucin de una operacin (o de una de sus fases) deber realizarse al menos uno de los tres siguientes ejercicios de evaluacin: Autoevaluacin realizada por el jefe de operaciones. Evaluacin no obligatoria realizada por asesores independientes y dirigida por la Sociedad Nacional. Evaluacin independiente obligatoria realizada por asesores independientes y dirigida por la Divisin de Seguimiento y Evaluacin. Se realizar: en toda operacin cuyo presupuesto acumulativo de todas las fases alcance o exceda los 5 millones de francos suizos; en el caso de operaciones especiales, evaluaciones sectoriales o temticas, segn lo solicite la Junta de Gobierno.
1-11
Mdulo 1: Resumen
Octubre de 2002
ENSEANZAS EXTRADAS DEL MDULO 1

RESUMEN
LA FEDERACIN ABOGA POR UN ENFOQUE ORIENTADO A LA OBTENCIN DE RESULTADOS. EN ESE SENTIDO, HACE HINCAPI EN UNA PLANIFICACIN ORIENTADA A LA OBTENCIN DE RESULTADOS. UN ENFOQUE APROPIADO PARA LA PLANIFICACIN ORIENTADA A LA OBTENCIN DE RESULTADOS ES EL MODELO LGICO. EL MODELO LGICO IMPLICA LA UTILIZACIN DE MATRICES DE PLANIFICACIN, EN LAS QUE SE DETALLAN INDICADORES DE RENDIMIENTO, MEDIOS DE VERIFICACIN E HIPTESIS. LAS PREGUNTAS A LAS QUE DEBE DAR RESPUESTA EL SEGUIMIENTO SE DEDUCEN DE LA MATRIZ DE PLANIFICACIN. EL SEGUIMIENTO SUPONE QUE SE HAYAN ESTABLECIDO LOS OBJETIVOS EN MATRICES DE PLANIFICACIN. LOS OBJETIVOS INCLUYEN ESPECIFICACIONES ACERCA DE LOS BENEFICIARIOS CONFORME A LAS NORMAS DE OBTENCIN. LAS PREGUNTAS A LAS QUE DEBE DAR RESPUESTA LA EVALUACIN SE DEDUCEN DE LA MATRIZ DE PLANIFICACIN. PARA REALIZAR LA EVALUACIN ES NECESARIA LA INFORMACIN OBTENIDA EN EL SEGUIMIENTO.
1-12
Mdulo 2: Seguimiento y evaluacin
Octubre de 2002
2.
2.1
Seguimiento y evaluacin
Cmo disear un sistema de seguimiento y evaluacin
Para introducirse en el tema del seguimiento y evaluacin y su vinculacin con la matriz de planificacin, consulte el punto 1.3 Qu principios y definiciones deben tenerse presentes? (mdulo 1). En la tabla 2.1 se resumen las etapas del diseo de un sistema de seguimiento y evaluacin. Estas etapas y los aspectos reflejados en la lista de tareas acompaante se presentan con ms detalle en los siguientes apartados. Tabla 2.1: Etapas del diseo de un sistema de seguimiento y evaluacin
Etapa Lista de tareas Revise y corrija (y prepare si es necesario) la matriz de planificacin. Asegrese de que los objetivos reflejados en la meta (impacto), propsito (consecuencias), producto e hiptesis estn definidos con claridad y son mensurables. Asegrese de que los indicadores estn concretados adecuadamente en sus aspectos cuantitativo, cualitativo y temporal. Identifique los recursos humanos y econmicos disponibles. Valore los requisitos de capacitacin para todo el personal de seguimiento, tanto de la Federacin y las Sociedades Nacionales como de organismos copartcipes. Especifique los requisitos de capacitacin. Compruebe la fiabilidad y exactitud de las fuentes de informacin existentes a fin de determinar qu datos estn ya disponibles. Decida qu informacin adicional deber recopilarse para servir de referencia, para el seguimiento y para la evaluacin. Establezca un plazo de tiempo y un calendario para la recopilacin y procesamiento de datos y acuerde las responsabilidades. Resuma las necesidades de informacin acordadas, la recopilacin de datos y la utilizacin de la informacin (elaboracin de informes y presentacin de la informacin) en un plan de seguimiento y evaluacin. Resuma los requisitos para fortalecer la capacidad y brindar apoyo. Calcule el costo de todas las actividades de seguimiento y evaluacin e identifique fuentes de financiacin. Disee el sistema de notificacin y especifique el formato de los informes. Disee un sistema de informacin de retorno y toma de decisiones para los responsables de gestin.
Compruebe el diseo de la operacin
Valore la capacidad de seguimiento y evaluacin Planifique la recopilacin y anlisis de datos Prepare el plan y presupuesto de seguimiento y evaluacin Planifique la notificacin y la informacin de retorno
2-1
Octubre de 2002
2.2
Comprobacin del diseo de la operacin
El punto de partida del diseo de un sistema de seguimiento y evaluacin es examinar la matriz de planificacin y sus elementos complementarios el calendario de ejecucin y el presupuesto (vase punto 1.3.2 Vinculacin del seguimiento y evaluacin a una matriz de planificacin (mdulo 1)), as como las directrices del documento del proyecto o del plan operativo relativas al seguimiento y evaluacin. Es esencial que exista un vnculo claro entre la matriz de planificacin y el plan de seguimiento y evaluacin, y que el flujo de informacin atienda las necesidades de los responsables de gestin en los diferentes niveles de la jerarqua de gestin. La figura 2.1 resume los vnculos necesarios. Figura 2.1: Componentes del plan de seguimiento y evaluacin y su vinculacin con la matriz de planificacin Herramientas de planificacin de proyectos Componentes del plan de seguimiento y evaluacin
Estudio de referencia y evaluaciones Medidas para la recopilacin de datos de referencia y estudio complementario de los indicadores de consecuencias Planes para la autoevaluacin o cualquier evaluacin regular que deba ser realizada por asesores externos Seguimiento Planes para la recopilacin y anlisis de datos sobre: - el logro de objetivos en los niveles de producto y propsito - la realizacin de actividades y conformidad con obligaciones contractuales - los gastos en comparacin con el presupuesto - los iesgos e hiptesis Notificacin Presentacin y formato acordados para los informes (segn niveles de gestin) Sistema acordado para informacin de retorno y revisin de la gestin Fortalecimiento de la capacidad y apoyo Especificacin de los requisitos de capacitacin y apoyo para la Federacin y los asociados ejecutores Planes para comprobar la calidad y exactitud de los resultados del seguimiento y la evaluacin Plan de trabajo y presupuesto de seguimiento y evaluacin Actividades de seguimiento y evaluacin incluidas en la matriz de planificacin y en el calendario de ejecucin Costos del seguimiento y de la evaluacin incluidos en el presupuesto
Jerarqua de resultados Meta Propsito Producto Actividades Insumos Costos Indicadores de rendimiento Medios de verificacin Hiptesis y riesgos
Calendario de ejecucin
Actividades E Actividad 1 Actividad 2 Actividad 3 Etc. F M A M J J A S O N D
Presupuesto
Artculo Alimentos Artculos no alimenticios Etc. Cantidad Costo
El Manual del proceso de planificacin del proyecto de la Federacin sirve de orientacin para el desarrollo y aplicacin de un enfoque basado en el modelo lgico. Cuando ya existe una matriz de planificacin, es importante comprobar su lgica y viabilidad, a fin de garantizar que realmente representa un plan viable y mensurable para lograr el propsito y meta de la operacin.
2-2
Octubre de 2002
2.2.1 Con qu claridad estn formulados los objetivos?

Los objetivos debern valorarse en cuanto a su conformidad con las normas de actuacin de la Federacin y de las Sociedades Nacionales.
2.2.2 Se han tenido en cuenta factores externos?

La ejecucin exitosa de la operacin depende tambin de factores no sujetos al control de los responsables de gestin: las hiptesis y riesgos especificados en la matriz de planificacin de la operacin. Estos factores tambin debern someterse a seguimiento, a fin de que los responsables de gestin puedan reaccionar a los cambios producidos en el entorno de actuacin de la operacin. Para poder realizar un seguimiento de las hiptesis y riesgos, stos debern estar incorporados en el plan de seguimiento y evaluacin y especificarse mediante indicadores. Es importante volver a estudiar las hiptesis y riesgos durante la operacin, para garantizar que siguen siendo pertinentes.
2.2.3 Medirn los indicadores eficazmente los progresos?

Un indicador es un factor cuantitativo o cualitativo que constituye un medio sencillo y seguro para medir los logros o reflejar los cambios vinculados a un proyecto/programa. Cuando sea posible y pertinente, los indicadores debern tener en cuenta la recopilacin de datos desglosados (segn sexo, edad y otras variables pertinentes). Para cada indicador seleccionado se deber especificar una fuente de informacin y detallar cundo y cmo se recopilar la informacin necesaria y quin efectuar esta labor. Tabla 2.2: Reglas de mejores prcticas para indicadores y medios de verificacin Indicadores Los indicadores debern ser inteligentes (especficos, mensurables, exactos, ajustados a la realidad y oportunos). Los indicadores debern poderse verificar objetivamente, lo cual significa que diferentes personas que utilicen el mismo indicador obtendrn las mismas mediciones. Los indicadores de consecuencias (nivel de propsito) reflejan la poblacin beneficiaria y el tipo de beneficios. Los indicadores de consecuencias incluyen el grado en que se logra que el grupo beneficiario acceda a la ayuda prestada y la utilice, y el grado en que este grupo queda satisfecho. Medios de verificacin Los indicadores pueden medirse, con un costo razonable, con medios existentes o con procedimientos que debern desarrollarse en el marco del proyecto. Las responsabilidades estn claramente atribuidas. Los indicadores de producto se obtienen a partir de la informacin obtenida en la gestin y de anlisis internos. Los siguientes son puntos dbiles frecuentes de la seleccin de indicadores: Se seleccionan demasiados indicadores: Los responsables de gestin tienden a solicitar demasiada informacin, pues suponen que cuanto ms sepan, tanto mejor estarn preparados. No obstante, el resultado es, con frecuencia, una sobrecarga de informacin. En su lugar, los requisitos de informacin deben estar en relacin directa con las funciones de la toma de decisiones y con los niveles de gestin (el personal de gestin que trabaja sobre el terreno necesitar informacin ms detallada, mientras que el de niveles superiores har uso de datos aglutinados y resumidos). En la seleccin de indicadores se deber reflejar este aspecto especificando un mnimo de 2-3
Octubre de 2002
informacin. Se deber evitar el error de incluir demasiados indicadores, pues ello incrementara el trabajo y los costos de recopilacin, registro y anlisis de datos. No seleccione indicadores excesivamente complejos: A la hora de recopilar datos, algunos indicadores presentan mayores problemas que otros en cuanto a los conocimientos o recursos necesarios. P. ej., puede resultar complejo y caro obtener datos de los ingresos de los hogares. Los indicadores sustitutivos que deben considerarse en este caso son los patrones de gastos o las caractersticas de los hogares, tales como los materiales de construccin utilizados. Los indicadores cualitativos (p. ej. clasificacin segn la riqueza) tambin pueden transmitir, de forma resumida, informacin compleja. No se centre excesivamente en indicadores relativos a progresos materiales: La informacin sobre reservas y distribucin de alimentos es de vital importancia en una operacin de la Federacin y/o de Sociedades Nacionales, pero no suministra suficientes datos acerca del rendimiento de la operacin. Es necesaria tambin informacin sobre las consecuencias. Adicionalmente, el seguimiento a travs del contacto con beneficiarios proporciona un medio para explorar la probabilidad de alcanzar las consecuencias y el impacto. 2.2.3.1 Indicadores de seguimiento a travs del contacto con beneficiarios El seguimiento a travs del contacto con beneficiarios (BCM de sus siglas en ingls) se define como examen sistemtico efectuado a fin de realizar un seguimiento de cmo perciben los beneficiarios una determinada operacin de la Federacin y/o de las Sociedades Nacionales. Mediante el seguimiento a travs del contacto con beneficiarios se pretende obtener informacin sobre la reaccin de los beneficiarios al producto de una operacin e indicar a los responsables de gestin los progresos realizados hacia el logro del propsito de una operacin. Debe destacarse que la reaccin de los beneficiarios, aunque positiva, es nicamente un indicador sustitutivo de la situacin mejorada que se pretende provocar con la operacin. Los indicadores de seguimiento a travs del contacto con beneficiarios: Constituyen un medio eficaz para ratificar si la estrategia aplicada para la obtencin del producto funciona. Incluyen informacin sobre el acceso al producto de la operacin, la utilizacin del mismo y la satisfaccin al respecto de los beneficiarios. Buscan la opinin directamente de las mujeres, hombres y nios. En el Proceso de Planificacin del Proyecto (PPP) se alude a ellos como indicadores principales. Figura 2.2: El seguimiento a travs del contacto con beneficiarios y la matriz de planificacin
Jerarqua de resultados Meta
Beneficios derivados hacia los beneficiarios Indicadores de seguimiento a travs del contacto con beneficiarios Transicin de la prestacin de servicios Acceso al producto resultante de la operacin, utilizacin del mismo y satisfaccin al respecto de hombres, mujeres y nios. a beneficios
Indicadores de rendimiento
Medios de verificacin
Hiptesis y riesgos
Propsito
Producto Actividades
2-4
Octubre de 2002
Los indicadores de seguimiento a travs del contacto con beneficiarios debern incluirse en la matriz de planificacin en el nivel de propsito. La tabla 2.3 presenta algunos ejemplos de indicadores para diferentes tipos de operaciones: Tabla 2.3: Ejemplos de indicadores utilizados en el seguimiento a travs del contacto con beneficiarios (BCM) para diferentes tipos de operaciones
Desarrollo Propsito actividad de comidas escolares: Mejorar el acceso de nios a la educacin bsica. Indicadores de consecuencias: Aumento de la tasa de nias y nios procedentes de hogares con bajos ingresos que llegan a niveles de educacin superiores. Indicadores de BCM: Acceso - % de padres y madres sensibles al valor que entraa que las nias participen en la educacin superior. Utilizacin - % de hogares con bajos ingresos con nias y nios matriculados en las escuelas participantes. Satisfaccin Percepcin de madres y padres en cuanto a los beneficios derivados de las comidas escolares para las nias y nios. Operacin de desarrollo Propsito Alimentacin complementaria: Reducir el riesgo de mortalidad y morbididad para menores de 5 aos. Indicadores de consecuencias: Nmero de menores de 5 aos que sufren desnutricin. Tasa de mortalidad de menores de 5 aos. Indicadores de BCM: Acceso - % de hogares beneficiarios que conocen el programa de alimentacin complementaria. Utilizacin - % de hogares beneficiarios que participan en el programa de alimentacin complementaria. Satisfaccin Percepcin de las madres en cuanto a la calidad y pertinencia de la alimentacin complementaria. Operacin de emergencia Propsito - Distribucin general de alimentos: Salvar vidas mediante la provisin de alimentos adecuados. Indicadores de consecuencias: Tasa bruta de mortalidad. Tasa de mortalidad de menores de 5 aos. Indicadores de BCM: Acceso - % de familias registradas para recibir alimentos. Utilizacin Nmero de hombres, mujeres y nios registrados que consumen la racin objetivo. Satisfaccin Opinin de hombres, mujeres y nios acerca de la composicin y calidad de las raciones.
2-5
Octubre de 2002
2.3
Estimacin de la capacidad de seguimiento y evaluacin
2.3.1 Cmo determinar la capacidad de seguimiento y evaluacin

Debern plantearse las siguientes preguntas: Existe una unidad u organizacin concreta responsable de realizar el seguimiento y la evaluacin? En caso afirmativo, cuntos empleados hay y cules son sus responsabilidades actuales en relacin con la recopilacin, procesamiento y anlisis de datos y preparacin de informes? En caso negativo, a quin se le asignar la responsabilidad de dirigir y realizar las funciones de seguimiento? Qu conocimientos y experiencia posee el personal existente o propuesto? 2. De qu recursos dispone la unidad de seguimiento y evaluacin o la unidad responsable? Considere artculos como vehculos y computadoras (soporte fsico y programas) as como la financiacin peridica de las operaciones. 1.
Existen procedimientos establecidos para llevar a cabo el seguimiento y la evaluacin?, incluidos: especificacin de los objetivos en los documentos de los planes, estudios regulares y especiales, y notificacin y difusin de hallazgos.
3.
2.3.2 Estimacin de necesidades de capacitacin

Cmo puede analizar usted las necesidades de capacitacin antes o despus de preparar el plan y presupuesto de seguimiento y evaluacin? El comportamiento y rendimiento del personal vienen determinados por: i) ii) iii) sus conocimientos y aptitudes su estimulacin para cumplir su responsabilidad el entorno organizacional en el que acta.
Las necesidades de capacitacin debern determinarse en tres niveles diferentes: Organizacional: determinar los puntos dbiles generales de la organizacin en la realizacin del seguimiento dnde es ms necesaria la capacitacin? Profesional: determinar los conocimientos necesarios para realizar actividades de seguimiento y evaluacin - qu conocimientos son necesarios para realizar el trabajo? Individual: determinar los conocimientos de las personas en los mbitos y tareas que se han determinado en comparacin con los requisitos que les plantea su trabajo quin requiere capacitacin y en qu? 2.3.2.1 Etapas de un anlisis de las necesidades de capacitacin y del diseo y realizacin de actividades de capacitacin 1. 2. 3. Aclarar las tareas de seguimiento que se van a emprender y acordar cmo se asignan las responsabilidades. Discutir posibles puntos dbiles o vacos en los recursos materiales, econmicos y humanos disponibles para realizar el seguimiento, e identificar qu puntos dbiles de la organizacin podran abordarse a travs de la capacitacin. Preparar o analizar descripciones de los puestos pertinentes, especificando las tareas de seguimiento que deber realizar cada una de las personas as como los conocimientos y aptitudes que se requieren. 2-6
Octubre de 2002
4.
5.
Utilizar cuestionarios o realizar entrevistas para identificar los conocimientos y aptitudes del personal relativos al seguimiento en relacin con los requisitos establecidos en la descripcin de su puesto, y para identificar las restricciones organizacionales que podran afectar a su capacidad para cumplir su cometido. Junto con los responsables de gestin y los empleados, discutir y acordar las prioridades de capacitacin y las formas de superar las restricciones organizacionales.
Una vez que se hayan identificado y acordado las necesidades de capacitacin, podr iniciarse el proceso de diseo, realizacin y seguimiento de la capacitacin. 6. Establecer los objetivos de la capacitacin y disear el plan de estudios: Especificar qu deben ser capaces de realizar los alumnos y en qu nivel una vez concluida la capacitacin. Identificar el contenido de materias necesario para alcanzar esos objetivos. Decidir con qu sistema de capacitacin se alcanzarn mejor los objetivos. 7. Llevar a cabo y evaluar la capacitacin: Ejecutar la capacitacin. Determinar si mediante la capacitacin se han alcanzado los objetivos que se haban fijado. Discutir si los objetivos son adecuados. Decidir si la capacitacin ha justificado su costo. 8. Someter la capacitacin a un seguimiento: Determinar si el personal al que se ha impartido la formacin aplica los conocimientos adquiridos. Determinar si con ello se han generado las consecuencias deseadas (es decir, informacin de seguimiento oportuna y de buena calidad). Determinar necesidades de capacitacin adicionales.
2-7
Octubre de 2002
2.4
Planificacin de la recopilacin y anlisis de datos
Segn las necesidades que se tengan respecto a los datos, la recopilacin de los mismos puede ser de dos tipos: datos de referencia, para obtener informacin sobre los beneficiarios y las condiciones generales locales antes de iniciarse las principales actividades de la operacin, datos actuales, para hacer un seguimiento de los progresos hechos durante la ejecucin de la operacin. Los dos grupos de datos se utilizan posteriormente para el seguimiento y evaluacin. Para actualizar la informacin de referencia y para entender los motivos por los cuales han ocurrido determinados cambios, pueden realizarse estudios de casos concretos y estudios por muestreo.
2.4.1 Por qu son necesarios los datos de referencia?

En el seguimiento y en la evaluacin se hace uso, en gran medida, de los mismos indicadores y conjuntos de datos. Cuando no se dispone de los datos de referencia y seguimiento pertinentes, la evaluacin se ve dificultada. Para la evaluacin es necesaria una informacin ms sustancial acerca de cmo ha cambiado la operacin la vida de las personas, por lo que durante el diseo del sistema debern abordarse explcitamente consideraciones relativas a la evaluacin. Los principales mecanismos al respecto son: Planes para la recopilacin de datos de referencia: Cul era la situacin antes de iniciarse la operacin? En el caso de que en el estudio de referencia se incluyan grupos de comparacin, cules son las cualidades respectivas de la situacin afectada por la operacin y de la situacin fuera del mbito de influencia de la misma? Planes para un estudio complementario: A qu ha contribuido la operacin: i) desde su comienzo? ii) en comparacin con grupos a los que no afecta la operacin? Las tcnicas utilizadas para recopilar datos de referencia no difieren de aquellas empleadas en otros ejercicios tales como revisiones, estimaciones y evaluaciones. La diferencia estriba en el propsito del ejercicio. Los estudios de referencia proporcionan la informacin necesaria para completar la planificacin de la operacin a travs de la evaluacin comparativa de indicadores y el anlisis de las condiciones generales. Estos estudios son, adems, la base para realizar un seguimiento y una evaluacin bien fundados, pues suministran una breve descripcin de las condiciones existentes antes del inicio de la operacin. En particular, los datos de referencia facilitan la medicin posterior de las consecuencias e impacto de una operacin a travs de la realizacin de un estudio complementario. A continuacin se exponen algunos aspectos claves que debern tenerse en cuenta a la hora de planificar la recopilacin de informacin de referencia: La recopilacin de datos de referencia deber planificarse de forma que se realice antes del inicio de una operacin o de la siguiente fase. Los estudios de referencia y complementarios debern incluirse como componentes claves en el plan de seguimiento y evaluacin y, por lo tanto, se deber preparar su presupuesto y se debern proveer fondos para los mismos de forma apropiada. Los resultados del estudio de referencia debern analizarse y presentarse de forma sucinta y clara y, lo ms importante, de forma que puedan ser entendidos por el personal de los programas, directores del proyecto, delegados encargados de la notificacin y evaluadores. Si desea obtener ms informacin sobre la planificacin y realizacin de un estudio de referencia, consulte el mdulo 7. Estudios de referencia. 2-8
Octubre de 2002
2.4.2 Qu datos de seguimiento se necesitan y de dnde se obtendrn?

2.4.2.1 Qu datos son necesarios para realizar el seguimiento? Las necesidades de datos actuales para realizar el seguimiento pueden resumirse, en la estructura de la matriz de planificacin, como sigue: Tabla 2.4: Preguntas para el seguimiento y matriz de planificacin
Nivel de la matriz de planificacin Consecuencias Preguntas para el seguimiento
Producto
Actividades
Insumos
Cules son el acceso a los bienes entregados y servicios prestados, la utilizacin de los mismos y la satisfaccin al respecto de los beneficiarios (hombres, mujeres y nios)? Se benefician las mujeres y otros grupos vulnerables en la medida prevista? Est la operacin bien encaminada para lograr su propsito? Cules son los logros materiales de la operacin? Recibe el grupo beneficiario artculos en las cantidades y calidad planificadas? Se crean/mantienen los activos tal como se planific? Se ponen a disposicin otros servicios de acuerdo con lo planificado? Se distribuyen los artculos en el momento y cantidades planificados? Se realizan otras actividades segn lo previsto? Quin participa en la operacin? Dnde se encuentran actualmente las reservas y los suministros pendientes de ser entregados a los almacenes? Cules son las prdidas actuales? Estn contribuyendo los gobiernos, asociados y beneficiarios de acuerdo con lo planificado? Cules son las estructuras de gestin en funcionamiento y cmo funcionan de bien?
Hiptesis Existen factores externos que afecten significativamente a los progresos de la operacin? Los efectos, son positivos o negativos?
2.4.2.2 Seguimiento de insumos Los sistemas de informacin tradicionales frecuentemente estn pensados para satisfacer los requisitos administrativos de rendir cuentas adecuadamente de los fondos y recursos invertidos y de que se ha cumplido el trabajo de acuerdo con los planes. Pero es posible que el punto dbil ms frecuente en el seguimiento de los insumos materiales y econmicos sea que no se pueda seguir la pista a las desviaciones del plan hasta los centros de responsabilidad o que no estn claras las razones para esas desviaciones. Cuando, p. ej., los datos sobre la actividad sanitaria de un distrito indican que se ha interrumpido la distribucin de suministros, es importante que esta informacin est acompaada por la identificacin de dnde y por qu ha surgido el problema. 2.4.2.3 Visitas al terreno una valiosa fuente de informacin complementaria Las visitas al terreno constituyen una herramienta esencial de seguimiento para el personal de la Federacin y de las Sociedades Nacionales y permiten establecer con los beneficiarios el estrecho contacto requerido.
2-9
Octubre de 2002
Las visitas al terreno pueden tener diferentes propsitos, todos ellos interrelacionados: Estimar los progresos hechos hacia el logro de los objetivos de la operacin Determinar la percepcin de los beneficiarios y su reaccin en relacin con las actividades Determinar el sentido de la responsabilidad hacia los activos creados y la utilizacin de los mismos, e identificar cualquier efecto negativo Determinar la cantidad y calidad del trabajo realizado y la pertinencia de otras actividades Comprobar materialmente las reservas y distribucin de productos bsicos y el trabajo al respecto Ayudar a los responsables de gestin a identificar problemas y a tomar decisiones para superarlos Establecer relaciones fructferas con gobiernos y asociados ejecutores Velar por que los hombres y mujeres beneficiarios participen plenamente en la ejecucin y seguimiento de la operacin 2.4.2.4 Seguimiento de la participacin El seguimiento de la participacin es una tarea fundamental del seguimiento en su conjunto. Implica hacer un seguimiento de: Quin participa? - en la ejecucin de las actividades, en la planificacin y organizacin, y quin comparte los beneficios? Cmo cooperan aquellos que participan? Participan los diferentes grupos interesados (hombres, mujeres, nios y grupos socioeconmicos) en la toma de decisiones? Se comparten equitativamente los costos y responsabilidades derivados del trabajo? Son eficaces las medidas organizacionales? Existen relaciones entre las partes interesadas? Son relaciones eficaces? Qu factores apoyarn u obstaculizarn el proceso de participacin? sexo, edad, educacin, condicin social, movilidad, autoridad, etc. Como mnimo, la Federacin, las Sociedades Nacionales y sus asociados deben someter a seguimiento y evaluacin el grado y forma de participacin de mujeres, hombres y otros grupos interesados en la operacin correspondiente. 2.4.2.5 Seguimiento y evaluacin del compromiso de la Federacin y de las Sociedades Nacionales con las mujeres Como parte de su actitud de sensibilizacin en torno al gnero, la Federacin y las Sociedades Nacionales deben generar y difundir, para la planificacin y evaluacin, datos e informacin desglosados por sexo.
En toda la informacin de seguimiento y en todos los informes de la Federacin y de las Sociedades Nacionales se especificarn:
Porcentajes de hombres y mujeres que comparten los recursos recibidos a partir de la distribucin de ayuda
Hombres y mujeres que comparten los beneficios segn categoras de actividades Porcentaje de puestos ocupados por mujeres en la planificacin y gestin de las operaciones 2.4.3 Quin recopila y analiza los datos sobre el terreno?
Es esencial evitar la duplicacin del seguimiento, identificar los vacos de informacin y utilizar con eficiencia los recursos destinados al seguimiento. El plan de seguimiento y evaluacin ayudar a 2-10
Octubre de 2002
aclarar quin recopilar qu datos y por qu. Adems, suministrar la base para acordar las responsabilidades en cuanto a la ampliacin de la actividad de seguimiento. Cuando la Federacin y las Sociedades Nacionales son responsables directas del seguimiento, las tareas pertinentes son realizadas normalmente por el director de proyecto. Normalmente se solicita a ste o a los delegados encargados de la notificacin que recopilen y analicen los datos de seguimiento y preparen los informes que describen la situacin sobre el terreno. En la contratacin y despliegue de directores de proyecto y delegados encargados de la notificacin: Componga equipos mixtos (extranjeros y personas del pas correspondiente) a fin de aprovechar diferentes puntos de vista Desarrolle una tctica de equipo, con reuniones frecuentes de los equipos, a fin de promover la integracin y el intercambio de ideas Busque la igualdad entre hombres y mujeres, pues las directoras de proyectos o delegadas responsables de la notificacin normalmente son esenciales para garantizar el acceso a las mujeres de las comunidades beneficiarias y para poder determinar qu les ocurre a las mujeres en los hogares Tabla 2.5: Cualidades y conocimientos que deben poseer las personas que realizan el seguimiento de proyectos
Estas personas deben: tener conocimientos acerca del mandato y las metas de la Federacin y las Sociedades Nacionales en las operaciones; poseer una buena capacidad analtica y para elaborar informes; poseer conocimientos sobre tcnicas de recopilacin de datos cualitativos y cuantitativos; poseer conocimientos sobre seguimiento de insumos y del producto, supervisin de existencias y mtodos de distribucin de ayuda, preferiblemente adquiridos en experiencias anteriores en operaciones similares; ser honestos, muy observadores, perceptivos, inquisitivos, insistentes y diplomticos; ser oyentes comprensibles, que adems tengan la capacidad de influir sobre otras personas y convencerlas mediante argumentos; ser activos y estar dispuestos a viajar y pasar la mayor parte del tiempo sobre el terreno; ser capaces de examinar los problemas sobre el terreno con los empleados; ser jugadores de equipo; ser capaces de determinar aquello que es importante y de centrarse en ello.
Personal del pas: Presenta ventajas en cuanto al idioma, comprensin cultural y, normalmente, libertad para viajar, aspectos particularmente importantes para hacer un seguimiento de la distribucin, de quin utiliza finalmente aquello que se ha distribuido y de la evolucin de la situacin general. Puede estar sujeto a diversas presiones y, en general, las personas del pas no se debern destinar para trabajar en su localidad de origen o en grupos tnicos relacionados. Personal del extranjero, incluidos voluntarios: Pueden contribuir con experiencia ms amplia y con experiencia pertinente adquirida en el extranjero, particularmente en relacin con cuestiones de logstica y gestin general. Pueden abordar cuestiones que, por motivos culturales, resulten problemticas para el personal nacional. Poseen conocimientos y pueden capacitar a otras personas en relacin a la teora y prctica de las metodologas de estimacin y seguimiento. 2-11
Octubre de 2002
No hablar el idioma del pas y desconocer la cultura del mismo puede constituir un obstculo y puede conducir a una dependencia excesiva de los informes y al fracaso en la apreciacin de lo que realmente ocurre dentro de las comunidades afectadas. En algunas situaciones de conflicto o disturbios civiles, su libertad para viajar puede verse restringida: pueden requerir permisos y/o acompaantes para viajar a determinadas reas.
2.4.4 Sistemas informatizados de seguimiento

Los sistemas informatizados de seguimiento ofrecen las siguientes posibilidades: Almacenamiento eficiente de datos Flexibilidad y velocidad en el anlisis Realizacin de comparaciones cruzadas Realizacin de anlisis de tendencias Preparacin de grficos sencillos Antes de tomar la decisin acerca del programa informtico que va a utilizar, deber examinar las siguientes cuestiones: Son eficientes los sistemas manuales existentes? En caso afirmativo, la informatizacin puede no ser una necesidad inmediata. Se recopilar un gran nmero de datos durante un perodo de tiempo importante y se analizarn esos datos cuantitativamente? En caso afirmativo, es probable que la informatizacin ofrezca un aumento considerable de la eficiencia. Cul es el mejor programa o software a utilizar? Depender de los conocimientos del personal, de los equipos y fondos disponibles, del tipo de datos requeridos y del tipo de anlisis planificado. Existen sistemas informatizados relativamente sencillos que utilizan Microsoft Excel o Microsoft Access. Puede accederse a informacin sobre la existencia, ventajas e inconvenientes de este tipo de sistemas. Cuando los conocimientos son limitados, Microsoft Excel puede representar la mejor opcin. Excel ofrece la funcin de elaboracin de tablas manejadas por men para la introduccin de datos, que pueden utilizarse para elaborar bases de datos, y la funcin de la tabla dinmica (pivot-table) posibilita la rpida generacin de tabulaciones cruzadas sencillas. Microsoft Access constituye una herramienta ms avanzada para la elaboracin de bases de datos, pero es ms compleja y para que el personal pertinente se familiarice completamente con sus funciones puede ser necesario invertir en capacitacin. Sea cual sea el sistema elegido, debern tomarse en consideracin los siguientes aspectos: Se debern preparar planes detallados de informatizacin como parte del diseo del sistema de seguimiento y evaluacin, para garantizar que se prevn los recursos materiales y econmicos necesarios. Deber existir la posibilidad de realizar copias de seguridad del sistema para disponer de ellas en el caso de que fallara la computadora. Se deber disponer de personal capacitado para manejar y mantener el sistema y para realizar los anlisis necesarios.
2-12
Octubre de 2002
2.5
Preparacin del plan y presupuesto de seguimiento y evaluacin
2.5.1 Plan de seguimiento y evaluacin

A continuacin se expone la matriz para elaborar el plan de seguimiento y evaluacin. Figura 2.4: Plan de seguimiento y evaluacin
Elemento de la matriz de planificacin Indicadores (incluidos objetivos) Medios de verificacin Fuentes de datos Frecuencia y costos de recopilacin Responsabilidad de recopilacin Mtodo de recopilacin Utilizacin de la informacin Informes Presentacin
Meta Hiptesis Propsito Hiptesis Producto Hiptesis Actividades Hiptesis Insumos
En la matriz deber introducirse la siguiente informacin: Elemento de la matriz de planificacin: Meta, propsito, producto, actividades, insumos e hiptesis. Indicadores: indicadores de meta, propsitos y producto. Se debern introducir los indicadores contenidos en la matriz de planificacin de la operacin y aadirse los objetivos. En el caso de los insumos, se introducirn las cantidades materiales y los costos econmicos del proyecto para las principales categoras de costos. P. ej.: - para los artculos se introducirn las cantidades proyectadas y el costo de cada artculo - para los recursos humanos se introducirn los costos previstos de personal y el tiempo previsto en que se requerir ese personal - etc. Fuentes de datos: Fuentes de datos primarios o secundarios que suministran informacin sobre cada uno de los indicadores, p. ej. estadsticas o documentos ya existentes, cuentas del proyecto, estudios sobre nutricin, etc. Frecuencia y costos de recopilacin: Frecuencia con que se recopilan datos primarios o se analizan datos secundarios (p. ej. trimestralmente, anualmente, al final de una fase, etc.), y presupuesto correspondiente. Responsabilidad de recopilacin: Organizacin o unidad responsable de recopilar y/o analizar los datos. Mtodo de recopilacin: Cmo se recopilan los datos (p. ej. reuniones del grupo temtico). Informes: En qu informe(s) se incluir la informacin. Presentacin: En qu foros o reuniones se presentarn y discutirn la informacin o informes.
2-13
Octubre de 2002
2.5.2 Presupuesto de seguimiento y evaluacin

Se debern calcular los costos de la recopilacin, procesamiento y anlisis de los datos y de la notificacin al respecto, as como del fortalecimiento de la capacidad y del apoyo al terreno, teniendo en cuenta el tiempo y los recursos necesarios. Los costos corrern a cargo de la Federacin o de las Sociedades Nacionales y debern incluirse en el presupuesto de la operacin. El seguimiento es una actividad bsica de gestin, por lo que debera considerarse utilizar, en su ejecucin, una parte del tiempo del personal de gestin as como parte del material de oficina, instalaciones, vehculos, viajes, etc. Se trata de artculos presupuestados habitualmente en la Federacin Internacional y en las Sociedades Nacionales, gobiernos y asociados ejecutores, y normalmente no se presupuestan por separado.
2-14
Octubre de 2002
2.6
Planificacin de la notificacin e informacin de retorno
2.6.1 Orientacin para la elaboracin de informes de seguimiento y evaluacin

1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. Sea escueto en la medida de lo posible, en concordancia con la cantidad de informacin que deba presentarse. Cntrese en los resultados obtenidos, tal como se definen en la matriz de planificacin o en los objetivos, y establezca una relacin con la utilizacin de los recursos asignados a su produccin. Tenga claro quines son sus lectores y vele por que la informacin sea coherente y provechosa para ellos. Redacte utilizando un lenguaje sencillo que pueda ser entendido por los lectores destinatarios. Vele por la entrega oportuna de los informes de situacin. Aunque estn incompletos en su contenido sobre determinados aspectos o componentes, es mejor distribuir los resultados claves de otras reas que esperar a completar la informacin. Incluya al principio un breve resumen (1 pgina). Sea coherente en cuanto a la terminologa y definiciones empleadas y en la descripcin de asociados, actividades y lugares. Presente los datos complejos con ayuda de estadsticas, tablas resmenes, mapas, fotografas y grficos. Destaque nicamente los puntos o palabras claves ms significativos (mediante negritas, cursivas u otras posibilidades). Indique las fuentes y autoridades de las que haya obtenido informacin. En los informes de ms de 5 pginas, incluya un ndice de contenidos.
2.6.2 Cmo utilizaran los directores de proyectos o programas los diferentes informes?
Al ofrecer una breve descripcin de la situacin antes de iniciarse la operacin, o al menos en las primeras etapas de la misma, el informe de referencia proporciona la informacin necesaria para evaluar de forma comparativa los indicadores relativos al propsito y meta de la operacin. El estudio complementario ofrece, posteriormente, una imagen de cmo ha cambiado la situacin. El estudio de referencia tambin suministra informacin til para la planificacin. Cuando este estudio se realiza antes de comenzar a ejecutar la operacin, la informacin de referencia puede ser de ayuda para afinar el diseo de la misma. Cuando el estudio se lleva a cabo durante las primeras etapas de ejecucin, puede proporcionar informacin provechosa para validar el diseo o determinar modificaciones necesarias. Los informes de situacin oportunos avisarn sobre si la operacin est o no correctamente orientada hacia la obtencin del producto y consecuencias y, as, posibilitarn a los responsables de gestin centrar sus esfuerzos en superar los obstculos ms importantes. Los informes de situacin trimestrales y semestrales debern: orientarse hacia la obtencin de resultados (ofrecer informacin actualizada sobre el producto logrado e incluir informacin obtenida en el seguimiento a travs del contacto con beneficiarios); centrarse en la accin; posibilitar a los responsables de gestin examinar aquello que se ha realizado durante el perodo que abarca el informe, en comparacin con los planes; posibilitar a los responsables de gestin decidir qu debe hacerse en el siguiente perodo.
2-15
Octubre de 2002
Los informes de autoevaluacin debern: orientarse hacia la obtencin de resultados (proporcionar una estimacin del producto y consecuencias realmente obtenidos); posibilitar la preparacin de nuevas operaciones o de operaciones de seguimiento en las que se consideren las experiencias adquiridas en la operacin actual; proporcionar un informe analtico de cierre para aquellas operaciones que se estn concluyendo. Las evaluaciones ms detalladas brindarn apoyo al proceso de aprendizaje institucional y, as, servirn de orientacin a los responsables de gestin en la formulacin de polticas en el nivel estratgico. A partir de esas polticas y enseanzas obtenidas dentro de la Federacin surgir una orientacin prctica que servir de ayuda a los responsables de gestin en la preparacin de mejores operaciones.
2.6.3 Seguimiento del sistema de notificacin de los asociados

La notificacin sobre las operaciones deber someterse a seguimiento en cuanto a: Oportunidad: Entrega de los informes en el tiempo especificado y acordado. El seguimiento al respecto puede realizarse simplemente registrando la recepcin de los informes en un diagrama de flujo. Informacin suministrada: Informacin suministrada en comparacin con la que se requiere de acuerdo con la forma del informe. Coherencia: Los informes consecutivos deben facilitar el establecimiento de comparaciones del rendimiento en el transcurso del tiempo. El seguimiento en este punto puede realizarse comprobando el contenido del informe con las etapas e indicadores especificados en el plan de seguimiento. Contenido: Grado en el que el informe ofrece un anlisis de aquello que ha ocurrido o si simplemente presenta datos huecos. Fiabilidad y precisin: Grado en el que el informe presenta los hechos de forma imparcial.
2.6.4 Informacin de retorno

Cmo podemos velar por que la informacin pertinente obtenida en el seguimiento y evaluacin impulse el dilogo y la toma de decisiones en los diferentes grupos interesados? En primer lugar, agradezca haber recibido el informe de situacin y comntelo en cuanto a sus conclusiones, recomendaciones y oportunidad. Adicionalmente, el plan de seguimiento y evaluacin deber programar otras oportunidades ms formales para recibir opiniones, tales como: Reuniones trimestrales de examen de progresos: Examen de los progresos hechos en el producto (planificados frente a reales), examen de los hallazgos del seguimiento a travs del contacto con beneficiarios y de los primeros indicios acerca de las consecuencias y acciones derivadas de las propuestas de mejora. Taller de informacin de retorno sobre la evaluacin: Realizado al final de la etapa de actuacin sobre el terreno, cuando se presentan y discuten los primeros hallazgos de la evaluacin a fin de poder incorporar en el informe final la opinin de las partes interesadas.
2-16
Octubre de 2002
ENSEANZAS EXTRADAS DEL MDULO 2 DISEO DEL SEGUIMIENTO Y EVALUACIN

COMPRUEBE EL DISEO DEL PROGRAMA REVISANDO LA MATRIZ DE PLANIFICACIN ESTIME LA CAPACIDAD DE SEGUIMIENTO Y EVALUACIN PLANIFIQUE LA RECOPILACIN DE DATOS PREPARE LOS PLANES Y PRESUPUESTOS DE SEGUIMIENTO Y EVALUACIN EXPONGA EN TRMINOS GENERALES LAS ESTRUCTURAS DE NOTIFICACIN Y LAS RESPONSABILIDADES DE ACCIN
2-17
Mdulo 3: Seguimiento de programas de las Sociedades Nacionales y notificacin al respecto
Octubre de 2002
3.
Seguimiento de programas de las Sociedades Nacionales y notificacin al respecto

Cmo disear un sistema de seguimiento y evaluacin para programas de las Sociedades Nacionales
3.1
La orientacin ofrecida en este mdulo deber considerarse previa revisin del punto 1.3 Qu principios y definiciones deben tenerse presentes? (mdulo 1) y el punto 2.1 Cmo disear un sistema de seguimiento y evaluacin (mdulo 2). En la tabla 3.1 se resumen las etapas del diseo de un sistema de seguimiento y evaluacin. Cada una de ellas as como la lista de tareas acompaante se detallan en el mdulo 2. El mdulo 3 ofrece detalles adicionales en torno a estrategias de cooperacin y actividades de desarrollo. Tabla 3.1: Etapas del diseo de un sistema de seguimiento y evaluacin
Etapa Lista de tareas Revise y corrija (y prepare si es necesario) la matriz de planificacin. Asegrese de que los objetivos reflejados en la meta (impacto), propsito (consecuencias), producto e hiptesis estn definidos con claridad y son mensurables. Asegrese de que los indicadores estn concretados adecuadamente en sus aspectos cuantitativo, cualitativo y temporal. Identifique los recursos humanos y econmicos disponibles. Valore los requisitos de capacitacin para todo el personal de seguimiento, tanto de las Sociedades Nacionales como de organismos copartcipes. Especifique los requisitos de capacitacin. Compruebe la fiabilidad y exactitud de las fuentes de informacin existentes a fin de determinar qu datos estn ya disponibles. Decida qu informacin adicional deber recopilarse para servir de referencia, para el seguimiento y para la evaluacin. Establezca un plazo de tiempo y un calendario para la recopilacin y procesamiento de datos y acuerde las responsabilidades. Resuma las necesidades de informacin acordadas, la recopilacin de datos y la utilizacin de la informacin (elaboracin de informes y presentacin de la informacin) en un plan de seguimiento y evaluacin. Resuma los requisitos para fortalecer la capacidad y brindar apoyo. Calcule el costo de todas las actividades de seguimiento y evaluacin e identifique fuentes de financiacin.
Valore la capacidad de seguimiento y evaluacin Planifique la recopilacin y anlisis de datos
Prepare el plan y presupuesto de seguimiento y evaluacin
Planifique la notificacin y la informacin de retorno
Disee el sistema de presentacin de informes y especifique el formato de los mismos.Acuerde las medidas que se adoptarn para los controles y
supervisin, por parte de la Sociedad Nacional, del sistema de notificacin de los asociados. Disee un sistema de informacin de retorno y toma de decisiones para los responsables de gestin.
3-1
Octubre de 2002
3.2
Comprobacin del diseo de programas y actividades de las Sociedades Nacionales
El diseo de programas y actividades de las Sociedades Nacionales deber reflejarse en matrices de planificacin. El Manual del proceso de planificacin del proyecto de la Federacin sirve de orientacin para elaborar una matriz de planificacin. En cuanto a cmo comprobar la misma, dirjase al punto 2.2 Comprobacin del diseo de la operacin (mdulo 2).
3.2.1 En el nivel de Sociedad Nacional

Una estrategia de cooperacin (CAS de sus siglas en ingls (Co-operation Agreement Strategy)) contar normalmente con una matriz de planificacin general que otorgue coherencia al conjunto de actividades planificadas y que muestre la relacin de las mismas con un conjunto de metas y propsitos comunes. A continuacin se expone un ejemplo de matriz de planificacin de una estrategia de cooperacin hasta el nivel inferior de propsito de las actividades. Figura 3.1: Ejemplo de matriz resumida de planificacin para la CAS de Ghana (2001-2005)
Jerarqua de resultados Meta en el nivel nacional: El objetivo central de la estrategia DSPR (Development Strategy for Poverty Reduction) del gobierno es reducir sustancialmente el nivel de pobreza absoluta en Ghana a travs de medidas que incrementen la capacidad y oportunidades de todos los ghaneses, especialmente de los pobres. Meta del programa nacional: Fortalecer la capacidad de los hogares que sufren inseguridad alimentaria en la regin de sabana, especialmente de las mujeres, para que puedan satisfacer de forma sostenible sus propias necesidades de alimentos y nutritivas y soportar contratiempos econmicos externos y desastres naturales, a la vez que abordar desequilibrios de gnero y regionales, as como el problema del VIH/SIDA. Indicadores de rendimiento Reduccin de la incidencia de pobreza absoluta del 27 % en 1999 a menos del 20 % en 2004. Hiptesis y riesgos La situacin general econmica permitir al gobierno incrementar las inversiones dirigidas a reducir la pobreza en la regin nortea de sabana.
Indicadores de impacto: Contribucin a reducir los niveles de pobreza en las regiones norteas del 70 % en 1999 a la media nacional actual del 40 % hasta 2010. Inseguridad alimentaria crnica reducida en los grupos vulnerables de la regin nortea de sabana, especialmente durante la estacin seca.
El gobierno de Ghana crear y mantendr un marco institucional para la gestin y supervisin del programa nacional que facilite la integracin del programa y el establecimiento de vnculos eficaces entre las actividades del mismo as como con otras actividades de desarrollo relacionadas. El suministro de artculos no alimenticios de diferentes fuentes es una condicin necesaria para alcanzar el xito. La falta de apoyo por parte de los asociados en este campo podra tener efectos sobre la ejecucin del programa nacional. Hiptesis y riesgos Capacidad econmica y tcnica adecuada en el nivel de distrito. Riesgo: Elevada renovacin de personal en los servicios gubernamentales, lo que puede suponer la prdida de conocimientos al marcharse el personal capacitado.
Propsito del programa nacional: (= metas en el nivel de actividades) 1. Progresos hacia el cumplimiento del derecho a la seguridad personal, entre otras cosas, mediante prcticas de salud y nutricin mejoradas y una mayor capacidad de las comunidades para rehabilitar/crear y mantener activos que proporcionen bases de subsistencia seguras y sostenibles. 2. Progresos hacia el cumplimiento del derecho al conocimiento mediante mayor nmero de inscripciones y asistencia de nias y mediante una mayor capacidad de aprendizaje. Propsito de cada actividad del programa nacional: 1.1 Mejorar la seguridad alimentaria de los hogares y, por lo tanto, el estado nutricional de los grupos vulnerables (menores de 5 aos, mujeres embarazadas, y madres lactantes y nios desnutridos) mediante alimentacin complementaria. 1.2 Contribuir a la rehabilitacin de nios gravemente desnutridos incrementando su tasa de recuperacin. 1.3 Mejorar los conocimientos de los trabajadores de salud, voluntarios y beneficiarios a travs de la capacitacin en materia de salud, nutricin y gnero. 2.1 Aumento de la inscripcin de nias en la enseanza primaria y secundaria, aumento de la asistencia a la escuela y disminucin del nmero de abandonos anuales por parte de nias.
Indicadores de consecuencias para el programa nacional: Mayor porcentaje de nios de peso normal. Menor porcentaje de neonatos de bajo peso. Nmero creciente de hogares que participan con xito en actividades de conservacin del suelo y del agua y de gestin y conservacin de los bosques. Mayor nmero de nias inscritas y que finalizan con xito la enseanza primaria y secundaria.
Indicadores de consecuencias de las actividades: Tasa de bajo peso en nios reducida a valores inferiores al 40 % en 2005; tasa de bajo peso en neonatos reducida a menos del 13 % en 2005.
Reduccin del nmero de madres que repiten las clases de educacin sanitaria y nutricional Prevalencia de desnutricin reducida en las comunidades beneficiarias.
Capacidad del gobierno para cumplir las condiciones, como proporcionar insumos adicionales (aulas, material didctico y maestros) para hacer frente al incremento previsto de las inscripciones en la escuelas objetivo. Hiptesis y riesgos Sistema eficiente y eficaz de seguimiento y notificacin en los centros de salud y nutricin. Disponibilidad de recursos complementarios para salud y nutricin. Observacin, en los hogares, de las lecciones aprendidas en la capacitacin relativa a la educacin sanitaria y nutricional.
Aumento de la inscripcin de nias en un 15 % anual y reduccin de la tasa de abandonos en un 12 % anual en los niveles de enseanza primaria y secundaria.
Capacidad del gobierno y de los donantes de proporcionar insumos complementarios (aulas, material didctico, maestros, etc.) a las escuelas objetivo.
La Federacin y la Delegacin en el pas de la Sociedad Nacional deben realizar un seguimiento del rendimiento de la estrategia de cooperacin en su conjunto: aglutinando y resumiendo informacin sobre actividades individuales, reasignando sus recursos humanos, materiales y econmicos para brindar apoyo a esas actividades de la forma ms eficaz.
3.2.2 En el nivel de actividad

La Federacin y las Sociedades Nacionales deben realizar un seguimiento del rendimiento de cada una de las actividades: realizando visitas al terreno (especialmente para efectuar un seguimiento de los cambios en las bases de subsistencia de los beneficiarios),
3-2
Octubre de 2002
asistiendo en estudios especiales (segn lo acordado durante el diseo de la operacin y segn se solicite), efectuando un seguimiento de los suministros pendientes de ser entregados a los almacenes y otros recursos (insumos), realizando un seguimiento de aquellos que realizan el seguimiento asegurar que el gobierno u ONG realizan eficazmente el seguimiento, valorando los vacos de conocimientos y las necesidades de capacitacin en relacin con la capacidad de seguimiento del gobierno y las ONG, llevando a cabo la capacitacin segn las necesidades.
Existen cuatro tipos de actividades de desarrollo a las que brindan apoyo la Federacin y las Sociedades Nacionales, expuestas en trminos generales en el documento de poltica elaborado por la antigua divisin de intercambio de conocimientos. Este documento presenta los objetivos ms comunes para cada tipo de actividad y sugiere indicadores para los niveles de producto y consecuencias (o propsito) de la matriz de planificacin, concretamente: Promocin de los Principios Fundamentales y los valores humanitarios Preparacin para casos de desastre Intervencin en casos de desastre Salud y servicios a la comunidad
El material presentado a continuacin, disponible en la Federacin y en las Sociedades Nacionales, orienta sobre la informacin particular necesaria para realizar diferentes tipos de actividades de desarrollo: De los Principios a la Accin Iniciativa "Mejor diseo de programas" Mdulos de Capacitacin en Preparacin para Desastres Proyecto Esfera Public Health Guide for Emergencies Poltica de VIH/SIDA Poltica de Agua y Saneamiento
3-3
Octubre de 2002
3.3
Estimacin de la capacidad de seguimiento y evaluacin para estrategias de cooperacin y actividades
A fin de estimar la capacidad consulte el punto 2.3 Estimacin de la capacidad de seguimiento y evaluacin (mdulo 2). Ofrece orientacin en torno a 2.3.1 Cmo determinar la capacidad de seguimiento y evaluacin y a 2.3.2 Estimacin de necesidades de capacitacin.
3.3.1 Cmo determinar la capacidad de seguimiento y evaluacin para estrategias de cooperacin y actividades
En el caso de las estrategias de cooperacin y actividades, la Federacin y las Sociedades Nacionales determinan la capacidad de seguimiento del gobierno y de otros asociados y aseguran que el sistema de seguimiento est concebido de acuerdo con la capacidad y los recursos disponibles. Esta estimacin y otras estimaciones posteriores se realizan: en las etapas del diseo durante la elaboracin de planes operacionales y otros acuerdos en intervalos regulares (normalmente anualmente) durante la ejecucin
Durante las fases de planificacin y ejecucin, la Federacin y las Sociedades Nacionales determinan y revisan regularmente la capacidad de su propio personal, y el tiempo y recursos econmicos disponibles para funciones de seguimiento y evaluacin.
3.3.2 Estimacin de necesidades de capacitacin para estrategias de cooperacin y actividades

Para aumentar la capacidad del personal gubernamental y de los asociados ejecutores en cuanto a la realizacin de las diferentes funciones de seguimiento y evaluacin previstas, puede ser necesario impartirle formacin en el puesto de trabajo o que participe en una formacin profesional. El personal de la Federacin y de las Sociedades Nacionales tambin puede necesitar mejorar sus conocimientos en torno al seguimiento y evaluacin. Para orientarse de forma general sobre cmo analizar las necesidades de capacitacin y las etapas para llevar a cabo esa capacitacin, consulte el punto 2.3.2 Estimacin de necesidades de capacitacin (mdulo 2).
3-4
Octubre de 2002
3.4
Planificacin de la recopilacin y anlisis de datos para estrategias de cooperacin y actividades
Para proceder a la planificacin y desarrollo de sistemas de recopilacin y anlisis de datos dirjase al punto 2.4 Planificacin de la recopilacin y anlisis de datos (mdulo 2), en el que se asesora respecto a: Punto 2.4.1 Por qu son necesarios los datos de referencia? Punto 2.4.2 Qu datos de seguimiento se necesitan y de dnde se obtendrn? Punto 2.4.2.3 Visitas al terreno una valiosa fuente de informacin complementaria Punto 2.4.2.4. Seguimiento de la participacin
3.4.1 Qu datos de referencia son necesarios?

En el punto 2.4.1 Por qu son necesarios los datos de referencia? (mdulo 2) se ofrece una introduccin general relativa a la recopilacin de datos de referencia. Si desea orientarse con ms detalle dirjase a los mdulos 7. Estudios de referencia y 8. Herramientas para la recopilacin de datos. Los datos de referencia son siempre necesarios para las actividades de desarrollo. En algunas situaciones de emergencia, las intervenciones se llevarn a cabo sin disponer de datos de referencia. Pero sin ellos es imposible juzgar si se estn alcanzando o se han alcanzado los objetivos de una actividad. Existen dos niveles en los cuales se necesitan datos de referencia. En el nivel de pas: Los datos son necesarios para identificar tendencias a lo largo del tiempo a fin de determinar si el programa, en su conjunto, ha mejorado la situacin en que viven hombres, mujeres y nios vulnerables. Estos datos sirven de referencia para establecer los objetivos de la estrategia de cooperacin (y, con ello, el nivel de meta de cada actividad) y debern estar disponibles del proceso de estimacin y seleccin de beneficiarios. Para la comprobacin del proyecto se requieren los siguientes datos de referencia: los indicadores especificados en el nivel de propsito de la matriz de planificacin de la actividad, datos de seguimiento de la fase actual, datos disponibles de evaluaciones de fases anteriores, otras fuentes secundarias, incluidos datos disponibles del proceso de estimacin y seleccin de beneficiarios.
Cuando existan vacos importantes de datos relativos a los indicadores claves a los que la actividad pretende afectar, habr que recopilar datos de referencia primarios o seleccionar otro indicador. La eleccin de la tcnica de recopilacin de datos de referencia depender de: cunto tiempo pueden asignar la Federacin y las Sociedades Nacionales a la recopilacin de datos, la disponibilidad de personal especializado en el diseo de estudios en la Federacin y las Sociedades Nacionales, la disponibilidad y conocimientos del personal activo sobre el terreno y de los entrevistadores, los recursos econmicos disponibles para la recopilacin de datos.
Para orientarse en relacin con la preparacin de presupuestos para estudios de referencia y complementarios dirjase al punto 7.3.12 Preparacin del plan de trabajo y presupuesto (mdulo 7).
3-5
Octubre de 2002

Los principales mecanismos para realizar un seguimiento de operaciones en las estrategias de cooperacin son los siguientes: Autoevaluacin de la Sociedad Nacional Calendarios de ejecucin de actividades y planes de seguimiento: proporcionan a la Sociedad Nacional la base y las etapas frente a las cuales se medirn los progresos. Informes peridicos: preparados por la Sociedad Nacional, incluyendo la informacin cuantitativa y cualitativa necesaria sobre insumos, actividades y producto. Visitas al terreno: las realiza personal de la sede central de la Sociedad Nacional en colaboracin con gobiernos y asociados ejecutores. Suministran a la Sociedad Nacional sistemticamente informacin cuantitativa y cualitativa para complementar y verificar la informacin proporcionada por los informes peridicos. Informe de proyecto: preparado para cada una de las operaciones, suministra informacin acerca de: la ejecucin de la actividad, con informacin de carcter expositivo sobre actividades, producto y consecuencias; un anlisis de diversas cuestiones y problemas; y acciones recomendadas para abordar las cuestiones indicadas. Reuniones de revisin, reuniones de partes interesadas: reuniones especiales u ordinarias en las que las partes interesadas presentan y discuten cuestiones identificadas mediante otros mecanismos de seguimiento. Brindan a la Sociedad Nacional la oportunidad para acordar las acciones que debern llevarse a cabo a fin de respaldar la ejecucin de las actividades.
Para obtener informacin sobre cuestiones generales del seguimiento en todos los niveles de la matriz de planificacin dirjase al punto 2.4.2 Qu datos de seguimiento se necesitan y de dnde se obtendrn? (mdulo 2) 3.4.2.1 Visitas al terreno una valiosa fuente de informacin complementaria Si desea obtener informacin sobre cmo realizar visitas al terreno con fines de seguimiento, dirjase al punto 8.2.6 Visitas al terreno (mdulo 8). 3.4.2.2 Seguimiento a travs del contacto con beneficiarios determinacin del acceso al producto resultante de las actividades, la utilizacin del mismo y la satisfaccin al respecto por parte de los beneficiarios Si desea introducirse en el tema del seguimiento a travs del contacto con beneficiarios, consulte el punto 2.2.3.1 Indicadores de seguimiento a travs del contacto con beneficiarios (mdulo 2). La bsqueda de las opiniones directamente de hombres, mujeres y nios que supuestamente se benefician de las actividades realizadas por la Federacin y las Sociedades Nacionales: constituye un medio eficaz para ratificar si la estrategia aplicada para la obtencin de productos funciona, y suministra informacin sobre la probabilidad de que se alcance el propsito.
Adems, el seguimiento a travs del contacto con beneficiarios puede indicar, en fases tempranas, problemas en el diseo de las actividades, que podran abordarse asignando de nuevo los recursos humanos, materiales y econmicos de la Federacin y de las Sociedades Nacionales para apoyar una
3-6
Octubre de 2002
actividad a travs de otra, a fin de ampliar la probabilidad de lograr los objetivos, en su conjunto, de una estrategia de cooperacin. 3.4.2.3 Quin recopila y analiza los datos sobre el terreno? Dirjase al punto 2.4.3 Quin recopila y analiza los datos sobre el terreno? (mdulo 2).
3.5
3.5.1 El plan de seguimiento y evaluacin

La figura 3.2 ofrece un ejemplo de una plan de seguimiento y evaluacin para una actividad de desarrollo.
3-7
Octubre de 2002
Figura 3.2: Ejemplo de plan de seguimiento y evaluacin para una estrategia de cooperacin (nivel de meta)
Logro de la meta de las actividades
Requisitos de informacin Indicadores Fuentes de datos Meta Capacitar a los hogares cuya seguridad alimentaria depende de recursos naturales degradados para que logren cambiar a bases de subsistencia ms sostenibles Requisitos de informacin Incidencia y nivel inferiores de inseguridad alimentaria en los hogares de distritos con recursos naturales degradados Indicadores Fuentes de datos Propsito Incrementar los ingresos y la seguridad alimentaria de la poblacin beneficiaria Cambios en los ingresos de hogares o miembros de hogares Cantidad de productos forestales cosechados por hogar Indicadores principales: Nmero de hogares que obtienen ingresos o alimentos de zonas protegidas Impresin de los beneficiarios (hombres y mujeres) acerca de costos y beneficios del proyecto Nmero de usurpaciones y magnitud de daos Estudio de referencia y complementario en poblaciones participantes y de control Visitas peridicas al terreno Pequeo reconocimiento a mitad de proyecto Reconocimient o de la zona protegida Informe de referencia Medios de verificacin Frecuencia de Responsabilidad recopilacin de recopilacin Antes y despus de conclusin Responsable del proyecto Mtodo de recopilaci n Visita al terreno Utilizacin de la informacin Informes Presentacin Proyecto Taller de evaluacin
Logro del propsito de las actividades

Medios de verificacin Frecuencia Responsabilida de d de recopilacin recopilacin Antes de y al Sociedad finalizar Nacional Mtodo de recopilacin Estudio por muestreo Utilizacin de la informacin Informes Presentacin Informe de referencia al final del proyecto En talleres al comienzo y final del proyecto
Cada semestre A mitad de proyecto
Sociedad Nacional
Visitas al terreno y reconocimiento por muestreo
Informe sobre revisin de la gestin a mitad de proyecto Informe anual
Taller sobre revisin de la gestin a mitad de proyecto
Hiptesis La usurpacin por parte de los hogares no participantes puede controlarse
Anual
Asociado ejecutor
Observacin visual durante visitas al terreno
Reunin anual de revisin
Productos resultantes de las actividades

Requisitos de informacin Indicadores Fuentes de datos Producto 1 Mayor superficie forestal protegida y productiva Superficie mejorada o protegida Reconocimient o de la zona protegida y reconocimiento de supervivencia de rboles plantados Estudio de mercado Medios de verificacin Frecuencia Responsabilida de d de recopilacin recopilacin Anual Asociado ejecutor Mtodo de recopilacin Examen visual durante visitas al terreno. Reconocimient o de supervivencia de rboles plantados. Registro de precios observados en una seleccin de mercados Compilacin a partir de las hojas de distribucin de alimentos etc. Compilacin a partir de los documentos de los comits comunitarios Compilacin a partir de los documentos de los comits comunitarios Discusiones del grupo temtico Recuento de planes entregados y visitas de verificacin al terreno etc. Utilizacin de la informacin Informes Presentacin Informe anual al final del proyecto En reunin anual de revisin y en taller al final de proyecto
Hiptesis Los precios de frutas en los mercados permanecen estables Producto 2 La poblacin beneficiaria est alimentada
Precios de frutas en mercados locales
Estacional
Comits comunitarios de distribucin de alimentos Comits comunitarios de distribucin de alimentos, asociado ejecutor etc. Trabajadores de desarrollo comunitario del asociado ejecutor Asociado ejecutor
Informe anual
Nmero de personas que han recibido alimentos suministrados por la Federacin (datos desglosados por sexo y grupos de edad) etc. Nmero de grupos comunitarios constituidos y activos Representacin y participacin de hombres y mujeres en los comits (datos desglosados por sexo)
Hojas de distribucin de alimentos
Mensual
Informe mensual
En reuniones trimestrales de revisin de progresos
Hiptesis etc. Producto 3 Grupos comunitarios constituidos y activos en la gestin de superficies forestales
etc. Documentos de los comits comunitarios Documentos de los comits comunitarios Estudio de los comits comunitarios Planes entregados Verificacin sobre el terreno etc.
etc. Trimestral
etc. Trimestral
En reuniones trimestrales de revisin de progresos
Trimestral
Trimestral
Cada semestre Trimestral
Asociado ejecutor Asociado ejecutor
Trimestral Trimestral
Nmero de planes preparados y aprobados
Hiptesis etc.
etc.
etc.
etc.
etc.
3-8
Octubre de 2002
3.5.2 El presupuesto de seguimiento y evaluacin

Para elaborar el presupuesto de seguimiento y evaluacin dirjase al punto 2.5.2 Presupuesto de seguimiento y evaluacin (mdulo 2). Si desea orientarse acerca de posibles artculos a incluir en un presupuesto para una estudio de referencia consulte el mdulo 7. Estudios de referencia.
3-9
Octubre de 2002
3.6
3.6.1 Informes escritos

El sistema bsico de informes relativos a programas de las Sociedades Nacionales est constituido por: Informes peridicos de la situacin sobre el terreno: La mayora de las actividades se ejecutan como proyectos. En beneficio de la gestin interna de esas actividades, se elaboran informes peridicos de seguimiento (normalmente mensuales y trimestrales). La forma y el contenido de estos informes varan de acuerdo con el tipo de actividad, la disponibilidad de datos y la capacidad de la organizacin ejecutora para recopilar y procesar los mismos. Si desea orientarse sobre el diseo de los informes consulte el punto 2.6.1 Orientacin para la elaboracin de informes de seguimiento y evaluacin (mdulo 2). Informe trimestral de proyecto: El informe trimestral de proyecto se prepara cada tres meses por personal del propio proyecto y se entrega a la Delegacin en el pas, para la cual representa una herramienta esencial de gestin. Estos informes debern incluir informacin sobre el producto del proyecto, segn lo acordado en el plan de seguimiento y evaluacin. Informe anual: El informe anual lo prepara anualmente, para cada actividad, el especialista responsable de la Federacin o de la Sociedad Nacional. Cada una de las actividades se resumir en una estrategia de cooperacin que la Sociedad Nacional enviar a la Federacin.
3.6.2
Cmo utilizaran los directores de proyectos o programas los diferentes informes?
Para orientarse de forma general acerca de cmo utilizar los informes de situacin, de autoevaluacin y de evaluacin detallada dirjase al punto 2.6.2 Cmo utilizaran los directores de programas o proyectos los diferentes informes? (mdulo 2). Los siguientes constituyen algunos ejemplos de cmo utilizar informes ordinarios de estrategias de cooperacin y actividades: Informe trimestral de proyecto, informe de ejecucin del proyecto, informes de visitas al terreno: Son herramientas esenciales para los responsables de gestin para medir los progresos frente a los planes en el perodo que abarca el informe. Para posibilitar a los responsables de gestin centrarse en resolver los problemas y defectos ms importantes es fundamental entregar los informes oportunamente. Las Sociedades Nacionales utilizan estos informes para preparar los informes anuales y realizar los necesarios anlisis de los progresos. Informe de la Delegacin en el pas sobre la ejecucin de la estrategia de cooperacin: Este informe posibilita juzgar los progresos de cada actividad y del programa de la Sociedad Nacional en el logro de los objetivos planificados. El personal de la Delegacin en el pas identifica los problemas graves e indica quin deber responsabilizarse de realizar las medidas correctoras. Aunque este informe es un documento interno de la Federacin y de las Sociedades Nacionales, normalmente deber discutirse un borrador del mismo en una reunin de revisin con los asociados ejecutores. En estas reuniones se deber llegar a un acuerdo sobre qu acciones pasadas han sido concluidas y qu acciones futuras son necesarias.
3.6.3 La informacin de retorno en las estrategias de cooperacin y actividades

Vase el punto 2.6.4 Informacin de retorno (mdulo 2).
3-10
Octubre de 2002
ENSEANZAS EXTRADAS DEL MDULO 3 SEGUIMIENTO DE PROGRAMAS DE LAS SOCIEDADES NACIONALES

PRESENTE LOS PROGRAMAS DE LA SOCIEDAD NACIONAL EN MATRICES DE PLANIFICACIN EXPONGA EN TRMINOS GENERALES LOS INDICADORES DE RENDIMIENTO EXPONGA EN TRMINOS GENERALES LOS INDICADORES DE IMPACTO EXPONGA EN TRMINOS GENERALES LOS INDICADORES DE ACTIVIDADES DETALLE LAS HIPTESIS
3-11
Mdulo 4: Seguimiento y notificacin
Octubre de 2002
4.
Seguimiento y notificacin
El mdulo 2. Seguimiento y evaluacin ofrece orientacin general sobre el diseo de un sistema de seguimiento y evaluacin para todo tipo de operaciones.
4.1
Particularidades del seguimiento y evaluacin
En operaciones de emergencia y de desarrollo, los factores externos (contexto) con frecuencia son inestables y pueden cambiar en poco tiempo. En el caso de crisis repentinas:
Las actividades debern planificarse e iniciarse rpidamente, sin conocerse detalladamente la situacin. Se deber iniciar con rapidez un conjunto mnimo de actividades de seguimiento, que progresivamente se ir ampliando segn lo vayan permitiendo las circunstancias y los recursos disponibles. A fin de disponer, lo antes posible, de informacin fidedigna sobre quin recibe los alimentos y cuntos se reciben, es esencial establecer un sistema de seguimiento de la distribucin de alimentos. Especialmente en zonas de conflicto, la Federacin y las Sociedades Nacionales dependen en gran medida de los asociados locales debido a la insuficiente o ausente capacidad gubernamental.
En la mayora de las emergencias de evolucin lenta (p. ej. sequas) se pueden planificar con antelacin actividades de seguimiento apropiadas. En la mayora de las operaciones de desarrollo, las actividades de seguimiento se apoyan en las actividades realizadas durante la fase de emergencia de la operacin.
4-1
Octubre de 2002
4.2
Cmo disear un sistema de seguimiento y evaluacin (recordatorio)
En la tabla 4.1 se resumen las etapas del diseo de un sistema de seguimiento y evaluacin (vase tambin punto 2.1 del mdulo 2). Las etapas y la lista de tareas acompaante se presentan ms detalladamente en los apartados siguientes. Tabla 4.1: Etapas del diseo de un sistema de seguimiento y evaluacin
Etapa Lista de tareas Revise y corrija (y prepare si es necesario) la matriz de planificacin. Asegrese de que los objetivos reflejados en la meta (impacto), propsito (consecuencias), producto e hiptesis estn definidos con claridad y son mensurables. Asegrese de que los indicadores estn concretados adecuadamente en sus aspectos cuantitativo, cualitativo y temporal. Identifique los recursos humanos y econmicos disponibles. Valore los requisitos de capacitacin para todo el personal de seguimiento, tanto de la Federacin y las Sociedades Nacionales como de organismos copartcipes. Especifique los requisitos de capacitacin. Compruebe la fiabilidad y exactitud de las fuentes de informacin existentes a fin de determinar qu datos estn ya disponibles. Decida qu informacin adicional deber recopilarse para servir de referencia, para el seguimiento y para la evaluacin. Establezca un plazo de tiempo y un calendario para la recopilacin y procesamiento de datos y acuerde las responsabilidades. Resuma las necesidades de informacin acordadas, la recopilacin de datos y la utilizacin de la informacin (elaboracin de informes y presentacin de la informacin) en un plan de seguimiento y evaluacin. Resuma los requisitos para fortalecer la capacidad y brindar apoyo. Calcule el costo de todas las actividades de seguimiento y evaluacin e identifique fuentes de financiacin. Disee el sistema de notificacin y especifique el formato de los informes. Acuerde las medidas que se adoptarn para los controles y supervisin, por parte de la Delegacin Nacional, del sistema de notificacin de los asociados. Disee un sistema de informacin de retorno y toma de decisiones para los responsables de gestin.
Valore la capacidad de seguimiento y evaluacin Planifique la recopilacin y anlisis de datos Prepare el plan y presupuesto de seguimiento y evaluacin Planifique la notificacin y la informacin de retorno
4-2
Octubre de 2002
4.3
Comprobacin del diseo de la operacin
Para instruirse acerca de cmo abordar el seguimiento y la evaluacin en los documentos de diseo, consulte los siguientes apartados.
4.3.1 Consideraciones para el seguimiento y evaluacin en las diferentes fases del ciclo del proyecto
Tabla 4.2: Consideraciones para el seguimiento y evaluacin en las diferentes fases del ciclo del proyecto en operaciones de emergencia y de desarrollo
Fase del ciclo del proyecto Estimacin inicial (emergencia repentina) (slo operaciones de emergencia) Estimacin detallada (emergencias repentinas y de evolucin lenta) Consideraciones para el seguimiento y evaluacin De qu sistemas y capacidad se dispone para mantener la recopilacin de datos bsicos? Qu recursos (Federacin, Sociedades Nacionales, asociados) son necesarios para garantizar una calidad mnima en la recopilacin de datos, notificacin y seguimiento desde el comienzo de la emergencia? De qu sistemas y capacidad se dispone para: recopilar informacin sobre la situacin general (contexto) de forma permanente; realizar un seguimiento del beneficio real en los hogares; y analizar y decidir las acciones? Con qu intensidad debe realizarse el seguimiento en relacin con la duracin y complejidad previstas para la operacin? Qu recursos (Federacin, Sociedades Nacionales y asociados) son necesarios para garantizar que se realicen el seguimiento y, posteriormente, el anlisis y notificacin? Definicin de un plan inicial de seguimiento y evaluacin: indicadores provisionales; responsabilidades; procedimientos; calendario para la ejecucin progresiva del plan; recursos necesarios y presupuesto de seguimiento y evaluacin. Incluir en los planes de emergencia las consideraciones para el seguimiento y evaluacin para superar posibles cambios de la situacin. Especificacin del plan de seguimiento y evaluacin y del presupuesto requerido de la Federacin y de las Sociedades Nacionales Ampliacin del sistema de seguimiento y evaluacin: Compilacin de datos de referencia Diseo de herramientas de recopilacin de datos Capacitacin de personal para la operacin en materia de notificacin y utilizacin de informacin de seguimiento para la toma de decisiones Seleccin y capacitacin de responsables de proyecto (contratados por la Federacin y las Sociedades Nacionales) Compilacin y anlisis de informes y respuesta a los mismos de forma permanente para insumos, actividades, producto y consecuencias Planificacin y realizacin de visitas al terreno; gestin de los responsables de proyecto; intensificacin del trabajo en equipo Seguimiento del rendimiento de los asociados Organizacin de reuniones de revisin peridicas Incorporacin de los hallazgos del seguimiento y de la autoevaluacin en curso en el proceso de toma de decisiones de los responsables de gestin de la operacin Estimacin del rendimiento de la operacin hasta la fecha Estimacin del rendimiento e idoneidad del sistema de seguimiento hasta la fecha Revisin de la situacin actual y de tendencias; requisitos para la asistencia en curso; estrategia de salida Determinacin de la eficacia e impacto de la operacin
Preparacin de un plan operacional (slo operaciones de emergencia)
Preparacin del documento de operacin Ejecucin
Revisin/nueva estimacin
Evaluacin peridica
4-3
Octubre de 2002
4.3.2 Revisin o preparacin de una matriz de planificacin

En el Manual del proceso de planificacin del proyecto de la Federacin puede consultarse cmo elaborar una matriz de planificacin. Para informarse acerca de cmo verificar la matriz de planificacin, vase el punto 2.2 Comprobacin del diseo de la operacin (mdulo 2). En todas las operaciones de desarrollo y en emergencias de evolucin lenta:
implique a las partes interesadas en la elaboracin de una matriz de planificacin de acuerdo con la orientacin obtenida en el Manual del proceso de planificacin del proyecto de la Federacin o si se ha preparado ya una matriz de planificacin, compruebe que los objetivos e hiptesis estn clara y adecuadamente especificados y que tambin se haya identificado un pequeo nmero de indicadores pertinentes y viables.
En el caso de emergencias repentinas:
la asistencia a la poblacin necesitada probablemente se iniciar mientras se est realizando la estimacin, los objetivos de la operacin y los planes de ejecucin (incluidos aquellos para la seleccin de beneficiarios y de distribucin) se van fijando da a da, los objetivos e hiptesis debern representarse, lo antes posible, en forma de matriz de planificacin, incluso aunque sigan existiendo vacos y no se indiquen con precisin los objetivos e indicadores, un grupo de 5-10 Sociedades Nacionales puede elaborar en medio da una matriz de planificacin a grandes rasgos y lista para ser utilizada, la matriz de planificacin suministra un marco convenido para progresar, aunque requerir ser actualizada peridicamente, la informacin sobre las hiptesis, recopilada como parte de la estimacin inicial, establecer una imagen ms detallada de la situacin y posibilitar a los responsables de gestin revisar y actualizar sus planes de forma correspondiente, una vez realizada una estimacin detallada, se puede preparar un anlisis ms profundo de la matriz de planificacin y disear el sistema de seguimiento y evaluacin segn los resultados de ese anlisis.
4-4
Octubre de 2002
4.4
Estimacin de la capacidad de seguimiento y evaluacin
Para consultar cmo estimar la capacidad vase el punto 2.3 Estimacin de la capacidad de seguimiento y evaluacin (mdulo 2). Sirve de orientacin acerca de 2.3.1 Cmo determinar la capacidad de seguimiento y evaluacin y de 2.3.2 Estimacin de necesidades de capacitacin.
4.4.1 Definicin de funciones y responsabilidades en el seguimiento

Antes de estimar la capacidad para realizar el seguimiento y evaluacin de una operacin, es importante analizar las funciones y responsabilidades al respecto de la Federacin, las Sociedades Nacionales y los asociados ejecutores. Las funciones variarn segn las condiciones generales y la disponibilidad de asociados. Tabla 4.3: Funciones en el seguimiento de operaciones
Situacin Funcin de la Federacin y de las Sociedades Nacionales Recibir y analizar informes de los asociados y realizar visitas al terreno peridicas u ocasionales. Ayudar a identificar y, en la medida de lo posible, a resolver cualquier problema. Organizar distribuciones, normalmente con y a travs de comits locales u organizaciones comunitarias. El personal del terreno prepara los informes de distribucin y los jefes de los equipos de seguimiento escudrian los informes y realizan visitas de supervisin al terreno. El seguimiento lo planifican y realizan conjuntamente la Federacin, Sociedades Nacionales y ACNUR. Funcin del gobierno o de ONG asociadas Organizar y notificar sobre distribuciones y otras actividades. Establecer sistemas de informacin para suministrar datos socioeconmicos y nutricionales. En algunos casos extremos, la funcin del gobierno y de las ONG asociadas es mnima. Funcin de principales asociados de las Naciones Unidas El UNICEF, la Federacin y las Sociedades Nacionales colaborarn en el establecimiento de mecanismos rutinarios de seguimiento y en la realizacin peridica de estimaciones. La coordinacin humanitaria normalmente corre a cargo del PNUD o la OCHA.
Emergencias repentinas, emergencias de evolucin lenta y operaciones de desarrollo
En algunas situaciones de conflicto emergencias complejas
En operaciones en favor de refugiados
Organizar y notificar sobre distribuciones y otras actividades.
El ACNUR gestiona la operacin completa en favor de los refugiados y realiza un seguimiento de gran parte de los servicios, desde la proteccin a la salud, educacin y saneamiento.
La Federacin y las Sociedades Nacionales han firmado, con los principales asociados de las Naciones Unidas, memorandos mundiales de acuerdo para operaciones de emergencia y desarrollo, que sirven de orientacin para las responsabilidades de seguimiento y evaluacin de cada una de las partes.
4-5
Octubre de 2002
4.4.2 Estimacin de la capacidad de seguimiento

Si desea orientarse de forma general sobre la estimacin de la capacidad, consulte el punto 2.3.1 Cmo determinar la capacidad de seguimiento y evaluacin (mdulo 2). En una situacin de emergencia deben abordarse, adems, las siguientes cuestiones:
Cmo ha afectado la propia crisis a la capacidad previa de seguimiento y evaluacin? Cmo podran verse indirectamente afectados la capacidad y el rendimiento por las nuevas exigencias que se le plantean a la organizacin en su conjunto? Que posibilidades existen de que ONG locales realicen determinadas funciones de seguimiento y evaluacin y qu capacidad poseen las ONG disponibles? Qu factores del entorno dificultarn la recopilacin de informacin y la presentacin peridica de informes? Qu puede hacerse para superar estas dificultades y quin se har cargo de esta cuestin? Qu apoyo se necesitara para posibilitar la realizacin de las actividades de seguimiento y evaluacin? - De qu medios de transporte se dispone? Cules ms sern necesarios? Qu capacitacin habr que organizar? Qu material de oficina habr que suministrar?
4-6
Octubre de 2002
4.5
Planificacin de la recopilacin y anlisis de datos
Para proceder a la planificacin y desarrollo de sistemas de recopilacin y anlisis de datos consulte el punto 2.4 Planificacin de la recopilacin y anlisis de datos (mdulo 2), que sirve de orientacin en torno a:
2.4.1 Por qu son necesarios los datos de referencia? 2.4.2 Qu datos de seguimiento se necesitan y de dnde se obtendrn? 2.4.2.3 Visitas al terreno una valiosa fuente de informacin complementaria 2.4.2.4 Seguimiento de la participacin
El presente mdulo sirve de orientacin adicional en torno a estos aspectos en el caso de operaciones de emergencia y de desarrollo.
4.5.1 Datos de referencia

Si desea orientarse detalladamente sobre la planificacin y realizacin de un estudio de referencia, consulte el mdulo 7. Estudios de referencia. Los siguientes son indicadores de referencia que con frecuencia se consideran fundamentales para medir los progresos en operaciones de socorro que reciben el apoyo de varias organizaciones:
Tasas de desnutricin moderada y grave (en nios de 6-59 meses de edad) Tasas de mortalidad (para todos los grupos de edad y particularmente para nios)

En el punto 2.4.2 Qu datos de seguimiento se necesitan y de dnde se obtendrn? (mdulo 2) se presenta de forma general cmo recopilar datos de seguimiento. 4.5.2.1 Cul es el mnimo de informacin de seguimiento que debemos recopilar en el caso de emergencias repentinas? En una situacin de emergencia, las decisiones se toman con una informacin confusa, contradictoria o simplemente ausente. Establecer prioridades en la importancia de decisiones claves puede suministrar una primera base para establecer las prioridades en cuanto a la informacin necesaria. La informacin de seguimiento mnima necesaria en emergencias repentinas incluye:
recepcin y suministro de productos y artculos no alimenticios proporcionados por la Federacin y las Sociedades Nacionales, nmero (desglose segn sexo y edad) de personas que reciben asistencia de la Federacin y de las Sociedades Nacionales, manejo y distribucin de productos proporcionados por la Federacin y las Sociedades Nacionales, disponibilidad de ayuda alimentaria y necesidades pendientes.
El seguimiento posterior a la distribucin se iniciar algunos das despus de comenzar la operacin.
4-7
Octubre de 2002
4.5.2.2 Visitas al terreno una valiosa fuente de informacin complementaria Para orientarse de forma general dirjase al punto 2.4.2.3 Visitas al terreno (mdulo 2). En zonas afectadas por conflictos, la estimacin y el seguimiento se realizan, a veces, simultneamente. En situaciones de crisis agudas resultantes de conflictos armados, a veces es necesario planificar operaciones de ayuda alimentaria careciendo de conocimientos profundos sobre el dficit de alimentos de determinados grupos de la sociedad. En estos casos, la intervencin de urgencia se dirige a un rea geogrfica en la que se supone un elevado nmero de personas en situacin de riesgo. Siempre que empleados de la Federacin, Sociedades Nacionales u otras organizaciones logren realizar breves visitas a la zona, debern intentar determinar:
cmo se estn utilizando los alimentos proporcionados (seguimiento), la situacin de seguridad alimentaria en los hogares y cmo podra estar cambiando (estimacin).
Cmo se realizan simultneamente el seguimiento y la estimacin? Dos semanas despus de haber distribuido los alimentos o tras una serie de distribuciones de alimentos en un rea determinada, recopile informacin sobre:
acceso a alimentos y control de los mismos en el mbito domstico, cambios en el consumo de alimentos y sus consecuencias, efectos especficos de la inseguridad sobre la seguridad alimentaria de las personas.
4.5.2.3 Seguimiento a travs del contacto con beneficiarios determinacin del acceso al producto resultante de las actividades, la utilizacin del mismo y la satisfaccin al respecto por parte de los beneficiarios Para introducirse en el tema del seguimiento a travs del contacto con beneficiarios, dirjase al punto 2.2.3.1 Indicadores de seguimiento a travs del contacto con beneficiarios (mdulo 2). Utilice tcnicas de apreciacin rpida, especialmente discusiones en grupos temticos con separacin de hombres y mujeres y entrevistas a informantes claves, para verificar la verosimilitud de los hallazgos. Las visitas al terreno para recopilar informacin de seguimiento a travs del contacto con beneficiarios representan una buena oportunidad para actualizar los datos que se utilizarn para las estimaciones. En la tabla 4.4 se propone una lista de verificacin para ese tipo de seguimiento rpido de las necesidades alimentarias, que de forma ideal debera realizarse dos semanas despus de la distribucin de alimentos (o tras una serie de distribuciones de alimentos en un rea determinada, siempre con los mismos beneficiarios).
4-8
Octubre de 2002
Tabla 4.4: Lista de verificacin propuesta para una apreciacin rpida (seguimiento y estimacin)
Acceso de hombres y mujeres a alimentos Control de alimentos y excedentes en los hogares Qu acceso tienen las personas a sus propias huertas y a los mercados? Han sido destruidos o saqueados los cultivos y las reservas de alimentos? Qu personas de los hogares no reciben suficientes alimentos? Existen oportunidades de trabajo eventual? Qu salarios se pagan? Ha aumentado la violencia domstica como consecuencia de la falta de alimentos y de las estrategias adoptadas para hacerle frente? Quin decide qu parte de los alimentos/ganado se vender y qu parte se retendr para consumo propio? Cules son las restricciones a las que se enfrentan las mujeres para decidir acerca de la utilizacin de los alimentos en el hogar? En qu medida se han producido cambios en el acceso a agua potable y lea? Qu hogares hacen frente a las mayores dificultades para acceder a alimentos? (Son especialmente vulnerables los hogares encabezados por mujeres?) En qu hogares hay adultos que sufren de desnutricin? Se han producido cambios en el peso de neonatos? En qu hogares se encuentran los bebs de menor peso? Cmo ha cambiado la movilidad geogrfica? Cules han sido los efectos, particularmente entre las mujeres? Cmo acceden las personas a alimentos y a artculos no alimenticios bsicos, agua y lea? Qu tipo de actividades no pueden realizarse a causa de la inseguridad? Qu medidas puede adoptar la comunidad para incrementar la sensacin de seguridad?
Cambios en el consumo de alimentos en los miembros de los hogares Situacin de seguridad
4.5.3 Quin recopila y analiza los datos sobre el terreno?

Vase el punto 2.4 Planificacin de la recopilacin y anlisis de datos (mdulo 2).
4-9
Octubre de 2002
4.6
Vase el punto 2.5 Preparacin del presupuesto y plan de seguimiento y evaluacin (mdulo 2).
4.6.1 El plan de seguimiento y evaluacin

Para obtener informacin general sobre la forma de la matriz de planificacin y sobre los puntos que deben incluirse en la misma dirjase al punto 2.5.1 Plan de seguimiento y evaluacin (mdulo 2).
4-10
Octubre de 2002
4.7
Vase el punto 2.6 Planificacin de la notificacin e informacin de retorno (mdulo 2).
4.7.1 Informes escritos

A las Sociedades Nacionales se les solicita preparar cuatro tipos de informes sobre operaciones: 1. Informes de situacin 2. Informes de situacin de los suministros pendientes de entrega a los almacenes 3. Informes de proyecto 4. Informes anuales 4.7.1.1 Informes de situacin e informes de situacin de los suministros pendientes de entrega a los almacenes Los informes de situacin constituyen el medio principal para enviar informacin a la sede central acerca de los progresos alcanzados en las operaciones sobre el terreno, describiendo todo tipo de problemas, restricciones o necesidades pendientes. Se numeran por ao y consecutivamente (p. ej. 2002/1, 2002/2, 2002/3). La frecuencia de presentacin de los informes de situacin depende de la magnitud y gravedad de la emergencia. Debern enviarse cada pocos das en las primeras fases de una emergencia, y posteriormente suelen elaborarse mensualmente. Los informes de situacin proporcionan a la Federacin y a la Sociedad Nacional correspondiente informacin actualizada y resumida concerniente a:
los progresos de la operacin, cualquier cambio que acontezca durante el perodo del cual se informa, todo tipo de problemas, restricciones o necesidades pendientes particulares.
Los informes de situacin de los suministros pendientes de entrega a los almacenes suelen presentarse mensualmente.
4.7.2 Cmo utilizaran los jefes de operaciones los informes?

El punto 2.6.2 Cmo utilizaran los directores de proyectos o programas los diferentes informes? (mdulo 2) sirve de orientacin general acerca de cmo establecer un vnculo entre los informes y la toma de decisiones de los responsables de gestin. En emergencias de evolucin rpida (y en algunas operaciones de desarrollo) es fundamental que todas las partes interesadas realicen frecuentemente revisiones sistemticas. Normalmente deberan realizarse al menos cada 3 meses (tal vez cada 6 meses), dependiendo de la cantidad y alcance de los cambios que se vayan produciendo. Estas revisiones debern organizarse en cada uno de los diferentes mbitos de operacin as como, poco tiempo despus, en el nivel nacional. Las revisiones debern estar centradas en:
lo que se est consiguiendo con la operacin, las causas de cualquier problema o de un rendimiento inferior al previsto, cmo evoluciona la situacin en su conjunto.
4.7.3 Informacin de retorno para las operaciones

Vase el punto 2.6.4 Informacin de retorno (mdulo 2). 4-11
Octubre de 2002
ENSEANZAS EXTRADAS DEL MDULO 4 CICLO DEL PROYECTO

RELACIONE EL SEGUIMIENTO Y LA EVALUACIN CON EL CICLO DEL PROYECTO VUELVA A EXAMINAR LA ESTIMACIN INICIAL REVISE LA ESTIMACIN DETALLADA EXAMINE EL PLAN OPERACIONAL DOCUMENTE LA EJECUCIN FRENTE A LAS ESTIMACIONES Y EL PLAN
4-12
Mdulo 5: Evaluacin
Octubre de 2002
5.
5.1
Evaluacin
Introduccin
5.1.1 Para qu?

El presente mdulo sirve de orientacin para planificar, organizar, gestionar y utilizar evaluaciones de la cartera de actividades de emergencia y desarrollo de la Federacin y de las Sociedades Nacionales.
5.1.2 Para quin?

La orientacin se dirige a los jefes de evaluacin de las Sociedades Nacionales y oficinas regionales, as como a los de la sede central.
5.1.3 Qu es un jefe de evaluacin?

Normalmente, las evaluaciones las dirige el Departamento de Seguimiento y Evaluacin de la Secretara de la Federacin en Ginebra. No obstante, las evaluaciones y otras funciones analticas pueden realizarlas la Delegacin en el pas o la Sociedad Nacional correspondiente. Puede ocurrir que miembros del personal de la Divisin de Seguimiento y Evaluacin de la sede central se integren en el equipo de evaluacin como miembros regulares, que alguno de ellos acte de jefe del equipo o que asesoren y participen en el diseo y ejecucin de la evaluacin. A lo largo del mdulo se ofrece una orientacin ms detallada en cuanto al papel que desempea el jefe de evaluacin.
5.1.4 Por qu se evala?

La evaluacin es, ante todo, una importante herramienta de gestin que permite a la Federacin y a las Sociedades Nacionales examinar su rendimiento, tomar decisiones, aprender de la experiencia y rendir cuentas de sus acciones, mejorando as su capacidad para obtener los resultados deseados. Adems, la evaluacin es una herramienta para rendir cuentas que constituye, para los rganos de gestin, la Junta de Gobierno y los donantes, la base para analizar el rendimiento y para tomar las decisiones necesarias para mejorar la eficacia y eficiencia de polticas y operaciones. Las evaluaciones tambin sirven de apoyo para la rendicin de cuentas y el aprendizaje en el nivel de pas, pues proporcionan a las partes interesadas la informacin necesaria para estimar el rendimiento de las Sociedades Nacionales y para aprender sobre modos de mejorar el rendimiento de los programas y operaciones de la Federacin y de las Sociedades Nacionales y de llegar a acuerdos al respecto. Para introducirse en el tema de la evaluacin, incluidas definiciones y funciones, consulte el punto 1.3.4 Qu es la evaluacin? y el punto 1.4 Qu es el marco para el seguimiento y evaluacin?.
5-1
Mdulo 5: Evaluacin
Octubre de 2002
5.2
Un marco para la evaluacin
La evaluacin orientada a la rendicin de cuentas examina el rendimiento alcanzado en el pasado, con el objetivo de determinar el grado de xito o fracaso, mientras que la evaluacin orientada al aprendizaje busca mejorar el rendimiento futuro determinando las razones del xito o fracaso. Generalmente, las evaluaciones realizadas por la Federacin y las Sociedades Nacionales contienen los dos elementos, concedindose ms peso a uno u otro de ellos dependiendo del propsito principal y del momento en que se realice la evaluacin. En los dos casos, la evaluacin se ocupa de comparar aquello que se ha logrado frente a lo que se planific y, por lo tanto, de determinar el grado en que se han alcanzado los objetivos o resultados previstos de una operacin. La matriz de planificacin, junto con un calendario, proporciona la estructura para la notificacin en torno a la evaluacin. La matriz de planificacin desempea una importante funcin en el diseo y ejecucin de la operacin y, posteriormente, en su evaluacin. Suministra un marco fundamental para reflexionar acerca de cuestiones relativas a la evaluacin. Tanto es as que, en el caso de no existir una matriz de planificacin, se recomienda al equipo de evaluacin que elabore una retrospectivamente para analizar la lgica del documento de diseo de la operacin y comprobar si contiene toda la informacin necesaria. Vase figura 1.6.
5-2
Mdulo 5: Evaluacin
Octubre de 2002
5.3
Tipos de evaluacin
Las evaluaciones realizadas por la Federacin y las Sociedades Nacionales se diferencian segn se expone a continuacin: La autoevaluacin (denominada a veces revisin intermedia de la gestin) la realiza en su totalidad personal que participa en la operacin (tpicamente personal de la Sociedad Nacional), normalmente sin ayuda de asesores externos. La evaluacin no obligatoria la llevan a cabo asesores externos independientes y puede dirigirla la Divisin de Seguimiento y Evaluacin o la Sociedad Nacional/oficina regional. La evaluacin obligatoria es la que se exige de acuerdo con la Poltica de Evaluacin de la Federacin. Normalmente la dirige la Divisin de Seguimiento y Evaluacin.
Los informes de todas las evaluaciones obligatorias se presentan al Secretario General y a la Junta de Gobierno. Tanto las evaluaciones obligatorias como las que no lo son pueden realizarse en el punto medio de la ejecucin de una operacin (evaluaciones intermedias), al final de la misma (evaluaciones finales) o varios aos tras concluir la operacin (evaluaciones ex post). Cada vez es ms frecuente la utilizacin del trmino evaluacin en tiempo real en el contexto de las operaciones de desarrollo. Este trmino hace referencia al hecho de que la poltica, programa u operacin se evalan en el momento de comenzar el programa y, por lo tanto, los resultados de la evaluacin se tendrn en cuenta en el periodo restante de ejecucin.
5-3
Mdulo 5: Evaluacin
Octubre de 2002
5.4
Normas y principios de la evaluacin
5.4.1 Normas generales

Las evaluaciones deben atenerse a las siguientes normas: Las evaluaciones deben ser tiles y deben utilizarse: La evaluacin debe satisfacer las necesidades de informacin de los supuestos usuarios, lo que significa que se debern determinar y abordar las necesidades de todas las partes interesadas. Los informes debern describir claramente la operacin que se evala, incluido su contexto, y el propsito, procedimientos y hallazgos de la evaluacin. Los hallazgos e informes debern difundirse oportunamente y la Sociedad Nacional, o la Divisin de Seguimiento y Evaluacin en el caso de tratarse de evaluaciones temticas, deber velar por la puesta en prctica de las recomendaciones de la evaluacin a travs de un plan de seguimiento de las recomendaciones. Las evaluaciones deben ser exactas: La evaluacin debe revelar y transmitir informacin adecuada desde el punto de vista tcnico sobre la operacin, a fin de que se pueda determinar el valor o calidad de sta. El informe de evaluacin debe basarse en datos y mostrar con claridad cmo aplic los mtodos el equipo de evaluacin y cmo se obtuvieron los hallazgos. En las evaluaciones se debe procurar reflejar la reaccin de los beneficiarios: En la planificacin de la evaluacin deben preverse las debidas consultas con grupos beneficiarios representativos, prestndose atencin a incluir el punto de vista de hombres, mujeres, nios y otros grupos vulnerables pertinentes en relacin con la operacin. En la medida de lo posible, los equipos de evaluacin debern aplicar mtodos de diagnstico rural rpido. Las evaluaciones, excepto las autoevaluaciones, deben ser independientes e imparciales: Los evaluadores no debern haber participado en ninguna etapa previa de la operacin a evaluar. La evaluacin deber ser completa y justa en el examen de los puntos fuertes y puntos dbiles de la operacin, as como en la notificacin sobre los mismos. En caso de existir diferentes puntos de vista, debern reflejarse en el informe.
5.4.2 Principios claves para evaluar operaciones

En la evaluacin de operaciones de emergencia o de desarrollo se sigue, en muchos aspectos, el proceso de otras evaluaciones ms habituales: elaboracin de los trminos de referencia, seleccin del equipo de evaluacin, seleccin de mtodos, realizacin del estudio sobre el terreno, elaboracin de conclusiones y recomendaciones, y difusin de los hallazgos de la evaluacin. Sin embargo, las caractersticas de las emergencias (actores mltiples, inestabilidad de la situacin sobre el terreno, problemas de acceso, etc.) obligan, con frecuencia, a realizar la evaluacin con un enfoque muy distinto. De acuerdo con los consejos del Comit de Ayuda al Desarrollo (CAD) de la Organizacin para la Cooperacin y Desarrollo Econmicos (OCDE) (Guidance for Evaluating Humanitarian Assistance in Complex Emergencies), se debern aadir los siguientes principios claves para operaciones de emergencia y de desarrollo a aquellos presentados en el punto 4.1: 1. En la realizacin de evaluaciones y en su planificacin deben tomarse en consideracin las especiales condiciones socioculturales y medioambientales reinantes en escenarios de emergencias y posteriores a las mismas, p. ej.: Acceso restringido: Es posible que los evaluadores se enfrenten a importantes restricciones en el acceso a personas y lugares (a causa de controles de carretera, ataques a convoyes de ayuda, infraestructura daada, etc.). En la evaluacin debern considerarse estas restricciones. Abusos de los derechos humanos: La poblacin a la que se presta asistencia (particularmente mujeres y nios) puede estar sometida a una serie de abusos. La 5-4
Mdulo 5: Evaluacin
Octubre de 2002
evaluacin deber tener en cuenta la situacin de seguridad y las necesidades de proteccin de la poblacin afectada, es decir, si durante la operacin se han observado suficientemente estas cuestiones. Trauma psicosocial: Las poblaciones afectadas pueden haber sufrido graves traumas, mucho ms intensos de lo que podra percibir un observador externo. Los evaluadores deben intentar identificarse con sus experiencias, independientemente del grupo al que pertenezcan (gobierno, rebeldes, civiles, hombres, mujeres, etc.) y el tema en cuestin debe tratarse con sensibilidad. En estos casos, en el equipo de evaluacin deben incluirse evaluadores experimentados en dialogar con personas que sufren traumas psicosociales. Objetividad: Los conflictos y tensiones pueden provocar tal intensidad de sentimientos y polarizacin de puntos de vista entre los diferentes grupos afectados, que la bsqueda de la verdad jams resulte exitosa. La veracidad de la informacin nunca podr garantizarse, por lo que la triangulacin se convierte en un principio esencial de la recopilacin y anlisis de datos.
2.
En las evaluaciones debe prestarse especial atencin a reconstruir el orden en que se hayan sucedido los acontecimientos y procesos Informacin relativa al proceso: Con frecuencia, los evaluadores carecen de informacin clave sobre diversos asuntos esenciales para realizar su labor. Aunque ste es un problema que se presenta en todas las evaluaciones, puede resultar particularmente grave en el caso de emergencias complejas frecuentemente, los datos de seguimiento y de referencia no existen o son incompletos debido a problemas surgidos durante su recopilacin o dificultades en el registro de decisiones y mantenimiento de sistemas de clasificacin; y cuando se dispone de datos, stos pueden no ser coherentes o complementarios en relacin con los sistemas de diferentes organismos. Informacin relativa al contexto: La falta de informacin sobre el orden en que se suceden los acontecimientos y sobre los objetivos cambiantes de la asistencia humanitaria obligan con frecuencia a los evaluadores a reconstruir historias o imgenes del contexto o de los acontecimientos a partir de las cuales se juzgar si la ayuda prestada es apropiada y eficaz. Las evaluaciones deben estar ms centradas en tcnicas de evaluacin de polticas Causa y efecto: La tctica seguida habitualmente en la evaluacin, de separar causa y efecto, frecuentemente no es posible aplicarla en sistemas complejos en los que intervienen numerosos factores interdependientes. El enfoque consiste ms bien en utilizar mtodos cualitativos y deductivos para relatar acontecimientos y procesos especficos, a fin de entender qu y por qu ocurri. El imperativo poltico: En la respuesta humanitaria en casos de emergencia frecuentemente participan varios actores y existe un elevado grado de interdependencia, por lo que normalmente no resulta apropiado evaluar la respuesta individual de un organismo. Por lo que a la matriz de planificacin se refiere, en estos casos son demasiados los factores y acciones acompaantes los que se incluyen en la columna de las hiptesis. La experiencia ensea, por lo tanto, que es necesario centrarse ms intensamente en evaluaciones llevadas a cabo en colaboracin y que abarquen todo el sistema, a fin de posibilitar la evaluacin conjunta de las operaciones relacionadas entre s.
3.
5-5
Mdulo 5: Evaluacin
Octubre de 2002
5.4.3 Criterios de evaluacin

Los criterios de evaluacin generalmente aplicados por la Federacin y las Sociedades Nacionales son los siguientes: Pertinencia - Grado de coherencia de los objetivos de una operacin de la Federacin y/o de las Sociedades Nacionales en relacin con las necesidades de los beneficiarios y pases, las prioridades de las organizaciones, y las polticas de los asociados y donantes. Preparacin y diseo Evaluacin del proceso mediante el cual se identific y formul la operacin, y de la lgica e integridad del diseo resultante para la operacin. Idoneidad Evaluacin de la idoneidad y utilizacin oportuna de los insumos en relacin con la realizacin de las actividades. Eficiencia Medida de la rentabilidad con la que los insumos (fondos, personal especializado, tiempo, etc.) se convierten en el producto de la operacin. Eficacia - Grado en el que se han alcanzado o se esperan alcanzar los objetivos de una operacin, tomando en consideracin la importancia relativa de los mismos. Consecuencias - Resultados en el medio plazo derivados del producto de una operacin. Entendidas tambin como efectos en el nivel de propsito atribuibles a una operacin. Impacto - Resultados positivos y negativos, intencionados o no, en el largo plazo, producidos directa o indirectamente por una operacin de la Federacin y/o de las Sociedades Nacionales. Entendido tambin como efectos en el nivel de meta atribuibles a una operacin. Sostenibilidad - Continuacin de los beneficios de una operacin de la Federacin y/o de las Sociedades Nacionales una vez concluida la asistencia principal. Conexin (nicamente en el caso de operaciones de emergencia y de desarrollo) Asegurar que en el desempeo de las actividades realizadas en una emergencia de corto plazo se consideren los problemas conexos y que repercuten en un plazo de tiempo ms largo. Cobertura y seleccin de beneficiarios Concierne a la idoneidad de los objetivos fijados en la seleccin de beneficiarios en el nivel de operacin en relacin con la situacin local, la conformidad de esos objetivos con los objetivos de seleccin de beneficiarios de la Federacin y de las Sociedad Nacionales en el nivel de poltica, y el grado en que se ha alcanzado la cobertura planificada. Asociaciones y coordinacin Idoneidad de las asociaciones establecidas con gobiernos, ONG y organismos, y eficacia con la que se han dirigido esas asociaciones para lograr alcanzar los objetivos. Para aclaraciones sobre la relacin de estos criterios con la matriz de planificacin, vase la tabla 5.1 expuesta a continuacin.
5-6
Mdulo 5: Evaluacin
Octubre de 2002
Tabla 5.1: La matriz de planificacin y los criterios de evaluacin

Nivel de la matriz de planificacin META Informacin necesaria Criterios de evaluacin
PROPSITO
Aportacin de la operacin a los objetivos ms amplios y en el largo plazo. Qu cambios se han producido en el largo plazo en la vida de los beneficiarios? Pueden atribuirse estos cambios a la operacin o programa? Se han alcanzado los objetivos de los indicadores de impacto? Es probable que se alcancen? Logro real de los objetivos de propsito/consecuencias en comparacin con el plan. Se alcanzaron los objetivos? Quin se benefici y en qu consisti el beneficio? En caso de no haberse alcanzado los objetivos, se debi a un rendimiento deficiente, a indicadores insuficientemente especificados o a problemas en el diseo de la operacin? Cmo perciben los beneficiarios la operacin? Cmo sienten que ha cambiado su vida? Se han alcanzado los objetivos de los indicadores de consecuencias? Es probable que se alcancen? Cumplimiento de las hiptesis. Cmo afectaron los factores no sujetos al control de los responsables de gestin al logro del propsito? Se consideraron estos factores adecuadamente en el diseo de la operacin? Se ha realizado un seguimiento de las hiptesis? En caso afirmativo, ha resultado del mismo un cambio en la estrategia en los casos en que estuviera indicado?
IMPACTO Progresos con miras a alcanzar la meta. Lograr un cambio en el largo plazo.
PRODUCTO
ACTIVIDADES
INSUMOS
Logro real de los objetivos de producto en comparacin con el plan. Quin recibi ayuda alimentaria y a quin se le prestaron otros servicios? Se alcanzaron los objetivos? Podra haberse mejorado el rendimiento mediante un enfoque diferente? Se han alcanzado los objetivos de los indicadores de producto? Es probable que se alcancen? Cumplimiento de las hiptesis. Cmo afectaron los factores no sujetos al control de los responsables de gestin al logro del producto? Se consideraron estos factores adecuadamente en el diseo de la operacin? Fechas reales de inicio y conclusin en comparacin con el plan. Criterios y procesos de seleccin de beneficiarios. Prestaron eficazmente ayuda alimentaria la Federacin, las Sociedades Nacionales y sus asociados? Fueron adecuados los preparativos organizacionales? Se produjo algn tipo de retraso o se gan tiempo? Qu efecto tuvieron las desviaciones del plan sobre la operacin? Cumplimiento de las hiptesis. Cmo afectaron los factores no sujetos al control de los responsables de gestin a la realizacin de las actividades? Se consideraron estos factores adecuadamente en el diseo de la operacin? Cantidades de insumos y costos reales en comparacin con el presupuesto. Se proporcionaron y utilizaron los recursos de acuerdo con el plan? Se suministraron los insumos con el menor costo posible y con el nivel de calidad y en la cantidad deseados? En caso negativo, cmo afect este hecho a la operacin?
PERTINENCIA Abordar los verdaderos problemas con el enfoque adecuado y teniendo en cuenta las responsabilidades incluidas en el mandato fundamental de la Federacin y las Sociedades Nacionales as como las polticas del pas correspondiente. Abordar las verdaderas necesidades de los beneficiarios. CONSECUENCIAS Grado en que el producto ha resultado en el logro del propsito o de propsitos parciales. EFICACIA Grado en que una operacin ha alcanzado su propsito. COBERUTRA Y SELECCIN DE BENEFICIARIOS - Se han alcanzado los objetivos? Se han beneficiado las personas adecuadas en el momento adecuado? Abordar las necesidades previstas. SOSTENIBILIDAD Perspectivas de autosuficiencia y utilizacin permanente de los servicios tras concluir la operacin o programa. Continuacin sin ayuda externa. CONEXIN Si la operacin, en su respuesta a necesidades agudas e inmediatas, toma en consideracin necesidades y problemas en el ms largo plazo. EFICACIA Y EFICIENCIA - Comprobar la calidad, cantidad y oportunidad del producto y la rentabilidad con la que se ha producido. Hacer las cosas adecuadas y hacerlas bien. SOSTENIBILIDAD Perspectivas de prestacin permanente de los servicios una vez concluida la operacin o programa. Continuacin sin ayuda externa.
EFICIENCIA Logro de una relacin ptima entre costos, calidad y tiempo. Hacer las cosas bien y gastar menos. ASOCIACIONES Y COORDINACIN Adoptar un enfoque comn para resolver problemas y obtener resultados. Trabajar juntos adecuadamente. SOSTENIBILIDAD Perspectivas de continuacin de las actividades una vez concluida la operacin o programa. Continuacin sin ayuda externa.
IDONEIDAD Disponer de insumos adecuados y oportunos para realizar las actividades. Asegurar el apoyo y estar preparados.
5-7
Mdulo 5: Evaluacin
Octubre de 2002
5.5
Existe una base para determinar los criterios?
Los criterios aplicados en la evaluacin orientada a la rendicin de cuentas, a saber pertinencia, impacto, eficiencia, eficacia y sostenibilidad, requieren determinar aspectos diferentes. En el caso de la pertinencia, se mide la idoneidad de las actividades en relacin con polticas, necesidades y prioridades. Como consecuencia, las preguntas que se plantean para determinar los criterios se enfocan desde la perspectiva de la sociedad no desde la de la ejecucin o del grupo beneficiario. El principal problema metodolgico consiste en cmo abordar la falta de consenso social en torno a las crisis humanitarias. Y el punto de referencia lo constituye la misin del donante y del asociado ejecutor. La tabla 5.2 expone, en trminos generales, qu medir desde qu perspectiva, los problemas metodolgicos, puntos de referencia as como preguntas claves. Ofrece una ayuda para abordar los criterios de evaluacin. Tmese nota, en particular, de que para responder a las preguntas claves debe juzgarse, y que para juzgar es necesario disponer de datos. Para obtener datos deben realizarse mediciones, y stas requieren adoptar una perspectiva. La realizacin de mediciones plantea tambin problemas metodolgicos. Ms importante an, para establecer un juicio es necesario un punto de referencia comn a todas las partes.
5-8
Mdulo 5: Evaluacin
Octubre de 2002
Tabla 5.2: Criterios de evaluacin Desde la perspectiva Punto de referencia Problema de quin metodolgico Preguntas claves Existe armona entre los objetivos y las necesidades y prioridades? Deberan continuarse o concluirse las actividades? Misin del donante y Falta de consenso en del asociado ejecutor torno a necesidades y prioridades Estado, antes de la intervencin, de las partes afectadas Falta de informacin sobre partes afectadas Relacin causa-efecto Qu normas utilizar como referencia Intervenciones similares Normas de mejores prcticas Objetivos acordados Objetivos poco claros, mltiples, distorsionantes y cambiantes Situacin planificada Respuestas hipotticas para el futuro
Qu medir
Medir la pertinencia
Idoneidad en Sociedad Nacional relacin con polticas, necesidades y (cobertura) prioridades Sociedad Nacional Medir el impacto Efectos intencionados y no intencionados, positivos y negativos La prestacin de Los ejecutores Medir la ayuda eficiencia
(oportunidad)
El grupo beneficiario Medir la eficacia Logro de los objetivos (coherencia) (coordinacin) Probabilidad de que Sociedad Nacional Medir la se mantengan los sostenibilidad beneficios (conexin)
Cules son los efectos positivos y negativos? Superan los efectos positivos a los negativos? Hasta qu punto se ha prestado la ayuda, en sus diferentes componentes, de acuerdo con lo acordado? Podra haberse prestado la ayuda ms econmicamente, con mayor rapidez y con mejor calidad? Hasta qu punto se han alcanzado los objetivos acordados? Son suficientes las actividades para poder alcanzar los objetivos acordados? Hasta qu punto justifican los efectos positivos las inversiones? Estn dispuestas las partes implicadas a observar el diseo y la estrategia de salida y son capaces de hacerlo?
5-9
Mdulo 5: Evaluacin
Octubre de 2002
5.6
Plantear preguntas sobre el contexto de la evaluacin
Es importante comprender la situacin general en la cual se presta la ayuda. Para ello, lo mejor es plantear una serie de preguntas: 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Corren peligro vidas o bases de subsistencia? Con qu velocidad estn cambiando las circunstancias? Estn establecidas las estructuras de gobierno? Cul es la estructura demogrfica de la poblacin beneficiaria (incluir datos de edades, sexo, grupos tnicos)? Existen lagunas significativas en los conocimientos estadsticos sobre la poblacin beneficiaria? Se ha realizado algn tipo de esfuerzo para buscar y determinar soluciones en el nivel local? Cul es la situacin de seguridad en la zona? Cul es la probabilidad de que las personas vuelvan a vivir en sus sistemas de subsistencia tradicionales? Qu otros organismos actan en la zona? Cul es la actitud de los beneficiarios frente a la asistencia externa? De acuerdo con qu normas se prestar ayuda? Qu ocurrira si no se prestara ayuda?
5-10
Mdulo 5: Evaluacin
Octubre de 2002
5.7
Plantear preguntas sobre la planificacin de ayuda humanitaria
El examen de la situacin general proporciona, generalmente, una estimacin inicial. En la ayuda humanitaria, no obstante, con frecuencia, la estimacin acaba convirtindose en un marco de planificacin. Aunque a veces se defienda que es posible actuar inmediatamente despus de realizar la estimacin y sin marco de planificacin, resulta difcil realizar una seguimiento de la ayuda humanitaria y, por lo tanto, evaluarla sin marco de planificacin. En este sentido, es til plantear una serie de preguntas a partir de las cuales se obtenga informacin acerca de cmo planificar este tipo de ayuda: 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. Existe un anlisis adecuado sobre la situacin de crisis y se ha determinado claramente la poblacin beneficiaria? Se han recopilado y analizado sistemticamente datos? En caso negativo, cmo debe hacerse frente a las necesidades de datos? Se han tenido en cuenta experiencias similares de otras intervenciones de ayuda humanitaria? Se han definido con claridad las diferentes funciones, incluida la de coordinacin? Cules son las razones para la participacin de cada uno de los organismos? Cmo se irn retirando estos organismos? Cmo se prev que cambiar la situacin como consecuencia de la intervencin? Cmo se han determinado las prioridades en torno a las necesidades? Se adaptan las hiptesis a la realidad? Se han definido los objetivos con suficiente claridad como para que pueda realizarse un seguimiento del logro de los mismos en comparacin con determinados criterios? Cules son los insumos y actividades principales necesarios para alcanzar esos objetivos? La ayuda humanitaria, se opone a la iniciativa local e incrementa la dependencia? Es completa y coherente la planificacin? Incluye el plan un calendario? Posee el personal del organismo correspondiente experiencia para ejecutar actividades y realizar el seguimiento de las mismas?
En la elaboracin de las preguntas para la evaluacin de programas y proyectos humanitarios, utilizando los criterios de evaluacin, pueden tomarse como punto de referencia los consejos del Comit de Ayuda al Desarrollo (CAD) de la Organizacin para la Cooperacin y Desarrollo Econmicos (OCDE) (Guidance for Evaluating Humanitarian Assistance in Complex Emergencies). En el documento correspondiente se plantean preguntas en torno a los criterios claves de evaluacin: Pertinencia La pertinencia es el grado de coherencia de la actividad de ayuda con las prioridades y polticas del grupo beneficiario, el organismo ejecutor y los donantes. En la evaluacin de la pertinencia de un programa o proyecto es til plantear las siguientes preguntas: 1. 2. 3. 4. 5. 6. En qu medida son pertinentes los objetivos del programa? Las actividades y producto del programa, son coherentes con la meta y el logro de los objetivos? Las actividades y producto del programa, son coherentes con el impacto y efectos previstos? Son las actividades intervenciones apropiadas? Abarcan las actividades adecuadamente a la poblacin afectada? Debera haberse interrumpido antes el programa o debera haberse ampliado?
5-11
Mdulo 5: Evaluacin
Octubre de 2002
Eficacia La eficacia mide el grado en que se alcanzan los objetivos de un programa de ayuda. Adems, mide el grado en que las actividades alcanzan su propsito o si es previsible que esto ocurra de acuerdo con el producto. En la evaluacin de la eficacia de un programa o proyecto es til plantear las siguientes preguntas: 1. 2. 3. 4. Hasta qu punto se han alcanzado los objetivos? Cules han sido los principales aspectos que han influido en que se alcanzaran o no los objetivos? Se han fijado metas comunes entre los diferentes organismos ejecutores (coherencia)? Ha habido indicios de que la coordinacin influyera en el logro de los objetivos?
Eficiencia La eficiencia es un trmino de carcter econmico y refleja los costos (recursos materiales y humanos) producidos para obtener los resultados deseados. En otras palabras, se invirti ptimamente el dinero? La eficiencia mide el producto obtenido (aspectos cualitativos y cuantitativos) en relacin con los insumos. A fin de comprobar si se ha utilizado el proceso ms eficiente, generalmente es necesario establecer una comparacin con otros enfoques aplicados para conseguir el mismo producto. En la evaluacin de la eficiencia de un programa o proyecto es til plantear las siguientes preguntas: 1. 2. 3. 4. 5. 6. 7. Se realizaron las actividades con el menor costo posible? Se alcanzaron los objetivos oportunamente? Se ejecut el programa o proyecto de la forma ms eficiente posible en comparacin con otras posibilidades? Increment la intervencin de emergencia los costos unitarios? Se adquirieron los insumos materiales en el nivel local? Se solicitaron ofertas locales? Cul fue la proporcin de costos para personal extranjero y local respectivamente?
Impacto El impacto indica los efectos negativos y positivos de un proyecto sobre su entorno en cuanto a aspectos tcnicos, econmicos, socioculturales, institucionales y medioambientales. En la evaluacin se debern considerar: 1. 2. 3. Efectos directos Costos y beneficios inmediatos de la contribucin a un proyecto y de los resultados del mismo, sin tener en cuenta sus efectos econmicos. Efectos indirectos Costos y beneficios desatados por la contribucin de un proyecto y los resultados del mismo. Efecto multiplicador Efecto indirecto especial consistente en el incremento del aprovechamiento de la capacidad de la economa como consecuencia del aumento de la demanda generado por los programas de ayuda.
En la evaluacin del impacto de un programa o proyecto es til plantear las siguientes preguntas: 1. 2. 3. 4. Qu ha ocurrido como resultado del programa o proyecto? Qu ha aportado realmente la actividad a los beneficiarios? Cuntas personas se han visto afectadas? Qu habra ocurrido si el programa o proyecto no se hubiese ejecutado?
5-12
Mdulo 5: Evaluacin
Octubre de 2002
Sostenibilidad Grado en que se seguirn manteniendo los objetivos de una actividad de ayuda una vez concluida la misma; grado en que los grupos beneficiarios de la ayuda quieren y pueden hacerse cargo de mantener los objetivos del proyecto. La sostenibilidad se refiere a la medida de la probabilidad de que una actividad o impacto se mantengan una vez que los donantes supriman la financiacin. Un programa o proyecto debe ser sostenible desde los puntos de vista medioambiental, social y econmico. Teniendo en cuenta que la mitad de las actividades de ayuda humanitaria se consideran actividades de rehabilitacin, es importante considerar la cuestin de la sostenibilidad. En la evaluacin de la sostenibilidad de un programa o proyecto es til plantear las siguientes preguntas: 1. 2. 3. En qu medida continu desarrollndose el programa o proyecto una vez concluida la financiacin por parte de los donantes? Cules fueron los principales factores que influyeron en que se alcanzara o no la sostenibilidad del programa o proyecto? Se consideraron, en el tema de la sostenibilidad, claramente cuestiones de sostenibilidad medioambiental, econmica y social?
Cuando el programa de ayuda humanitaria est centrado en el socorro de emergencia, en las preguntas se tomar en consideracin el aspecto de la conexin. En este caso, las preguntas son las siguientes: 1. 2. 3. 4. Qu relacin existi entre las actividades de socorro y las de rehabilitacin y desarrollo? Cul fue la estrategia de salida planificada? En el caso de no existir estrategia de salida, cmo se concluy la intervencin? Se modificaron significativamente las actividades a medida que se reduca la gravedad del desastre?
Preguntas, todas ellas, cuya respuesta resulta difcil. (Fuente: OCDE (1991 y 1986)). Medir el impacto es una tarea muy difcil, especialmente en la ayuda humanitaria, en donde las evaluaciones con frecuencia se realizan una vez concluida la intervencin. En este sentido, resulta difcil juzgar si se han alcanzado los objetivos generales, especialmente cuando se carece de planes, resultados de seguimiento y normas determinadas. Ms concretamente, muchas veces es difcil atribuir los cambios en las condiciones de subsistencia de la poblacin beneficiaria a la aportacin de actividades especficas. Tambin es importante plantearse, especialmente en el caso de emergencias complejas, si las actividades del proyecto han ayudado a estabilizar el conflicto o si, por el contrario, lo han agravado. En el caso de los organismos de ayuda humanitaria que operan tradicionalmente en el mbito de los derechos humanos, deber evaluarse tambin el impacto de su estrategia de sensibilizacin. Las preguntas en torno a la eficiencia se centran en el despliegue de recursos econmicos y humanos en relacin con el producto. Las primeras preguntas se refieren a datos sobre costos y, en la medida de lo posible, a datos comparativos de costos de diferentes organismos que actan en la misma intervencin o en intervenciones similares en contextos diferentes. Se dispuso de unas directrices de gestin para ejecutar las actividades? Hasta qu punto facilitaron esas directrices alcanzar los objetivos? Podran haberse obtenido los mismos resultados a un costo inferior? Podra haberse satisfecho a ms beneficiarios? Cmo funcion la logstica, especialmente en cuanto a la oportunidad? Y debido a su relacin con la eficiencia y eficacia, es esencial plantear la pregunta de si se consider un espacio para desarrollar y realizar un seguimiento de actividades humanitarias.
5-13
Mdulo 5: Evaluacin
Octubre de 2002
En el tratamiento de la pertinencia surgen preguntas relativas a la cobertura. Cul fue la poblacin beneficiaria? Cmo alcanzaron las actividades del proyecto a esa poblacin? Se excluy a alguien de los servicios? En la cuestin de la eficacia, las principales preguntas que se plantean son: Se logr el propsito del proyecto? Fueron ejecutadas las actividades segn el plan inicial? Adems se plantea la cuestin relativa a la coherencia entre las fuentes de financiacin y entre los organismos que actan sobre el terreno. Intervinieron con una base comn? O, por el contrario, intervinieron de forma autnoma? En las evaluaciones de intervenciones de socorro, las preguntas relativas a la sostenibilidad se centran ms intensamente en la conexin. Cmo estaba diseada la retirada progresiva de la estrategia de socorro? Se intentaron traspasar recursos a la capacidad local durante la retirada progresiva? Cmo fortaleci la intervencin de socorro los mecanismos locales para abordar problemas? Cabe mencionar, sin embargo, que gran parte de la ayuda humanitaria realmente la constituyen actividades de rehabilitacin, ms que de socorro, por lo que debern utilizarse los criterios de evaluacin de la sostenibilidad de la OCDE. No obstante, resulta extremadamente difcil evaluar estrategias de salida cuando se carece de un plan y de un sistema de seguimiento que determine el final de la intervencin en el marco de un programa. Este aspecto destaca, nuevamente, la importancia que tiene la elaboracin de unas bases adecuadas de planificacin y seguimiento para la ayuda humanitaria. En el tratamiento de los criterios de evaluacin surgir una serie de preguntas sobre el diseo de la intervencin humanitaria. Se definieron con claridad los objetivos? Se tomaron en consideracin factores externos (incluida una especificacin de riesgos e hiptesis)? Se determinaron indicadores para medir los progresos, particularmente indicadores inteligentes (especficos, mensurables, exactos, ajustados a la realidad y oportunos)?
5-14
Mdulo 5: Evaluacin
Octubre de 2002
5.8
Planificar una autoevaluacin
La autoevaluacin es una evaluacin realizada por los propios responsables de ejecucin del proyecto, con o sin ayuda externa. La autoevaluacin debera convertirse en parte integrante de las operaciones de las Sociedades Nacionales y solicitarse antes de la preparacin de una nueva fase o como autoevaluacin de cierre al final de una operacin.
5-15
Mdulo 5: Evaluacin
Octubre de 2002
5.9
La autoevaluacin de la Sociedad Nacional forma parte del proceso de seguimiento
El marco que se expone a continuacin para la distribucin y seguimiento del documento Autoevaluacin del funcionamiento de la Sociedad Nacional se basa en las opiniones recibidas en torno al proceso de autoevaluacin llevado a cabo en los aos 2000 y 2001 y en las enseanzas extradas del mismo.
5.9.1 Objetivos de la autoevaluacin y marco operativo Contexto

La Estrategia 2010 solicita que se establezcan mecanismos para permitir a los rganos de gobierno de la Federacin Internacional examinar activamente la condicin de sus miembros, prestando al mismo tiempo un adecuado apoyo a las Sociedades Nacionales con miras al logro de las Caractersticas de una Sociedad Nacional que funciona bien. Para favorecer esta prioridad, en noviembre de 2000 la Junta de Gobierno aprob el documento Autoevaluacin de las Sociedades Nacionales (a partir de 2001 Autoevaluacin del funcionamiento de la Sociedad Nacional) como un instrumento institucional y un proceso destinado a supervisar el rendimiento y la integridad de las Sociedades Nacionales. Se encomend a la Secretara que desarrollara dicho instrumento y lo suministrara a todos los miembros de la Federacin de manera escalonada durante un perodo de 3 aos. En su reunin de noviembre de 2001, la Junta de Gobierno exhort, adems, a las Sociedades Nacionales a que completaran el proceso de autoevaluacin con la preparacin de un plan de accin. La Junta de Gobierno solicit al Secretario General de la Federacin que preste apoyo constante a fin de ayudar a las Sociedades Nacionales a llevar a la prctica esos planes y que la informe sobre el progreso de cada una de las Sociedades Nacionales en este mbito.
Objetivos
Los objetivos del programa de autoevaluacin son: Ayudar a las Sociedades Nacionales individualmente a determinar sus puntos fuertes y deficiencias, demostrando su compromiso por el cambio y estableciendo prioridades de acuerdo con la Estrategia 2010 a fin de cumplir mejor su misin de mejorar la vida de las personas vulnerables. Apoyar a la Junta de Gobierno de la Federacin en la formulacin de polticas y estrategias facilitando los medios para examinar anualmente el rendimiento de los miembros en relacin con las Caractersticas de una Sociedad Nacional que funciona bien. Contribuir al aprendizaje organizacional intercambiando datos de referencia de las Sociedades Nacionales y ejemplos de prcticas recomendadas. Permitir a las Sociedades Nacionales miembros comparar el estado de su Sociedad con respecto a las tendencias mundiales del Movimiento, sean stas temticas o geogrficas. Movilizar el apoyo de la Federacin y externo hacia las Sociedades Nacionales intercambiando los resultados de la autoevaluacin.
Instrumento
El instrumento esencial de la autoevaluacin de las Sociedades Nacionales es un cuestionario elaborado, y actualizado segn procede, 1 por el Departamento de Seguimiento y Evaluacin en
1
La ltima revision del cuestionario tuvo lugar en abril de 2002 sobre la base de las lecciones aprendidas y los comentarios obtenidos de las autoevaluaciones correspondientes a la fase de 2001.
5-16
Mdulo 5: Evaluacin
Octubre de 2002
consulta con los departamentos de la Secretara y las Delegaciones Regionales. Este cuestionario (Autoevaluacin del funcionamiento de la Sociedad Nacional) contiene los indicadores clave para medir los progresos encaminados a lograr las caractersticas de una Sociedad Nacional que funciona bien en el marco de la Estrategia 2010. Se ha efectuado un amplio proceso de consulta con el fin de garantizar su pertinencia y utilidad en todas las Sociedades Nacionales miembros de la Federacin. Adems del cuestionario esencial arriba mencionado, una Delegacin Regional o un Departamento de la Secretara, en consulta con el Departamento de Seguimiento y Evaluacin, puede proponer, elaborar y distribuir otros mdulos de cuestionario con indicadores especficos de regin/sector.
Marco operativo
El marco operativo descrito a continuacin, destinado a la distribucin y al seguimiento del cuestionario Autoevaluacin del funcionamiento de la Sociedad Nacional, se funda en la experiencia adquirida en las fases piloto y en curso de autoevaluacin, as como en los comentarios formulados en relacin con la misma.2 Incorpora cambios operacionales para llevar a la prctica las decisiones de la Junta de Gobierno. I. Distribucin del cuestionario A. La distribucin del cuestionario a las 178 Sociedades Nacionales se realiza de forma escalonada durante un plazo de 3 aos (2001-2003). Adems de las 15 Sociedades Nacionales que se ofrecieron voluntariamente para participar en la fase piloto del proceso de autoevaluacin, se seleccionaron 40 Sociedades Nacionales (8 de cada regin del mundo) para el primer ciclo del programa de autoevaluacin en 2001. En 2002 se incluyeron en el proceso 60 Sociedades Nacionales ms, y todas las Sociedades Nacionales restantes sern invitadas a participar en la fase de 2003. Una vez finalizado el ciclo de tres aos, el ejercicio de autoevaluacin se repetir a intervalos oportunos a fin de captar las tendencias en el tiempo. La lista de Sociedades Nacionales a las que deber distribuirse el cuestionario cada ao la elaboran los departamentos regionales de acuerdo con las recomendaciones obtenidas del terreno. En el proceso de seleccin se considerarn especialmente las comparaciones con ejemplos de estrategias de cooperacin de la nueva generacin. El cuestionario se remite a las Sociedades Nacionales seleccionadas en el primer trimestre del ao, junto con una carta del director de la Divisin de Seguimiento y Evaluacin y, segn proceda, se enva una copia al departamento regional y Delegacin Regional correspondientes, as como a la Delegacin/oficina en el pas. A fin de garantizar la exactitud y pertinencia de las respuestas, debern mantenerse consultas, en la Sociedad Nacional, entre los dirigentes y el personal/voluntarios sobre los diversos mbitos abordados en el cuestionario. Rogamos consltese el Marco Operativo para la Autoevaluacin de las Sociedades Nacionales (Recapitulacin de las actividades de la Sociedad Nacional). La Delegacin Regional (con la ayuda de la Delegacin/oficina en el pas cuando sea necesario) es responsable de supervisar adecuadamente, con las Sociedades
B. C.
D.
E.
F.
2
En septiembre de 2001 se distribuy un borrador anterior del marco operativo a todos los Departamentos de la Secretara y a todos los jefes de Delegaciones Regionales y de Delegaciones de pases a fin de recibir sus opiniones. stas han sido examinadas y en la presente versin se han incorporado, en la medida de los posible, las sugerencias recibidas. El presente marco se ir actualizando para reflejar las lecciones aprendidas y experiencias adquiridas sobre el terreno.
5-17
Mdulo 5: Evaluacin
Octubre de 2002
Nacionales, la cumplimentacin del cuestionario y de remitirlo (junto con todo tipo de material adicional a entregar) al Departamento de Seguimiento y Evaluacin. La Delegacin Regional deber retener una copia del cuestionario cumplimentado y del material adicional para su consulta y para el seguimiento de cada una de las autoevaluaciones realizadas en la regin correspondiente. II. Anlisis de datos e informe sobre las tendencias A. El Departamento de Seguimiento y Evaluacin analiza todas las respuestas recibidas dentro del plazo fijado y prepara un anlisis de las tendencias sobre las Sociedades Nacionales para incluirlo en el informe anual que ha de presentar a la Junta de Gobierno y en el informe bianual dirigido a la Asamblea General de la Federacin.3 Este informe permite elaborar un perfil de las Sociedades Nacionales en mbitos esenciales, como la funcin de gobierno, las bases jurdicas y de recursos, la elaboracin de programas y los mecanismos para el propio seguimiento. En las secciones del cuestionario en que las respuestas son incompletas o imprecisas, se solicitar a la Delegacin Regional/en el pas que coopere con el Departamento de Seguimiento y Evaluacin para esclarecerlas de forma adecuada para posibilitar el anlisis de las tendencias. El informe sobre las tendencias se basar en ejemplos disponibles de Sociedades Nacionales que participen en la autoevaluacin y, con el tiempo, abarcar a todas las Sociedades Nacionales. Las tendencias en el tiempo se registrarn despus de que el proceso se haya repetido a intervalos adecuados para las Sociedades Nacionales. El Departamento de Evaluacin desarrollar su base informatizada de datos relativa a las respuestas del cuestionario para proporcionar acceso a los departamentos de la Secretara con el fin de favorecer el intercambio de datos de referencia e informacin cualitativa procedente de la autoevaluacin.4
B.
C.
D.
III. Seguimiento regional de la autoevaluacin A. La Delegacin Regional/en el pas responsable de la Sociedad Nacional en cuestin realiza un seguimiento individual de la autoevaluacin correspondiente. En el caso de ser la Delegacin en el pas la que dirija el seguimiento, este hecho deber acordarse claramente entre la Delegacin en el pas y la Delegacin Regional y notificarse al Departamento de Seguimiento y Evaluacin. A la Delegacin Regional le incumbe garantizar que la Delegacin en el pas realice puntualmente el seguimiento de la autoevaluacin. En consulta con la Delegacin Regional/en el pas, departamento regional y otros departamentos pertinentes de la Secretara, como el Departamento de Desarrollo Organizacional, el de Apoyo a los rganos de Gobierno y Asuntos Jurdicos y el de Coordinacin, el Departamento de Seguimiento y Evaluacin prepara un documento sobre los resultados preliminares de la autoevaluacin, que favorecer el proceso de planificacin en las Sociedades Nacionales y la Federacin as como a todas las estrategias de cooperacin relacionadas con la Sociedad Nacional. Teniendo en cuenta la importancia de que la Sociedad Nacional se identifique con este informe, el
B.
El informe ms reciente es el Informe sobre la Autoevaluacin de las Sociedades Nacionales 2002. Pueden pedirse ejemplares al Departamento de Seguimiento y Evaluacin. En abril de 2002, se puso a prueba una base de datos con funciones de bsqueda y acceso; no se dispone an de la funcin de bsqueda solamente.
5-18
Mdulo 5: Evaluacin
Octubre de 2002
documento deber basarse en las respuestas dadas por la Sociedad Nacional en el cuestionario, el material presentado y en otras aclaraciones y comentarios. C. El informe de autoevaluacin deber contener, bsicamente:
a) Resultados preliminares de la autoevaluacin, preparados por el Departamento de Seguimiento y Evaluacin, que se compartirn con la Sociedad Nacional va Delegacin Regional/en el pas o departamento regional para comentarlos ms detalladamente. Aunque los resultados preliminares debern basarse en las respuestas dadas por la Sociedad Nacional al cuestionario, la Delegacin y el departamento regional pueden aprovechar sus conocimientos del contexto de la Sociedad Nacional y del contexto regional para decidir a qu cuestiones de las tratadas en la autoevaluacin debe prestarse especial atencin. Adems de destacar los principales resultados de la autoevaluacin, el documento deber determinar qu otras verificaciones/aclaraciones respecto a la Sociedad Nacional son necesarias sobre cuestiones especficas, as como sugerir mbitos de accin potenciales o prioritarios para la Sociedad Nacional. Los resultados preliminares debern prepararse en el idioma oficial de la Federacin utilizado por la Sociedad Nacional. b) Comentarios y plan de accin, por escrito, de la Sociedad Nacional que contengan aclaraciones/confirmaciones relativas a los resultados preliminares y que destaquen las acciones decididas o emprendidas entretanto por la Sociedad Nacional para abordar los resultados claves; los comentarios debern identificar adems mbitos potenciales para el apoyo de la Federacin o externo. Un plan de accin, como instrumento para el seguimiento de los resultados de la autoevaluacin, deber incluir los objetivos y plazos especificados, as como personas/departamentos de la Sociedad Nacional responsables al respecto. La Delegacin Regional deber determinar a un coordinador para cada seguimiento. D. Se hace hincapi en que toda referencia a cuestiones de integridad en los resultados preliminares y en el informe final deber limitarse estrictamente a la informacin que de s misma presenta la Sociedad Nacional en el cuestionario. Las delegaciones conscientes de cuestiones importantes de integridad no reflejadas en el cuestionario, debern informar a la Secretara al respecto a travs del Responsable de rea o jefe del departamento regional para que puedan determinarse las acciones de seguimiento apropiadas.5 Una vez finalizado el plan, deber ser aprobado por la Sociedad Nacional y enviado al departamento regional y al Departamento de Seguimiento y Evaluacin. La Sociedad Nacional deber presentar dentro de un plazo razonable un informe sobre los progresos hechos en la aplicacin del plan de accin. El Secretario General se encargar de someter este informe a la Junta de Gobierno en su reunin siguiente, junto con un informe sobre los progresos hechos por la Federacin en su tarea de respaldar la autoevaluacin de las Sociedades Nacionales y las necesidades determinadas en concordancia con la Estrategia 2010.
E.
IV.
Apoyo de la Federacin y externo a las Sociedades Nacionales A. Se requiere un apoyo sistemtico de la Secretara, las Sociedades Nacionales hermanas y los asociados externos para asistir a las Sociedades Nacionales en la tarea de abordar las reas/acciones prioritarias en materia de fortalecimiento de la capacidad en los casos determinados en sus informes de autoevaluacin. Para la Secretara, ello forma parte de su compromiso ms amplio de ayudar a las Sociedades Nacionales a lograr, a largo plazo, las caractersticas de una Sociedad Nacional que
Vase el documento de la Federacin Dealing with National Society Integrity Issues, elaborado por la Divisin de Seguimiento y Evluacin (2001). Para obtener copias del mismo, pngase en contacto con Joyce Duffuor en duffuor@ifrc.org
5-19
Mdulo 5: Evaluacin
Octubre de 2002
funciona bien, al mismo tiempo que intenta reformular las normas mnimas en consulta con las Sociedades. B. A tal finalidad, se harn circular entre los departamentos de la Secretara copias de los informes de autoevaluacin de cada una de las Sociedades Nacionales, como una de las contribuciones a los actuales procesos de apoyo al fortalecimiento de la capacidad de las Sociedades Nacionales. Ello incluye un anlisis de los procesos de desarrollo organizacional y de revisin de los estatutos de las Sociedades Nacionales, as como una contribucin a los procesos de cooperacin y coordinacin. Tal como se expone en el Marco de Referencia para el Fortalecimiento de la Capacidad de las Sociedades Nacionales,6 el proceso de autoevaluacin proporciona informacin complementaria til para el desarrollo organizacional de la Sociedad Nacional y, en algunos casos, contribuye a activar un proceso de desarrollo organizacional de mayor alcance. Las Sociedades Nacionales, por su parte, debern integrar en su planificacin estratgica las reas/acciones prioritarias determinadas en el plan de accin establecido tras la autoevaluacin. Cuando se ha emprendido o previsto la formulacin/actualizacin de un plan estratgico/de desarrollo de una Sociedad Nacional, las reas/acciones prioritarias establecidas por la Sociedad Nacional en su autoevaluacin debern incluirse en el plan nuevo/revisado con la asistencia de la Delegacin Regional/en el pas. Un plan estratgico/de desarrollo de la Sociedad Nacional actualizado y pertinente es uno de los requisitos previos para iniciar el proceso de estrategias de cooperacin (CAS) con las Sociedades Nacionales en la actual ronda de las estrategias de cooperacin de la nueva generacin.7 De este modo, el proceso de autoevaluacin sustenta el proceso CAS. En su planificacin de actividades con las Sociedades Nacionales, los departamentos regionales y las Delegaciones Regionales/en el pas, por su parte, debern tener en cuenta las reas prioritarias identificadas en consonancia con la Estrategia 2010 en los informes de autoevaluacin. Las prioridades acordadas se incorporarn en el proceso de llamamiento anual de la Federacin a nivel regional y nacional. La responsabilidad de llevar a la prctica el plan de accin elaborado tras la autoevaluacin corresponde, en ltimo trmino, a la Sociedad Nacional, con acceso reservado para los departamentos de la Secretara y delegaciones. Si bien deber alentarse a las Sociedades Nacionales a intercambiar sus planes de accin con las Sociedades hermanas/participantes, el CICR y asociados externos a la Cruz Roja para movilizar apoyo tcnico y financiero, es necesario obtener el consentimiento expreso de la Sociedad Nacional para difundir los planes fuera de la Secretara.8
C.
D.
E.
6 7 8
Pueden solicitarse ejemplares al Departamento de Desarrollo Organizacional. Para ms informacin sobre el proceso CAS, consulte el sitio Web de las estrategias de cooperacin: http://quickplace.ifrc.org/cas. Los asociados externos interesados en examinar el informe se debern poner en contacto directamente con la Sociedad Nacional.
5-20
Mdulo 5: Evaluacin
Octubre de 2002
ENSEANZAS EXTRADAS DEL MDULO 5 CARACTERSTICAS DE LA EVALUACIN

LAS EVALUACIONES DEBEN SER TILES Y DEBEN UTILIZARSE LAS EVALUACIONES DEBEN SER JUSTAS, IMPARCIALES E INDEPENDIENTES LAS EVALACUIONES DEBEN SER EXACTAS LAS EVALUACIONES DEBEN INCLUIR EL PUNTO DE VISTA DE LOS BENEFICIARIOS LOS CRITERIOS DE EVALUACIN SON CONSTANTES, AUNQUE EL ENFOQUE DE LA EVALUACIN PUEDE CAMBIAR
5-21
Mdulo 6: Etapas en la planificacin y gestin de una evaluacin
Octubre de 2002
6.
Etapas en la planificacin y gestin de una evaluacin
Las evaluaciones en las que participan asesores externos pueden estar gestionadas por las Sociedades Nacionales o la Divisin de Seguimiento y Evaluacin. Las normas de actuacin reflejadas en el marco para el seguimiento y evaluacin proporcionan ms informacin acerca de quin gestiona qu tipo de evaluacin. Tanto cuando es la Sociedad Nacional la encargada de hacerlo, como cuando lo es la Divisin de Seguimiento y Evaluacin, el ciclo de la evaluacin, expuesto en la siguiente tabla, es muy similar. Dependiendo de quin se encuentre en el asiento del conductor, puede variar quin asume la responsabilidad en relacin con las diferentes tareas.
Tabla 6.1: El ciclo de la evaluacin: Nueve etapas en la planificacin y gestin de una evaluacin
Etapas y subetapas de la evaluacin
Quin es responsable Evaluaciones gestionadas por la Sociedad Nacional Evaluaciones gestionadas por la Divisin de Seguimiento y Evaluacin Responsable de evaluacin
Aclarar/acordar la necesidad de realizar una evaluacin Determinar el propsito de la evaluacin: Por qu es necesaria? Consultar con las partes pertinentes de la Federacin y de las Sociedades Nacionales (p. ej. Divisin de Seguimiento y Evaluacin, oficinas regionales) y con las partes interesadas que corresponda. Determinar las cuestiones que van a evaluarse y, si se requiriera, preparar un borrador (slo Divisin de Seguimiento y Evaluacin). Determinar fuentes de financiacin y solicitar las aprobaciones necesarias. Planificacin de la evaluacin Elaborar un calendario para el proceso de evaluacin en su conjunto. Preparacin de los trminos de referencia Revisar las fuentes de informacin (p. ej. archivos y documentos de proyectos, Sistema de Memoria de Evaluacin). Consultar a las partes interesadas pertinentes y determinar alcance, cuestiones claves y plazos. Preparar los trminos de referencia y enviarlos a las principales partes interesadas a fin de conocer su opinin al respecto. Elaborar el calendario para la evaluacin (en caso de no haberlo hecho anteriormente). Seleccin del equipo de evaluacin Estudiar posibles candidatos y elaborar una lista de los mismos. Seleccionar los miembros del equipo de evaluacin. Organizar contrato(s) para los miembros del equipo de evaluacin. Estudio terico (previo a la misin) Enviar al equipo de evaluacin material pertinente de referencia. Revisin, por parte del equipo de evaluacin, de los documentos de referencia. Envo de comentarios acerca de los trminos de referencia y elaboracin de un borrador del mtodo de evaluacin por parte del jefe del equipo de evaluacin. Ejecucin de la misin de evaluacin Previamente a la llegada del equipo de evaluacin al pas: Organizar reuniones y taller de informacin de retorno. Organizar, provisionalmente, visitas al terreno y consultas con los beneficiarios. Informar a las partes interesadas acerca de detalles pertinentes relativos a la prxima evaluacin. Preparar archivos y documentacin para el equipo de evaluacin. Asegurar disponibilidad del informe actualizado de autoevaluacin.
Sociedad Nacional
Sociedad Nacional Sociedad Nacional
Responsable de evaluacin Responsable de evaluacin
Sociedad Nacional
Responsable de evaluacin Responsable de evaluacin y equipo de evaluacin
Sociedad Nacional y equipo de evaluacin
Sociedad Nacional
Sociedad Nacional
6-1
Octubre de 2002
Etapas y subetapas de la evaluacin
Quin es responsable Evaluaciones gestionadas por la Sociedad Nacional Evaluaciones gestionadas por la Divisin de Seguimiento y Evaluacin Jefe del equipo de evaluacin y equipo de evaluacin
Durante la misin de evaluacin: Comenzar con la celebracin de un taller de medio da de duracin en el que participen la Sociedad Nacional y otras partes interesadas y cuyo fin sea aclarar y, si as se requiriera, modificar los trminos de referencia, discutir la metodologa, y examinar y acordar/modificar el itinerario. Asignar las responsabilidades en el equipo de evaluacin. Recopilar y analizar informacin. Consultar a las partes interesadas. Taller(es) de informacin de retorno. Preparar y presentar un informe de misin. Preparacin del informe de evaluacin Elaborar hallazgos, conclusiones, recomendaciones y enseanzas extradas. Preparar el informe de evaluacin (incluido resumen). Preparar el informe resumido de evaluacin (mximo de 5.000 palabras). Revisin del informe de evaluacin Revisar el borrador de informe de evaluacin y hacer comentarios al respecto para el equipo de evaluacin. Revisar y comentar el borrador de informe resumido. Aprobar borradores definitivos y remunerar al equipo. Difusin de la evaluacin Difundir el informe completo o resumido a las partes interesadas. Poner en prctica las recomendaciones de la evaluacin y/o realizar un seguimiento de las mismas. Difundir enseanzas importantes (p. ej. preparar una pgina Web con enseanzas o transmitir las mismas en ejercicios y en debates pertinentes sobre poltica dentro de la organizacin).
Jefe del equipo de evaluacin y equipo de evaluacin
Jefe del equipo de evaluacin y equipo de evaluacin Sociedad Nacional con insumos del gobierno y de asociados internacionales Sociedad Nacional
Jefe del equipo de evaluacin y equipo de evaluacin Responsable de evaluacin con insumos de la Sociedad Nacional, oficina regional y las unidades tcnicas pertinentes de la sede central. Responsable de evaluacin
6-2
Octubre de 2002
6.1
Etapa 1 Aclaracin/acuerdo sobre la necesidad de realizar una evaluacin
6.1.1 Propsito de la evaluacin

Normalmente, las evaluaciones debern haberse programado y presupuestado durante el diseo del proyecto y debern estar reflejadas en el plan de trabajo para el seguimiento y evaluacin. No obstante, es importante volver a examinar la lgica subyacente a la evaluacin, a fin de aclarar por qu se realiza, las cuestiones que se abordarn y si el costo estar justificado. Tambin puede ocurrir que los rganos de gestin programen una evaluacin con carcter especial o a solicitud de la Junta de Gobierno cuando existan motivos para pensar que resultara til y servira para rendir cuentas.
6.1.2 Consultas
Es esencial consultar al principio a las partes interesadas y discutir la funcin que desempearn en la evaluacin. Su participacin puede adquirir diferentes formas: comentario de los trminos de referencia, participacin como miembros de una misin, participacin en la recopilacin y anlisis de datos, o revisin y comentario del informe de evaluacin. Las partes interesadas relacionadas con la Federacin y las Sociedades Nacionales pueden proceder de uno de los grupos expuestos a continuacin: Personal a tiempo completo o contratado temporalmente de la Federacin y las Sociedades Nacionales. Asociados del mbito del desarrollo en el nivel nacional, tales como ministerios, organismos de las Naciones Unidas, donantes multilaterales y bilaterales, y otras ONG presentes en el pas. Asociados institucionales implicados en actividades de la Federacin y de las Sociedades Nacionales. Participantes y beneficiarios de actividades de la Federacin y de Sociedades Nacionales. En algunas evaluaciones puede resultar til establecer un pequeo grupo de trabajo de partes interesadas claves de las reflejadas anteriormente. La funcin del grupo de trabajo consistira en asistir en la preparacin de los trminos de referencia y en brindar apoyo a la misin de evaluacin. La experiencia ha enseado que un enfoque de este tipo favorece enormemente que las partes interesadas se identifiquen con los hallazgos de la evaluacin, incrementndose as la probabilidad de que se acte de acuerdo con las recomendaciones.
6.1.3 Cuestiones a evaluar

Se deber revisar la documentacin disponible (documentos relacionados con el diseo, informes de seguimiento, archivos de correspondencia, etc.), tanto como investigacin de referencia para la preparacin de los trminos de referencia como para determinar qu documentos debern proporcionarse al equipo de evaluacin para la realizacin del estudio terico. Este es el punto en el cual usted descubrir si su sistema de archivos es eficaz es vital disponer de pruebas documentales claras a fin de poder realizar un seguimiento de los acontecimientos que hayan tenido lugar durante el diseo y ejecucin de la operacin. Puede resultar til preparar un borrador como base de discusin tanto dentro de la Federacin y las Sociedades Nacionales como con las partes interesadas, para facilitar la toma de la decisin de seguir o no adelante. Los aspectos que podran incluirse en el borrador son: Por qu es necesaria la evaluacin (p. ej., es obligatoria?) y quin la solicita (la Sociedad Nacional o la Divisin de Seguimiento y Evaluacin)? Quines son las partes interesadas (p. ej. organismo asociado, gobierno, donantes)?
6-3
Octubre de 2002
Plazos propuestos para la evaluacin. Alcance de la evaluacin y cuestiones claves a examinar. Estrategia de evaluacin y mtodos que se van a aplicar. Quin realizar la evaluacin?
La preparacin de un borrador es una tarea habitual en las evaluaciones llevadas a cabo por la Divisin de Seguimiento y Evaluacin. El borrador difiere de los trminos de referencia que se elaborarn finalmente en que su principal propsito es establecer, en las primeras fases, la lgica subyacente a la planificacin y realizacin de la evaluacin. Tambin puede servir como documento de negociacin inicial entre la Divisin de Seguimiento y Evaluacin y las Sociedades Nacionales, exponiendo expectativas y requisitos.
6.1.4 Fuentes de financiacin

Otro aspecto importante consiste en aclarar de qu fondos se dispone para llevar a cabo la evaluacin, si son necesarios fondos adicionales y de dnde podran obtenerse. Esto destaca la necesidad de, en el caso ideal, programar a tiempo la evaluacin y asignar, en el documento de aprobacin de la operacin, un destino fijo a los fondos en la evaluacin.
6-4
Octubre de 2002
6.2
Etapa 2 Planificacin de la evaluacin
6.2.1 Planificacin de la evaluacin

Una vez tomada la decisin de que se realizar la evaluacin, es importante que el jefe de evaluacin prepare un calendario para su ejecucin. Es frecuente que se subestime el tiempo necesario para preparar y llevar a cabo una evaluacin. Deber disponerse de tiempo suficiente para prepararla y para asegurar la disponibilidad de asesores apropiados. En este punto debern elaborarse un calendario de evaluacin y una lista de verificacin para la planificacin provisionales, que se modificarn y actualizarn a lo largo del ejercicio de evaluacin. Tabla 6.2: Calendario de evaluacin y lista de verificacin
Tarea de evaluacin Trminos de referencia elaborados Trminos de referencia revisados y consultas a las partes interesadas finalizadas Equipo seleccionado Equipo contratado Material de referencia recopilado y enviado a la Divisin de Seguimiento y Evaluacin o al equipo de evaluacin Estudio terico elaborado Mtodo de evaluacin esbozado Borrador de itinerario propuesto y acordado Sesin de informacin en sede central/oficina regional organizada y celebrada Misin en el pas Sesin inicial de informacin preparada y organizada Taller de informacin de retorno preparado y organizado Informe de misin presentado Borrador de informe recibido (incluido resumen) Borrador de informe revisado y comentado Comentarios incorporados e informe concluido Matriz de recomendaciones preparada y negociada Informe difundido Cundo? (introducir fechas reales) Lo antes posible pero durante los 3 meses anteriores a la misin Vase ms arriba Durante cunto tiempo? 1 semana 2 semanas Quin? Jefe de evaluacin Partes interesadas claves (p. ej. rganos de gestin de las Sociedades Nacionales, gobierno, asociados) Jefe de evaluacin Responsable de Recursos Humanos Jefe de evaluacin y Sociedad Nacional Equipo de evaluacin Jefe del equipo de evaluacin Sociedad Nacional Jefe de evaluacin de la Divisin de Seguimiento y Evaluacin Equipo de evaluacin, Sociedad Nacional Equipo de evaluacin, Sociedad Nacional Equipo de evaluacin y otros Equipo de evaluacin, Sociedad Nacional, gobierno Jefe del equipo de evaluacin y el propio equipo Jefe de evaluacin y partes interesadas claves pertinentes Jefe del equipo Jefe de evaluacin junto con unidades implicadas Jefe de evaluacin Realizado ?
Vase ms arriba Lo antes posible pero durante las 3 semanas anteriores a la misin Si no se ha realizado durante la elaboracin de los trminos de referencia, se realiza en este momento Aproximadamente 1 mes antes de la misin Al menos 2 semanas antes de la sesin de informacin Tras acordar el mtodo con el jefe del equipo de evaluacin Organizacin con 10 das de antelacin. De forma ideal jueves/viernes antes del inicio de la misin en el pas. Segn lo acordado Preparacin 2 semanas antes de su celebracin (primer da de trabajo) Preparacin de 2-3 semanas antes de su celebracin (finales de la ltima semana) ltimo da 3 semanas tras partida del equipo de evaluacin
Hasta 4 semanas 2-3 semanas 1 semana
3-5 das no interesa 1 semana (depende de logstica) 1-2 das
Segn trminos de referencia da 1 da Depende de si una o varias reuniones 10 das para el jefe del equipo, 5 das por miembro de equipo 2 semanas depende
Tras aprobacin del borrador de informe
6-5
Octubre de 2002
6.3
Etapa 3 Preparacin de los trminos de referencia de la evaluacin
Los trminos de referencia reflejan el plan de trabajo para llevar a cabo una evaluacin o el alcance de la misma. Disponer de buenos trminos de referencia es esencial para que el proceso de evaluacin sea exitoso y se oriente a la consecucin de resultados. De forma ideal, los trminos de referencia no slo sirven para orientar con claridad al equipo de evaluacin, sino que tambin destacan las expectativas de diferentes partes interesadas en cuanto a los resultados que se espera obtener de la evaluacin. Los siguientes son importantes principios a tomar en consideracin en relacin con los trminos de referencia:
Los trminos de referencia son negociables Una vez que se rene el equipo de evaluacin (generalmente durante la sesin inicial de informacin), los trminos de referencia deben discutirse detalladamente a fin de asegurar que los responsables de gestin de la evaluacin y el equipo de evaluacin entiendan de una misma manera el propsito de la evaluacin as como la forma de ejecutarla y los resultados que se prevn obtener. En este punto deben discutirse todas las cuestiones a evaluar que el equipo considere no poder abarcar, y deber tomarse una decisin al respecto. Tras esta discusin, los trminos de referencia podrn modificarse y sern aprobados como trminos de referencia definitivos. La cuestin de que los trminos de referencia sean negociables adquiere particular importancia en el caso de operaciones de emergencia y en algunas de desarrollo. La experiencia ensea que algunas de las cuestiones que surgen con posterioridad no son aparentes al principio del proceso. Por lo tanto, podra resultar prctico considerar la realizacin de algn tipo de estudio preliminar para que el organismo ejecutor lleve a cabo su propia autoevaluacin rpida, o para que el jefe de evaluacin y el jefe del equipo de evaluacin colaboren con la Sociedad Nacional en la determinacin de cuestiones claves o en la incorporacin de tiempo y recursos para posibilitar que el equipo de evaluacin realice una visita preliminar para obtener datos bsicos y determinar cuestiones claves. Los hallazgos obtenidos en el estudio preliminar serviran entonces de informacin en la etapa de la evaluacin en la que se realiza el estudio terico y posibilitaran modificar los trminos de referencia de forma correspondiente antes de comenzar la fase principal de estudio sobre el terreno.
Los trminos de referencia deben discutirse con todas las partes interesadas Durante la elaboracin de los trminos de referencia y la determinacin de las cuestiones claves debern considerarse los puntos de vista y expectativas de las partes interesadas claves. El borrador de trminos de referencia deber intercambiarse y discutirse con los asociados ejecutores y donantes. De forma ideal, tambin deber consultarse a representantes de los beneficiarios en cuanto a las cuestiones claves a evaluar. Las consultas podran organizarlas la Federacin y las Sociedades Nacionales.
Como en todas las evaluaciones, se deber informar con antelacin a los informantes claves acerca de la llegada inminente del equipo de evaluacin, los objetivos y alcance de la evaluacin, y las probables necesidades de informacin. Se deber avisar con antelacin suficiente para que los organismos ejecutores puedan compilar archivos y documentacin pertinentes antes de la llegada del equipo de evaluacin. Los trminos de referencia de una evaluacin deben incluir los elementos reflejados en la tabla 6.3. En el anexo 1 se incluye un ejemplo de trminos de referencia. Pueden solicitarse otros ejemplos de trminos de referencia a la Divisin de Seguimiento y Evaluacin.
6-6
Octubre de 2002
Tabla 6.3: Estructura general de los trminos de referencia para una evaluacin
Estructura Antecedentes del proyecto Contenido Antecedentes de la evaluacin, explicando su origen y propsito en trminos generales. Descripcin bien fundada de los antecedentes del proyecto, operacin o tema a evaluar. Estado actual de la ejecucin. Declaracin clara sobre los objetivos y alcance de la evaluacin. Cuestiones claves que abarcar la evaluacin. Mtodo(s) de evaluacin a utilizar. Identificacin de informes existentes e informacin sobre el rendimiento. Caractersticas y composicin de expertos necesarios. Borrador del itinerario y requisitos de logstica Orientacin relativa al informe previsto.
Estado del proyecto Propsito y alcance de la evaluacin Cuestiones claves Mtodo Composicin del equipo Calendario y logstica Informe de evaluacin
Revisin de todas las fuentes de informacin disponibles Antes de esbozar los trminos de referencia, se considera buena prctica revisar toda la documentacin disponible: documentos del proyecto, informes de situacin, informes de evaluacin. La Active Learning Network for Accountability and Performance (ALNAP) proporciona informacin para realizar metaevaluaciones, y la mayora de los donantes presenta sus evaluaciones en Internet. Esto le posibilitar examinar informes de evaluaciones previas llevadas a cabo en el pas, as como buscar experiencias y cuestiones claves de evaluacin pertinentes de evaluaciones similares realizadas en otros lugares. Consultar a las partes interesadas Para planificar una evaluacin se requiere poseer facilidad para negociar, tanto como buenos conocimientos acerca de cmo disear la misma. En las primeras fases de la planificacin de una evaluacin, el jefe de evaluacin debe determinar las partes interesadas claves para la evaluacin y cules de ellas debern consultarse para fijar los objetivos de la evaluacin. En las consultas a las partes interesadas podran incluirse, p. ej., los responsables de formulacin de polticas del gobierno, personal de los asociados, principales asociados ejecutores, empleados en el nivel de distrito, donantes, organismos de las Naciones Unidas, representantes de beneficiarios, etc. Las partes interesadas deben estar convencidas de la utilidad de la evaluacin y de la lgica subyacente a la misma. Consultndoles en relacin con los objetivos y las cuestiones claves de la evaluacin, es posible lograr que se identifiquen con el proceso de evaluacin, requisito fundamental para que posteriormente acepten los hallazgos y recomendaciones derivados de la misma. Determinacin de los objetivos y alcance de la evaluacin Dadas la complejidad e interconexin inherentes a las intervenciones humanitarias, existe el peligro de que en el establecimiento de los objetivos de una evaluacin (especialmente en el caso de las evaluaciones llevadas a cabo en colaboracin) se elabore una lista de compra de los mismos, sin considerar ningn tipo de prioridad. Para evitarlo, es importante facilitar el tiempo necesario para que los diferentes actores implicados debatan y negocien los objetivos de la evaluacin. La posibilidad de negociar los trminos de referencia durante las primeras etapas de la evaluacin debera favorecer adicionalmente la determinacin de los objetivos. Los trminos de referencia debern brindar orientacin para centrar la evaluacin y para establecer prioridades en los diferentes mbitos y/o perodos de examen. P. ej., en la evaluacin de una
6-7
Octubre de 2002
operacin de desarrollo puede resultar conveniente especificar que la evaluacin deber centrarse inicialmente en la estrategia de recuperacin, determinando cmo fue formulada esta estrategia, cmo ha ido evolucionando durante la vida de la operacin y su pertinencia en relacin con la situacin actual. En el proceso de decidir el alcance de la evaluacin de una operacin de emergencia, el jefe de evaluacin se ve enfrentado a diferentes posibilidades: Deber centrarse la evaluacin nicamente en la intervencin de urgencia o deber considerar tambin las actividades realizadas o que deberan haberse realizado antes de presentarse la emergencia (p. ej. planificacin previa al desastre)? En el caso de una emergencia prolongada, deber considerar la evaluacin toda la duracin de la emergencia o nicamente los perodos ms recientes o graves de la misma? Preparacin de las cuestiones claves El elemento ms importante de los trminos de referencia, y tal vez el ms problemtico de elaborar, es el captulo en el que se presentan las cuestiones claves a examinar. En esencia, es un ejercicio de formulacin de preguntas de evaluacin frente a los criterios de evaluacin aplicados. Tabla 6.4: Ejemplo de cuestiones a evaluar y preguntas al respecto
Estrategia Fue la estrategia adoptada la ms pertinente y apropiada para hacer frente a las necesidades identificadas? Se reflejaron adecuadamente las cuestiones de gnero en la estrategia? Se consideraron otros posibles enfoques para alcanzar los objetivos? Fue la estrategia coherente con las responsabilidades incluidas en el mandato fundamental de la Federacin y las Sociedades Nacionales y con las polticas de las mismas? Qu relacin existi entre la ayuda de emergencia y otro tipo de asistencia prestada? Estuvo bien preparada la estrategia y orient adecuadamente a los responsables de ejecucin? (Para el caso de operaciones de desarrollo) Estim la estrategia con exactitud las oportunidades para introducir actividades de recuperacin? Se dise una estrategia de salida? Se incluyeron otros organismos en el anlisis del problema y en el diseo de los planes de intervencin? Fueron incluidos adecuadamente los beneficiarios (hombres y mujeres) en el proceso de preparacin? Se determinaron adecuadamente desde el principio las restricciones para la ejecucin? Se ha revisado o modificado peridicamente la estrategia durante la vida de la operacin a fin de mantener su pertinencia frente a las circunstancias cambiantes? Diseo Fue lgico y coherente el diseo de la operacin? Proporcion una buena orientacin para la ejecucin y sirvi de base fundada para la revisin y evaluacin? Se establecieron los objetivos en los niveles correctos (es decir, conforme con las definiciones de la matriz de planificacin) y vnculos fundados medios-fines entre insumos, actividades, producto, propsito(s) y meta? Fue factible desde el punto de vista tcnico el diseo de la operacin? Se reflejaron adecuadamente los asuntos de gnero? Estuvieron fundadas las hiptesis en el momento de su especificacin y se elaboraron planes de emergencia relativos a los riesgos conocidos? Qu factores externos no se consideraron durante el diseo? Ha cambiado el contexto de la operacin desde su inicio? En caso afirmativo, se ha adaptado la operacin eficazmente? Logro de objetivos Son apropiados los objetivos? Se ajustan a la realidad? En qu grado se ha alcanzado el producto planificado en cuanto a cantidad, calidad, equidad y oportunidad? Para el caso de operaciones de emergencia y de desarrollo: Han recibido los beneficiarios seleccionados las raciones planificadas? Se han seleccionado los beneficiarios correctos? Utilizaron los beneficiarios la ayuda de la forma prevista?
6-8
Octubre de 2002
Para operaciones de recuperacin y actividades de desarrollo: Mantuvieron o mejoraron los beneficiarios sus bases de subsistencia? Qu activos se han creado/mantenido, y a quin han beneficiado y en qu manera? Cules fueron las actividades de recuperacin ms exitosas? Y las menos exitosas? Con qu eficacia se llev a cabo la transicin de las actividades de socorro a las de recuperacin? En qu grado ha contribuido la ayuda a promover el reasentamiento y la autosuficiencia alimentaria (donde proceda)? Ha alcanzado el producto a los ms pobres? A las mujeres? A grupos vulnerables? En qu grado? Qu proporcin de mujeres y grupos vulnerables se ha beneficiado directamente del producto? Se utilizaron los recursos con eficacia y eficiencia? Justifican los resultados los costos? Qu hechos demuestran que se han alcanzado el/los propsito(s) y meta indicados de la operacin? Hasta qu punto han cumplido la Federacin y las Sociedades Nacionales las responsabilidades incluidas en su mandato principal? En el caso de tratarse de una evaluacin intermedia qu medidas adicionales podran ser necesarias para incrementar las posibilidades de alcanzar el propsito? Factores a considerar en la eficacia y eficiencia de operaciones de emergencia y de desarrollo Registro/verificacin Se recopilaron datos fiables y desglosados relativos a las poblaciones/grupos beneficiarios? Se mantuvieron en buen estado los datos? Estimaciones Cmo se estim la situacin inicial? Cmo se estimaron la inseguridad alimentaria, vulnerabilidad y estado nutricional? Se analizaron de forma adecuada las funciones desempeadas por hombres y mujeres? Se han realizado nuevas estimaciones peridicas? Se han estimado las necesidades de las comunidades anfitrionas? Distribucin definitiva Fue eficiente y equitativo el sistema de distribucin? Fue transparente? Se dispuso de un procedimiento para presentar reclamaciones? Se abordaron bien los fallos en el sistema de distribucin? Jugaron un papel director las mujeres en los comits locales de toma de decisiones relativas a la gestin de alimentos? En caso afirmativo, hasta qu punto ha provocado este hecho un cambio en cuanto a la aceptacin de mujeres en funciones directoras de toma de decisiones? Seleccin de beneficiarios Cmo se determinaron los grupos/mbitos de beneficiarios? Se consideraron las necesidades especiales de determinados grupos/mbitos? Se abordaron las necesidades de la comunidad anfitriona? Fueron adecuados los objetivos seleccionados? Se tomaron medidas para revisar y actualizar la estrategia de seleccin? Participaron hombres y mujeres beneficiarios en la negociacin relativa a la condicin de beneficiario? Cul fue la proporcin de hombres y mujeres beneficiarios participantes en comida por trabajo? Idoneidad de las raciones Fueron adecuadas y aceptables (cuantitativa y cualitativamente) la racin y cesta alimentarias? Fueron afines a las bases de subsistencia y a las estrategias de hombres y mujeres para abordar problemas? Estuvieron ajustados a la realidad los objetivos nutricionales? En qu grado se alcanzaron? Qu efecto/consecuencia en cuanto a la nutricin ha tenido la ayuda prestada por la Federacin y las Sociedades Nacionales a los beneficiarios? Se han producido reducciones en la racin o interrupciones en la ayuda alimentaria? En caso afirmativo, a razn de qu? Fue la ayuda alimentaria aceptable y apropiada desde el punto de vista cultural? Factores a considerar en la eficacia y eficiencia de TODAS las operaciones Ejecucin Se produjeron retrasos significativos en la aprobacin? Cules fueron las causas? Estuvieron adaptados a la realidad el calendario de ejecucin y las medidas de gestin (debern incluir gestin financiera y sistemas de elaboracin de presupuestos)? Se siguieron los planes? En caso negativo, por qu no? Se cambiaron los objetivos durante la ejecucin? Por qu? A razn de qu anlisis o qu acontecimientos? Se produjeron retrasos en la ejecucin? Cmo se trataron los mismos? Qu efecto tuvieron esos retrasos? Se gestionaron bien los riesgos y problemas?
6-9
Octubre de 2002
Seguimiento y notificacin Se recopilaron datos de referencia y se determinaron indicadores apropiados al principio para medir los progresos y resultados? Funcionaron los sistemas de seguimiento incluido el grado en que se incorporaron consideraciones de gnero en las medidas de seguimiento? Se recopilaron datos desglosados por sexo de acuerdo con la poltica de la Federacin y de las Sociedades Nacionales? Qu tipo de notificacin se utilizar para la operacin y con qu frecuencia se notificar, incluidos los diagnsticos participativos peridicos? Se entregaron puntualmente los informes? Estaban completos? Qu problemas surgieron al respecto? Se analiza y utiliza la informacin para tomar decisiones concernientes a la gestin de la operacin? (Para operaciones de desarrollo) Se han establecido criterios para sealar cundo pasar de las actividades de socorro a actividades de recuperacin y de las actividades de recuperacin a las de desarrollo? En caso afirmativo, se estn aplicando esos criterios eficazmente? Coordinacin, asociaciones y participacin de beneficiarios Fueron compatibles los objetivos y actividades con las polticas y programas del gobierno o gobiernos pertinentes? Son solidarios los asociados de la Federacin y las Sociedades Nacionales? Qu mecanismos se prepararon para coordinar las actividades con gobiernos, donantes, organismos de las Naciones Unidas, ONG, etc. y cmo fueron de eficaces? Se distribuyeron exitosamente entre los asociados las responsabilidades en los diferentes sectores? Cumplieron los asociados ejecutores sus obligaciones contractuales? Cmo se determin su capacidad? Qu capacitacin de los asociados ha tenido lugar? Ha existido una tendencia de acercamiento a utilizar asociados ejecutores locales o ms bien de alejamiento al respecto? Qu capacidad se ha dejado atrs? En qu forma han participado los beneficiarios en el diseo, ejecucin y seguimiento de la operacin? Fue adecuada la organizacin al respecto? Qu efecto tuvo la (no) participacin de los beneficiarios? Promovi de alguna forma la autosuficiencia de hombres y mujeres? Relacin con otros programas Son compatibles los objetivos y actividades de la operacin/programa con los de otras operaciones ejecutadas actualmente por la Sociedad Nacional? Son complementarios? Gestin, recursos humanos y capacitacin Desempearon las Sociedades Nacionales y las unidades especializadas eficaz y eficientemente sus funciones? Posea el personal la experiencia y conocimientos necesarios para llevar a cabo las actividades previstas? Existen deficiencias de personal o conocimientos? Qu medidas se han tomado al respecto? Se han seguido procedimientos financieros y administrativos correctos? Existe un equilibrio entre el nmero de hombres y mujeres que forman parte del personal de la operacin (tanto en la Federacin como en las Sociedades Nacionales)? Se ha impartido formacin al personal acerca de cuestiones de gnero? Aplica el personal en su trabajo los conocimientos adquiridos? Suministros pendientes de ser entregados a los almacenes, control de artculos de primera necesidad, logstica Se han gestionado eficientemente los suministros pendientes de ser entregados a los almacenes? Suministro y distribucin de artculos de primera necesidad - Qu dificultades y prdidas se sufrieron? Cmo se abordaron? Fue adecuada la planificacin relativa a la logstica, transporte, almacenamiento, empleo de personal y auditora? Cules fueron los principales problemas para el funcionamiento sin contratiempos de la operacin/programa? Para operaciones: Cul ha sido la importancia general de la economa de guerra y la contribucin relativa a la misma por desviacin de asistencia humanitaria o por el establecimiento de impuestos sobre la misma? Qu medidas han tomado la Federacin, las Sociedades Nacionales y los asociados para evitar o minimizar estos actos a travs de la seleccin de canales de distribucin particulares, de distribuciones supervisadas y del seguimiento de la utilizacin final de los recursos? Seguridad Se han adoptado y observado medidas suficientes y apropiadas a fin de minimizar el riesgo al que se enfrenta el personal de la Federacin, las Sociedades Nacionales y los asociados ejecutores implicados en la ejecucin de la operacin o programa? Se han adoptado medidas, en caso necesario, para proteger a los hombres, mujeres y nios afectados que participan en la operacin? Existen problemas significativos de seguridad para el funcionamiento sin contratiempos de la operacin/programa? Se consider asunto altamente prioritario la seguridad de los beneficiarios?
6-10
Octubre de 2002
Presupuesto y recursos Costos de la operacin - Cules fueron los gastos reales frente a los planificados para la operacin en su conjunto y para los principales apartados de costos? Fue apropiado el presupuesto en relacin con los objetivos/actividades? Qu factores afectaron a las diferentes partidas del presupuesto? Transporte interno, almacenaje y manejo - Cmo se financiaron? Fueron adecuadas las tasas calculadas? Qu revisiones hubo que realizar? En qu grado se han satisfecho los requisitos de recursos para la operacin? Cmo ha gestionado la Sociedad Nacional los dficit? Con qu previsin y periodicidad se han suministrado los recursos a la operacin/programa? Monetizacin - Estuvo justificada? Fueron justos los precios? (Para operaciones de desarrollo) Ha resultado la transformacin en compromisos financieros a ms largo plazo (ms de un ao) hacia la operacin? Con qu xito ha dispuesto la operacin/programa de insumos no alimenticios? Cules han sido, en caso de existir, las restricciones? Normas y calidad Qu sistemas se establecieron para garantizar la calidad del programa, incluido el establecimiento de normas tcnicas apropiadas? Se han considerado las normas internacionales y el cdigo de conducta pertinentes? Consecuencias/impacto y sostenibilidad/conexin Qu cambios ha provocado la operacin en la vida de los beneficiarios (mejora de bases de subsistencia, etc.)? Quin se benefici exactamente? Qu habra ocurrido si no se hubiese prestado asistencia? Cmo valoran los beneficiarios y otras partes interesadas la operacin? Qu impacto tuvo la operacin en la seguridad alimentaria y la autosuficiencia de los hogares? (Operaciones de emergencia y de socorro) Cul fue el impacto en las comunidades anfitrionas? Qu consecuencias inesperadas (positivas y negativas) se han producido? Se han abordado adecuadamente los problemas medioambientales en el marco de la operacin/programa? Qu impacto, intencionado o no, ha tenido la operacin sobre el medio ambiente? Qu impacto han tenido los campamentos sobre el medio ambiente (cuando corresponda)? Qu efecto han tenido las raciones y los requisitos para cocinar? Qu medidas se adoptaron para reducir el impacto negativo sobre el medio ambiente y restaurar el hbitat natural? Qu duracin se prev para los beneficios? Cules son las perspectivas de sostenibilidad para las actividades y producto? Qu factores es probable que socaven la sostenibilidad de los beneficios? Es probable que los beneficios sostenibles superen los costos? Qu costos debern asumir el gobierno, asociados ejecutores, beneficiarios y otras partes interesadas a fin de que se mantengan los beneficios? Se ha aprovechado la ayuda alimentaria como impulso para obtener recursos nacionales e internacionales complementarios y para atraer la atencin sobre la necesidad de mejorar la condicin de la mujer? Compromiso hacia las mujeres En qu grado se satisfizo la poltica de gnero de la Federacin y de las Sociedades Nacionales en cuanto a: i) acceso de las mujeres a la ayuda, ii) acceso de las mujeres a las estructuras de poder y a la toma de decisiones, iii) acceso de las mujeres a recursos, empleo, mercados y comercio? Qu cambios debern efectuarse en una etapa futura para asegurar mayor compatibilidad con estos compromisos? Qu tipo de capacitacin en materia de gnero se ha realizado? Para quin? Cules han sido los cambios, si es que se han producido, resultantes de la capacitacin? Qu esfuerzos adecuados se han realizado para incorporar las consideraciones de gnero y sensibilizar al respecto?
Cules son los mtodos habituales a utilizar en la evaluacin? Los trminos de referencia debern incluir un breve esbozo del mtodo propuesto para realizar la evaluacin. El jefe del equipo y el propio equipo lo debern perfeccionar, desarrollar y discutir antes del inicio de la misin.
6-11
Octubre de 2002
Esencialmente son cinco los modos de obtener informacin para realizar la evaluacin: 1. recopilando, tabulando y revisando datos ya disponibles; 2. preguntando a personas a travs de entrevistas; grupos temticos; 3. facilitando una reflexin crtica acerca del rendimiento y los resultados por parte de los ejecutores y beneficiarios; 4. llevando a cabo estudios por muestreo; 5. observando personas y aspectos a travs de visitas al terreno. En la tabla 6.5 se detallan los mtodos, incluidos comentarios sobre la aplicabilidad de cada uno de ellos. Los mtodos pueden aplicarse de forma puramente inquisitiva (es decir, no participativa), de forma participativa, o como combinacin de las dos. Los mtodos seleccionados debern ajustarse siempre a los objetivos y centro de atencin de la evaluacin, derivarse de las preguntas planteadas y corresponderse con el propsito y utilizacin de los datos. El enfoque convencional de evaluacin aplicado en la Federacin y en las Sociedades Nacionales ha subestimado la necesidad de incorporar las opiniones de las partes interesadas en los hallazgos de la evaluacin y, en particular, las percepciones de los beneficiarios. Las entrevistas a una muestra de beneficiarios o de la poblacin afectada pueden constituir una de las ms ricas fuentes de informacin para la evaluacin y es absolutamente obligatorio realizarlas. Adems, pueden obtenerse informacin y puntos de vista tiles a partir de los denominados grupos de comparacin, es decir, hombres y mujeres que no han participado en la operacin de la Federacin y/o de las Sociedades Nacionales pero que se enfrentan a problemas similares en entornos tambin similares. Aunque el proceso de evaluacin seguir siendo inquisitivo por naturaleza, especialmente cuando se pretenda atender consideraciones de rendicin de cuentas, se debern conceder a los beneficiarios y partes interesadas ms oportunidades de contribuir al proceso y de transmitir sus opiniones. Es particularmente importante organizar un debate con los beneficiarios acerca de cmo perciben la operacin y de cmo ha afectado la misma a su vida, y velar por que participen en la discusin y validacin de hallazgos. Se puede, as, comprobar la realidad, orientar la evaluacin hacia los cambios reales (planificados o no) que han resultado de la operacin, y posibilitar a los beneficiarios y otras partes interesadas entender mejor la funcin y propsito de la evaluacin. En situaciones de conflictos recientes o en curso, el equipo debe velar por garantizar el tratamiento confidencial de la informacin obtenida de las personas entrevistadas.
6-12
Octubre de 2002
Tabla 6.5: Mtodos de recopilacin de datos para la evaluacin

1. Revisin de documentacin Revisin de archivos: Punto de partida esencial para todas las evaluaciones. Implica el examen de informes, archivos y otros documentos del proyecto disponibles. Actividad positiva para familiarizarse con el tema, para desarrollar una perspectiva histrica y para elaborar la lista preliminar de preguntas para la evaluacin. Bsqueda de bibliografa: Forma econmica y eficiente de obtener informacin. Resulta difcil determinar la validez y veracidad de datos secundarios. Tabulacin de datos: Registro de datos cuantificables o clasificables mediante instrumentos analticos. Anlisis de los indicadores de rendimiento sometidos a seguimiento por los responsables de gestin de la operacin. Mtodo preciso, fiable y que con frecuencia requiere pocos recursos. nicamente se registran hechos, no explicaciones. Entrevistas a informantes claves: Mtodo flexible, detallado. Fcil de aplicar. Riesgo de presentacin/interpretacin sesgada por parte del informante/entrevistador. Calendario: til herramienta para las reuniones iniciales con los informantes claves y grupos temticos. Se elabora un calendario con los acontecimientos importantes, a fin de ayudar a reconstruir los acontecimientos reales y para examinar las percepciones de diferentes partes interesadas en cuanto a la secuencia e importancia de los acontecimientos. Entrevistas a grupos temticos: Para el anlisis de problemas especficos y complejos, a fin de determinar actitudes y prioridades en grupos ms pequeos. Mtodo bueno en cuanto a los costos y eficiente. Estimula la generacin de nuevas ideas. Riesgo de dominio por parte de algunas personas y de sesgo por parte del moderador. Entrevistas en grupo: Bajo costo, eficiente. Contacto directo con los afectados. Susceptible de ser manipulado y menos adecuado para cuestiones delicadas. Otras tcnicas de diagnstico rural rpido/participativo: Las tcnicas visuales tales como la representacin grfica de datos, clasificacin y puntuacin, y otras tcnicas verbales tales como el recorrido de transectos proporcionan un medio para realizar un anlisis local e implicar directamente a beneficiarios y partes interesadas en el proceso de evaluacin. Autoevaluacin relativa al rendimiento y resultados obtenidos: El evaluador se convierte en facilitador, facilitando la autoevaluacin crtica de ejecutores y beneficiarios. Menos inquisitivo con las partes interesadas que potencialmente se convertirn en propietarios del proceso de evaluacin. Estudio regular por muestreo: Entrevistas orales o cuestionarios escritos en una muestra representativa de entrevistados o encuestados. La recopilacin de los datos requiere un gran esfuerzo, pero con frecuencia se obtiene informacin fiable. Estudio informal por muestreo: Implica estudios cuantitativos en pequeas muestras. Bueno y rpido. Riesgo de error/sesgo en la seleccin de la muestra. Menos apropiado para generalizar. Estudios de casos concretos: Examen en profundidad de uno o unos pocos casos determinados. Apropiado para entender procesos y para formular hiptesis que se comprobarn posteriormente. Observacin directa: Incluye inspecciones, visitas al terreno y observaciones para entender procesos, infraestructura/servicios y su utilizacin. Depende de los conocimientos e interpretacin del observador. Observacin: Observaciones detalladas durante un largo perodo de tiempo, participativas o no. Mtodo bueno para entender procesos, pero de potencial limitado para generalizar.
2. Consultas
3. Facilitacin
4. Tcnicas basadas en estudios por muestreo
5. Observacin
La consecuencia inmediata, para la Federacin y las Sociedades Nacionales, del cambio hacia un enfoque en el que se integren ms intensamente los beneficiarios y partes interesadas es la necesidad de planificar la participacin de los mismos. Como mnimo, ello requiere: planificar suficiente tiempo y recursos para el proceso de evaluacin; garantizar que el equipo de evaluacin posea los conocimientos y experiencia necesarios; facilitar la participacin significativa de partes interesadas y beneficiarios a travs de entrevistas individuales y en grupo y mediante la utilizacin de tcnicas de diagnstico rural rpido/participativo;
6-13
Octubre de 2002
facilitar una reflexin crtica acerca del rendimiento y los resultados por parte de los ejecutores y beneficiarios (el evaluador se convierte en facilitador).
Si desea obtener ms informacin relativa a mtodos de recopilacin de datos, consulte el mdulo 8 Herramientas para la recopilacin de datos. Distribucin del borrador de trminos de referencia y discusin acerca del mismo Llegados a este punto, se debern haber elaborado todos los elementos de los trminos de referencia, por lo que podr prepararse un borrador de los mismos (vase tabla 6.3). El borrador de trminos de referencia deber enviarse a las partes interesadas contactadas previamente, a fin de asegurar un entendimiento comn y acuerdo al respecto. Elaboracin de un calendario para la evaluacin Normalmente, el calendario se elabora antes de preparar los trminos de referencia y necesita ser detallado una vez que se llegue a un acuerdo acerca de los mismos.
6-14
Octubre de 2002
6.4
Etapa 4 Seleccin del equipo de evaluacin
Se deben seleccionar y contratar los miembros del equipo y se les deben entregar los trminos de referencia. Cuando se utilicen asesores externos, es aconsejable iniciar el proceso de contratacin con suficiente antelacin a la misin de evaluacin, a fin de asegurar la disponibilidad de los miembros del equipo. Adems, habr que tener presente el tiempo requerido para la contratacin. Si las fechas para la evaluacin estn ya fijadas, la bsqueda de asesores puede realizarse incluso mientras se estn negociando y preparando los trminos de referencia, para asegurar la disponibilidad de los asesores deseados. Los miembros del equipo de evaluacin debern satisfacer, en general, los siguientes requerimientos. Tabla 6.6: Criterios para la seleccin del equipo de evaluacin
Para los miembros del equipo Competencia profesional y slida experiencia tcnica en reas tales como seguridad alimentaria, nutricin, gnero, alimentacin escolar, operaciones de emergencia, comida por trabajo, etc. La especializacin del personal seleccionado depende de las cuestiones claves que se abordarn en la evaluacin. Conocimientos acerca de la Federacin, las Sociedades Nacionales y sus operaciones (al menos uno de los miembros del equipo, preferiblemente el jefe de la misin, deber poseer experiencia con la Federacin o Sociedades Nacionales). Experiencia previa de evaluacin; familiaridad con los mtodos habituales de evaluacin. Imparcialidad (es decir, no formar parte de ninguno de los organismos ejecutores, no haber participado como asesor en ninguna de las etapas del proyecto, no participar en el pas en ninguna otra actividad oficial (relacionada o no)). Preferiblemente experiencia previa en el pas correspondiente. Conocimientos de idiomas (ingls, francs, espaol). Ha demostrado poseer capacidad para dirigir un equipo? Se puede confirmar que posea una excelente capacidad de comunicacin escrita en ingls, francs o espaol? Trayectoria probada como evaluador y jefe de equipo? Se presenta adecuadamente a s mismo? Resulta convincente? Combinar expertos internacionales y nacionales. Tener en cuenta cuestiones de gnero (considerar adecuadamente mujeres asesoras cualificadas). Establecer el equilibrio adecuado (hombres y mujeres, nacionalidad, capacidad).
Para el jefe del equipo (adems de los criterios anteriores) Otros criterios
Participacin de donantes A veces, un donante u organismo asociado puede solicitar que uno de sus propios empleados participe en la misin de evaluacin. Esto ser aceptable siempre y cuando la persona propuesta se ajuste a los criterios expuestos en la tabla 6.6 y acte como miembro pleno del equipo bajo la direccin del jefe del equipo. La Federacin y las Sociedades Nacionales debern reservarse el derecho de rechazar candidatos cuando stos no cumplan los criterios de seleccin. En los casos en que sea necesario un equipo numeroso (p. ej. para realizar evaluaciones en colaboracin o que abarquen todo un sistema), el jefe del equipo deber poseer una slida capacidad para gestionarlo. Consideraciones especiales para la evaluacin de la asistencia humanitaria En la evaluacin de operaciones de emergencia y de desarrollo se deber invertir un tiempo considerable en entrevistar a beneficiarios, particularmente a mujeres y nios. En estos casos, es probable que los beneficiarios hayan sufrido serios traumas psicosociales. Por ello, el equipo de evaluacin deber estar equilibrado en cuanto a su composicin de hombres y mujeres y contener suficientes expertos que puedan llevar a cabo estas entrevistas.
6-15
Octubre de 2002
6.5
Etapa 5 Estudio terico (previo a la misin)
Normalmente, los equipos de evaluacin disponen de 3-5 das para elaborar el estudio terico, dependiendo de la naturaleza, magnitud y alcance de la operacin que se evala. En el caso ideal, el estudio deber realizarse antes de las sesiones de informacin y tomar como base el material disponible de la Federacin y de las Sociedades Nacionales o que se haya enviado al equipo. Dado el hecho de que en la mayora de los casos los miembros del equipo de evaluacin no se renen antes de llegar al pas, le corresponder al jefe del equipo desarrollar adicionalmente el mtodo esbozado en los trminos de referencia y presentar un breve documento del mtodo de evaluacin y cuestiones a evaluar al jefe de evaluacin antes de iniciar la misin. Este documento de los mtodos de evaluacin deber incluir los siguientes puntos: mtodo(s) propuesto(s) para la evaluacin; distribucin de responsabilidades propuesta (por miembros del equipo, deber concluirse durante la sesin de informacin); informantes claves propuestos (organismos y asociados claves que se visitarn (en este punto deber contribuir tambin la Delegacin en el pas)); calendario indicativo que, por supuesto, deber perfeccionarse despus de la llegada al pas; criterios para la seleccin representativa de reas a visitar (de acuerdo con los mismos, la Sociedad Nacional propondra reas y tipos de proyecto a visitar). Los trminos de referencia pueden modificarse en este momento o, como muy tarde, durante los primeros das en las reuniones de informacin en las que participa el equipo completo. Es fundamental que tanto el jefe del equipo como el de evaluacin lleguen a un acuerdo respecto al alcance, objetivos y resultados principales de la evaluacin. Una vez que el jefe de evaluacin haya aprobado el mtodo propuesto, deber revisarse y adaptarse el itinerario a seguir para la evaluacin. Por ejemplo, si el mtodo prev que un miembro del equipo invierta todo su tiempo en realizar ejercicios de diagnstico rural rpido en varias comunidades de la muestra, independientemente del resto del equipo, esto deber reflejarse en los trminos de referencia y se debern organizar los preparativos correspondientes (o, como alternativa, velar por que exista la suficiente flexibilidad para adaptar el itinerario una vez haya llegado el equipo). Cuando el diseo del proyecto no se base en una matriz de planificacin, puede ser aconsejable solicitar al jefe del equipo que prepare una matriz de planificacin adaptada antes de emprender la misin. La matriz constituye un punto de partida para el debate y una ayuda para el equipo de evaluacin en el establecimiento de las hiptesis subyacentes.
6-16
Octubre de 2002
Etapa 6 Ejecucin de la misin de evaluacin 6.6.1 Previamente a la llegada del equipo de evaluacin al pas
Para que la evaluacin resulte exitosa y til es fundamental una buena preparacin de la misma. Entre las tareas fundamentales que debern realizar la Sociedad Nacional y/o la Divisin de Seguimiento y Evaluacin antes de emprender la misin de evaluacin se incluyen: Recopilar documentos de referencia pertinentes y ponerlos a disposicin del equipo de evaluacin (informes de situacin de la operacin, polticas gubernamentales pertinentes, informes de evaluacin, informes realizados por otros donantes, informacin sobre la seguridad alimentaria, procedimiento de llamamientos unificados (CAP de sus siglas en ingls), etc.) otra posibilidad sera proporcionar parte de este material al equipo de evaluacin antes de la misin para elaborar el estudio preparatorio. Organizar provisionalmente el itinerario velar por que el equipo disponga de suficiente tiempo para conversar con los beneficiarios; velar por que el equipo visite una muestra representativa de lugares en los que se lleva a cabo la operacin y que se rena con la variedad adecuada de informantes claves. Los preparativos debern adecuarse a la disponibilidad de las partes interesadas y, en el caso de los beneficiarios, puede ser necesario planificar las entrevistas para las noches o hacerlas coincidir con eventos comunitarios o del grupo, a fin de minimizar las alteraciones. Por ltimo, pero no menos importante, deber facilitarse al equipo tiempo suficiente para llevar a cabo discusiones internas y desempear su trabajo (p. ej. revisin conjunta de los trminos de referencia y de la distribucin del trabajo, discusin de hallazgos claves, conclusiones y recomendaciones, preparacin del taller de informacin de retorno, etc.). Asesorar a las partes interesadas locales claves en relacin con la misin. Cuando se organiza el itinerario, las partes interesadas claves a las que se va a entrevistar debern estar bien informadas sobre el propsito y el programa de trabajo de la evaluacin y recibir una copia o resumen de los trminos de referencia. Velar por que las cuestiones de logstica (transporte, preparativos para las reuniones, etc.) estn preparadas antes de la llegada del equipo. Asegurar que el personal de la Sociedad Nacional disponga de suficiente tiempo para participar en la sesin de informacin de medio da de duracin (tipo taller) y que pueda dedicar tiempo al equipo de evaluacin. Organizar con suficiente antelacin el final de la evaluacin, velando, en la medida de lo posible, por que se prepare un taller de informacin de retorno y por que participe en l una variedad adecuada de partes interesadas, y velar por que se celebre la sesin oficial de informacin de retorno con el gobierno.
6.6.2 Durante la misin de evaluacin

Para el equipo de evaluacin, la evaluacin se divide tpicamente en tres fases: La fase del estudio terico, durante la cual se detallan, discutiendo al respecto con el jefe de evaluacin, las cuestiones claves que posteriormente se examinarn. Es en este punto cuando se negocian los trminos de referencia y se modifican para dar lugar a su versin definitiva. En el caso de misiones dirigidas por la Divisin de Seguimiento y Evaluacin, esta fase puede incluir tambin la sesin inicial de informacin en la sede central y/o en la oficina regional. La misin sobre el terreno, durante la cual se visitan los lugares en los que se ejecuta la operacin, se realizan las entrevistas y se recopilan y analizan los datos. Habitualmente, antes de abandonar pas, el equipo de evaluacin prepara un informe de misin y se lo presenta a la Sociedad Nacional. Sntesis y elaboracin del informe, fase durante la cual se reflejan por escrito los hallazgos, conclusiones y recomendaciones de la evaluacin. En todas las evaluaciones dirigidas por la Divisin de Seguimiento y Evaluacin es habitual que el equipo de evaluacin prepare un
6-17
Octubre de 2002
informe resumido de evaluacin, con el objetivo de presentar los hallazgos de la evaluacin a la Junta de Gobierno. La funcin del jefe de evaluacin Normalmente, el jefe de evaluacin no participa como miembro del equipo en la misin, pero gestiona el proceso de evaluacin en su conjunto, desde la elaboracin de los trminos de referencia hasta la difusin del informe final. El jefe de evaluacin debe poseer un alto grado de flexibilidad, establecer buenas lneas de comunicacin con el equipo y dedicar suficiente tiempo al proceso. Adems de preparar los trminos de referencia, la principal funcin del jefe de evaluacin durante la misin de evaluacin consiste en: facilitar el trabajo del equipo, asegurar que se invierte el tiempo adecuado con personal clave, actuar como enlace entre el equipo y los diferentes organismos implicados, preparar y facilitar los permisos y logstica necesarios para llevar a cabo la labor sobre el terreno, asesorar al equipo en torno a cuestiones actuales de poltica de la Federacin y las Sociedades Nacionales, suministrar informacin adicional y aclaraciones sin pretender manipular la opinin del equipo, cuando corresponda, determinar informantes claves adicionales, cuando corresponda, negociar y acordar modificaciones de los trminos de referencia y del itinerario, reunirse peridicamente con el equipo para asegurar que el trabajo est correctamente orientado, determinar el rendimiento del equipo y del jefe del equipo y, cuando corresponda, tomar medidas al respecto, facilitar la discusin en torno a los hallazgos en un grupo potencialmente numeroso de partes interesadas. Las evaluaciones brindan una excelente oportunidad de aprendizaje durante todo el proceso, y el jefe de evaluacin y el personal de las Sociedades Nacionales debern contactar peridicamente con el equipo. Fase I: Estudio terico y sesin de informacin El estudio/examen terico ha sido descrito anteriormente (Etapa 5 Estudio preparatorio (previo a la misin)). Teniendo en cuenta que habitualmente los miembros del equipo de evaluacin coinciden por vez primera en la sesin de informacin en el pas en que se pretende realizar la evaluacin, deber preverse suficiente tiempo para que el equipo se rena, revise los trminos de referencia y acuerde las tareas que realizar cada uno de sus miembros. ste es el papel del jefe del equipo, que debe velar adems por cubrir todos los aspectos de los trminos de referencia segn la experiencia y conocimientos de cada uno de los miembros del equipo. El jefe de evaluacin (la Divisin de Seguimiento y Evaluacin o la Sociedad Nacional) deber comprobar que esto se ha realizado y que los miembros del equipo entienden con exactitud lo que se espera de ellos. Se recomienda iniciar la misin con un taller de informacin de medio da de duracin en el que participen personal de la Sociedad Nacional y el equipo de evaluacin. Durante el taller, el equipo
6-18
Octubre de 2002
puede aclarar el propsito, alcance y cuestiones claves de la evaluacin y quines son los informantes claves para cada una de las cuestiones, adems de comprobar la matriz de planificacin adaptada. Tambin debern abordarse en este lugar el propsito y planificacin del taller de informacin de retorno (vase fase II). Fase II: Despus de la sesin de informacin la misin sobre el terreno Esta fase incluye el perodo comprendido entre el final de la sesin inicial de informacin de la Sociedad Nacional hasta que el equipo abandona el pas. Habitualmente, el equipo pasa los primeros das en la capital entrevistando a partes interesadas claves. En caso necesario, algunas de estas reuniones podrn programarse para la ltima semana de la misin. Durante la misin sobre el terreno, el jefe del equipo es responsable de la gestin diaria de la evaluacin, mientras que la Sociedad Nacional brinda el apoyo necesario para garantizar que el equipo pueda recorrer el itinerario previsto. Consideraciones relativas a la recopilacin de datos
Documentos oficiales
Los documentos oficiales son, probablemente, la primera fuente de datos que consulta el equipo de evaluacin, y los deber compilar el organismo ejecutor antes de la llegada del equipo al pas. Los informes de situacin y otros informes pertinentes sobre la marcha de las actividades posibilitan al equipo formarse una imagen de los acontecimientos segn fueron producindose. Los documentos relativos al diseo, memorandos/cartas de entendimiento, plan de la operacin y otros documentos de este tipo proporcionan el marco para analizar los objetivos, mandatos y cumplimiento de responsabilidades. Las actas de las reuniones suministran informacin acerca de las decisiones tomadas y de cundo y a razn de qu fueron tomadas.
Entrevistas
Generalmente, las entrevistas constituyen la principal fuente de informacin sobre qu y por qu ocurri. Los evaluadores debern conversar con la mayor variedad posible de partes interesadas, a fin de componer una imagen completa y equilibrada de la operacin. En la realizacin de las entrevistas a miembros del personal de los organismos, merece recordar que stos, en particular aquellas personas que trabajan en operaciones de emergencia, con frecuencia se implican y comprometen personalmente en gran medida en su trabajo y que probablemente hayan dado lo mejor de s mismos en circunstancias difciles. Por ello, las entrevistas, ms que con un enfoque de juicio, debern realizarse con la intencin de intercambiar las enseanzas extradas y entender por qu han podido ocurrir errores. En la evaluacin de situaciones de conflicto o posteriores al mismo, los evaluadores debern ser lo ms sensibles posible a las experiencias que puedan haber vivido los entrevistados. Las entrevistas a beneficiarios constituyen un elemento esencial de toda evaluacin. Tanto como representar una rica fuente de informacin, estas entrevistas pueden conceder una voz a quienes puedan haber perdido sus vas de comunicacin habituales.
Tcnicas rpidas y participativas
Aunque puede darse el caso de no disponer de tiempo suficiente para llevar a cabo un ejercicio extenso de diagnstico rural participativo, siempre deber intentarse de algn modo utilizar tcnicas
6-19
Octubre de 2002
participativas y rpidas. Para verificar los hallazgos, es especialmente importante la triangulacin. La inclusin intencionada de personas que no se han beneficiado de la asistencia disponible puede ser un medio til para evaluar los procesos de seleccin de objetivos y beneficiarios. No obstante, no deberan subestimarse las dificultades que se presentan en el uso de tcnicas participativas en situaciones de conflicto o posteriores al mismo: Cuando conversan con los evaluadores, los beneficiarios pueden estarse exponiendo a riesgos, y puede ocurrir que los organismos sean percibidos como parciales. Es probable que las comunidades y grupos se hayan fragmentado, lo que dificultara encontrar participantes representativos o puntos de entrada para un proceso participativo. El trauma que pueden haber sufrido los beneficiarios puede ser tal que resulte inaceptable pedirles que vuelvan a narrar sus experiencias. Es poco probable que las comunidades y grupos entiendan el proceso de evaluacin. Existe el peligro de que la evaluacin participativa despierte esperanzas que posteriormente no puedan cumplirse. Visitas al terreno durante la misin de evaluacin Dependiendo del tamao del equipo de evaluacin, el tiempo disponible y la extensin del proyecto, el equipo puede realizar las visitas al terreno unido o fragmentado. Es aconsejable que participen la Sociedad Nacional y el gobierno en calidad de observadores, pues las visitas al terreno constituyen una buensima oportunidad para adquirir conocimientos. No obstante, deber procurarse no presentarse en el terreno, y en particular en las comunidades, con equipos excesivamente grandes. Cuando el equipo y observadores superen las cinco personas, deber considerarse la fragmentacin durante las visitas a las comunidades. Otra posibilidad sera que el jefe del equipo sugiriera dividir el grupo entero en varios equipos que aplicaran, cada uno de ellos, el mismo mtodo en diferentes comunidades. Por la noche se celebraran reuniones para comparar los hallazgos. El equipo deber reunirse con una muestra adecuada y representativa de beneficiarios y partes interesadas. Evtese el error de querer visitar un nmero excesivo de lugares a costa de que el equipo no disponga de suficiente tiempo en cada uno de ellos para realizar las entrevistas y aplicar los diferentes mtodos de evaluacin. A la vuelta de las visitas al terreno la ltima semana Tras regresar del terreno, el equipo deber disponer, al menos, de una semana ms en el pas. Durante este tiempo, el equipo podr desear entrevistar a informantes claves adicionales, revisar y analizar ms datos, y reunirse como equipo a fin de discutir los hallazgos y consecuencias de la visita al terreno y comenzar o continuar con la elaboracin del informe. El taller de informacin de retorno El taller de informacin de retorno es un acontecimiento esencial del proceso de evaluacin. La Sociedad Nacional es responsable de organizar las cuestiones de logstica, mientras que el jefe del equipo lo es de disear el taller y preparar el material necesario de presentacin. Cuando se dispone de fondos, el taller puede celebrarse en otro lugar que no sea la sede de la Sociedad Nacional y se pueden utilizar los servicios de un facilitador externo capacitado. El informe de misin Antes de abandonar el pas, el equipo deber elaborar un informe de misin. Este debe incluir los principales hallazgos, conclusiones y recomendaciones derivados de la misin y puede estructurarse segn el esbozo del informe resumido.
6-20
Octubre de 2002
Generalmente, el jefe del equipo esboza el informe de misin con la participacin de miembros del equipo. Posteriormente se entrega a la Delegacin en el pas para obtener sus comentarios al respecto. Dependiendo del programa y asesoramiento de la Sociedad Nacional, el informe de misin puede discutirse tambin con asociados de las Naciones Unidas, la comunidad de donantes, ONG y otras partes interesadas, a fin de aprovechar los comentarios que puedan aportar. El informe de misin se entrega al gobierno y se discute posteriormente con el mismo en una reunin. Cuando en el taller de informacin de retorno participan responsables superiores de toma de decisiones, esta fase puede suprimirse de comn acuerdo entre las partes. Disponiendo de tiempo, el equipo puede desear presentar los principales resultados en papelgrafo o PowerPoint. Una vez presentado al gobierno, el informe de misin normalmente ya no se corrige, a no ser que contenga errores fcticos. Tabla 6.7: El taller de informacin de retorno
Propsito y ventajas de un taller de informacin de retorno Se comunican los primeros hallazgos de la evaluacin a las partes interesadas y se intenta obtener su opinin respecto al proceso de evaluacin y los hallazgos registrados hasta ese momento. Foro de reflexin que puede servir de aprendizaje y en el que puede realizarse una revisin crtica de los componentes claves de la operacin o programa que se evala. No deber considerase como formalidad por la cual pasar con la mayor rapidez posible, sino como oportunidad esencial para adquirir nuevas percepciones. Se deber alentar a las partes interesadas a participar activamente en el taller, sabiendo que todava pueden influir en los hallazgos de la evaluacin. Puede posibilitar al equipo elaborar las recomendaciones e identificar las enseanzas junto con las partes interesadas. Quin deber participar? Personal implicado y beneficiarios. Segn proceda, podrn invitarse donantes seleccionados y representantes de organismos de las Naciones Unidas. En el caso ideal debern estar presentes los responsables de la toma de decisiones para el proyecto, pero no siempre es factible cuando stos son empleados superiores. En tal caso, los responsables de la toma de decisiones recibiran la informacin correspondiente durante la presentacin del informe de misin y por parte de sus empleados tcnicos que hayan participado en el taller de informacin de retorno. Cmo planificar y preparar el taller La fecha y lugar de celebracin del taller debern fijarse con suficiente antelacin para posibilitar la participacin del mayor nmero posible de partes interesadas. Se deber invitar a representantes de beneficiarios, y se les deber alentar a que consulten, antes y despus del taller, a las personas a las que representan. En cuanto se disponga del programa, lista de participantes, trminos de referencia y otros detalles pertinentes, debern distribuirse o comunicarse a todos aquellos invitados a participar. Es aconsejable utilizar tcnicas de visualizacin, tales como tarjetas de visualizacin de la planificacin del proyecto (VIPP de sus siglas en ingls (Visualisation in Participatory Planning)), y tcnicas de moderacin, tales como ejercicios en grupo y grupos Buzz. Para ello ser necesario que el lugar de celebracin sea lo suficientemente amplio y contenga suficiente superficie de pared para realizar ejercicios en grupos fragmentados y para exponer en las paredes las presentaciones de los grupos, pudiendo verlas todos los participantes. (Como norma general, para 15 participantes se requerir un local de al menos 80 m2). La disposicin de los asientos influir enormemente en la evolucin del taller. Deber evitarse la forma habitual de sentarse en mesas, con tarjeta de identificacin, micrfono, etc., pues es probable que perjudique la interaccin entre participantes e incluso intimide a algunos de ellos, poco acostumbrados a este tipo de reuniones. Con ayudas visuales como transparencias, papelgrafos previamente estructurados y hojas de trabajo, se lograr centrar la atencin en las presentaciones de los grupos y discusiones con los participantes. Deber velarse por que todos estos materiales estn redactados con claridad y sean legibles para todos los participantes que se encuentren en el local. Cuando se prevea un nmero elevado de participantes, puede resultar conveniente contratar a un facilitador experimentado que dirija las discusiones y maximice la participacin. Cuando se prevea que el taller vaya a durar ms de medio da, ser necesario ofrecer bebidas y una comida.
6-21
Octubre de 2002
Fase III: Sntesis y elaboracin del informe Hasta cierto punto, las fases segunda y tercera se superponen, pues muchos equipos inician la sntesis y la elaboracin del informe mientras se encuentran todava en el pas. Como cuestin de principio, el informe de misin deber contener los principales hallazgos claves, conclusiones y recomendaciones. Cuando se disponga de fondos suficientes, es recomendable extender la presencia del jefe del equipo en el pas para que pueda finalizar la mayor parte del informe mientras permanezca en el mismo. De esta manera se podrn obtener opiniones y realizar consultas adicionales y se garantizar la entrega puntual del informe de evaluacin. Si desea obtener informacin adicional acerca de la preparacin del informe, consulte el punto 6.7 Etapa 7 Preparacin del informe de evaluacin.
6-22
Octubre de 2002
6.7
Etapa 7 Preparacin del informe de evaluacin
6.7.1 Procedimiento
Habitualmente, el jefe del equipo es responsable de cotejar las aportaciones de los miembros del equipo y, a partir de ellas, elaborar el informe final. Este deber entregarse, en general, en un plazo de tres semanas tras concluir la misin. El borrador de informe lo revisan y comentan las unidades y oficinas implicadas de la Federacin y las Sociedades Nacionales, y el jefe del equipo realiza las modificaciones necesarias en respuesta a los comentarios recibidos. A fin de preservar la independencia, ser el jefe del equipo quien decida cules son, definitivamente, las conclusiones y recomendaciones finales. No obstante, cuando exista una discrepancia importante por parte de alguna de las partes interesadas claves, deber reflejarse en el informe. Dada la complejidad de las operaciones de ayuda humanitaria y teniendo en cuenta que la documentacin y datos disponibles frecuentemente son inadecuados, es esencial, por razones de credibilidad y competencia, que el borrador de informe se intercambie entre el mayor nmero posible de partes y que se facilite suficiente tiempo para preparar, recibir y considerar los comentarios. Los informes resumidos de evaluacin son un requisito para todas las evaluaciones. El procedimiento a seguir en su elaboracin es el siguiente: Para evaluaciones gestionadas por la Divisin de Seguimiento y Evaluacin Se presentan al Secretario General de la Federacin todos los resultados de la evaluacin gestionada por la Divisin de Seguimiento y Evaluacin en un informe resumido que no debe exceder las 5.000 palabras, en el que se destacan los hallazgos y conclusiones de la evaluacin y las recomendaciones formuladas por el equipo de evaluacin. El resumen de la evaluacin corre a cargo del jefe del equipo, que utiliza el esquema habitual. Para evaluaciones gestionadas por la Delegacin en el pas Como cuestin de principio, antes de elaborar el informe de cualquier evaluacin deber realizarse un resumen de la evaluacin. En l debern incluirse los principales hallazgos, recomendaciones y enseanzas derivados de la misin, y podr adoptar la forma de los resmenes elaborados por la Divisin de Seguimiento y Evaluacin. Los resmenes de evaluaciones gestionadas por Sociedades Nacionales debern entregarse a la Divisin de Seguimiento y Evaluacin para su posible inclusin en el Informe Anual. La revisin y aprobacin internas de los resmenes de evaluaciones siguen el siguiente proceso normalizado: Tabla 6.8: Etapas de la revisin y aprobacin de informes de evaluacin entregados a la Junta de Gobierno 1. El equipo de evaluacin, considerando debidamente los comentarios del informe de misin, esboza los
informes completo y resumido y los distribuye, va jefe de evaluacin de la Divisin de Seguimiento y Evaluacin, a los responsables de la operacin o programa para obtener sus comentarios. 2. Se deja a criterio de la Sociedad Nacional decidir si enviar al gobierno los borradores de los informes completo y resumido para obtener sus comentarios. 3. El jefe del equipo (o el jefe de evaluacin) incorpora los comentarios recibidos en los informes completo y resumido, segn proceda. 4. El director de la Divisin de Seguimiento y Evaluacin aprueba el borrador del informe resumido para su distribucin al personal ejecutivo a fin de obtener sus comentarios. 5. El jefe de evaluacin incorpora las observaciones del personal ejecutivo segn proceda y vela por que la versin modificada no contradiga al informe completo. 6. El director de la Divisin de Seguimiento y Evaluacin aprueba el informe resumido definitivo para su entrega a la Junta de Gobierno, que lo tramitar. 7. El informe resumido revisado y traducido se enva a la Sociedad Nacional que, a su vez, lo enva al gobierno, en ambos casos para servir de informacin, como medida de seguimiento y para notificar mediante la matriz de medidas de gestin (seguimiento de recomendaciones), segn proceda.
6-23
Octubre de 2002
6.7.2 Orientacin para el jefe de evaluacin

La etapa de preparacin del informe de evaluacin es crucial, pues en ella se presenta el producto final de la evaluacin. En este caso, el jefe de evaluacin desempea una funcin de control de calidad. Una vez que el jefe del equipo entrega el informe, el jefe de evaluacin deber revisar crticamente su contenido, conformidad con los trminos de referencia, pertinencia y exactitud. En este momento, el jefe de evaluacin puede intervenir tambin para negociar o mediar entre el equipo de evaluacin y las partes interesadas claves, especialmente cuando el informe de evaluacin provoque reacciones emocionales o negativas. Sobre la base de la revisin realizada por el jefe de evaluacin as como de los comentarios recibidos, el jefe del equipo de evaluacin deber reconsiderar y revisar el informe y reestructurar puntos o elementos claves. Como cuestin de principio, debern corregirse los errores fcticos. Las cuestiones fundamentales quedan a criterio del jefe del equipo, pero no debern contradecir la poltica actual de la Federacin y las Sociedades Nacionales. Si se diera una contradiccin en este sentido, deber declararse claramente junto con el motivo por el cual el equipo no defiende la poltica. Qu hacer cuando el informe no es satisfactorio Cuando el segundo borrador no refleje los comentarios recibidos, el jefe de evaluacin deber decidir si el informe puede ser aprobado tal como est o si debe revisarse nuevamente antes de su aprobacin. Se deben garantizar las opiniones independientes del equipo de evaluacin si existen discrepancias, debern mencionarse en el informe de evaluacin y posiblemente tenerse en cuenta en la respuesta de los responsables de gestin de la Delegacin en el pas. Si el informe sigue sin satisfacer, entonces el jefe de evaluacin podr retener parte de la remuneracin. (Las modalidades de pago debern estar claramente detalladas en los trminos de referencia y/o en el contrato). Edicin del informe Es aconsejable que un redactor profesional revise el informe de evaluacin antes de difundir el informe. Este requisito puede incluirse tambin en el contrato y remuneracin del jefe del equipo, que deber considerarse responsable de suministrar un informe, en sus versiones completa y resumida, que cumpla las normas profesionales.
6-24
Octubre de 2002
6.8
Etapa 8 Difusin del informe
Tan pronto estn elaborados los informes completo y resumido de evaluacin, debern distribuirse a todas las partes interesadas. En el nivel nacional, la Sociedad Nacional decidir quin deber recibir el informe completo y quin el resumido. En el nivel de sede central, la Divisin de Seguimiento y Evaluacin presenta al Secretario General todos los resmenes producidos en la divisin. A peticin de las Sociedades Nacionales, los informes resumidos podrn incluirse en la pgina Web de la Federacin. Las Sociedades Nacionales tambin pueden considerar la difusin de los hallazgos de la evaluacin como herramienta de sensibilizacin. Puede hacerse a travs de comunicados y entrevistas de prensa o en programas de radio y televisin.
6.8.1 Qu ocurre con las recomendaciones?

Para que las evaluaciones sirvan a su propsito, deber decidirse qu recomendaciones debern seguirse, quin las pondr en prctica y cundo se actuar. En el pasado, las evaluaciones han recibido crticas desfavorables, por no tener consecuencias en la prctica y por simplemente drseles carpetazo. Para incrementar la utilidad de las evaluaciones, la Divisin de Seguimiento y Evaluacin ha desarrollado un Sistema de Seguimiento de Recomendaciones. Se trata de un mecanismo que permite a las partes interesadas de la evaluacin efectuar un seguimiento de la puesta en prctica de las recomendaciones de la evaluacin y que suministra a los responsables de gestin la oportunidad de reflexionar de forma crtica en relacin con las recomendaciones hechas. Aunque es una herramienta desarrollada para el Secretario General, se insta a las Sociedades Nacionales a utilizar la matriz caracterstica de este sistema en la realizacin de sus propias evaluaciones. Todos los informes de evaluacin elaborados en la Divisin de Seguimiento y Evaluacin contienen en el anexo una matriz normalizada que solicita la siguiente informacin: recomendaciones orientadas a la accin expresadas concisamente y agrupadas por tema de inters, determinacin de quin es responsable de adoptar medidas, respuesta inmediata de los responsables de gestin a las recomendaciones, medidas adoptadas finalmente por los responsables de gestin (para presentacin a la Junta de Gobierno). El Sistema de Seguimiento de Recomendaciones requiere una respuesta oficial de los responsables de gestin a las recomendaciones de la evaluacin, organizada en dos fases: 1. Durante la preparacin del informe resumido de evaluacin el jefe del equipo incluir las recomendaciones, y la matriz ser enviada a las oficinas nacionales y otras unidades implicadas pertinentes para que completen las columnas Respuesta inmediata de los responsables de gestin (Immediate Management Response) y Medidas adoptadas por (Action by). En este punto, la nica columna en blanco ser la de Revisin de las medidas adoptadas (Review of Action Taken). 2. Seis semanas antes de la presentacin a la Junta de Gobierno, el responsable de evaluacin se pondr en contacto con la Sociedad Nacional para rellenar la ltima columna. La matriz completa se proporcionar entonces a los miembros de la Junta de Gobierno como documento informativo independiente del informe resumido de evaluacin.
6-25
Octubre de 2002
6.9
Etapa 9 Utilizacin de los resultados y aprendizaje a partir de la evaluacin
El valor fundamental de una evaluacin estriba en su utilizacin y aplicacin inmediatas y, en su caso, en su influencia sobre futuros programas y polticas en el nivel local y en la organizacin que la haya efectuado. Para qu pueden utilizarse los resultados de una evaluacin? Mejora de la gestin Modificacin de la estrategia actual de la operacin, incluido el producto que se pretende obtener Mejora del seguimiento Mejora/modificacin/creacin de asociaciones, aportaciones de los asociados Ayuda en la toma de decisiones (si obrar o no) Informacin para la formulacin de polticas Proporcionar orientacin/asesoramiento/enseanzas para (volver a) disear una fase Proporcionar informacin para la sensibilizacin y obtencin de fondos Actualizar informacin acerca de la situacin en que se encuentran las bases de subsistencia de los beneficiarios de la Federacin y de las Sociedades Nacionales Proporcionar una estimacin independiente de los resultados obtenidos Es importante difundir al mximo los resultados de la evaluacin entre todas las partes interesadas. Ms all de distribuir el informe o un resumen del mismo, resulta extremadamente eficaz mantener discusiones en grupo y celebrar seminarios o incluso retiros para discutir los hallazgos y consecuencias de una evaluacin. Ello puede representar, adems, una oportunidad para discutir el diseo de la siguiente fase. El aprendizaje a partir de la evaluacin mejorar si el personal de la Sociedad Nacional est plenamente preparado para realizar la evaluacin y participa en la misma. Para poder aprovechar los resultados, los responsables de gestionar la evaluacin deben desempear un papel activo en la negociacin de objetivos y cuestiones claves de la evaluacin as como del mtodo aplicado en la misin. El aprendizaje ptimo tendr lugar cuando la Sociedad Nacional conceda al equipo de evaluacin todo el tiempo y libertad de accin necesarios, a la vez que debe protegerse la opinin independiente del evaluador. Para prevenir sorpresas futuras, pueden celebrarse breves y frecuentes sesiones de informacin de retorno durante toda la misin. El taller de informacin de retorno al final de la misin constituye un foro para discutir con franqueza y de forma crtica las cuestiones identificadas y para reflexionar conjuntamente sobre las recomendaciones y actividades futuras. Aunque generalmente pueda aprenderse a partir de los hallazgos, conclusiones y recomendaciones de la evaluacin, puede resultar de ayuda ir un paso ms all y determinar las enseanzas que puedan extraerse. En su forma ms sencilla, las enseanzas nos permiten evitar volver a inventar la rueda o cometer, una y otra vez, los mismos errores. Las enseanzas se diferencian de los hallazgos y recomendaciones en que son aplicables a situaciones genricas, ms que a circunstancias especficas. Es importante destacar en el ejemplo mencionado anteriormente, que en el nivel de proyecto el resultado ms til de la evaluacin lo constituirn las recomendaciones hechas. La enseanza o leccin que puede extraerse del hallazgo o recomendacin adquirir una utilidad mxima si se aplica en situaciones futuras y se intercambia con los dems (es decir, informar a los responsables de la formulacin de polticas, diseo de proyectos en otros lugares, etc.). Por ello, se insta a los evaluadores y a las partes interesadas de la evaluacin a identificar las enseanzas y recomendaciones que podran tener una aplicacin ms general en la organizacin y a determinar quines, finalmente, debern aprovechar el aprendizaje (p. ej. unidades tcnicas o de logstica pertinentes en la sede central). Los que finalmente aprovecharn las enseanzas pueden encontrarse tambin en el nivel nacional en particular cuando las enseanzas identificadas puedan influir sobre la formulacin de polticas nacionales o la labor de otros donantes y organismos.
6-26
Octubre de 2002
Tabla 6.9: Qu es una enseanza?

Resultado para el aprendizaje Hallazgo Conclusin Definicin Afirmacin basada en hechos Sntesis de hallazgos Aplicacin Especfica de una situacin. Derivada de una situacin especfica, pero puede ser aplicable tambin a un tipo de situaciones. Pensada para una situacin especfica, pero puede ser aplicable tambin a un tipo de situaciones. Genrica, no especfica de una situacin determinada. Ejemplo No se imparti formacin en materia de gnero. nicamente el 10 % ha alcanzado a mujeres beneficiarias. Los asuntos de gnero no se han tomado en consideracin durante la ejecucin de la operacin. Deber impartirse formacin en materia de gnero a todo el personal de la Federacin, Sociedades Nacionales y asociados. Mientras que el personal no est sensibilizado y capacitado en materia de gnero, una operacin no abordar adecuadamente las cuestiones de gnero y el acceso justo y en condicin de igualdad de hombres y mujeres a los recursos de la Federacin y de las Sociedades Nacionales.
Recomendacin
Afirmacin normativa
ENSEANZA
Generalizacin instructiva basada en una experiencia de la cual se ha aprendido
6-27
Octubre de 2002
6.10 Mejora de la eficacia del proceso de evaluacin

Un problema comn a todas las evaluaciones es que la eficacia del proceso se ve seriamente limitada por tres aspectos: 1. Falta de objetivos claramente definidos y/o de una estrategia para la operacin en su conjunto y sus diferentes componentes sectoriales y de proyectos. 2. Escasa disponibilidad y posibilidad de comparacin de los datos de seguimiento necesarios para determinar el rendimiento y resultados de los proyectos y, por lo tanto, del programa en su conjunto. 3. Las partes interesadas claves no consideran las evaluaciones como ejercicio til, por lo que no las aprovechan como autnticas oportunidades para el aprendizaje y cambio. La consideracin de estas cuestiones durante las fases de diseo y ejecucin puede incrementar significativamente la probabilidad de realizar evaluaciones eficaces.
6.10.1 Aclarar los objetivos

Cuando el propsito y/o meta de la operacin no estn enunciados con claridad, la evaluacin resulta ms difcil - frente a qu se debern medir los resultados? Este problema puede surgir en operaciones individuales incluidas en el sistema de respuesta humanitaria, o bien puede existir en todo el sistema. El hecho de que en situaciones de emergencia los objetivos, aunque definidos, probablemente deban modificarse a medida que vaya evolucionando la situacin, exacerba an ms las dificultades. La Good Practice Review sugiere aplicar las siguientes herramientas como ayuda para definir con mayor claridad los objetivos: Marcos estratgicos Establecen objetivos generales para las intervenciones de la comunidad internacional, que debern observarse en todas las situaciones de emergencia (p. ej. marcos estratgicos de organismos de las Naciones Unidas para determinados pases, llamamientos de la Oficina de Coordinacin de Asuntos Humanitarios de las Naciones Unidas (OCHA)). Estrategias nacionales y de intervencin Establecen objetivos para cuando aparece o comienza una emergencia determinada. Anlisis mediante matriz de planificacin Establece una jerarqua de objetivos para una operacin determinada.
6.10.2 Mejorar la disponibilidad y exactitud de la informacin de seguimiento

Gran parte de la carencia de informacin esencial se debe a la naturaleza de las circunstancias en que ocurre la emergencia. No obstante, pueden adoptarse medidas para incrementar la utilidad del seguimiento en beneficio de la evaluacin. Una caracterstica especial de las emergencias es la mayor necesidad de que los responsables de gestin evalen una y otra vez la situacin (p. ej. actualizando los datos de evaluacin) a fin de determinar si la operacin es apropiada en general, adems de la funcin ms habitual de seguimiento de proporcionar informacin para la toma rutinaria de decisiones relativas a la gestin (p. ej. seguimiento de los suministros pendientes de ser entregados a los almacenes). Las cuestiones que debern considerarse concretamente para mejorar la disponibilidad de informacin de seguimiento son: acordar con tiempo los indicadores claves que debern someter a seguimiento todos los organismos; reunir lo antes posible informacin de referencia; establecer sistemas de seguimiento y de recopilacin de datos que faciliten establecer comparaciones entre organismos y programas;
6-28
Octubre de 2002
establecer una gestin eficaz de sistemas de archivo y de informacin, de forma que pueda disponerse fcilmente de los principales informes y documentos de decisiones.
6.10.3 Lograr que las evaluaciones sean tiles

Para lograr que las evaluaciones sean tiles, pertinentes y oportunas son necesarios varios elementos: planificacin adecuada y oportunidad de la evaluacin; lograr pertinencia de la evaluacin en relacin con las necesidades de los responsables de gestin y usuarios; velar por que las partes interesadas claves participen en la evaluacin y se identifiquen con la misma; procedimientos de seguimiento establecidos para el uso de la evaluacin; promover el aspecto de aprendizaje de la evaluacin; presentar los resultados de la evaluacin de forma sucinta: p. ej. resmenes informativos, resumen de una pgina, presentaciones en PowerPoint, boletines, etc.; compartir la evaluacin con todos los asociados pertinentes y el pblico.
6-29
Octubre de 2002
ENSEANZAS EXTRADAS DEL MDULO 6 GESTIN DE LA EVALUACIN

ACORDAR EL PROPSITO DE LA EVALUACIN PLANIFICAR EL CALENDARIO PARA LA EVALUACIN PREPARAR LOS TRMINOS DE REFERENCIA SELECCIONAR EL EQUIPO DE EVALUACIN ELABORAR EL ESTUDIO TERICO PREVIO A LA MISIN EJECUTAR LA MISIN DE EVALUACIN ELABORAR EL BORRADOR DE HALLAZGOS PREPARAR EL INFORME DE EVALUACIN REVISAR EL INFORME DE EVALUACIN DIFUNDIR LOS RESULTADOS
6-30
Mdulo 7: Estudios de referencia
Octubre de 2002
7.
7.1
Estudios de referencia
Qu es un estudio de referencia?
El estudio de referencia consiste en el anlisis y descripcin de la situacin reinante antes del comienzo de una operacin o programa, frente a la cual pueden medirse los cambios o establecerse comparaciones. El estudio de referencia proporciona un punto de referencia (breve descripcin de la situacin actual) para los objetivos de la operacin y se centra fundamentalmente en las variables sobre las cuales se pretende influir con la operacin seguridad alimentaria, estado nutricional, propiedad de bienes, acceso a escuelas, etc. -, resumidas por los indicadores incluidos en la matriz de planificacin. El estudio de referencia constituye la base para el seguimiento y la evaluacin, realizndose en una etapa posterior un estudio complementario (habitualmente a mitad o final de la operacin) para facilitar la medicin de las consecuencias e impacto de una operacin. As, el estudio de referencia es una herramienta esencial en la gestin basada en resultados: sin datos de referencia es difcil, si no imposible, determinar el cambio provocado realmente por la operacin. Figura 7.1: Los estudios de referencia y complementario en el ciclo del proyecto
Planificacin
Estudio de referencia
Cul es la situacin antes de comenzar la operacin/programa?
Ejecucin
Seguimiento
Vamos bien encaminados hacia el logro de los objetivos que nos hemos fijado?
Evaluacin
Estudio complementario
Qu se ha logrado?
Son varios los principios que deben considerarse en relacin con los estudios de referencia: En todo tipo de operacin son siempre necesarios los datos de referencia. Sin ellos y sin algn tipo de estudio complementario, no es posible determinar con seguridad los resultados. Las fuentes de datos secundarios debern ser siempre el primer punto de referencia en la recopilacin de datos de referencia. Cuando sea posible, los datos de referencia debern recopilarse de fuentes existentes la elaboracin de estudios de referencia puede resultar costosa y requerir mucho tiempo, y existen numerosos ejemplos de estudios que proporcionan informacin con retraso, incompleta o poco fidedigna. Los planes para la recopilacin de datos de referencia debern prever la realizacin de un estudio complementario, en el cual se utilizarn los mismos mtodos y se estudiarn la misma muestra o lugares, a fin de generar datos comparables.
En el caso ideal, los datos de referencia se recopilarn antes de empezar a ejecutar el proyecto. Siendo ste el caso, los datos de referencia podrn servir de ayuda en el proceso de planificacin, permitiendo a los planificadores afinar el diseo de la operacin. Que los datos de referencia se recopilen despus de iniciarse la ejecucin de la operacin (caso frecuente en las operaciones de emergencia), puede no resultar problemtico, siempre y cuando los datos reflejen la situacin existente antes de comenzar las principales actividades de la operacin. Son tres los problemas frecuentes en la realizacin de estudios de referencia: Se intentan recopilar demasiados datos, lo que dificulta su anlisis (consecuencias para la rentabilidad y para la oportunidad de la notificacin) y el pleno aprovechamiento del anlisis resultante. Por lo tanto, resulta esencial ser riguroso en la determinacin de los datos de referencia necesarios. 7-1
Octubre de 2002
Con frecuencia, los estudios de referencia se realizan despus del comienzo de la operacin. Aunque este hecho no debe por qu preocupar si no se han emprendido todava actividades, es preferible asegurar que se haya organizado con antelacin el estudio y que posiblemente incluso se haya incluido como una etapa del proceso de aprobacin. Los estudios de referencia se llevan a cabo sin disponer del plan o presupuesto para el estudio complementario que necesariamente deber realizarse. Aunque los datos de referencia son tiles para la planificacin, tambin desempean una funcin fundamental en la evaluacin, para la cual es necesario disponer de algn tipo de estudio complementario, a fin de comparar las situaciones antes y despus de la operacin. Para que los datos sean comparables, debe existir coherencia en los mtodos y herramientas utilizados. Por lo tanto, es importante reflejar con claridad en el estudio de referencia cmo se han recopilado y analizado los datos. Es muy probable que, en los dos o tres aos desde que se elabor el estudio de referencia, el personal haya cambiado, y el nuevo personal necesitar buen material de referencia a fin de poder reconstruir un conjunto de datos comparables.
7-2
Octubre de 2002
7.2
Estudios de referencia para diferentes tipos de situaciones
Un aspecto fundamental que deben tener en cuenta la Federacin y las Sociedades Nacionales a la hora de disear un estudio de referencia es la naturaleza de la operacin para la cual se requiere el estudio. En la tabla 7.1 se reflejan las caractersticas de la recopilacin de datos de referencia y las consecuencias para la misma segn se trate de actividades de desarrollo o de operaciones de emergencia y de desarrollo. Tabla 7.1: Caractersticas de la recopilacin de datos de referencia y consecuencias para la misma segn diferentes tipos de operacin
Tipo de operacin Caractersticas: Actividades de desarrollo Las operaciones de desarrollo tienen una perspectiva de planificacin, y el proceso del ciclo del proyecto crea espacio potencial para elaborar estudios de referencia y complementarios. Colaborar con asociados activos en el mbito del desarrollo puede traducirse en un inters ms amplio por disponer de datos de referencia y en apoyo (recursos) para la recopilacin de datos. Se dispone de ms tiempo para recopilar datos de buena calidad y mejorar la capacidad del personal. Operaciones de emergencia y de desarrollo El ritmo de trabajo supone que la evaluacin preliminar, el anlisis de referencia y el inicio de la operacin suceden todos al mismo tiempo. Es probable que los datos de la evaluacin preliminar constituyan un componente importante de la referencia. Es probable que la recopilacin de datos favorezca mtodos rpidos que puedan producir resultados rpidos, aunque menos precisos.
Consecuencias para el estudio de referencia:
Cuando la operacin es la continuacin de una anterior, es probable que se disponga ya de una cantidad significativa de datos del seguimiento y de la evaluacin preliminar, de una evaluacin final o de un estudio complementario realizado con una referencia anterior. En estas circunstancias, los datos disponibles debern examinar cuidadosamente a fin de determinar cules podran utilizarse para establecer la nueva referencia. En la verificacin de la exactitud y fiabilidad de datos secundarios son aplicables los principios habituales (vase punto 8.3 Utilizacin de datos secundarios (mdulo 8). Con la introduccin de programas nacionales y documentos de estrategia para reducir la pobreza (PRSP por sus siglas en ingls), muchos pases han iniciado procesos de anlisis y cuantificacin del grado de pobreza utilizando criterios extrados de metas y objetivos del mbito del desarrollo internacional (vanse los objetivos de desarrollo de la Organizacin para la Cooperacin y Desarrollo Econmicos (OCDE) para 2015). En muchos pases, el Programa de las Naciones Unidas para el Desarrollo (PNUD) desempea una funcin directora en el proceso de seguimiento de la pobreza y existen programas estructurados para llevar a cabo estudios nacionales diseados a fin de realizar un seguimiento de la pobreza y bienestar. En estos pases, es posible que los indicadores de pobreza, junto con indicadores de seguridad alimentaria, puedan sustituir parte o toda la informacin de referencia requerida. El principal problema consistira en comprobar la existencia de datos para el rea especfica del proyecto o para el grupo beneficiario en cuestin. Los factores discutidos se exponen de forma resumida en la tabla 7.2.
7-3
Octubre de 2002
Tabla 7.2: Factores y consecuencias para los estudios de referencia

Factor Operacin de desarrollo Operaciones de emergencia, socorro y recuperacin Operacin de continuacin de una anterior Desarrollo comunitario Pases con documento de estrategia para reducir la pobreza Consecuencias para el estudio de referencia Programacin en el proceso del ciclo del proyecto Recurrir a datos de la evaluacin preliminar, utilizacin de tcnicas rpidas, mejora mediante seguimiento Utilizacin de resultados de la evaluacin o del seguimiento para ayudar a establecer la referencia Planificacin de referencias cambiantes en los planes comunitarios Utilizacin de datos secundarios sobre pobreza y bienestar
7-4
Octubre de 2002
7.3
Planificacin y gestin de un estudio de referencia
A continuacin se exponen las etapas bsicas de la planificacin y gestin de un estudio de referencia, detalladas en los siguientes apartados. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. Decidir si es necesaria una encuesta de referencia Decidir quin realizar el estudio de referencia Determinar los objetivos del estudio Determinar la pertinencia Determinar las preguntas y temas que deber abordar el estudio Seleccionar las unidades de estudio (p. ej. hogares, escuelas, comunidades, etc.) Decidir la utilizacin de un grupo de comparacin Controlar la posible influencia de un ao o intervalo de tiempo de caractersticas especiales Determinar qu datos secundarios se utilizarn Elegir tcnicas de recopilacin de datos primarios Seleccionar la muestra o los lugares que se visitarn Preparar el plan de trabajo y presupuesto
7.3.1 Es necesario realizar una encuesta de referencia?

Siempre se requieren datos de referencia, pero no siempre es necesario realizar una encuesta de referencia. Es posible que los datos de referencia necesarios hayan sido recopilados en un anlisis y cartografa de la vulnerabilidad, como parte de la misin de apreciacin, durante la evaluacin preliminar para una operacin de emergencia o durante la evaluacin de una fase previa. La principal pregunta a la que debe darse respuesta es, por lo tanto, la siguiente: Existen suficientes datos secundarios para describir la situacin existente antes de o al iniciarse la ejecucin de la operacin, de acuerdo con los indicadores establecidos en relacin con la meta y objetivos de la operacin? En caso de que la respuesta sea afirmativa, ser mejor aprovechar los datos existentes que encargar la realizacin de una encuesta de referencia. El motivo para ello es que la recopilacin de datos primarios es una actividad compleja que requiere un nivel elevado de conocimientos y de recursos de gestin. Siempre que sea posible, es preferible utilizar datos secundarios recopilados por el gobierno, algn asociado ejecutor u otro organismo, mientras stos sean pertinentes para la operacin propuesta y abarquen el grupo beneficiario especfico. Especialmente en el caso de tratarse de la continuacin de una operacin ya en marcha, es posible que ya exista una cantidad considerable de datos relativos a los grupos beneficiarios. Utilizando diferentes documentos sobre los beneficiarios, informes realizados con anterioridad y estadsticas generales del gobierno y de fuentes no gubernamentales, puede componerse, con mnimo costo, una imagen exacta y actualizada de la poblacin en situacin de riesgo. Durante los ltimos meses de una fase anterior, las evaluaciones o el seguimiento rutinario pueden definir con detalle la situacin ms reciente en la que se encuentra la poblacin y, con ello, establecer las bases para la nueva fase de la operacin. En el caso de que la respuesta sea negativa, deber considerarse la realizacin de una encuesta de referencia. Vase punto 8.2.4 Qu es una encuesta de referencia? (mdulo 8).
7-5
Octubre de 2002
Figura 7.2: Relacin entre costos y complejidad de la recopilacin y anlisis de datos

Fuentes primarias
Costo
Estudios por muestreo Entrevistas a beneficiarios
Fuentes secundarias
Documentos oficiales
Informes de gestin
Estadsticas ordinarias Estadsticas adaptadas* ordinarias
Complejidad
* Las estadsticas ordinarias adaptadas se refieren a las estadsticas obtenidas a partir de actividades rutinarias de recopilacin de datos, analizadas de nuevo posteriormente a fin de constituir la referencia de la operacin.
7.3.2 Quin realizar el estudio de referencia?

Para realizar un estudio de referencia es necesario poseer un nivel elevado de conocimientos acerca de tcnicas de recopilacin de datos (p. ej. en muestreos y encuestas, o en tcnicas rpidas y participativas), gestin sobre el terreno, anlisis y elaboracin de informes. Una fase importante al principio del diseo es considerar de qu recursos y capacidad se dispone, tanto dentro de la organizacin (Federacin y Sociedades Nacionales, gobierno o asociados ejecutores) como fuera de ella (p. ej. a travs de empresas de asesora, departamentos universitarios u otras organizaciones independientes). La disponibilidad de los expertos necesarios, su costo y los recursos disponibles constituirn factores de peso en la toma de decisiones relativas a la duracin y complejidad del estudio. Tmese el tiempo necesario para examinar qu posibilidades existen: Con qu capacidad se cuenta entre el personal de la Federacin y las Sociedades Nacionales para disear y dirigir el estudio? De dnde procedern los expertos necesarios (gobierno, asociados ejecutores o asesores externos)? Ser necesario impartir formacin adicional? Dispone de fondos la Delegacin en el pas? Existen otras fuentes de financiacin? Realiza la oficina nacional de estadstica del pas correspondiente o alguna universidad estudios por encargo? Qu empresas privadas u ONG podran proporcionar personal especializado pertinente y que pudiera disear y dirigir el estudio?
7.3.3 Determinar los objetivos del estudio

Escriba una afirmacin clara sobre el objetivo del estudio de referencia. Acuerde esta afirmacin con los asociados y con aquellos que realizan el estudio. Ejemplos Recopilar informacin sobre la cantidad y distribucin de hogares que sufren inseguridad alimentaria en la regin que se ha de atender. Determinar las tasas de inscripcin y de asistencia y los logros en el aprendizaje de los nios en edad de visitar la escuela primaria en la regin beneficiaria.
7-6
Octubre de 2002
7.3.4 Determinar la pertinencia

Deben referirse los datos a un perodo de tiempo especfico anterior a la operacin o no tiene demasiada importancia el perodo de tiempo al cual se refieren? Ejemplo La operacin promueve la diversificacin de las bases de subsistencia en el rea del programa. Se dispone de datos procedentes de una encuesta por hogares realizada 5 aos antes de comenzar la operacin. Estos datos se consideran pertinentes, pues durante los ltimos aos se han realizado pocas actividades de desarrollo en la zona.
7.3.5 Determinar las preguntas y temas que deber abordar el estudio

Elabore una lista de temas y preguntas concretas para los cuales sea necesario disponer de datos. Es esencial que el alcance del estudio est directamente relacionado con las necesidades de datos de referencia las principales fuentes para los mismos son el documento de aprobacin y la matriz de planificacin. Con demasiada frecuencia, las necesidades de datos van aumentando a medida que se va avanzando en el diseo del estudio todas las necesidades de datos deben estar justificadas en relacin con los objetivos e indicadores de la operacin y con los aspectos claves del contexto de la misma. Determine quines son los beneficiarios: Son escolares, madres lactantes, familias agrarias o grupos especficos como miembros femeninos de una cooperativa de produccin? Ejemplos En una operacin de alimentacin escolar se requiere informacin acerca de la proporcin de los nios (desglose por sexo) registrados en escuelas que han asistido a las clases ms del x % de los das y que han pasado sus exmenes de graduacin. Otra informacin es la relativa a la cantidad de medios bsicos en cada escuela: mesas, sillas, libros de texto, libros de escritura y maestros. El objetivo de la operacin es incrementar la proporcin de nias en las escuelas, por lo que otro aspecto de la informacin son los porcentajes de mujeres y hombres adultos que apoyan la educacin de nias. En una operacin de alimentos por bienes se requiere informacin sobre el rea de secano que debe ser rehabilitada, el rea de regado afectada por salinizacin y el nmero de hogares cuyos cultivos, todos o parte de ellos, se encuentran en reas degradadas. En una operacin dirigida a promover bases de subsistencia sostenibles, se requiere informacin acerca del nmero de meses en que los hogares (desglose por caractersticas socioeconmicas: grupo tnico, mujeres cabeza de hogar, miembros familiares con discapacidad) pueden autoabastecerse a partir de sus propios recursos. Tambin se requiere informacin acerca del acceso a otras fuentes de empleo y actividades de generacin de ingresos externas a la propia explotacin agraria, as como acerca de la participacin en las mismas.
7.3.6 Seleccionar las unidades de estudio

Es necesario determinar las personas u organizaciones sobre las cuales se requiere informacin. En la recopilacin de datos primarios o secundarios se las conoce como unidades de estudio.
7-7
Octubre de 2002
Ejemplos Las unidades de estudio para la operacin de educacin son las nias, nios y sus padres; y en cuanto a los bienes de la escuela lo son la escuela o posiblemente el aula. Para la operacin de creacin de bienes, las unidades de estudio son las tierras de secano, las de regado y las familias agrarias. En el caso de la operacin de promocin de bases de subsistencia sostenibles, las unidades de estudio son los hogares y los miembros de los mismos (probablemente miembros adultos).
7.3.7 Decidir la utilizacin de un grupo de comparacin

El estudio de referencia analiza y describe una situacin antes del inicio de la operacin, con miras a la realizacin de un estudio complementario que permitir establecer comparaciones entre el antes y despus de la ejecucin de la operacin. No obstante, pueden surgir dificultades en la atribucin de los cambios ocurridos como efecto de la operacin. Es posible que los cambios se hubiesen producido de todas formas debido a la poltica del gobierno, la divulgacin de determinadas tecnologas en la regin u otras posibles razones. La utilizacin de grupos de comparacin unidades de estudio situadas fuera del alcance de la operacin proporciona una base para establecer una comparacin entre con y sin operacin, as como entre antes y despus. Tal como ilustra la figura 7.3, los cambios que ocurren entre ab se comparan con aquellos ocurridos entre cd, atribuyndose la diferencia a la operacin. Figura 7.3: Utilizacin de grupos de comparacin
antes con
grupo experimental
despus
proceso de cambio con operacin
grupo de comparacin
sin
proceso de cambio sin operacin
Son dos las cuestiones claves que deben considerarse al tomar la decisin de si incluir o no un grupo de comparacin en la muestra: Pueden encontrarse unidades de estudio cuyas caractersticas se ajusten suficientemente a las de la poblacin beneficiaria (grupo experimental)? Se dispone de suficientes recursos para ampliar el tamao de la muestra incluyendo un grupo de comparacin?
Para que la comparacin entre la poblacin beneficiaria y el grupo de comparacin sea vlida, las dos partes debern asimilarse suficientemente en sus caractersticas claves influyentes (proceso conocido como concordancia). En caso contrario, cualquier cambio observado entre los dos grupos en la situacin de despus podra ser, simplemente, el resultado de diferencias existentes previamente. En la prctica, es imposible una concordancia perfecta, y deber juzgarse qu caractersticas constituyen una concordancia adecuada. Un ejemplo sencillo de un compromiso en ese sentido en el caso de un estudio de referencia relativo a la alimentacin escolar sera seleccionar escuelas en zonas de agroeconoma similar. 7-8
Octubre de 2002
La utilizacin de un grupo de comparacin requiere asignar a este grupo una parte de los recursos disponibles para realizar el estudio. Para obtener resultados significativos desde el punto de vista estadstico, el grupo de comparacin deber ser de un tamao comparable al de la poblacin beneficiaria. Probablemente esto signifique que el estudio resultar considerablemente ms costoso. La utilizacin de un grupo de comparacin (si se incluye en un estudio bien diseado), siempre proporcionar una mejor base para la atribucin de los cambios, por lo que debern sopesarse los costos adicionales frente a los beneficios derivados de una mejor capacidad para atribuir los cambios a la operacin.
7.3.8 Controlar la posible influencia de un ao o intervalo de tiempo de caractersticas especiales

Hasta qu punto pueden depender los datos de referencia de las caractersticas especiales de un ao o intervalo de tiempo determinados? P. ej., en los datos relativos a cmo abordar situaciones difciles en condiciones de vulnerabilidad, puede ser necesario considerar si los aos anteriores a la operacin fueron aos de crisis o normales. Ejemplos Proyecto de alimentacin escolar en zonas rurales: Es probable que las tasas de inscripcin dependan de los ciclos de actividad agraria que, a su vez, dependen de las condiciones meteorolgicas. Por lo tanto, la tasa de inscripcin deber determinarse tanto durante los ltimos aos como en un ao de crisis. Proyecto de creacin de bienes: Sern apropiados los datos de cualquiera de los ltimos aos, pues el cambio que se desea generar es un simple incremento en la propiedad de bienes. En la estimacin de alimentos, la estacionalidad puede producir una distorsin.
7.3.9 Determinar qu datos secundarios se utilizarn

Una vez determinados la pertinencia de los datos, los temas, unidades de estudio y la posible influencia de un ao o perodo de tiempo de caractersticas especiales, se puede plantear la pregunta de si los datos secundarios disponibles constituyen una referencia adecuada. Ejemplos Los datos sobre asistencia y rendimiento escolares estn disponibles en documentos del Ministerio de Educacin. No existen datos sobre la opinin de los padres respecto a la educacin de las nias. En un estudio realizado hace 5 aos por el Ministerio de Conservacin del Suelo, se representaron en un mapa y se clasificaron las tierras afectadas por distintas formas de degradacin. Aunque los datos son antiguos, estn disponibles para el rea de la operacin, en la que durante los ltimos aos no se ha producido ningn tipo de desarrollo rural. Hace tres aos se recopil, en una encuesta nacional por hogares, informacin referente a la seguridad alimentaria, pero los clculos estn disponibles nicamente para el nivel regional. No se dispone de datos sobre posibilidades de generacin de ingresos.
Si desea orientarse con mayor detalle acerca de la utilizacin de datos secundarios, consulte el punto 8.3 Utilizacin de datos secundarios (mdulo 8).
7-9
Octubre de 2002
7.3.10 Elegir tcnicas de recopilacin de datos primarios

Una vez tomada la decisin de que se requieren datos primarios, debern elegirse las tcnicas para recopilar esos datos. Siempre existe una relacin entre los costos, la velocidad de recopilacin y la velocidad de anlisis, segn la tcnica seleccionada, pero todas ellas requieren un elevado nivel de conocimientos. No existen ni aproximaciones ni posibilidades fciles para obtener datos de buena calidad. Tal como se muestra en la figura 7.2, se sabe que el estudio por muestreo es la tcnica ms cara. Algunos aspectos concretos a considerar antes de seleccionar este mtodo son: La existencia de un marco de muestreo (listado de todas las unidades de estudio a partir de las cuales se extraer la muestra, tales como hogares, escuelas, localidades). Cuando no exista ste marco o sea discutible (p. ej. el listado de hogares procedente de un censo puede haber quedado obsoleto), ser necesario invertir significativamente en la elaboracin de uno nuevo. El tiempo, recursos y conocimientos necesarios para la introduccin y procesamiento de datos y su anlisis estadstico.
Orientacin en torno a tcnicas de recopilacin de datos Son pocos los estudios en los que se aplica una sola tcnica: los estudios participativos con frecuencia incluyen cuestionarios para encuestados individuales; a las reuniones en grupo muchas veces les siguen entrevistas individuales; las superficies de tierra pueden medirse con exactitud, mientras que la produccin se calcular a partir de los datos obtenidos de los agricultores. De lo que se trata es de elegir la herramienta adecuada para la labor que se desee realizar. Por ejemplo: Cuando se necesitan datos muy precisos obtenidos a partir de mediciones, tales como el aporte energtico para conocer el dficit nutricional, debern utilizarse entrevistas individuales y preguntas exactas o una tcnica de medicin especfica. Cuando lo que se necesita es informacin sobre la opinin o percepcin de las personas, y cuando son suficientes datos generales como p. ej. que el 25 % de los hogares se autoabastecen con alimentos durante 3 meses o menos, sern aceptables los datos procedentes de reuniones de un grupo temtico y debates abiertos. Como pauta general para la mayora de los estudios de referencia, cabe afirmar que las tcnicas participativas bien estructuradas y para las cuales est documentada meticulosamente la recopilacin de datos, sern suficientes para la mayora de las operaciones de la Federacin y de las Sociedades Nacionales. Es ste el caso, especialmente, en situaciones en las que adems se dispone de datos secundarios sobre pobreza y bienestar.
En el punto 8.2 Herramientas para la recopilacin de datos (mdulo 8) se ofrecen ms detalles sobre mtodos para la recopilacin de datos primarios.
7.3.11 Seleccionar la muestra o los lugares que se visitarn

En el caso de que sea necesario recopilar datos de referencia primarios, estudie el tamao que deber tener la muestra. Orientacin La estimacin del tamao de la muestra es una tarea que requiere un elevado nivel de conocimientos, por lo que para cualquier encuesta regular en la que se utilicen cuestionarios o estudio a gran escala por muestreo deber solicitarse asesoramiento profesional.
7-10
Octubre de 2002
Se pueden aplicar varias normas generales. A fin de disponer de suficientes datos sobre las unidades de estudio para poder informar acerca de los resultados de un lugar o servicio especficos, deber entrevistarse a un mnimo de 30 unidades. P. ej., 30 nios en una escuela o 30 madres que asisten a una clnica de seguimiento postparto. Para establecer comparaciones entre lugares o servicios, tales como entorno rural/entorno urbano, o entre una escuela y otra, ser mejor disponer de una muestra ms amplia, concretamente entre 60 y 100 unidades. Para unidades de estudio como comunidades, en las que las comparaciones debern establecerse entre distritos y tipos de operacin (p. ej. desarrollo del riego o de carreteras de acceso), debern seleccionarse no menos de 5 comunidades para cada categora (5 en el distrito 1, riego; 5 en el distrito 1, carreteras de acceso; 5 en el distrito 2, riego; 5 en el distrito 2, carreteras de acceso; etc.). A fin de evitar un posible sesgo resultante de la seleccin, es frecuente realizar un muestreo informal. P. ej., en una visita a un poblado, realice las encuestas en las viviendas 5, 10, 15, etc. avanzando en direccin norte a partir del centro del poblado o a partir de donde haya aparcado el vehculo. En reuniones, plantee preguntas a miembros del grupo seleccionndolos por cuadrantes. En un mercado, elija la muestra de comerciantes recorriendo transectos a travs del mercado y parando cada x comerciantes. Normalmente se utiliza un intervalo de confianza del 95 %, para asegurar que el error de muestreo sea aceptable. Sin embargo, los errores ajenos al muestreo (p. ej. errores en la medicin) con frecuencia constituyen un factor ms importante en la determinacin de la exactitud y precisin generales de los datos. Un intervalo de confianza amplio implica un tamao de muestra relativamente grande, con todos los costos que ello conlleva. Por ello, puede constituir una alternativa prctica reducir el intervalo de confianza requerido (p. ej. al 80 %), lo que resulta en un tamao ms pequeo de la muestra, e invertir despus parte de los fondos que se han ahorrado as en una formacin ms rigurosa del personal que trabajar sobre el terreno, a fin de reducir el riesgo de cometer errores ajenos al muestreo. La inclusin de grupos de comparacin en la muestra es una forma de inferir causalidad. Los grupos de comparacin son unidades de estudio no implicadas en la operacin y no afectadas por la misma, que permiten establecer una comparacin frente a los beneficiarios, es decir entre con y sin operacin. El problema consiste en determinar unidades de estudio que presenten las mismas caractersticas a las de las unidades afectadas por la operacin, a fin de que la comparacin sea pertinente. En el diagnstico rural participativo/rpido es crtica la seleccin de los lugares, pues es muy probable que a causa del tiempo y trabajo que deben invertirse en cada una de las visitas nicamente puedan visitarse pocos lugares. El nmero de lugares que pueden estudiarse depender de la disponibilidad del personal especializado del equipo y del tiempo que pueda invertir sobre el terreno. En cualquier caso, el principio de ignorancia ptima (optimal ignorance) sugiere que no es el nmero de lugares visitados lo que importa, sino su grado de representatividad. Para orientarse detalladamente acerca de la seleccin de lugares para el diagnstico rural participativo/rpido, consulte el RRA Manual (Manual de diagnstico rural rpido) de los Catholic Relief Services.
7.3.12 Preparar el plan de trabajo y presupuesto

Una vez decididos los detalles del estudio de referencia, debern resumirse en un plan de trabajo para el estudio y presupuestarse.
7-11
Octubre de 2002
Tabla 7.3: Ejemplo del contenido de un plan de trabajo para un estudio de referencia
Resumen (incluir calendario/diagrama de Gantt) Antecedentes y propsito del estudio Resumen de objetivos, indicadores y beneficiarios de la operacin Objetivos del estudio Preguntas y temas a estudiar Examen de fuentes de datos disponibles Recopilacin de datos Unidades de estudio Utilizacin de datos secundarios Tcnicas de recopilacin de datos Seleccin de muestra/lugares Diseo Diseo del cuestionario o de la lista de verificacin Plan para las pruebas Trabajo sobre el terreno El equipo de trabajo sobre el terreno Formacin necesaria Calendario para el trabajo sobre el terreno Plan para la supervisin Plan para verificar y archivar los datos Procesamiento y anlisis de datos Plan para el procesamiento y anlisis de datos Tablas de datos propuestas Formacin necesaria Notificacin e informacin de retorno Forma propuesta para el informe del estudio Plan para la presentacin de hallazgos Anexos: Presupuesto Documento del diseo de la operacin
Aunque no es posible orientar con exactitud acerca de los costos de la recopilacin de datos primarios de referencia, en un presupuesto para la recopilacin de datos de referencia posiblemente deban incorporarse las siguientes partidas:
7-12
Octubre de 2002
Tabla 7.4: Posibles partidas a incluir en el presupuesto para una estudio de referencia
Ttulo del presupuesto Personal
Lista de posibles partidas del presupuesto

Sueldos y dietas de personal Para asesores contratados Para personal destacado en el terreno implicado en la recopilacin de datos Para supervisores que trabajan sobre el terreno Para personal de introduccin y procesamiento de datos Para conductores Alquiler del local donde se impartir la formacin y alojamiento Transporte al terreno para realizar ejercicios de formacin prctica Alquiler de equipos didcticos Alimentos y bebidas Material didctico y artculos de papelera Gastos de operacin de vehculos Cualquier asignacin para el mantenimiento de motocicletas y bicicletas adquiridas especficamente para la realizacin del estudio Equipos de medicin (p. ej. balanzas, cintas mtricas, etc.) Material para personal destacado en el terreno (p. ej. carpetas sujetapapeles, calculadoras, etc.) Material informtico (p. ej. computadoras, programas, productos consumibles) Transporte (p. ej. bicicletas o motocicletas) Folios para cuestionarios o listas de verificacin (incluidos folios de reserva) Manuales (p. ej. para la recopilacin de datos, introduccin de datos, etc.) Informes pro forma para el seguimiento de la recopilacin de datos Bolgrafos, lpices, sacapuntas, borradores, reglas, etc. Produccin de informes Afiches Folletos Alquiler de locales para reuniones Publicidad por radio Difusin de los resultados del estudio (p. ej. mediante un taller) Considerar problemas inesperados y retrasos en el trabajo sobre el terreno
Formacin
Transporte Equipos
Papelera
Publicidad
Imprevistos
7-13
Octubre de 2002
7.4
Cmo analizar los datos y cmo elaborar informes a partir de los mismos
Sea cual sea el mtodo aplicado, los resultados de la recopilacin y anlisis de los datos de referencia debern presentarse en un informe interesante y bien estructurado. El exceso de detalles puede confundir y desviar la atencin de los principales hallazgos. Cuando el informe est mal redactado o estructurado, es probable que el valor de los datos pase desapercibido a los responsables de gestin de la operacin y a las personas encargadas de llevar a cabo posteriormente el seguimiento y evaluacin de la misma.
7.4.1 La presentacin es esencial

El informe de referencia deber proporcionar, en primer lugar, un breve resumen de los hallazgos, que ser distribuido a todas las partes involucradas. El resumen deber constar de una o dos pginas de puntos destacados, explicados con estadsticas claves que describan el estado de los principales indicadores. Se deber preparar un informe principal ms detallado que incluya un ndice de contenidos bien estructurado para orientar al lector y figuras y tablas en nmero moderado para mejorar la comprensin. Los datos fundamentales debern presentarse en tablas resmenes en la parte principal del informe. Los datos ms detallados se incluirn en anexos o se pondrn a disposicin previa peticin a aquellas personas que los necesiten, siempre y cuando se respete la confidencialidad de los mismos. Deber prestarse atencin a indicar posibles errores u omisiones en los resultados de referencia y el nivel de significancia de los hallazgos de cualquier estudio regular realizado. Las aportaciones de todas las personas participantes en el estudio de referencia debern agradecerse debidamente.
7.4.2 Tener en cuenta la relacin con el seguimiento

Debern hacerse recomendaciones para el plan de seguimiento durante la operacin y respecto a qu medidas es aconsejable adoptar para la recopilacin de datos segn la experiencia adquirida con el enfoque aplicado en la realizacin del estudio de referencia. De acuerdo con esta experiencia, qu puede y qu no puede medirse con el menor costo posible? Cules son las recomendaciones en cuanto a los indicadores de cambio ms sensibles para el tipo de operacin elegido?
7.4.3 Utilizacin de los resultados

Incluso cuando la obtencin de datos no se haya realizado de forma marcadamente participativa, s podrn hacerse as la discusin y la utilizacin de los hallazgos. As, a travs de talleres, reuniones sobre el terreno y medios de comunicacin locales se pueden validar y puntualizar los resultados de referencia y asegurar una mayor pertinencia. Resumiendo, el estudio de referencia deber utilizarse como herramienta de planificacin y los resultados debern considerarse en la revisin de la matriz de planificacin y utilizarse para disear planes de trabajo corregidos para el primer ao de la operacin.
7.4.4 Preparacin del informe

La funcin principal del informe del estudio de referencia es presentar datos que se utilizarn, en el futuro, para establecer comparaciones. El informe puede ser menos analtico que en los casos de estudios de planificacin o diagnstico, aunque siempre ser necesario realizar un cierto anlisis. En muchos casos, la elaboracin del informe del estudio de referencia se encargar a una tercera parte. En la preparacin de los informes debern considerarse los siguientes aspectos: Los resultados para todas las variables especificadas en el estudio debern presentarse para cada uno de los mbitos administrativos o de otro tipo de la operacin y de acuerdo con las unidades de estudio que se hayan determinado. 7-14
Octubre de 2002
Todos los datos debern presentarse en tablas bsicas que contengan un clculo adecuado de la tendencia central (media o mediana en el caso de nmeros cardinales, modo en el caso de datos ordinales o nominales), junto con una presentacin adecuada de la distribucin (distribucin de la frecuencia para datos ordinales o nominales, desviacin estndar para la media aritmtica, amplitud intercuartil para las medianas). Deber solicitarse a la organizacin que lleva a cabo el estudio y la recopilacin de datos que especifique tablas de datos antes de iniciar el trabajo. Cuanto ms detallados sean los datos, tanto ms probable es que el estudio alcance sus objetivos.
El informe deber estar estructurado de forma que se adapte a las circunstancias especficas de la operacin. An as, la tabla 7.5 sirve de orientacin general al respecto. Tabla 7.5: Ejemplo del contenido de un informe de un estudio de referencia
Resumen (incluir tabla de valores de referencia de los indicadores clave) Diseo del estudio Antecedentes y propsito del estudio Objetivos Alcance de las preguntas y temas Unidades de estudio Utilizacin de datos secundarios Eleccin de la tcnica Hallazgos Poblacin (clculos de la poblacin de inters en las reas beneficiarias) Beneficiarios seleccionados (clculos de grupos beneficiarios pertinentes) Indicadores clave de rendimiento pertinentes para la operacin (estructuracin de acuerdo con la estructura de la matriz de planificacin: participacin de grupos beneficiarios en las actividades; datos relativos al producto; datos relativos a las consecuencias) Comparaciones con datos de otras fuentes o de aos anteriores Comparaciones con datos del grupo de comparacin (en el caso de estar incluido en la muestra) Repercusin sobre el seguimiento y evaluacin Cuestiones relativas a la metodologa de recopilacin de datos Anexos de datos Tablas de datos resumidos segn unidades de estudio geogrficas u otras unidades de estudio pertinentes
7-15
Octubre de 2002
7.5
Prximas etapas estudios complementarios para el seguimiento y evaluacin
El propsito de la recopilacin de informacin de referencia es sentar las bases para el seguimiento y evaluacin posteriores. Por ello, en el informe de referencia debern determinarse mtodos y estrategias adecuados para la realizacin del seguimiento y evaluacin. Un ejemplo sencillo, que sirve para ilustrar esta relacin, es el del estado nutricional. La determinacin de las necesidades de alimentos en una situacin de emergencia puede incluir estudios nutricionales que proporcionen una referencia sobre el estado nutricional de la poblacin. Es importante que durante el diseo del estudio nutricional de referencia se considere qu tcnicas antropomtricas podran utilizarse que, a su vez, fueran tcnicas prcticas para ser incluidas en el sistema de seguimiento de la operacin. La utilizacin de una misma tcnica (p. ej., medicin de la circunferencia del antebrazo en menores de 5 aos) en el estudio nutricional de referencia y en el sistema de seguimiento, permite orientar los progresos durante la operacin ms eficazmente hacia el logro de los objetivos. Deber pensarse tambin sobre la necesidad de realizar o no un estudio complementario y sobre cundo sera el momento adecuado para realizarlo. Cuando est prevista una fase posterior de la operacin, puede ser necesario elaborar un estudio complementario mientras se est ejecutando la operacin p. ej. como preparacin para la planificacin o misin de apreciacin para la siguiente fase. En el caso de operaciones que se estn concluyendo, el estudio complementario deber realizarse inmediatamente antes o despus de su conclusin, a fin de poder determinar todo su impacto. Los datos obtenidos en el estudio complementario se comparan entonces directamente con los datos de referencia, a fin de determinar las diferencias - cul era la situacin anteriormente? cul es la situacin en la actualidad? Los datos necesarios para establecer la comparacin entre antes y despus (o con y sin en el caso de utilizar un grupo de comparacin) pueden proceder del sistema de seguimiento. En este caso, los costos del estudio complementario sern considerablemente inferiores a los del estudio de referencia inicial. No obstante, en caso de no ser as, el estudio complementario supondr unos costos similares, en trminos reales, al estudio de referencia. En el caso de operaciones de emergencia y de desarrollo, al obtenerse los datos de referencia generalmente a partir de evaluaciones preliminares, los datos de seguimiento podrn obtenerse a partir de estimaciones posteriores. Al final de la operacin puede seguir existiendo la necesidad de llevar a cabo una estimacin final como parte de la evaluacin, a fin de determinar si se han alcanzado los objetivos.
7-16
Octubre de 2002
ENSEANZAS EXTRADAS DEL MDULO 7 DISEO DEL ESTUDIO

ANTECEDENTES DEL ESTUDIO RECOPILACIN DE DATOS DISEO DE LA INVESTIGACIN TRABAJO SOBRE EL TERRENO PROCESAMIENTO DE DATOS NOTIFICACIN E INFORMACIN DE RETORNO
7-17
Mdulo 8: Herramientas para la recopilacin de datos
Octubre de 2002
8.
Herramientas para la recopilacin de datos
En este mdulo se presentan algunos conceptos bsicos y definiciones relativos a la recopilacin y anlisis de datos y se ofrece un resumen de las herramientas y mtodos disponibles en este mbito. Se proporcionan, adems, vnculos para material de referencia clave disponible tanto dentro de la Federacin y las Sociedades Nacionales como fuera de ellas, en el que puede encontrarse el cmo... detallado para cada una de las herramientas indicadas.
8.1
Conceptos y definiciones
8.1.1 Datos, informacin y calidad

Datos es un trmino asignado a hechos o cifras sin procesar que, por s solos, tienen poco valor. Pueden ser todo, desde una cifra o nmero a un nombre o acontecimiento. Estamos tan acostumbrados a asociar los datos con hechos, que con frecuencia nos resulta difcil comprender los datos en su forma ms simple. Puede que esto resulte ms claro al considerar el siguiente ejemplo: Podemos disponer de dos componentes de datos: Nairobi (un nombre) y 652467 (una cifra). Cada uno de los dos constituye meramente un dato y significa poco para nosotros. Sin embargo, juntos, Nairobi 652467, ya resultan ms tiles, pues relacionan entre s dos asuntos, y con un poco de imaginacin podemos deducir que se trata de un nmero de telfono en Kenia. An resultara ms til si dispusiramos, adems, de datos relativos a las seas y a quin reside all. Sin estos datos, la informacin es de muy poco valor la informacin est constituida por datos cuya utilidad viene determinada por su pertinencia y significado, resultantes de su procesamiento.
datos
procesamiento
informacin
El objetivo de la informacin es aumentar los conocimientos del usuario y reducir sus dudas, lo cual slo puede alcanzarse cuando la informacin es de calidad. La palabra calidad hace referencia, en este lugar, a las caractersticas que deber exhibir la informacin a fin de resultar til para tomar decisiones racional y eficazmente. Concisin La informacin deber estar refinada y resumida de tal manera que ofrezca al usuario precisamente lo que necesite, ni ms ni menos. Toda informacin superflua significa almacenaje, procesamiento y asimilacin adicionales y, con ello, decisiones de peor calidad. Integridad En la medida de lo posible, toda la informacin deber presentarse en un slo documento, a fin de prevenir la prdida de tiempo y la interpretacin errnea de datos interrelacionados. Exactitud/seriedad La informacin suministrada deber ser suficientemente exacta para el propsito al que se destina. Elevar el nivel de exactitud incrementa los costos, mientras que no siempre aumenta el valor de la informacin. P. ej., saber que el tamao medio de las familias es de 4,7 personas no resulta ms til que saber que el valor se encuentra entre 4 y 5. 8-1
Octubre de 2002
Oportunidad La informacin puede ser muy exacta, pero si se suministra con retraso carecer de valor. Cuando no pueda alcanzarse la exactitud deseada en el tiempo disponible, deber establecerse un compromiso entre la velocidad de suministro y la exactitud de la informacin. Buena presentacin El usuario debe poder asimilar la informacin con rapidez. Con frecuencia, una presentacin deficiente puede ocultar el mensaje que pretende transmitir la informacin. La utilizacin de figuras, grficos y otros diagramas contribuye a facilitar la asimilacin de la informacin, pero deber tenerse cuidado de asegurar que cada uno de ellos transmita el mensaje deseado. Pertinencia Solamente tiene valor la informacin que es importante para las decisiones que deben tomarse. Cuando no existe una relacin entre la informacin suministrada y los requisitos por parte de la toma de decisiones (p. ej. proporcionando informacin inadecuada, demasiada informacin o informacin con un nivel de detalle inapropiado), se socavar el valor de la informacin. Rentabilidad Como recurso en el proceso de toma de decisiones, la informacin posee un costo y un valor. Costos en cuanto a los recursos invertidos en recopilar y procesar los datos, y valor en cuanto a los beneficios ms amplios derivados de una decisin correcta tomada de acuerdo con los hallazgos.
8.1.2 Exactitud, precisin y sesgo

Imagine a un responsable de realizar un seguimiento de ayuda alimentaria que desee determinar el precio del maz en los mercados locales. Esta persona registra el precio de una cantidad de maz pesada en una muestra de comerciantes de una muestra de mercados locales. Si la oscilacin de los precios registrados es amplia, el precio medio calculado probablemente no sea preciso. Si las balanzas utilizadas para pesar no estn correctamente calibradas, el clculo no ser exacto. Los datos inexactos conducen a un sesgo en los resultados, situacin que puede verse adicionalmente exacerbada si la muestra de mercados seleccionados no era representativa p. ej. nicamente mercados de poblaciones ms grandes, en los que los precios pueden ser ms elevados que en los mercados de reas ms remotas. La precisin se refiere al grado de confianza con el cual el clculo obtenido en el estudio representa el valor real de la poblacin. En las estadsticas se utiliza para referirse a la proximidad de un clculo obtenido a partir de la muestra a la media de la distribucin de la muestra. La exactitud se refiere al grado con el cual el clculo obtenido en el estudio se ajusta a la situacin real de la poblacin en su conjunto. En las estadsticas se utiliza para referirse a la proximidad con la que el clculo obtenido a partir de la muestra se ajusta al valor real de la poblacin. El sesgo significa que la situacin se representa desde una determinada perspectiva. En las estadsticas se utiliza para referirse a la diferencia entre la media de la distribucin de la muestra de un estimador y el valor verdadero de la poblacin.
Por muy cientficos que sean los mtodos utilizados, ninguna investigacin carece completamente de sesgo. El proceso de diseo y realizacin de un ejercicio de recopilacin de datos y el anlisis de los mismos se vern influenciados por la experiencia, percepciones e hiptesis del investigador, as como por las herramientas aplicadas y estrategias seguidas para la seleccin de la muestra y la recopilacin de datos. El sesgo puede producirse en una o varias de las tres etapas de diseo, recopilacin de datos y anlisis de los mismos: Sesgo producido en la etapa de diseo Independientemente de la herramienta utilizada para recopilar los datos (encuesta regular, investigacin rpida o participativa), es posible que 8-2
Octubre de 2002
la muestra seleccionada no represente a la poblacin que pretende presentar. P. ej., el punto de vista de los hombres puede ser distinto al de las mujeres; las poblaciones situadas cerca de carreteras pueden poseer problemas diferentes a los de poblaciones ms remotas; etc. Sesgo producido en las mediciones Las preguntas pueden plantearse de forma capciosa; la medicin directa puede realizarse de forma incorrecta; la actitud del entrevistador puede influir en la forma de plantear las preguntas y de registrar las respuestas. Sesgo producido en el anlisis Puede ocurrir que los datos no estn desglosados debidamente; formas diferentes de analizar los datos pueden generar resultados diferentes.
En la eleccin de los mtodos de recopilacin de datos con frecuencia deber llegarse a un compromiso entre exactitud y precisin. Sin embargo, en todo momento y para todos los mtodos es imprescindible evitar o tratar de solucionar el sesgo. Si desea obtener una explicacin ms detallada acerca del sesgo en el contexto del diagnstico rpido o participativo, consulte Methodological Principles (RRA Manual (Manual de diagnstico rural rpido) de los Catholic Relief Services, Volume I, Part II).
8.1.3 Mtodos cuantitativos y cualitativos

Los datos cuantitativos se presentan en forma de cifras (259 nias se graduaron del nivel 8) y los mtodos cuantitativos ayudan a responder a preguntas tales como quin, cunto, cuntos. Para suministrar clculos precisos de las variables estudiadas (frecuencias, medias, intervalos, etc.), pueden realizarse anlisis estadsticos. Los datos cualitativos se presentan en forma de palabras (la chica/entrevistada afirm que la racin que reciba era montona, pero que era ms de lo que hubiera recibido en caso de permanecer en su casa) y los mtodos cualitativos ayudan a dar respuesta a preguntas como cmo y por qu. Se trata ms bien de explicar significados, procesos, motivos y comentarios. Puede resultar confuso, pero los mtodos cualitativos pueden generar datos cuantitativos. P. ej., durante una entrevista en grupo realizada para determinar el papel desempeado por las mujeres en los comits de distribucin de alimentos en el marco de un programa de alimentacin escolar, la mayora de las mujeres defendi el punto de vista de que las decisiones eran coherentes con su propia percepcin en cuanto a las prioridades de la distribucin de alimentos (informacin cualitativa). Cuando se les pidi que valoraran el grado de su influencia frente a una escala definida, el 67 % de las mujeres valor su influencia como eficaz (informacin cuantitativa). Las tcnicas cuantitativas resultan tiles en las siguientes situaciones: cuando se requieren datos exactos y precisos; cuando se vayan a utilizar clculos para generalizar acerca del comportamiento de la poblacin en su conjunto (p. ej. mediante la utilizacin de intervalos de confianza); para comprobar si entre las variables existe una relacin que pueda demostrarse en un anlisis estadstico; para producir datos que demuestren que existe un problema concreto o para justificar una determinada estrategia; para determinar las caractersticas de una poblacin (p. ej. durante una encuesta de referencia).
Si desea consultar material til con explicaciones sobre tcnicas cuantitativas, consulte las referencias de mtodos para la realizacin de estudios regulares por muestreo.
8-3
Octubre de 2002
Las tcnicas cualitativas son tiles cuando: se desea adquirir un conocimiento profundo sobre un tema concreto; se necesita disponer de informacin acerca de lo que piensan las personas en relacin con una situacin determinada y conocer sus prioridades; se desea entender por qu las personas se comportan de cierta manera; es necesario confirmar o explicar hallazgos cuantitativos obtenidos de un estudio previo o a partir de datos secundarios; hay escasez de recursos y tiempo.
Si desea consultar material til con explicaciones sobre tcnicas cualitativas, consulte las referencias de mtodos rpidos y participativos. Aunque pueda parecer que los mtodos cuantitativos y los cualitativos se sitan, respectivamente, en los dos extremos de la gama de mtodos de recopilacin de datos, pueden, de hecho, ser complementarios. P. ej., los mtodos cualitativos pueden utilizarse para examinar determinadas cuestiones durante las primeras etapas de un estudio ms largo, permitiendo a los investigadores entender mejor las preguntas que deben plantearse como parte de un estudio cuantitativo. A la inversa, los mtodos cuantitativos pueden destacar determinadas cuestiones que, posteriormente, podrn estudiarse con ms detalle aplicando mtodos cualitativos. Para consultar ejemplos sobre cmo combinar indicadores cuantitativos y cualitativos, vase el captulo III. Data issues en el International Federation and National Societies Indicator Menu.
8.1.4 Ignorancia ptima

La expresin ignorancia ptima (optimal ignorance) ha surgido a partir del desarrollo de tcnicas rpidas y participativas y se refiere al compromiso que se establece entre, por una parte, el deseo de disponer de informacin exacta y precisa y, por otra parte, la oportunidad de la informacin y los costos de la recopilacin de datos. Est respaldada por los siguientes principios: Hablar con las personas adecuadas La buena informacin no viene determinada por el nmero de personas con las que se conversa, sino por la diversidad de informantes y su capacidad para describir una situacin. Coherencia y entendimiento La confianza en los datos no surge a partir de la cantidad de datos recopilados, sino por la coherencia de la informacin suministrada por los informantes y por el entendimiento que sta proporciona al investigador. Exactitud o precisin? - No es necesario ser precisos al 100 %. Conocer que el tamao medio de las familias es de 5,4 miembros probablemente no resulte de mayor utilidad que saber que la media se encuentra entre 5 y 6 miembros, e incluso es probable que para obtener la cifra ms precisa haya que invertir considerablemente ms tiempo y recursos. Evitar el exceso de informacin No es necesario saberlo todo, incluso aunque sea interesante. En cualquier caso, es imposible saberlo todo acerca de las personas y sus comunidades. Debemos ser capaces de entender su complejidad, ms que de documentar sus caractersticas.
8-4
Octubre de 2002
8.2
Herramientas para la recopilacin de datos
Si desea obtener informacin especfica relativa a herramientas adecuadas para recopilar datos en situaciones de emergencia, consulte el captulo 2 del International Federation and National Societies Emergency Field Operations Pocketbook (Cuaderno de la Federacin y las Sociedades Nacionales para operaciones de emergencia sobre el terreno) (prxima publicacin).
8.2.1 Qu es el diagnstico rpido?

Los mtodos de diagnstico rpido son medios rpidos y de bajo costo para recopilar sistemticamente datos en apoyo de las necesidades de informacin del personal de gestin. Estos mtodos se sitan en el punto medio entre los mtodos nada formales, como las visitas al terreno, y los mtodos altamente formales, tales como los estudios por muestreo, y generan datos cualitativos. El diagnstico rpido comparte numerosas caractersticas con el diagnstico participativo (triangulacin, equipos multidisciplinarios, etc.) y se fundamenta en el reconocimiento de que los conocimientos que poseen las personas que viven en el rea del estudio constituyen una aportacin vital para el proceso de toma de decisiones de gestin. En los dos enfoques es importante la funcin facilitadora del equipo de diagnstico. El equipo, ms que relatar debe escuchar, ms que dictar trminos y condiciones debe crear situaciones a partir de las cuales pueda aprenderse, y ms que controlar debe facilitar. Tabla 8.1: Puntos fuertes y limitaciones del diagnstico rpido frente a mtodos regulares
Puntos fuertes
Bajo costo Normalmente se utiliza una muestra ms pequea y el enfoque es ms concentrado que en el caso de los estudios por muestreo, por lo que el diagnstico rpido puede llevarse a cabo por un costo muy inferior al de los mtodos regulares. Rpida produccin de datos Con los mtodos de diagnstico rpido pueden, en das o semanas, recopilarse y analizarse datos y elaborarse informes pertinentes para los responsables de la toma de decisiones. Esto no es posible con los estudios por muestreo. Para los responsables de la toma de decisiones, quienes muy pocas veces pueden permitirse retrasar la toma de decisiones a la espera de informacin, son ventajosos los mtodos de diagnstico rpido. Anlisis en profundidad Son buenos mtodos en cuanto a que proporcionan un entendimiento profundo de sistemas o procesos socioeconmicos complejos. Los mtodos regulares, centrados en proporcionar informacin cuantificable, no sitan adecuadamente los fenmenos sociales y econmicos en su contexto. Flexibilidad Los mtodos de diagnstico rpido permiten a los evaluadores examinar nuevas ideas y cuestiones pertinentes que pueden no haberse previsto en la planificacin del estudio. En los estudios por muestreo, una vez diseado el cuestionario y emprendido el estudio, no son posibles estos cambios. Exactitud Los pequeos estudio por muestreo, como herramienta de diagnstico rpido, pueden suministrar informacin exacta a partir de pequeas muestras, pero es posible que est sesgada, de ah la necesidad de aplicar la triangulacin (vase Precisin en la columna de al lado).
Limitaciones
Fiabilidad y validez Es posible que la informacin generada carezca de fiabilidad y validez debido a las tcnicas de muestreo informales, al sesgo resultante de la actuacin de los evaluadores o entrevistadores, y por dificultades en el registro, codificacin y anlisis de datos cualitativos. Para reducir el sesgo resultante de la recopilacin de datos, pueden aplicarse tcnicas tales como la triangulacin. Precisin La mayora de los mtodos de diagnstico rpido generan informacin cualitativa. Incluso cuando se producen datos cuantitativos (p. ej. en un pequeo estudio por muestreo), no es posible generalizarlos con precisin, pues los datos normalmente se basan en muestras no representativas. As, el diagnstico rpido puede mostrar que muchas mujeres no van a una clnica, pero no proporcionar un clculo acerca del porcentaje de mujeres que no lo hacen. Credibilidad La mayora de los responsables de la toma de decisiones quedan ms convencidos con cifras precisas que con afirmaciones descriptivas cualitativas. Por ejemplo, el resultado de una encuesta, de que el 83 % de las mujeres de cierta comunidad estaban satisfechas con los servicios prestados por una clnica, probablemente tendr ms peso que la conclusin, basada en entrevistas a informantes claves, de que la mayora de las mujeres parecan estar satisfechas.
8-5
Octubre de 2002
Entre los mtodos utilizados con mayor frecuencia se incluyen: Entrevistas a informantes claves: Implica entrevistas a 15-35 personas seleccionadas por sus conocimientos y para reflejar diferentes puntos de vista. Las entrevistas son cualitativas, detalladas y semiestructuradas. Se utilizan guas de entrevista con una lista de temas, pero las preguntas se formulan durante la entrevista aplicando tcnicas ingeniosas de sondeo. Grupos temticos: Varios grupos homogneos, de 8 a 12 participantes cada uno de ellos, que discuten temas y experiencias. Un moderador presenta el tema, estimula y enfoca la discusin, y evita que unos pocos la dominen. Entrevistas a la comunidad: Se realizan en reuniones pblicas abiertas a todos los miembros de la comunidad. Los participantes interaccionan con el entrevistador, que preside la reunin y plantea preguntas segn una gua de entrevista cuidadosamente preparada. Observacin directa: Equipos de observadores documentan lo que observan y escuchan en el lugar de una operacin, utilizando para ello un formulario detallado de observacin. Se puede observar el entorno fsico o actividades, procesos y discusiones en curso. Pequeos estudios por muestreo: Incluyen entrevistas a 25-50 personas, normalmente seleccionadas utilizando tcnicas de muestreo no probabilstico. Se utilizan cuestionarios estructurados que se centran en un nmero limitado de preguntas cerradas. Generan datos cuantitativos que frecuentemente pueden recopilarse y analizarse con rapidez. Herramientas de visualizacin: Incluyen la elaboracin de mapas, diagramas, calendarios, programas y otras tcnicas no verbales de documentacin de datos. Se incita a los participantes a elaborar respuestas visuales a preguntas planteadas por los entrevistadores, p. ej. la elaboracin de un mapa del rea en el que residen. Son especialmente tiles para conocer los puntos de vista de los habitantes del lugar en relacin con ciertos temas y para obtener respuestas de personas o grupos que normalmente evitaran participar en una discusin ms formal.
8.2.2 Qu es el diagnstico participativo?

En la Federacin y las Sociedades Nacionales, la participacin se define como enfoque centrado en las personas, con el que se tiene la mayor probabilidad de obtener buenos resultados, pues posee el potencial para fortalecer la voz de las personas ms vulnerables. La participacin incluye a mujeres y hombres, y les permite influir en su seguridad alimentaria a travs de procesos de desarrollo de su autonoma. Estos procesos incrementan los conocimientos y aptitudes y, con ello, promueven la autosuficiencia. Como mnimo, ello implica realizar consultas, intercambiar conocimientos y adoptar medidas equitativas para compartir los beneficios. La participacin implica un cambio en la actitud adoptada por la Federacin, las Sociedades Nacionales y sus asociados ejecutores hacia una nueva situacin en la que se comparta el control con los beneficiarios (traspasar la batuta, como declar Robert Chambers) y un reconocimiento explcito de la importancia asociada a la descripcin de los procesos seguidos para planificar y ejecutar operaciones. Las herramientas participativas son los medios a travs de los cuales puede llevarse a la prctica este enfoque. El diagnstico participativo es el trmino utilizado para describir un proceso y un conjunto de tcnicas de recopilacin y anlisis de datos cualitativos. Mientras que un diagnstico rpido es un estudio discreto, el diagnstico participativo es un proceso extenso que puede durar meses o aos, segn vayan desarrollando las comunidades su propia capacidad necesaria para abordar cuestiones, analizar posibilidades y llevar a cabo actividades. Frecuentemente, no se hace hincapi tanto en la informacin como en el proceso y en la bsqueda de formas de implicar a la comunidad en la planificacin y en la toma de decisiones. La principal caracterstica de las herramientas participativas es su atencin especial a la toma de decisiones participativa, permitiendo as a los beneficiarios y partes interesadas analizar su propia 8-6
Octubre de 2002
situacin y no que sean personas externas las que la analicen. Ello no implica la exclusin o marginacin de personas externas. Ms bien se reconoce que stas deben adquirir los conocimientos sobre determinadas situaciones a partir de las personas internas, y que stas son capaces de analizar sus propios problemas. Las herramientas y el enfoque se inspiran en tcnicas desarrolladas en mbitos tales como la antropologa aplicada y suministran un medio para analizar las complejas relaciones y actividades interrelacionadas presentes en grupos y comunidades. En los siguientes puntos se resumen algunas caractersticas fundamentales de las herramientas participativas, muchas de ellas comunes a las de las tcnicas rpidas: Triangulacin Hace referencia al proceso de verificacin de la informacin. Para la triangulacin se utilizan equipos multidisciplinarios compuestos por miembros con diferentes conocimientos, experiencia y puntos de vista; se aplican diferentes herramientas y tcnicas para recopilar y analizar los datos; y se consultan diferentes fuentes de informacin en relacin con un mismo problema. De este modo, pueden determinarse la fiabilidad y sesgo de los resultados y, cuando sea necesario, podr actuarse al respecto. Enfoque multidisciplinario Personas con conocimientos, experiencias y opiniones diferentes buscarn y encontrarn aspectos diferentes, y el equipo en su conjunto obtendr nuevos y ms detallados puntos de vista. Siempre debern incluirse en el equipo mujeres, as como miembros de la comunidad o grupo en cuestin. Tcnicas mixtas La utilizacin de varias tcnicas proporciona ms detalle a la informacin recopilada. Normalmente, el equipo intentar utilizar una mezcla de tcnicas de entrevista y discusin, elaboracin de diagramas y mapas, y observacin directa. Comunidad La mayora de las actividades se llevan a cabo conjuntamente con miembros de la comunidad o del grupo, o las realizan por s solos la comunidad o el grupo. Ignorancia ptima Se adopta un enfoque rpido, aunque menos preciso, encontrndose un equilibrio entre el grado de precisin que se pretende alcanzar y el tiempo y recursos disponibles. Debern evitarse detalles o exactitud innecesarios, pues se incrementara la carga de la recopilacin y anlisis de datos y se pondra en peligro la oportunidad e idoneidad de los hallazgos. Si desea obtener informacin adicional al respecto, consulte el punto 8.1.2 Exactitud, precisin y sesgo. Flexibilidad y anlisis sobre el terreno Los planes y mtodos son semiestructurados y se discuten y modifican a medida que va avanzando la labor sobre el terreno. El equipo revisa y analiza constantemente los hallazgos para decidir cmo continuar. A medida que van aumentando los conocimientos, se van situando ms claramente en el centro de atencin nuevas cuestiones y hallazgos imprevistos, y se pueden revisar los planes y mtodos. Compensar el sesgo El equipo deber intentar permanentemente determinar posibles fuentes de error o sesgo y ver cmo influyen sobre los hallazgos. Los puntos de vista debern obtenerse de una muestra representativa de la comunidad o grupo, incluyendo a mujeres, nios y otros grupos vulnerables. Para ello puede ser necesario impartir formacin especializada en conocimientos relativos a la sensibilizacin en materia de gnero, comunicacin con nios, etc.
La facilitacin es fundamental para lograr buenos resultados en el diagnstico participativo, y las funciones desempeadas por los miembros del equipo son cruciales. Por una parte son importantes para activar el inters de la comunidad al principio del ejercicio y para mantener su entusiasmo durante el mismo. Pero el equipo representa tambin el principal peligro para alcanzar el xito, concretamente a travs de la posible introduccin de sesgo profesional o por un entusiasmo exagerado que puede abatir la iniciativa propia de los miembros comunitarios.
8-7
Octubre de 2002
8.2.3. El inventario comunitario una herramienta prctica y rentable para la recopilacin de datos
El inventario comunitario constituye una herramienta til en los casos en que escasean los recursos y el tiempo para recopilar datos y cuando la operacin se centra en comunidades. Se trata de un mtodo prctico y rentable que pueden aplicarlo empleados gubernamentales y organismos ejecutores tales como ONG. Con este mtodo se documentan los siguientes tipos de datos: Lugar, poblacin, activos naturales y bienes creados por el hombre, y acceso a instalaciones y servicios. Determinacin de la existencia de grupos especficos dentro de la comunidad, tales como personas mayores, familias con hurfanos a causa del SIDA, personas de determinados grupos tnicos o castas, personas con bajo nivel de bienestar, y tamao y caractersticas de estos grupos. Opiniones de grupos de la comunidad respecto a problemas y sus posibles soluciones.
El inventario comunitario puede realizarse mediante una investigacin participativa, y muchos pases cuentan con personal de departamentos gubernamentales, ONG, personal universitario y asesores experimentados en este tipo de trabajo.El inventario deber elaborarlo un equipo de dos o tres entrevistadores, que necesitar entre dos y tres das por comunidad. En la tabla 8.3 se resumen las tcnicas especficas para cada tipo de datos. Los resultados que se obtienen en un inventario de este tipo pueden aprovecharse de diferentes maneras: como referencia especfica para comunidades o pueblos que participan en la operacin; como fuente de informacin para planificar la operacin de la Federacin y las Sociedades Nacionales y determinar hogares o grupos beneficiarios; como parte de un proceso para establecer un plan de organizacin y desarrollo comunitarios; para establecer comparaciones durante las visitas al terreno y otras formas de contacto con beneficiarios.
8-8
Octubre de 2002
Tabla 8.3: Datos y fuentes de datos (los mtodos recomendados estn sombreados)
Datos Fuentes de datos clasificadas segn grado de exactitud Alto Medicin Bajo Clculo mediante mediante Documentos guardados por el Censo comunitario comit comunitario o consejo local, actualizados a partir del recuento ms reciente
Observaciones Para la mayora de los propsitos, resulta adecuado disponer de datos de la poblacin en intervalos amplios de edades (p. ej. 20-45 aos) para la planificacin y seguimiento de la operacin; es deseable disponer de datos desglosados por sexo. Las unidades locales pueden ser fidedignas, pero debe examinarse su conversin a unidades del sistema internacional.
Poblacin
Activos naturales (tierras forestales, tierras de regado, rboles forrajeros, pastos comunales, rboles para lea, corrimientos de tierra, erosin del suelo, fuentes de agua, etc.)
Bienes creados por el hombre (clnicas, escuelas, centros comunitarios, molino de cereales, puentes, mercados, etc.) Acceso a servicios bsicos (disponibilidad de saneamiento y electricidad, abastecimiento por red de agua, etc.) Acceso a servicios bsicos (dispensario, polica, ayuntamiento, trabajadores de divulgacin y veterinarios, herrera, correos, caja de ahorros/crdito) Colaboracin actual o reciente con organismos de desarrollo
Clculo de tamaos y mapa del lugar en unidades de medicin locales, procedentes de una reunin en grupo, comprobados recorriendo transectos a travs de la comunidad y frente a documentos del consejo o gubernamentales. Lista elaborada en discusin con el comit o dirigentes locales, verificacin visual Lista elaborada en discusin con el comit o dirigentes locales, verificacin visual Lista elaborada en discusin con el comit o dirigentes locales, verificacin visual
Estudio con cinta mtrica y brjula relativo a superficie de las tierras, recuento de rboles, etc.
No disponible normalmente
Datos sencillos para entender la situacin general y de bienestar de la comunidad. Datos sencillos para entender la situacin general y de bienestar de la comunidad. Datos sencillos para entender la situacin general y de bienestar de la comunidad.
Opinin de los beneficiarios relativa a problemas y sus soluciones
Identificacin de grupos sociales en la comunidad
Preguntar acerca de actividades recientes en reunin con comit o dirigentes locales. Verificacin visual con varios grupos sociales. Respuesta de reunin en grupo de la comunidad, verificada en reuniones de seguimiento con miembros de diferentes grupos sociales. Elaboracin de mapas sociales del lugar con miembros comunitarios.
Contactar a responsables locales de organismos que trabajan en la zona para investigar las actividades. Encuesta por hogares
Censo comunitario completo
Ingresos de hogares
Encuesta por hogares mediante visita nica, con investigacin acerca de niveles generales de gastos e ingresos.
Encuesta por hogares mediante visitas mltiples acerca de ingresos y gastos.
Buena prctica para establecer contacto con otros organismos, a fin de asegurar que no exista incompatibilidad con la labor a la que brindan apoyo la Federacin y las Sociedades Nacionales. Siempre existe el peligro de que las opiniones recogidas de los grupos estn influenciadas por una minora. Esto puede evitarse mediante triangulacin y verificacin. Las dos tcnicas requieren una gran inversin de tiempo; los mapas sociales se ajustan bien a un transecto de la localidad y surgen naturalmente de las reuniones en grupo. Es muy difcil obtener datos fidedignos sobre ingresos. Normalmente es mejor aferrarse a clculos generales de mejoras o empeoramiento, ms que a valores cuantificados.
8-9
Octubre de 2002
8.2.4 Qu es un estudio por muestreo?

En un estudio por muestreo se estudia, en lugar de toda la poblacin, parte de la misma. Se trata de un mtodo cuantitativo para suministrar respuestas precisas y basadas en un anlisis estadstico a preguntas cuidadosamente determinadas sobre temas estudiados detalladamente con antelacin. Las muestras ms fiables se extraen aleatoriamente, utilizando tcnicas cientficas, pues la teora estadstica permite predecir la precisin de los resultados, y los hallazgos pueden generalizarse para la poblacin a partir de la cual se seleccion la muestra. Entre los requisitos para llevar a cabo un estudio regular por muestreo, se incluyen: conocimientos y experiencia en el diseo de estudios por muestreo, muestreo y estadstica; personal para la recopilacin de datos (personal destacado en el terreno o entrevistadores) que sepa leer y escribir, que posea conocimientos bsicos de aritmtica y que sea capaz de establecer una relacin con los entrevistados durante las entrevistas; experiencia con las condiciones reinantes sobre el terreno a fin de asegurar que los mtodos de muestreo sean prcticos; preparacin, planificacin y ejecucin adecuadas, lo que incluye realizar un estudio piloto para poner a prueba el cuestionario; capacitacin y supervisin adecuadas del personal que trabaja sobre el terreno.
En los estudios por muestreo, en general, se utilizarn tcnicas de medicin (p. ej. medida del peso por altura de los nios para determinar su estado nutricional), tcnicas de entrevista (p. ej. preguntar al entrevistado cuntas comidas ha ingerido durante la ltima semana y de qu alimentos se trat), o una combinacin de ambas. Los hallazgos se basarn en los resultados cuantitativos, pero para entender ms profundamente determinadas cuestiones puede hacerse uso de mtodos cualitativos. Los estudios por muestreo pueden ser acontecimientos nicos (p. ej. para diagnosticar las causas de un problema concreto), parte de un programa o de una serie de estudios, o realizarse para establecer una comparacin con otros estudios (p. ej. antes y despus del anlisis realizado para la evaluacin frente a una referencia). En la tabla 8.4 se presentan los puntos fuertes y dbiles de los estudios regulares por muestreo.
8-10
Octubre de 2002
Tabla 8.4: Puntos fuertes y dbiles de los estudios por muestreo

Puntos fuertes Los estudios por muestreo suministran respuestas precisas y basadas en un anlisis estadstico a preguntas cuidadosamente determinadas. La exactitud de los resultados puede verificarse comprobando los mtodos utilizados y los clculos estadsticos realizados. La utilizacin de una muestra aleatoria significa que se establecer contacto con personas u hogares de diferentes lugares. Los mtodos de anlisis son claros y pueden ser relativamente rpidos, especialmente cuando el estudio se lleva a cabo sobre el terreno y con la ayuda de computadoras porttiles. Los hallazgos pueden apoyar un argumento o hiptesis demostrando la magnitud y gravedad de un problema. Los estudios por muestreo permiten establecer comparaciones entre diferentes grupos de un mismo estudio o con los de otros estudios en los que se hayan aplicado mtodos similares (p. ej. un estudio de referencia y otro complementario). Puntos dbiles Se requiere una cantidad considerable de recursos (personal, vehculos, combustible, computadoras, etc.), lo que significa que realizar estudios por muestreo resulta caro. Para llevar a cabo un estudio por muestreo pueden ser necesarias varias semanas o incluso meses. La recopilacin de datos puede resultar molesta e inconveniente para las personas entrevistadas. Uno de los problemas que pueden surgir es la falta de cooperacin, que puede provocar la obtencin de resultados no fidedignos. Con frecuencia, los estudios por muestreo se planifican y los datos se analizan lejos del lugar del estudio, y con poca o ninguna participacin de los habitantes del lugar. El trabajo con cuestionarios estructurados impide llevar a cabo discusiones relajadas. Los estudios por muestreo estn enfocados a variables predeterminadas y frecuentemente slo permiten una variedad limitada de respuestas. Cuando el diseo es deficiente, es posible que en el estudio se ignoren importantes vas de investigacin o respuestas inesperadas que podran resultar cruciales para los hallazgos del estudio. El anlisis de grandes cantidades de datos numricos requiere mucho tiempo y personal especializado. Existe el peligro de que gran parte de los datos recopilados no se analicen o utilicen eficazmente. Cuando se usan de forma incorrecta las herramientas de recopilacin y anlisis de datos, es posible que los resultados no sean vlidos. Los estudios por muestreo estn diseados para probar o negar aquello que piensan los diseadores, por lo que es importante examinar crticamente los mtodos aplicados y las conclusiones sacadas.
Fuente: Toolkits: A Practical Guide to Assessment, Monitoring, Review and Evaluation, Save the Children Fund, 1995
En el diseo de los estudios por muestreo resultan fundamentales el marco de muestreo y el tamao de la muestra. El marco de muestreo es la poblacin o universo de las unidades de muestreo (hogares, escuelas, explotaciones agrarias, menores de cinco aos en un campamento de refugiados, etc.) a partir de la cual se seleccionar la muestra. Los marcos de muestreo pueden elaborarse a partir de fuentes existentes (p. ej. un mapa de reconocimiento areo) o especialmente para el estudio (p. ej. preparando una lista de todos los hogares del rea de estudio). Sin embargo, la elaboracin de un marco de muestreo puede resultar una tarea cara y en la que haya que invertir mucho tiempo, pudiendo ser necesario, p. ej., visitar cada uno de los hogares de un distrito determinado. Mediante tcnicas como el muestreo mltiple o por grupos puede paliarse este inconveniente. Estas tcnicas son tambin aplicables cuando no se dispone de una lista completa de unidades de muestreo. El punto 7.3 Planificacin y gestin de un estudio de referencia (mdulo 7) sirve de orientacin general en cuanto al tamao de muestra. Es importante recordar que lo que determina la precisin de los clculos obtenidos en un estudio por muestreo es el tamao de la muestra en trminos absolutos, y no la proporcin de la muestra (p. ej. el 10 % de todos los hogares).
8-11
Octubre de 2002
8.2.5 El seguimiento a travs del contacto con beneficiarios seguimiento de la probabilidad de alcanzar los objetivos
El seguimiento a travs del contacto con beneficiarios (BCM de sus siglas en ingls) considera el acceso a los bienes y servicios resultantes de la operacin, la utilizacin de los mismos y la satisfaccin al respecto por parte de los beneficiarios. La matriz de planificacin incluye implcitamente la hiptesis de que si se produce el producto y las hiptesis son verdaderas, entonces se alcanzar el propsito. Los indicadores de BCM suministran informacin acerca de la probabilidad de que la produccin del producto conduzca al logro del propsito, de acuerdo con el siguiente razonamiento: Si el grupo beneficiario no disfruta de acceso al producto de la operacin, no obtendr ningn beneficio. Si el grupo beneficiario disfruta de acceso al producto de la operacin, pero decide no utilizarlo, no obtendr ningn beneficio. Si el grupo beneficiario utiliza el producto de la operacin, pero no queda satisfecho con los servicios o medios ofrecidos, es poco probable que los utilice durante largo tiempo y, por lo tanto, obtendr beneficios limitados.
En el BCM es necesario realizar una investigacin sistemtica de la respuesta de los beneficiarios al producto y actividades de la operacin. Debern examinarse las siguientes preguntas, teniendo en cuenta los diferentes grupos participantes (hombres, mujeres, nios y otros grupos vulnerables): Est alcanzando la operacin a los grupos beneficiarios seleccionados? Quin disfruta de acceso, quin no, quin participa y quin no? Es til para los beneficiarios el producto de la operacin (alimentos, bienes, conocimientos disponibles a travs de capacitacin, etc.)? Desempea la ayuda alimentaria la funcin prevista? Cmo influye la ayuda alimentaria en el comportamiento de los beneficiarios participantes? Se enfrentan los grupos de beneficiarios a problemas especficos? En qu perciben que est mejorando su vida como resultado de la operacin?
Despus se realiza un seguimiento de acuerdo con la respuesta de los beneficiarios. Si la operacin evoluciona segn el plan, los responsables de gestin pueden continuar con su ejecucin. Si se identifican problemas, puede ser necesario realizar una investigacin ms detallada para determinar las medidas de gestin que debern adoptarse. En las operaciones en las que intervienen la Federacin y Sociedades Nacionales, el BCM puede llevarse a cabo en dos niveles: Nivel 1 Durante cualquier visita regular al terreno el personal debe reunirse con beneficiarios y analizar su respuesta a la operacin. Estas entrevistas formarn parte del seguimiento y notificacin regulares sobre el terreno. El seguimiento en este nivel deber realizarse en prcticamente todas las operaciones. Nivel 2 En operaciones en las que se haya determinado la necesidad de llevar a cabo una investigacin ms detallada y en las que los recursos y la capacidad de gestin existan en el pas, el contrato de la operacin o memorando de entendimiento para la operacin podrn estipular la realizacin de estudios especficos. El seguimiento en el nivel 2 normalmente se llevar a cabo con la ayuda de expertos locales que posean los conocimientos adecuados y colaborando estrechamente con el gobierno, la Federacin y las Sociedades Nacionales. Al contrario que en el nivel 1, el seguimiento en este nivel estar restringido a determinadas operaciones.
8-12
Octubre de 2002
8.2.5.1 Tcnicas para el seguimiento de indicadores de BCM en el nivel 1 Entrevistas individuales - Las entrevistas cualitativas difieren de las entrevistas estructuradas tradicionales en las que se utilizan cuestionarios regulares, en que no se limitan a un conjunto de preguntas predeterminadas que se preguntarn consecutivamente. En su lugar, el entrevistador utiliza una lista de verificacin de temas para ir orientando la entrevista, y sigue las vas que se vayan abriendo a lo largo de la misma. Las primeras preguntas normalmente incluyen discusiones informales sobre la operacin. Una vez que el entrevistador haya determinado las cuestiones que debern ser atendidas a fondo, la entrevista informal ser suplantada por una entrevista guiada o por una entrevista semiestructurada con preguntas preparadas antes de la entrevista y reflejadas en una lista de verificacin. En la mayora de los casos, la lista de verificacin no deber contener ms de 20 preguntas, y la entrevista no deber durar ms de media hora. Entrevistas informales Su objetivo es obtener informacin a travs de conversaciones entre entrevistadores y entrevistados. En ellas se examinan, de forma general, puntos de vista, experiencias y valores del entrevistado y se concede al entrevistador libertad para seguir temas segn vayan surgiendo. Como consecuencia de la naturaleza informal de la entrevista, durante la misma se toman pocas notas. Entrevistas guiadas - En ellas se utiliza una gua de entrevista para dirigir al entrevistador a travs de los principales temas que debern abordarse. A partir de la misma, el entrevistador elabora las preguntas y su forma para ajustarse a un entrevistado concreto. No existe lmite de tiempo para responder a cada uno de los temas o subtemas y se permite seguir temas de particular inters. Entrevistas semiestructuradas de final abierto Cuestionarios abiertos con una lista de las preguntas que deben plantearse. Sin embargo, difieren de las entrevistas estructuradas tradicionales en que plantean preguntas abiertas que permiten extenderse en los puntos tratados, en que el orden en que se plantean las preguntas es flexible y tiene en cuenta el juicio del entrevistador, y en que dejan espacio para plantear preguntas adicionales. Entrevistas en grupo - Las entrevistas individuales no siempre constituyen la mejor estrategia en el caso de las operaciones de la Federacin y las Sociedades Nacionales. Requieren mucho tiempo, deben realizarse muchas de ellas para obtener una imagen representativa de la operacin en su conjunto, y en el caso de determinados temas es posible que los entrevistados sean reacios a decir la verdad si tienen miedo a que su punto de vista sea inoportuno. Con las entrevistas en grupo pueden resolverse algunos de estos problemas. Pueden realizarse a toda una comunidad o a un conjunto determinado de personas, tales como una cuadrilla, un grupo de maestros o un grupo de profesionales de la salud. El foro abierto animar a algunas personas a ser ms francas y honestas de lo que lo seran en privado, especialmente cuando se vean respaldadas por sus compaeros. Entrevistas a la comunidad Pueden incluir a todos los miembros de una comunidad o pueblo. Cuando estn planificadas cuidadosamente, las entrevistas a la comunidad poseen un gran potencial para suministrar nuevas percepciones acerca de cmo ven los miembros de la comunidad las actividades de la operacin y cmo consideran que sta est afectando a sus vidas. En la planificacin y realizacin de las entrevistas a la comunidad debern tenerse en cuenta los siguientes aspectos: Deber ser una prctica habitual utilizar guas estructuradas de entrevista. Debern entrevistarse unas pocas comunidades seleccionadas y representativas. Las entrevistas debern estar programadas para ser llevadas a cabo cuando la mayora de las personas de la comunidad puedan estar presentes; frecuentemente el momento ms conveniente es la tarde/noche. Es preferible un equipo de entrevistadores a un slo entrevistador, pues dirigir una reunin con muchas personas y tomar notas detalladas es demasiado complicado para una sola persona. Es necesario planificar, particularmente para conceder a los entrevistados una oportunidad justa para hablar y no permitir a los entrevistadores que tomen el mando. 8-13
Octubre de 2002
Es esencial que de las personas presentes participe una representacin equilibrada. Deber evitarse el dominio por parte de personas destacadas. Mediante estas entrevistas pueden obtenerse datos sin desglosar y relativos a la comunidad. Sin embargo, deber extremarse la precaucin en el intento de cuantificar los datos. Reuniones posteriores a la entrevista pueden servir de foro de debate de ideas para aquellos que se hayan sentido inhibidos en el grupo numeroso. Entrevistas a grupos temticos Se trata de una tcnica ms rigurosa que las entrevistas a la comunidad, y como tal requiere realizar una planificacin ms exhaustiva (p. ej. seleccin cuidadosa de los participantes de acuerdo con determinados criterios, incluso mayor atencin a la elaboracin de las guas de temas, anlisis de resultados ms sistemtico) y disponer de conocimientos especializados. El principio bsico de esta tcnica es utilizar la destreza de un moderador neutral para estimular el intercambio de ideas en un pequeo grupo (idealmente 6-10 personas) de participantes seleccionados. De esta forma, la informacin se obtiene siguiendo atentamente la interaccin entre los participantes. El papel que desempea el moderador es dirigir la discusin de manera que se aborden los temas previstos. No deber participar en el debate en s ni corregir ideas errneas expresadas y, en esencia, deber comportarse como observador neutral. Evidentemente, la obtencin de buenos resultados mediante esta tcnica depende en gran medida de la destreza del moderador. Los miembros del grupo debern proceder de un estrato social y econmico similar, a fin de facilitar la discusin y eliminar obstculos sociales. No obstante, puede resultar difcil satisfacer estos criterios. La seleccin de los participantes puede realizarse a partir de una lista elaborada por varios informantes claves. Deber hacerse un esfuerzo por incluir a participantes diversos.
8.2.5.2 Tcnicas para el seguimiento de indicadores de BCM en el nivel 2 Pequeas encuestas - El objetivo es seleccionar aleatoriamente beneficiarios y utilizar un cuestionario breve y sencillo para documentar su punto de vista acerca de las actividades de la operacin. En el caso de que la informacin se recopile de uno o pocos lugares, es posible tomar una muestra aleatoria simple. Esta tcnica est descrita en la mayora de los libros bsicos sobre estadstica y puede ser utilizada por el personal en la mayora de las operaciones. La eleccin del tamao de la muestra no siempre resulta sencilla y, a no ser que el personal haya recibido formacin en materia de estadstica, deber solicitarse ayuda profesional. Como orientacin para el trabajo, valga decir que de cada lugar o grupo para el cual se desee calcular una respuesta independiente deber seleccionarse una muestra de sesenta personas. A los participantes seleccionados se les plantean entonces algunas preguntas sencillas. Por ejemplo: Existe una guardera en el pueblo? [conocimiento del servicio] Tiene usted hijos? [admisibilidad del usuario] Ha aprovechado la guardera? [utilizacin del servicio] En caso negativo, por qu no? [comentario relativo a la no utilizacin] Se ajusta la guardera a lo que usted desea para sus hijos? [pertinencia, comentarios]
Estas preguntas pueden reflejarse en una tabla, de forma que puedan documentarse en una hoja las respuestas de 10 o 20 personas. El estudio puede llevarse a cabo con mucha rapidez, por un solo entrevistador o por dos personas que trabajen en pareja. Los resultados son sencillos: porcentajes de personas que responden s o no y algunos comentarios breves. Los resultados suministran informacin acerca de la operacin en cuanto a lo bien que conoce la gente el servicio de guardera y a la proporcin de personas cuyos hijos lo han aprovechado. Mediante otras preguntas podra conocerse si se ha utilizado el servicio una vez o peridicamente. Si los resultados muestran un elevado grado de conocimiento y de utilizacin, podrn interpretarse como que el servicio es exitoso. Si los resultados muestran lo contrario, puede ser necesario realizar 8-14
Octubre de 2002
un estudio ms detallado para examinar los motivos por los cuales la guardera no tiene xito. Este tipo de estudio es muy sencillo y en el anlisis no deber intentarse ir ms all de obtener un simple resultado en porcentajes.
8.2.6 Visitas al terreno

En este apartado se explican los aspectos fundamentales que deben considerarse en la planificacin de las visitas al terreno. Como introduccin en el tema de las visitas al terreno, vase el punto 2.4.2.3 Visitas al terreno una valiosa fuente de informacin complementaria (mdulo 2). 8.2.6.1 Quin deber formar parte del equipo que realiza las visitas al terreno? Asegrese de que participe personal pertinente gubernamental y ejecutor as como de la Federacin y las Sociedades Nacionales. Es importante lograr un equilibrio entre hombres y mujeres. 8.2.6.2 Seleccin de lugares - adnde ir? Teniendo en cuenta que los recursos destinados a las visitas al terreno con frecuencia son limitados, la Federacin, las Sociedades Nacionales y sus asociados debern disear una doble estrategia para las visitas al terreno. La seleccin de los lugares que se visitarn depende del nmero de empleados, recursos para viajar y tiempo disponibles. 1. Muestreo dirigido: Se seleccionar un nmero reducido de lugares para cada operacin, que se visitarn de forma sistemtica, peridica y repetida. El objetivo es familiarizarse lo suficiente con los lugares y las personas como para poder ver y reconocer los progresos y cambios resultantes de la operacin. Deber tomarse en consideracin tambin la necesidad de visitar almacenes y lugares de distribucin. Seleccione intencionadamente casos de los que pueda obtenerse mucha informacin. El tipo concreto y el nmero de casos seleccionados dependen del propsito y de los recursos disponibles. Muestreo aleatorio: Para validar los hallazgos regulares de visitas al terreno y para proporcionar una base para confirmar tendencias observadas y para posibilitar la obtencin de una imagen ms amplia de los progresos alcanzados en la operacin, debern visitarse adicionalmente lugares seleccionados de forma aleatoria. As se aade credibilidad y se reduce el sesgo, aunque no es posible realizar una generalizacin total.
2.
8.2.6.3 Con quin reunirse? Hombres y mujeres beneficiarios solos o en grupo Representantes comunitarios, dirigentes locales, dirigentes tradicionales Empleados gubernamentales locales y de distrito Personal tcnico, jefes en el lugar que se visita Representantes de donantes y ONG que actan en el rea de la operacin Representantes del sector privado (p. ej. vendedores de mercado, camioneros) Personal de la Federacin y de Sociedades Nacionales que trabaja en primera lnea
8.2.6.4 Cmo realizar la labor sobre el terreno? Determine claramente la funcin de observador. Tome notas descriptivas. Permanezca abierto rena diferentes puntos de vista. Sea oportunista en el seguimiento de nuevas pistas y en el muestreo dirigido.
8-15
Octubre de 2002
Verifique y aplique la triangulacin en la recopilacin de diferentes tipos de datos: observacin, entrevistas, documentos, artefactos, grabaciones y fotografas. Utilice diversos mtodos y combnelos. Utilice citas: Describa a las personas con sus propias palabras. Seleccione con sabidura a los informantes claves y trtelos cuidadosamente. Establezca confianza y una buena relacin desde el principio. Cntrese en elaborar una sntesis til cuando la labor sobre el terreno est tocando a su fin. En todas las fases de la labor sobre el terreno, sea disciplinado y concienzudo a la hora de tomar notas detalladas. D su opinin como parte del proceso de verificacin de la labor sobre el terreno. Observe su efecto. Distinga entre descripcin, por un lado, e interpretacin y opinin, por otro lado.
8.2.6.5 Por qu constituye una prctica recomendable utilizar listas de verificacin de entrevistas? Ayudan a asegurar que durante las visitas de seguimiento al terreno se aborden las cuestiones claves. Ayudan a asegurar la coherencia de los informes y posibilitan compararlos. La disciplina ligada a las listas de verificacin contribuye a institucionalizar un sistema de seguimiento que ayude a nuevos empleados a familiarizarse con las operaciones y, as, a ser eficaces con mayor rapidez. Un sistema oficial de recopilacin de datos y presentacin de informes constituye un componente importante de la memoria institucional. Los sistemas ad hoc suelen estar muy personalizados y suelen fracasar cuando se marchan los responsables. Las listas de verificacin tratadas hasta el final suministran datos sin procesar, que debern ser analizados posteriormente.
8.2.6.6 Anlisis de datos recopilados utilizando listas de verificacin Los datos obtenidos mediante la utilizacin de listas de verificacin debern ser analizados: En el caso de datos para un solo lugar (p. ej. una escuela en el caso de una actividad de alimentacin escolar) para realizar un seguimiento de la evolucin del rendimiento durante varias visitas, para discutir con personal local y superior las medidas que deben adoptarse. En el caso de datos para todos los lugares conjuntamente (p. ej. todas las escuelas en el caso de una actividad de alimentacin escolar) para obtener un anlisis comparativo del rendimiento en los diferentes lugares abarcados por la operacin, para orientar a los asociados gubernamentales y ejecutores en el establecimiento de las prioridades, a fin de mejorar la ejecucin de la operacin, a travs de un resumen de hallazgos, para comparar resultados y juzgar si se estn logrando mejoras, para determinar el xito general de la operacin.
En el anlisis de la informacin obtenida mediante el uso de listas de verificacin probablemente surgirn preguntas que habr que investigar con ms detalle. Cuando la investigacin est finalizada, puede ser que usted considere que aadir una o dos preguntas ms a la primera lista de verificacin mejorara la eficiencia del seguimiento regular de la operacin. A medida que la operacin vaya avanzando, usted deber ser capaz de elaborar una serie de listas de verificacin que le ayudarn a llevar a cabo la labor de seguimiento. Inevitablemente, stas listas se irn modificando a medida que 8-16
Octubre de 2002
usted vaya adquiriendo experiencia relativa a la operacin. No piense que el primer intento de elaboracin de una lista de verificacin resultar en una lista perfecta. Est preparado para, aprovechando su experiencia sobre el terreno, ir modificando las listas de verificacin a lo largo del tiempo. 8.2.6.7 Presentacin de informes cmo documentar y utilizar los resultados
Tras la visita al terreno, el personal de la Federacin y de las Sociedades Nacionales deber reflejar los hallazgos en un informe de visita al terreno. Aunque se diseen para cada operacin en particular, todos los informes de visitas al terreno elaborados por la Federacin y las Sociedades Nacionales debern compartir algunas caractersticas relativas a su composicin. Toda visita al terreno deber resultar en un informe breve y preciso en el que se incluir, como mnimo, la siguiente informacin: Tabla 8.5: Modelo para un informe de visita al terreno
Objetivos de la visita al terreno (relacionados con los indicadores reflejados en el plan de seguimiento y evaluacin) Personas y grupos contactados y lugares visitados Mtodos aplicados para recopilar y analizar los datos Hallazgos Conclusiones (incluye anlisis) Recomendaciones relativas a la actuacin de personal de la Federacin y las Sociedades Nacionales, asociados internacionales y gobierno; nombres de personas responsables de poner en prctica las recomendaciones y plazos al respecto
En el informe debern establecerse comparaciones entre los hallazgos ms recientes y los de visitas anteriores. Para ello deber existir un cierto grado de coherencia entre los diferentes informes.
8-17
Octubre de 2002
8.3
Utilizacin de datos secundarios
Antes de utilizar datos secundarios deber determinarse si son fidedignos. Esto puede realizarse de diferentes maneras. Si los datos han sido recopilados por un organismo profesional, como p. ej. una oficina nacional de estadstica (o equivalente), o en cooperacin con un donante u otro organismo internacional, es razonable asumir que los datos poseen una calidad aceptable. Cuando la fuente no est claramente acreditada, busque la siguiente informacin en el informe del estudio: Una discusin sobre cmo se asegur la recopilacin de datos de calidad, incluidos los procedimientos de supervisin de la labor sobre el terreno, de validacin de los datos y de comprobacin de errores. Un examen de los mtodos de recopilacin utilizados y de las consecuencias en cuanto a sesgo y errores ajenos al muestreo, con una discusin en torno a los efectos sobre los resultados. Una descripcin de herramientas de validacin sobre el terreno, tales como la triangulacin.
Intente conseguir una copia del cuestionario. Est bien estructurado? Es fcil de leer? Es un documento que mueva a realizar una buena actuacin? Se dispuso de un manual de estudio o de un manual de campo? Estn claramente definidas las variables claves tales como las unidades de estudio? Y el significado de hogar? Examine el informe del estudio. En qu grado se establecen comparaciones con otros estudios? Coinciden, en general, los hallazgos? En el caso de existir divergencias, se discuten y explican adecuadamente?
8-18
Octubre de 2002
8.4
Tema
Vnculos con material adicional de orientacin tcnica

Vnculos con material de orientacin tcnica Social Survey Methods: A field guide for development workers, Oxfam, Development Guidelines No.6 Puede encargarse en: www.Oxfam.org.uk Cdigo: 151262 Precio: 9.95 Sampling Guide, producido por Food and Nutrition Technical Assistance Project (FANTA) (1999) Disponible en Internet en www.fantaproject.org/downloads/pdfs/sampli ng.pdf Observaciones Orientacin general en torno al diseo de estudios, composicin de equipos de actuacin sobre el terreno, diseo de cuestionarios, muestreo, anlisis de datos y presentacin de hallazgos.
Estudios regulares por muestreo
Esta gua describe cmo elegir muestras de comunidades, hogares o personas para estudios por muestreo, de forma que puedan extraerse conclusiones vlidas acerca de la eficacia de los programas. En la gua se hace hincapi en el uso de mtodos de muestreo probabilstico, considerados esenciales para asegurar la objetividad en la evaluacin de programas. Orientacin detallada en relacin con todas las etapas del diseo y realizacin de estudios rpidos y participativos; descripciones de herramientas y explicaciones acerca de cmo utilizarlas; estudios de casos; y referencias de material de informacin til. Este libro ofrece un resumen del origen, teora y prctica del diagnstico rural rpido, explica las principales herramientas utilizadas y presenta varios ejemplos en los que se ilustra cmo se ha aplicado el diagnstico rural rpido en diferentes escenarios. Este libro sirve de orientacin fundamental para personal activo sobre el terreno en cuanto a los principios y prctica de estudios preliminares, seguimiento, revisin y evaluacin. Incluye informacin general acerca de diferentes herramientas, incluidos el diagnstico rural participativo, los estudios por muestreo y la matriz de planificacin.
Diagnstico rpido
RRA Manual (Catholic Relief Services)
Rapid Appraisal Methods, editado por Krishna Kumar, 1993 (World Bank Regional and Sectoral Studies) Rapid Appraisal Methods Precio: $ 22.00 ISBN 0-8213-2523-X SKU: 12523 Toolkits: A Practical Guide to Assessment, Monitoring, Review and Evaluation, Save the Children Fund, 1995
Referencias generales
8-19
Octubre de 2002
ENSEANZAS EXTRADAS DEL MDULO 8 RECOPILACIN DE DATOS

CONCISOS COMPLETOS FIABLES OPORTUNOS PERTINENTES RECOPILACIN RENTABLE BUENA PRESENTACIN
8-20
Mdulo 9: Glosario de seguimiento y evaluacin
Octubre de 2002
Federacin Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja Divisin de Seguimiento y Evaluacin
Glosario de seguimiento y evaluacin
Octubre de 2002
9-1
Octubre de 2002
Conceptos en orden alfabtico

Anlisis Apreciacin Asociados Atribucin Auditora Autoevaluacin Beneficiarios Cadena de resultados Conclusin Conexin Consecuencias Datos cualitativos Datos cuantitativos Datos desglosados Efecto Eficacia Eficiencia Enseanzas Estudio de referencia Estudio por muestreo Evaluacin Evaluacin conjunta Evaluacin de cartera Evaluacin de proceso Evaluacin ex post Evaluacin externa Evaluacin formativa Evaluacin independiente Evaluacin intermedia Evaluacin interna Evaluacin participativa Evaluacin recapitulativa Evaluacin sectorial Evaluacin temtica Fiabilidad Garanta de la calidad Gestin basada en resultados Grupo beneficiario Grupo de comparacin Grupo temtico Hallazgo Herramientas analticas Hiptesis Impacto Indicador Indicador de rendimiento Indicador sustitutivo Informacin de retorno Inseguridad alimentaria Insumos Matriz de planificacin Meta Metaevaluacin Objetivo Objetivo en el largo plazo Objetivo en el medio plazo Obligacin de rendir cuentas Partes interesadas Pertinencia Producto Propsito Punto de referencia Recomendaciones Rendimiento Resultados Revisin Seguimiento Seguimiento a travs del contacto con beneficiarios Seguimiento de la cesta alimentaria Seguimiento posterior a la distribucin Seguridad alimentaria Sostenibilidad Trminos de referencia Triangulacin Validez Vulnerabilidad
9-2
Octubre de 2002
Glosario de seguimiento y evaluacin Anlisis: Examen de una situacin, de sus elementos y de la relacin entre Apreciacin: Determinacin general de la pertinencia, factibilidad y
ellos.
sostenibilidad potencial de una operacin de la Federacin y/o de las Sociedades Nacionales previa a la aprobacin de la ejecucin de la misma.
Asociados: Personas y organizaciones que colaboran para alcanzar unos

objetivos acordados conjuntamente.
comn en relacin con las consecuencias, clara rendicin de cuentas y obligaciones recprocas. Los asociados pueden ser gobiernos, la sociedad civil, organizaciones no gubernamentales, universidades, asociaciones profesionales y empresariales, organizaciones multilaterales, empresas privadas, etc.
Nota: El concepto de asociacin implica metas compartidas, responsabilidad
Atribucin: Establecimiento de un vnculo causal entre cambios observados (o

que previsiblemente se observarn) y una operacin especfica.
Nota: La atribucin se refiere a aquello a lo cual se debern atribuir los cambios

observados o los resultados obtenidos. Representa el grado en que los efectos observados pueden imputarse a una operacin especfica o a la actuacin de uno o ms asociados, teniendo en cuenta otras intervenciones, factores distorsionantes (previstos e imprevistos) o contratiempos externos.
procedimientos, transacciones y controles de una organizacin, llevado a cabo conforme a normas comunes de auditora generalmente aceptadas.
Auditora: Examen objetivo y sistemtico de actividades, sistemas,
opiniones y recomendaciones relativas a: la gestin eficaz de la organizacin y la utilizacin econmica (rentabilidad) de los recursos; la solidez, idoneidad y aplicacin de los sistemas financieros y operacionales, procedimientos y controles internos; la conformidad de las transacciones financieras y de otros procedimientos con normas y reglamentos establecidos y con las instrucciones recibidas; la regularidad de los recibos, custodia, gastos, contabilidad y presentacin de informes en relacin con los recursos de la organizacin; y la conformidad de los gastos con el propsito para el cual fueron autorizados los fondos. 9-1
Nota: La auditora suministra a los responsables de gestin de una organizacin
Octubre de 2002
Autoevaluacin: Evaluacin planificada y gestionada por aquellos a quienes se

ha confiado el diseo y ejecucin de una operacin de la Federacin y/o de las Sociedades Nacionales.
interno de aprendizaje reflexivo realizado por personal de delegaciones nacionales y partes interesadas, y posiblemente facilitado por un asesor.
Nota: En la Federacin y en las Sociedades Nacionales, se trata de un ejercicio
Beneficiarios: Los beneficiarios de la Federacin y de las Sociedades
Nacionales son las personas destinatarias que reciben alimentos de la Federacin y de las Sociedades Nacionales.
Cadena de resultados: Orden causal de una operacin necesario para
alcanzar los objetivos deseados. La cadena de resultados empieza por los insumos, pasa por actividades y producto y culmina en consecuencias e impacto.
a travs de una cadena de argumentos transparente. Las conclusiones sealan los factores a los cuales se deben el xito o fracaso de una operacin, prestando especial atencin a los resultados intencionados o no intencionados y aludiendo, de forma ms general, a cualquier otro punto fuerte o punto dbil.
Conclusin: La conclusin se extrae de datos recopilados y anlisis realizados,
emergencia de corto plazo se consideran los problemas conexos y con efectos en el ms largo plazo.
Conexin: Asegurar que en el desempeo de las actividades realizadas en una
operacin. En la jerarqua de la matriz de planificacin se corresponden con el nivel de propsito.
Consecuencias: Resultados en el medio plazo derivados del producto de una
Datos cualitativos: Observaciones categricas, no numricas y que con

frecuencia entraan actitudes, percepciones e intenciones.
Nota: Cuando sea conveniente y posible, los datos debern desglosarse segn
sexo, edad y otras variables pertinentes.
9-2
Octubre de 2002
Datos cuantitativos: Observaciones numricas.

Nota: Cuando sea conveniente y posible, los datos debern desglosarse segn
sexo, edad y otras variables pertinentes.
variables pertinentes a fin de revelar las diferencias existentes en las necesidades, prioridades, actividades e intereses de distintos grupos, en su acceso a recursos, servicios y actividades, y en su control sobre stos ltimos. Los datos desglosados son esenciales para el seguimiento de las intervenciones y del producto de las mismas, pues permiten determinar quin participa en las operaciones de la Federacin y de las Sociedades Nacionales y quin se beneficia de ellas.
Datos desglosados: Informacin desglosada segn sexo, edad y otras
Efecto: Cambio, intencionado o no, debido directa o indirectamente a una

operacin de la Federacin y/o de las Sociedades Nacionales. Los cambios (resultados) pueden producirse en los niveles de producto, consecuencias e impacto.
Eficacia: Grado en el que se han alcanzado o se esperan alcanzar los objetivos

de una operacin, tomando en consideracin la importancia relativa de los mismos.
Eficiencia: Medida de la rentabilidad con la cual los insumos se convierten en

el producto de la operacin.
Enseanzas: Conclusiones de validez general y basadas en experiencias de

evaluacin o revisin de operaciones o polticas de la Federacin y de las Sociedades Nacionales, que se extrapolan de circunstancias especficas a situaciones ms generales. Con frecuencia, las enseanzas destacan los puntos fuertes y puntos dbiles de la preparacin, diseo y ejecucin que afectan al rendimiento, consecuencias e impacto.
Estudio de referencia: Anlisis y descripcin de la situacin reinante antes

del comienzo de una operacin de la Federacin y/o de las Sociedades Nacionales, frente a la cual pueden medirse los cambios o establecerse comparaciones.
Nota: Los datos recopilados debern desglosarse segn sexo, edad y otras
variables pertinentes. Vase datos desglosados.
9-3
Octubre de 2002
Estudio por muestreo: Mtodo de recopilacin de datos que implica una
actividad planificada para recopilar los datos necesarios a partir de una muestra de la poblacin pertinente. La poblacin pertinente est constituida por personas afectadas por la operacin de la Federacin y/o de las Sociedades Nacionales (o, en el caso de tratase de un grupo de control o de comparacin, por personas con caractersticas similares).
Evaluacin: Valoracin sistemtica y objetiva de una operacin o programa en

curso o concluidos, o de una poltica, as como de su diseo, ejecucin (o aplicacin) y resultados. Se trata de determinar la pertinencia y logro de los objetivos, as como la eficiencia, eficacia, impacto y sostenibilidad.
Nota: La evaluacin deber suministrar informacin fidedigna y til que permita
incorporar enseanzas en el proceso de toma de decisiones relativas a la gestin.
Evaluacin conjunta: Evaluacin en la que participan diferentes asociados

y/o organizaciones donantes.
los distintos asociados cooperan en el proceso de evaluacin, unen sus recursos de evaluacin y colaboran en la elaboracin de los informes de evaluacin. Las evaluaciones conjuntas pueden contribuir a superar problemas de atribucin en la determinacin de la eficacia de programas y estrategias, la complementariedad de las actividades que reciben apoyo de diferentes asociados, la calidad de la coordinacin de la ayuda, etc.
Nota: Existen diferentes niveles de evaluacin conjunta, segn el grado en que
Evaluacin de cartera: Evaluacin de un conjunto de operaciones de la

Federacin y de las Sociedades Nacionales relacionadas entre s.
Nota: En la Federacin y en las Sociedades Nacionales, una cartera incluye

todas las operaciones de un pas o regin determinados.
Evaluacin de proceso: Evaluacin de la dinmica interna de las

organizaciones ejecutoras, sus instrumentos de poltica, mecanismos de prestacin de servicios, prcticas de gestin y de los vnculos existentes entre todos estos aspectos.
9-4
Octubre de 2002
Evaluacin ex post: Evaluacin de una operacin despus de su conclusin.

Nota: Puede realizarse inmediatamente despus de concluir la operacin o
tiempo despus. La intencin es entender los factores responsables del xito o fracaso, evaluar la sostenibilidad de los resultados y del impacto y sacar conclusiones de las que pueda extraerse informacin para otras operaciones de la Federacin y de las Sociedades Nacionales.
Evaluacin externa: Evaluacin de una operacin realizada por entidades y/o

personas ajenas a la Federacin, las Sociedades Nacionales y sus asociados ejecutores.
operacin y que la mayora de las veces se realiza durante la ejecucin de la misma.
Evaluacin formativa: Evaluacin cuyo fin es mejorar el rendimiento de la
Evaluacin independiente: Evaluacin realizada por entidades o personas no

sujetas al control de los responsables del diseo y ejecucin de una operacin de la Federacin y/o de las Sociedades Nacionales.
Evaluacin intermedia: Evaluacin realizada hacia la mitad del perodo de
ejecucin de una operacin de la Federacin y/o de las Sociedades Nacionales.
Evaluacin interna: Evaluacin de una operacin realizada por una unidad y/o
personas que informan al respecto a los rganos de gestin de la Federacin y las Sociedades Nacionales.
(incluidos los beneficiarios) colaboran en el diseo, realizacin e interpretacin de la misma.
Evaluacin participativa: Evaluacin en la cual las partes interesadas claves
Evaluacin recapitulativa: Evaluacin realizada al final de una operacin (o
de una fase de la misma) de la Federacin y/o de las Sociedades Nacionales a fin de determinar el grado en el que se han obtenido los resultados planificados. A travs de la evaluacin recapitulativa se pretende proporcionar informacin sobre el valor de la operacin.
Evaluacin sectorial: Evaluacin de un conjunto de proyectos de uno o varios

pases, todos ellos pertenecientes a un sector especfico (salud, educacin, agricultura, transporte, etc.).
9-5
Octubre de 2002
Evaluacin temtica: Evaluacin de una seleccin de operaciones que abordan

una prioridad especfica de la Federacin y de las Sociedades Nacionales que afecta a pases, regiones y sectores.
Fiabilidad: Coherencia y seriedad de datos en cuanto a la calidad de los
instrumentos, procedimientos y anlisis empleados para recopilar e interpretar esos datos.
Garanta de la calidad: La garanta de la calidad abarca cualquier actividad

concerniente a la determinacin y mejora del valor de una operacin o su conformidad con normas establecidas.
apreciacin, la gestin basada en resultados, las revisiones realizadas durante la fase de ejecucin, evaluaciones, etc. La garanta de la calidad puede referirse tambin a la evaluacin de la calidad de una cartera y de su eficacia.
Nota: Entre las actividades destinadas a garantizar la calidad se cuentan la
Gestin basada en resultados: Estrategia de gestin centrada en el

rendimiento y en la consecucin del producto, consecuencias e impacto.
Grupo beneficiario: Personas u organizaciones especficas en cuyo beneficio

se ejecuta la operacin de la Federacin y/o de las Sociedades Nacionales.
caractersticas pertinentes.
Nota: Las personas beneficiarias debern identificarse segn sexo, edad y otras
Grupo de comparacin: Grupo de personas no expuestas a una operacin de

la Federacin y/o de las Sociedades Nacionales, pero que comparten caractersticas similares a las del grupo beneficiario.
sobre preguntas de respuesta abierta relativas a un tema concreto. A fin de que se vaya desdoblando un debate entre las personas seleccionadas para responder a las preguntas, ms que entre stas y el evaluador/investigadores, se promueve la conversacin entre las primeras.
Grupo temtico: Grupo pequeo, homogneo, constituido a fin de discutir
Hallazgo: Acumulacin de datos procedentes de una valoracin, revisin o

evaluacin que permite realizar una afirmacin basada en hechos.
9-6
Octubre de 2002
Herramientas analticas: Mtodos aplicados para procesar y analizar

informacin.
Hiptesis: Supuestos relativos a factores o riesgos que, en gran parte, se

sitan fuera del control de los responsables de la operacin de la Federacin y/o de las Sociedades Nacionales y que podran afectar a los progresos o xito de la misma.
Impacto: Resultados positivos y negativos, intencionados o no, en el largo

plazo, producidos directa o indirectamente por una operacin de la Federacin y/o de las Sociedades Nacionales. En la jerarqua de la matriz de planificacin se corresponde con el nivel de meta.
Nota: Vanse definiciones de meta, resultados y cadena de resultados.
Indicador: Factor o variable cuantitativos o cualitativos que constituyen un
medio sencillo y seguro para medir los logros o reflejar los cambios vinculados a una operacin de la Federacin y/o de las Sociedades Nacionales.
Nota: Cuando sea posible y pertinente, los indicadores debern tener en cuenta
la recopilacin de datos desglosados (segn sexo, edad y otras variables pertinentes).
Indicador de rendimiento: Vase indicador. Indicador sustitutivo: Indicador que sustituye a otro difcil de medir
directamente.
Informacin de retorno: Transmisin de informacin generada en el
proceso de seguimiento y evaluacin a las partes para las cuales es pertinente y til para facilitarles el aprendizaje. Puede incluir la recopilacin y difusin de hallazgos, conclusiones, recomendaciones y enseanzas extradas de la experiencia.
cantidad suficiente de alimentos seguros y nutritivos que permitan un crecimiento y desarrollo normales y llevar una vida activa y sana. La inseguridad alimentaria puede estar causada por falta de disponibilidad de alimentos, insuficiente poder adquisitivo, distribucin inapropiada de los alimentos o su uso inadecuado en los hogares. 9-7
Inseguridad alimentaria: Cuando las personas carecen de acceso a una
Octubre de 2002
Insumos: Recursos financieros, humanos y materiales necesarios para

ejecutar la operacin de la Federacin y/o de las Sociedades Nacionales.
proyectos y programas. Implica la determinacin de insumos, producto, propsito (consecuencias) y meta (impacto) y de su relacin causal, de indicadores de rendimiento relacionados y de las hiptesis o riesgos que podran influir sobre el xito o fracaso. De este modo, la matriz de planificacin facilita la planificacin, ejecucin, seguimiento y evaluacin de operaciones de la Federacin y/o de las Sociedades Nacionales.
Matriz de planificacin: Herramienta de gestin utilizada para disear
Meta: Resultado, en el nivel ms elevado, al cual pretende contribuir una
operacin de la Federacin y/o de las Sociedades Nacionales. Se mide mediante los indicadores de impacto.
Metaevaluacin: Evaluacin diseada para reunir los hallazgos de una serie de

evaluaciones. El trmino puede referirse tambin a la evaluacin de otra evaluacin, realizada a fin de juzgar la calidad de sta y/o valorar el rendimiento de los evaluadores.
Objetivo: Propsito y meta de una operacin de la Federacin y/o de las

Sociedades Nacionales, que representan el estado que se pretende alcanzar mediante la ejecucin de la operacin.
Objetivo en el largo plazo: Vase meta. Objetivo en el medio plazo: Vase propsito. Obligacin de rendir cuentas: Obligacin de demostrar que se ha
realizado la labor conforme a las normas y reglamentos acordados, o de informar con imparcialidad y exactitud sobre los resultados de la actuacin en comparacin con las funciones y/o planes encomendados. Ello puede exigir una demostracin meticulosa, que incluso pueda defenderse judicialmente, de que la labor realizada es coherente con los trminos contractuales.
a la obligacin de los asociados de actuar de acuerdo con responsabilidades, funciones y expectativas de rendimiento claramente definidas, frecuentemente en relacin con la utilizacin prudente de recursos. Para los evaluadores supone
Nota: La obligacin de rendir cuentas en el marco del desarrollo puede referirse
9-8
Octubre de 2002
la responsabilidad de presentar informes de seguimiento y evaluaciones del rendimiento exactos, imparciales y fidedignos.
Partes interesadas: Organismos, organizaciones, grupos y personas

interesados directa o indirectamente en la operacin o en su evaluacin.
Federacin y/o de las Sociedades Nacionales en relacin con las necesidades de los beneficiarios y pases, las prioridades de las organizaciones, y las polticas de los asociados y donantes.
Pertinencia: Grado de coherencia de los objetivos de una operacin de la
Nota: Retrospectivamente, la pregunta de la pertinencia se convierte, con

frecuencia, en una pregunta relativa a si los objetivos o el diseo de una operacin continan siendo apropiados en las nuevas circunstancias.
Producto: Productos, bienes de capital y servicios resultantes de una
operacin de la Federacin y/o de las Sociedades Nacionales. Incluye los cambios resultantes de la operacin pertinentes para llegar a las consecuencias. En la jerarqua de la matriz de planificacin se corresponde con el nivel de producto.
significativamente una operacin de la Federacin y/o de las Sociedades Nacionales, suponiendo que se concluya con xito y en el tiempo previsto. Se mide mediante los indicadores de consecuencias.
Propsito: Situacin mejorada a la que pretende contribuir
Punto de referencia: Base de referencia o norma frente a la cual pueden

medirse el rendimiento o los logros obtenidos.
Recomendaciones: Propuestas formuladas con el objetivo de mejorar la

eficacia, calidad, pertinencia o eficiencia de una operacin de la Federacin y/o de las Sociedades Nacionales, de disear nuevamente los objetivos, y/o de reasignar los recursos. Las recomendaciones debern vincularse a conclusiones.
Rendimiento: Grado en que una operacin se ejecuta o una organizacin

(Federacin, Sociedades Nacionales o asociados) acta de acuerdo con criterios/normas/directrices especficos, o grado en el que la operacin u organizacin obtienen resultados de acuerdo con metas o planes fijados.
9-9
Octubre de 2002
Resultados: Producto, consecuencias y/o impacto (intencionados o no,
positivos y negativos) de una operacin de la Federacin y/o de las Sociedades Nacionales.
operacin. En las operaciones de la Federacin y de las Sociedades Nacionales es el Departamento de Gestin de Operaciones correspondiente el que inicia y gestiona las revisiones.
Revisin: Valoracin peridica o con carcter especial del rendimiento de una
evaluacin. La evaluacin es ms completa y hace ms hincapi en los resultados, pertinencia y sostenibilidad.
Nota: Una revisin es ms extensa que un seguimiento, pero menos que una
Seguimiento: Actividad continua que hace uso de la recopilacin sistemtica
de datos sobre indicadores especificados a fin de informar a los responsables de gestin y a las principales partes interesadas de una operacin en curso de la Federacin y/o de las Sociedades Nacionales sobre los progresos registrados y los resultados obtenidos en relacin con la utilizacin de los fondos asignados y la ayuda alimentaria.
Seguimiento a travs del contacto con beneficiarios: Examen
sistemtico efectuado a fin de realizar un seguimiento de cmo perciben los beneficiarios una determinada operacin de la Federacin y/o de las Sociedades Nacionales.
beneficiarios (identificados segn sexo, edad u otras caractersticas pertinentes).
Nota: Se deber establecer contacto con un grupo representativo de
Seguimiento de la cesta alimentaria: Seleccin aleatoria de un nmero

de familias en un lugar de distribucin. Se pesan las raciones que reciben y los resultados obtenidos se comparan con la racin planificada y el tamao de familia que figura en el documento de beneficiario (p. ej. la cartilla de racionamiento).
Seguimiento posterior a la distribucin: Recopilacin de informacin en

hogares sobre la cantidad de alimentos recibidos, la utilizacin de la ayuda alimentaria y su aceptacin y calidad.
disfrutan de acceso, en sus aspectos fsico, social y econmico, a suficientes 9-10
Seguridad alimentaria: Cuando todas las personas, en todo momento,
Octubre de 2002
alimentos seguros y nutritivos que cubran sus necesidades y preferencias alimenticias para llevar una vida activa y sana.
Nota: La definicin anterior incluye las tres siguientes dimensiones claves de la
seguridad alimentaria: suficiente disponibilidad de alimentos; acceso adecuado a alimentos; y utilizacin apropiada de alimentos.
Sostenibilidad: Continuacin de los beneficios de una operacin de la
Federacin y/o de las Sociedades Nacionales una vez concluida la asistencia principal.
Trminos de referencia: Propsito y alcance de la valoracin, revisin o

evaluacin, mtodos a utilizar, normas frente a las cuales se valorar el rendimiento o segn las cuales se realizarn los anlisis, recursos y tiempo asignados, y requisitos relativos a la presentacin de informes, todo ello expresado generalmente en un documento escrito.
Triangulacin: Utilizacin de tres o ms teoras, fuentes o tipos de
informacin, o tipos de anlisis para examinar, verificar y corroborar una evaluacin.
Nota: Mediante la combinacin de diversas fuentes de informacin, mtodos,
anlisis o teoras, los evaluadores esperan evitar el sesgo que se produce en los estudios basados en un nico informante, mtodo, observador o teora.
miden aquello que pretenden medir.
Validez: Grado en que las estrategias o instrumentos de recopilacin de datos Vulnerabilidad: Presencia de factores que sitan a las personas en una
situacin de riesgo de inseguridad alimentaria o desnutricin, incluidos aquellos factores que afectan a su capacidad para abordar la situacin correspondiente.
Nota: Esta es la definicin utilizada por la Federacin y las Sociedades
Nacionales en el campo de la seguridad alimentaria. La vulnerabilidad resulta de la exposicin a factores de riesgo y de los procesos socioeconmicos subyacentes que reducen la capacidad de la poblacin para hacer frente a esos riesgos.
9-11
Anexo 1
Federacin Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja Divisin de Seguimiento y Evaluacin
Evaluacin del apoyo brindado por el Movimiento Internacional de la Cruz Roja y de la Media Luna Roja al Programa de Asistencia Humanitaria y Rehabilitacin de Chernobil (CHARP) Trminos de referencia para la evaluacin
Borrador
2 de febrero de 2002
1. Antecedentes
En 1990, la Federacin respondi a una solicitud de ayuda de las tres Sociedades Nacionales afectadas, poniendo en marcha el Programa de Asistencia Humanitaria y Rehabilitacin de Chernobil (CHARP de sus siglas en ingls). Desde ese momento se ha intervenido a travs de las Sociedades Nacionales operantes de Belars, la Federacin de Rusia y Ucrania, estando centradas las actividades en el nivel comunitario en toda la regin afectada por el accidente nuclear de Chernobil. La respuesta de la comunidad internacional al desafo planteado en Chernobil ha sido nica y revolucionaria. El programa es el primero de su gnero y en el transcurso de su ejecucin ha generado una cantidad significativa de informacin. El programa se lleva ejecutando desde hace 11 aos, y en este largo perodo de tiempo sta evaluacin es la cuarta de sus caractersticas. Ms de 15 aos despus del desastre siguen aflorando sus efectos. Durante estos aos, el desmembramiento del antiguo sistema sovitico ha provocado un cambio en las condiciones generales socioeconmicas. Este desmembramiento ha tenido un efecto dramtico en la regin en cuanto al acceso a asistencia sanitaria, a la calidad de la misma y a la prestacin de este servicio, agravado todo ello por otros problemas derivados del desastre. Aunque desde que ocurriera el desastre la lluvia radioactiva ha disminuido, se siguen manifestando los efectos de la exposicin a radiacin y contina la exposicin a determinados istopos radioactivos. Instituciones internacionales han fijado unos criterios relativos a la exposicin considerada aceptable para las personas residentes en las reas afectadas. Estos criterios influyen significativamente en las caractersticas demogrficas locales y, como consecuencia, en la ejecucin del CHARP. La coherencia y complementariedad con otros programas las aporta el Grupo de Trabajo entre Organismos de las Naciones Unidas, del cual es miembro activo y en el cual participa el CHARP.
2.
Razones para llevar a cabo una evaluacin
El programa ha sido objeto, previamente, de tres evaluaciones provisionales a partir de las cuales se formularon recomendaciones. La larga duracin del programa ha generado cierto inters en ejecutar una evaluacin ms amplia que permita determinar la pertinencia, eficacia, eficiencia, sostenibilidad e impacto de la intervencin hasta la fecha, a la vez que evaluar si sera adecuado disear una estrategia de salida.
3.
3.1
Alcance y enfoque de la evaluacin

Pertinencia Determinar el grado de pertinencia permanente de la iniciativa para la Federacin, incluidas las Sociedades Nacionales. Determinar la funcin de la Federacin en el proceso. Examinar la pertinencia permanente de la intervencin en cuanto a que el diseo actual refleje problemas determinados por todas las partes interesadas, p. ej. laboratorios mviles de diagnstico, provisin de medicamentos y vitaminas, apoyo psicosocial, capacitacin, etc.
3 Determinar si la intervencin es compatible con las polticas, directrices y normas de la Federacin y si refleja las mismas (gnero, VIH/SIDA, desarrollo organizacional y fortalecimiento de la capacidad). Determinar cualquier resultado imprevisto de la intervencin. Cuando as se requiera, sugerir otras posibilidades, ajustes o actividades apropiadas para mejorar la pertinencia de la intervencin. 3.2 Eficacia Determinar el grado en que se han alcanzado los objetivos de la intervencin. Determinar la magnitud del impacto de la intervencin sobre la demanda de asistencia sanitaria por parte de los beneficiarios, y sobre la prestacin y calidad de este servicio. Determinar el impacto sobre las Sociedades Nacionales en cuanto a la capacitacin y fortalecimiento de su capacidad. Determinar la conexin de la intervencin con los sistemas de salud de las comunidades anfitrionas, el grado de identificacin de las comunidades con la intervencin y su integracin en la misma. Determinar todo tipo de restricciones que pudieran impedir alcanzar los objetivos en el medio y largo plazos, concretamente en relacin con la disponibilidad de informacin de referencia e indicadores exactos. Determinar el nivel de coherencia, complementariedad y cooperacin entre todas las partes interesadas implicadas en la intervencin (incluidas Sociedades Nacionales participantes, sistema de las Naciones Unidas, sistemas gubernamentales y otros). Examinar la eficacia de los planes de trabajo y los vnculos con la Sociedad Nacional y las Sociedades Nacionales participantes. Cuando corresponda, formular recomendaciones para incrementar la eficacia de la intervencin. 3.3 Eficiencia Examinar la ejecucin y gestin de la intervencin y determinar el grado de eficiencia. Examinar la rentabilidad del enfoque. Determinar si los insumos, presupuestos y costos de la intervencin han sido adecuados y razonables en relacin con los logros de la intervencin. Determinar si son apropiados los sistemas de elaboracin de informes financieros y de conciliacin de cuentas. Determinar la calidad tcnica de la intervencin, incluidos los planes de contratacin y otros mecanismos de apoyo. 3.4 Sostenibilidad Determinar si la intervencin muestra viabilidad financiera y si es sostenible en sus aspectos institucional y social, particularmente en cuanto a los gastos corrientes y la capacidad necesaria. Determinar los factores que podran influir sobre la sostenibilidad en el corto, medio y largo plazos. Determinar si es apropiado, en esta fase, disponer de una estrategia de salida, conferir una nueva orientacin a la intervencin o planificar futuras intervenciones.
4.
4.1
Metodologa, equipo de evaluacin y calendario

Metodologa Examen crtico de documentos de la Federacin y de las Sociedades Nacionales, incluidos informes de evaluaciones previas. Evaluacin del grado en que se han aceptado y ejecutado las recomendaciones de ejercicios previos y determinacin de restricciones imprevistas en cuanto a la puesta en prctica de las mismas. Entrevistas y/u otros mtodos a un grupo muestra de beneficiarios del programa actuales y del pasado seleccionados segn criterios acordados. Entrevistas y talleres con personal regional y de la sede de las Sociedades Nacionales, as como con el equipo de la Delegacin de la Federacin responsable del programa. Visitas al terreno en las regiones (oblasts) del programa. Entrevistas con otras partes interesadas claves: Organizacin Mundial de la Salud, Ministerio de Salud, ONG, representantes de las Naciones Unidas, Sociedades Nacionales participantes.
4.2
Equipo de evaluacin
El equipo estar compuesto por un mximo de x miembros. Se incluirn: un miembro nominado por cada Sociedad Nacional en calidad de representante; un representante del Departamento de Salud y Asistencia en la Comunidad de la Secretara de la Federacin; el jefe del equipo, quien gestionar el proceso y elaborar el informe. Se buscarn asesores para desempear el/los cargo(s) de jefe del equipo y especialista en x. El jefe del equipo elaborar el informe y estar especializado en iniciativas de desarrollo, preferiblemente del sector de la salud, y concretamente dentro del contexto de Europa oriental. Ser deseable que posea conocimientos detallados acerca de los tratamientos mdicos indicados tras exposiciones a radiacin. La identificacin y seleccin del asesor o asesores la realizarn conjuntamente el Departamento de Seguimiento y Evaluacin y el Departamento de Salud y Asistencia en la Comunidad, consultando para ello a las Sociedades Nacionales. La seleccin se basar en el grado en que los candidatos se ajusten a las condiciones expresadas en los trminos de referencia, su disponibilidad y los costos. 4.3 Calendario
El ejercicio se realizar en abril de 2002. La identificacin y seleccin de asesores tendrn lugar a finales de febrero. Aunque el calendario intentar, en la medida de lo posible, facilitar la logstica, satisfacer las necesidades administrativas y promover la participacin de las Sociedades Nacionales, de la Secretara de la Federacin, de las Sociedades Nacionales participantes y de otras partes interesadas, se regir por el proceso de toma de decisiones relativo a futuras actividades del programa.
5. Notificacin e informacin de retorno

Se solicitar al asesor o a los asesores que elaboren un borrador de informe en un plazo de dos semanas despus de volver del pas. Antes de abandonar el pas, el equipo preparar un informe de misin para discutirlo en sesiones de informacin que se celebrarn en cada una de las regiones. El informe final se presentar en formato electrnico e incluir un resumen independiente. El informe ser breve y conciso y en l se abordarn las necesidades de todas las partes interesadas. La notificacin final a la Secretara de la Federacin puede incluir tambin una presentacin de hallazgos y conclusiones en Ginebra. ------------------------------------------------------Brian Wall Departamento de Seguimiento y Evaluacin 2 de febrero de 2002
Los Principios Fundamentales del Movimiento Internacional de la Cruz Roja y de la Media Luna Roja
Humanidad El Movimiento Internacional de la Cruz Roja y de la Media Luna Roja, al que ha dado nacimiento la preocupacin de prestar auxilio, sin discriminacin, a todos los heridos en los campos de batalla, se esfuerza, bajo su aspecto internacional y nacional, en prevenir y aliviar el sufrimiento de los hombres en todas las circunstancias. Tiende a proteger la vida y la salud, as como a hacer respetar a la persona humana. Favorece la comprensin mutua, la amistad, la cooperacin y una paz duradera entre todos los pueblos. Imparcialidad No hace ninguna distincin de nacionalidad, raza, religin, condicin social ni credo poltico. Se dedica nicamente a socorrer a los individuos en proporcin con los sufrimientos, remediando sus necesidades y dando prioridad a las ms urgentes. Neutralidad Con el fin de conservar la confianza de todos, el Movimiento se abstiene de tomar parte en las hostilidades y, en todo tiempo, en las controversias de orden poltico, racial, religioso e ideolgico. Independencia El Movimiento es independiente. Auxiliares de los poderes pblicos en sus actividades humanitarias y sometidas a las leyes que rigen los pases respectivos, las Sociedades Nacionales deben, sin embargo, conservar una autonoma que les permita actuar siempre de acuerdo con los principios del Movimiento. Voluntariado Es un movimiento de socorro voluntario y de carcter desinteresado. Unidad En cada pas slo puede existir una Sociedad de la Cruz Roja o de la Media Luna Roja, que debe ser accesible a todos y extender su accin humanitaria a la totalidad del territorio. Universalidad El Movimiento Internacional de la Cruz Roja y de la Media Luna Roja, en cuyo seno todas las Sociedades tienen los mismos derechos y el deber de ayudarse mutuamente, es universal.
La Federacin Internacional de Sociedades de la Cruz Roja y de la Media Luna Roja promueve las actividades humanitarias de las Sociedades Nacionales en favor de las personas vulnerables. Mediante la coordinacin del socorro internacional en casos de desastre y el fomento de la asistencia para el desarrollo, se propone prevenir y aliviar el sufrimiento humano. La Federacin, las Sociedades Nacionales y el Comit Internacional de la Cruz Roja constituyen, juntos, el Movimiento Internacional de la Cruz Roja y de la Media Luna Roja.
02/2004 S 200 40800

Manual Evaluacion Proyectos

Încărcat de

Informații document

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Manual Evaluacion Proyectos

Încărcat de

Drepturi de autor:

Formate disponibile

Manual de seguimiento y evaluacin

1a edicin Octubre de 2002

Ibrahim Osman Divisin de Seguimiento y Evaluacin Octubre de 2002

Mdulo 2 Seguimiento y evaluacin

Mdulo 3 Seguimiento de programas de las Sociedades Nacionales y notificacin al respecto

Mdulo 4 Seguimiento y notificacin

4.7.1.1 4.7.2 4.7.3

4-11 4-11 4-11 4-12

Mdulo 6 Etapas en la planificacin y gestin de una evaluacin

Mdulo 7 Estudios de referencia

Mdulo 8 Herramientas para la recopilacin de datos

Cul es el contenido del Manual?

Contenido de los mdulos

3. Seguimiento de programas de las Sociedades Nacionales y notificacin al respecto

6. Etapas en la planificacin y gestin de una evaluacin

8. Herramientas para la recopilacin de datos

9. Glosario de seguimiento y evaluacin

Qu principios y definiciones deben tenerse presentes?

1.3.1 Gestin basada en resultados

1.3.2 Vinculacin del seguimiento y evaluacin a una matriz de planificacin

Recursos financieros, humanos y materiales necesarios para ejecutar la operacin.

Figura 1.3: Matriz de planificacin

Hiptesis y riesgos (Meta a meta superior) Riesgos relativos al impacto estratgico.

Sistema de evaluacin del programa.

(Propsito a meta) Riesgos relativos al impacto en el nivel de programa.

(Producto a propsito) Riesgos relativos a la eficacia del diseo.

(Actividades a producto) Riesgos relativos a la ejecucin y la eficiencia.

Figura 1.4: Preguntas para el seguimiento y matriz de planificacin

Preguntas para el seguimiento

Figura 1.5: Preguntas para la evaluacin y matriz de planificacin

Preguntas para la evaluacin

1.3.5 Seguimiento y evaluacin durante la ejecucin de una operacin

Evaluacin Evaluacin intermedia de la evolucin Estudio de referencia

Seguimiento permanente y exmenes peridicos de la gestin Tiempo Duracin de la operacin

Qu es el marco para el seguimiento y evaluacin?

1.4.1 El propsito de un nuevo marco para el seguimiento y evaluacin

1.4.2 Principios del seguimiento y evaluacin orientados a la obtencin de resultados en la Federacin

1.4.3 Enfoque de la Federacin relativo al seguimiento y evaluacin

ENSEANZAS EXTRADAS DEL MDULO 1

Mdulo 2: Seguimiento y evaluacin

Compruebe el diseo de la operacin

Mdulo 2: Seguimiento y evaluacin

Comprobacin del diseo de la operacin

Mdulo 2: Seguimiento y evaluacin

2.2.1 Con qu claridad estn formulados los objetivos?

2.2.2 Se han tenido en cuenta factores externos?

2.2.3 Medirn los indicadores eficazmente los progresos?

Mdulo 2: Seguimiento y evaluacin

Mdulo 2: Seguimiento y evaluacin

Mdulo 2: Seguimiento y evaluacin

Estimacin de la capacidad de seguimiento y evaluacin

2.3.1 Cmo determinar la capacidad de seguimiento y evaluacin

2.3.2 Estimacin de necesidades de capacitacin

Mdulo 2: Seguimiento y evaluacin

Mdulo 2: Seguimiento y evaluacin

Planificacin de la recopilacin y anlisis de datos

2.4.1 Por qu son necesarios los datos de referencia?

Mdulo 2: Seguimiento y evaluacin

2.4.2 Qu datos de seguimiento se necesitan y de dnde se obtendrn?

Mdulo 2: Seguimiento y evaluacin

Mdulo 2: Seguimiento y evaluacin

Mdulo 2: Seguimiento y evaluacin

2.4.4 Sistemas informatizados de seguimiento

Mdulo 2: Seguimiento y evaluacin