Sunteți pe pagina 1din 30

Plataforma de ONG de Accin Social

GUA

GUA
Gua de Evaluacin de Programas y Proyectos Sociales

Plan Estratgico
del Tercer Sector
de accin social

Avda. Doctor Federico Rubio y Gal, 4. Local


28039 Madrid
Telfono 91 535 10 26 Fax 91 535 05 82
Gua de Evaluacin
de Programas y
www.plataformaong.org

Gua de Evaluacin de Programas y Proyectos Sociales


Proyectos Sociales
Plan Estratgico
del Tercer Sector de
Accin
Social
Gua de
Evaluacin
de Programas y

Proyectos
Sociales
Este documento ha sido elaborado

>
por el equipo de tcnico de:

Coordinacin: scar D. Perea Arias


Plataforma de ONG de Accin Social

Edita Plataforma de ONG de Accin Social


Avda. Dr. Federico Rubio y Gal, 4. Local
28039 Madrid
Tel. 91 535 10 26 Fax 91 535 05 82
Correo electrnico: info@plataformaong.org

Depsito Legal

Diseo ms!grfica

Preimpresin e impresin Advantia Comunicacin Grfica


Formacin, 16. Pol. Ind. Los Olivos.
28906 Getafe (Madrid)

de la Edicin Plataforma de ONG de Accin Social


NDICE

6 PRESENTACIN

9 BLOQUE 1.
CONSIDERACIONES BSICAS DE LA EVALUACIN
1. Introduccin a la evaluacin de programas y proyectos sociales.
1.1. Algunos Aspectos clave.
1.2. tica, poltica y calidad de la evaluacin.
2. Tipos de Evaluacin.
2.1. Por su ubicacin temporal.
2.2. Segn su objeto.
2.3. Por quien la hace.
2.4. Por sus instrumentos.

31 BLOQUE 2.
ANLISIS ESTRATGICO
1. Proceso de la Evaluacin.
1.1. La programacin en evaluacin y los Trminos de
Referencia.
1.2. Momentos en la ejecucin de la evaluacin
1.3. Agentes en evaluacin. Los stakeholders
2. El diseo de la Evaluacin.
3. Criterios de la Evaluacin.
3.1. Los principales componentes de las evaluaciones de los
proyectos de accin social.
3.2. Fuentes de Verificacin
3.3. La operacionalizacin: De criterios a indicadores de eva-
luacin
3.4. Instrumentos de seguimiento: los indicadores

79 BLOQUE 3.
TCNICAS DE EVALUACIN
1. Tcnicas y herramientas para la Evaluacin
1.1. Tcnicas Cuantitativas
1.2. Tcnicas Cualitativas
1.3. Tcnicas Participativas

103 BLOQUE 4.
INFORME DE EVALUACIN

106
BIBLIOGRAFA
Y WEBGRAFA

GUA DE EVALUACIN DE PROGRAMAS Y PROYECTOS SOCIALES 5


PRESENTACIN

La Plataforma de ONG de Accin Social presenta la Gua de Evaluacin de Programas y


Proyectos Sociales dentro de las acciones de operativizacin del Plan Estratgico del
Tercer Sector de Accin Social, documento creado con una metodologa participativa en
el ao 2003 por el Grupo de Trabajo del Plan Estratgico del Tercer Sector, a partir de una
iniciativa del Consejo Estatal de ONG de Accin Social.

La Plataforma lidera la ejecucin de las acciones de operativizacin del Plan Estratgico


de Accin Social, a travs del programa del Plan Estratgico con cargo al Rgimen
General del Ministerio de Sanidad y Poltica Social que cuenta adems con la colabora-
cin de la Comisin de Desarrollo Operativo del Plan Estratgico de ONG de Accin Social.
Las ONG que en la actualidad forman parte de la Comisin de Desarrollo Operativo del
Plan Estratgico del Tercer Sector de Accin Social coordinada por Cruz Roja Espaola,
en el que tambin est representada la Administracin General del estado, son:
Fundacin Secretariado Gitano; Comisin Espaola de Ayuda al Refugiado; Hermandad
de Veteranos de las Fuerzas Armadas; Red Espaola de Desarrollo Rural; Confederacin
Espaola de Organizaciones a favor de las personas con Discapacidad Intelectual;
Federacin de Mujeres y Familias de mbito Rural; Federacin de Mujeres Progresistas;
Unin Roman; DIDANIA Federacin de Entidades Cristianas de Ocio y Tiempo Libre;
Coordinadora Estatal VIH-SIDA; Critas Espaola; Plataforma de Voluntariado de Espaa;
Confederacin Espaola de Personas con Discapacidad Fsica y Orgnica; Plataforma de
ONG de Accin Social; Unin de Asociaciones Familiares; Confederacin Estatal de
Personas Sordas; Unin de Asociaciones y Entidades de Atencin al Drogodependiente;
Red Europea de Lucha contra la Pobreza y la Exclusin Social; Plataforma de
Organizaciones de Infancia; Fundacin ONCE y Federacin de Asociaciones de Scouts de
Espaa.

La Plataforma de ONG de Accin Social es una entidad de mbito estatal, privada, acon-
fesional y sin nimo de lucro, constituida formalmente en el ao 2000, formada en la
actualidad por 28 organizaciones1 no gubernamentales y no lucrativas de mbito estatal.
Las Organizaciones que representa, luchan contra la exclusin social y la discriminacin
y representan a colectivos muy diversos como infancia y familia, jvenes, mujeres, perso-
nas mayores, personas con discapacidad, personas con problemas de drogodependen-
cia, personas afectadas por el VIH-SIDA, pueblo gitano, personas reclusas y exreclusas,
personas migrantes y solicitantes de asilo y desarrollo rural. Para concluir esta presenta-

6 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


PRESENTACIN

cin, comentar que esta gua pretende facilitar el camino a las organizaciones de la socie-
dad civil y a las ONG de accin social cuando decidan iniciar su acercamiento a los sis-
temas de direccin estratgica, en especial en las primeras fases de anlisis, diagnstico
y planificacin. Para su desarrollo se ha contado con la experiencia del equipo tcnico de
Anlisis y Desarrollo Social Consultores, su experiencia prctica y las lecciones aprendi-
das en numerosos proyectos de consultora, asistencia tcnica y formacin especializada
en el mbito social durante aos ha facilitado la elaboracin de la gua.

1. La Plataforma de ONG de Accin Social est integrada en la actualidad por: Aecc, ATIME, Critas Espaola, CEAR, CEPAIM, CNSE,
COCEDER, COCEMFE, CEPSS, Cruz Roja Espaola, EAPN-ES, FEAPS, FEMUR, Federacin de Mujeres Progresistas, Fundacin Esplai,
Fundacin Juan Ciudad, Fundacin Secretariado Gitano, LEECP, Mdicos del Mundo, MPDL, ONCE, UDP, UNAD, UNAF, Unin Roma-
n, ASDE, CERMI, Federacin Didania.

GUA DE EVALUACIN DE PROGRAMAS Y PROYECTOS SOCIALES 7


BLOQUE1
BLOQUE 1
Consideraciones
Introduccin a la

GUA
Bsicas de la
Planificacin Evaluacin
Estratgica
1 CONSIDERACIONES BSICAS DE LA EVALUACIN

1. INTRODUCCIN A LA EVALUACIN DE
PROGRAMAS Y PROYECTOS SOCIALES

1.1. Algunos aspectos clave

Un proyecto social es la unidad mnima de asignacin de recursos, que a travs de un


conjunto integrado de procesos y actividades pretende transformar una parcela de la
realidad, disminuyendo o eliminando un dficit, o solucionando un problema.
Los proyectos sociales producen y/o distribuyen bienes o servicios (productos), para
satisfacer las necesidades de aquellos grupos que no poseen recursos para solven-
tarlas autnomamente, con una caracterizacin y localizacin espacio-temporal pre-
cisa y acotada.
Un programa social es un conjunto de proyectos que persiguen los mismos objetivos,
que pueden diferenciarse por trabajar con poblaciones diferentes y/o utilizar distintas
estrategias de intervencin.

La poltica social es un conjunto de programas que pretenden alcanzar los mismos fines.
Da las orientaciones sobre qu problemas sociales priorizar y define las principales vas y/o
lmites para la intervencin que la poltica plantea.

Los programas y proyectos sociales, se enmarcan en una poltica, de la que constituyen su


traduccin operacional, va asignacin de recursos que permite su implementacin.

La evaluacin permite tomar decisiones a travs de la comparacin de distintas alternati-


vas. Tanto en la vida cotidiana como en los proyectos, en general, sean estos sociales o pro-
ductivos, pblicos o privados, se requiere de la evaluacin para adoptar decisiones racio-
nales.

El significado de la evaluacin difiere segn la etapa del ciclo de vida del proyecto en la que
se la utilice. Si es durante la formulacin, proporciona los criterios de decisin para acep-
tar un proyecto especfico u ordenar las alternativas consideradas en funcin de las rela-
ciones existentes entre sus costos e impacto (o beneficio). Si se la aplica durante la opera-
cin o, inclusive, habiendo sta concluido, permite determinar el grado de alcance de los
objetivos perseguidos, as como el costo en que se ha incurrido.

10 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

As, formulacin y evaluacin son dos caras de una misma moneda. Un proyecto no se
puede formular a menos que se sepa cmo se lo va a evaluar, porque slo a partir de la
metodologa de la evaluacin es posible determinar cul es la informacin que se debe reco-
ger para su formulacin.

Por otro lado, la evaluacin ex-post (durante o despus de la implementacin del proyec-
to) permite reorientar la operacin, adecuando el diseo realizado o adaptndola a las con-
diciones cambiantes del contexto. Asimismo posibilita aprender de la experiencia.

La evaluacin, entonces, sirve de marco de referencia para la formulacin de un programa


o proyecto, permitiendo medir los costos y el impacto (o los beneficios) del mismo, as como
las relaciones existentes entre ambos.

1.1.1. Definicin de Evaluacin

Una funcin que consiste en hacer una apreciacin tan sistemtica y objetiva como sea
posible sobre un proyecto [por realizarse] en curso o acabado, un programa o un conjun-
to de lneas de accin, su concepcin, su realizacin y sus resultados. Se trata de determi-
nar la pertinencia de sus objetivos y su grado de realizacin, la eficiencia en cuanto a la
accin social, la eficacia, el impacto y la viabilidad. Una evaluacin debe proporcionar unas
informaciones crebles y tiles, que permitan integrar las enseanzas sacadas en los meca-
nismos de elaboracin de las decisiones.

1.1.2. Caractersticas y Funciones de la Evaluacin

En general, la evaluacin puede definirse como una herramienta sistemtica que, con base
en unos criterios y a travs de unas tcnicas, mide, analiza y valora unos diseos, proce-
sos y resultados con el fin de generar conocimiento til para la toma de decisiones, la retro-
alimentacin, la mejora de la gestin y el cumplimiento de unos objetivos.

Las principales caractersticas de la evaluacin son:

Carcter til y prctico: La evaluacin ha de servir para la mejora de la intervencin y


debe ser concebida hacia la accin.

GUA DE EVALUACIN DE PROGRAMAS Y PROYECTOS SOCIALES 11


1 CONSIDERACIONES BSICAS DE LA EVALUACIN

Sistematicidad durante todo el proceso de evaluacin: Toda evaluacin ha de recoger


de modo sistemtico la informacin pertinente para la valoracin de los criterios de eva-
luacin.
Necesidad de flexibilidad: Junto con el cariz sistemtico de la evaluacin, ha de primar-
se la flexibilidad metodolgica a lo largo de todo el proceso de evaluacin.
Ajuste a los plazos temporales: La evaluacin tiene que responder a los plazos tempora-
les acordados con el fin de que pueda contribuir al aprendizaje y la mejora de la inter-
vencin.
La evaluacin se centra en el anlisis de polticas, planes, programas y proyectos; nun-
ca de personas.
Emisin de juicios de valor: La evaluacin exige el anlisis valorativo de los componen-
tes estudiados.
Realizacin antes, durante o con posterioridad a la ejecucin: Se trata de una actividad
que puede llevarse a cabo en las distintas fases del ciclo de las intervenciones.
Variabilidad del objeto de evaluacin: La evaluacin puede estar referida al diseo de
una actividad, a los procesos de ejecucin o a sus resultados y efectos, previstos o no
previstos, priorizando uno u otro enfoque segn la finalidad del trabajo.
Criterios de evaluacin: En la evaluacin se revisarn la eficacia, la eficiencia, la perti-
nencia, el impacto y la viabilidad entre otros componentes.

Por otra parte, todos los que toman decisiones -ya sean personas o entidades- tienen la
preocupacin y -por lo tanto- la necesidad permanente de asegurarse que sus decisio-
nes son las adecuadas en cada momento y lugar; as como, que una vez tomadas las
decisiones, stas dan los frutos esperados/necesarios. En el momento en que esta pre-
ocupacin se expresa y se instrumenta, lo que ocurre normalmente cuando las entida-
des alcanzan un cierto grado de complejidad, nos encontramos ante la evaluacin o,
expresndolo de manera ms precisa, ante los procedimientos de evaluacin de una enti-
dad determinada.

Como consecuencia de lo anterior, la evaluacin debe llevarse a la prctica como herra-


mienta imprescindible de cualquier ciclo del proyecto de accin social que se pueda con-
cebir; ya que no puede imaginarse un ciclo de gestin que no considere el tomar las mejo-
res decisiones posibles, para de esta manera asignar adecuadamente los recursos dispo-
nibles y utilizarlos de la forma ms adecuada una vez asignados.

12 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

En este sentido, tres son las principales funciones de la evaluacin:


I. La retroalimentacin o mejora (improvement) de los proyectos o acciones ejecuta-
das o en ejecucin,
II. El aprovechamiento de las experiencias del pasado para actividades futuras (enligh-
tenment), y
III. La rendicin de cuentas (accountability) hacia los financiadores, la opinin pblica
y todos aquellos implicados en los procesos de accin social.

CONCEPTO DE EVALUACIN
RECOPILACIN Y ANLISIS SISTEMTICO DE INFORMACIN QUE PERMITE LA EMISIN DE JUICIOS
TAMBIN SISTEMTICOS SOBRE EL MRITO Y EL VALOR DEL PROGRAMA EVALUADO

Perfeccionamiento o mejora del programa o poltica.


Permite la retroalimentacin y el aprendizaje sobre la propia prctica.
I. IMPROVEMENT Garantiza la calidad del programa.
Refuerza la atencin en el contexto del programa, las necesidades
y naturaleza de los destinatarios y de todos los agentes crticos.

Rendimiento de cuentas o responsabilidad sobre la gestin y resul-


tados de un programa.
Prctica que forma parte del sistema democrtico como resultado
FUNCIONES 1

del derecho a saber en qu y cmo se utilizan los fondos pblicos


(idoneidad, eficacia, eficiencia).
II. ACCOUNTABILITY
Perspectivas del accountability2
Perspectiva poltica.
Perspectiva tcnico-organizativa.
Perspectiva de los ciudadanos.
Perspectiva del cliente.

Ejemplificacin o iluminacin para acciones futuras


La evaluacin contribuye a construir conocimiento desde los apor-
III. ENLIGTENMENT
tes tericos, tcnicos y metodolgicos.
Orienta sobre un modo de afrontar los problemas sociales
PROPSITOS

Facilitar el proceso de toma de decisiones


Solucin de problemas
Facilitar el aprendizaje organizativo el cambio institucional
CARACTERSTICAS

CARCTER POLTICO Contextualizada


Continuidad
Capacidad de respuesta
Flexibilidad metodolgica
Sensibilidad social y poltica
CARCTER Imparcialidad
Oportunidad en el tiempo
PRCTICO Participacin
realismo y rentabilidad
Fuente: Elaboracin propia

1. STTUFFEBEAM Y SHINKFILED (1987). Evaluacin Sistemtica. Gua terica y prctica. Madrid.


2. VEDUNG, E. (1997). Public Policy and Program Evaluation. New Jersey.

GUA DE EVALUACIN DE PROGRAMAS Y PROYECTOS SOCIALES 13


1 CONSIDERACIONES BSICAS DE LA EVALUACIN

Estas tres funciones pueden ser resumidas en un criterio general: todas las evaluaciones
deben ser de utilidad para la organizacin, en alguno de sus niveles as como contribuir al
aprendizaje sobre programas y proyectos dentro de la organizacin.

De igual modo, como hemos sealado una de las funciones de la evaluacin o el proceso
de la evaluacin es la de servir para tomar mejores decisiones de lo que se hara si no exis-
tiera esa evaluacin singular o ese procedimiento. Para que sea efectivamente til y utiliza-
da, una evaluacin debe:

I. Poseer un diseo flexible que permita introducir modificaciones en los instrumen-


tos de recopilacin y anlisis de la informacin en caso de que la situacin as lo
aconseje.
II. No ser considerada slo como una parte del ciclo del proyecto, sino como una acti-
vidad que gua la identificacin, la formulacin, la ejecucin y el seguimiento. En
resumidas cuentas, todas las actividades deben ser diseadas y llevadas a cabo
suponiendo que sern evaluadas.
III. Tener un carcter explicativo, estableciendo relaciones de causalidad, sin quedar-
se en meras descripciones de la realidad.
IV. Satisfacer las necesidades de informacin de todos los implicados, lo que supone
una total transparencia en cuanto al acceso a los datos necesarios.
V. Tener un coste que est en consonancia con el del proyecto o la accin evaluada.
VI. Proporcionar resultados a tiempo y oportunamente, de tal manera que sus conclu-
siones se puedan aplicar dentro de un espacio razonable de tiempo y en el ciclo vital
del proyecto o de la planificacin.

Como criterios fundamentales de la evaluacin, junto a la utilidad y la aplicabilidad es nece-


sario aadir el rigor, ya que esto determina la credibilidad de las conclusiones. Se deben
elegir muy cuidadosamente los procedimientos de recopilacin de la informacin, las meto-
dologas utilizadas y el personal encargado de su realizacin, y se debe ser explcito en todo
momento acerca de la calidad y fiabilidad de los datos empleados. Sin embargo, esto no
quiere decir que sea necesario buscar una validez estadstica intachable en todos los casos,
sino que es conveniente que exista un consenso entre los implicados principales acerca de
la calidad de la informacin conseguida.

14 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

Para que una evaluacin pueda cumplir esa condicin sine qua non razonablemente se ha
de suponer que se deben dar al menos las siguientes circunstancias:

I. Que en los procedimientos de gestin de las partes implicadas en el proyecto y con


capacidad de decisin en l, as como en la propia gestin del proyecto, existan los
procedimientos operativos para introducir los eventuales cambios y asimilar las ense-
anzas que la evaluacin recomiende, en el primer caso, y, en el segundo, se haga
patente. Parece claro que si no existe la posibilidad de introducir cambios en el dise-
o y/o en la ejecucin del proyecto o se carece de la capacidad para interiorizar los
aprendizajes, no sera de ninguna utilidad los resultados de una evaluacin.
II. El procedimiento de evaluacin previsto debe formar parte del procedimiento de ges-
tin habitual del proyecto; no debindose contemplar como una intervencin for-
nea o extraordinaria. Todo proyecto, salvo razones muy poderosas en contra y que
se deben explicitar, debe ser objeto de un anlisis evaluativo. Las caractersticas de
esta evaluacin debern obedecer a nuestras necesidades y posibilidades.
III. Debe producir resultados significativos. Es decir, debe esforzarse en mostrar causa-
lidades, superando el nivel de la mera descripcin de un estado de cosas o de la corre-
lacin. Una evaluacin debe ser capaz de identificar porqu determinados aconte-
cimientos han sucedido, sucedern o estn sucediendo3. Obviamente este es un ejer-
cicio arriesgado, pero el componente interpretativo/predictivo es imprescindible. Simul-
tneamente, debe informarse en la misma evaluacin de los niveles de certidumbre
y de los criterios interpretativos con los que se ha construido la evaluacin.
IV. Que responda a las necesidades de todos los implicados, especialmente de aquellas
personas e instituciones que directa o indirectamente participan en la evaluacin; ya
sea facilitando informacin, procesndola, analizndola... Todo aqul que participe
activamente en una evaluacin, discuta y facilite informacin y juicios en el marco de
una evaluacin debe obtener un adecuado retorno, pues esa es la mejor manera de
asegurar la calidad de las fuentes utilizadas. La necesidad de que la evaluacin pro-
duzca resultados tiles para todos los implicados, lgicamente, entre ellos deben estar
las personas beneficiarias, exige que los hallazgos de evaluacin se presenten y cubran

3. Los datos que se recogen para evaluacin tienen tres propsitos: describir, explicar y predecir. Estos propsitos no se excluyen mutua-
mente, por el contrario, hay una progresin lgica desde el primero hasta el ltimo. La descripcin de un fenmeno o proceso es el pri-
mer paso orientado a explicar su ndole, causas subyacentes, relaciones y contexto. Y la prediccin requiere usualmente, aunque no
siempre, describir y explicar...Las predicciones se fundamenta en la comprensin de las causas de los acontecimientos En CASLEY,
DENNIS; KUMAR KRISHNA (1990). Recopilacin, anlisis y uso de los datos de seguimiento y evaluacin, Madrid pp. 2 y 3.

GUA DE EVALUACIN DE PROGRAMAS Y PROYECTOS SOCIALES 15


1 CONSIDERACIONES BSICAS DE LA EVALUACIN

distintos aspectos de acuerdo con la utilizacin que le vayan a dar los receptores de la
evaluacin; en resumidas cuentas, les debe de servir para tomar sus propias decisio-
nes dentro del marco del proyecto. En este sentido carece de sentido hablar de eva-
luacin participativa sin que exista una gestin del proyecto participada.
V. Los costes monetarios y no monetarios asociados a la evaluacin, dentro de los que
es preciso incluir los del seguimiento, deben estar en consonancia con los costes
del proyecto evaluado. No parecera adecuado que un proyecto consumiera la mitad
de sus recursos en el seguimiento y la evaluacin4.
VI. La evaluacin debe suministrar sus resultados a tiempo, cuando sus hallazgos pue-
dan utilizarse, cuando an es posible hacerlo, para tomar las decisiones sobre los
temas que ilumina.

Con relacin a los puntos anteriores referidos a las caractersticas ligadas a la utilidad de
una evaluacin5, considera que el enfoque estndar, es decir, un enfoque rgido y univer-
sal apropiado para todas las evaluaciones, ha sido (ms bien debera decirse que debe ser)
reemplazado por la utilizacin de diversas tcnicas y fuentes para satisfacer a la variedad
de cuestiones relacionadas con la gestin.

Abundando en esos temas, indica de manera especfica que las encuestas por muestreo
representativo, tradicionalmente consideradas el mximo ejemplo de rigor en la recogida
de informacin, deben ser sustituidas o completadas por tcnicas menos representativas,
de menor coste y ms rpidas; subrayando especficamente la utilizacin de:

I. Documentacin administrativa. Mediante un simple pero cuidadoso diseo esta


documentacin puede ser usada para apreciar los progresos y costes del proyecto;
as como, tambin puede utilizarse, en el caso de proyectos que suministran servi-
cios, para recoger informacin bsica y socioeconmica sobre los usuarios.
II. Encuestas con pequeas muestras. Muestras de menos de 100 sujetos, ms bara-
tas, pueden proporcionar informacin sobre el acceso a servicios y su aceptacin.
III. Indicadores indirectos. Suficiente informacin puede reunirse mediante la utiliza-
cin de este tipo de indicadores con un coste menor.

4. Las excepciones a esta regla son los proyectos piloto; denominndose as aqullos que se realizan con el propsito principal de eva-
luarlos.
5. BINNENDIJK, A.L.(1989). Donor agency experience with the monitoring and evaluation of development projects. Evaluation Review,
13 (3). pp. 216 y 217.

16 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

IV. Informacin procedente del estudio en profundidad de las personas beneficiarias.


La experiencia extrada de los proyectos muestra de manera reiterada que sus fra-
casos son debidos con frecuencia a la no comprensin de las percepciones de las
personas beneficiarias. Para superar estas incomprensiones la utilizacin de la obser-
vacin participante, informadores claves, reuniones comunales... son procedimien-
tos baratos y que producen una rpida retroalimentacin.

1.2. tica, Poltica y Calidad en Evaluacin

En los ltimos aos se le ha prestado mucha atencin a las cuestiones ticas relacionadas
con la evaluacin. Esta preocupacin, como es lgico, ha sido paralela al reconocimiento
del carcter poltico de la evaluacin y, por lo tanto, al poder que sta puede tener y a la
necesidad de que el equipo evaluador interacte en el contexto en el que debe intervenir.
Muchos de los ms recientes manuales en evaluacin de programas y polticas contienen
un captulo especfico en cuestiones ticas6.

Otro indicador de esta preocupacin tica es la existencia de cdigos deontolgicos, elabora-


dos por las asociaciones profesionales, que en algunos casos, tienen ese objetivo implcito inclu-
so en el ttulo que les han dado Orientaciones para una actuacin tica, en el caso de las aso-
ciaciones canadiense y austral asitica. Como ya se ha sealado anteriormente, es, a la vez, un
indicador y un elemento generador de una mayor consolidacin institucional y profesional de
una disciplina. Profesiones fuertemente consolidadas desde hace tiempo (como son la medi-
cina, la abogaca o la arquitectura) o ms recientemente (psicologa) han desarrollado este tipo
de cdigos. Adems de fomentar un sentido de pertenencia e identificacin entre los/as profe-
sionales, acotan y regulan la prctica profesional entre sus respectivos campos.

Un aspecto de enorme trascendencia y especialmente caracterstico de los cdigos deon-


tolgicos es que permiten la introduccin y desarrollo de los temas ticos, que resultan cla-
ve en la prctica de la evaluacin.

6. PATTON, Q.M. (1997) Utilization focused Evaluation: The new century text. Londres.
WEISS, C.H. (1998) Donor Agency experience with the monitoring and evaluation of development projets Evaluation Review 13 (3).
NORAD. AGENCIA NORUEGA E COOPERACIN AL DESARROLLO (1997) El enfoque del marco lgico: Manual para la planificacin
de proyectos orientada por objetivos, Instituto Universitario de Desarrollo y Cooperacin-Fundacin Centro Espaol de Estudios de
Amrica Latina, Madrid.

GUA DE EVALUACIN DE PROGRAMAS Y PROYECTOS SOCIALES 17


1 CONSIDERACIONES BSICAS DE LA EVALUACIN

En su manual de evaluacin, Carol Weiss7, incluye un captulo dedicado a cuestiones ti-


cas, Evaluar con integridad y seala seis ideas fundamentales sobre cmo se debe rea-
lizar una evaluacin tica en una sociedad democrtica. Son las siguientes:

Conocer el programa o poltica que se va a evaluar y su contexto.


Mantener la alta calidad tcnica y la relevancia del estudio de evaluacin: la calidad en
investigacin se define en trminos metodolgicos. En evaluacin, adems, se debe
asegurar que el estudio es relevante para la situacin y el contexto concreto.
Las elecciones de quien evala deben tener en cuenta: el tipo de informacin que quie-
re el cliente, los deseos y puntos de vista de otros agentes crticos, la naturaleza de las
premisas del programa, las posibilidades de xito de la evaluacin y las oportunidades
de que se incorporen los resultados al conocimiento profesional y a la opinin pblica.
Tambin tiene que ser sensible a los cambios que se produzcan en el contexto a lo lar-
go del proceso de evaluacin.
Considerar la posibilidad de uso desde el principio: las conclusiones deben ser escu-
chadas, respetadas y aceptadas, ya que sern la base para la accin.
Comportarse de forma tica a lo largo del estudio. A veces, las obligaciones ticas pue-
den llegar a ser contradictorias o entrar en conflicto; hay que procurar, sobre todo, no
distorsionar y no daar sensibilidades.
Sobrevivir y cosechar recompensas: Con esta mxima, Weiss8 pretende demostrar
que, a pesar de todas las demandas que se requieren del evaluador/a, la evaluacin
merece la pena ya que pretende mejorar la forma de abordar problemas pblicos; es
un trabajo que genera comprensin y mayor calidad de vida.

Patton9 vincula las cuestiones ticas a la naturaleza poltica de la evaluacin y a su poder.


Este autor plantea cuatro mximas polticas que deben seguir los equipos de evaluacin,
considerando de forma prioritaria su utilizacin:

No toda la informacin es til;


No toda la gente es usuaria de informacin;
Es ms probable que la informacin dirigida al uso alcance el objetivo;
Slo la informacin creble es poderosa en ltima instancia.

7. WEISS, C.H. (1998). op. cit. pp 320 y ss.


8. WEISS, C.H. (1998). op. cit. pp 320 y ss.
9. PATTON, Q.M. (1997). op. cit.

18 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

Es evidente que estas cuatro mximas tienen claras implicaciones ticas.

Finalmente, y como ejemplo de la importancia de las cuestiones ticas en la evaluacin


mencionamos el manual para evaluar proyectos de ayuda al desarrollo elaborado por la
Agencia Noruega de Cooperacin10. En el captulo dedicado a La tica de la evaluacin
expone los requisitos ticos y profesionales que debe cumplir el equipo evaluador:

Sensibilidad cultural: estar familiarizados con las caractersticas culturales del colecti-
vo o zona de intervencin.
Anonimato y confidencialidad: se debe respetar el derecho de los/as informantes.
Responsabilidad en las evaluaciones: el equipo evaluador no debe realizar ninguna afir-
macin a menos que todos sus miembros hayan tenido la oportunidad de aprobarla o
manifestar su desacuerdo con ella.
Consideracin con los informantes: avisar con tiempo y hacer un uso eficiente de su
disponibilidad.
Integridad y omisiones: quien evala tiene la responsabilidad de sacar a la luz cuestio-
nes que no hubieran sido reflejadas en los trminos de referencia.
Evaluacin de personas: la evaluacin de proyectos no incluye normalmente la evalua-
cin de personas; en todo caso, la funcin de las personas y no ellas mismas.
Errores e infracciones: cuando se descubran errores habr que evitar citar personas
concretas en el informe.
Convalidar la informacin con participantes y personas o entidades implicadas.
Compartir los resultados: Se podrn hacer sesiones informativas y resmenes de carc-
ter no oficial, manteniendo la discrecin respecto a los contenidos finales.

2. TIPOS DE EVALUACIN

La accin de evaluar no siempre tiene las mismas caractersticas. Podemos encontrar dis-
tintas clases de evaluaciones que definen una amplia tipologa cuyos perfiles se nutren de
diversas disciplinas, bsicamente del mbito econmico y social, que han aportado su pun-
to de vista a los procedimientos de gestin de los proyectos.

10. NORAD. AGENCIA NORUEGA E COOPERACIN AL DESARROLLO (1997) op. cit. pp 12 y 13.

GUA DE EVALUACIN DE PROGRAMAS Y PROYECTOS SOCIALES 19


1 CONSIDERACIONES BSICAS DE LA EVALUACIN

En la accin social se han venido construyendo diversas tipologas de evaluacin que atien-
den a los momentos en los que se lleva a cabo; a su naturaleza y a las caractersticas de
aquello que se persigue analizar; a los actores sociales que las realizan y a los procedimien-
tos prioritarios que se utilizan.

La clasificacin que a continuacin se presenta no agota las posibilidades de manejar otro


tipo de criterios; por el contrario, el quehacer institucional especfico en este campo puede
complementar y revisar las definiciones que se incluyen. No obstante, parece oportuno
ordenar esquemticamente el universo de la evaluacin, en el entendido que no existen
definiciones puras sino que todas ellas tienden a entremezclarse con frecuencia. En cual-
quier caso, resulta conveniente conocer las principales caractersticas de los tipos ms
comunes de evaluacin, teniendo en cuenta que el proceso de definicin del modelo de
evaluacin ms adecuado para cada organizacin constituye un proceso original que no
puede ser mecnicamente replicado

2.1. Por su Ubicacin Temporal

De la visin tradicional que consideraba a la evaluacin como una fase final de rendicin
de cuentas, hemos pasado a una concepcin ms compleja que tiende a visualizar los pro-
yectos de accin social como procesos de evaluacin continua.

Atendiendo a la temporalidad de las evaluaciones pueden, por tanto, distinguirse cuatro


grandes momentos evaluativos: antes de comenzar la ejecucin, durante la ejecucin, en
el momento de conclusin de los trabajos o transcurrido un periodo despus de la ejecu-
cin, que dan lugar a otros tantos tipos de evaluaciones. Brevemente van a sealarse sus
principales caractersticas.

2.1.1. Evaluacin Previa

La evaluacin previa es llamada tambin evaluacin ex ante, a priori, apreciacin, valora-


cin previa o estudio de viabilidad. Tiene por finalidad esencial la de proporcionar informa-
cin significativa para tomar la correspondiente decisin en torno a si el proyecto debe o no
ejecutarse; o bien cul es el proyecto ms adecuado para el apoyo y financiacin (elegir
racionalmente entre proyectos alternativos); o bien qu modificaciones deben introducirse
en determinada formulacin antes de su ejecucin.

20 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

La evaluacin previa tiene distintas modalidades de realizacin. Con frecuencia consiste en


un ms o menos sistemtico trabajo de gabinete, a travs del cual un equipo de analistas
valora la calidad y aplicabilidad del documento del proyecto, construyendo para ello listas de
comprobacin ad hoc que permitirn evaluar la consistencia de su formulacin y su posi-
ble viabilidad. Si se considera que el documento no rene los mnimos exigibles de calidad
se puede solicitar informacin adicional o, ms drsticamente, se recomendar su rechazo.

2.1.2. Evaluacin Simultnea

La evaluacin simultnea es tambin denominada intermedia, concurrente, media, formativa,


concomitante u on going. Tiene por finalidad extraer informacin, reflexiones y conclusiones
sobre la marcha y desempeo del proyecto. Se trata de examinar con juicio crtico la validez con-
tinuada de las hiptesis en que se fundamentaron las proyecciones realizadas en el diseo.

La evaluacin simultnea ofrece apreciaciones sobre la continuidad del proyecto con base
en los resultados del mismo. Si la decisin es continuar, habr de valorarse si procede man-
tener la formulacin original o deben introducirse modificaciones para mejorar la calidad
de la intervencin.

Este tipo de evaluacin debe realizarse sobre la accin social, aplicando para ello los proce-
dimientos tcnicos ms adecuados a las caractersticas del proyecto. Siempre que sea posible,
esas evaluaciones deben hacerse contando con la ms amplia participacin de los distintos
agentes implicados en la intervencin y muy especialmente con la poblacin beneficiaria.

La evaluacin simultnea tender a examinar los progresos y problemas que se detectan


durante la ejecucin, permitiendo as que las personas beneficiarias incrementen sus capa-
cidades y reduzcan su vulnerabilidad y que la organizacin que opera sobre el proyecto de
accin social pueda rectificar sus puntos dbiles y consolidar los fuertes.

2.1.3. Evaluacin Final

Este tipo de evaluacin es tambin denominado finalizacin o evaluacin a fin de proyec-


to, sumativa o de cierre. Tiene por finalidad valorar el desempeo global de un proyecto
cuya ejecucin ha finalizado y extraer las correspondientes enseanzas. La metodologa de

GUA DE EVALUACIN DE PROGRAMAS Y PROYECTOS SOCIALES 21


1 CONSIDERACIONES BSICAS DE LA EVALUACIN

trabajo apuntar a analizar los componentes clsicos de la evaluacin (eficacia, eficien-


cia, pertinencia, impactos, viabilidad, replicabilidad) as como aquellos efectos no previs-
tos y que en el curso del proceso de ejecucin se han desencadenado.

Este tipo de evaluacin, por tanto, estudiar el funcionamiento del proyecto y emitir un infor-
me final cuyos contenidos permitirn conocer la calidad de la intervencin efectuada as
como mejorar la planificacin de futuros proyectos similares o con componentes parecidos.
En este sentido, la evaluacin de un proyecto finalizado debe contribuir a reforzar la toma de
decisiones utilizando los correspondientes aprendizajes en experiencias posteriores.

La evaluacin final, como se ha sealado con anterioridad, aparece en algunos manuales


denominada evaluacin sumativa, atendiendo a su carcter terminal en donde presumible-
mente se recogen las conclusiones de todo el proceso de intervencin.

2.1.4. Evaluacin Posterior

Muy ligada a la anterior, en cuanto a su naturaleza y procedimientos, este tipo de evalua-


cin se realiza un tiempo despus de haber concluido la ejecucin del proyecto y trata de
estudiar en profundidad sus repercusiones en el contexto de la intervencin. Esta evalua-
cin es llamada tambin a posteriori, ex - post o de impacto.

La valoracin de los efectos de un gran nmero de proyectos, el cumplimiento efectivo de


sus objetivos, as como la capacidad local para mantener los beneficios en el tiempo, slo
podr ser analizada con rigor en un momento posterior a su finalizacin. Ello resulta an
ms cierto en el caso de los proyectos de carcter social y en aquellos que comportan un
elevado grado de transferencia de conocimientos.

As, la evaluacin posterior tiene como finalidad estimar la verdadera dimensin de las inter-
venciones, con una atencin particular a sus impactos y a sus niveles de sostenibilidad. Tie-
ne, asimismo, una especial importancia a la hora de extraer conclusiones que refuercen los
aprendizajes y permitan, en el futuro, fundamentar de mejor modo la toma de decisiones.

Como resulta obvio, tanto la evaluacin final como la posterior constituyen modalidades a
realizarse sobre la accin social.

22 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

2.2. Segn su objeto

El alcance de cada evaluacin tambin permite establecer una clasificacin que acota el
objeto de estudio y las caractersticas especficas de su mbito de aplicacin. En tal senti-
do se incluyen algunos tipos que, una vez ms, pueden presentarse en el trabajo real de
forma combinada.

2.2.1. Por el Propsito

Segn su propsito se puede hablar de evaluacin de resultados, de evaluacin de objeti-


vos y de evaluacin de procesos. Los dos primeros tipos son difcilmente distinguibles entre
s y aparecen habitualmente combinados, pero vamos a intentar establecer algunas mati-
zaciones que permitan diferenciarlos.

Evaluar en base a resultados significa atender a los productos concretos que el proyecto
entrega; supone valorar, por tanto, la adecuacin y calidad de los bienes y servicios que gene-
ra el proyecto. Este anlisis implica un correcto diseo en donde los resultados hayan sido
definidos de modo operacional a travs de indicadores, para evaluar la eficacia, y en donde
los recursos tengan una clara expresin en el presupuesto, para evaluar la eficiencia.

Evaluar en base a objetivos, por su parte, supone valorar las hiptesis de la accin social
que orientan la intervencin. Es decir, si el desempeo del proyecto ha contribuido efecti-
vamente a alcanzar, y en qu grado, los estados predeterminados que mejoran la situacin
de las personas beneficiarias; si la lgica interna del proyecto (recursos, actividades, resul-
tados, objetivos) se han verificado en la prctica.

Este anlisis implica un correcto diseo en donde los objetivos hayan sido definidos de modo
operacional a travs de indicadores, para evaluar la eficacia, y en donde otros componentes del
proyecto hayan sido claramente descritos, para evaluar la pertinencia, impactos y viabilidad.

Una evaluacin, efectuada en cualquier momento de la vida de un proyecto, debe mirar


permanentemente hacia dentro y hacia fuera de esa intervencin, pues es precisamen-
te esa combinacin de los aspectos internos y externos la que puede permitirnos estable-
cer un diagnstico fiable sobre los logros y efectos alcanzados.

GUA DE EVALUACIN DE PROGRAMAS Y PROYECTOS SOCIALES 23


1 CONSIDERACIONES BSICAS DE LA EVALUACIN

Una valoracin exclusiva de los resultados, de los objetivos y de sus respectivos indicado-
res puede llevarnos a olvidar el contexto en el que se efecta el proyecto y los efectos de
ste sobre la realidad. Por contra, un nfasis excesivo en la apreciacin de los procesos
desencadenados por el proyecto en cuestin, aparte de su dificultad intrnseca, puede con-
ducirnos a despreciar la lgica interna de la intervencin y toda la fase de ejecucin, lo que,
en el fondo, supone un rechazo al proceso general de planificacin.

2.2.2. Por su Naturaleza, su Escala y sus Niveles

Segn su naturaleza, la evaluacin puede ser descriptiva, a travs del desarrollo narrativo
de clasificaciones y taxonomas que detallen fenmenos, procesos y situaciones o explica-
tiva, mediante la construccin de modelos causales que permitan extraer conclusiones y
proyectar predicciones (recomendaciones y sugerencias).

Segn la escala y caractersticas de los proyectos, puede hablarse de proyectos grandes,


en los que resulta ms adecuada una evaluacin basada en la utilizacin de tcnicas cuan-
titativas asociadas a las ciencias naturales, y de proyectos pequeos, cuyos formatos se
adaptan mejor a procedimientos cualitativos y de bajo coste. Evidentemente la distincin
establecida en funcin de la magnitud de los proyectos es especfica para cada institucin,
pues no puede establecerse una frontera absoluta entre unos y otros. En cualquier caso
esa clasificacin resulta pertinente para asignar procedimientos de gestin, y dentro de ella,
de evaluacin, diferenciados para cada caso. No parece realista pensar, por ejemplo, que
es posible evaluar de la misma manera a una modesta intervencin con plazos temporales
muy limitados que a un ambicioso programa que se prolonga durante bastantes aos.

Otra diferenciacin esquemtica que habitualmente se maneja para asignar distintos pro-
cedimientos de evaluacin es la que puede establecerse entre proyectos directamente pro-
ductivos, que aconsejan el uso de instrumentos evaluatorios prximos a las ciencias eco-
nmicas (anlisis coste beneficio y otros) para conocer y evaluar flujos financieros, y pro-
yectos no directamente productivos, proyectos sociales, en donde se tiende a la aplica-
cin combinada de tcnicas simplificadas, tanto cualitativas como cuantitativas.

Finalmente y segn los niveles de la planificacin, la evaluacin puede ser normativa, cuan-
do afecta a las grandes orientaciones polticas y principios rectores de cada institucin;

24 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

estratgica, asociada a los planes de desarrollo que concretan, en prioridades y alternati-


vas de intervencin, los ejes normativos; tctica, en funcin de los programas que estruc-
turan acciones concretas para satisfacer las prioridades estratgicas; y operativa, abocada
al anlisis de los proyectos especficos en el marco de determinados programas.

La secuencia anterior constituye un itinerario metodolgico adecuado para desarrollar pro-


cesos de evaluacin integrales y articulados, de modo que la evaluacin de los elementos
de cada nivel informe y fundamente al nivel ms prximo.

2.3. Por su Quin la Hace

Una tercera tipologa implica reconocer cul es el agente evaluador. Tal como se ha sea-
lado en los anteriores epgrafes, tambin esta clasificacin no es ms que un esquema de
anlisis toda vez que en la prctica las combinaciones que se presentan son numerosas.

Convencionalmente, se distinguen tres tipos de evaluaciones en funcin del sujeto que las
realiza: externa, interna y mixta, a las que hay que aadir las evaluaciones participativas
que han adquirido en los ltimos tiempos una gran importancia.

2.3.1. Evaluacin Externa

Se trata de las evaluaciones realizadas por especialistas ajenos a la gestin (y especfica-


mente a la ejecucin) del proyecto. Tambin esta evaluacin tiende a asociarse con la eva-
luacin final o de impactos.

Las principales ventajas que habitualmente se sealan en esta modalidad de evaluacin de


los proyectos sociales son su presumible objetividad, su menor complacencia y su carc-
ter independiente. De igual modo, se considera que los expertos externos pueden poseer
una mayor capacidad tcnica en el manejo de los instrumentos evaluatorios y un conoci-
miento ms amplio de otras intervenciones de caractersticas relativamente parecidas a la
considerada.

En muchas ocasiones, los responsables de la ejecucin de los proyectos sealan que las reco-
mendaciones de los equipos externos de evaluacin resultan inaplicables para las institucio-

GUA DE EVALUACIN DE PROGRAMAS Y PROYECTOS SOCIALES 25


1 CONSIDERACIONES BSICAS DE LA EVALUACIN

nes y personas implicadas en la gestin directa de las intervenciones ya que, si bien formal-
mente sus propuestas pueden resultar irreprochables, estn dictadas desde un desconoci-
miento de los mecanismos y procesos concretos que se estn siguiendo en la prctica.

Igualmente esta evaluacin es criticada por el alto coste que conlleva.

2.3.2. Evaluacin Interna

La evaluacin interna es aquella realizada por los responsables de la gestin (y ejecucin)


del proyecto. A tal fin, la instancia ejecutora es la encargada de recolectar y analizar la infor-
macin. Suele asociarse con la evaluacin simultnea y, como ya se dijo, supone una suer-
te de continuidad con la fase de seguimiento.

Lo que en la evaluacin externa suponan ventajas e inconvenientes, en este caso implica


un cambio de signo. As, la evaluacin interna tiende a constituir un proceso de anlisis
mucho ms apegado a la realidad y vinculado a las debilidades y fortalezas detectadas en
los distintos colectivos sociales, si bien se corre el riesgo de una excesiva autoafirmacin
positiva que bloquee la identificacin de los verdaderos obstculos y problemas. Tambin
suele argumentarse la ausencia de suficiente capacidad interna para la correcta aplicacin
de los instrumentos de evaluacin. Por el contrario, los procesos de evaluacin interna resul-
tan mucho ms baratos

El problema fundamental en muchas ocasiones que impide abordar de forma consecuen-


te un proceso de evaluacin interna es precisamente la falta de voluntad de las institucio-
nes implicadas. Puede aqu sealarse que pocas veces est ms justificado el principio que
afirma que si se quiere, se puede. Para evaluar un proyecto social el requisito imprescin-
dible es querer hacerlo. Si existe esa voluntad, la relativa ausencia de medios o de conoci-
mientos no resultan dificultades insuperables.

2.3.3. Evaluacin Mixta

Es una combinacin de las dos anteriores. Se trata de articular, en base a unos trminos de
referencia comunes, ambas perspectivas, optimizando las ventajas de cada una de ellas y
minimizando los eventuales inconvenientes.

26 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

Su aplicacin prctica, en determinados casos, se realiza situando la responsabilidad de la


evaluacin simultnea en la instancia ejecutora (responsable asimismo del seguimiento)
para completar el proceso con una evaluacin final a cargo de un equipo externo que basa
sus apreciaciones, adems de en sus propios anlisis, en los trabajos de carcter interno.
Existen, no obstante, otras posibilidades alternativas.

2.3.4. Evaluacin Participativa

Se trata, de hecho, de una modalidad de evaluacin interna pero, en este caso, la respon-
sabilidad de la misma no recae tanto (o tan slo) en la instancia ejecutora sino que las pro-
pias personas beneficiarias constituyen el agente principal en la recogida de datos, en su
interpretacin e, incluso, en la proyeccin de recomendaciones para el futuro.

La evaluacin participativa suele estar asociada a metodologas del tipo investigacin-accin,


en donde los beneficios del proyecto no estn constituidos slo por la consecucin de sus
resultados y por el logro de sus objetivos sino, tambin y bsicamente, por los elementos
de continuo aprendizaje que se desencadenan durante el mismo proceso de ejecucin. Es
decir, se parte de la base de que el desarrollo del proyecto y la participacin activa de las
personas beneficiarias en todas sus fases, constituyen per se una de las principales fina-
lidades de la intervencin.

Por ltimo, puede afirmarse, que la evaluacin participativa, aun cuando en ocasiones pue-
da apoyarse en asesoras tcnicas externas, pretende reducir al mnimo la distancia exis-
tente entre el evaluador y las personas beneficiarias. El evaluador tiende a ser concebido
en este tipo de enfoques ms como un animador que como un juez y su funcin consiste
esencialmente en dinamizar, facilitar las discusiones y recoger sus resultados.

2.4. Por los Instrumentos

Para finalizar con las tipologas de evaluacin es oportuno incluir una clasificacin de carc-
ter ms instrumental que afecta a los procedimientos y tcnicas concretas susceptibles de
ser utilizados en cada una de las modalidades expresadas en los apartados anteriores. Nue-
vamente cabe sealar que estas tcnicas se presentan, en la prctica, habitualmente aso-
ciadas entre s.

GUA DE EVALUACIN DE PROGRAMAS Y PROYECTOS SOCIALES 27


1 CONSIDERACIONES BSICAS DE LA EVALUACIN

De forma inicial puede realizarse una distincin entre procedimientos cualitativos y cuantita-
tivos. Si bien la calidad y la cantidad suelen ser dos dimensiones de una misma secuencia,
cada procedimiento de evaluacin se orienta, en mayor o menor medida, hacia una de ellas.

Esta orientacin se concreta segn el tipo de datos que cada instrumento recoge y proce-
sa de forma preferente. Los datos cualitativos se derivan normalmente de actitudes, per-
cepciones, opiniones, perspectivas, comportamientos, creencias, etc. Su carcter iterativo
les permite una revisin y adecuacin constante en el curso de la recogida de informacin.
Los datos cuantitativos consisten en cifras, tasas, variables, etc. La forma de su obtencin
tiende a estar rgidamente predeterminada de antemano y su capacidad de ser flexible es
escasa. stos ltimos, no obstante, suelen ser preferidos por su presumible carcter de
mayor objetividad y fiabilidad.

Los instrumentos, como resulta lgico, constituyen un medio para la evaluacin y no su fina-
lidad. En esa medida puede sealarse que no existe un procedimiento tipo para cada pro-
yecto y que su combinacin ad hoc suele resultar el camino ms acertado. Para tomar esa
decisin habr que valorar, entre otras cosas, la aplicabilidad del instrumento a las caracte-
rsticas del proyecto, las capacidades de quienes han de aplicar las tcnicas seleccionadas,
su calidad intrnseca, su fiabilidad y validez, su disponibilidad, su relevancia y su coste.

2.4.1. Instrumentos Cuantitativos

En cuanto a los instrumentos esencialmente cuantitativos hay dos familias de tcnicas de


uso habitual a las que sumamos la evaluacin por indicadores:

I. La primera, ligada al mundo de las ciencias econmicas, pretende determinar cri-


terios de rentabilidad de los proyectos para conocer la conveniencia de realizar una
accin social o, en su caso, examinar la rentabilidad econmica de un proyecto futu-
ro, en curso o finalizado. El mtodo tipo es el Anlisis Coste Beneficio (ACB) que
compara los flujos de bienes y servicios producidos por el proyecto con sus respec-
tivos costes, expresando todo ello en unidades monetarias. Una modalidad deriva-
da, entre otras posibles, es el Anlisis Coste Efectividad (ACE) en donde la anterior
comparacin se realiza sin que ambas dimensiones, costes y beneficios, estn expre-
sadas en la misma unidad.

28 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL


CONSIDERACIONES BSICAS DE LA EVALUACIN 1

Estas tcnicas tienden a utilizarse en proyectos directamente productivos an


cuando, en ocasiones, ciertos dogmatismos metodolgicos intentan forzar la lgi-
ca de las cosas para su aplicacin a proyectos en donde los efectos o beneficios
resultan difcilmente cuantificables en trminos monetarios, nios escolariza-
dos, etc.
II. La segunda familia de procedimientos cuantitativos tiene que ver con el mbito de
las encuestas formales, que recogen informacin precisa y estandarizada a travs de
cuestionarios aplicados a determinadas muestras representativas. Su utilidad es incon-
testable para el tratamiento de datos cuando se necesita realizar generalizaciones o
bien verificar hiptesis. Sin embargo, su alto coste y grado de sofisticacin en la reco-
gida de informacin aconsejan su uso slo cuando las condiciones del proyecto as
lo exijan y/o lo permitan.
Existen otros mtodos, tradicionales en este mbito, tales como el amplio campo de
las mediciones directas, apropiadas para comparar dimensiones fsicas, que pueden
aplicarse asociadas a otras tcnicas.
III. Finalmente, la evaluacin por indicadores constituye la estrategia evaluatoria central
del enfoque del marco lgico (EML), en donde dichos indicadores deben ser cuanti-
ficables y verificables, a travs de tcnicas cuantitativas como las sealadas y/o pro-
cedimientos cualitativos como los que vienen a continuacin.

2.4.2. Instrumentos Cualitativos

En cuanto a los instrumentos ms cualitativos la tipologa es de una extensin imposible de


resumir en este manual y sus posibles combinaciones en la prctica resultan prcticamen-
te inacabables. No obstante, seguidamente se enuncian algunos procedimientos genricos
de uso comn en los proyectos de desarrollo que tambin pueden ser agrupados en dos
tipos de familias: la observacin y la entrevista.

A. La observacin es una tcnica tradicional que no exige demasiados comentarios. Su


carcter de apreciacin subjetiva es evidente, as como su utilidad para interpretar datos
recogidos por otras vas. Suele distinguirse entre observacin participante, en donde el
evaluador est presente durante el proceso de ejecucin, y observacin directa, cuando
se realiza en momentos puntuales de la vida del proyecto. Ambas tienden a ser comple-
mentadas con otras tcnicas y soportes, listas de comprobacin, cuestionarios, etc., que

GUA DE EVALUACIN DE PROGRAMAS Y PROYECTOS SOCIALES 29


1 CONSIDERACIONES BSICAS DE LA EVALUACIN

reducen los inevitables sesgos de los observadores y refuerzan las posibilidades de esta-
blecer comparaciones.
B. La Entrevista es un instrumento bsico en toda evaluacin y permite, a diferencia de la
encuesta formal, introducir un alto grado de flexibilidad en la recogida de informacin e
incorporar, en el curso de los trabajos, elementos sobrevenidos que no se previeron ini-
cialmente y que en ocasiones constituyen datos esenciales para determinadas interpre-
taciones. Algunas modalidades son, por ejemplo, la entrevista a informantes clave, en
donde un grupo de individuos relevantes y con un importante conocimiento de la situa-
cin opinan, de forma separada, sobre temas que no les implican directamente; una
variante es la tcnica Delphi que utiliza una secuencia de cuestionarios enviados y reci-
bidos por correo.
La entrevista a grupos focales aplica colectivamente, de forma flexible y con un desglo-
se temtico, un cuestionario comn a un pequeo grupo homogneo. El forum comuni-
tario es una reunin abierta a personas representativas de la comunidad, en donde se
establece una discusin ordenada basada en un guin de trabajo desagregado por compo-
nentes; este mecanismo resulta muy til como momento ltimo de un proceso de eva-
luacin en donde se contrasta la informacin recabada por otras vas con la opinin de
los participantes en un taller de evaluacin.

30 PLAN ESTRATGICO DEL TERCER SECTOR DE ACCIN SOCIAL

S-ar putea să vă placă și