Metodologas aplicadas en la evaluacin de polticas y programas sociales de

Colombia
1



Por Esteban Nina B.
2

enina@javeriana.edu.co


Resumen

Este documento presenta una aproximacin para determinar cuales son los modelos de
evaluacin aplicados en los programas sociales ms relevantes en Colombia, para lo
cual parte se presentar una aproximacin a una comparacin conceptual y
metodolgica de tres modelos predominantes: el modelo de evaluacin de consecucin
de objetivos, el modelo de evaluacin de impacto y el modelo cualitativo participativo.


Methodologies applied in the evaluation of politics and social programs of Colombia

Abstract

This document presents an approximation to determine which are the models of
evaluation applied in the most prominent social programs in Colombia, for which an
approximation to a methodological and conceptual comparison will be presented of
three predominant models: objectives attainment evaluation model, impact evaluation
model and participatory qualitative model.

Palabras claves: evaluacin, polticas pblicas, programas sociales, Colombia

Key words: evaluation, public policy, social program, Colombia



Introduccin
El tema de la evaluacin de polticas y programas sociales se ha ido convirtiendo en la
ltima dcada en un problema central de la accin o intervenciones gubernamentales.
Principalmente por tres razones. La primera es que el desarrollo y progreso social que se
viven en el nuevo milenio no aminoran la severidad de viejos y nuevos problemas
sociales: pobreza, exclusin, desigualdad. La segunda, es que a pesar de las
innovaciones institucionales y programticas, las soluciones que se han puesto en
marcha no arrojan los resultados esperados. La complejidad de nuestras sociedades, que
presentan una muy desigual distribucin de las oportunidades, y de los problemas que
ello genera, exige miradas ms rigurosas sobre las polticas y programas que se estn
implementando. La tercera se relaciona con la permanente escasez de recursos, cuestin
que puede ser mejor enfrentada si la evaluacin permite asegurar el uso eficiente de los
recursos.


1
Articulo de reflexin sobre las metodologas de evaluacin.
2
Magster en Economa. Profesor investigador Pontificia Universidad J averiana.
La funcin de evaluacin de las polticas pblicas, incluidas los programas sociales, se
ha ido asentando lentamente en el sector pblico, el privado y el amplio mundo de los
organismos no gubernamentales del pas. El tema est instalado como necesidad en el
sector pblico y como tpico de formacin y entrenamiento en el mundo acadmico y
de las organizaciones no gubernamental. La instalacin del tema tampoco ha significado
borrar el estigma o fantasma de la evaluacin entendida como control y sancin, aunque
sin duda, para que los resultados de las evaluaciones tengan efecto, debe existir un
sistema de premios y castigos (Weisner, 1999). El ms efectivo, en nuestros pases, est
asociado a las asignaciones presupuestarias.

El fin principal de la evaluacin es el aprendizaje respecto de las formas que tiene el
Estado en torno a los desafos sociales que impone el desarrollo: enseanzas que aporta
la experiencia para hacerlo mejor, lograr polticas y programas ms efectivos, ms
eficaces, ms eficientes, ms costo-efectivos, ms sustentables en el tiempo. La
evaluacin alimenta la rendicin de cuentas, vela por el buen funcionamiento de las
instituciones pblicas y sus polticas y programas, y ayuda a controlar los abusos.

La diversidad de perspectivas y prioridades en la evaluacin deja en evidencia que ella
no es slo un ejercicio tcnico. Tras una evaluacin hay siempre un marco de referencia,
un punto de vista, un propsito, que son previos a las decisiones tcnicas y a la
rigurosidad metodolgica. stas intervienen despus, una vez definidos el propsito de
la evaluacin y el parmetro o estndar segn el cual evaluar. Es tambin en ese
momento que se define el tipo de evaluacin que se propone: evaluacin ex-ante o ex-
post, de procesos, de resultados, de impacto, con diseo experimental, cuasi
experimental o no experimental, de costo-efectividad u otras. Ms adelante, en este
documento, se revisarn las principales metodologas de evaluacin.

El presente documento tiene el objetivo de presentar una aproximacin para determinar
cuales son los modelos de evaluacin aplicados en los programas sociales ms
relevantes en Colombia, para lo cual en la primera parte se presentar los tres
principales modelos predominantes y en la segunda parte se presentaran la aplicacin
de estos modelos en la evaluacin de los principales modelos de evaluacin de
programas en el pas.

A continuacin se exponen los fundamentos conceptuales, metodolgicos y prcticos de
los principales modelos de evaluacin de polticas y programas sociales para ello se han
tomado principalmente de los siguientes autores: Banco Mundial (1994), Raczynski-
Serrano (2002), Baker (2000), Vedun (1997), Bamberger y Hewitt (1986), Cohen y
Franco (1992), Valadez y Bamberger (1994), Nina (2000) y Sarmiento et. Alt. (2005).


1. Modelos de evaluacin de polticas y programas sociales



En la actualidad, la prctica de la evaluacin de polticas y programas sociales en
Colombia ha venido adquiriendo un carcter de creciente rigurosidad, lo que ha
obligado a que sea cada vez ms necesario tener claras las bases de las distintas
aproximaciones a la evaluacin y tener herramientas para distinguir qu modelo es el
ms apropiado en un determinado contexto. Este documento pretende hacer una
aproximacin a una comparacin conceptual y metodolgica de tres modelos: el modelo
de evaluacin de consecucin de objetivos, el modelo de evaluacin de impacto y el
modelo cualitativo participativo.
Existe un consenso general cuando se afirma que el objetivo de una evaluacin es el de
generar un juicio de valor acerca del significado, importancia, trascendencia y calidad
de un fenmeno o una intervencin gubernamental. Para esto se emplean diferentes
metodologas que permiten la obtencin de informacin objetiva, vlida, confiable y
relevante, que debe ser analizada e interpretada de acuerdo al objetivo de la evaluacin
que se haya planteado inicialmente. Es por esto que antes de comenzar a desarrollar una
evaluacin de impacto, es importante que se defina muy bien la meta que se quiere
alcanzar con este proceso, por qu se est realizando la evaluacin, y luego cmo se
realiza dicha evaluacin de impacto.
La evaluacin en palabras de un experto en evaluacin, Evert Vedung, es un proceso
mediante el cual se realiza una cuidadosa valoracin retrospectiva de los meritos,
importancia y valor de la aplicacin, productividad y resultados de las intervenciones
gubernamentales, que se pretende desempee un papel en futuras situaciones y acciones
prcticas
3
. Visto de esta manera, posee dos componentes determinados por su carcter
retrospectivo, asi como prospectivo, donde precisamente se mira hacia el pasado, sobre
unas bases tericas y acadmicas y se realiza un ejercicio de comparacin contra un
elemento arbitrariamente determinado, con el fin de lograr una planeacin hacia el
futuro. Por lo tanto debe cumplir con unos parmetros especficos que la hacen
completa dentro del proceso poltico, y de gestin y administracin de polticas
pblicas:

- Debe estar destinada a todo tipo de intervenciones pblicas.

- Debe ocuparse del extremo final del ciclo poltico, es decir de las consecuencias
determinadas por la accin y gestin de un proyecto definido por la voluntad del
ente responsable.

- Debe poderse realizar antes, durante y despus del ciclo del proyecto, sea tiene un
carcter prospectivo y retrospectivo.

- No debe limitarse solamente a la medicin del impacto.

- Los objetivos del proyecto, no son los nicos patrones que permiten la actividad de
comparacin y medicin.

- Debe responder a unos criterios mnimos de calidad en la recopilacin de datos y
aplicacin de criterios de mrito y normas de rendimiento.

- Sus fines siempre deben estar encaminados a que las conclusiones obtenidas tengan
aplicabilidad hacia el futuro.



3
Vedung, Evert. Evaluacin de Polticas publicas y programas. Instituto nacional de servicios sociales. 1997.
Por lo tanto la evaluacin de polticas y programas sociales para cumplir su labor debe
tener claros los objetivos de su ejercicio, para poder ser eficiente y eficaz. Teniendo en
cuenta que no existe un modelo de evaluacin que logre cumplir a cabalidad todos y
cada uno de estos requisitos. En el presente documento si se puede realizar, sobre estos
parmetros, una evaluacin sobre tres modelos de evaluacin que nos permitan hacer un
anlisis acerca de cuales serian las ventajas y deficiencias en la aplicacin de estos
dentro de la administracin y gestin pblicas en el mbito nacional. Dicho anlisis se
adelantara sobre los denominados modelos de efectividad (Vedung, 1997) determinados
por la evaluacin por consecucin de objetivos, el modelo de evaluacin para la
medicin del impacto y el modelo cualitativo participativo.

Las razones de la escogencia de estos modelos para comparacin, estn determinadas
por las siguientes circunstancias:

- Los modelos estn centrados en la consecucin de una lnea de base, que de pie al
proceso de comparacin entre lo deseado y lo evaluado.

- El ejercicio asi propuesto, permite la diferenciacin entre los objetivos deseados, y
el impacto alcanzado. Esto se puede resumir en tres preguntas:

o Estn los resultados de acuerdo a los objetivos formulados?

o Son los resultados consecuencia del programa?

o Los beneficiarios estn satisfechos con los resultados de los programas?

- Los modelos poseen carcter analtico retrospectivo, que da pie a recomendaciones
de aplicacin futura.

- Los modelos fueron aplicados en programas sociales ms relevantes de la poltica
social en Colombia.

Comparacin conceptual de modelos de evaluacin de consecucin de objetivos y
evaluacin de impacto

Un primer paso a la hora de comparar estos modelos es examinar cual es la pregunta
inicial que cada modelo se hace. Por un lado, la evaluacin de consecucin de objetivos
intenta resolver la pregunta de si los resultados de un programa corresponden o no a los
objetivos que ste se propuso. Esta pregunta va a determinar el nfasis de este modelo y
su objeto de estudio, ya que al querer revelar la concordancia entre lo que un programa
propuso y los resultados que ste introdujo, este modelo apunta a dar cuenta de alguna
discrepancia entre los objetivos enunciados y los resultados alcanzados. En este sentido,
para los partidarios de este modelo la tarea ms importante de la evaluacin es la de
determinar si los objetivos premeditados del programa se han alcanzado de hecho
(Vedung, 1997a).

Por otro lado, la pregunta que se hace la evaluacin de impacto tiene un inters distinto,
pues busca establecer si los resultados son atribuibles o no a un programa determinado.
Aqu, la evaluacin quiere dar cuenta de la causalidad que existe entre la realidad y la
intervencin pblica que la debi haber alterado (Vedung, 1997a). Segn Vedung, la
complicacin fundamental con la que una evaluacin debe enfrentarse es la de poder
separar los efectos programticos de los no programticos. Los resultados pueden
depender de acontecimientos no relacionados con el programa [] [h]ablando en
trminos generales, el problema de impacto es extraordinariamente difcil de resolver.
En poltica pblica, puede ser irresoluble (Vedung, 1997b).

La naturaleza de las preguntas que cimientan el enfoque de ambos modelos deja
entrever los distintos procedimientos adoptados por cada uno de estos en la
investigacin. Debido a que la evaluacin de consecucin de objetivos busca descubrir
si los resultados de un programa se adecuan o no a los objetivos, el punto lgico de
partida de las actividades de este modelo es el de clarificar los objetivos del programa.
Para esto, se pueden consultar documentos administrativos y oficiales del programa o
poltica que hagan explcitos los objetivos del programa a evaluar. Una vez hecho esto,
se pasa a medir hasta qu punto estos objetivos se han alcanzado y se ven reflejados en
los resultados. Aqu, se utilizan evidencias concretas como indicadores especficos o
fuentes directas que permitan establecer un diagnstico de la nueva situacin (Vedung,
1997a).

No obstante su sencillez y carcter descriptivo, la evaluacin de consecucin por
objetivos tiene la gran limitacin de que no da cuenta de si los resultados estn o no
relacionados con el programa. As, este modelo de evaluacin no es del todo aconsejado
en casos en que lo importante es establecer causas entre la intervencin y los resultados.
De todas maneras, el juzgar los resultados de un programa a partir de los objetivos del
mismo permite que la evaluacin se mantenga dentro de una postura objetiva y que el
evaluador no pueda adoptar posiciones personales sobre los mritos y demritos del
programa (Vedung, 1997a).

Por otro lado, como la razn de ser de la evaluacin de impacto es precisamente
examinar a qu se deben los resultados logrados, sta se enfoca en evaluar el impacto a
travs de diferentes formas. La dificultad en este tipo de evaluacin se encuentra en la
necesidad de escoger una variable que permita realmente evaluar el impacto del
programa. Una manera para abordar este tipo de investigacin es mediante la creacin
de escenarios contrafactuales, es decir de escenarios proyectados hacia el futuro que
evidencien qu hubiera pasado si el programa no hubiera existido. Este escenario
contrafactual se logra comparando a un grupo beneficiario (grupo de tratamiento) con
un grupo equivalente de no-beneficiarios (grupo de control) (Nina, 2007; Vedung,
1997b).

Otra ventaja de la evaluacin de impacto es que posibilita observar los efectos
colaterales, o los efectos no esperados de la intervencin. En muchos casos, los
programas tienen consecuencias indeseadas que se salen de lo premeditado,
consecuencias que a veces son de igual o mayor importancia que los resultados
originalmente esperados. En este sentido, mientras que la evaluacin de consecucin de
objetivos es ciega a estas eventualidades, la evaluacin de impacto posee herramientas
para dilucidar estos efectos no previstos.

El problema con la evaluacin de impacto es que, por lo complejo, requiere de
suficientes recursos y herramientas para una realizacin efectiva. Los altos costos,
aunados a razones de carcter poltico relacionadas con la falta de disposicin por parte
de los ejecutores para que se estudie la incidencia del programa, en muchos casos llevan
a que no se escoja este modelo de evaluacin. Asimismo, este modelo implica un diseo
metodolgico de mucha rigurosidad, sobretodo en la seleccin y seguimiento de los
grupos de tratamiento y de control (Nina, 2007). Aqu encontramos dos obstculos para
una evaluacin consistente. El primero es el riesgo de que la seleccin del grupo est
sesgada, por falta de informacin o cualquier otra razn. El segundo, tiene que ver con
el denominado efecto Hawthorne o conejillo de indias. Este se refiere a que en algunas
ocasiones el grupo de tratamiento vara su comportamiento al enterarse de que est
siendo observado, lo cual termina afectando los resultados finales del programa.
(Vedung, 1997b).

La evaluacin de impacto es un proceso por el cual siempre se debe tener en cuenta el
anlisis causal, y mas si est realizada con el fin de brindar bases hacia el futuro en la
adopcin de decisiones. Sin embargo es importante tener en cuenta que todo programa
tiene dos tipos de efectos (Vedung, 1997):

- Efectos directos: Son resultado de la accin del programa, y estn determinados por
los objetivos formulados.

- Efectos colaterales: Pueden ser el resultado de la intervencin, o ser el resultado de
acciones concomitantes y simltaneas, y que en ltimas afectan de manera directa el
logro total.

A estos dos tipos de efectos es lo que denominaramos de manera total como resultado
general. Para lograr tal medicin, se realiza por lo tanto un ejercicio de comparacin
entre lo real en un grupo beneficiario, y una alternativa de referencia en un grupo
control, que obedece a un patrn que seria el resultado de no haber aplicado la
intervencin. La diferencia entre los dos resultados es el Impacto Neto. Esto lo podemos
observar en la siguiente grafica:

Grupo Experimental (GE T0) Intervencin Grupo Experimental T1 (GET1)

Comparacin Intertemporal


Grupo Control T0 (GC T0) Estado Inercial Grupo Control T1 (GC T1)

Donde el impacto neto se pude calcular de acuerdo a la siguiente formula:

Impacto Neto =Dif GE (T1-T0) Dif GC (T1 T0)

Por lo tanto en la medicin del impacto neto, el objetivo esta en determinar si el
programa ha logrado los efectos deseados a nivel individual, familiar e institucional- y
sobretodo- si estos son atribuibles a su intervencin.

Los requisitos para la medicin del impacto son los siguientes:

- Definicin de una serie temporal de datos sobre un resultado real.

- Conocimiento del estadio previo a la intervencin, y su modificacin posterior a
travs de una visin histrica.

- Definicin del grupo control con el cual se va a establecer el patrn de comparacin.

Precisamente el establecimiento del grupo control, permite dividir al modelo de
medicin de impacto en las siguientes categoras:

a) Experimental o Controles aleatorios: Obedece a un proceso de comparacin, con la
confeccin de un modelo experimental clsico, donde se utiliza el azar como mtodo de
aleatorizacin y control de variables. Es un modelo de comparacin contrafactual. Las
ventajas de este modelo son:

o Elimina los problemas de seleccin.

o No requiere ajustes estadsticos.

o Facilidad de interpretacin del resultado final.

Sin embargo tiene las siguientes desventajas:

o Estn afectados por el efecto Hawthorne, que obedece al cambio en el patrn de
comportamiento en el personal del grupo experimental.

o Son muy onerosos en cuanto a la planeacin y costos, con respecto al resultado
obtenido, lo cual les resta apoyo poltico.

o Presentan serias dificultades en el mantenimiento y la integridad de los grupos.

o Tienen implicaciones ticas que no pueden desconocer.

b) Cuasi-Experimental o de Controles equiparados: No se crean grupos de manera
aleatoria, sino que se selecciona un grupo control, lejano a la intervencin y que dentro
de sus caractersticas se encuentren similitudes y coincidencias con el grupo
experimental. Es un modelo de comparacin contrafactual. Las ventajas de la
realizacin de un estudio sobre este modelo de evaluacin son las siguientes:

o Utiliza fuentes de datos existentes.

o Consume menos tiempo y es menos costoso, que los diseos experimentales.

Sin embargo tiene las siguientes desventajas:

o Mantiene el problema de seleccin, ya que la comparacin se realiza sobre la
base de un emparejamiento de caractersticas observables.

o Requiere una metodologa completa, en cuanto al conocimiento de proceso
especializados de seleccin y equiparacin.

c) No Experimentales: mtodos de pareo, en los que los controles se construyen a partir
de un ejercicio de observacin de dos grupos, en los que en uno de ellos acta una
variable que determina un resultado, pero que no esta en control del evaluador. Las
ventajas de este procedimiento son:

o Realmente econmicos y fciles en su ejecucin.

o No tienen inestabilidad aleatoria.

o Aportan datos sobre evoluciones histricas en una cohorte determinada.

Pero tienen las siguientes deficiencias:

o Poseen serias amenazas a la validez interna, toda vez que el resultado de no
siempre es atribuible a la intervencin.

o Los cambios observados, pueden ser atribuidos a modificaciones en el registro
de los datos, factores que no tienen relacin con el programa.

o La equiparacin de los grupos puede ser imperfecta, con aparicin de variables
que se hacen manifiestas en controles posteriores de la evaluacin.

La tendencia predominante en la evaluacin es la evaluacin de impacto como se puede
observar en el enfoque que promueve el Banco Mundial representado por el documento
de Baker (2000). Este documento parte por definir la evaluacin de impacto como una
evaluacin que conviene hacerla posterior (ex post) a la finalizacin del programa y se
caracteriza principalmente por estimar el escenario contrafactual, es decir, parte de un
escenario hipottico que trata de medir el nivel de bienestar en presencia y en ausencia
del programa cuestionando qu hubiera sucedido si el programa no se hubiese realizado.
Determinar el escenario contrafactual requiere de la comparacin entre el grupo de
beneficiarios o personas que reciben la intervencin (grupo de tratamiento) y el grupo
de aquellos que no participan de un programa ni reciben sus beneficios (grupo de de
control o comparacin). En esta comparacin se supone que el grupo de control es
semejante al grupo de tratamiento en varios aspectos exceptuando que no participa del
programa. Para seleccionar a los grupos se utilizan diversas metodologas que inciden
en la definicin de la evaluacin de impacto como son: los diseos experimentales
(aleatorios) y los diseos cuasi experimentales (no aleatorios). Aqu es importante
destacar que la evaluacin de impacto es tanto cuantitativa como cualitativa y hace uso
del mtodo participativo como uno de los instrumentos cualitativos que permiten medir
el impacto de un programa.

Segn Baker (2000) el modelo de evaluacin se subdivide a su vez en varios
submodelos para una mejor medicin del impacto. En cuanto al mtodo experimental,
se destaca que el grupo de control se selecciona mediante asignacin aleatoria que
permite evitar el sesgo de seleccin
4
logrando que el efecto del programa sobre el
resultado que se evala se pueda medir a travs de la diferencia entre las medidas de las
muestras del grupo de tratamiento y el grupo de control. El mtodo cuasi experimental,
por su parte, se realiza a partir de la seleccin de un grupo de comparacin de forma no
aleatoria, utilizando mtodos como
5
: a) la puntuacin de la propensin que implica
buscar variables caractersticas que den una mayor probabilidad para que el grupo de

4
El sesgo de seleccin implica que existen elementos no observables (capacidad individual, disposicin al trabajo,
vnculos familiares, condiciones preexistentes, entre otras) que afectan la muestra y sesgar los resultados. Tomado de
Baker, J udy. Op. Cit, p. 12.
5
Baker, J udy, op. cit., p. 15.
comparacin sea similar y se parezca al grupo de tratamiento; b) de diferencia o
diferencia de las diferencias que compara un grupo de tratamiento con uno de
comparacin antes (primera diferencia) y despus de un programa (segunda diferencia);
c) variables instrumentales o control estadstico usa una o varias variables que influyen
en la participacin, pero no en los resultados de la participacin, esto permite identificar
las variables exgenas en los resultados que se atribuyen al programa de manera
intencional y no aleatoria; d) Comparaciones reflexivas se realiza una encuesta bsica o
de referencia de los participantes antes de la intervencin (que permite establecer el
grupo de comparacin) y luego una encuesta de seguimiento que permite medir el
efecto de acuerdo al cambio en los indicadores de resultados antes y despus de la
intervencin.

Como resumen de esta primera parte, dentro de un mbito de comparacin conceptual
entre modelos de acuerdo a los objetivos propuestos en este documento acerca de la
evaluacin podemos decir lo siguiente:

La medicin del impacto, es una medida mucho mas amplia al tener en cuenta no solo la
consecucin de los objetivos propuestos, sino al realizar una valoracin de todos los
efectos secundarios a la aplicacin de la intervencin, y a otros elementos asociados,
por lo que como elemento evaluativo cumple con la mayora de los fines de la
evaluacin.

Sin embargo, en comparacin con el mtodo de evaluacin por objetivos, la evaluacin
de impacto es costosa, dispendiosa y onerosa. Adems si se intenta la realizacin de un
modelo experimental, esta no siempre es aplicable en los modelos de investigacin
social. Adicionalmente, es un procedimiento que solo se puede aplicar cuando el
proceso ha finalizado. En ese sentido la evaluacin por objetivos si permite una
actividad de monitoreo durante el transcurso del proyecto, en cuanto a cumplimiento de
metas intermedias.

Ambos modelos tienen carcter retrospectivo, al realizar una valoracin histrica del
proyecto en comparacin con una lnea de base y una situacin que se pretende mejorar.
Igualmente permiten realizar unas recomendaciones de ajuste del programa o de poltica
hacia el futuro, lo que les permite ser elementos tiles dentro de la accin
gubernamental.

Sin embargo, como tienen elementos que en un momento dado pueden evidenciar fallos
o desaciertos del programa, en la medida de lo posible, son mtodos que deberan ser
utilizados por organismos independientes, de tal manera que se disminuya la posibilidad
de falseo o manipulacin en el resultado final.

Un punto a resaltar es que tanto el modelo de consecucin de objetivos como el de
evaluacin de impacto no toman en cuenta como elemento principal la percepcin de
satisfaccin los beneficiarios en la valoracin de los resultados del programa o poltica.

El modelo cualitativo participativo

En general la evaluacin cualitativa participativa de impacto es un mtodo basado en los
procesos, instancias e impacto en los beneficiarios y otros actores de un proyecto
6
; es
decir, ms que evaluar la bondad de un proyecto con base en el seguimiento de metas,
los recursos ejecutados, los fondos de financiacin o la entidad ejecutora, le interesa
conocer lo que qued del proyecto a partir de la perspectiva de las personas que se
encuentran involucradas en una situacin problema a resolver. Evaluar de acuerdo a
estos criterios bsicos, implica asumir una perspectiva terica en la cual la poblacin
beneficiaria ya no es un objeto de intervencin o ente pasivo, sino que se constituye
como actor o grupo de inters, que interacta con determinados equipos o instituciones
que intervienen en los problemas que les afecta.

La evaluacin cualitativa participativa parte de la identificacin de los objetivos del
proyecto, para luego estimar el cumplimiento de las metas a partir de la interaccin
directa con la comunidad beneficiaria, de tal manera que se pueda indagar sobre el
impacto de un proyecto; esto incluye por supuesto la identificacin de resultados no
esperados que puedan afectar a la comunidad o a otros. En trminos generales, en este
modelo, el impacto se mide a travs de la satisfaccin de los beneficiarios y de la
coincidencia entre las carencias
7
identificadas por el proyecto y los actores.

La evaluacin cualitativa participativa es una evaluacin que conviene realizarla en el
transcurso de la puesta en marcha del programa o al intermedio del mismo pues el
propsito es que los evaluadores puedan recolectar las expectativas, preocupaciones e
intereses de los participantes para que stas repercutan en la evaluacin; en este sentido,
son los participantes los que deben proporcionar los problemas a investigar y desde ah
el evaluador comienza a construir el anlisis reconociendo la informacin pertinente e
integrando a los afectados e implicados con la evaluacin. A diferencia del modelo de
impacto, el de participante no seala de manera especfica qu problemas plantear y qu
preguntas formular porque stas se desarrollan a medida que se realiza la investigacin.
As, las partes interesadas intervienen en todas las etapas de evaluacin, determinando
los objetivos, identificando los indicadores y participando en la recopilacin y
resultados de los datos. No obstante, la evaluacin participativa no se aparta de la
evaluacin de impacto porque se utiliza como una metodologa cualitativa que permite
complementar el anlisis cuantitativo; de esta forma, la evaluacin participativa puede
dar pistas sobre las preguntas clave de la evaluacin de impacto, permite conocer la
estratificacin de la muestra cuantitativa y analizar el marco social, econmico y
poltico en el que se desarrolla el programa.

En la evaluacin participativa se supone que los evaluadores deben ser sensibles a las
preocupaciones de los participantes y tener un contacto con los afectados e involucrados
del programa, para ello se utilizan una serie de metodologas que permiten ese contacto
entre el evaluador y los participantes que van desde la observacin directa hasta la
interaccin con los participantes por medio de entrevistas. Entre los mtodos ms
destacados se encuentran
8
: a) la evaluacin del beneficiario que se disea a partir de
una gua de entrevista que permite la recopilacin de la informacin a travs del dilogo
entre beneficiarios y evaluadores y luego los evaluadores analizan la informacin

6
Zapata, J .G. Evaluacin Cualitativa de Impacto del Programa de Mejoramiento de Vivienda Urbana de
la Red de Solidaridad Social 1994-1997. En: Pobreza y Vivienda de Inters Social. 1999.
7
En este caso, el trmino carencia no es utilizado como sinnimo de ausencia, pues si as fuera, un
proyecto se resolvera con la provisin de lo que se considera que falta para resolver un problema.
8
Metodologas tomadas del texto: Pueden los pobres influenciar las polticas? del Banco Mundial y el FMI.
recopilada; b) evaluacin rural rpida (ERR) y valoracin rural participativa (VRP)
pone un mayor nfasis en la participacin de la comunidad y su objetivo es lograr que la
informacin pueda ser apropiada por los evaluadores para que stos se acerquen a las
realidades de los participantes de manera rpida y con eficiencia de costos mediante el
uso de tcnicas verbales y visuales; c) El aprendizaje y la accin de participacin usa
varias metodologas que permiten la plena participacin de los implicados en el
aprendizaje de sus necesidades, oportunidades y las acciones a emprender; d) la sarar es
una metodologa que utiliza la autoestima, la fortaleza asociativa, la recursividad, la
planeacin de acciones y la responsabilidad con el objetivo de construir capacidad local
para planificar el desarrollo de la comunidad y para crear conciencia sobre temas que la
afectan; esta metodologa utiliza variados instrumentos participativos preparados por los
evaluadores como la ayuda visual.

Algunas caractersticas del mtodo cualitativo participativo:

o Legitima la percepcin de quienes son los actores principales de los
problemas sociales que deben ser abordados por los proyectos, dado que el
mtodo permite que aflore la vivencia y el conocimiento de estos actores.
o Permite profundizar en el conocimiento sobre los problemas sociales, porque
el rol del evaluador cambia en el sentido que ste comparte las vivencias y
el conocimiento de los actores sociales. Se requiere que el evaluador tenga
un contacto directo con la poblacin beneficiaria.
o La evaluacin cualitativa de impacto permite que los datos emerjan y en este
sentido que los resultados de la evaluacin sean crebles.
o La recoleccin de la informacin para hacer efectiva la evaluacin exige
procesos participativos e inductivos, lo que garantiza un mayor acercamiento
a la realidad.
o En este tipo de evaluacin el entrevistador puede generar una mayor
confianza y por lo tanto las respuestas de la comunidad estarn ms
ajustadas a la realidad.
o Es posible que a travs de este tipo de evaluacin se pueda obtener
informacin en distintos niveles y que surjan aspectos relacionados con el
gnero, las relaciones y diferencias entre los grupos, etc.
o La evaluacin participativa, caracterstica de este mtodo, puede generar
mayor capacidad de apropiacin y gestin de los programas por parte de la
comunidad.
o Desde el punto de vista tico, este mtodo es mucho ms consistente en el
sentido que permite el acceso o participacin de los grupos beneficiados a
los resultados de los programas ejecutados.
o Es probable que la evaluacin no se limite a comprobar la consecucin de
los objetivos del programa, sino que de una manera amplia, sea posible
identificar otras variables relacionadas con el programa.
o Es muy frecuente el uso de la evaluacin cualitativa de impacto para
complementar, perfeccionar, modificar o interpretar conclusiones derivadas
del anlisis de otras metodologas.


2. Evaluacin de Polticas y Programas Sociales en Colombia

Como se mencion arriba, en la primera parte, se present un anlisis terico conceptual
que pretende resaltar y comparar sus puntos de partida, los mtodos que utilizan en la
recoleccin de la informacin, las ventajas y desventajas de cada uno. En esta segunda
parte se presenta tres ejemplos ilustrativos de la aplicacin de estos mtodos en la
evaluacin de programas sociales en Colombia: del modelo de evaluacin de
consecucin de objetivos el programa Bogot sin hambre de la Alcalda Mayor de
Bogota (2004-2006); para ejemplificar el modelo de evaluacin de impacto cuantitativo
se presenta el programa Familias en Accin de Accin Social del gobierno nacional
(2002-2004) y para mostrar el modelo cualitativo participativo se tiene el programa de
vivienda de inters social de la Red de Solidaridad Social (2000).

2.1. Evaluacin cualitativa de Bogota sin hambre (2004-2006)


En esta parte se presenta el programa de la actual administracin distrital Bogot Sin
Hambre (BSH) y la evaluacin que de este se desarroll por parte de J airo Nez y
Laura Cuesta, quienes para el momento de su realizacin hacan parte del CEDE
Universidad de los Andes. La evaluacin a la que nos referiremos fue contratada por la
Personera de Bogot y abarca el periodo de 2004 a 2006, es una evaluacin realizada
durante la ejecucin de este programa (Nina, 2007)

a. Objetivo del programa

El programa BSH es una iniciativa consignada en el Plan de Desarrollo 2004 2008
Bogot Sin Indiferencia, de la alcalda de Luis Eduardo Garzn que busca articular las
estrategias de seguridad alimentaria y nutricional, y de abastecimiento de alimentos para
Bogot. BHS se enfoca en la atencin a la poblacin ms pobre y vulnerable de la
ciudad, con el fin de que puedan acceder a la cantidad de alimentos necesaria para
asegurar una ingesta nutricional adecuada.

BSH se dise como un programa que sera ejecutado por distintas entidades del
distrito, pero sera coordinado por una oficina creada especialmente para este fin. Entre
las entidades que participan en la ejecucin de BHS se encuentran el IDIPRON, la SED,
la SDS, el DABS, que se encargan de la puesta en marcha de los proyectos del eje
social.

Gran parte del accionar de BSH se materializa a travs de los comedores comunitarios,
los cuales son operados por el DABS (orientados a la generalidad de poblacin
objetivo), por el IDIPRON (orientado hacia los nios y jvenes pobres o en riesgo) y la
SED (comedores escolares). No obstante BSH no solo busca garantizar el acceso a los
alimentos, sino crear estilos de vida saludables respecto a la nutricin. La SDS es la
encargada de los proyectos relacionados con lo anterior, enfocndose en la importancia
de la lactancia.

Por otro lado, como se mencion anteriormente, BSH tambin abarc el tema del
abastecimiento de alimentos para la ciudad, punto neurlgico de esta iniciativa, ya que
de este depende que BSH pueda cumplir sus metas en cuanto a seguridad alimentaria y
nutricional. La UESP fue la entidad encargada de ejecutar los proyectos de esta rea: la
creacin del Banco de Alimentos y la puesta en marcha de la Red de Nutritiendas.

b. Evaluacin del Programa Bogot sin hambre 2004-2006

La Personera de Bogot contrat una evaluacin de la evolucin de BSH con el CEDE,
la cual fue liderada por J airo Nez y Laura Cuesta, investigadores de la Universidad de
los Andes.

Esta evaluacin se estructur en cuatro segmentos. El primero, el cual hace referencia a
la descripcin del programa. El segundo, una evaluacin orientada al cliente a travs de
una encuesta de percepcin. El tercero, una evaluacin por consecucin de objetivos. Y
el cuarto, recomendaciones para el desarrollo de esta poltica. Hay que recordar que esta
fue aplicada durante la ejecucin de BSH, en el ao de 2005.

Evaluacin Orientada al Cliente

Esta evaluacin tuvo como herramienta fundamental una encuesta de percepcin a los
beneficiarios del programa, la cual en trminos generales estaba orientada a obtener
informacin acerca de la participacin en los proyectos, los procesos de inscripcin,
priorizacin y seleccin de los beneficiarios, calidad y cantidad de los alimentos
ofrecidos por BSH, infraestructura de los comedores, y solicitudes, quejas y reclamos.

La encuesta fue realizada a 3.924 personas que corresponden al 7% del total de
beneficiarios (54.238), todas mayores de edad con el fin de obtener resultados objetivos.
El ejercicio se llevo a cabo en la ltima semana de mayo de 2006, y fue ejecutado por
75 funcionarios de la personera, los cuales visitaron 169 comedores y mantuvieron una
conversacin de 15 minutos con cada persona.

A grandes rasgos, los resultados positivos de las encuestas indican que la mayora de la
gente se entero de los beneficios del programa por un amigo, que los comedores se
encuentran bien ubicados, as mismo fue un porcentaje mnimo el que manifest mal
trato y demora en los comedores, la mayora de los beneficiarios consideraron que los
alimentos son de buena calidad y con la cantidad suficiente y BSH ha favorecido la
economa familiar de la poblacin participante.

Es pertinente aclarar que la evaluacin orienta al cliente slo evalu el eje social de
BSH, ignorando la ejecucin de los proyectos del eje urbano regional.

Evaluacin de Consecucin de Objetivos

Esta evaluacin se realiz a travs de la valoracin del logro de los objetivos
establecidos para este programa. Segn el Plan de Desarrollo 2004 2008, los objetivos
de BSH son:

1. Alcanzar una cobertura de 625.000 personas con apoyo alimentario y nutricional
diario con preferencia por los nios, adultos mayores y personas con
discapacidad.
2. Disminuir en 30% el ndice de desnutricin de los beneficiarios del programa.
3. Orientar, formar y capacitar en nutricin y hbitos de vida saludable a 125.000
personas.
4. Promover una Red de Bancos de Alimentos a partir de la alianza con el Banco
Arquidiocesano.

Estos objetivos fueron medidos a travs de una serie de indicadores tambin
especificados en el Plan de Desarrollo. Estos indicadores reflejan el progreso alcanzado
en el cumplimiento de las metas de BSH. Tericamente estas mediciones deberan
hacerse semestralmente, pero segn los autores la disponibilidad de informacin acerca
de estas es baja.

Las conclusiones a las que lleg esta evaluacin afirman que para el objetivo nmero 1,
en el 2005 s estaba cerca de la meta propuesta, se atendan 528.162 usuarios. Para el
objetivo nmero 2, en el ao en que se realiz la evaluacin an no exista un ejercicio
de este tipo que estableciera el impacto nutricional de BSH. Para el objetivo nmero 3,
al 2006 no existan datos que dieran cuenta del logro de esta meta. Para el objetivo
nmero 4, hasta el ao de la evaluacin no se haba cumplido la meta. Los evaluadores
afirman este ha sido una de las debilidades de BSH.

Finalmente, Nez y Cuesta sugieren unos indicadores extra para medir la evolucin del
programa. Entre estos se destacan unos propios de la evaluacin econmica de polticas
pblicas, los que dan cuenta de la rentabilidad de la inversin en BSH. Finalmente
recomiendan la aplicacin de una evaluacin de impacto cuantitativa.

2.2. Programa nacional de lucha contra la pobreza: Familias en Accin

El programa Familias en Accin es un programa nacional que surge luego de la crisis
social como efecto de la recesin econmica de 1999. Este programa fue apoyada por el
Banco Mundial, el Banco Interamericano de Desarrollo (BID) y el Departamento
Nacional de Planeacin. Estas mismas entidades contrataron a la firma privada
Econometria - Instituto de Estudios Fiscales para la evaluacin externa de los impactos
(preliminares) del programa Familias en Accin (DNP 2004).

a. Objetivo

El programa Familias en Accin busca promover y fomentar la acumulacin del capital
humano en la poblacin pobre identificada por el SISBEN (estratos 1 y 2) de los
municipios con menos de 100.000 habitantes a travs de subsidios monetarios en tres
frentes principales: nutricin, salud y educacin. El Programa Familias en Accin tiene
tres componentes principales: nutricin, salud y educacin. El componente de nutricin
y salud consiste en un subsidio monetario entregado a las familias (ncleos familiares)
beneficiarios con nios menores de 7 aos de edad y al cumplimiento de controles de
crecimiento y desarrollo de los nios. En particular, las madres deben llevar sus hijos a
los controles de crecimiento y desarrollo, que incluyen vacunacin, y participar en
algunos eventos sencillos de capacitacin sobre prevencin de salud. Los subsidios para
educacin estn condicionados a que las madres garanticen una mnima asistencia de
sus hijos a los planteles educativos. El programa se encontraba focalizado en la primera
etapa del programa, hasta el 2002, en 622 municipios de 26 departamentos, donde se
tena a 362.403 familias beneficiarias.

Es de mencionar que el subsidio de nutricin, para familias beneficiarias con nios entre
cero y 6 aos, es una alternativa a los hogares Comunitarios del Instituto Colombiano de
Bienestar Familiar, dado que los nios no pueden participar en los dos programas
simultneamente.

b. Evaluacin de impacto

Mtodo cuasi-experimental

Segn el documento del Departamento Nacional de Planeacin (DNP) que la
metodologa empleada es el mtodo cuasiexperimental y se basa en la comparacin de
los resultados con muestras de tratamiento (beneficiarios) y control (no
beneficiarios) de la lnea de base, en seguimientos realizados uno y dos aos despus de
iniciado. La muestra abarc cerca de 10.000 hogares en 122 municipios. La lnea de
base caracteriza la poblacin beneficiaria segn demografa, educacin, ingresos y
fuerza laboral, pobreza, nutricin, salud y condiciones de la mujer. Puesto que la
muestra incluy tanto municipios de tratamiento con pago (TCP) como sin pago (TSP),
ello permiti una evaluacin preliminar de impacto al comparar los dos grupos.

Los municipios fueron agrupados de acuerdo con la cantidad de familias elegibles
existentes, para constituir las Unidades Primarias de Muestreo (UPM). Del universo de
UPM tratamiento, se seleccionaron 50 UPM con un diseo muestral estratificado
aleatorio. A dichas UPM tratamiento seleccionadas, se parearon 50 de control que no
estaban incluidas en el programa, pero que eran razonablemente similares a las de
tratamiento. El pareamiento fue realizado dentro de los estratos, definidos previamente
sobre la base de variables geogrficas, socioeconmicas y de infraestructura, de tal
manera que cada UPM de control fuera similar a la UPM tratamiento seleccionada en el
estrato. La mayora de las UPM de control son poblaciones con establecimientos de
educacin bsica primaria y secundaria, y con infraestructura de salud, pero sin un
establecimiento bancario.

En cada una de las 100 UPM de tratamiento y control muestradas, se seleccion una
muestra de familias elegibles, por el mtodo aleatorio estratificado. La metodologa
cuasiexperimental contempla la comparacin de los resultados de inters en la totalidad
de las muestras tratamiento y control. Dado que la asignacin de las UPM tratamiento y
control no fue aleatoria, las muestras respectivas tienen inevitables diferencias. Para
afrontar este problema se utiliz una metodologa de Pareamiento por Probabilidad de
Similitud (PPS) (Propensity Store Matching) para la comparacin de los hogares con
familias tratamiento y control.

Como la asignacin al programa no fue aleatoria, una comparacin sencilla o directa
entre estos grupos podra llevar a conclusiones equivocadas. Porque diferencias ex post
en los resultados podra llevar a conclusiones equivocadas. Estos problemas fueron
manejados con la metodologa de Pareamiento por Probabilidad de Similitud que
establece la comparacin de hogares tratamiento con hogares similares de control
habiendo sido la similitud definida estadsticamente en trminos de variables
individuales y comunitarias.

Impactos del programa

En nutricin. El promedio de meses que dura la lactancia en los nios de los municipios
TCP es sensiblemente superior a la de los TSP, (8,7 vs. 76), dado que en los primeros
las madres han acudido en mayor proporcin a seminarios donde se tratan temas de
nutricin del nio y cuidados prenatales. En los TCP, el nmero de das de consumo de
huevos, carne y verduras a la semana es significativamente mayor que en los TSP (0,7;
0,9 y 1,3 das respectivamente). As mismo, se observ que el Programa Familias en
Accin ha influenciado positivamente el peso de los nios en la zona rural (indicador
de peso/mediana de peso para la edad de 91, 93 en TCP vs en 89,48 en TSP). De igual
manera, hay indicadores de desnutricin aguda y global claramente inferiores en los
municipios TCP (1,2% y 8,7%) vs TSP (1,9% y 12,2%). La poblacin del Programa
Familias en Accin presenta una diferencia importante en cuanto a desnutricin crnica
frente a la media colombiana (22,9% vs 13,5%, segn la encuesta de Profamilia de
2000).

En el rea de salud. El 14,3% de los nios de 0 a 6 aos estudiados en los municipios
tratamiento presentaron enfermedad diarreica aguda (EDA) en 15 das previos a la
encuesta. Esta tasa es considerablemente menor (12,3%) en los municipios TCP, en
especial en zona urbana (12,5% vs 19,4% en TSP). En consecuencia, el Programa de
Familias en Accin ha reducido en forma significativa (-10,2%) la probabilidad de
sufrir de diarrea en esta zona, donde tambin ha tenido impactos notorios en la
asistencia a charlas sobre diarrea. La infeccin respiratoria aguda (IRA) present una
prevalencia tres veces ms alta (42,1% de los nios), consistente con lo observado en las
grandes encuestas nacionales de salud de 1965, 1980 y 1987. Diferencias claras entre
TCP y TSP se observaron solamente en las zonas urbanas (39,4% vs 47,8%) lo que
sugiere un efecto precoz de la intervencin del Programa en este frente.

2.3 Programa de vivienda de inters social de la Red de Solidaridad Social

Esta evaluacin fue realizada por REUNIRSE, Red de Universidades Lideradas por el CIDER
de la Universidad de los Andes, especficamente la evaluacin interinstitucional fue desarrollada
por el investigador Ernesto Crdenas y su equipo. Se trata de un evaluacin cualitativa, esto
significa que es una evaluacin orientada al cliente, lo que se quiere medir es la satisfaccin del
cliente y la capacidad de responder a los gustos, objetivos y expectativas, preocupaciones y
necesidades de los beneficiarios es descriptiva y se realiza expost y las actividades que
comnmente se realizan tienen que ver con un anlisis a la oferta de los servicios ofrecidos
9
, en
este caso en particular para la evaluacin se tomo como clientes al grupo de entidades y a los
mismos

Evaluacin cualitativa participativa

Para el caso de la evaluacin interinstitucional del modelo de gestin de los
programas de vivienda de la Red de Solidaridad Social, se toma una serie de
procedimientos bsicamente desarrollados en talleres en los cuales se indag sobre la
percepcin que tienen los representantes de las instituciones del programa, tanto
nacional como regionalmente, el cual cumple tres aos y medio de desarrollo y que
adems pretenda considerar elementos innovadores en la poltica social de este
subsector. Estos talleres fueron realizados en la ciudad de Bogot y en el Departamento
de Santander.

Este modelo presenta los siguientes componentes:


9
Vedung Evert, Evaluacin de polticas publicas y programas 1994
o Definicin de las instituciones (gubernamentales, no gubernamentales,
solidarias, entre otras) involucradas directas o indirectamente en el tema de
la vivienda urbana.
o Convocatoria de dichas instituciones y diseo metodolgico de talleres
participativos.
o Realizacin de los talleres, uno a nivel nacional y otro regional en Santander.
La evaluacin se realiz en tres componentes temticos: modelo de gestin,
beneficiarios y entidades territoriales.
o Desarrollo de sesiones grupales por separado en cada tema, en donde se
entregaba a cada participante del evento una propuesta, donde se
enunciaban hiptesis valorativas alrededor de los distintos puntos que tenan
que ver con cada tema para realizar una reflexin crtica.
o Conformacin de parejas para sesiones de discusin (40 minutos)
o Desarrollo de plenarias (dos horas) para la discusin general y planteamiento
de conclusiones.

Metodologa del taller participativo

Trabajo por sesiones los siguientes temas modelo de gestin, beneficiarios y entidades y estos a
su vez contaban con subcomponentes.

Los resultados de estas indagaciones sobre la percepcin de este programa se desarrollo
por cada eje temtico. En el modelo de gestin se evalu que a pesar de contener
elementos innovadores en la participacin, sta se cuestiono valorando su calidad, la
definicin de las competencias y el desempeo que cuestiona su validez. As mismo se
estableci que se hace necesario en la definicin de objetivos y responsabilidades,
dimensionar la realidad de los actores e instancias de acuerdo a sus capacidades
10
. En
cuanto a la modificacin de los ciclos la evaluacin plantea que se deben establecer
unos techos presupuestales a nivel nacional, empezando por establecer las necesidades
de las comunidades locales y su capacidad para ejecutar los recursos. En los
mecanismos de participacin el Inurbe opin que la capacidad de los actores en las
instancias donde finalmente se toman las decisiones no son para nada compatibles con
las decisiones de los comits tcnicos y esto obstruye una buena focalizacin
11
.

Para los beneficiarios se evaluaron subtemticas tales como las capacidades
organizativas de las comunidades receptoras del programa sobre todo en lo concerniente
a la acumulacin de capital social, las potencialidades dirigidas a propiciar
externalidades positivas en los procesos de organizacin comunitaria, sin embargo los
resultados an muestran debilidades en la sostenibilidad de dichos procesos de
participacin luego de terminarse el proyecto. Otras subtemticas hacieron referencia al
control entre las organizaciones y las entidades territoriales, la participacin y
coordinacin entre VIS y otros programas de vivienda, entre otros.

Para las entidades territoriales, las temticas abordadas recogen el papel del Alcalde
como gerente y actor determinante en la gestin del proyecto, la oferta institucional en
gestin al municipio, es decir, que las instituciones acten de forma mancomunada, la
desarticulacin desde el orden nacional frente a las gobernaciones y municipios sobre

10
Crdenas, Ral. La evaluacin interinstitucional del modelo de gestin de los programas de vivienda de
la Red. Pg. 150
11
Ibd. Pg. 153.
todo en el tema de los desembolsos y la ejecucin de los proyectos, el papel de los
comits tcnicos sectoriales en la localidad, la gerencia y los planes de desarrollo
territorial, el poder local y el clientelismo, el papel de los Fovis, entre otros.

Este procedimiento podra resumir los pasos de la evaluacin:

o Trabajo sesiones
o Cada participante recibi una propuesta con la hiptesis valorativa alrededor de los
tems que tienen que ver con cada tema
o Reflexin individual y critica
o Espacio de discusin por parejas con un tiempo de 40 minutos
o Plenaria
o Conclusiones generales sobre la evolucin interinstitucional
o Relatara del taller como insumo para entrega del informe
o Entrega de informe final

Para finalizar, se presentara una breve comparacin entre la evaluacin de tipo
cuantitativa y una evaluacin cualitativa participativa.

Las diferencias para ambos casos son muy marcadas ya que en el modelo cuantitativo,
por ejemplo el aplicado en Familias en Accin, se recoge informacin casi netamente
estadstica, es decir de manera agregada, generando una serie de datos operables
aritmticamente, aspticos, externos al investigador y a los investigados, los cuales
surgen de una realidad fctica
12
.

Para el caso de la evaluacin del programa de vivienda de la Red de Solidaridad Social
se trata de indagar sobre una realidad simblica estructurada por significaciones y
smbolos determinados en una discursividad, desde la perspectiva de lo que Habermas
denominara el mundo de la vida en donde se dan las relaciones cara a cara, dentro de
una interaccin discursiva y sobre una accin comunicativa en un escenario lingstico
y semiolgico.

En el primer caso los datos implican una realidad manifiesta en donde los resultados son
exteriores a las conciencias individuales, determinndolos como objetivos, situacin
contraria al segundo caso en donde opera ms una percepcin subjetiva, pero que
corresponde ms al sentido mentado de los actores que externamente evalan un
producto, bajo la recreacin discursiva con otros actores, tal como se realiza en los
talleres temticos.

En trminos operativos la evaluacin cuantitativa realizada en el programa Familias en
Accin tiene una mayor cobertura en la indagacin frente a los grupos temticos de
viviendas de la Red, esto determinado por los estilos metodolgicos. En trminos de los
impactos se podra decir que en familias se obtienen resultados de cobertura y asistencia
y en viviendas el resultado es ms sobre las externalidades que se generaron con el
proyecto. Este ltimo caso permite correctivos ms estructurales que familias ya que
dirigira la mirada evaluativa hacia opciones relacionadas al desarrollo y progreso social
y en beneficios en calidad de vida, entendida, como lo expresara A. Sen, como una
expansin de las libertades individuales, mediante la generacin de una serie de logros y
capacidades
13
.

12
Alonso, Luis. La mirada cualitativa en sociologa. Ed. Fundamentos. Madrid, 1998. Pg. 38.
13
Sen, Amartya. Desarrollo y libertad. Ed. Planeta, Bogot, 2000.

Ha sido tal la influencia del positivismo en los procesos evaluativos que en el campo de
las ciencias sociales se han venido utilizando modelos que se han trasladado de
proyectos de ciencias exactas, lo que ha generado una serie de resistencias de los
cientficos sociales y dificultades, puesto que esos modelos, a veces impuestos por las
agencias de financiacin o cooperacin internacional, son poco adaptables a los
escenarios sociales donde los proyectos tienen lugar
14
.

Como recomendacin, se sugiere complementar ambas metodologas en la medida que
se tengan los recursos financieros y la logstica para hacerlo. Por ejemplo, la evaluacin
del programa Familias en Accin puede complementarse con la realizacin de grupos
focales de mujeres cabeza de familias, nios, padres o los mismos alcaldes que ilustren
su aprendizaje y empoderamiento gracias al programa, los cambios en las relaciones
intrafamiliares, la reactivacin de las economas locales, los efectos en las relaciones
entre las comunidades, la movilidad de las familias de las veredas hacia los cascos
urbanos, el papel de los no beneficiarios, efectos no esperados, frustraciones de las
familias, el aumento de las capacidades de los individuos, en su hacer y su ser y otros
asuntos que pueden relacionarse con las variables cuantitativas de la lnea de base y de
la evaluacin de impacto.


3. Conclusiones

La escogencia de uno u otro modelo de evaluacin depende, en ltimas, de los criterios
con que se quiera hacer la valoracin de un programa. Decir que un modelo es mejor o
peor que otro en abstracto no tiene sentido; siempre se tiene que pensar en los modelos
aplicados a una realidad concreta y a un programa especfico. Cada modelo
simplemente provee ciertos insumos que pueden servir o no en un determinado
contexto. As, la evaluacin de consecucin de objetivos puede ser adecuada para una
evaluacin que pretenda dar cuenta de si los objetivos estn bien orientados o si deben
ser ajustados para una prxima implementacin. De igual manera, la evaluacin de
impacto puede ser importante en casos donde se est dudando del impacto real que est
teniendo el programa, y donde existen otros factores que tambin pueden estar
incidiendo en los cambios observados en ese contexto especfico. Y adelantar una
evaluacin participativa cuando se busque procesos democrticos de evaluacin de las
acciones del Estado. Finalmente, algo que no hay que olvidar es que la escogencia de
un modelo sobre otro es una decisin poltica y epistemolgica, en la cual se le est
dando prioridad a cierta manera de conocer, o a veces de esconder, la verdad.

La sociedad colombiana es compleja y diversa, por ello requiere un conjunto de
metodologas de evaluacin que se complementen as mismas, considerando la escasez
de recursos para estos procedimientos. Una recomendacin estara girando en torno de
considerar la realizacin de evaluaciones que busquen valorar y rescatar la expansin de
las capacidades humanas de los beneficiarios, mucho ms all que la valoracin de la
cobertura de programa, que es factor importante, que se busque una combinacin de
metodologas que permitan la ampliacin de los marcos interpretativos de la evaluacin
de los impactos de las polticas y programas sociales, por ejemplo, desde una

14
Nirenberg, O. Brawerman, J . Ruz, V. Evaluar para la Transformacin. Innovacin en la evaluacin de
programas y proyectos sociales. Argentina. 2000.
perspectiva incluyente de la percepcin de los beneficiarios considerados sujetos de la
poltica pblica.


Bibliografa

ALONSO, LUIS (1998). La mirada cualitativa en Sociologia. Madrid

BAKER, J UDY (2000), Evaluating the impact of development projects on poverty. A
handbook for practitionary, The World Bank.

CARDENAS, RAUL (1999). La evaluacin interinstitucional del modelo de gestin de
los programas de vivienda de la RED. En: REUNIRSE. EN : REUNIRSE Pobreza y
vivienda de Inters Social en Colombia. Universidad de los Andes

COHEN, ERNESTO y ROLANDO FRANCO (1992), Evaluacin de proyectos
sociales, Editorial Siglo XXI.

MOSER, C. (2005) Pueden los pobres influenciar las polticas?

NINA, E; GARCIA, ANDRES; BAUTISTA, J ULIAN; CORDOBA, CLAUDIA;
DANIEL BOTELLO (2006), Evaluacin de impacto [Notas de clase], Evaluacin de
polticas y programas sociales, Especializacin en Poltica Social, Bogot, Pontificia
Universidad J averiana.

NIRENBERG, BRAWERMAN, J . (2000) Evaluar para la transformacin. Innovacin
en la evaluacin de programas y proyectos sociales. Argentina.

NUEZ, J AIRO (2006) Evaluacin Bogot Sin Hambre. CEDE. Universidad de los
Andes

BAMBERGER, MICHAEL y ELEANOR HEWITT (1986), Monitoring and
evaluating urben development programs, World Bank Technical Paper Number 53,
The World Bank.

RACZYNSKI, DAGMAR; SERRANO, CLAUDIA (2002) La Funcin de Evaluacin
de Polticas Sociales en Chile. Asesoria para el Desarrollo (mimeo).
SARMIENTO, ALFREDO, et. al. (2005). Evaluacin de la Gestin de los Colegios en
Concesin en Bogot 2000-2003. Archivos de Economa, DNP. Documento 291.
(Medio magntico).
SEN., AMARTYA (2000) Desarrollo y libertad. Ed. Planeta

VALADEZ, J OSEPH y MICHAEL BAMBERGER (1994), Monitoring and evaluating
social programs in developing countries, Economic Development Institute of The
World Bank.

VEDUNG, E. (1997a), Modelos de evaluacin, en Evaluacin de polticas pblicas y
programas, Madrid, IHP, Captulo 4, pp. 55-121.

_________ (1997b), Valoracin del impacto como prueba y experimentacin social,
en Evaluacin de polticas pblicas y programas, Madrid, IHP, Captulo 11, pp. 207-
242.

WIESNER, EDUARDO (1999), Funcin de evaluacin de planes, programas,
estrategias y proyectos, Serie Gestin Pblica N 4, ILPES.

ZAPATA, J .G. (1999) Evaluacin de impacto del Programa de Mejoramiento de
Vivienda Urbana de la Red de Solidaridad Social 1994-1997, EN : REUNIRSE
Pobreza y vivienda de Inters Social en Colombia.