ANDR-NOEL ROTH DEUBEL

POLTICAS PBLICAS
FORMULACIN, IMPLEMENTACIN Y
EVALUACIN

Ediciones

Aurora

BOGOT, D.C., 2007

ANDR-NO.L. ROM

La presentacin de los diferentes modelos y enfoques para el

anlisis de la implementacin muestra que la tarea tanto del analista
como del implementador no es fcil. La capacidad de invencin,
de recursividad y de imprevisin de la actividad poltica dificulta la
aspiracin de explicar la implementacin mediante un nmero reducido de modelos. Adems, la presentacin del anlisis de la actividad implementadora, en particular con el marco analtico de
Ingram, nos ha mostrado que resulta trabajoso separar tajantemente la implementacin no slo del proceso de formulacin o
ddiseo-de--la poltica O:4u, sino_ tambin de la_evahlaciti de
sta. El siguiente captulo va a centrarse precisamente en la fase de
la evaluacin de la poltica pblica.

134

POLITICAS PBLICAS

CAPTULO V
LA EVALUACIN DE LAS POLTICAS PBLICAS
I. EL SENTIDO DE LA EVALUACIN

Cmo determinar si una poltica es o ha sido exitosa o no? En

qu medida se lograron los objetivos propuestos por una ley? Cules han sido sus consecuencias y sus costos? De manera espontnea
ciudadanos, polticos, medios de comunicacin suelen responder a
estas preguntas. Responden, a veces, a partir de elementos ms o
menos objetivos pero, con ms frecuencia, en funcin de apreciaciones subjetivas o simplemente desde su opinin poltica. Tales ereson fundamentales para quien se interesa en con
conocer la
actuacin del Estado, en evaluar su grado de eficacia y eficiencia, y
en conocer los efectos de su intervencin, sus logros y fracasos.
La evaluacin, entendida como una prctica seria de argumentacin basada en una informacin pertinente, permite precisamente opinar
de manera ms acertada, con menos subjetividad, acerca de los efectos de las acciones pblicas. Su importancia es an mayor cuando las
instituciones y los gobiernos contemporneos tienden a fundamentar
su legitimidad no slo en la legalidad de sus decisiones, sino en lo que
hacen, es decir, en resultados. Es entonces importante que los gobiernos y los ciudadanos sepan lo que se ha logrado por medio de las
acciones emprendidas. El presidente francs Frangois Mitterrand estimaba que la evaluacin representaba un progreso para la democracia
y posibilitaba una mayor eficiencia del Estado (en Duran, 1999:168), o
sea, que la prctica de la evaluacin debera ser considerada por el
poder poltico como un aporte en el proceso de decisin y no como
un contrapoder que busca entorpecer su accin. La evaluacin debe
alimentar el debate democrtico para favorecer as las prcticas
pluralistas y fomente la deliberacin ms que la sumisin ante el poder poltico (Quermonne, 1991:290-291).
135

POLIT7C.A1 PC11311C.AS

ANDR4\TOPL ROTH

El desarrollo de las prcticas de evaluacin en el sector pblico

coincidi con la prdida progresiva de legitimidad del Estado,
inclusive en los pases industrializados avanzados (ver Habermas,
1978). Por lo general la ambicin del Estado intervencionista o de
bienestar del siglo XX se frustr parcialmente por el dificil cumplimiento de sus objetivos, a pesar de los esfuerzos importantes realizados, situacin que se evidenci en particular en sus polticas
sociales. Las dudas y las crticas que surgieron sobre la actuacin
del Estado y su costo creciente, se tradujeron en una exigencia de
mayor eficacia y eficiencia por parte de las autoridades pblicas.
Por eso se abra camino la idea de introducir en el sector pblico
las tcnicas de gestin utilizadas en las empresas privadas. A partir
de los aos sesenta, en los pases industrializados como los Estados Unidos y los de Europa occidental, un enfoque de public
management o de gestin pblica empez a sustituir los mtodos
tradicionales de la administracin pblica (ver Nioche, 1982).
La introduccin de esta nueva tcnica de gestin en el sector
pblico signific un verdadero cambio de enfoque, un nuevo
modo de pensar la labor administrativa. Estas dos maneras de
concebir la accin pblica refleja la tensin existente entre dos formas de legitimidad. De una parte, tenemos una legitimidad tradicional que se basa en el respeto a la ley y a los reglamentos y, por
otro lado, una legitimidad que se fundamenta en los objetivos y los
resultados de la accin. El enfoque tradicional de la legitimidad de
la accin pblica, fundamentada en el respeto a las reglas y procedimientos jurdicos, tiende a ser desplazado por una legitimidad
de la accin pblica basada en el logro de resultadosl. Se trata de

'Este cambio de enfoque est a la base de la corriente new pub& management

(NPM) o nueva gestin pblica, popularizada con el libro de Osborne y
Gaebler (1993; en espaol: 1994), que se desarrolla a partir de la dcada de
los aos ochenta en los pases anglosajones y, posteriormente, en buena
parte del mundo. El neoliberalismo ha encontrado en esta corriente una
justificacin y un instrumento para su implementacin (ver Hufty, 1998;
Urio, 1998; Roth, 1999b).
136

reemplazar la primaca de los medios por la primaca de los objetivos, con el fin de lograr una mayor eficacia y eficiencia de la
accin pblica (Muller,1990:116; Chevallier, Loschak,1982:57). Este
nuevo enfoqiie -Va a abrir un campo amplio al concepto y a las
prcticas de evaluacin.
Sin embargo, el desarroll de la evaluacin de polticas -pblicas no encuentra su legitimacin nicamente en las deficienciaidel Estado, sino tambin en el hecho de que los problerhas" que . .ste- -busca resolver, controlar o mitigar por medio de sus acciones
pblicas, son siempre ms complejos e inciertos en cuanto a medios, resultados y efectos. Basta pensar en la complejidad de los
problemas ambientales o de las manipulaciones genticas. Con frecuencia, aunque no se admita fcilmente, el Estado tiene que andar
casi a tientas. La actividad evaluadora permite entonces al Estado
y a los gobernantes, y tambin a los ciudadanos, disponer de una
mayor informacin acerca de las consecuencias de sus d ecisionesy
acciones. Un Estado responsable no puede tomar decisiones sin
tener un mnimo de inters por las consecuencias que stas conllevan ms all del corto plazo. .En este captulo, luego de definir
mejor el concepto de evaluacin de polticas pbligas, se van a
indicar los principales tipos de evaluacin, para lueg terminar
con la presentacin de un modelo de evaluacin pluralista.
2. DEFINIR LA EVALUACIN

La evaluacin tiende a constituirse como una nueva disciplina

en el mbito del anlisis de polticas pblicas "que se ocupa de
recolectar, verificar e interpretar la informacin sobre la ejecucin
y eficacia de las polticas y programas pblicos" (Majone, 1997:214).
La variedad existente de concepciones, y por lo tanto de definiciones de la evaluacin, es muy amplia. Entre la evaluacin de tipo
gerencial utilizada como instrumento de gestin o mejor de control de gestin y la evaluacin interactiva, participativa, pluralista
y concebida como una herramienta para la profundizacin del
ideal democrtico, existe algo ms que matices.
Sin embargo, las ideas dominantes al respecto tienden, y no sin
razones, a asociar esta actividad no slo con la nocin de control
137

Avrxt-NoaROTH

(legtimo) de actividades, sino con la de intrusin y hasta de instrumento e represin. Ponlo general es cierto que la prctica de la
evaluacin tiene un aspecto ms que todo vertical, cuantitativo,
administrativo y directivo, tendiente a justificar una sancin. De all
se deriva, parcialmente por lo menos la actitud comn de resistencia a la idea de evaluacin, por un lado, y, del otro, el comportamiento del ritualismo frecuente en la funcin pblica, es decir,
de apego burocrtico al reglamento por temor a una 'eventual sancin. Y, por cierto, la evaluacin es una actividad fundamentalmente normativa. Los evaluadores dificilmente pueden actuar por
fuera de sus valores, normas y percepciones propios de los
solicitantes' de la evaluacin. As que los criterios de evaluacin
seleccionados nunca sern reconocidos como pertinentes por todos los actores sociales. Tanto los criterios seleccionados para evaluar la accin pblica como la accin pblica en s son objeto de
controversia. Por eso es fundamental entender que la evaluacin es
posible slo en la medida en que su sentido, as como la escala de
valores utilizada, se encuentren enunciados con la mayor claridad
posible. En caso contrario, la evaluacin no es ms que una expresin de arbitrariedad dificilmente aceptada por los actores de la
accin pblica evaluada.
Pero la evaluacin es tambin un instrumento valioso e indispensable para conocer y mejorar las acciones pblicas. Inicialmente la evaluacin se desarroll como un instrumento de medicin
de la eficacia de las polticas pblicas en el marco del movimiento
de racionalizacin de las elecciones presupuestales (el famoso
PPBS en ingls o RCB en francs, ver ms adelante y en el captulo
(Chevallier, 1991:43). Posteriormente, en el mbito de las polticas pblicas, este enfoque inicial se ampli. Se puede observar

Solicitante entendido como la persona o la institucin que pide y paga la

realizacin de una evaluacin.
2

138

PC51.171CAS PBLICAS

esta evolucin en la sucesin de las definiciones oficiales de la

evaluacin -y en consecuencia, de las prcticas. Por ejemplo, en
Francia, segn Corcuff (1993:192-194), en 1986, la evaluacin de polticas pblicas pretenda "conocer y medir los efectos propios
de una poltica", a partir de un anlisis de los hechos realizado por
expertos externos para garantizar la neutralidad (Informe Deleau). El
reto era ambicioso: en qu medida y cmo determinar si los efectos
observados son realmente consecuencia de la poltica y no de causas externas a sta?
En 1989, con el Informe Viveret, la evaluacin ya no" consista
solamente en emitir un juicio sobre los hechos, sino que incluy .
tambinuprectminosdvalre.Apuimo
de valores presente en la sociedad corresponde tambin un pluralismo en el peritaje (expertise). Si la evaluacin no puede escapar
al juicio de valor, entonces, en una sociedad democrtica, habr
necesariamente una variedad de evaluaciones igualmente vlidas
aunque no necesariamente igualmente aceptables y aceptadas
como expresin de los distintos valores presentes en una sociedad particular. Por lo tanto, se va a advertir del peligro positivista
que se corre en considerar la existencia de solamente una definicin y una metodologa vlida para la evaluacin. En 1991, el
Consejo Cientfico de la Evaluacin propuso definir la evaluacin como "la actividad de recoleccin, de anlisis y de interpretacin de la informacin relativa a la implementacin y al impacto
de medidas que apuntan a actuar sobre una situacin social as
como en la preparacin de medidas nuevas". All la evaluacin
es reconocida como una actividad que asocia tres dimensiones:
una dimensin cognitiva, porque aporta conocimientos; una dimensin instrumental, porque hace parte de un proceso de acciones y, por ltimo, una dimensin normativa, porque se trata de
una interpretacin a partir de valores.
Frente a estas definiciones oficializadas, existen enfoques (y
objetivos) de evaluacin todava ms amplios, como por ejemplo
los propuestos por los defensores de la evaluacin pluralista. Por
lo general todos parten de una crtica a la tentacin positivista inscrita en la mayora de los modelos de evaluacin. En este sentido,
a partir de los aos noventa, las concepciones verticales y exter139

PoLtricAs PBLICAS

ANDR-NOL RoTH

nas fueron sustituidas por enfoques que hacen nfasis en la necesidad de integrar los puntos de vista, no solamente de los diversos
expertos, sino tambin de los actores involucrados. En este contexto, al pluralismo de los expertos, ya reconocido por el Informe
Viveret, se suma tambin el pluralismo de los actores. Significa que
es necesario tener en cuenta la evaluacin hecha por los actores
sobre sus propias actuaciones y a partir de sus percepciones. Implica que la relacin entre investigadores y actores investigados
debe inscribirse en un proceso que permita mediante el debate y
la participacin activa un aprendizaje colectivo (autoevaluacin,
evaluacin endoformativa 3) o ajustes en el curso de la implementacin mediante la negociacin y la discusin con los actores
(evaluacin dinmica o continua).
Por lo tanto, y segn la definicin propuesta por Vuille al
referirse particularmente al caso de la evaluacin de programas
sociales, "la evaluacin es un proceso (temporalidad) y una mezcla que retorna elementos tanto del pensamiento cientfico como
de la accin, tanto de los saberes tericos como de los saberes
empricos. Por eso .su metodologa tiene que responder a criterios de validez y de fiabilidad tanto frente a la ciencia corno a la
accin. La auto y la heteroevaluacin, de manera ideal, deben ser
conducidas conjuntamente para nutrir la reflexin de los actores
involucrados en los estados pasados, presentes y futuros de su
organizacin. Apuntan a cualificar la experiencia. No se trata de
evaluar las capacidades individuales de la gente, sino los recursos
y las capacidades sociales aprendidas, organizadas y coordinadas adquiridas por el conjunto de los actores para la realizacin
de un proyecto colectivo".

Lo que se refleja en esta definicin es tambin la tensin entre

dos posturas metodolgica,s que corresponden a la pposicin clsica entre el polo cientfico y el polo de la accin pblica (vr
Weber, 1959). La evaluacin, como el anlisis, de poltica pblica
en general, dificilrnente puede escapar a esta tensin. Como lo
anota Leca (1993), el reto de la evaluacin consiste justamente -en
articular estas dos dimensiones cientfica y prctica o poltica,
para intentar superar esta contradiccin de manera constructiva.
Wildavsky (1980) subraya que el propsito del analista de polticas
no est en la eliminacin de todo juicio de valor, sino en elevar el.
nivel de la discusin entre intereses contradictorios, con la finalidad de que, en lo ideal, el debate sea de mayor calidad y permita
elegir entre varias alternativas de accin mejor conocidas.
Esta ambicin de conjugar el rigor analtico y la accin poltica
lleva a Duran (1999:169-175) a definir la evaluacin de polticas
pblicas como una actividad de investigacin aplicada, de produccin
de un conocimiento comprometido con las realidades sociales4. Para
Monnier (1992:101), es solamente con ste compromiso de la evaluacin con la'realidad y con los actores, que sta tendr una utilidad social y disminuir el riesgo de quedar olvidada en algn cajn
de una oficina (o que sirva de instrumento al servido exclusivo de
los directivos). Al parecer, la posibilidad de que la evaluacin sea
socialmente til no dependera mucho del rigor tcnico de la metodologa empleada, sino de la credibilidad, y en consecuencia de
la legitimidad, en el enfoque empleado por los actores sociales

(1999:169-170) describe la actividad de evaluacin como "la apreciacin razonada de las acciones definidas e implementadas por las autoridades
pblicas para su contribucin al tratamiento de los problemas pblicos que
ellas han identificado y que requieren de su intervencin. Esta apreciacin
interviene con base en un conocimiento profundo, tanto/de las consecuencias
que estas acciones inducen corno de los procesos que las producen".
4 Duran

Evaluacin endo formativa es aquella que permite la formacin tanto de

los actores y del pblico interesado, como de los investigadores, con el fin de
mejorar la prctica.
140

141

Cfri

supuappur stlsa ieniuna otu9D?

asip
-npozd uuppod svApp,2au OURD3 SBAIJISOCI ow stpuappur nb?
We191.1"
trow yr JrzuuDit trez9oi svAptunlit sauopnios svq uppatu nb ua?
stArTetualp sauopnios saiqrsod sEi uos sar/nD?
u9puluauxel2ax (uAanu) zun urzusanau sa?
:(000z yalaD) saitdp
.7uud smun2axd onup ap xopapaare upuluarlo usypeatiw vun DX9P/IS
BARD9CISOJd Entreill 91) . 90439p sosa Iguipsa tred VIIknopolzuu zun
ou sunazrpur SITUDInDUI 9 oprppnt oluartuuttapo p
txud suptlan3asuop 'srApEnsruratpu saptprivutioj ap sourux394 uD ox
-Drdwr sziapuetrg supuappur `saiuntra2 sasaxaTtir son ua sonvd
-un coaiduxa p ua sonuclutr `supwadsa sululuaA :stural. saluarn2rs
soi souauz OT Zod %guau ua `Juidtuazum aqap Trusa alsa Lai ap
onaoxd zarnbrenD mredtuoye aqap onvdtut ap orpnIsa un uzins
xezuuDiu and SO3
tia OLUOD uptruid cta OVIBI 'COLLO 10d
SOlUZUJII.T4SUT 9 S9r.29I StAptUIDTM 9111I9 UOTDD9r9 ap 0S9DOZCI

JOd Ilpualwd as .u9peis1hi V.APTIU BUI1B):IBDOA

p .TBJ0f0T.Z1
Dnb saiqrsrAaJd sonaja soi L stpuanaasuon su! 10!DUI 19DOUOD
sa Apatqo p toriptisPai onudun ap sorptusa soi ap osva p
'inuarqtur onedtur ap sorp
-tusa soi saluxnnnnsargur sonaozd soi corionvsap ap sonaozd
soi bArivisr2ai onedusi ap sorptusa soi saptprAp3t ap S920;33S
oxxuno T.19 DlUOUIZEITI.39.Ted spipursap as Ofial X9 usgvniu2sa El ap
osn ra -suoriqtyd suppjiod suno ua ludan ns 'aiqrsrAazd onudtur
ns upvaga ns :sopan:E-3 san ap u9purg tia aluauirunua2 `supvgasrp
sauopdo SYSJDATID set zuzlluut lu `onaoid un Jod sopusnup sox
-:Turg sol.Yeduri soi uy.zas salynn napsouoxd ua alSTSUO3 II9ISID3p
yr y vp-nke ap oApoldso3d oluaumnsur un s'a u9puluatuaiduir ns
tpunoAaid anb sonaja sol zuurtun4ap wrd onaozd o ututu50Jci
ai ap ulsandozd utin ap sTstietre un zuzrium tia a4srsuon `EAppadsoxd
oo prprimpuj ap (.uoy(fr, urquir4 upuuturi 5#13 xa u9punruna uZ

aLNV xa NODVITIVAH VI

-DE

VS0(f

UraDly1240 OU103 rplUOUOD9X S3 U9p

BT ap u9pn3afa El E Auratadoutwocf rzrivax as anb n 'enunuoa o

.51-91-111d SVDLLrlOcr

Zfrl

,91uviyaotio, uppyrtmaa OUJOD 9301103 9S BDITC1Ild 1.19I3Dt Er

ap
BITDIEUI
ua nsand ri vuvcruio.n7 anb Ei !apiv xa uppvnivaa Ei sa uoppr
.
uun ap
rZNEDJ 9S Dnb u9punruAa El u9punruAa tun ap usypuzritaJ Er
und sapuprutuiodo saiqrsod san aluautinuoprpun uan2upsrp as
N9DVITIVA3 Vi aa QLNI3JAI
014113

osanoxd ie onadsaz UO3 sampunreAa

sor urdnpo anb uprsod ti axqos asn2onalu-r E rAall OFDVCID
IP3J9J
axarnbaJ as anb u9puniuna ap odp p xrnivAa u ontqo
UTDErire.25.9 Ei ap sapupriutsg Tul yespaJd E n
-rAur sou mun2aJd rpun2as
els? ap sndsap o u9puluatuaidtur
ns a4treinp `u9r3n3a(a ns ap saluu? :u9punitAa ap puprArnu
El vuonusap as anb ua upriqtyd u9rne ur ap o vymod Ei ap osan
-ead rap muautoux tE tpualajax aDEil ulutt9aJd untupd Entena
urnb? utliuAa as nb nb 'and? muna as optrenD? :saAup sulunW
-a4d sa4 ap Jp.Tud E utual p spnponur tribu* auodoxl as u9pulaid
-zalur ns ap soApaho sns ap 'epricir,td u9pan ui ap puprtaidtuon
yr. ap olagm p sa u9puniuAa ap sodp soppotu ap pupayzA EZ

Nr9Dva1Vit3 3Q soawc
uuzrivai anb sapuplArne sui anos pipo
un xzwaa ap puprirqrsuodsax Er opyr ap xutap uapand ou souxarcio8
soi compity xod !sauoppu sns E opredsm p xin2asuo3 al) ug p .uoa
so3ricind sns UO3 .1T2omp `Ip4119Illran U9I3MU.10311! t'un ira 9SEC1
UOD iunridxa und avnuntaai ap u9pdriqo yr urqunn uauap soppyin
-oulap soDpTiod sauaulax
!sexturg sattopau stri aiqrsod W131193B
syui ot ExauEUZ ap sexatuupurg tiEd BDIRS1d 1191.3DV Ei Jod soppnp
- sarupos sosaDozd soi UOD usud anb oi Japtia.Jiawap xunn uacpp
souzarq2 soi 'xuloztuop senrunutop `zapuaJduion :soatipodrual
-uon soppynotnap souzarq92 sol ap solm sarudpupd saz' soi re=
-ua usad uluarurunati vun arupsuop supriqrtd suzgriod ap u9punruAa
Ira
Ei tLI -OLI :6661) Mina IMI9S I OUIOD
JEZprIE apua4aJd anb
uoriqtyd u9pnt Ei ap oppriod 01X9JUOD pp Judepsa apand ou u9p
-unruAz Er anb Jpap s'a .(sopuniu2sa sazopunivAa) sopunnioAur
Fuou-raolv--?li

ANDR-Non, Roer

En el conjunto de herramientas para evaluar el impacto legislativo ex ante, se encuentra tambin el mtodo experimental. Ante la
incertidumbre de los efectos que podra generar una poltica determinada, sta se implementa de manera experimental sobre un
grupo restringido de la poblacin, una ciudad o un departamento.
El impacto es entonces analizado y segn los resultados se toma la
determinacin de generalizar la poltica para todo el pas, abandonarla o realizar ajustess .
Otro ejemplo de uso de la evaluacin ex ante lo encontramos
en el rea siempre ms amplia de los proyectos de desarrollo. Los
organismos financieros (BID, FMI, ministerios, etc.) solicitan la
realizacin de una evaluacin de factibilidad, como requisito para
tomar la decisin de financiar o no un proyecto especfico presentado por una institucin ejecutora. En estos casos los organismos
analizan en especial la pertinencia y la consistencia interna de la
propuesta, la consistencia entre el contexto y los beneficiarios, la
coherencia entre las metas y objetivos esperados y los medios y
recursos previstos, la adecuacin del presupuesto, la filosofia que
se quiere favorecer, entre otros aspectos.
En un campo vecino al anterior se encuentra la evaluacin de
impacto, la cual es utilizada ya usualmente para las obras de infraestructura y proyectos de alguna importancia como vas, aeropuertos, represas, etc., siempre con el objetivo similar de facilitar la

El uso del mtodo experimental se facilita en los regmenes polticos

federales ( los Estados Unidos, Suiza) o en los que confieren una cierta
autonoma a sus regiones o municipalidades. Se experimenta una poltica
en un sitio y, si es exitosa, otros sitios la aplicarn igualmente o el Estado
central la generalizar para todo el pas. En los Estados Unidos se habla de
legislacin sunset: la legislacin se aplica slo por un tiempo determinado
con el fin de evaluar sus efectos y su pertinencia para, luego, tomar una
decisin sobre su implementacin definitiva, su modificacin o su abandono (Osborne, Gaebler, 1994:175; Papadopoulos, 1995:128). Ver tambin el
numeral 3.2. de este mismo captulo.
144

Por_ ncAs PBLICAS

eleccin- entre" alternativas. En este tipo .de .revaluacin se tiende en

general a favorecer el uso de criterios :que miden los efectos de
tipo econmco y financiero, pero minimiza los impactos atbientales, polticos o sociales del proyecto por ser de medicin ms
compleja. En estos casos, los mtodos utilizados frecuentemente
se derivan del clculo econmico y de la teora del public choice6,
corno los conocidos anlisis costos-ventajas, costos-beneficios,
costos-eficacia o mtodos multicriterios. Con estos Mtodos se
pretende racionalizar el proceso de toma de decisin; es decir,
reducir el papel de los valores y de la poltica en la decisin por
medio del clculo tcnico y de principios de gestin del sector
privado (contabilidad analtica, control de gestin, direccin por
objetivos).
Esta ambicin racionalista y tecnocrtica dio a luz, en los aos
cincuenta y sesenta en los Estados Unidos, el programa PPBS
(Planning Process Budgeting System) y conocido en Francia como RCB
(Rationalisation des Choix Budgtaires) y en Colombia a programas de
tipo racionalizacin del gasto pblico. Estos programas tenan como
funcin facilitar y priorizar las decisiones pblicas a partir del control del presupuesto por programas especficos. Sin embargo, por
su no adecuacin a la realidad profunda-de los proc. esoslle toma
de decisin pblica', estos programas de gestin no tardaron en
mostrar sus lmites y fueron abandonados (Nioche, 1982b:639;
ver Uno, 1978).
Este sesgo economicista en la evaluacin ex ante de los programas y proyectos tuvo consecuencias particularmente en materia
ambiental. La no inclusin del costo ambiental en los clculos llev, entre otros factores, a minimizar el impacto de las actividades
humanas sobre el ecosistema. La toma de conciencia de los problemas ambientales, a partir de la dcada de los aos setenta, ha provo-

Ver captulo III.

'Ver captulo III.
145

ANDR-Noa, RoTH

cado un desarrollo im ortante de la evaluacin ex ante en este campo. Hoy, numerosos pases han establecido la obligatoriedad de e ectuar una Evaluacin de Impacto Ambiental (ETA) para obtener una
autorizacin de ejecucin para los proyectos que pueden afectar el
medio ambiente. La ETA consiste en un examen de los posibles
impactos ambientales de una accin o proyecto, destinado a facilitar
una decisin por parte de los responsables polticos. Gmez Orea
(en Figueroa Casas y al., 1998:58) define la EIA como "un procedimiento de anlisis, ms o menos largo y complejo, encaminado a
formar un juicio previo, lo ms objetivo posible sobre la importancia de los impactos ambientales de una accin humana prevista y la
posibilidad de evitarlos o reducirlos a niveles aceptables". Existe una
gran variedad de metodologas (ver Figueroa Casas y al., 1998) para
tratar de predecir los impactos ambientales de los proyectos y de
sus posibles alternativas y as prever medidas de mitigacin o renunciar al proyecto.
Estas metodologas tienden a presentarse como una herramienta
cientfica, basada en las ciencias naturales, con un alto grado de
sofisticacin tcnica y de simplificacin de la realidad a travs de
matrices. La gran cantidad de variables y de interacciones posibles
que entran en consideracin, y la tendencia a usar ms que .todo
indicadores cuantificables, no es, sin embargo, una garanta real de
objetividad. En efecto, tanto antes como durante los procesos de
evaluacin, los mltiples momentos en los cuales los evaluadores
deben jerarquizar preferencias, realizar arbitrajes entre criterios,
resolver problemas de mensurabilidad, seleccionar indicadores y
mtodos, asignar ponderaciones a los indicadores, etc., reintroduce,
sin duda, elementos de subjetividad en los resultados de la evaluacin'. Esto quiere decir que a pesar de los esfuerzos para lograr el

Adems, el sector ambiental, por su complejidad, no escapa a las dificultades prcticas sealadas por Herbert Simon en cuanto a la informacin incompleta y a las limitaciones de tiempo y de recursos que conducen a escoger
la primera solucin satisfactoria desde el punto de vista del decisor (ver
captulo III).
146

Pozncispnau

ms alto nivel de objetividad, los evaludores n. .

inconsciente o conscientemente, a introducir elementos ideolgicos o normativos.
Es probable que detrs de la disputa acerca de las metodologas,
tanto entre expertos en ETA como entre stos y actores polticos o
econniicos, se esconden verdaderas divergencias politicas (ver
Majone, 1997). Por otro lado, es factible que la generalizacin de
las ETA provoque una cierta estandarizacin y rutina en la realizacin de esos estudios, situacin que puede traducirse por parte de
las agencias de evaluacin en una aplicacinesquemtica de mtodos de evaluacin similares a problemas distintos'. Por eso, n
os
parece importante no minimiza el riesgo de caer en una
nueva
deriva tecnocrtica por parte de los expertos en EIA, similar a la
de los economistas con el PPBS o el RCB. Sin embargo, a
anotar que las ETA han permitido el desarrollo de numerosos estudios que han contribuido a aumentar los conocimientos discipli_
naros, a despertar el inters por la problerntici ambient al, a
favoreclbsqudtnaiv,esoluc adr
y a tomar medidas de mitigacin. ,
El hecho de considerar el medio ambiente como un factor
suplementario de restriccin a la libertad de eleccin del decis or,
similar a las restricciones tcnicas y econmicas ya habituales, constituye un elemento que posibilita la elevacin del nivel de entend_
miento de las consecuencias de las acciones humanas (Majone,
1997:109ss, 216). Eso debera mejorar los procesos de elaboracin, decisin e implementacin de polticas, programas y Proyectos. En la medida que estos distintos puntos de vista tcnic o,
econmico, ambiental, entre otros sean objeto de deliberacin
pblica entre los actores interesados, se fortalecer un proceso de
aprendizaje colectivo importante para la construccin y solidificacin de una cultura poltica ms democrtica y participativa.

9 En este sentido, sera preciso pensar en introducir las prcticas de

tipo
evaluacin pluralista en la evaluacin de impacto ambiental, (ver ms adelante).

147

POLTICAS PBLIC4S

Otra limitacin o restriccin que se debera analizar con ms

frecuencia en una evaluacin ex ante, es la que introduce un anlisis
de factibilidad desde el punto de vista poltico. Tal y como lo
seala Majone (1997:120), desatender los problemas de factibilidad
poltica es suponer de manera errnea que "las polticas pueden
ejecutarse por decreto". El anlisis de factibilidad poltica permite
asegurarse de que la accin poltica escogida podr implementarse
con cierta garanta de xito. Para ello es primordial analizar cules
son los instrumentos de politica que se pueden usar, con quin el
gobernante debe compartir su autoridad y cules son los actores
polticos y burocrticos cuyo apoyo se necesita (Mojone, 1997:120).
En su propuesta de clasificacin de las diferentes restricciones de
tipo poltico, Majone (1997:122ss) establece tres distinciones bsicas: una, entre las restricciones objetivas (leyes naturales y tcnicas)
y las autoimpuestas (elecciones y compromisos libres), otra, entre
metas y restricciones 10 y, la ltima, entre las limitaciones de largo
plazo y las de corto plazo. Sin embargo, el asesor de polticas no
debe limitarse a buscar las soluciones dentro de los lmites dados
hic y nunc (aqu y ahora), sino que debe ayudar a expandir las fronteras de lo posible. Las restricciones de tipo poltico e institucio
contrariamente a las limitaciones impuestas por las leyes de la naturaleza, son susceptibles de cambio. El papel de la argumentacin y
de la persuasin en la formulacin de polticas es aqu fundamental.. Max Weber nos recuerda que a lo largo de la historia el ser
humano no habra alcanzado lo posible si una y otra vez no hubiese buscado lo imposible (Weber, 1959) 11 .

1 Si el elaborador de poltica est dispuesto a cambiar un valor particular (en

el margen) por otros valores, se trata de una meta, en caso contrario es una
restriccin --autoimpuesta. (Majone, 1997:127).
11 Idea que tanto los socialistas utpicos (capaces de anticipar) del siglo
XIX como los contemporneos, lograron condensar en una reivindicacin
paradjica: "Sean realistas: exijan lo imposible!".
148

3.1.2. LA EVALUACIN CONCOMITANTE

Otro momento posible de la evaluacin el - que gompf la

puesta en marcha del proyecto o programa. El objetivo es, por
una parte, controlar el buen desarrollo de lbs proce climIntos previstos y, por otra, permitir la deteccin de problemas para poder
realizar los ajustes necesarios a tiempo. Se trata de realizar un seguimiento o monitoreo a las actividades de implementacin de un
programa insumos, cronograma, realizaciones, resultados, etc.Este tipo de evaluacin puede ser de carcter continuo o peridico (semestral o anual) y puede ser realizado por personal de la
misma administracin control interno o por grupos externos
como en los casos de la interventora o de la veedura (ver
Bussmann y otros, 1998:140-150).
La evaluacin continua tiende a ser ms amplia que el monitoreo
por ser concebida como un instrumento que suministra informacin permanente para ajustar continuamente tanto losobjetivos como
los medios y los procesos de una politica o -de una accin
Es de particular inters en los casos en que exista gran incertidumbre
sobre los efectos de una politica por su complejidad o su carcter
innovador. La evaluacin continua es segueamente una de las ms
importantes para el xito de un programa, sin embargo, es la que
menos se practica debido a los costos que ella implica.
La evaluacin peridica consiste en un control de las actividades
realizadas de tiempo en tiempo y permite conocer en que va el
proceso con relacin a la planificacin establecida, para luego determinar correctivos. La inclusin en un programa de una evaluacin de este tipo obliga a que se haya previsto una programacin
de las actividades con un cronograma.
Otra figura conocida es la auditora. En este caso se trata de
realizar un informe (peridico o final) a partir de documentos y
libros que dan cuenta de las actividades realizadas por las entidades implementadoras. Por lo general los auditores son externos a
la entidad y se limitan a la revisin y control peridico de la contabilidad y la gestin de la entidad. La auditora es un instrumento de
control de gestin y, en este sentido, es un elemento particular dentro de un proceso ms amplio de evaluacin.
149

ANDR-NOPI-Rcfrx

3.1.3. LA EVALUACIN EX POZT

La evaluacin ex post, retrospectiva o a posteriori es la que se

realiza con ms frecuencia. Se trata en este caso de analizar los
efectos de un programa o de una poltica pblica luego de efectuada su implementacin. La finalidad de una evaluacin ex post es
generalmente la obtencin de conocimientos y enseanzas para
decisiones futuras.
-La realizacin de una evaluacin ex post de una poltica pblica
requiere de un cierto rigor y descansa en el uso apropiado de herramientas metodolgicas tanto cualitativas y cuantitativas desarrolladas por las ciencias sociales como la estadstica, las entrevistas,
los sondeos, los anlisis de informes y de textos, etc. A continuacin, se presenta brevemente una metodologa de evaluacin ex
post de polticas pblicas por expertos externos 12.
El trabajo de evaluacin de una poltica pblica empieza con un
proyecto de evaluacin cuya duracin se estima en aproximadamente
dos meses. Un proyecto de evaluacin incluye un esbozo de proyecto (o
preproyecto) y un estudio de factibilidad. El primero tiene como objetivo precisar el contenido de la evaluacin, y el segundo tiene que
resolver los problemas metodolgicos pata su realizacin.
El preproyecto de evaluacin se estructura a partir de cinco
preguntas concebidas como etapas sucesivas y necesarias. Los
evaluadores deben realizar una investigacin preliminar con el fin
de darles respuesta en un texto breve de aproximadamente cinco
pginas:
- Cules son los estudios ya realizados, en curso o proyectados
sobre el tema?

POL1TICAS PBLICAS

- Cules son las modificaciones normativas ya realizadas, en curso o proyectadas?

- Cules son los interrogantes que se deben tratar? (el problema a
analizar)
- Cules son los otros interrogantes posibles y que se descartan?
- Cules pueden ser las consecuencias prcticas y financieras de la
evaluacin? (propuestas imaginativas de polticas alternativas)
Luego, el estudio de factibilidad indicar, de manera sucinta y
clara, cmo y con qu medios se van a alcanzar los objetivos de la
evaluacin, para lo cual el estudio de factibilidad debe responder a
las siguientes preguntas:- Es factible la evaluacin y, si lo es, con cul enfoque
rnetodolgico? con el enfoque global o por caso(s)? si es de caso(s),
cul(es) y por qu?
- Con base en los mtodos y medios disponibles, cules son los
interrogantes (formulados en el proyecto) que se pueden seleccionar definitivamente, y cules hay que descartar y por qu?
- Cules son los datos disponibles y qu dicen?
- Cmo se van a recolectar las informaciones necesarias?
- Cules son las personas a entrevistar?
- Cmo van a tratarse los datos?
- Cmo est estructurado el proceso de evaluacin? (planificacin, etapas, encuestas, cronograma)
En su conjunto el proyecto de evaluacin est concebido para
ser presentado al solicitante con el fin de que decida si adjudica el
contrato para la realizacin de la evaluacin propiamente dicha.
A continuacin se presentan con mayor profundidad algunos
aspectos relevantes para la elaboracin de un proyecto de evaluacin y que ilustran la complejidad del asunto.
3.2. LA FINALIDAD Y EL OBJETO DE LA EVALUACIN

12 Es la metodologa utilizada por la Comisin Externa de Evaluacin de

las Polticas Pblicas del Cantn de Ginebra (Suiza). Es adaptada y simplificada libremente por el autor a partir de su presentacin en Cetel (2000).

150

Reflexionar sobre los objetivos que se buscan a travs de la

realizacin de una evaluacin es una etapa inicial indispensable a
todo proceso de evaluacin serio. De la finalidad de la evaluacin
y de las caractersticas del objeto a evaluar van a depender tanto lo
que se evala concretamente como el modo de evaluar.
151

Por ITICAS PBLICAs

ANDR-Noar., ROTH

3.2.1. EVALUACIN RECAPITULATIVA Y EVALUACIN ENDOFORMATIVA

Segn el inters que motiva a los evaluadores (o a sus solicitantes) se pueden distinguir varios tipos de evaluacin. Una de las
distinciones ms conocidas y tiles consiste en diferenciar las evaluaciones segn dos finalidades principales. Si el objetivo de la evaluacin es informar a los propios actores de un programa para
que stos puedan modificar sus acciones para mejorar y transformar dicho programa, entonces se habla de una evaluacin
endoformativa. Si la finalidad de la evaluacin es informar al pblico
en general o a actores externos sobre un programa en particular
para que se formen una opinin sobre su valor intrnseco, entonces se habla, en-este caso, de una evaluacin recapitulativa (summative
evaluation).
La evaluacin endoformativa busca ayudar a los responsables
de un programa. En cambio, la evaluacin recapitulativa es til
para los proveedores de recursos que deben tomar la decisin de
seguir o parar el apoyo a tal o cual programa y, tambin, para
otros actores que proyectan eventualmente implementar un programa..Similar en otro lugar (Monnier, 1999:112). Histricamente
son las limitaciones intrnsecas de las evaluaciones recapitulativas
centradas ms que todo en el programa mismo las que han
conducido al desarrollo de concepciones endoformativas para la
evaluacin. Estas ltimas toman en cuenta no slo el valor del
programa como tal, sino que evalan adems el contexto o entorno del programa. Este aspecto de la evaluacin es particularmente
importante cuando el objetivo es de implementar programas
novedosos en contextos locales diferentes. Un programa nuevo o
experimental puede dar excelentes resultados en la ciudad X, pero
puede fracasar en otra ciudad debido a que el contexto es diferente. Es el problema clsico de las transferencias de soluciones tcnicas, administrativas o polticas que se aplican sin tener en cuenta las
diferencias de contextos existentes culturales, sociales, econmicos, ideolgicos, etc. entre el lugar de creacin de un programa y
su implementacin en otro.
El cuadro 1-y indica las principales caractersticas de las evaluaciones cuando se trata de la creacin de un nuevo tipo de pro152

grama y en el caso de la implementacin de un programa ya existente en un contexto diferente. Realizar una evaluacin, antes de
tomar la decisin de implementar
un nuevo programa, perynitira
seguramente ahorrar recursos y evitar posteriores problemas
(Monnier, 1998:114).
1-V.- CARACTERSTICAS DE UNA EVALUACIN
SEGN SUS FINALIDADES

EPT9 0A,~",4,

ettvost
,

51114,<P,Tt4.470"

Certifical
delimitacin del
" campo: de:''
aplicacin de la
innovacin

De stintarios:
RespottabIes
naCionaes,I .

Responsables
locales inteesadospor la irinotacin.
er, (1998:114). Adaptacin A. Roth
Fuente: Monnier,
3.2.2. MODOS DE EVALUACIN

Por su parte, Majone (1999:214ss) considera tres modos de

evaluacin del qu se evala: los insumos utilizados, los procesos o
153

Arma NOEL, ROTH

POLTICAS PBLICAS

los resultados obtenidos. En el rimer caso la evaluacin se centra

en "los recursos, habilidades y personas que participan en la actividad"; en el segundo, "se consideran los mtodos empleados para
transformar los insumos polticos, econmicos y de otra clase en
productos o resultados"; y, finalmente, la evaluacin de resultados
"se concentra en los productos o consecuencias de una actividad
particular" (Majone, 1999:219). Cada modo de evaluacin tiene
sus ventajas y desventajas en cuanto a la informacin que brinda a
los- evaluadores.
Segn Majone (1999224) la eleccin de uno u otro modo de
evaluacin va a depender de dos elementos: el grado de
mensurabilidad de los resultados y el grado de conocimiento del
proceso. Por ejemplo, una actividad como la enseanza tiene un
bajo grado de mensurabilidad de resultados (cmo medir la educacin?) En este caso, si los resultados son de dificil medicin y,
adems, el conocimiento del proceso es deficiente, se escoger preferiblemente una evaluacin de insumos. En cambio, por ejemplo, la '
fabricacin de un bien estandarizado es fcilmente mensurable. El
modo de evaluar, entonces, podr ser una evaluacin de resultados,
lo cual significa que el modo de evaluar va a depender de las condiciones que ofrece el tipo de programa (ver cuadro 2-V).

La evaluacin de resultados es obviamente la preferida. Pero

a
as con ciones ptunas para
son raramente reunidas. Se necesitara que los objetivos de los
programas pblicos estn fijados precisamente, que se puedan
medir los resultados sin ambigedades y que se disponga de un
instrumento de medicin confiable (Majone, 1999:220). Cuando
estas condiciones no estn presentes, es recomendable descartar
este modo de evaluacin. Una alternativa puede ser la evaluacin
de insumos porque permite conocer lo que se ha utilizado (cunto
cost?) para realizar un proyecto o una actividad, pero no nos
dice nada sobre los resultados obtenidos o sobre la adecuacin
de los procesos puestos en marcha. Este modo de evaluacin
corresponde ms a una evaluacin de tipo ex ante y facilita responder de qu se dispone en trminos de personal, de dinero, de
apoyo, de informacin, etc., para realizar la tarea. Muchos programas suelen situarse entre los dos extremos del cuadro bajo e
incompleto o alto y completo, lo que invitaa construir - modelos que mezclan elementos de los tres modos de evaluacin
(Majone, 1999:225).

2-V.- CONDICIONES DE VIABILIDAD DE LOS MODOS DE EVALUACIN

Otros autores distinguen de otra manera las diferentes modalidades de concebir la evaluacin. Por ejemplo, Nioche (1982a) propone
cinco niveles de evaluacin: evaluacin a nivel de medios, de resultados, de impactos, de eficiencia y de satisfaccin (ver cuadro 3-V).

312.3. NIVELES DE EVALUACIN

LA EVALUACIN A NIVEL DE MEDIOS

Evaluacin por el Evaluacin por el
proceso o el
resultado
resultado
Evaluacin por el Evaluacin por el
proceso
insumo

Fuente: Majone (1999:224)

154

La evaluacin a nivel de medios es la forma ms elemental de

realizar una evaluacin y consiste en verificar si los medios previstos para la implementacin de una decisin han sido efectivamente puestos a disposicin en el espacio y en el tiempo indicados y si
se han utilizado (por ejemplo el nivel de ejecucin presupuestal).
Es lo que en general realizan entidades como las Contraloras y las
oficinas de control interno de las administraciones, en el caso de
Colombia. Las evaluaciones de este tipo, por supuesto importan155

P01477c As PCILICAS

ANDR-NO.L ROTH

tes, no dicen nada sobre las consecuencias de la accin pblica ni

sobre el proceso de implementacin.
LA EVALUACIN A NIVEL DE RESULTADOS
Esta evaluacin es la ms comn y consiste en responder a la
siguiente pregunta: logr el programa pblico alcanzar los objetivos fijados? En otras palabras, esta evaluacin indica los resultados de la accin pblica y los compara con los objetivos previstos.
La evaluacin a nivel de resultados mide los efectos inmediatos alcanzados por la entidad de ejecucin a travs de indicadores generalmente cuantitativos que dan cuenta de su actividad productiva
(cuntas personas capacitadas?, cuntas intervenciones quirrgicas?, cuntos expedientes tratados?) La evaluacin a nivel de resultados es la base de los informes de actividades y en muchos
casos se complementa con una evaluacin a nivel de impactos.

3- .- Los
ACTORES

NIVELES DE EVALUACIN

OUTPUT

'- EV4LTJACIN

Pblico

Satisfaccin
Necesidades
Problemas

Medios

Decisores
polticos

Objetivos

LA EVALUACIN A NIVEL DE EFICIENCIA

La evaluacin a nivel de eficiencia tiene como objetivo relacionar los efectos realmente obtenidos con los medios utilizados. Su
156

Programa de -accin
Medios 4

LA EVALUACIN A NIVEL DE IMPACTOS

En la evaluacin a nivel de impactos se consideran datos ms cualitativos para determinar los efectos previstos y no previstos que
indujeron la accin pblica en el entorno social y econmico. Este
tipo de evaluacin, que se lleva a cabo frecuentemente a travs de
tcnicas formalizadas como DeOhi o el Anlisis multictiterios, tiende
a crear un consenso artificial entre los actores alrededor de un
instrumento de medicin. Una debilidad de estas evaluaciones radica en que no toman en cuenta las dificultades que ocurren durante la implementacin. Adems, el hecho de conocer de antemano
los criterios de evaluacin que se aplican de manera peridica puede generar comportamientos que buscan satisfacer los criterios
establecidos ms que los problemas que suscitaron la formulacin
e implementacin de la accin pblica.

. I

Sistema
administrativo

Resultados

Realizaciones

Grupos
objetivos
Otros
grupos

Im p acto s

Eficiencia

Efectos previstos y
efectos no
previstos

J.

Fuente: Nioche, 1982a. Adaptacin A. Roth

157

ANDR-NaaL KWH

POLtI7CAS PBLICAS

finalidad es determinar el grado de eficiencia del dispositivo creado para el programa. Con este tipo de evaluacin se obtiene una
descripcin muy valiosa de los hechos ocurridos durante la
implementacin, pero, sin embargo, no explica por qu se produjeron estos hechos. Se utilizan a menudo los modelos costos-eficacia y costos-beneficios, esta vez en un contexto ex post.

LA EVALUACIN A NIVEL DE SATISFACCIN

La evaluacin a nivel de satisfaccin consiste en dejar de lado los
objetivos del programa en consideracin, para responder a la pregunta: los efectos del programa han satisfecho las necesidades fundamentales? Aqu se considera, no sin lgica, que la razn de ser de
la accin pblica no es necesariamente la de cumplir con unos objetivos fijados a travs de un proceso institucional de decisin, sino la
de resolver los problemas esenciales de una poblacin.
El inters en este tipo de evaluacin, poco utilizada; radica en el
hecho de que-los efectos de una poltica pueden, por ejemplo, no
corresponder a los objetivos iniciales (efectos no previstos) pero
satisfacer a la poblacin. La dificultad de estas evaluaciones se encuentra en la definicin de las necesidades fundamentales, y su ventaja es que permite al evaluador no sesgar su percepcin de la poltica
con los objetivos fijados, ya que estos ltimos pueden funcionar
como orejeras para el evaluador (efecto de visin-tnel) que no le
van a permitir considerar los efectos no previstos como negativos
(efectos <perversos) (Monnier, 1992:104-105).
3.3. Los EVALUADORES

Finalmente, el ltimo interrogante acerca de quin evala, hace

referencia, desde luego, a los evaluadores de la accin pblica. La
problemtica de cualquier tipo de evaluacin se distingue por su
reflexin sobre la posicin y el papel de quienes evalan. Es preciso aclarar que el evaluador de polticas no puede reemplazar el
debate poltico yla responsabilidad de los actores polticos. Por lo
general, el evaluldox trabaja para un cliente y por lo tanto no es un
actor pblico.__Po que s hace es aportar conocimiento argumenta,

158

do a partir de observaciones concretas basadas en normas y valores (Meny, Thoenig, 1992:212). En su trabajo, el experto utiliza las
herramientas cualitativas y cuantitativas que ofrecen las ciencias sociales. Desde hace algunos aos existe un cierto desarrollo de institutos pblicos y privados especializados en la realizacin de todo
tipo de evaluaciones. Es de anotar que el desarrollo satisfactorio
de la evaluacin como actividad profesional depende de que se
cumplan algunas condiciones preliminares como:
- "una relativa independencia de los organismos de evaluacin frente a los solicitantes para permitir el ejercicio crtico y responsable (...);
- Una capacidad pluridisciplinar de los evaluadores;
- Una transparencia suficiente de la informacin administrativa que
permita el acceso a las fuentes;
- Una pluralidad .de rganos de evaluacin que permita la emulacin entre expertos y su utilizacin por los decisores (...)" (Monnier
en Meny, Thoenig, 1992:213),
- Una garanta de publicidad y de acceso a los resultados e informes (Monnier, 1997).
Existen tres modalidades de evaluacin segn la posicin de
los evaluadores: la evaluacin externa (heteroevaluacin), la evaluacin mixta (pluralista, mltiple) y la evaluacin interna
( autoevaluacin). La primera, la evaluacin externa, corresponde
al modelo clsico de la contratacin de expertos externos a la entidad y al programa que se pretende evaluar. Otra posibilidad,
cercana a la anterior pero con objetivos generalmente diferentes,
consiste en la realizacin de la evaluacin por especialistas de la
misma administracin cuya funcin es el seguimiento y control de
la actividad de la administracin por ejemplo, oficina de planeacin,
control interno, contralora.
Para responder a la limitacin inherente a este tipo de evaluacin realizada por personas externas al proceso a evaluar (ver arriba), se desarroll la modalidad de evaluacin mixta que consiste
en conformar uno o varios equipos de evaluadores en los cuales
participan tanto expertos externos como ejecutores del programa
y beneficiarios. Para finalizar, la evaluacin interna o la autoevaluacin consiste en la realizacin de la evaluacin por los ejecutores
y beneficiarios mismos del programa (ver cuadro 4-V).
159

POLtlICAS PBLICAS

ANDR-Nom.. Rom

4-V.- TIPOS DE EVALUACIN Y EVALUADORES

A. Roth

4. UN MODELO DE EVALUACIN MIXTA:

LA EVALUACIN PLURALISTA
4.1. PRESENTACIN

La evaluacin pluralista es parte de la familia de evaluaciones

que comparte la idea de que los evaluadores ya no pueden ser
solamente un grupo de expertos objetivos y generalmente ex ,ternos al programa sometido a evaluacin (como se conceba en
el Informe Deleau). Es evidente que los criterios de evaluacin de
tina poltica pblica van a ser distintos en funcin de la posicin
que, ocupa elvaluador en un programa especifico: politica experto, funcionario encargado de la implementacin, usuario, po- 1 6D

lica, juez, economista, sindicalista, empleador, indgena, etc. De

esta manera se refleja "la diversidad de necesidades, intereses y
preocupaciones de los actores e interesados" (Majone, 1999:217).
Si se reconoce la legitimidad de estas perspectivas variadas sobre
una poltica especfica, entonces es necesario recurrir al concepto
de evaluacin pluralista (Monnier, 1992) o mltiple (Majone,
1999:215ss). La ambicin (y la dificultad) central de la evaluacin
pluralista o mltiple es "contribuir a un entendimiento compartido de las diversas perspectivas crticas" y no solamente combinar o yuxtaponer "criterios parciales en un criterio general"
(Majone, 1999:216).
En este sentido la evaluacin pluralista busca favorecer la introduccin de otros criterios, en general ms cualitativos, y
metodologas y dispositivos de trabajo ms participativos. Con
esto se pretende favorecer un aprendizaje colectivo de los problemas e introducir mayor flexibilidad en la frecuente rigidez normativa de los modelos de los expertos. Estas prcticas deberan facilitar
el: dilogo entre las partes involucradas, con el fin de posibilitar
consensos negociados ms autnticos y legtimos. Se trata de una
verdadera pedagoga de la actividad poltica, de la democracia,
que apunta a la construccin de lenguajes comunes entre polticos,
expertos y ciudadanos".
La evaluacin pluralista se distingue de la evaluacin externa
por la creacin de dispositivos de evaluacin mixtos expertos,
ejecutores, beneficiarios. Se reconoce as la existencia y la
centralidad de los actores involucrados. Este tipo de evaluacin
se entiende como un proceso nunca acabado de aprendizaje colectivo que se interesa por la resolucin de los problemas sociales emergentes por medio de un dilogo entre expertos, actores

13

Ver tambin la seccin titulada "Decisin y democracia" en el captulo HL

161

ANDR-NOL ROTH

y beneficiarios involucrados ms que por la realizacin de objetivos explcitos fijados a priori. El objetivo de la evaluacin ya no
consiste en encontrar la mejor solucin o la ptima desde el punto
de vista tcnico, sino la ms satisfaciente segn el contexto (en
el sentido de Simon, ver captulo III). La evolucin del contexto
en el cual estn inmersos tanto el programa como los actores y las
experiencias individuales y colectivas de los actores y beneficiarios
implican que stos tienden a cambiar sus aspiraciones frente a las
realizaciones del programa. Por eso, la evaluacin como ayuda
Para los decisores es an ms necesaria en un contexto incierta e
imprevisible porque la estabilidad y el carcter concreto de los
objetivos son menores. De hecho una evaluacin pluralista tiende
a ser endoformativa.
4.2. UN DISPOSITIVO PARA LA EVALUACIN PLURALISTA

La realizacin de una evaluacin pluralista necesita la puesta en

marcha de un dispositivo prctico ms complejo que en el caso de
una evaluacin clsica. Segn la presentacin hecha por Monnier
(1998:114ss) el enfoque tradicional, que se debe evitar, se desarrolla en cuatro etapas: - Contratacin por parte de la entidad responsable (generalmente
la que financia un programa) de un equipo de expertos independientes;
- Entrevistas con los responsables del programa y medicin de los
efectos;
- Redaccin del informe de evaluacin;
- Publicacin y divulgacin del informe de evaluacin con sus consecuentes efectos por parte de la entidad contratante o el archivo
de diCho _informe.
Para Monnier (1998:116), este tipo de evaluacin es altamente
contraproducente porque la experiencia ha demostrado que si no
se cuenta con una participacin de los evaluados, la recoleccin de
datos e informacin es dificil, o resulta de psima calidad. Segn
algunosr estudios -las evaluaciones externas tienden a ser de calidad
inferior a las realizadas por personas pertenecientes a la misma
-- se debe a la falta de conocimientos
organizacin. Esta situa
cin
162.

POLiTICAS PBLICAS

cualitativos de los expertos externos sobre la realidad de los procesos internos de la organizacin sometida a evaluacin.
Si, como lo considera Monnier (1998:111), la "utilidad social
de una evaluacin depende de las condiciones de apropiacin de
las conclusiones por parte de los actores sociales a los cuales est
destinada", entonces toma especial importancia la relacin de
confianza y de colaboracin que se establece entre evaluadores y
evaluados.
Esta relacin es necesaria para facilitar un proceso de transformacin de las ideas, como paso inicial a la aceptacin de un cambio y a su implementacin. Entonces, es preferible excluir la
participacin de expertos externos? Monnier (1998:110, 116) estima, sin embargo, que no es la mejor solucin, porque al eliminar
una participacin externa al programa evaluado es muy probable
que para los actores externos se disminuya la credibilidad de la
evaluacin. En efecto, siempre va a existir el riesgo de que la evaluacin se transforme en, o se perciba como, una evaluacin que
busca nicamente justificar o ensalzar una actividad, una gestin o
una organizacin (evaluacin pro domo).
Es precisamente para salir de esta doble dificultad que Monnier
defiende la realizacin de evaluaciones pluralistas. A ttulo de ejemplo, a continuacin se presenta el dispositivo que propone este
autor para la realizacin de este tipo de evaluaciones. Es posible, a
partir de este modelo general, imaginar dispositivos apropiados a
cada situacin particular.
Monnier (1998:116ss) recomienda la constitucin de un dispositivo idneo (cuadro 5-V) para llevar a cabo una evaluacin
endoformativa que se constituye como un verdadero lugar de
negociacin entre los diversos actores involucrados.
El elemento central de esta propuesta metodolgica descansa en la creacin de una estructura ad hoc temporal llamada instancia de evaluacin y conformada por los diversos protagonistas del
programa. La conformacin de esta instancia es delicada en la
medida en que los participantes deben ser personas que dispongan
de tiempo y acten de buena fe. Adems, deben estar dispuestas a
dialogar y tener la voluntad y el inters de reflexionar colectivamente y no imponer puntos de vista de manera intransigente).
163

POLITIC4S PBLICAS

ANDR-NOEL ROTH

Segn la propuesta nicamente esta instancia est habilitada para

definir los objetivos de la evaluacin, fijar la metodologa de trabajo, seleccionar los datos a recolectar, as como proponer criterios de evaluacin a travs de un proceso de negociacin. La
instancia de evaluacin realiza el seguimiento a las actividades del
equipo evaluador conformado por los expertos externos. Es importante que los solicitantes de la evaluacin no tengan mayor in-

forma de este modo en un documento formal que describe el

trabajo realizado, las informaciones recolectadas y da cuenta de las
negociaciones alcanzadas entre los distintos protagonistas del programa en relacin con la interpretacin de los hechos y de las mejoras posibles (1998:116).
Cuando no es posible proceder a una evaluacin de este tipo,
el autor recomienda la realizacin de varias evaluaciones paralelas
de tipo recapitulativo, solicitadas por cada uno de los actores
involucrados con equipos distintos. Por ejemplo, la manera ms
simple y ms econmica consiste en realizar dos evaluaciones paralelas contradictori2s: una a favor del programa y la otra opuesta.
En todo caso, la evaluacin debe evitar tornarse en un procedimiento rgido destinado principal, si no nicamente, a la "verificacin del respeto a las reglas administrativas o de la buena gestin
de los medios y recursos" (Monnier, 1998:117).
El trabajo central del equipo evaluador consiste en facilitar la
negociacin entre las distintas perspectivas para ayudar a una toma
de decisin en vista de la resolucin de los problemas de la accin
pblica. En esta perspectiva, Monnier (1998:117-8) indica algunas
finalidades hacia las cuales apuntan las negociaciones:
- La construccin de un sistema integral de recoleccin y tratamiento de la informacin (econmica, social y operativa) gracias a
la colaboracin activa de los actores de la accin;
- La revelacin de las coacciones (o de las dificultades encontradas) de orden tcnico, econmico, cultural o politico, relacionadas
al entorno en el cual se implementa el programa;
- La concepcin de nuevos medios (o de ajustes) reconocidos por
los diferentes actores como susceptibles de aportar una solucin al
problema social en cuestin;
- La clarificacin de la naturaleza del problema social que motiv
la reaccin inicial;
- El surgimiento de conflictos en la interpretacin de los hechos y
la definicin de los objetivos de la accin;
- El aprendizaje de un lenguaje y de conceptos compartidos por
aculturacin recproca de los diferentes protagonistas; es decir la

la ejercida por miembros de la instancia. El informe final se trans-

rente compartido;

5-y.- DISPOSITIVO DE EVALUACIN PLURALISTA

Solicitantes

Financiacin

--->

Instancia de
evaluacin que incluye
destinatarios y actores
de la accin

Metodologa

Informe
pblico

Interpretacin

Recoleccin
de
informacin
Contrato

Equipo
encargado de la
evaluacin

Fuente: Monnier (1998:116)

164

165

QuVrc.As PBLICAS

.ANDR-Noa.Rom

- El estmulo al cambio social, a partir de la confrontacin constructiva de los valores y de los anhelos que existen en los diversos
sectores de la sociedad, y a partir del descubrimiento y encuentro
de capacidades creativas.
Para terminar este recorrido en el terna de la evaluacin de las
politicas pblicas es preciso recordar que la evaluacin sigue siendo ante todo un proceso poltico, lo cual quiere decir que la prctica de la evaluacin no est exenta de situaciones de arbitraje entre
concepciones divergentes. Participa de este proceso poltico la eleccin entre sistemas de clasificacin, de referentes, de conceptos, de
teoras, de modelos o de puntos de vista seleccionados o descartados. En este sentido la evaluacin es parte de la contienda poltica,
rehusar a reconocerlo sera engaoso e intentar escapar a esta dimensin significara renunciar a esperar de la evaluacin una cierta
utilidad social. Por eso a la hora de lograr un efecto positivo, la
legitimidad de la actividad evaluadora y de sus conclusiones entre
los protagonistas cobra ms importancia que la rigurosidad o la
objetividad de resultados a la cual pretenden llegar los expertos.
Para terminar, nada expresa mejor esta reflexin que la pregunta
formulada por jobert y Warin (citados en Monnier, 1998:122):
"Si las polticas pblicas no se hicieron para los expertos ni para
los polticos, no sera ms preciso evaluarlas a partir de los criterios
de juicio de los destinatarios de stas?"

CAPTULO VI
ESTADO Y CAMBIO DE POLTICA PBLICA:
UNA APLICACIN DEL MODELO
ADVOCACY COALITIONS
1. PRESENTACIN

El anlisis de las polticas pblicas es una disciplina que permite adquirir conocimiento sobre el Estado mismo a partir del
anlisis de sus actuaciones concretas. El objetivo del estudio de
caso que presentamos a continuacin ha consistido en proponer
un anlisis del Estado que parte de la puesta en evidencia de las
condiciones y de las colcciones que pesan sobre la formulacin y
los cambios en las polticas pblicas. El estudio se realiza para el
caso de la poltica ambiental en Colombial.
Por su complejidad en trminos de dominio de saberes, de
conflictos de intereses, de diseo de instituciones y de polticas
pblicas, se considera que la poltica ambiental es una excelente
reveladora de la naturaleza del Estado. La temtica ambiental permite mostrar cmo una nueva problemtica ha sido abordada e
integrada por el sistema poltico de un Estado en desarrollo. La
evolucin de las relaciones entre el Estado y su ambiente natral
durante el siglo XX es indicadora de los cambios ocurridos en los

El caso expuesto es una presentacin parcial y resumida del estudio del

autor (Roth,1999a). Para una bibliografa y fuentes completas consultar el
estudio original.
166

167