Evaluacion Ciencia Alfa Rev2

HUGO OSCAR AMBROSI
CIE
ii
iii
Hugo Oscar Ambrosi
EVALUACIÓN.
CIENCIA ALFA
Un motor de la
transformación
política
Buenos Aires, Argentina

iv
v
Hugo Oscar Ambrosi
EVALUACIÓN.
CIENCIA ALFA
Un motor de la
transformación
política
Buenos Aires, Argentina

vi
Ambrosi, Hugo Oscar

Evaluación: ciencia Alfa / Hugo Oscar Ambrosi;
editado por Hugo Oscar Ambrosi. - 1a ed. - Ciudad
Autónoma de Buenos Aires: Hugo Oscar Ambrosi, 2018.
317 p.; 21 x 14 cm.
ISBN 978-987-778-243-1
1. Evaluación. 2. Política. 3. Ciencia. I.

Ambrosi, Hugo Oscar, ed. II. Título.
CDD 306.2
© 2018 Hugo Oscar Ambrosi

EVALUACIÓN. CIENCIA ALFA i
Agradecimientos
Un especial reconocimiento al Prof. Michael

Scriven, uno de los fundadores de la Evaluación como
disciplina, a la que considera una poderosa función del
pensamiento, solamente precedida por la Lógica y
acompañada por la Estadística.
Scriven ha trazado los lineamientos fundamentales
de la teoría que la configura como una ciencia separada e
independiente, destacando la importancia de la Evaluación,
a través de todos los campos del pensamiento y de la acción
humanos.
Respecto a ella ha dicho:
“Existe la lógica de la evaluación en sí misma - la
"disciplina central" de la evaluación, la estructura fina de la
teoría que une el colectivo de los campos de evaluación
aplicados”
“El núcleo de la materia se nutre por la práctica en
dichos campos aplicados, no solo para justificar la
perspectiva general propuesta, sino también contribuyendo
a resolver problemas hasta ahora no resueltos, y abriendo
nuevos caminos que descubren nuevas áreas fértiles para
seguir trabajando”
EVALUACIÓN. CIENCIA ALFA i
ii Antes que nada
Tabla de contenido
PARTE A PROLEGÓMENOS ................................... 5
I. ANTES QUE NADA ........................................... 7
II. SOBRE LA ORGANIZACIÓN DEL LIBRO ........... 21
III. REFERENCIAS ................................................ 24
PARTE B COMENTARIOS CONTEXTUALES ........... 27
I. PRIMERA APROXIMACIÓN ............................ 28
II. LA MEDICIÓN DEL IMPACTO. ........................ 32
III. CAMBIO, INCERTIDUMBRE Y RIESGO ............ 53
IV. REFERENCIAS ................................................ 65
PARTE C LA TRIPLE FRONTERA ........................... 67
I. POLÍTICA ....................................................... 69
II. CIENCIA......................................................... 88
III. INFORMACIÓN............................................ 101
IV. REFERENCIAS .............................................. 115
PARTE D EVALUACIÓN ..................................... 119
I. CÍRCULO DE LA EVALUACIÓN...................... 120
II. CRITERIOS DE VALORACIÓN ........................ 122
III. ESTÁNDARES RESUMEN.............................. 128
IV. PASOS ......................................................... 134
V. ESTÁNDARES PASO POR PASO .................... 161
VI. INTEGRIDAD DEL PROCESO ......................... 164
VII. REFERENCIAS .............................................. 167
EVALUACIÓN. CIENCIA ALFA iii
PARTE E EL MÉTODO ES EL CAMINO.................169

I. MARCO........................................................170
II. MARCO LÓGICO (ML) ..................................176
III. NUEVO PARADIGMA....................................182
IV. CORTAR EL NUDO GORDIANO .....................187
V. INDICADORES ..............................................198
VI. REFERENCIAS...............................................200
PARTE F HERRAMIENTAS ..................................203
I. NECESIDAD ..................................................204
II. LISTAS DE VERIFICACIÓN .............................206
III. UNA LISTA PRELIMINAR PARA LISTAS ..........223
IV. LISTA DE VERIFICACIÓN PARA LISTAS ..........226
V. DISEÑO DE EVALUACIÓN .............................232
PARTE G LA PIEDRA ANGULAR ..........................243
I. EVALUAR, SOPESAR, PONDERAR .................244
II. PLANIFICACIÓN ...........................................274
III. PRESUPUESTOS DE EVALUACIÓN ................282
IV. REFERENCIAS...............................................294
PARTE H A MODO DE BALANCE ........................296
I. EPÍLOGO ......................................................298
EVALUACIÓN. CIENCIA ALFA 1
Como seres humanos civilizados, no somos los

herederos de una investigación acerca de nosotros mismos
y el mundo, ni de un cuerpo de información acumulada,
sino de una conversación, iniciada en los bosques
primitivos y extendida y vuelta más articulada en el curso
de los siglos.
Es una conversación que se desenvuelve en público
y dentro de cada uno de nosotros. Por supuesto, hay
argumento e investigación e información, pero siempre que
éstos son útiles deben reconocerse como pasajes en esta
conversación, y quizá no sean los pasajes más cautivantes.
Es la capacidad para participar en esta conversación,
y no la capacidad para razonar convincentemente, para
hacer descubrimientos acerca del mundo, o para inventar un
mundo mejor, lo que distingue al ser humano del animal y
al hombre civilizado del bárbaro”
Michael Oakeshott: “The Voice of Poetry”.
en “The Conversation of Mankind"
2
Cuando aparezca la tensión,

dame la humildad para no querer
imponer mi verdad atacando la verdad
del hermano; de saber callar en el
momento oportuno; de saber esperar a
que el otro acabe de expresar por
completo su verdad.
Dame la sabiduría para

comprender que ningún ser humano es
capaz de captar enteramente la verdad
toda, y que no existe error o desatino
que no tenga alguna parte de verdad.
Dame la sensatez para

reconocer que también yo puedo estar
equivocado en algún aspecto de la
verdad, y para dejarme enriquecer con
la verdad del otro.
Dame en fin la generosidad para

pensar que también el otro busca
honestamente la verdad, y para mirar
sin prejuicios y con benevolencia las
opiniones ajenas.
4 Antes que nada
Prolegómenos
Prolegómenos
6 Antes que nada
Prolegómenos
I. Antes que nada
Durante toda mi vida de trabajo

he lidiado con datos.
Parafraseando uno de los primeros párrafos del libro
de Carlos Nino, debo decir qué durante toda mi vida de
trabajo he lidiado con los datos. Y debo reconocer que,
durante ese largo recorrido, aparecieron obstáculos y
adversidades, resistencias y embestidas, al desarrollo de las
estadísticas públicas en la Argentina y, consecuentemente,
al pensamiento basado en ellas.
Realmente las cosas no fueron como hacían suponer
los pronósticos hace muchos años. Las estadísticas
públicas, que constituyen sin duda la parte más visible de la
producción estadística, tuvieron una marcha que, por lo
menos, hay que llamar accidentada hasta que en el 2007
tocan fondo con el avasallamiento del INDEC.
En medio del dolor producido por esos actos de
vandalismo, no pude evitar preguntarme si existe alguna
razón que, más allá de la manipulación arbitraria e
interesada de políticos venales y corruptos, hubiera
contribuido o facilitado esos hechos tremendos.
Una dura respuesta para esa pregunta la encontré en
el libro de Carlos Nino. Pues, así como dicho autor señaló
la anomia que nos agobia con el desorden y la indisciplina
de nuestra sociedad, también los silencios tolerantes y la
dócil aceptación de la destrucción del patrimonio
estadístico, revelan a su vez la condición “anumérica” de
nuestra sociedad.
8 Antes que nada
Ignorar las normas y desconocer los hechos.

Sociedad doblemente deficitaria: anómica y anumérica. Al
respecto afirma John A. Paulos: “El “anumerismo” y la
seudociencia suelen ir de la mano, debido en parte a lo fácil
que es invocar la certidumbre matemática para obligar al
“anumérica” a asentir estúpidamente ante cualquier
afirmación”. Cuántas resonancias vuelven de nuestra
historia reciente (y más lejana también)
Ese reconocimiento me sacó de la zona de confort
en la cual transcurre la actividad estadística “normal”. Ese
paso me dejó expuesto a las tensiones que configuran el
clima de época.
¿A qué me refiero? En primer lugar, a la presencia
de un nuevo paradigma que toma en cuenta las condiciones
culturales, históricas, en las cuales se desarrollan los
procesos técnicos.
Por ejemplo, en el caso de los datos, de la evidencia
que se recopila mediante las estadísticas públicas, es ni más
ni menos que tomar en cuenta, como dice Morín, que “el
observador que observa, el espíritu que piensa y concibe,
son indisociables de una cultura y, por tanto, de una
sociedad aquí y ahora”
De allí surge que las estadísticas públicas, que en
apariencia son el resultado de recomendaciones y
procedimientos técnicos y administrativos exhibidos como
asépticos, neutrales y objetivos, en realidad son
consecuencia de voluntades que los impulsan, de acuerdos
que los convalidan, del poder que los autoriza.
Prolegómenos
Esa complejidad de factores, se resume en la frase

“estadística no es una fórmula, es un convenio”, según la
expresión acuñada por A. Desrossieres.
Así las estadísticas públicas, al estar referidas a un
convenio se convierten en un hecho político. Este paso
provoca una reacción casi defensiva, porque parece tratarse
de un golpe directo a la objetividad, a la neutralidad, que la
ciencia, y como consecuencia, la técnica, consideran un
valor propio, soporte de la autoridad de sus conclusiones y
operaciones.
Ese choque de planetas expone los paradigmas en
pugna. Saliendo de una concepción mecanicista, basada en
un encadenamiento lineal de causa a efecto, bajo un
paraguas “libre de valores”, nos encontramos de pronto, en
un mundo complejo y caótico, en el cual lo único cierto es
la incertidumbre y la oportunidad de colaborar en una
conversación, atendiendo los problemas y las hipótesis
propuestas para resolverlos.
Hace falta un nuevo método para abordar la
complejidad, y en ese nuevo método reaparece la
intervención humana. Ese reconocimiento “confirma lo ya
admitido en la microfísica, o en la cosmofísica, cuyas
observaciones no pueden separarse del observador”.
(Morin)
Ese paso al campo del nuevo paradigma de la
complejidad refleja, con palabras de Morin, “…una nueva
consciencia de la ignorancia, de la incertidumbre y de la
confusión”.
Pero, si la realidad es así de compleja, ¿adónde nos
ha conducido el paradigma hoy en retirada?
10 Antes que nada
Según palabras del autor citado: “… los conceptos

de los que nos servimos para concebir nuestra sociedad -
toda sociedad- están mutilados y desembocan en acciones
inevitablemente mutilantes”. Mutilación y manipulación
van de la mano y huelgan las referencias locales.
Aceptada esa transformación en el plano del
pensamiento, el problema queda más o menos delimitado.
El paso siguiente es repasar los recursos y las limitaciones
que tenemos para resolverlo.
La simplificación ha sido hasta ahora una táctica
exitosa, porque ha servido para equilibrar necesidades y
recursos, dividiendo la realidad en parcelas y manteniendo
la atención concentrada en cada una de ellas. Así el trabajo
estadístico se ha basado en un empirismo ingenuo, que no
resiste los eventuales cuestionamientos que encuentra.
Es necesario encontrar un método que permita
reunir nuevamente las partes y reconstruir el todo original,
en su verdadera complejidad. No se trata de encontrar “una
teoría del todo” (ver pág. 84), ideológica y sobre-
simplificante, sino de devolverle al método su sentido
original de “camino” y abandonar el reduccionista enfoque
metodológico, autorreferencial y limitado a un debate
instrumental, centrado en las propiedades de las técnicas.
En lugar de hacer preguntas comunes como: ¿Qué
está mal? ¿Quién tiene la culpa? ¿Qué debemos hacer al
respecto?, la nueva visión de conjunto se pregunta: ¿Cuál
es el significado de lo que está sucediendo? ¿Cuál es el
problema? ¿Qué se necesita? ¿Qué podemos aprender
acerca de lo que realmente funciona y lo que no funciona?
Prolegómenos
La ciencia debe tomar “conciencia” - sin perder los

valores que la trajeron hasta aquí -, de su inserción social y
de su inevitable relación con el poder.
Se hace una distinción entre preguntar '¿por qué?'
algo es, y preguntar '¿cuál es el significado?'
Preguntar 'por qué' está buscando una causa y esto
lleva a encontrar excusas y algo o alguien a quien culpar
Cualquier idea, sistema de valores, o sistema
religioso, cualquier cosa que afecte la existencia individual,
puede validarse o descalificarse por sus consecuencias para
el bienestar y la satisfacción del individuo.
La manera de salir del circulo vicioso y activar un
circuito virtuoso, es el movimiento espiralado que nos lleve
a un nivel superior, en la observación e interpretación de la
realidad. Es salir por arriba de la chata mediocridad que nos
aletarga.
Hasta ahora hemos visto a la ciencia en una burbuja,
reclamando la atención de la política, con su oferta de
hipótesis y modelos, para llevar sus ideas a la práctica.
¿Qué pasa mientras tanto del otro lado de la
frontera? La política también ha salido en búsqueda de
remedio para sus males. Tratando de darle más solidez y
respaldo a sus proyectos, ha cobrado impulso lo que se
llama “política basada en la evidencia”.
Ese movimiento coloca a los procesos de decisión
política en un mismo plano discursivo con la estadística y
la ciencia, tomando distancia de la estéril argumentación
retórica, giro que ya expresó Jacobo Bernoulli en el Ars
Conjectandi.
12 Antes que nada
El aglutinante, la argamasa común de la renovación

del pensamiento, son los datos, que dan sustancia y
contenido a la evidencia y admiten o descalifican teorías.
Pero las exigencias que plantea la política a la
evidencia modifican las condiciones en las cuales
“normalmente” se producen, analizan e interpretan los
datos. Esas exigencias son el vislumbre de una estadística”
post normal”
En política además de buscarse la verosimilitud de
los supuestos que servirán de base a las decisiones que se
toman, también se manifiestan diversos intereses,
ambiciones, compromisos, plazos y oportunidades, y otras
fuerzas que habitualmente quedan fuera del clásico ámbito
experimental aislado, de la investigación científica, de la
causalidad irreversible.
La ciencia, por su lado, enfrenta el desafío de las
nuevas condiciones de los problemas. Problemas y
condiciones novedosas provocan la necesidad de abandonar
el área de desempeño conocida como “ciencia normal”
¿Cómo se reconoce la ciencia normal? Como “la
ciencia que practican casi todos los científicos, durante casi
todo el tiempo”. Es evidente que los estándares son claves
en la regularidad que determina ese proceso.
Esa definición discrimina lo novedoso, lo diferente.
Por contraste, son esos desafíos los que provocan a la
creatividad, a las soluciones particulares, a la innovación, a
los descubrimientos.
Salir del recinto cerrado del viejo paradigma
racionalista, provoca una especie de Babel que obliga a
redoblar los esfuerzos de “traducción” del lenguaje cerrado
Prolegómenos
del campo científico, a una lengua abierta y comprensible

por todos los interesados en el problema.
Es muy importante subrayar que la atracción está en
el “problema” y no en las “técnicas” utilizadas en su
estudio.
Quedan en la historia algunos debates internos de la
cofradía científica, como el conflicto entre los enfoques
cualitativo y cuantitativo, superado por el abordaje mixto,
que trata de aprovechar lo más robusto de cada uno de
ellos(Creswell 2009)(Tashakkori and Teddlie 1998).
El estudio de los problemas que demandan
decisiones políticas, implica recurrir al conocimiento que
sobre ellos han reunido los expertos. Ahora bien, el
conocimiento científico es una marcha interminable; en
cada momento estará constituido por hipótesis organizadas
en teorías, que han pasado diversas pruebas de
contrastación y que constituyen el estado del saber en ese
momento, claramente precario y corregible.
La verdad es un concepto de vive en el universo de
la lógica abstracta, como valor de un razonamiento
perfecto.
Resulta preferible hablar de “grados de
verosimilitud”, como una variable, más que de la verdad,
reservando esta palabra, para lo definitivo y permanente,
condición que cae fuera de los alcances de la ciencia. Como
la historia corrobora de manera abundante.
Sin embargo, cuando se legisla se trata sobre el
futuro, y en un universo complejo las predicciones son
frágiles, como lo muestra la experiencia.
14 Antes que nada
Será entonces necesario resolver cómo aprovechar

el conocimiento científico, con sus diferentes grados de
madurez, bajo la regla general de que la decisión que se
tome, sea la más beneficiosa, o la menos dañina.
Ese es el momento en que la ciencia y la política
abordan la evaluación como emprendimiento común. La
ciencia abre sus alforjas y la política se hace cargo de las
condiciones de la carga que recibe.
El término evaluación describe un acto cognitivo
que ocurre en cada aspecto de la vida cotidiana: el
comprador en el supermercado que compara un producto
con otro, el padre con un hijo enfermo que evalúa si sus
síntomas requieren una visita al médico.
De manera similar, la evaluación respalda la
actividad en el lugar de trabajo, ya sea si un mecánico de
motores realiza una verificación de seguridad en un
automóvil, o si un agricultor está considerando si los niveles
de pasto son adecuados para que las existencias se
alimenten.
Además, la evaluación respalda los esfuerzos
intelectuales y profesionales en la ciencia, la medicina, la
ingeniería, la planificación y el derecho.
Tales ejemplos ilustran lo que Scriven (Scriven
2003) describe como la naturaleza 'transdisciplinaria' (p.
19) de la evaluación. Es decir, evaluación es una disciplina
(como la medición y la estadística) que sustenta otras
disciplinas.
Mirando hacia el futuro, dice ese autor: “Primero,
tengo esperanza y, en este caso, también espero que la
naturaleza esencial de la evaluación en sí, se cristalice en
Prolegómenos
nuestras mentes en un definido, y esencialmente universal,

reconocimiento de ella, como disciplina, una disciplina con
una definición clara, tema, estructura lógica y múltiples
campos de aplicación.
“En particular, creo que será reconocida como una
de ese grupo de élite de disciplinas que yo llamo
transdisciplinas (lógica, medición, estadística). Estas
disciplinas son notables, porque suministran herramientas
esenciales a otras disciplinas, al tiempo que conservan una
estructura autónoma y un esfuerzo de investigación propio.
(Scriven, 2003, p. 19)
En años más recientes, Scriven se ha referido a la
evaluación como la “disciplina alfa”, ente las
transdisciplinares, porque ofrece los medios por los cuales
se pueden examinar y evaluar otras disciplinas.
La evaluación política es un proceso, es un
encadenamiento que incluye varios resultados preliminares
e intermedios. Sin embargo, el sentido de los controles y
monitoreos realizados, surge de la última fase que, tal vez
de manera poco feliz, se llama evaluación “de impacto”, en
tono disruptivo y traumático. Se trata del significado de las
acciones desarrolladas, de su culminación, su efecto sobre
el bienestar y la satisfacción de la gente
Tal vez impacto pudo ser apropiado para los temas
medioambientales, pero en el campo social, el sentido que
tiene de disruptivo, traumático, la palabra impacto, dificulta
la interpretación de los efectos de las políticas sociales.
No obstante, hay que reconocer al nombre
cuestionado la virtud de llamar la atención sobre un punto
16 Antes que nada
importante. Ni más ni menos, que sobre el objetivo hacia el

cual van dirigidas, se “apuntan”, las acciones programadas.
Sin ninguna perdida de generalidad, podemos
reemplazar impacto por efectos o mejor aún “efectividad”
de las respectivas políticas, pero perderíamos la intensidad
de la metáfora.
El campo de evaluación social durante las últimas
décadas ha tenido un enorme desarrollo que ha llevado a la
producción de numeroso material técnico y metodológico.
Centros académicos y organizaciones han contribuido, y lo
siguen haciendo, con material y asistencia técnica personal
a distintos países.
La abundancia de técnicas resultante de esa intensa
actividad, ha puesto la atención sobre ese repertorio,
ocultando detrás de sus múltiples detalles, el perfil del
problema y las necesidades que este expresa.
Es como si los árboles, no dejaran ver el bosque.
Algo similar a lo que pasa en Estadística, donde los datos
deben “destilarse” para revelar la información que
contienen,
En consecuencia, hay dos factores que fueron
determinantes para mí. En primer lugar, este libro no está
destinado a exponer técnicas, sobre las que hay abundantes
y muy buenos manuales. Se trata de despertar el interés, de
mostrar la necesidad y el potencial de estos métodos, a
aquellos que tienen la capacidad de requerir su aplicación,
los que tienen poder para hacer y en consecuencia deben
interesarse por hacerlo bien, tomando las decisiones
correctas.
Prolegómenos
Pero la amplitud enciclopédica que requiere ese

enfoque de los problemas inhibe y desanima, y así, la
misma conciencia de su importancia contribuye a
apartarnos de ellos, so pena de caer en el diletantismo.
Siguiendo al mismo autor, es preciso evitar la
tentación de una “teoría del todo”, que “escamotea siempre
las dificultades del conocimiento, es decir, la resistencia
que lo real opone a la idea: ésta es siempre abstracta, pobre,
«ideológica», es siempre simplificante”.
Cuenta Borges: “En aquel Imperio, el Arte de la
Cartografía logró tal Perfección que el mapa de una sola
Provincia ocupaba toda una Ciudad, y el mapa del Imperio,
toda una Provincia. Con el tiempo, estos Mapas
Desmesurados no satisficieron y los Colegios de
Cartógrafos levantaron un Mapa del Imperio, que tenía el
tamaño del Imperio y coincidía puntualmente con él”
El filósofo español Gustavo Bueno, propone para
esa visión, capaz de mapear el conjunto de elementos y
recursos en juego, la mirada “convectiva”. Así como la
perspectiva nos da la visión desde cierto ángulo o punto de
vista, la convectiva es holística, sobrevuela el territorio y
refleja en su configuración, accidentes, vías de
comunicación y delimitaciones.
Siguiendo el ejemplo del Dr. Deming que, en su
esfuerzo para implantar el control de calidad, se apoyó en
desarrollar la convicción de la utilidad en los usuarios, para
generar una demanda auténtica, comprometida con los
resultados. Entre los intereses que hay que “revelar”, se
destacan muy especialmente, en materia de políticas
sociales… ¡los intereses políticos!
18 Antes que nada
¿Qué se necesita para conseguir ese resultado? Un

cambio en la argumentación política, que corra el eje de las
palabras y las personas, a las cosas. Una respuesta a la
lejana admonición de Ortega que nos intimó con su:
“¡Argentinos, a las cosas, a las cosas!”
La antigua y cansada dialéctica, estéril y pervertida,
tiene la oportunidad de renovarse entablando una alianza
fecunda con una ciencia renovada, amalgamándose en una
evaluación participativa.
Esa nueva retórica es muy poderosa, y ha
desarrollado una gama de recursos, que le permiten
conciliar experiencias y ponderar el grado de certeza de sus
argumentos. Es un instrumento mucho más robusto para
lidiar con la complejidad, utilizando el aporte de
laboratorios y gabinetes de investigación, a la par de las
formas participativas de consulta y valoración.
“Se trata de una nueva conciencia de la ignorancia,
de la incertidumbre y de la confusión. De lo que hemos
tomado conciencia, no es de la ignorancia humana en
general, sino de la ignorancia agazapada, disimulada, cuasi
nuclear, en el corazón de nuestro conocimiento reputado
como el más cierto, el conocimiento científico”.
“Ahora ya sabemos que este conocimiento es mal
conocido, mal conocedor, dividido, ignorante tanto de su
propio desconocido como de su conocido”. (Morin).
Estamos presenciando un cambio de paradigmas en
el conocimiento, pero la política también debe cambiar,
para beneficiarse de ese conocimiento.
Prolegómenos
Y ambas interactúan con la información, que

también se transforma, y juntas configuran la triple frontera
que “informa” el campo definido por los tres ejes.
Informar en el doble sentido, proporcionando, por
un lado, lecturas de sus condiciones y, por otro, otorgando
forma, revelando desde la complejidad, aspectos que
emergen como resultado de la observación metódica.
El esfuerzo está dirigido a destacar la importancia
que tienen para la salud de la república y de la democracia,
no solo la existencia de abundantes datos, relevantes,
oportunos, confiables y accesibles, sino la animación de una
cultura respetuosa e interesada en los datos (Delli Carpini
2005)(Cristina Hamilton and Masses Ferrer 2013), en una
actitud propicia para la práctica de la evaluación.
He puesto mucha atención para dejar algunos
indicios sobre cómo seguir. Creo no exagerar cuando
destaco un instrumento que, por su sencillez y falta de
requerimientos para su uso, puede constituir la clave para
que este proceso se active y desarrolle de manera
consistente y rápida. Son las listas de control o verificación,
(“Checklist”)
Muchos utilizamos habitualmente, las listas, para
control o recordatorio. Con frecuencia, se da como ejemplo
la “lista de la lavandería”
Esas “checklist” son las herramientas que pueden
ayudar a mantener el rumbo y dirigirse ordenadamente al
objetivo, evitando omisiones, en las cuales es fácil caer, por
la reconocida complejidad de la realidad.
Los otros dos elementos claves para ordenar el
pensamiento, son los pasos, las etapas básicas de una
20 Antes que nada
evaluación y los estándares, los criterios de bondad de la

evaluación. Estos dos elementos son los ejes sobre los
cuales se estructuran las listas que se elaboren.
Creo que, con el recurso de las listas, el orden de los
pasos y los estándares de valoración, se cuenta con las
herramientas para incorporar la evaluación de impacto en la
planificación y gestión y se facilita el diálogo entre los
especialistas que operan las técnicas, los usuarios
responsables de la aplicación de los resultados y de la toma
de decisiones y los ciudadanos participantes y protagonistas
de la conversación esencial que propicia una convivencia
fraternal igualitaria y libre.
Prolegómenos
II. Sobre la organización del libro

En los Capítulos siguientes se expone un asunto
altamente complejo, el cual habitualmente se desarrolla en
forma parcial dentro del campo de diversos especialistas.
Esa fragmentación hace perder la visión del
conjunto, por lo cual mi principal objetivo fue exponer un
asunto altamente complejo, en el que cada una de sus partes
constituye un territorio de estudio especializado, y
bosquejar un croquis que permita recuperar una visión de
conjunto.
Ese es el desafío de la complejidad, que no se deja
simplificar y convierte la intención de describir sus partes y
relaciones, en una tarea amenazada por la tentación de
expresar el “todo” o, por lo contrario, caer en un resumen
inexpresivo, donde impresione más lo omitido que lo
incluido.
Morin plantea esta dificultad al comienzo del primer
tomo de su obra, cuando dice “la amplitud enciclopédica, y
la radicalidad abismal de estos problemas inhiben y
desaniman, y así, la misma consciencia de su importancia
contribuye a apartarnos de ellos”. Frente a tales palabras
solo puedo pedir disculpas por mi atrevimiento y desear que
al menos sirva para que vengan otros, mejor equipados que
yo, y reconozcan que “que los problemas cuya urgencia nos
ata a la actualidad, exigen que nos despeguemos de ella para
considerarlos en su fondo”.
Desde un punto de vista práctico, la solución que
adopté, proviene de la idea que encarnan las “listas de
control” (checklists), según las define Scriven.
22 Sobre la organización del libro
Se trata de exponer en forma sinóptica, demarcando

sus contenidos y principales conceptos. Esto delega en el
lector la tarea de apropiarse de esa trama que básicamente
oficia como una guia y ayuda memoria, especialmente para
quienes tengan la función de seguir atentos a la visión de
conjunto que se ofrece aquí. Son herramientas para
dirigentes, políticos y evaluadores.
El trabajo está dirigido a plantear las características
de la complejidad y llamar la atención sobre el especial
interés que tienen las “humildes listas” como herramientas
para mantener el control y el orden en el trabajo de
evaluación.
Prolegómenos
Se refiere a las razones que, a mi entender, justifican
este libro y describe la estructura del mismo
Comentarios contextuales
Una primera idea de evaluación y de impacto, en
una realidad caótica.
La triple frontera
Una expresión “cartográfica” de las relaciones
complejas entre política, ciencia e información.
Evaluación
Los ejes que estructuran la evaluación, en un
sistema de valores y en el tiempo
La piedra angular
Prolegómenos
La capacidad de la evaluación de atravesar todos los

campos de acción y de pensamiento, así como de analizarse
a sí misma con sus métodos, es la que la convierte en “alfa”
entre las ciencias.
El método es el camino
Se distingue entre “enfoque lógico”, que admite
bucles y retroalimentaciones entre etapas y componentes de
la evaluación, de la forma matricial con que se lo
representa.
Instrumental
Se describen la lógica, metodología y tipos de listas
de control, que deben guiar el proceso de evaluación.
A modo de balance
Un resumen de ideas y perspectivas.
24 Referencias
III. Referencias
Alberdi, Juan Bautista, Francisco Cruz. 1915. “Bases y

Puntos de Partida para la Organización Política de
la República Argentina”. 2a. Edición. Buenos
Aires, "La Cultura argentina”.
Bachelard, Gastón. 2000. “La Formación del Espíritu
Científico”.
Bamberger, Michael, Jim Rugh, and Linda Mabry. 2011.
“Condensed Summary Overview,” 39.
Bond, Alan, and Jenny Pope. 2012. “The State of the Art of
Impact Assessment in 2012.” Impact Assessment
and Project Appraisal 30 (1): 1–4.
Echeverría, Rafael. 2005. Ontología del Lenguaje. 6*.
Ensayo. Santiago de Chile: J.C. Sáez.
Fukuyama, Francis. 1997. “Social Capital.” The Tanner
Lectures on Human Values, 377–484.
Hessel, Stephan. 2010. Indignez Vous! Indigene Editions
Ingenieros, José. 1926. El Hombre Mediocre. 6 ed. Buenos
Aires: Talleres Gráficos Argentinos.
Ortega y Gasset, José. “Meditación del Pueblo Joven y
otros.” n.d.
Snow, Charles Percy. 1959. “The Two Cultures and the
Scientific Revolution.”. University Press.
Tetlock, Philip E. 2005. Expert Political Judgement.
Prolegómenos
Waisman, Carlos H. 1987. Reversal of Development in

Argentina: Postwar Counterrevolutionary Policies
and Their Structural Consequences. Princeton,
N.J: Princeton University Press.
26 Referencias
28 Primera aproximación
I. Primera aproximación
a) ¿Qué es evaluación?
Las ideas de causa y consecuencia son lo primero
que se presenta en nuestra mente al pensar en evaluación.
La evaluación se muestra no solo como un producto
de nuestra razón, sino de nuestra conciencia misma. Resulta
claro que pertenece al campo de la experiencia, y emerge
especialmente de nuestros intercambios con las
circunstancias de la vida o del pensamiento.
Pero aún se puede ir más atrás y considerar si las
reacciones reflejas no merecen también ser reconocidas
como ancestros de la evaluación.
De modo tal que ya podemos resumir diciendo que
evaluar es sopesar, estimar los resultados de alguna acción.
Y ahí descubrimos algo curioso, y muy importante, que
caracteriza a la evaluación, que se refiere al momento de
hacerla. Uno estaría tentado a pensar que naturalmente las
consecuencias vienen después de las causas. O sea que
primero se debe actuar y luego evaluar.
Sin embargo, eso tendría efectos catastróficos.
Pensemos por un momento, en alguien debe dar un paso que
supone saltar desde cierta altura. ¿Acaso sería prudente que
lo hiciera sin “evaluar” los riesgos, para su integridad física,
de hacerlo? Es evidente que, si puede elegir, hará sus
cálculos, recurrirá a su experiencia como saltador y seguirá
o pegará la vuelta.
Pero hay algo más que conviene observar, siguiendo

con el ejemplo. Supongamos que nuestro practicante del
parkour, considera que puede dar ese salto. ¡Y salta!
Naturalmente deseamos que resulte bien y prosiga
su recorrido. Pero tal vez, la altura era mayor que la
estimada, el terreno menos receptivo para la caída, o algo
de su condición física que él desconocía, y se lastima,
aunque sea levemente. No puede seguir.
Sin embargo, la evaluación no ha terminado su
trabajo. Ahora, frente a los resultados, analizara como
ocurrieron las cosas, y especialmente, cual es la
contribución de los diferentes factores: altura, piso,
condición física. Según esa evaluación ex post, podrá sacar
conclusiones que influyan en su preparación, y mejorar su
resistencia, agilidad o reflejos.
Así encontramos que la evaluación es parte del
proceso de aprendizaje. Y por lo tanto es continua y
acumulativa. Usando las expresiones acuñadas por Scriven,
vemos que la evaluación durante la carrera es formativa,
los conocimientos se afianzan o corrigen y al final, en la
llegada, es sumativa, porque registra el balance final, y
establece un nuevo estándar o nivel de conocimiento.
Scriven observó que el tardío desarrollo de la
evaluación se debió especialmente al dominio, durante el
siglo veinte, de la doctrina de la ciencia libre de valores,
que niega la posibilidad de que las afirmaciones evaluativas
tengan un lugar legítimo en la ciencia. Por supuesto, esta
posición implicaba que no podía haber una ciencia de la
evaluación.
30 Primera aproximación
En consecuencia, Scriven afirma que una disciplina

de evaluación es completamente posible y estrictamente
análoga a las disciplinas de estadística, medición y lógica.
A tales disciplinas las llama “transdisciplinas" por
dos razones. El primero es que sirven a muchas otras
disciplinas, y no solo académicas. La segunda razón, para
llamarlas transdisciplinas, se refiere a la parte de
"disciplina" del término.
Cada una de ellas tiene un núcleo componente - un
núcleo académico - que se ocupa de las cuestiones más
generales de su organización, teorías o clasificaciones, su
metodología, naturaleza, conceptos, límites, relaciones y
lógica.
b) Evaluación política
El desarrollo de las ideas anteriores y su aplicación
al campo de las políticas sociales se conoce con el nombre
de “evaluación de impacto”.
Es interesante destacar que la palabra impacto,
además de expresar el eco de la aplicación de la evaluación
a los problemas ambientales, revela el interés que esta
modalidad de evaluación tiene en los efectos finales de los
programas y acciones políticas.
Se entiende por efectos finales aquellos que

influyen sobre las capacidades, el bienestar o la satisfacción
de la gente.
Amartya Sen ha señalado con claridad que el
objetivo final de las políticas sociales, se encuentra en la
modificación de las capacidades que tienen las personas
para desarrollar su vida. Esa mejora de las capacidades no
es otra cosa que un aumento en el margen de libertad que
tienen para elegir y dirigir su vida.
En consecuencia, la “evaluación de impacto” se
refiere a los efectos de las políticas sobre la vida de la gente.
En sentido estricto deberíamos llamarla directamente
“evaluación política”.
32 La medición del impacto.
II. La medición del impacto.
a) Concepto
Como se mencionó antes, el impacto es la
consecuencia, la verificación práctica, de la efectividad de
las políticas desarrolladas.
Todo ese proceso gira en torno a la medición. La
comparación entre el estado inicial y el estado final de la
población objetivo, requiere establecer en cuánto ha
cambiado la situación entre un momento y el otro.
Es oportuno recordar que se puede medir con
distintas escalas, que van desde la que solo reconoce
diferencias cualitativas (nominal), hasta la escala que
permite realizar todas las operaciones aritméticas con sus
valores, pasando por las que registran el orden, ya sea
indicando solo precedencia o incluyendo la distancia que
separa dos elementos ordenados, según la regla de
mayor/menor.
El hecho mismo de medir no es una cuestión simple
porque siempre se mide algo con respecto a un referente, y
se necesita un sistema, debidamente justificado, por una
estructura teórica que relacione los elementos en juego: el
instrumento, la escala, el observador y la precisión.
b) Oportunidad
Cuando se decide alguna acción, sea sobre las
actividades corrientes o se trate de algún proyecto nuevo, se
desencadena un proceso que tiene por finalidad producir
algún cambio, o sea impulsar el paso de una situación a otra,
que se supone preferible.
En el desarrollo de esos procesos, los sistemas de

control tienen una función claramente definida, sobre los
aspectos financieros, de desempeño y de resultados,
orientados a calificar la corrección de los procedimientos
empleados y la adecuación de los mismos a los fines
establecidos. Es decir, si se hacen las cosas que se
decidieron y también, si se hacen bien, o sea
“correctamente”.
Dejando de lado algún inevitable solapamiento
entre auditorías y evaluaciones es conveniente recordar que
estas últimas, por su parte, acompañan el ciclo de desarrollo
de programas, proyectos y operaciones, en un arco que
abarca desde las conjeturas preliminares utilizadas para
decidir llevar a cabo la actividad (evaluación ex ante),
siguiendo con el monitoreo del proceso, productos y
resultados, para finalmente, efectuar la medición del
“impacto”, de los efectos “finales” producidos (evaluación
ex post).
Notar que esta última etapa tiene un alcance que
excede el control, tanto interno como externo, teniendo en
cuenta que entre los efectos están los inesperados, ya sean
positivos o indeseables.
En el mismo sentido, hay que señalar algo más, que
surge del propósito de las políticas, programas o proyectos.
Es ni más ni menos, que la voluntad de cambiar el estado
de cosas observado.
Por eso no basta el interés por las acciones llevadas
a cabo, con los recursos empleados o los productos
obtenidos, y tampoco termina con los resultados producidos
de acuerdo a los planes y procesos llevados a cabo.
c) Necesidad
Es necesario prolongar la mirada y ponderar el
“impacto final”, los efectos o consecuencias logrados.
¿Qué se entiende por “impacto social”? Todas las
consecuencias sociales y culturales para poblaciones
humanas de cualquier acción, pública o privada, que altera
la forma en que la gente vive, trabaja, se relaciona, se
organiza para llenar sus necesidades y generalmente
arreglárselas como miembro de la sociedad. Las
consecuencias culturales involucran cambios a las normas,
valores y creencias de individuos que guían y racionalizan
su conocimiento de sí mismos y de su sociedad.
Dicho de otra manera: Estudiar los efectos de largo
plazo positivos y negativos, primarios y secundarios,
producidos directa o indirectamente por una intervención
para el desarrollo, intencionalmente o no.
Se trata, ni más ni menos que de registrar los
cambios en “la forma en que la gente vive, trabaja, se
relaciona, se organiza para llenar sus necesidades y
generalmente arreglárselas como miembro de la sociedad”.
Un propósito tan ambicioso plantea exigencias
metodológicas fuertes, para que sus resultados sean
convincentes y, además, útiles.
En primer lugar, se presenta el problema de
ponderar la contribución de las acciones desarrolladas a los
resultados observados. En ese aspecto hay que tener en
cuenta que no bastan las sospechas o los razonamientos
para responder a la pregunta sobre la eficacia de los medios
empleados, por sobre los cambios “independientes”,
resultantes de la evolución espontánea del sistema social.
Las dificultades que plantea la evaluación de

impacto, en parte se originan en las exigencias predictivas
que se le hacen a la teoría.
Teniendo en cuenta la complejidad de los procesos
incluidos, el razonamiento en cuanto a las relaciones de
causalidad no es de “atribución” de los resultados a una o
varias causas. Si en cambio se toma en cuenta la
“contribución” que realizan para que los cambios tengan
lugar.
Así se mide la contribución de los factores y no se
plantea una determinada atribución, en un sentido seguro e
invariable. La incertidumbre es una compañía constante de
todos los procesos de evaluación.
En general el método científico pone a prueba la
duda, mediante la organización de un experimento, en el
que se lleva a cabo la comparación controlada de los efectos
observados en un grupo de unidades sometidas a un
tratamiento o intervención, con un grupo de control que no
recibe ningún tratamiento.
Ese es el terreno de los métodos cuantitativos,
orientados precisamente a la medición en sus distintos
aspectos. El enfoque cuantitativo tiene como expresión
superior el diseño experimental.
Precisamente, si fuera posible, un experimento nos
daría la respuesta mediante la comparación entre la
situación inicial prolongada en el tiempo, sin la influencia
de las acciones diseñadas para cambiarla, y la situación
final resultante del desarrollo de las acciones decididas para
provocar los cambios.
d) Restricciones
En el terreno de las políticas sociales, se presentan
límites a la experimentación, especialmente éticos, que
impiden librar al azar la asignación de beneficios,
medicinas o becas.
Tampoco la participación voluntaria permite
superar la dificultad, porque no es equiparable a la selección
aleatoria, que es una condición exigida por la objetividad e
independencia experimental.
La dificultad mencionada en el proceso de medición
de los efectos, ha encontrado algunas soluciones, basadas
en la idea de modelos, que siguen un formato “cuasi
experimental”.
Además de la cuestión experimental, se debe tener
en cuenta que los cambios sociales de interés apuntan al
bienestar, a la satisfacción, que constituyen conceptos
complejos, no observables, y de los cuales sólo se pueden
obtener indicadores indirectos. (ver pág. 92, Modelos)
Antes de abandonar la cuestión cuantitativa, parece
oportuno mencionar la necesidad de contar con información
inicial, que permita establecer una “línea de base”. En ese
punto es notoria la conveniencia de que las estadísticas
publicas ajusten su programación a las necesidades de los
proyectos y programas, poniendo a disposición de los
mismos información confiable, relevante y oportuna,
obtenida mediante una conveniente organización de censos,
registros y encuestas muestrales, que complementen el
aprovechamiento intensivo de bases de datos, en un
ambiente de Big Data.
Sin ese aporte, se encarece y demora la evaluación

de impacto y el sistema estadístico desaprovecha una
oportunidad de integrarse al curso de la acción de gobierno.
Pero los resultados cuantitativos, ya sean
mediciones directas o estimaciones, son solo una parte del
proceso, porque deben ser interpretados, para darles
sentido.
La interpretación es un proceso cualitativo, que
adquiere gran importancia porque, como se dijo al
principio, los efectos pueden ser positivos o negativos,
previsibles o sorpresivos, y en consecuencia emerge la
cuestión de la síntesis necesaria.
e) Significado
Es el momento de detenerse en los sujetos de la
evaluación, los que interpretan los resultados. Tanto a nivel
cuantitativo como cualitativo, el impacto repercute en
distintos niveles: el de los beneficiarios directos, el de los
profesionales (médicos, maestros, etc.), el de los
funcionarios emisores (por ej. nacionales), el de los
funcionarios receptores (por ejemplo, municipales), otros
sectores afectados (positiva o negativamente), y el público
en general.
La búsqueda del sentido de la información reunida
debe tener en cuenta esa diversidad de miradas. En
consecuencia, es necesario elaborar un diseño, que
incorpore las dimensiones mencionadas y que al mismo
tiempo tenga flexibilidad para articularlas.
La alta complejidad de ese diseño, se pone de
manifiesto cuando se consideran los antecedentes
disponibles, referidos a la AUH. Como es de esperar, ante

la falta de un proceso de compulsa de intereses y opiniones,
se encuentran conclusiones contradictorias, por ejemplo, en
lo referente al “efecto empleo”, de la asignación, fruto de
interpretaciones divergentes no resueltas.
Precisamente por ese hecho se fortalece la
necesidad de que se desarrollen procedimientos de
evaluación de impacto integrales. En esa dirección es
muy importante que, como en otras materias de apreciación
económica, exista una medición oficial.
Pero para que esa medición sea legítima, deberá
estar acompañada por lo que se denominan procedimientos
de última generación en evaluación, organizándola sobre
una base participativa, colaborativa o colectiva, según se
nombre esa fase de desarrollo de los métodos.
Se trata que, en la conformación del juicio de valor,
se integren la diversidad de opiniones existentes. Esto
trae a la mesa de trabajo la necesidad de encontrar un
procedimiento que permita obtener alguna forma de
opinión común. Un método prometedor es Delphi, que se
desarrolla en tiempo real para consolidar opiniones,
inicialmente libres, pero socialmente vinculadas con otras.
El proceso de integración, no significa forzar la
prevalencia de una opinión unánime. Se trata de la
“maduración” de la diversidad mediante la
identificación clara de las diferencias subsistentes entre
las interpretaciones y la ponderación de cada una, según
criterios acordados.
Un informe que presente los resultados en esos
términos, será un insumo valioso para la toma de decisiones
políticas, nivel donde la distribución del poder, termina de

cerrar la diferencias que pulsean en la sociedad.
f) Bases del programa de trabajo
Lo dicho antes, lleva a la conclusión de que las
evaluaciones de impacto cobran sentido, si se interpela la
realidad en el contexto de una política consistente con los
hechos, que mantiene una actitud alerta sobre las
necesidades y los medios disponibles, tomando decisiones
en función de esos datos. En síntesis "una política basada
en la evidencia".
"...la evidencia científica debe demostrar la brecha
entre el crecimiento económico y las condiciones de
bienestar de los grupos sociales. Y debe convertirse en una
herramienta fundamental para promover un estado
científico donde las decisiones estén fundamentadas en
evidencia y cuyo fin sea proveer bienestar"
La AUH es un importante programa social
establecido en 2009, que alcanza a más de 3 millones y
medio de beneficiarios. Desde su creación ha sido objeto
de estudio, y ha recibido el interés de distinguidos
investigadores, en lo referente al impacto que el mismo ha
producido en las condiciones de vida de los beneficiarios.
La revisión de esos antecedentes permite apreciar
las exigencias metodológicas que plantean los intentos de
identificar los impactos de un programa social.
La identificación y seguimiento de los nexos
causales es un problema para cuya solución, como se
describió antes, el método científico ha desarrollado los
procedimientos experimentales. (ver pág. 32 y sig.)
Por otro lado, una evaluación de impacto debe estar

precedida de las correspondientes s. Es necesario la
verificación de que efectivamente las acciones
correspondientes han sido efectivamente desarrolladas
(evaluaciones de gestión y de resultado) y que los efectos
no dependen del grado de cumplimiento del proceso, sino
de las relaciones de causalidad estimadas.
g) Resumen
La evaluación del impacto estudia los efectos de
las acciones que se han desarrollado y el grado de
cumplimiento de los objetivos, la efectividad alcanzada,
entendiendo como objetivos los cambios en las
condiciones de vida y en el grado de satisfacción que los
mismos producen en los beneficiarios de los proyectos o
programas.
Las evaluaciones de impacto miden los cambios
atribuibles a una determinada intervención y también los
efectos no buscados, inesperados, producidos por ella, tanto
positivos como negativos.
Es importante también que se observen otros
cambios relacionados, que no se deben a la intervención y
cuyo conocimiento puede ser útil para la comprensión de
los hechos.
En síntesis, la evaluación de desempeño compara
dos escenarios. El escenario ex ante que inspiró la
necesidad de la intervención y el escenario ex post que
muestra los cambios ocurridos. Entre esos cambios se trata
de identificar lo que son consecuencia de las acciones
intencionales correspondientes al programa de la

intervención.
Las evaluaciones de impacto indagan el tema
sumamente arduo de las relaciones de causa y efecto.
"Es difícil hacer inferencias causales a partir de
datos observacionales, Especialmente cuando la
investigación se centra en procesos políticos complejos.
Detrás de la aparente precisión de los hallazgos
cuantitativos se encuentran muchos problemas potenciales
de equivalencia de casos, conceptualización y medición,
suposiciones sobre los datos y opciones sobre la
especificación del modelo"
El instrumento favorito de la verificación de una
teoría es la experimentación y los test estadísticos
relacionados, pero su estricto cumplimiento es imposible en
el campo social.
En consecuencias se han desarrollado las llamadas
formas "cuasi experimentales". Estas aproximaciones
recurren a un grupo de comparación contra factual, para
controlar factores distintos a la intervención que podrían
ofrecer una explicación alternativa del cambio observado.
Es necesario destacar que a pesar de los esfuerzos
que se hagan, los datos no llenan las estrictas exigencias del
modelo experimental y, en consecuencia, los resultados
carecen de la fuerza demostrativa que podrían aportar los
test. En consecuencia, los vínculos identificados carecerán
de los atributos de necesidad y suficiencia, que habilitan la
validez interna de las explicaciones de los hechos.
La tabla siguiente presenta los errores Tipo I y II,
que pueden conducir a conclusiones equivocadas:
La Teoría es:
TABLA DE TIPOS DE
ERRORES
Verdadera Falsa
Error Tipo I Inferencia

correcta
Rechazar
(Falso (Verdadero
Positivo) positivo)
Decisión
Sobre Teoría
Inferencia (Error Tipo II
Correcta
No rechazar
(Negativo (Falso
verdadero) negativo)
Pero además de los Errores Tipo I y II, se pueden

producir otros que a veces no se deben a fallas de diseño,
sino que constituyen formas intencionales de manipulación,
por ejemplo:
ERROR TIPO III: Respuesta incorrecta a una
pregunta
ERROR TIPO IV: Pregunta incorrectamente
formulada
En estos casos es fácil ver la relación con algunas
falacias retóricas.
Los métodos cualitativos, por su parte, se detienen
más en las complejidades de los casos particulares. Por
ejemplo, el relevamiento del "cambio más significativo",
puede ser una fuente muy interesante de comprensión de las
consecuencias, desde la mirada de los beneficiarios, de los
proveedores o de los promotores.
En una escena del manual de Davies y Dart, se
exponen dos miradas diversas de una situación:
Un técnico dice: -–Tenemos un indicador que

mide...–
Y una mujer, sosteniendo un niño pequeño, le
responde: – Tengo una historia para contarle
El caso ilustra la complejidad de la realidad y de las
miradas personales, que desafía la falsa antinomia
metodológica, que durante años enfrentó a los
cuantitativistas con los cualitativistas.
La evaluación de impacto social estudia los cambios
producidos en los distintos ámbitos de la vida de las
personas, su cultura, derechos, temores y aspiraciones,
entorno y sistema político, en términos de la capacidad que
tienen para plantearse diversas alternativas de elección.
Frente a las dificultades que han sido bosquejadas,
se impone un abordaje combinado, una estrategia mixta de
análisis y recolección de datos, que busque sacar provecho
de las fortalezas de cada enfoque metodológico y mediante
una adecuada integración, de compensar sus debilidades.
El Gráfico 1 presenta ordenados los distintos
momentos y contenidos de las diferentes evaluaciones.
Gráfico 1
La efectividad se refiere a la relación entre los

resultados de una acción gubernamental sobre la población
objetivo (los efectos observados), y los objetivos deseados
de dicha acción (impacto esperado), con una perspectiva de
mediano y largo plazo. Se busca verificar la ocurrencia de
cambios en la población objetivo que podrían ser
razonablemente atribuidos a las acciones gubernamentales,
aislada de los posibles efectos causados por factores
externos.
El documento de la OLACEFS enumera entre los
"Retos y desafíos para la implementación de la Agenda
2030" los factores que condicionaron los ODM y destaca la
falta de información, la no medición de la satisfacción de
los beneficiarios y la falta de participación.
La Declaración de Cusco reconoce que "las EFS son
actores principales para la contribución significativa en la
implementación de la Agenda 2030 mediante el
fortalecimiento de la rendición de cuentas, el incremento de

la transparencia y la mejora en el desempeño de los
gobiernos, priorizando la implementación, evaluación y
perfeccionamiento de los sistemas de control interno y la
auditoría interna, además de participar en la construcción
de mecanismos de monitoreo nacionales e internacionales
respecto al logro de los objetivos del desarrollo sostenible”.
En ese contexto actual de desarrollo de los procesos
de auditoria y evaluación, la evaluación de impacto
adquiere un interés especial.
1. Definición de la evaluación de impacto
Estudia si las acciones ejecutadas y los resultados
alcanzados, han contribuido a cambiar la vida de las
personas y éstas así lo reconocen, distinguiendo cuáles
cambios son considerados positivos o negativos, según
los criterios de las diferentes partes interesadas y comunica
lo aprendido a la sociedad.
2. Interrogantes claves.
Algunos interrogantes claves que debe responder
la evaluación de impacto y que articulan la lógica de la
investigación, son los siguientes.
Esos interrogantes se deberán operacionalizar en el
cuestionario, mediante la identificación de los aspectos más
relevantes o intrigantes, en cada situación y recibirán
respuesta en distintas fases y pasos metodológicos de la
evaluación.
1. Sobre la intervención:
 ¿Para qué realizar una evaluación de impacto?
 ¿Funcionó? ¿Produjo los impactos deseados, a

corto, mediano y largo plazo?
 ¿Para quién, de qué maneras y en qué
circunstancias funcionó?
 ¿Qué impactos no buscados, positivos y
negativos, produjo?
 En cuanto a la naturaleza de los impactos y su
distribución
 ¿Es probable que los impactos sean
sustentables?
 ¿Estos impactos alcanzaron a todos los
beneficiarios deseados?
2. Sobre la influencia de otros factores en los impactos
 ¿Cómo funcionó en combinación con otras
intervenciones, programas o servicios para
lograr los resultados?
 ¿Qué ayudó o dificultó el logro de estos
impactos?
3. En cuanto al funcionamiento de los procesos
 ¿Cómo contribuyó a los impactos deseados?
 ¿Cuáles fueron las características particulares
de la intervención que marcaron la diferencia?
 ¿Qué variaciones hubo en la implementación?
 ¿Cuál ha sido la calidad de la implementación
en diferentes sitios?
 ¿Hasta qué punto las variaciones de la
implementación explican las diferencias en el
impacto?
4. Relación de los impactos deseados con las necesidades
 ¿En qué medida los impactos coinciden con las

necesidades de los beneficiarios deseados?
5. Quién debe conducir la evaluación de impacto
 Se debe constituir un equipo evaluador,
interdisciplinario y con enfoque
participativo, que tenga la capacidad de
involucrar a las partes interesadas en el
programa, agregando así rigor y credibilidad,
con mejor acceso a los datos y una
interpretación más adecuada de los resultados
obtenidos.
 Se suele reconocer que a menudo se producen
evaluaciones de mejor calidad, si se establece
un equipo de evaluadores con perspectivas
internas y externas y es particularmente útil
incluir en el equipo expertos que conozcan el
contexto, la historia y las intervenciones
comparativas de otras agencias.
Los debates con mayor trascendencia pública en el
caso de la AUH han sido:
 Desincentivo al trabajo
 Incentivo a la informalidad
 Condicionalidades o Corresponsabilidades
 Desajustes en la oferta de Salud y Educación
 Refuerzo de los Roles de Género
 Incentivo a la fecundidad
 Focalización o Universalidad
h) Conclusiones
Resulta bastante claro, a priori, que no es simple la
determinación que se pretende llevar a cabo, teniendo en
cuenta la alta complejidad del sistema social
Las interacciones, perspectivas y la inevitable
limitación en tiempo y capacidad de la observación
condicionan la articulación entre planes políticos, estrategia
de los procesos, y el nivel operativo de las acciones, en el
camino de alcanzar las consecuencias deseadas.
1. Complejidad
El alcance del impacto producido por una
intervención es incierto y para determinarlo
aproximadamente deben tenerse en cuenta, las
"dimensiones de la complejidad", que determinan la
necesidad de establecer límites, que permitan una
definición operacional, apta para obtener resultados útiles y
oportunos.
Los factores sobre los cuales hay operar son,
básicamente, las interrelaciones, las perspectivas y los
límites, que expresan la complejidad de los procesos
sociales.
El concepto de límites y su clara explicitación son
el marco dentro del cual tendrán sentido las interpretaciones
de los resultados de la evaluación, por su directa influencia
sobre los métodos de observación y análisis del proyecto.
2. Capacidades y agencia
La pregunta que organiza el análisis descripto antes,
referido a la efectividad de las acciones sobre diversos
aspectos de la vida de las personas, es: ¿Cuál es el núcleo,

el centro, donde impactan las consecuencias mencionadas?
Amartya Sen propone un enfoque humanista, que
equilibra el ser, el tener y el hacer. Sus conceptos de
capacidades y funcionamientos son claros y comprensibles,
aunque de compleja medición. Disponer de un marco
conceptual constituye sin duda una gran ventaja, para
abordar las dificultades que provoca la citada complejidad.
El concepto principal es la “agencia”, es decir la
habilidad de una persona para actuar de acuerdo a lo que
valora y tiene razones para valorar. Es el tamaño de la
libertad, o sea “la oportunidad real que tenemos de lograr lo
que queremos”.
3. Evaluadores evaluando
El enfoque sistémico y las limitaciones inevitables
de la observación, no permiten la aplicación estricta del
modelo estándar de verificación (experimento-test).
En esas condiciones, ¿cómo se pueden contrastar las
conclusiones obtenidas en un estudio? Adoptando un
procedimiento que, conservando en lo posible el rigor del
"modelo científico cerrado" en la producción y análisis de
la evidencia, encuentre sustento adicional en una
comunidad de "evaluadores ampliada".
Se pone en práctica el nuevo paradigma científico
que, en los sistemas complejos, abiertos, pone en lugar de
la explicación la comprensión. Esa nueva actitud, como se
mencionó antes (ver pág.2), suele identificarse como
Modo2 de la ciencia. (Ver pág. 92)
Lo que se comprueba mediante la evaluación, es el
éxito de la teoría del programa adoptada, que se configura
con una teoría del cambio, entendida como las conjeturas

justificativas de la política en consideración, y la teoría de
la acción, como los procesos y procedimientos a través de
los cuales se esperaba lograr los cambios deseados. En
particular sobre las capacidades, materiales y humanas, de
los destinatarios.
En resumen, el nuevo paradigma ofrece otra forma
de medir el éxito de un programa. Para ello convoca a los
que están relacionados con el mismo y se registra su
satisfacción, o no, con los resultados.
Los métodos aplicados deben permitir interpretar el
comportamiento del proceso y, sobre esa base, establecer la
adecuación de la "Teoría del cambio". aplicada en la
intervención. Es decir, comprobar las hipótesis de trabajo
sobre las relaciones de causa a efecto. Relaciones que están
sujetas a incertidumbre e indeterminación.
O sea, habrá que responder en primer lugar si las
actividades desarrolladas, con la finalidad de activar los
procesos causa/efecto, conjeturados en la teoría del cambio,
han sido efectivos y se han producido los efectos esperados.
Debe tenerse siempre presente la complejidad de los
sistemas sociales, en los que se observan interrelaciones,
bucles y retroalimentaciones.
Esto plantea la necesidad de tomar en cuenta el
"estado del arte”, en el campo de la metodología de las
ciencias sociales, utilizando, como ya se dijo,
combinaciones de métodos cuantitativos y cualitativos,
cuya triangulación fortalezca la consistencia argumental de
las conclusiones.
La valoración de los resultados significa

habitualmente el proceso continuado de control e
información sobre los logros de los programas, sobre todo
en su consecución de las metas preestablecidas.
Esta valoración puede hacer referencia al tipo o
nivel de las actividades del programa que se llevan a cabo
(proceso), los servicios directos realizados por un programa
(productos), y/o los resultados de estos. Monitorear que un
programa haya logrado sus objetivos o requisitos,
expresados según estándares cuantificables puede servir
como sistema de alerta temprana para la dirección, y como
vehículo de mejora de la rendición de cuentas ante el
público. (ISSAI 3000)
El grafico siguiente ilustra la secuencia de
instancias en un ciclo completo de auditoria y evaluación.
Gráfico 3
III. Cambio, incertidumbre y riesgo

Una visión de la evaluación de impacto, según el
estado del arte, muestra un proceso dinámico, que se
destaca por su perfil participativo y un enfoque dirigido
hacia la mejora continua de la gestión.
Establecer con claridad las relaciones entre las
auditorias de control y las evaluaciones de impacto (EI), es
un punto crítico que destaca la cooperación activa que se
requiere, para obtener una descripción relevante, precisa y
oportuna de las características y condiciones de la ejecución
del programa o proyecto considerado.
Si no se despliega una red discursiva que explique,
al mismo tiempo que se perfila una actitud que respalde
en los hechos los argumentos en favor de las ventajas
mutuas de la cooperación, los "efectos no deseados" pueden
afectar el desarrollo de la evaluación misma o influir en el
crédito final de sus conclusiones. Son formas diversas de la
"resistencia al cambio".
a) Crisis de valores
"El hombre de Estado impone sus principios,
mitigados por la experiencia, vuelve a la sociedad a su
quicio natural, restablece la continuidad cultural e histórica
y deja sucesión en el tiempo"(Palacio 1955)
"Esta idea de que, para actuar en política, y sobre
todo en funciones dirigentes, hay que saber algo, acaso
54 Cambio, incertidumbre y riesgo
choque con cierta ilusión democrática según la cual

cualquiera puede ser apto para cualquier puesto porque el
saber político es saber infuso: ilusión que, como otros
errores del mismo tipo, suelen los pueblos pagar con
sangre"
Veamos. Un hombre de estado, un dirigente
político, un miembro de la élite de la sociedad, debe
encarnar los sueños y las esperanzas colectivas. "No puede
concebirse, en cambio, y no se ha visto jamás en la historia,
el hombre de Estado que no sea, a la vez que un gran
temperamento natural, un producto de cultura"
La cultura de una sociedad, es una realidad proteica.
Tiene luces y sombras. Así como el estadista se nutre en las
dimensiones positivas de la cultura del país, para
encolumnar la marcha de la sociedad con ellas como
soporte, también están los manipuladores cínicos, que
abrevan en los rincones oscuros de los miedos, las fobias,
los rencores, los celos y envidias, para provocar la
alteración de la convivencia y estimular falsos
enfrentamientos, en un juego de "todos pierden"
b) Entre lo inmediato y el horizonte
Durante los últimos 80 años, nos hemos
concentrado en lo inmediato, en las urgencias coyunturales,
perdiendo de vista la visión de largo plazo, la única que
sella el compromiso entre las generaciones sucesivas.
Con el transcurso del tiempo, las generaciones han
resultado heridas por los cambios sociales experimentados:
la perdida de la libertad con la dictadura, la pérdida del
trabajo aprisionados por la pinza que forman la explotación
y la exclusión, la marginalidad y la pérdida de la seguridad

física, la falta de vivienda y el delito, la desarticulación de
la educación, como medio de integración y acceso, la
drogadicción y el narcotráfico.
¿Qué mundo hemos construido, donde las nuevas
generaciones viven una situación más difícil que la de sus
padres?
Esto se refleja en el divorcio producido entre lo que
se dice de la sociedad y lo que esa sociedad es realmente
para quienes se incorporan a ella.
Los cambios no son lineales ni uniformes: la no
linealidad del cambio social implica que las situaciones
vividas por las generaciones, lo recibido puede alejarse
bastante de las expectativas y de las promesas que la
sociedad no pudo mantener. Esta falta de coincidencia entre
los valores, las creencias y la realidad, os hechos, es una
consecuencia de las fluctuaciones de la historia social,
acentuada por una creciente incertidumbre, en todos los
órdenes de la vida.
c) Al principio está el problema
 ¿Qué nos preocupa, qué nos aflige más a los argentinos?
¿Pobreza, inseguridad, desocupación, educación, salud,
vivienda...?
 La atención de esos problemas es, en gran medida, de la
esfera pública, y por consiguiente es objeto interés
político.
La pobreza recibe un reconocimiento unánime
como el mayor lastre que sufre el país. Aunque las
interpretaciones trazan un gran arco, en el que tiene cabida
hasta la de quienes consideran un mérito espiritual la

"opción por los pobres", desentendiéndose del sentido
evangélico de la pobreza y configurándola con las
indeseables miserias materiales que deshumanizan y
aprisionan.
Muchos también reclaman por la decadencia
educativa, por la inseguridad que mata, por la salud
inequitativamente atendida. Los medios recogen una
impresionante casuística, encarnada en una humanidad
sufriente que se empeñan en someter a interrogatorios,
banales y escarnecedores.
Los protagonistas políticos en la esfera pública, no
concuerdan de qué están hablando ni se esfuerzan por dar
una medida a sus promesas. Ni en la prensa ni en el discurso
hay referencias cuantitativas sobre niveles ni ritmos. La
falta de medida lleva fácilmente a la desmesura, a la
exageración.
Mejorar es una calificación literaria, que no se
refleja en cuanto por año, o a qué nivel se espera llegar en
4 años. Tampoco está claro cuál es el nivel actual. O peor
todavía, hay una diversidad de valores, que solamente
confunden y desinforman. ¿Exagero? Recordar la
multiplicidad de índices de precios, que, hasta hace poco,
aparecían al final de cada mes. ¿Era necesario? ¿Sirvieron,
ayudaron? Y la lista se prolonga con el producto interno, la
desocupación, la mortalidad infantil, la escolaridad...
Gastón Bachelard, en el "Surgimiento del
pensamiento científico", relata la historia del termómetro
como instrumento de medida y señala la multiplicidad de
resultados como un problema, que le quitaba utilidad al
instrumento. Al pasar menciona que los de Florencia eran

los mejores.
Hasta que se estandarizó su construcción. Tal vez
resulte más claro el proceso en el caso del sistema métrico.
Las múltiples medidas de longitud, de base antropomórfica,
fueron sustituidas por una medida convencional, tan
convencional que fue construido un modelo, contra el cual
se debían calibrar las reglas y otros ingenios para medir. Ese
metro patrón de referencia se guardó, bajo condiciones
especiales, en París.
Es oportuno preguntarse que hubo detrás de ese
resultado. No fue ninguna razón física o química. Se
impuso la necesidad, una necesidad de los usuarios,
mercaderes, funcionarios, fabricantes, que sentían su falta y
reconocían la enorme utilidad que tendría un sistema único,
compartido.
Los usuarios, los interesados, los involucrados, son
los dueños de los problemas, que convocan a los técnicos
para que apliquen sus habilidades a resolverlos.
Los usuarios corren los riesgos y están dispuestos a
pagar los costos necesarios para reducirlos.
Como esos intereses trascienden el ámbito de lo
privado, para convertirse en una especie de lenguaje común,
la cuestión provoca el interés público y, como
consecuencia, es un asunto político.
El sistema métrico, el sistema de pesas y medidas,
el sistema estadístico, todos comparten esa característica.
Hay una necesidad, un problema, y quienes están
interesados en resolverlo, demandan más información sobre
las características del mismo, es decir más y mejores
mediciones. Como se irá viendo a lo largo de las páginas, la

evaluación se agrega a esa cartera de instrumentos que
habilitan al ciudadano a opinar con fundamento en un
lenguaje común.
d) Política basada en la evidencia

El nuevo paradigma en el debate público es la
"política basada en la evidencia". La idea es simple:
La Política Basada en la Evidencia busca que las
políticas públicas estén (más) informadas por evidencias
fruto de investigaciones rigurosas.
En la práctica esto pasa por incorporar
conocimiento empírico en todas las etapas del proceso,
desde que se identifica el problema, hasta que se formula e
implementa una política que lo enfrente.
Supone también verificar el éxito o fracaso de las
acciones decididas y llevar a cabo ensayos para evaluar un
programa antes de su puesta en marcha.
Las políticas públicas ya se nutren de evidencias
empíricas, pero esta práctica debiera ser rutinaria y más
intensiva. Sencillamente, si una política persigue un
objetivo, tiene que estar fundamentada y conviene
comprobar que efectivamente consigue lo que se propone.
1. Motores de la república
Así como el sistema métrico decimal, potenció el
comercio y la industria, la dupla estadística públicas y
evaluación de impacto son los motores de un
republicanismo moderno.
2. Hablando se entiende la gente

Nuestro problema actual es que el discurso político
desconoce las reglas de la ciencia y, desde siempre, abusa
de la retórica.
Pero esos dos aspectos, en realidad son uno solo.
Porque la ciencia implica el desarrollo de una retórica,
multimedial y distribuida, mucho más compleja que la
literaria.
Si nos proponemos hacer un esfuerzo para ser
"modernos", deberemos erradicar las falacias de los
discursos y debates políticos. Por otro lado, la ciencia
deberá extender sus límites para abarcar los problemas
políticos.
En la ciencia que se ejerce fuera de los laboratorios
y de los gabinetes, coexisten la gestión de la incertidumbre
y de la urgencia, con la observación de los fenómenos bajo
el prisma de los fundamentos teóricos y todo ello, a su vez,
con la pluralidad de perspectivas, compromisos e intereses.
El conocimiento científico, además de proporcionar
teorías y modelos que permiten tener una comprensión más
profunda de la realidad, para que la acción sobre ella sea
más eficiente y eficaz, también aporta el ejemplo de los
recursos que emplea en el proceso de búsqueda de la
verdad.
Está en la esencia de los métodos científicos, un
constante reaseguramiento, mediante diversos
procedimientos, de la calidad de las pruebas a que se
someten las hipótesis, antes de su aceptación, siempre
condicional y precaria.
El científico tiene un compromiso ético con la

verdad que es custodiada por los procedimientos que la
comunidad de investigadores adopta como medidas
preventivas de los errores y de los engaños.
La diferencia entre un discurso tradicional y uno
moderno, es la presencia y la función de los números en uno
y en otro.
Podemos decir que, en la forma tradicional, la
función de los números es indizar las páginas y referir las
notas. En cambio, en un discurso moderno las cantidades
constituyen el eje en torno al cual se estructuran
interpretaciones, conclusiones, recomendaciones y
proyectos. Y también objeciones, desmentidas,
correcciones.
En definitiva, las cifras son piezas de un debate que
permite acumular saberes y avanzar de manera coherente.
Debemos llamar científica la retórica capaz de
emplear en un lugar más recursos que la antigua (Latour).
e) Cambio
Debemos volver sobre un concepto que se
mencionó, sin profundizar en él. El cambio, que constituye
la razón de las acciones que se llevan a cabo, para modificar
un estado de cosas.
Los componentes del proceso de cambio, siguiendo
a Entwistle, son:
• Los recursos y tecnologías, incluyen actores
humanos y no humanos, tales como recursos económicos,
infraestructurales y técnicos disponibles para la
intervención.
• El contexto para la intervención.

• Esfuerzo de cambio o intervención describe las
actividades en la intervención; ¿Qué hacemos con los
recursos dados en la intervención? El «esfuerzo» también
puede denominarse «actividades».
• Percepción y experiencia trata con la percepción,
actitud y experiencia que una persona tiene de los recursos
que están siendo presentados o aplicados de una manera
específica a través de ciertos esfuerzos o actividades en un
contexto específico.
• La Interacción describe la (inter) acción que una
persona puede o no tener con el esfuerzo o las actividades.
• El resultado es lo que estamos tratando de lograr,
tan “duro” como la reducción del consumo de energía o un
resultado más 'blando' como la satisfacción
• Efecto a largo plazo puede ser un cambio en la
legislación, el discurso de la sociedad, etc.
f) Incertidumbre y riesgo
Los riesgos están ligados a las decisiones humanas.
Son un subproducto necesario del progreso de la
civilización y un subproducto conceptual.
A medida que la acción humana pasa de estar bajo
el dominio de la naturaleza y la tradición a estar bajo el
dominio de sus propias decisiones, cursos alternativos
comienzan a concebirse en términos de riesgos. Los riesgos
aparecen cuando la naturaleza y la tradición se han
convertido en dependientes de la decisión.
Etimológicamente el concepto de riesgo se remonta
al comercio marítimo intercontinental. La palabra
'promedio', el concepto central de la estadística, deriva de

una palabra árabe que significa 'pérdidas en el mar' que
entró en varios idiomas europeos en el siglo XIII. El riesgo
se entendía así desde el principio como 'aventurarse' y desde
el principio estaba ligado al concepto de seguro.
El riesgo es el reverso ineludible de la oportunidad.
Cada vez que alguien elige uno, obtendrá el otro también.
El riesgo también está inseparablemente vinculado
a un cálculo colectivo en el que los actos individuales
aleatorios se redefinen en eventos sociales calculables. Por
lo general conlleva un intento de hacerlo controlable a
través de modelos de seguro y los principios
institucionalizados que los subyacen.
Es posible ver todo el proceso de industrialización,
el desarrollo de las fuerzas productivas desde el siglo XVIII
hasta el XX, como una dialéctica entre el crecimiento del
riesgo y el desarrollo de sus soluciones institucionalizadas.
Los accidentes se describieron en términos
estadísticos como sucesos estocásticos que, a nivel
agregado, podían considerarse constantes y para los cuales
había que construir instituciones jurídicas y políticas que
permitieran distribuir la responsabilidad uniformemente.
Las instituciones que finalmente resultaron fueron
el resultado acumulado de un proceso histórico de
conflictos y negociaciones políticas. Lo más importante a
destacar es que el esquema conceptual y el esquema
institucional eran mutuamente dependientes.
El esquema conceptual nunca habría sido aceptado
como válido a menos que se aceptaran las reivindicaciones
de causalidad.
Pero había más de un posible esquema de causalidad

para elegir. La razón por la cual se hizo hegemónico es
porque era la condición previa necesaria para un sistema de
distribución de riesgos que la gente consideraba
básicamente justo.
Por lo tanto, el sistema de seguro social era
necesario para que el esquema conceptual fuera aceptado y
el esquema conceptual era necesario para crear el esquema
de seguro social. Eran dos caras de un todo social.
Retengamos este antecedente en el desarrollo de la
evaluación de impacto, conde se encuentran también
indeterminaciones, incertidumbres y riesgos que demandan
un claro compromiso entre el marco conceptual y las
respuestas institucionales, para su mutuo sostenimiento.
g) El sentido de la experiencia
La evaluación cambia el foco de lo
correcto/incorrecto, mal/bien, de fuertes connotaciones
éticas, o normativas si se prefiere, con eje en el sujeto,
hacia los pares cierto/equivocado, útil/inútil, donde el
sentido emerge de la experiencia, del sujeto en su
circunstancia. Y rescata el enfoque científico, cuya única
constante es la búsqueda de la verdad, teniendo en cuenta,
sin embargo, que durante todo el camino lo único
disponible son conjeturas, más o menos verosímiles, según
hayan sido las contrastaciones que se hayan superado.
En cada momento prevalece la conjetura que mejor
resiste a la luz de la experiencia resultante de la evaluación
(¿?) a la que es sometida de manera permanente.
Ya Deming advirtió sobre las cosas que se debían

tener en cuenta antes de atribuir responsabilidades, y sobre
esas bases sistémicas, construyo toda la ingeniería del
control de calidad.
h) Hay vida más allá del control

En dos aspectos hay que trabajar especialmente. El
primero de ellos es parte de la cultura organizacional, es un
concepto/valor que, puede decirse, expresa la esencia
misma de la auditoria: el control.
El control supone una relación asimétrica de poder,
donde alguien es controlado y alguien ejerce el control. Se
trata de la confianza depositada en la auditoria como
proveedora de confort frente al riesgo, parafraseando a
Michael Power.
El control forma parte de la heráldica de la auditoría.
Y eso la identifica ante la sociedad, que confía en ella. Está
bien que sea así. la sociedad ha evolucionado en
complejidad y el control se ha constituido en una práctica
habitual y necesaria en una época que ha visto disgregarse
el poder. Debemos preguntarnos si eso es suficiente, de cara
al futuro.
IV. Referencias
Delli Carpini, Michael X. 2005. “An Overview of the State of Citizens’
Knowledge about Politics.” Communicating Politics:
Engaging the Public in Democratic Life, 27–40.
Cupani, Alberto. 2012. “Ciencia Socialmente Robusta: Algunas
Reflexiones Epistemológicas.” Principia 16 (2): 319–40.
George, Clive, and Colin Kirkpatricck. 2007. “Impact Assessment and
Sustainable Development-European Practice and Experience.”
University Business, 1–321.
Henao, Daniel E. n.d. “Política basada en la evidencia: contexto,
posibilidades y límites. Daniel E. Henao Grupo Reproducción,
Universidad de Antioquia, Colombia.”
Morin, Edgar. n.d. “El Método I.- La Naturaleza de La Naturaleza.”
———. 1994. Introducción al Pensamiento Complejo.
———.1996. El Paradigma Perdido. Ensayo.
Nussbaum, Martha, and Amartya Sen. 1993. The Quality of Life
Rogers, Patricia, Sanjeev Khagram, David Bonbright, Sarah Earl, Fred
Carden, Zenda Ofir, and Nancy MacPherson. 2011. “Impact
Evaluation for Development.” Principle for Action, no.
January: 1–10.
———. 2014. “Theory of Change. “Methodological Briefs: Impact
Evaluation, no. 2: 16.
Sztompka, Piotr. 1995. Sociología del cambio social. Madrid: Alianza.
66 Referencias
La triple frontera
68
I. Política
“Locura es hacer lo mismo una y otra vez

esperando obtener resultados diferentes”.
(Atribuida a Einstein)
Aceptando que la política es el método para

gobernar, es oportuno reiterar que en democracia las
decisiones se basan en los principios de participación y
representación, que se ponen en práctica través de procesos
regulados por las leyes.
Por consiguiente, es necesario volver sobre el
concepto de “política”, a los efectos de entender cómo se
configura su acción y sobre esa base diseñar la evaluación
de impacto que sea congruente con el sistema político
vigente.
Si no se tiene especialmente en cuenta la
conformación de la clase política, se corre el serio riesgo de
que el proceso de decisiones se desarrolle con
independencia del esfuerzo que se ponga en instrumentar
métodos y procedimientos de evaluación según los mejores
estándares.
Desde que se escucharon a comienzos de siglo,
ciudadanos vociferando en las calles “que se vayan todos",
70
la cuestión del sistema político reclama en Argentina un

debate profundo.
Las sociedades modernas son altamente complejas
y los ciudadanos se ven vinculados por diferentes redes de
intereses, que se entrecruzan y superponen con el espacio
atribuido a los partidos políticos.
El explosivo desarrollo de los medios de
comunicación y de la información producida e
intercambiada en una medida sin precedentes, configuran
un alto nivel de contacto entre los ciudadanos, unido a un
volumen de datos y referencias a su alcance, que ponen a
los sistemas de participación y de representación, tan
cruciales en la democracia, bajo fuerte tensión.
Eso ocurre al mismo tiempo que los vínculos más
físicos: familiares, educacionales, laborales, se debilitan en
un proceso de individuación que se profundiza cada vez
más, en lo que Fukuyama(Fukuyama 1997) ha llamado “La
Gran Ruptura” y algunos traductores denominan “El Gran
Trastorno”. La gente transmuta sus relaciones reales
desaparecidas o debilitadas, en relaciones virtuales, en gran
medida ficticias, encubiertas bajo avatares inspirados en
deseos o frustraciones.
En ese escenario la capacidad de contención y las
oportunidades de canalización de las energías sociales por
los partidos políticos, se ve fuertemente cuestionada y
desafiada por algunas de las múltiples redes vinculantes,
algunas de matriz económica, otras religiosas, algunas de
base clasista o racial. Es un fenómeno que atraviesa los
continentes, con manifestaciones violentas en muchos
casos.
a) En el largo, largo plazo…

Las generaciones se suceden y hacen la historia,
encaramadas unas a otras, a veces sobre hombros
de gigantes y otras muchas, hombro con hombro en el
intento de avanzar, de ascender, de mejorar el mundo
recibido.
Creo que nuestra generación ha sido ilusa y
generosa. Intentó nada menos que escribir el fin de la
historia. Tal vez en su intento exagerado puso al desnudo
muchos males del mundo, pero también incubó otros, que
crecieron en el terreno abonado por la utopía.
¿Y el balance? En el activo mucho menos de lo
esperado. Y un pesado pasivo.
Sin embargo, a la hora de rendir cuentas, creo que
tenemos que poner mucha atención sobre los intangibles.
De difícil verificación y registro. Pero que necesariamente
debemos poner en la cuenta, para que el saldo no sea un
doloroso quebranto.
Muchos han escrito, propios y ajenos, sobre el
talante argentino. No podemos decir que faltaron
advertencias sobre tendencias y distracciones que nos
identificaban en el mundo.
Bueno, como pueblo joven nos resultó difícil
escuchar y tuvimos que aprenderlo con la experiencia. En
la dura escuela de la vida.
Todavía vemos agitarse amenazadores poderes
puertas afuera. A los cuales no sabemos cómo enfrentar.
Porque si son poderes reales, resulta una pésima estrategia
chocarlos frívolamente o con la supuesta ayuda de alianzas
que ofrecen el poderío verbal de un discurso de barricada.
72
Y si no son reales, es un desperdicio inútil dedicarle energía

y retórica a su denuncia.
Muchas lecciones debemos aceptar de la
experiencia vivida. Nos debemos un reconocimiento
sincero y humilde de la vanidad de nuestro orgullo y de la
inutilidad del egoísmo.
Está de moda expresar un mea culpa que envuelve a
todos. Grandes y pequeños, jóvenes y viejos, mujeres y
hombres. Tal vez sea cierto y el mal esté extendido o
"viralizado", dicho en clave cibernética. Pero no todos
somos igualmente culpables. Nuestra vida es un rosario de
ejemplos e imitaciones. Y no hace falta mucho para
comprobar que sobran malos ejemplos y abundan sus
imitaciones.
Hemos tenido voces que bregaron por la conquista
de los valores. El hombre mediocre, inspirado en un
recordado presidente, es un alegato apasionado por una vida
encaminada por lo ideales.
Hemos perdido la matriz que nos dio identidad. (la
“Gran ruptura” según F. Fukuyama). Y no ha sido
reemplazada por nada. La familia, en primer lugar, la
escuela común, laica y obligatoria, el servicio militar.
Fueron aglutinantes que dejaron de serlo.
Cada una de ellas puede tener sustitutos, sucesores,
alternativas que la historia va gestando en su devenir. Pero
todas juntas se articularon en un molde que no existe más.
Hay conceptos, de frecuente aparición, que
reclaman atención: liderazgo, poder, participación, pueblo,
oligarquía, representatividad, junto con la mencionada
ejemplaridad.
Esos temas están atravesados por los errores y

desviaciones que hemos cometido, en aras de hipotéticos
bienes mayores.
Otro punto que me parece que debe ser mencionado
de entrada, es lo que se llama "el suicido de la revolución".
La nulidad del acto único capaz de redimir de las injusticias
y llevarnos a un estado superior para todos y para siempre.
Un poco de modestia es lo único que se pide.
Es necesario volver a las fuentes sociales que
modelan la convivencia. Pero no solamente como un
naturalista estudia la colmena, sino iluminando esa realidad
con el resplandor de los valores que hagan que vivir la vida
valga la pena.
Evitando el organicismo, que posterga al hombre,
sujeto de la “polis”, por un todo que pretende ser más que
las partes. Configuración entomológica de la sociedad y de
la vida.
Y todos conscientes de que la única norma valedera,
la regla de oro, que permite resolver hasta el dilema del
prisionero, es: "Hacer a los otros, lo que queremos
recibir de ellos". Libertad, igualdad y fraternidad.
b) Pregunta esencial
En “La condición humana”, Anna Arendt había
argumentado que el ingeniero, o cualquier fabricante de
cosas materiales, no era dueño de su propia casa; la
política, por encima del trabajo físico, tiene que
proporcionar la orientación.
Una pregunta esencial interroga sobre la razón de
ser de los partidos políticos en este tiempo y en estas
74
condiciones históricas. ¿Son necesarios? ¿Pueden ser

reemplazados por algunos de los otros órdenes sociales,
como las corporaciones de intereses?
En el fondo la cuestión esencial, el dilema
recurrente, es el poder. ¿Cómo administrarlo, como
delegarlo, cómo proteger la libertad y la igualdad de los
peligros del poder descontrolado?
El sistema republicano establece el régimen de la
división de poderes para acotar el absolutismo y los riesgos
de las probables desviaciones que puede producir la
fragilidad humana.
Pero la complejidad de la sociedad ha llevado el
debate más allá del recinto parlamentario. Los medios
procesan y condenan en tiempo real y el Poder Ejecutivo se
ve desbordado por una realidad transnacional, que instala
otros poderes fácticos, fuera del alcance de los sistemas
nacionales.
Algunos llegan a hablar del fin del poder, como lo
hemos conocido y temido hasta ahora.
En este breve sobrevuelo, debemos destacar el
sorprendente volumen y calidad de la información
disponible hoy, sobre casi todos los aspectos de la vida. Este
fenómeno surgió en el siglo XX, y no ha parado de crecer
por la conjunción de dos factores.
El primero de ellos, fue la estadística, constituida en
el método de la ciencia. La estadística marcó
fortísimamente el pensamiento del siglo XX y estableció el
azar como un elemento inevitablemente presente en el
conocimiento, que fue domesticado al tener una medida de
la incertidumbre, emergente de la base informativa con la

que pulsean las hipótesis científicas de turno.
El potencial de los fundamentos lógicos de la
estadística, comienza a dar sus frutos, con el desarrollo de
las computadoras. La confluencia de ambos, provoca
literalmente una explosión en el volumen de datos
disponibles.
Pero al mismo tiempo, esos datos están al alcance
de todos, y no solamente en sentido figurado, o como
declaración, sino literalmente. La red mundial, pone a
disposición cada vez más bases de datos. Las computadoras
personales, en un principio, y ahora sus secuelas: teléfonos,
tabletas, etc. otorgan a todos la capacidad de interactuar con
esas bases y sacar sus propias conclusiones.
Están disponibles los instrumentos y materiales
necesarios para que se puedan aplicar a la persecución del
bien común, con la energía de la razón, adoptando los
modos y costumbres del pensamiento científico en el debate
esclarecedor y en el proceso de toma de decisiones
fundadas en los hechos.
c) La oportunidad
Se abre la posibilidad de cultivar una política basada
en la evidencia, que no quede recluida a círculos selectos o
a comisiones de expertos solamente.
Claro que hay barreras y brechas. Ser razonable
tiene un costo. Es necesario un esfuerzo serio y
generalizado, la educación debe bregar para que todos
tengan las habilidades y capacidades de aprovechar la
76
generosa oferta disponible, para aprender con los datos y

decidir en consecuencia.
Si no se da ese salto cualitativo, seguirán activas y
poderosas las causas de las desigualdades e injusticias
actuales.
El mundo del trabajo, durante muchas décadas
articulador e integrador de los individuos a la sociedad, ha
perdido esa fortaleza. El formato del empleo, con su
régimen horario y sus garantías sociales está en crisis.
Hoy las personas están sometidas a un poderoso
proceso de individuación. Que podría titularse "sálvese
quien pueda". Como es el título del reciente libro de Andrés
Oppenheimer.
Los débiles están en alto riesgo. El fin de los “30
maravillosos años” en Europa, ilustra con crudeza ese
fenómeno. Entre nosotros la vigencia del asistencialismo,
como forma de atenuar las penurias de millones de hombres
y mujeres, no es solo una elección política, es la
confirmación de que hay un problema que debe resolverse.
Y el “Indignaos” de Stephen Hessel(Hessel 2010) reclama
a los ciudadanos:
"Es nuestra obligación velar todos juntos para que
nuestra sociedad siga siendo una sociedad de la que
podamos sentirnos orgullosos, y no esta sociedad de
indocumentados, de expulsiones, de sospechas con respecto
a la inmigración; no esta sociedad en la que se ponen en
cuestión las pensiones, los logros de la Seguridad Social; no
esta sociedad donde los medios de comunicación están en
manos de los poderosos".
Los partidos políticos, que fueron visualizados

como un encuentro de "hombres ciudadanos", que bajo
ciertos principios se ponían de acuerdo en un programa,
para ofrecerlo a la sociedad, y que mediante el sufragio
elegían la alternativa preferida, han cambiado internamente.
Frente a las fuerzas desatadas, sobre las cuales no
tenían control, fueron buscando formas de adaptarse a los
nuevos hechos. El liderazgo se resolvió como
personalismo, la coherencia de los principios y del
programa, fue reemplazado por el organicismo populista. El
difícil equilibrio dinámico entre libertad e igualdad, fue
remplazado por oleadas cambiantes de una u otra corriente.
Esas prácticas desnudaron la fragilidad de los
regímenes constitucionales, que muchas veces vieron
cuestionadas sus normas. Así el Poder Judicial, es atacado
por su condición de contrapoder. El Parlamento, se repliega
y se resigna a no liderar los debates que la sociedad abre,
encadenados sus integrantes por la lealtad partidaria.
Obediencia que se justifica como reacción ante el desarrollo
de lobistas y grupos de presión.
Finalmente, el Poder Ejecutivo,
“constitucionalmente presidencialista”, deriva en un
personalismo donde el gobierno de las leyes, cede el paso
al gobierno de los hombres.
La Argentina constituye un gran enigma por la
reversión (Waisman 1987) sufrida en su desarrollo. Es
necesario arrojar luz sobre las razones que nos llevaron al
estado actual, en el que el sistema político, los partidos y
los políticos son una parte importante del problema, lejos
de ser la solución; pero tampoco son todo el problema.
78
El libro de Carlos Nino "Un país al margen de la

ley", expone crudamente las debilidades que nos trajeron
hasta aquí. Nuestra clásica y reconocida viveza. La picardía
aplicada en todo, y a todos, ha terminado minando la
confianza tan necesaria para que exista una sociedad.
Y toda la fortuna que puso la naturaleza en nuestras
manos, se ve desperdiciada o aprovechada por los vivos, Y
en el país de los trigales, hay chicos que se mueren de
hambre.
Estamos frente a una situación altamente compleja
y peligrosa. Al mismo tiempo hay herramientas y
materiales, que pueden ayudarnos a construir un sistema
basado en principios humanitarios y solidarios, capaz de
atender de manera equitativa a todos los miembros de la
sociedad, y que tenga la capacidad de organizarse y de
reproducirse.
Es el tiempo de la inteligencia colectiva, de la suma
y complementación de capacidades. Las redes sociales
conducen a las redes semánticas, en las que el sentido
cualitativo del conocimiento reemplace a la
superabundancia de información no articulada por el
pensamiento.
d) Un sordo parloteo
Palabras, palabras, palabras, palabras,

Palabras tan solo palabras hay entre los dos...
Hay 10 clases de personas:
los que conocen el sistema binario
y los que no lo conocen
Un sordo parloteo nos entretiene, mientras los actos

de barbarie se consuman, sin que nada los detenga o los
denuncie.
Fuimos la audiencia de una narrativa oficial adicta
a todas las formas que le facilitara ganar los sucesivos
debates. Aunque, si los perdía, su impronta heroica la
victimizaba y convertía la vergüenza en martirio.
Algo falta en los recursos que la sociedad emplea
para exponer alternativas o criticar propuestas. Esa falta
hace caer el discurso político en un palabrerío hueco.
Políticos y comentaristas políticos rara vez escapan
al entrechocar de falacias, que fatiga hasta el hartazgo a una
audiencia esperanzada en escuchar otras voces. En general
se observa que, quizá con la excepción de la economía, se
responde al relato con narraciones que tienen el mismo
formato: existe un género dominante, con una marcada
inclinación a lo literario. Cada uno cuenta su cuento.
La épica solamente llevará a "chocar la calesita",
como dice Jorge Asís. Y el desierto solo se cruza si hay fe
y esperanza en un futuro posible.
Son discursos que desarrollan una retórica del deber
ser, sin anclaje en la realidad. Todavía resuena la
admonición de Ortega:"¡Argentinos a las cosas!
El lenguaje es un instrumento poderoso y fecundo.
Pero también sobre sus peligros nos advirtió Ortega: “En
efecto, la razón principal de que no nos entendamos es
justamente que creemos cosa fácil entendernos. Y como
pasa siempre que se considera fácil una operación la
ejercitamos sin precauciones, sin cuidados, al buen tuntún.
80
Ya, a su vez, la idea de que es fácil entenderse se origina en

una infantil sobreestima que otorgamos al instrumento
oficial que para entenderse tienen los hombres: el lenguaje,
el habla. ¡Se nos ha dicho tanto, desde la cuna, que el
lenguaje ha sido dado al hombre para comunicar al prójimo
sus pensamientos, que lo hemos tomado en serio y sin
reservas ni limitaciones, que lo creemos a pie juntillas!"
La clave del lenguaje como base de la comunicación
y de la acción humana radica en la capacidad de escuchar.
En la comunicación, por lo tanto, no se da el hablar sin el
escuchar y viceversa. Cuando el hablar y el escuchar están
interactuando juntos, estamos en presencia de una
«conversación». Una conversación, en consecuencia, es la
danza que tiene lugar entre el hablar y el escuchar, y entre
el escuchar y el hablar (Echeverría 2005).
¿Cuál es el alcance del lenguaje? ¿Cuáles son sus
componentes y sus formas? En 1956 C.P. Snow publicó su
célebre ensayo sobre "Las 2 Culturas". Treinta años después
el estadístico Williams Kruskal publicó "Las n culturas". El
número 2 que el mismo Snow reconoció como peligroso, es
suficiente para nuestro propósito hoy.
El conflicto que mostró Snow, se hace visible por la
estructura de los textos, discursos, artículos que se producen
desde uno u otro lado.
Se trata, en general, de relatos que siguen un hilo
narrativo secuencial y que en consecuencia dan una idea
equivocada de orden y simplicidad. También se nota un
muy bajo grado de cuantificación en las descripciones que
les otorgue precisión y comparabilidad. Como dijo Lord
Kelvin, “solamente se conoce lo que se mide”.
Si queremos establecer un índice simple, digamos

que es notable la bajísima cantidad de números que
aparecen en artículos que analizan la actualidad y que
organizan una enorme cantidad de razonamientos.
Razonamientos que se sostienen endogámicamente.
Esto es grave cuando se está hablando de política,
es decir de las cosas que son de interés común. Entre ellas
está el medio ambiente, la población, la economía, la
educación, la salud, la seguridad. Todos son asuntos que
exigen grandes volúmenes de datos, para que lo que se dice
tenga sentido y más aún si se quieren orquestar acciones y
evaluar sus efectos, como debe ser en una buena política.
En este punto es oportuno reconocer que
destrucción del INDEC como un organismo de referencia
para las estadísticas públicas, ha convertido en tema de
discusión las mediciones, evitando tener que discutir las
interpretaciones o teorías que pueden dar razón de los datos.
Calibrar el sistema de medición es un trabajo oscuro
y silencioso, que se desarrolla en gabinetes y laboratorios y
sus resultados se publican en revistas con exigentes
referencias.
Es muy difícil fuera del Estado organizar sistemas
permanentes de medición, no solo por su costo, sino porque
el Estado es el único que puede ofrecer las garantías de
objetividad y control. Aun ahora no lo está haciendo con la
energía y la intensidad que debería.
La fuerte relación entre la política y la estadística
aparece muy temprano. Ya James Madison, uno de los
padres fundadores de los EE.UU., sugirió que el Censo
hiciera preguntas adicionales, que podrían ayudar a los
82
legisladores a comprender mejor las necesidades de la

nación.
Ese pensamiento se reflejó en los fundamentos a los
que recurrió Rivadavia en la legislación estadística de 1812
y 1820 y que rescata Alberdi en las Bases. (Alberdi 1915,
pág. 114). En Juan B. Justo, en su conferencia dada en El
Ateneo de Buenos Aires, el 18 de julio de 1898, planteo sus
ideas sobre lo que llamó una política científica. (Justo 1898)
"No es posible hacer política científica sin despertar
ese espíritu crítico que pone todas las instituciones en tela
de juicio. Contra los miopes que ven en la hipocresía un
medio de conservación social, no temamos esa crítica. Al
contrario, ampliémosla, seguros de que, mientras sea libre
y contradictoria, no puede producir ningún mal."
Y más adelante afirma:
" La ciencia necesita de hipótesis, pero sólo saca
fruto de ellas mientras no las cree ciertas y se empeña en
comprobar su verdad. Así también la política científica
cuenta con los ideales; pero no con los ideales hostiles a una
palabra o inseparables de ella, que no existen en la
intención, sino en la creencia, que paralizan o matan. Los
ideales que empujan al mundo, y con que cuenta la política
científica, son los ricos en móviles de vida y de acción, los
ideales fecundos que se traducen en hechos".
Esa base científica que necesita la política, fue
honrada hace casi 30 años, cuando Richard Stone recibió el
Premio Nobel de Economía por el sistema de cuentas
nacionales que diseñó.
La relación entre el conocimiento científico y el
político se desarrolla bajo fuertes tensiones. Cada uno de
ellos tiene distintas responsabilidades. Pero ambos son

imprescindibles en la generación de buenas políticas.
El conocimiento científico es sólido, pero
fragmentario. El político es responsable de las
consecuencias generales, de las acciones basadas en
razonamientos científicos inobjetables.
Los Hechos, las Teorías y el Modelo son el objeto
de los científicos. Las Metas y la Política caen bajo la
órbita del legislador y los Controles y el Plan son materia
del Administrador.
Como tanto el Modelo como la Política y el Plan,
son contingentes y perfectibles, es necesario observar y
evaluar los Eventos que se produzcan y con esa
Experiencia, hacer los reajustes y mejoras que convenga a
todo el sistema, como indican las flechas rojas de
retroalimentación.
Los políticos, los analistas y comentaristas deben
"hacerse cargo" del conocimiento científico, como un factor
esencial en el razonamiento político. Las razones retóricas
que hoy abundan deben pasar la prueba de los datos.
La Estadística proporciona los cimientos del
conocimiento científico. En consecuencia, la indiscutible
prioridad es la organización de un sistema estadístico que,
obrando como un equivalente social del sistema métrico
estándar, organice y fortalezca el debate político,
neutralizando la influencia de la dialéctica erística hoy
reinante.
84
e) Teoría del todo

Durante décadas hemos alimentado grandes
ilusiones de transformación radical, ya sea por las vías de
las instituciones o de las revoluciones. Una pulsión por
transmutar la realidad de forma categórica nos ha
consumido las energías y en muchos casos se llevó la vida,
en épicas sangrientas y sanguinarias, prontas a demoler y
demoradas para construir.
A través de todas esas experiencias, comunes a otras
en el mundo, se puede encontrar la creencia en una
racionalización de la sociedad que pretende abarcarla toda.
No es siempre la misma configuración, pero si es común en
todas, la convicción de que todo está determinado y, en
consecuencia, actuando sobre las hipotéticas causas, se
puede cambiar el mundo a gusto.
Resuena aquel legendario reclamo: “Dadme un
punto de apoyo y moveré el mundo”
Esos combates por lo grande y lejano, ese
impaciente batallar ilusionado (¿o ilusorio?) fue
postergando los modestos arreglos, reformas y
reparaciones, que nos hubieran permitido mejorar de a poco
y, en tantos años transcurridos, cambiar las cosas y estar
mejor de lo que hoy estamos. Como hicieron otros, en otros
tantos lados.
Y tal vez, solo tal vez, podríamos haber seguido el
ritmo del mundo, con rengueras y flaquezas, como pudimos
hacer alguna vez.
No se nos hubieran arruinado tanto las escuelas, los
trenes, los hospitales, la esperanza. No hubiéramos
empobrecido a tantos. Tal vez, solo tal vez. Porque lo contra
fáctico tampoco ayuda a cambiar lo que ya está hecho. Y

mañana es diferente de ayer.
Pero lo que sí tenemos que aprender, es que no hay
una "teoría del todo". Solo algunas aproximaciones que,
como todas las de su clase, erran en distintos grados por
exceso o por defecto. Como decía Hawking:
" Muchas personas estarían muy disgustadas si no
hubiera una teoría última, que pueda formularse con un
número finito de principios. Yo solía pertenecer a ese
campamento, pero he cambiado mi pensamiento". Y
Hawking está hablando de… “¡la naturaleza de la física...!
¿Qué podemos esperar de la sociedad, donde al
aumentado número de dimensiones del espacio-tiempo, se
suman la libertad y los valores? Cuando menos, tendrá que
esperar para encontrar su propia ecuación sintética, tener a
mano y resuelto el asunto en el plano físico. Y también en
el biológico, donde la vida plantea sus propios desafíos.
Una palabra emerge entre estos pensamientos: la
palabra desmesura. Refleja lo descomedido que expresa la
impaciencia vanidosa de ponerle fin a la historia. Y
descubrimos entonces, que ese mal es de muy vieja data y
se refleja en la hybris: todo aquello que sobrepasa la justa
medida, el equilibrio. Lo que es producto del orgullo, de la
soberbia.
"La concepción de la hybris como falta determina la
moral griega como una moral de la mesura, la moderación
y la sobriedad, obedeciendo al proverbio “pan metron”, que
significa literalmente 'la medida en todas las cosas', o
mejor aún 'nunca demasiado' o 'siempre bastante'. El
hombre debía seguir siendo consciente de su lugar en el
86
universo, es decir, a la vez de su posición social en una

sociedad jerarquizada y de su mortalidad"
Esa desmesura nos ha hecho errar el tiro muchas
veces, en otras directamente el gatillo apuntó a otro lado,
por intereses o por perversidad.
Es hora de abandonar la quimera de cazar dragones
y llega el tiempo de descomponer y analizar. Desplegar en
el tiempo el esfuerzo, dando oportunidad a la maduración y
al crecimiento. Reconociendo el orden de las necesidades
en gravedad o urgencia, para ocuparnos no solo de un
sector, sino de todos, no solo del presente, abrumador y
ruidoso, sino también del futuro, preparando la casa para las
generaciones por venir.
Eso tiene un costado arduo de privaciones de lo
prescindible, para que a ninguno le falte lo imprescindible,
es traer a nuestra convivencia una fraternidad extendida
más allá de los presentes, que abarque desde la gratitud a
los ancestros, hasta la preocupación por el legado.
Debemos elegir objetivos próximos, que expresen
necesidades indudables, cuya reparación urge y podemos
resolver con los medios y las capacidades que tenemos hoy.
Por una sencilla razón. Nuestra vida es finita y tenemos un
tiempo limitado para hacer algo por mejorar las cosas.
El método para lograrlo no es el falso sincretismo
simplificador, sino un pensamiento analítico que administre
un sistema de pesos y contrapesos, un sistema de cuentas
dinámico que equilibre los debes y haberes, con criterio
equitativo y solidario. A la desmesura solo le puede ganar
un sistema de pesas y medidas. Solo conocemos lo que
podemos medir, dijo el sabio. Y conocer es la base para
hacer lo correcto. Creer que se conoce el todo es,

simplemente, admitir que no se sabe nada.
-Caminante no hay camino, se hace camino al
andar...-
88
II. Ciencia
¿Cuál es el papel de la ciencia en la gobernanza?
¿Cuál debería ser la relación entre ciencia y política?
En primer lugar, debemos aclarar que hay dos tipos
enteramente diferentes de relaciones entre ciencia y
política.
Por un lado, está la visión de que la ciencia es
formadora de políticas.
Sin embargo, la ciencia es también objeto de
políticas, aunque algunos lo sientan como amenaza a la
objetividad e independencia de la ciencia. En los hechos
decisiones políticas regulan la práctica científica, algunas
veces de forma muy visible sobre todo en las ciencias de la
vida y las biotecnologías.
Por otro lado, mientras la ciencia que informa la
política puede tratar, con o sin éxito, de eliminar o reducir
la incertidumbre, al mismo tiempo las prácticas científicas
y tecnológicas están entre las mayores productoras
mundiales de incertidumbre, al introducir tecnologías,
organismos y formas de vida novedosas y emergentes.
Es exactamente en este potencial para la innovación
en lo que actualmente centran su atención las políticas de
investigación de varios países. Sin más tierra física que
colonizar en el planeta, la ciencia (junto con el espacio
exterior) provee la "frontera sin fin" para ser conquistada y

capitalizada (Bush, 1945; Rees, 2003).
a) La ciencia
La información reunida sistemática y
disciplinadamente ha dado pruebas suficientes de su valor
como instrumento para hacerle frente a una realidad
inhóspita. De su seno nació nada menos que la ciencia. La
única actividad humana que incluye en su ADN mismo el
compromiso con la verdad. Porque es letal para la ciencia
no respetar la verdad, no validarla con otros, no someterla
siempre a prueba.
Entonces la información utilizada científicamente
es la mejor herramienta para entender el mundo. Pero el
paradigma clásico del conocimiento científico tiene sus
exigencias y reglas. Hay dos que son críticos: el tiempo y el
aislamiento. Los ilustran las largas observaciones
astronómicas y el laboratorio.
La sociedad respecto al tiempo tiene plazos,
urgencias y prioridades. Por otro lado, se trata de un sistema
abierto, entrecruzado de vínculos, asociaciones y
rivalidades. Sin embargo, ¿quién puede resistir la tentación
de preguntarse si una receta tan exitosa en la naturaleza, nos
ayudaría a resolver los numerosos problemas sociales que
reclaman solución?
Precisamente por la característica de sus problemas
la economía avanzó en esa línea y logró grandes avances,
aunque tal vez la fase predictiva ya empezó a revelar algo
de la diferencia esencial entre un campo y el otro. Es la
presencia del hombre, que se había excluido, imaginando
90
un observador objetivo y neutral en el laboratorio, hasta que

su presencia fue detectada por Heisenberg.
b) Ciencia activa
En lo que sigue, nos concentraremos en la ciencia
que informa a la política siguiendo a Funtowicz (Funtowicz
1993). No obstante, ambos tipos de relación entre ciencia y
política no pueden separarse completamente.
Sociológicamente hablando, podría haber conexiones o
incluso solapamientos entre los expertos que informan y los
científicos cuyos intereses se ven afectados por las
decisiones políticas (De Marchi, 2003).
Epistemológicamente hablando, definitivamente
hay conexiones, en el sentido de que las prácticas que hay
que regular están basadas en un cuerpo de conocimientos
que también juega un importante papel en el asesoramiento
político.
El modelo con la ciencia activa supone que la
ciencia determina la política produciendo conocimiento
objetivo, válido y fiable. Desarrollar una política es, de
acuerdo a esto, una cuestión de volverse informado
mediante la ciencia y, entonces, en un segundo paso,
ordenar los valores y preferencias para formular la política
correcta y racional.
La idea de legitimación es central para este
modelo. No es una receta para la articulación de políticas;
está demasiado idealizado para eso. La idea clave es la de
una legitimación doble.
La gobernanza y, más aún, la fundación del estado
moderno está legitimadas por la superioridad de la
racionalidad científica sobre otras formas de pensamiento.

El estado europeo moderno también adoptó gradualmente y
apoyó las instituciones científicas emergentes al extremo de
que consiguieron una posición hegemónica como
productores oficiales de conocimiento.
Las instituciones de la ciencia moderna y del estado
moderno co-evolucionaron, justificadas y sostenidas por la
tradición filosófica moderna. Popper quizás le dio su forma
definitiva: la ciencia es la única garantía de la sociedad
abierta, democrática, y viceversa.
En el análisis de Latour (1993), lo que ocurre es una
ingeniosa división mental del trabajo: por una parte, se da a
la ciencia el derecho de definir (no-humano) la naturaleza y
decir la verdad sobre ella, mientras debe estar limpia de
valores y subjetividad. A las políticas, por otro lado, se les
da el derecho exclusivo de tratar con los valores en la
sociedad, pero deben dejar las cuestiones de hechos y
verdad a la ciencia.
El conseguir hacer pensar según estas líneas a los
ciudadanos de las sociedades modernas es el resultado de
un esfuerzo del cual el modelo moderno forma parte, un
esfuerzo que Latour llama la "purificación del mundo".
En la visión de Latour, la ironía de la modernidad es
que “este trabajo mental de purificación se acompaña por
un trabajo masivo de mediación entre la naturaleza y la
sociedad a través de la ciencia: más y más conexiones entre
los fenómenos naturales y hechos-por-humanos son
establecidas”. Las tecnologías de la vida están cambiando
la condición humana y la actividad humana está cambiando
92
la naturaleza (y tal vez ya ha cambiado irreversiblemente el

clima).
“Es exactamente porque las sociedades modernas
han sido conducidas a pensar que naturaleza y
sociedad/política son completamente diferentes, que han
aceptado e incluso promocionado la aceleración del
desarrollo tecnológico”.
c) Modelos
En la tradición moderna de la Ilustración europea se
pensaba que la relación entre la ciencia y la política era
simple en teoría, si bien complicada en la práctica: la
ciencia informa la política produciendo conocimiento
objetivo, válido y fiable.
Desarrollar una política era entonces una cuestión
de ser informado por la ciencia y, entonces, en un segundo
paso, ordenar políticamente valores y preferencias diversas.
Esta concepción recibe el nombre de “modelo
moderno”. Un rasgo crucial de éste es que se organiza en
torno a la noción de racionalidad. En ella los actores
racionales eligen aquellas opciones políticas que, de
acuerdo a la evidencia científica, satisfacen mejor sus
preferencias.
Actualmente se objeta la adecuación de la tradición
Ilustrada para confrontar desafíos emergentes, tanto del
orden de los problemas, como del lado de las formas
republicanas y participativas que ellas suponen. Se expresa
la necesidad de repensar la relación entre la ciencia y la
gobernanza (incluyendo la política y también las políticas
concretas).
Beck ha discutido cómo las sociedades modernas

producen rutinariamente no sólo bienes sino también males,
en forma de riesgos, debido a los efectos adversos y a
menudo imprevistos del progreso.
La magnitud acumulada y la distribución desigual
de estos riesgos se vuelven gradualmente más severas y
aparentes con el paso de sociedades al estadio
postindustrial, al extremo de convertirse en un rasgo clave
de nuestro tiempo, que él llama segunda modernidad.
Nowotny y otros enfatizan la emergencia de la
investigación de innovaciones pasajeras (el llamado Modo
2) a expensas de las disciplinas universitarias establecidas
y sus celebrados ideales académicos. Desde su punto de
vista, la emergencia del Modo 2 de investigación es una
respuesta lógica a los desarrollos que están teniendo lugar
en la economía y la tecnología y la inadecuación de las
disciplinas universitarias para lidiar con estos problemas.
En su trabajo sobre ciencia postnormal, Funtowicz y Ravetz
han analizado cómo la presencia de incertidumbre
irreductible y complejidad en los asuntos políticos
medioambientales y tecnológicos necesita del desarrollo de
aproximaciones para la resolución de problemas e
interfases entre ciencia y política alternativas, en las cuales
la incertidumbre sea reconocida y la ciencia
conscientemente democratizada.
Finalmente, en la descripción de la condición
postmoderna de Lyotard, varios pensadores han encontrado
inspiración para la investigación de los aspectos
colonialistas e intolerantes de la tradición de la Ilustración
94
que impone sus estándares y modelos de ciencia y

gobernanza sobre el resto de las culturas.
El problema surge entonces,
(1) cuando las complejidades abundan,
(2) las incertidumbres no pueden ser reducidas
a riesgos probabilísticos y
(3) los expertos están en desacuerdo, ellos
mismos son vistos como grupos de interés o,
simplemente, no saben.
Los tres modelos siguientes pueden verse como

intentos de fijar estas anomalías para ajustar y rescatar el
modelo moderno de los retos de la incertidumbre, la
indeterminación y el conflicto de intereses,
respectivamente.
1. El modelo de precaución:
Rescatando el modelo moderno de la incertidumbre
técnica y metodológica.
En los procesos políticos reales, fácilmente se
descubre que los hechos científicos no son ni totalmente
ciertos en sí, ni concluyentes para las políticas. No se puede
asumir que el progreso sea automático.
Los intentos de control sobre los procesos sociales,
los sistemas económicos y el medioambiente pueden fallar,
llevando a veces a situaciones patológicas. Durante las
últimas décadas, la presencia de incertidumbre ha sido
gradualmente reconocida, en particular respecto a los
asuntos medioambientales.
A causa de la "imperfección" en la ciencia, hay un
elemento extra propuesto en las decisiones políticas, la
precaución, que protege y legitima las decisiones de un

modo distinto dentro del modelo moderno. El segundo
modelo para presentar aquí introduce el principio o enfoque
de precaución dentro del modelo moderno.
La Declaración de Río es iluminadora y típica:
[...] Cuando haya peligro de daño grave o
irreversible, la falta de certeza científica absoluta no deberá
utilizarse como razón para postergar la adopción de
medidas eficaces en función de los costos para impedir la
degradación del medio ambiente. (Del Principio 15)
2. El modelo marco:
Rescatando el modelo moderno de la
indeterminación
Cada vez más, la interacción entre los responsables
políticos, los expertos, las partes interesadas y el público en
general es una parte crucial de la elaboración de políticas y,
por eso, hay que prestar atención no sólo al resultado de las
políticas sino también al proceso seguido.
El factor determinante final de la calidad es el
pluralismo. Siempre que sea posible, deben solicitarse
puntos de vista diversos. La diversidad puede venir de
diferencias en el planteamiento científico, en los tipos de
conocimiento, en las diferentes tendencias de las
instituciones asesoras o en el contraste de opiniones sobre
los presupuestos fundamentales en los que se basa la
cuestión.
Según la cuestión de que se trate y la fase del ciclo
de elaboración de políticas, el pluralismo implica también
tener en cuenta conocimientos multisectoriales y
multidisciplinarios, y puntos de vista minoritarios y no
96
conformistas. También pueden ser importantes otros

factores, como diferentes perspectivas geográficas,
culturales y de sexo.
3. El modelo de demarcación:
Rescatando el modelo moderno del conflicto de
intereses
El último ajuste del modelo moderno a considerar
es el modelo de demarcación. Este modelo se asemeja al
modelo marco en el reconocimiento de la existencia de
desacuerdos y prejuicios entre los expertos. Sin embargo,
tanto el diagnóstico como la prescripción son diferentes.
Ahí donde el modelo marco ve la necesidad de especificar
mejor qué valores incluir en el sistema de expertos, el
modelo de demarcación está más preocupado por la
supervisión de los valores que actúan en el proceso de
creación de asesoramiento científico.
El problema principal del modelo de demarcación
es que ya no es funcional excepto en casos de corrupción
claramente delimitados. La filosofía de la ciencia post-
empirista mostró que, en general, es imposible una
separación total entre los hechos y los valores, precisamente
por las propiedades de los sistemas emergentes tales como
la complejidad y la indeterminación. Concretamente,
cuando la situación está altamente polarizada y el conflicto
es evidente, resulta extremamente difícil establecer una
separación impermeable entre evaluación y gestión del
riesgo.
En lo concerniente a los modelos de demarcación,
marco y de precaución, las imperfecciones pueden verse
como una secuencia de intensidad creciente, que admite la

incompletitud, el mal uso y el abuso.
Está todavía el deseo, en cada caso, de que el
vínculo ente la ciencia y la política continúe siendo directo
e inmediato. Los tres modelos dirigen, respectivamente, los
desafíos de la incertidumbre y la complejidad permitiendo
que la precaución modifique a la política, mediante la
inclusión de grupos de interés en el marco de los problemas
de decisión, y protegiendo a los científicos de la
interferencia política.
Sin embargo, la actividad central del modelo
moderno, (el deseo de) el hablar con la verdad a, el (deseo
de) poder de los políticos, queda sin cuestionar y sin
cambio. En lo que sigue, cuestionaremos la legitimidad de
esta actividad central y esbozaremos el modelo alternativo
de política que surge desde este cuestionamiento.
Llamamos a esto el modelo de la participación extendida.
Cuando un asunto político es complejo, las apuestas
de decisión son altas y los hechos son inciertos y/o
disputados, los científicos aún podrían esforzarse por
alcanzar la verdad, pero las diversas "verdades" de los
sistemas sobre las que se debe decidir son simplemente
desconocidas y, en cualquier caso, no disponibles en la
escala temporal de decisión. Esto no implica que el
conocimiento científico sea irrelevante; significa, empero,
que la verdad nunca es un aspecto sustancial del asunto:
"Sin duda, el buen trabajo científico tiene un
producto, que sus fabricantes deberían tratar de hacer que
se correspondiera con la Naturaleza tan estrechamente
como sea posible, y además que fuera conocimiento
98
público. Pero los juicios operantes en el producto son sobre

su calidad, y no sobre su verdad lógica".
El poner o no énfasis en un consejo científico dado
se vuelve una cuestión de evaluar y garantizar su calidad.
En cierta medida, y en ciertos casos, uno podría estar
justificado a simplificar el asunto dividiendo la tarea de
garantizar la calidad en un componente interno y otro
externo.
El componente interno correspondería entonces al
sistema de comunidad de evaluadores de la ciencia
académica en el cual los compañeros científicos examinan
en qué medida el trabajo científico se ha conducido de
acuerdo a los estándares metodológicos de la disciplina.
El componente externo correspondería a la
evaluación de la relevancia política del consejo. En suma,
el asunto de la garantía de la calidad debería ser por lo tanto
dividido en componentes de hechos y valores.
Sin embargo, como se discutió arriba (explicando
los defectos de los modelos marco y de demarcación), tal
simplificación a menudo sería injustificada.
Epistemológicamente, tal división vuelve invisible
la relevancia de los valores políticos para la gama de
elecciones metodológicas en el trabajo científico (la carga
valorativa de los hechos), así como la relevancia de la
información científica para los procesos de gobernanza
dirigidos al establecimiento de criterios de relevancia.
Sociológicamente, la simplificación presupone una
clara división entre los científicos desinteresados y siempre
autocríticos dentro de una academia mertoniana y el público
lego de quien, por un contraste implícito, no se puede

asegurar que posea habilidades críticas.
d) Evidencia
El primer paso en dirección de la solución, ha sido
dado mediante la adopción de los principios de política
basada en la evidencia y de gestión orientada a
resultados.
Sin embargo,
• La evidencia no es tan evidente como se supone.
• Los resultados no son el final del proceso
e) Cambio de paradigma
Estamos frente a una disyuntiva. Porque si la
exclusión del hombre es el requisito imposible del
antiguo paradigma, debemos encontrar la solución en uno
nuevo, que lo incluya de cuerpo entero. Haciendo eso se
abre un campo de nuevas posibilidades y ascendemos un
nivel en nuestra comprensión del mundo y de la sociedad.
¿Qué significa esto en términos del tema que nos
ocupa?
Entre otras cosas, en un proceso como la evaluación
de impacto, debe existir a través de todo su recorrido una
efectiva asociación entre los métodos cuantitativos y
cualitativos, equilibrando la necesaria asepsia y rigor en las
definiciones y procedimientos cuantitativos, con la
sensibilidad, diversidad y colorido del abordaje cualitativo.
Mientas uno mide, el otro interpreta y da sentido al número.
¿Por qué eso es importante? Porque de
interpretaciones y sentidos se nutre el debate público, la
retórica política y, en definitiva, se toman las decisiones.
100
Repetidas veces hemos visto enfrentarse las cifras desnudas

contra interpretaciones o descalificaciones. Se ha dicho
repetidamente que "las estadísticas mienten", pero...
¡cuánto más fácil es mentir sin estadísticas! ... ¿o no?
Resumiendo, el proceso de evaluación de impacto
debe verse como un esfuerzo para "aprender con la
experiencia", aplicando el enfoque científico, que le
permita ser acumulativo y abierto a críticas y mejoras.
Es necesario trabajar para que la evaluación del
impacto de una política, un programa o un proyecto,
basados en análisis y debates previos, pueda volver a ese
fuego original, y ofrecer su balance, que reclame la atención
sobre procedimientos y ajustes en el futuro y sirva de
estímulo al debate.
Sin embargo, para que efectivamente la evaluación
sea un puente entre la investigación científica y las
acciones, será menester resolver las exigencias que plantean
las restricciones de tiempo y de recursos.
III. Información
"El mito es la nada que es todo"

Pessoa
En los capítulos anteriores, se han planteado los
términos de un cambio necesario para acallar el parloteo
insignificante, en medio del cual se deteriora la vida
democrática.
Ese cambio tiene como contenido fundamental, la
incorporación al discurso de datos relevantes, oportunos,
confiables y accesibles, que se reflejan en el acrónimo
ROCA.
Pero no como mero adorno ilustrativo o concesión
ritualista. Deben incluirse como material básico de un
discurso racional, fundamentado y verificable.
El nuevo relato debe ser un esfuerzo sincero para
transmitir un conocimiento y someterlo a crítica y debate.
De ese proceso saldrá ratificado y será conocimiento común
o será observado, corregido y servirá para desechar
hipótesis y modificar rumbos.
a) Las tres caras de la estadística
La información produce un efecto triple (Serra
1998). En primer lugar, tiene un efecto ontológico o "de
realidad". Como el lenguaje, del cual forma parte
indisoluble. Como dice Serra "la información lejos de
102
"representar" o "retratar" una realidad preexistente,

"configura" y "simula" la misma de una manera
determinada.
El otro efecto es pragmático o "de acción". Se
relaciona con el hecho de que la información, una
información determinada u otra, conduce a los hombres a
formarse a sí mismos y a actuar de una cierta manera en
lugar de otra.
Finalmente, y cerrando esta tríada, existe un efecto
político o "de transformación" - que se desprende del
hecho de que siendo la información del orden de la
"memoria", ella contiene en sí el registro de un conjunto de
posibilidades a las que se puede apuntar para la superación
utópica de un presente más o menos cristalizado.
Hernán Otero expresa esa característica de la
Estadística diciendo: "las estadísticas en tanto productos no
son solo insumos a los que el historiador o el cientista social
recurren para reconstruir aspectos de la sociedad sino que
constituyen, además, una imagen en sí misma de la
sociedad, es decir una representación discursiva y
estructurada de acuerdo con reglas internas de
funcionamiento cargadas de sentidos que sobrepasan
ampliamente los alcances del número"(Otero 2006, pág.
18).
El gran Estadístico santafesino Gabriel Carrasco,
director del Censo de 1887 e Intendente de Rosario, expresó
las mismas ideas: "Resulta en todo caso que son los
números los que procuran el conocimiento de la
potencialidad de los hechos, puesto que implícita o
explícita, la cantidad existe como alma mater en la
masa, en la textura o en la función, en cosas, individuos

o agrupaciones."
Es tiempo de hacer finalmente lugar a una retórica
numérica, como parte del proceso de "matematización" del
mundo. En ese sentido conviene no olvidar el aparente
dualismo que caracteriza a la estadística: "la estadística
designa tanto una técnica de análisis de los hechos físicos
y sociales, llevada a cabo mediante útiles intelectuales de
índole matemática, como un producto de la observación
humana de la realidad (una lista numérica, un censo, un
relevamiento de precios)"(Otero 2006, pág. 62).
En rigor la Estadística no está más dividida que
cualquier ciencia dura, como la física, por ejemplo.
Sin duda la estadística exhibe un gran desarrollo
matemático, que se debe valorar adecuadamente, como el
lenguaje requerido por un razonamiento riguroso, exigido
por la misma naturaleza azarosa de su materia y como
instrumento tecnológico que permite contar con
herramientas adecuadas.
No se puede dejar de ver la clara relación entre la
expresión matemática de las teorías estadísticas, como en
cualquier ciencia madura, por un lado y por otro, entre los
aspectos cuantitativos y numéricos que forman parte
indisoluble de los instrumentos de observación y de
medición.
Por su impacto y por la historia de su construcción
y perfeccionamiento el telescopio es un oportuno
paradigma, que ilustra el esfuerzo científico y técnico
puesto en su realización y el impacto que ese instrumento
produjo en el desarrollo de la astronomía. A nadie se le
104
ocurrirá decir que la astronomía, en consecuencia, es

una aplicación de la óptica.
En el campo de observación objeto de nuestro
interés prioritario, como son las cuestiones sociales, los
cuestionarios de encuesta, constituyen un instrumento
fundamental. En ese caso, los formalismos matemáticos
retroceden, y dejan lugar a cuestiones como las que
estudiaron Kahneman y Tversky (Tversky and Shafir 2004)
o a los asuntos que son objeto de interés de la teoría
cognitiva, que se destacan en el continuo percepción,
representación y explicación.
b) Una nueva retórica
Siguiendo adelante, hay que reconocer que en el
terreno de la política la relación lenguaje-número,
todavía responde al viejo sistema heliocéntrico, pre
copernicano. El número está destinado a girar en torno al
discurso retórico en una función meramente ilustrativa y
ritualista.
El proceso debería ordenarse en sentido contrario.
Sobre la base de las observaciones hechas con rigor
científico, se debería desarrollar el discurso
interpretativo y propositivo, que incluya el saber
científico como anclaje del interés común.
Así, el lenguaje retórico y el lenguaje numérico se
combinan en una estructura lingüística compleja y
poderosa, mediante la cual es posible pensar que los
problemas de la sociedad pueden encontrar un tratamiento
más preciso y más acorde con su naturaleza y las soluciones
adoptadas gozarán de mayor consenso, ante el innegable

peso de los hechos.
No podemos permitirnos el lujo de desaprovechar la
contribución que la ciencia puede hacer. En ese propósito
resulta útil recordar el pensamiento del gran físico Feynman
cuando se pregunta ¿Qué es la ciencia? (Feynman 1998,
pág. 2):
"La palabra se utiliza generalmente para significar
una de tres cosas, o una mezcla de ellas. No creo que
necesitemos ser más precisos -porque no siempre es una
buena idea ser demasiado precisos.
• La ciencia significa, a veces, un método
especial de descubrir cosas.
• A veces, significa el cuerpo de
conocimientos resultantes de las cosas
descubiertas.
• También puede significar las nuevas cosas
que usted puede hacer cuando ha encontrado
algo, o el hacer efectivamente cosas nuevas.
Este último campo se suele denominar tecnología,
pero, señala un autor, si nos fijamos en la sección de ciencia
de la revista Time se encontrará que destina alrededor del
50 por ciento a las cosas nuevas que son descubiertas y
alrededor del 50 por ciento a lo que las cosas nuevas pueden
hacer y están siendo hechas. Y así, la definición popular de
ciencia es parcialmente tecnología, también.
Galileo, como padre de la ciencia moderna, y los
aristotélicos protagonizaron una disputa, por lo que dio en
llamar los "cuerpos flotantes".
106
Galileo argumentaba que el hielo flota porque es

más liviano que el agua. En cambio, los aristotélicos
pensaban que lo hacía porque estaba en su naturaleza el
flotar.
El impacto del pensamiento galileano fue grande y
este método, fue usado por muchos filósofos, para aplicarlo
a las formulaciones políticas de la época, caso de Hobbes,
Grocio o Spinoza.
El método se basaba en 4 pautas a seguir:
 Observación
 Elaboración de una hipótesis explicativa
 Deducción
 Experimento o verificación
La transformación de las prácticas dialécticas
actuales, dominadas por los vicios de la erística, es una tarea
que exigirá constancia y tiempo. Será menester que el
sistema educativo forme para el pensamiento crítico y
científico, de manera decidida e incansable.
En ese proceso habrá que formar maestros y
profesores que puedan estimular el aprendizaje y fortalecer
una cultura basada en la evidencia experimental.
Se requiere talento y perseverancia, porque cada
generación cuenta como instrumento fundamental, con el
lenguaje en el punto de desarrollo a que lo han llevado las
generaciones anteriores. Es su herramienta fundamental,
que a su vez deberá mejorar y enriquecer. Marchamos sobre
hombros de gigantes.
Esa incapacidad y abandono del sano habito de
mirar las cosas como son y no contentarse con fantasear
sobre cómo deben ser, hoy nos agota y esteriliza. Como la
España Invertebrada que describió Ortega con quirúrgica

precisión (Ortega y Gasset 1934).
En 1939 José Ortega y Gasset nos decía desde La
Plata: "¡Argentinos, a las cosas, a las cosas! Déjense de
cuestiones previas personales, de suspicacias, de
narcisismos.
De esa manera las sucesivas generaciones serán
adiestradas progresivamente en el manejo de las
herramientas estadísticas. Y la transmisión de este saber
con el tiempo comenzará a elaborarse en el hogar,
adquiriéndolo naturalmente, como el manejo del idioma
materno
c) El alcance de la razón
Por debajo de la periferia de los conflictos
políticos, la revolución científica sigue su curso, al margen
de pasiones, discursos y contorsiones retóricas
y ella es la que lleva a la riqueza o condena a la
mediocridad.
José María Sanguinetti, LA NACION, 26/09/2008
Jacques Maritain, uno de los padres de la

Declaración Universal de los Derechos del Hombre,
expresa al comienzo del libro que da título a este párrafo:
“Los dolores y las esperanzas de nuestro tiempo se
deben indudablemente a causas materiales, a factores
económicos y técnicos que desempeñan un papel esencial
en el movimiento de la historia humana, pero en un plano
más profundo se deben a ideas, al drama en el cual el
espíritu está comprometido, a fuerzas invisibles, que nacen
108
y se desarrollan en nuestra inteligencia y en nuestro

corazón”.
Nada es, pues, más importante que lo que ocurre en
el interior de este universo invisible que es el espíritu del
hombre. Y la luz de ese universo es el conocimiento.
El conocimiento es posible porque el espíritu es
libre, lo que nos permite hacernos preguntas y buscar las
respuestas observando y experimentando.
Pero fundamentalmente nuestra inteligencia
necesita el control y la crítica de los demás, para descubrir
y corregir los errores.
Cuando aventuramos una explicación para las cosas
que pasan, hacemos una teoría. Algún otro puede tener
ideas distintas sobre "las razones" por las cuales pasan los
hechos. ¿Cuál es el remedio? Pues seguir observando,
experimentado y reflexionando sobre los resultados, de tal
forma que se pueda determinar qué teoría es superior a la
otra, por la medida en que se ajuste a los hechos. No es ni
por la fuerza física ni por el peso mayoritario de las
opiniones que se resuelven los problemas del conocimiento.
Para que se lleve a cabo ese proceso de aprendizaje,
se necesita educación. Que no es ni más ni menos que la
forma que tenemos de apropiarnos de lo que aprendió la
humanidad hasta llegar a nosotros.
Pero si todo se detuviera allí, sería adoctrinamiento
dogmático. Es necesario ejercitar la capacidad de seguir
adelante, de modificar y contradecir lo heredado. De
mantener encendido el time-binding de Korzibski, y
entonces, parados en los hombros de las generaciones
anteriores, mirar más lejos en la realidad.
Ese proceso para el cual nos prepara una educación

adecuada, necesita información para desarrollarse. Los
datos son el combustible que permite que se enciendan los
motores del conocimiento y cada generación haga su
experiencia, combinando gratitud y rebeldía.
Los datos forman parte de nuestra experiencia
personal, desde el nacimiento. Sin embargo, los datos para
animar el proceso social del conocimiento, deben reunir
ciertos requisitos, de manera que podamos intercambiar
experiencias, compararlas y acumularlas. Capitalizando las
vivencias de cada uno en un conocimiento del mundo más
amplio, profundo y diverso.
Si los datos son erradicados del centro de la vida
personal y social, ese lugar es ocupado por las mitologías
y los dogmas. La magia pone su colección de fetiches,
amuletos, conjuros y sortilegios en manos de criaturas
espantadas y temerosas de las señales que aparecen en el
cielo y en la tierra, pero entrega su poder esotérico a un
círculo de oráculos, adivinos y brujos.
Si no hay datos, imperan los dogmas. Se imponen a
la indefensa credulidad pública, las afirmaciones más
temerarias, sobre las cuestiones más comunes y corrientes.
Cuando Galileo llevo a cabo sus experimentos, deja
establecido que "las conclusiones alcanzadas por medios
exclusivamente intelectuales son vacías de significado
con respecto a la realidad" (Einstein). ¿Qué significa eso?
Pues que son necesarios datos, resultantes de la observación
y de la experimentación, para lograr el conocimiento.
Nuestra sociedad atraviesa una era que ha sido
bautizada como Era de la Información. Y a la Sociedad se
110
la llama consecuentemente, Sociedad del Conocimiento.

¿Cómo imaginar entonces que aparezcan propuestas
apoyadas en el sincretismo mágico de la creencia impuesta?
¿Cómo ocurre eso?
La esencia del conocimiento científico son los
datos, que estructuran la vía inductiva mientras las razones
que se organizan a partir del análisis y de la interpretación
de los datos son provisorias y siempre están sujetas a un
posible falseamiento por nuevas evidencias o un mejor
análisis de las disponibles.
El mundo dogmático y mágico tuvo su correlato en
formas de poder, donde la cercanía o identificación de los
poderosos con los dioses era natural y corriente. Faraones,
emperadores, Incas y sacerdotes se levantaban entre los
cielos y la tierra. Y nadie podía inmiscuirse en ese diálogo
entre los Titanes y los Dioses.
d) Sobre la estadística y la cultura científica.
La estadística no es solamente cálculos
ni la democracia es solamente comicios.
Las sociedades se organizan y desarrollan en esta
fase de la evolución histórica sobre la base de la
Información y el Conocimiento.
Pero información y conocimiento forman parte del
proceso de aprendizaje. Y cuando el aprendizaje no se
produce por exclusivo imperio de la reflexión interna, sino
que en el proceso de aprender se analiza e interpreta la
experiencia, adoptando el camino de la ciencia
experimental, la Estadística es la herramienta privilegiada
que marca procedimientos y criterios.
La Estadística es un saber que tuvo un explosivo

desarrollo durante el siglo XX y que, sobre la base de
facultades y habilidades naturales del hombre, desarrolla y
sistematiza el tratamiento de la incertidumbre y el riesgo.
Jerzy Neyman describió hace 70 años, las características del
comportamiento estadístico del hombre, sobre el cual se
constituye el edificio de la teoría estadística.
Pero el pensamiento organizado para abordar los
problemas naturales y sociales hoy también constituye un
modo de análisis y debate político, especialmente
importante para el funcionamiento de la democracia.
Se dice que "la información es poder". Y tan cierta
es la relación, que de la información depende que el poder
se manifieste totalitario o republicano. Es impostergable
que se prepare una ciudadanía crítica, que posea los
criterios y las habilidades para apoyar su razonamiento en
los hechos, desarrollando modos de argumentación basados
en el conocimiento.
Cada vez más los ciudadanos se ven expuestos a
datos e información de origen científico, que requieren ser
evaluados e interpretados correctamente. Muchas veces esa
información sirve de sustento o se ofrece como fundamento
para la aprobación de normas legales. Y si no se conoce la
forma de vérselas con ella, pobre será el contenido de los
debates públicos que se desarrollen con ese motivo.
En un proceso de fortalecimiento de las relaciones
de la gente con la ciencia, que se refleje en un mayor interés
por las actividades científicas y en el aumento de las
vocaciones por carreras científicas entre los jóvenes, es
fundamental identificar los "procesos precursores" del
112
pensamiento científico. En ese punto precisamente la

estadística tiene ventajas incomparables para impulsar el
interés por la ciencia y mejorar el entendimiento de su
lógica.
Si se desarrolla el pensamiento crítico, basado en la
observación de los hechos, junto con la disciplina requerida
para le medición objetiva y controlada de las características
de las cosas, incorporando el concepto de la variabilidad en
un contexto influido por el azar de manera generalizada, se
abona el terreno necesario para el desarrollo del
pensamiento y de la práctica científica.
El pensamiento científico tiene atributos que lo
hacen sumamente valioso no solo para la solución de
problemas de alcance general, sino que también
contribuyen a fortalecer una forma de pensamiento objetivo
en cada uno de nosotros.
La estadística ha contribuido durante el último siglo,
y lo continúa haciendo, al progreso de la ciencia. En ese
sentido es una metáfora adecuada el título de la obra que
Karl Pearson, padre de la estadística, titulara "La Gramática
de la Ciencia" y que a comienzos del siglo XX fue utilizada
por Einstein como texto que se discutió en la Academia
Olimpia.
Para que se avance en la dirección señalada por H.G. Wells,
cuando afirmó que "un día la estadística sería tan
importante para el ejercicio de la ciudadanía como
saber leer y escribir" es necesario detenerse y observar
qué oportunidades de aprender estadística están disponibles
en nuestra sociedad. Por ejemplo ¿qué ocurre actualmente
con la enseñanza de la Estadística en los niveles elemental

y medio? ¿Cómo se enseña estadística en la universidad?
Es urgente responder a esos interrogantes y de esa
manera acelerar nuestro acercamiento al futuro anunciado
por Wells.
Esa urgencia se basa en que mientras no estemos en
condiciones de hacernos cargo de la evidencia, mientras los
hechos no sean organizados en forma de datos, mientras no
se elabore la experiencia acumulada en la memoria a través
de la percepción, las alternativas para responder a la
inquietante e incómoda incertidumbre, son conocidas:
instinto, anécdotas o dogmas.
Esos recursos determinan estrategias basadas en
acciones mágicas e indiscutibles. En realidad, son opciones
incorregibles, porque no hay relación entre ellas y el estado
de cosas al que se dirigen, lo que marca la diferencia
esencial con el aprendizaje científico, que se edifica sobre
la idea de la prueba y el error, donde lo que prevalece es la
honradez intelectual en la búsqueda de la verdad, más allá
de los resultados obtenidos, siempre provisorios y sujetos a
un escrutinio constante.
Los modelos descriptos generan diferentes
expresiones de poder. De la misma forma que su estrategia,
el pensamiento mágico es incorregible y se asocia a un
poder absoluto e invariable.
El modelo científico, requiere del ejercicio
constante del pensamiento crítico, cuyo origen es la
experiencia y el conocimiento acumulado. Esas
características lo asocian a una sociedad republicana donde
114
el poder está distribuido y su ejercicio en consecuencia se

resuelve democráticamente.
El éxito de este modelo de pensamiento, se verifica
con los avances tecnológicos alcanzados, los que
representan ni más ni menos, que un entendimiento cada
vez mayor del mundo.
Sin embargo, el valor de esos logros se debe
también a una actitud moral orientada a la búsqueda de la
verdad y abierta a las críticas. Ese orden mental aplicado a
los asuntos públicos contribuye sin duda a la organización
de mejores instituciones.
Entonces la relación entre información y poder,
llega a ser constructiva, con procedimientos claros para
arbitrar diferencias y elaborar consensos que contribuyan al
bien común.
IV. Referencias
1. Básicas
Feynman, R. P. (1998). The meaning of it all: thoughts of a citizen
scientist. Reading, Mass., Perseus Books.
Ortega y Gasset, E. (1934). España invertebrada: bosquejo de algunos
pensamientos históricos. Madrid, Revista de Occidente.
Otero, H. n. (2006). Estadística y Nación: una historia conceptual del
pensamiento censal de la Argentina moderna, 1869-1914.
Ciudad de Buenos Aires, Prometeo Libros.
Serra, J. P. (1998). A informaçâo como utopia. Covilhâ, Universidade
da Beira Interior.
Tversky, A. and E. Shafir (2004). Preference, belief, and similarity:
selected writings. Cambridge, Mass., MIT Press.
Latour, Bruno. 1992. Ciencia en acción: cómo seguir a los científicos e
ingenieros a través de la sociedad. Barcelona: Labor.
———. 2007. Nunca Fuimos Modernos. Siglo Veintiuno Editores
Argentina.
Gibbons, Michael, Camille Limoges, Helga Nowotny, Simon
Schwartzman, Peter Scott, and Martin Trow. 1994. The New
Production of Knowledge: The Dynamics of Science and
Research in Contemporary Societies. Edited by SAGE. Sage
Publications.
Gibbons, Michael, Camille Limoges, Martin Trow, “La nueva
producción del conocimiento. La dinámica de la ciencia y la
investigación en las sociedades contemporáneas.” Ediciones
Pomares Corredor S A. 1997.
116
Echt, Leandro, and Shahenda Suliman. 2016. “Going beyond ‘Context

Matters.”
2. Argumentación
Apostel, Leo. n.d. “Logique et Dialectique.”

Baron, Jonathan. 2008. Thinking and Deciding,.
Bishop, Michael a., and J. D. Trout. 2005. Epistemology
and the Psychology of Human Judgment.
Eemeren, Frans H. van, and Rob Grootendorst. 2003. A
Systematic Theory of Argumentation: The Pragma-
Dialectical Approach. Cambridge: Cambridge
University Press.
Gilovich, Thomas. 1991. How We Know What Isn’t So:
The Fallibility of Human Reason in Everyday Life.
How We Know What Isn’t so The Fallibility of
Human Reason in Everyday Life.
Gottwald, Siegfried. 2007. “Many-Valued Logics.”
Philosophy of Logic, no. May 2005: 675–722.
doi:10.1016/B978-044451541-4/50021-X.
Haenni, R. 2005. “Towards a Unifying Theory of Logical
and Probabilistic Reasoning.” Isipta 5 (4): 1.
Heyting, Arend. 1955. “Les Fondements Des
Mathématiques. Intuitionisme, Théorie de la
Démonstration.”
Kendall, Graham, Xin Yao, and Siang Chong. 2007. The
Iterated Prisoner´s Dilemma 20 Years On.
Parsons, Craig. 2007. How to Map Arguments in Political

Science. Oxford ; New York: Oxford University
Press.
Perelman, Ch., Olbrechts.tyteca, L. 1989. Tratado de la
Argumentación : La Nueva Retórica.
Thomas Gilovich, Dale Griffin, and Daniel Kahneman.
2002. “Heuristica and Biases:Psychology of Intuitive
Judgement.”
Veiarde, Juuan. 1978. “Lógica Polivalente.” El Basilico,
no. 1: 93–99.
118
Evaluación
120
I. Círculo de la evaluación
Conozca cómo la evaluación del programa hace

que sea más fácil para todos los involucrados en el trabajo
de salud y desarrollo de la comunidad evaluar sus
esfuerzos.
El Gráfico 1 condensa los elementos que estructuran
el proceso de evaluación.
El proceso de evaluación se desarrolla en el tiempo,
Gráfico 1
involucrando a distintos participantes y está sujeto a ciertos

criterios valorativos, que calificaran sus conclusiones.
En la figura se representan los pasos o etapas
principales por los que circula la evaluación y en el
recuadro central, los estándares que proporcionan los
criterios que orientan en el desarrollo de las respectivas

actividades en cada paso.
En los dos títulos siguientes se enumeran los
detalles que caracterizan a cada uno de dichos elementos. A
continuación, en el título V, se esquematiza en una tabla la
aplicación de los criterios a cada etapa, estableciendo la
base de la puntuación en los casos reales.
1. Pasos.
1. Hacer participar a las partes interesadas.
2. Describir el programa.
3. Centrarse en el diseño de la evaluación.
4. Recopilar evidencia creíble.
5. Conclusiones justificadas.
6. Asegurar que se usen y compartan las lecciones
aprendidas.
2. Estándares.
a) Utilidad.
b) Viabilidad.
c) Corrección.
d) Precisión.
e) Responsabilidad de evaluación.
122
II. Criterios de valoración
Bajo el nombre de estándares, se hace referencia a

los distintos criterios de valoración que, a través de los
pasos del desarrollo, permitirán calificar a la evaluación.
La evaluación de programas abarca criterios en
cinco categorías: utilidad, viabilidad, conveniencia,
precisión y responsabilidad de la evaluación.
Es fácil notar que la evaluación misma, para su
aplicación, debe dar un giro sobre sí misma y producir lo
que podríamos llamar, “la evaluación de la evaluación”, o
“metaevaluación”, como se verá más adelante (pág. 248,
Parte A I )
Las categorías y sus criterios componentes se
reproducen a continuación
1. Criterios de Utilidad
Los estándares de utilidad tienen la finalidad de
calificar la medida en la que las partes interesadas del
programa consideran valiosos los procesos y productos de
la evaluación en cuanto a la satisfacción de sus necesidades.
U1 Credibilidad del evaluador: las evaluaciones
deben llevarse a cabo por personas calificadas que
establezcan y mantengan la credibilidad en el contexto de
la evaluación.
U2 Atención a las partes interesadas: las

evaluaciones deben dedicar atención a la gama completa de
personas y grupos involucrados en el programa y afectados
por su evaluación.
U3 Propósitos negociados: los propósitos de la
evaluación se deben identificar y negociar continuamente
según las necesidades de las partes interesadas.
U4 Valores explícitos: las evaluaciones deben
aclarar y especificar los valores individuales y culturales
que fundamentan los propósitos, procesos y juicios.
U5 Información relevante: la información de la
evaluación debe atender las necesidades identificadas y
emergentes de las partes interesadas.
U6 Procesos y productos significativos: las
evaluaciones deben construir actividades, descripciones y
juicios de tal manera que estimulen a los participantes a
redescubrir, reinterpretar o revisar sus interpretaciones o
conductas.
U7 Comunicación e informes puntuales y
apropiados: las evaluaciones deben atender las
necesidades continuas de información de sus múltiples
audiencias.
U8 Inquietud sobre consecuencias e influencia:
las evaluaciones deben promover el uso responsable y
adaptable, a la vez que proteger de los imprevistos, las
consecuencias negativas o el mal uso.
2. Criterios de Viabilidad
Estos criterios tienen la finalidad de aumentar la
efectividad y eficiencia de la evaluación.
124
V1 Gestión de proyectos: las evaluaciones deben

utilizar estrategias efectivas de gestión de proyectos.
V2 Procedimientos prácticos: los procedimientos
de evaluación deben ser prácticos y responder al modo en
que opera el programa.
V3 Viabilidad contextual: las evaluaciones deben
reconocer, monitorear y equilibrar los intereses y las
necesidades culturales y políticas de las personas y los
grupos.
V4 Uso de recursos: las evaluaciones deben utilizar
los recursos de manera efectiva y eficiente.
3. Criterios de Corrección
En esta categoría los criterios aseguran la ejecución
de lo que resulte apropiado, equitativo, legal, correcto y
justo en las evaluaciones.
C1 Orientación receptiva e inclusiva: las
evaluaciones deben ser receptivas para las partes
interesadas y sus comunidades.
C2 Acuerdos formales: los acuerdos de evaluación
deben negociarse para explicitar las obligaciones y tener en
cuenta las necesidades, las expectativas y los contextos
culturales de los clientes y otras partes interesadas.
C3 Derechos humanos y respeto: las evaluaciones
deben estar diseñadas y realizarse para proteger los
derechos humanos y legales y mantener la dignidad de los
participantes y demás partes interesadas.
C4 Claridad y equidad: las evaluaciones deben ser
comprensibles y equitativas al abordar las necesidades y los
propósitos de las partes interesadas.
C5 Transparencia y divulgación: las evaluaciones

deben proporcionar descripciones completas de los
hallazgos, las limitaciones y conclusiones para todas las
partes interesadas, a menos que hacerlo viole las
obligaciones legales o de corrección.
C6 Conflictos de interés: las evaluaciones deben
identificar abierta y honestamente y abordar los conflictos
de interés reales o percibidos que pueden poner en riesgo la
evaluación.
C7 Responsabilidad fiscal: las evaluaciones deben
rendir cuentas de todos los recursos utilizados y cumplir
con procedimientos y procesos fiscales sólidos
4. Criterios de Precisión
Estos criterios tienen el propósito de aumentar la
fiabilidad y veracidad de las representaciones,
proposiciones y hallazgos de la evaluación, especialmente
aquellos que apoyan las interpretaciones y juicios de la
calidad.
P1 Conclusiones y decisiones justificadas: las
conclusiones y decisiones de la evaluación deben
justificarse explícitamente en las culturas y contextos en los
cuales tienen consecuencias.
P2 Información válida: la información de la
evaluación debe atender los propósitos deseados y apoyar
interpretaciones válidas.
P3 Información confiable: los procedimientos de
evaluación deben proporcionar información
suficientemente confiable y coherente para los usos
deseados.
126
P4 Descripciones explícitas del programa y el

contexto: las evaluaciones deben documentar los
programas y sus contextos con el debido detalle y examinar
los propósitos de la evaluación.
P5 Gestión de la información: las evaluaciones
deben emplear métodos sistemáticos de recopilación,
revisión, verificación y almacenamiento de la información.
P6 Diseños y análisis sólidos: las evaluaciones
deben emplear diseños y análisis técnicamente adecuados
que resulten apropiados para los propósitos de la
evaluación.
P7 Razonamiento explícito de la evaluación: el
razonamiento de la evaluación que conduce de la
información y los análisis a los hallazgos, las
interpretaciones, las conclusiones y los juicios debe estar
claro y completamente documentado.
P8 Comunicación e informes: las comunicaciones
de la evaluación deben tener el alcance y la protección
adecuados contra conceptos erróneos, prejuicios,
distorsiones y errores.
5. Criterios de Responsabilidad
Los componentes de esta categoría estimulan la
documentación adecuada de las evaluaciones y una
perspectiva meta evaluativa centrada en la mejora y
responsabilidad de los procesos y productos de la
evaluación.
E1 Documentación de la evaluación: las
evaluaciones deben documentar en forma completa sus
propósitos negociados y diseños implementados,
procedimientos, datos y resultados.
E2 Metaevaluación interna: los evaluadores deben

utilizar estos y otros estándares aplicables para examinar la
responsabilidad del diseño de la evaluación, los
procedimientos empleados, la información recopilada y los
resultados.
E3 Metaevaluación externa: los patrocinadores,
clientes, evaluadores y otras partes interesadas de la
evaluación del programa deben estimular el desarrollo de
metaevaluaciones externas que utilicen estos y otros
estándares aplicables
128
III. Estándares Resumen

Esta lista difiere levemente de la utilizada en
Criterios de valoración, pág. 122. Se incluye porque ha sido
originalmente utilizada en el análisis conjunto de estándares
y pasos, y responde a las llamadas de la tabla incluida en la
pág.161, Parte D V Estándares
a) Normas de Utilidad
Los siguientes estándares de utilidad aseguran que
una evaluación satisfaga las necesidades de información de
la intención usuarios:
A. Identificación de los interesados. Las personas
involucradas o afectadas por la evaluación deben
identificarse de manera que sus necesidades pueden
abordarse.
B. Credibilidad del evaluador Las personas que
realizan la evaluación deben ser confiables y competentes
al realizar la evaluación de los hallazgos para lograr la
máxima credibilidad y aceptación.
C. Alcance y selección de la información. La
información recopilada debe abordar las preguntas
pertinentes con respecto al programa y ser receptivo a las
necesidades e intereses de los clientes y otros partes
interesadas
D. Identificación de valores. Las perspectivas, los
procedimientos y el razonamiento utilizados para
interpretar los hallazgos debe describirse cuidadosamente
para que las bases de los juicios de valor sean claras.
E. Informe claridad. Los informes de evaluación

deben describir claramente el programa que se evalúa,
incluidos su contexto y los propósitos, procedimientos y
hallazgos de la evaluación para que la información esencial
se proporciona y se entiende fácilmente.
F. Informar la puntualidad y la difusión. Los
hallazgos provisionales sustanciales y los informes de
evaluación deberían ser difundido a los usuarios previstos
para que puedan ser utilizados de manera oportuna.
G. Impacto de la evaluación. Las evaluaciones
deben planificarse, realizarse e informarse de forma que
fomenten seguimiento por parte de los interesados para
aumentar la probabilidad de que se utilice la evaluación.
b) Normas de Viabilidad
Los siguientes estándares de viabilidad garantizan
que una evaluación sea realista, prudente, diplomática y
sobria:
A. Procedimientos prácticos. Los procedimientos
de evaluación deben ser prácticos mientras se necesita
información obtenido para mantener la interrupción a un
mínimo.
B. Viabilidad política. Durante la planificación y
la realización de la evaluación, se debe considerar las
posiciones variadas de los grupos de interés para que su
cooperación se pueda obtener y sea posible los intentos de
cualquier grupo para restringir las operaciones de
evaluación o para sesgar o aplicar erróneamente los
resultados pueden ser evitado o contrarrestado.
130
C. Costo-efectividad. La evaluación debe ser

eficiente y producir información valiosa para justificar
recursos gastados.
c) Normas de Corrección
Las siguientes normas de Corrección garantizan que
la evaluación se lleve a cabo de forma legal, ética y con
consideración por el bienestar de los involucrados en la
evaluación, así como aquellos afectados por sus resultados:
A. Orientación al servicio. La evaluación debe
diseñarse para ayudar a las organizaciones a abordar y
sirviendo efectivamente las necesidades de los participantes
seleccionados.
B. Acuerdos formales. Todas las partes principales
involucradas en una evaluación deben acordar por escrito
con sus obligaciones (es decir, qué se debe hacer, cómo, por
quién y cuándo) para que cada uno se adhiera a las
condiciones del acuerdo o renegociarlo.
C. Derechos de sujetos humanos. La evaluación
debería [K: ¿debe? B: El texto aprobado por ANSI dice
"Debería"] diseñarse y realizarse de una manera que respete
y proteja los derechos y el bienestar de sujetos humanos.
D. Interacciones humanas. Los evaluadores deben
interactuar respetuosamente con otras personas asociadas
con una evaluación, para que los participantes no sean
amenazados o perjudicados.
E. Evaluación completa y justa. La evaluación
debe ser completa y justa en su examen y
registro de las fortalezas y debilidades del programa

para que las fortalezas se puedan mejorar y áreas
problemáticas abordadas.
F. Divulgación de los hallazgos. Las partes
principales de una evaluación deben garantizar que la
evaluación completa los hallazgos con las limitaciones
pertinentes se ponen a disposición de las personas afectadas
por la evaluación y cualquier otro con derechos legales
expresados para recibir los resultados.
G. Conflicto de intereses. El conflicto de intereses
debe manejarse abierta y honestamente para que los
procesos de evaluación y los resultados no están
comprometidos.
H. Responsabilidad fiscal. La asignación del
evaluador y el gasto de recursos debe reflejar el sonido
procedimientos de rendición de cuentas siendo prudente y
éticamente responsable, de modo que los gastos sean
responsable y apropiado.
d) Normas de Precisión
Los siguientes estándares de precisión garantizan
que una evaluación transmita información técnicamente
adecuada con respecto a las características determinantes
del mérito del programa:
A. Documentación del programa. El programa
que se evalúa debe documentarse claramente y
precisamente.
B. Análisis de contexto. El contexto en el que
existe el programa debe examinarse con suficiente detalle
para identificar influencias probables en el programa.
132
C. Propósitos y procedimientos descritos. Los

propósitos y procedimientos de la evaluación deben ser
monitoreado y descrito con suficiente detalle para
identificarlos y evaluarlos.
D. Fuentes de información defendibles. Las
fuentes de información utilizadas en una evaluación de
programa deben ser descrito con suficiente detalle para
evaluar la idoneidad de la información.
E. Información válida. Los procedimientos de
recopilación de información deberían desarrollarse e
implementarse para garantizar una interpretación válida
para el uso previsto.
F. Información confiable. Los procedimientos de
recopilación de información deberían desarrollarse e
implementarse para garantizar información suficientemente
confiable para el uso previsto.
G. Información sistemática. La información
recopilada, procesada e informada en una evaluación debe
ser Revisado sistemáticamente y corregido cualquier error.
H. Análisis de información cuantitativa. La
información cuantitativa debe analizarse adecuadamente y
sistemáticamente para que las preguntas de evaluación sean
respondidas de manera efectiva.
I. Análisis de información cualitativa. La
información cualitativa debe analizarse adecuadamente y
sistemáticamente para responder preguntas de evaluación
de manera efectiva.
J. Conclusiones justificadas. Las conclusiones
alcanzadas deben estar explícitamente justificadas para las
partes interesadas evaluación.
K. Informes imparciales. Los procedimientos de

notificación deben proteger contra la distorsión causada por
el sentimiento personal y prejuicios de cualquiera de las
partes involucradas en la evaluación para reflejar los
hallazgos de manera justa.
L. Metaevaluación. La evaluación debe evaluarse
de manera formativa y sumativa contra estas y otras normas
pertinentes para orientar su conducta adecuadamente y, al
finalizar, para permitir el examen de sus fortalezas y
debilidades por los interesados.
134
IV. Pasos
Resulta conveniente organizar las tareas
estableciendo la forma y el momento en que las distintas
partes intervienen en el desarrollo de la evaluación. Sin
embargo, que se debe tener en cuenta la interdependencia,
tanto entre los actores como entre las actividades, lo que se
pone de manifiesto en la necesidad de llevar a cabo
retroalimentaciones regularmente.
A continuación, se presenta la secuencia básica de
siete pasos que se recomienda seguir en el desarrollo del
proceso
a) Hacer participar a las partes interesadas
1. Elementos esenciales
Identificar y hacer participar a los tres grupos
principales de partes interesadas, por diversas razones en la
evaluación y en la forma en que se utilizará la información:
• Las personas involucradas en las operaciones del
programa (p. ej., donantes o fuentes de fondos;
administradores, gerentes o personal del
programa involucrados en la planificación o
implementación)
• Las personas a las que el programa brinda
servicios o afectadas por el programa directa o
indirectamente (p. ej., participantes y los
miembros de sus familias; organizaciones
comunitarias; funcionarios electos; asociaciones
u organizaciones profesionales relevantes al
programa o las poblaciones a las que se brindan

los servicios)
• Los usuarios primarios de la evaluación, o sea
quienes harán o decidirán algo relacionado con el
programa, basándose en la evaluación
2. Aclaraciones y consideraciones
Las perspectivas e interpretaciones de las partes
interesadas, con relación al programa y la evaluación, deben
tomarse en cuenta en el trabajo durante cada uno de los
pasos a seguir.
La naturaleza y el grado de participación de las
partes interesadas en la evaluación variarán según el
contexto o entorno, la persona y la organización (p. ej.,
participación limitada a la recepción de información o
actualizaciones a lo largo de la evaluación, participación
directa en el diseño y la implementación de la evaluación,
ayudar o facilitar la resolución de desacuerdos relacionados
con el trabajo).
Deben identificarse los usuarios primarios de la
evaluación en las etapas más tempranas de la planificación
y se los debe hacer participar a lo largo de la evaluación,
para comprender y satisfacer sus necesidades de
información.
3. Involucrar a las partes interesadas
Definición
Fomentar el aporte, la participación y compartir el
poder entre aquellas personas que tienen intereses, de
distinta naturaleza, en la realización de la evaluación y sus
136
hallazgos; es especialmente importante involucrar a los

usuarios principales de la evaluación.
Para qué
Ayuda a aumentar las posibilidades de que la
evaluación sea útil; puede mejorar la credibilidad de la
evaluación, aclarar roles y responsabilidades, mejorar la
competencia cultural, ayudar a proteger a los sujetos
humanos y evitar conflictos de interés reales o percibidos.
Actividades
• Consultar a "internos" (por ejemplo, líderes,
personal, clientes y fuentes de financiación de programas)
y "externos" (por ejemplo, escépticos);
• Hacer un esfuerzo especial para promover la
inclusión de los grupos o individuos menos poderosos;
• Coordinar el aporte de las partes interesadas a lo
largo del proceso de diseño, operación y uso de la
evaluación; y
• Evitar la identificación discriminatoria de las
partes interesadas, lo que podría impedir el progreso de la
evaluación.1
1
Adaptado del Comité Conjunto de Estándares para
la Evaluación Educativa. Estándares de evaluación del
programa: cómo evaluar las evaluaciones de los programas
educativos. 2nd ed. Thousand Oaks, CA: Sage
Publications,1994.
b) Describir el programa.
• Describir los aspectos de programa con detalles
suficientes para asegurar una comprensión
compartida de lo evaluado (es decir, el programa
o los componentes del programa a evaluar):
• Necesidad: la naturaleza y magnitud del problema
u oportunidad que el programa apunta a abordar
• Efectos esperados: lo que el programa debe llevar
a cabo o lograr para ser considerado exitoso
• Actividades: lo que hace el programa para crear o
contribuir con el cambio presentado en una
progresión o secuencia lógica
• Recursos: activos disponibles para planificar y
llevar a cabo actividades (p. ej., recursos humanos
y fiscales, información o evidencia relevante al
programa)
Etapa de desarrollo: la madurez del programa
• Contexto: entorno e influencias ambientales
relevantes al programa o la evaluación (p. ej.,
condiciones sociales o económicas, esfuerzos de
otras organizaciones para abordar necesidades
iguales o similares)
• Modelo lógico: imagen o resumen del
mecanismo de cambio de programa (es decir, la
progresión de los procesos del programa a los
138
beneficios o resultados), incluyendo cómo y por

qué esperamos que los elementos iniciales, las
actividades y los resultados del programa causen
los resultados deseados o contribuyan con ellos
(es decir, el conocimiento ola evidencia que se
utilizan para informar el diseño del programa)
La calidad de la descripción del programa se
mejorará por medio de la consulta con diversas partes
interesadas acerca de sus interpretaciones del programa o la
observación directa de las actividades.
3. Describir el programa
Definición
Examinar las características del programa que se
evalúa, incluido su propósito y lugar en un contexto de
salud pública más amplio. La descripción incluye
información sobre la forma en que se pretendía que el
programa funcionara y la forma en que realmente se
implementó. También incluye características del contexto
del programa que probablemente influyan en las
conclusiones con respecto al programa.
Para qué
Mejorar la equidad y la precisión de la evaluación;
permite una evaluación equilibrada de las fortalezas y
debilidades y ayuda a las partes interesadas a comprender
cómo las características del programa encajan y se
relacionan con un contexto más amplio.
Actividades
• Caracterizar la necesidad (o conjunto de
necesidades) abordadas por el programa;
• Enumerar las expectativas específicas como
metas, objetivos y criterios para el éxito;
• Aclarar por qué se cree que las actividades del
programa conducen a los cambios esperados;
• Dibujar un modelo lógico explícito para ilustrar las
relaciones entre los elementos del programa y los cambios
esperados;
• Evaluar la madurez o etapa de desarrollo del
programa;
• Analizar el contexto dentro del cual opera el
programa;
• Considerando cómo el programa está vinculado a
otros esfuerzos en curso; y
• Evitar la creación de una descripción demasiado
precisa para un programa que está en desarrollo.
c) Centrarse en el diseño de la evaluación

No todas las opciones para el diseño de la
evaluación dan como resultado información utilizable que
satisfaga las necesidades de las partes interesadas. Para
establecer parámetros importantes para la evaluación,
defina todos los siguientes puntos:
• Propósito: los propósitos comunes de la
evaluación del programa en salud pública
incluyen mejorar el conocimiento o comprensión
del programa, proveer datos o información para
140
mejorar el programa, determinar los efectos del

programa o afectar el cambio entre los
participantes del programa o la evaluación
• Usuarios: las personas específicas que se espera
que reciban los hallazgos de la evaluación para su
consideración o para llevar a cabo una acción
• Usos: las formas específicas en las que la
información de la evaluación se aplicará para
cumplir con los propósitos de la evaluación
• Preguntas: definir con precisión qué aspectos del
programa se abordarán
• Métodos: cómo se recopilará información creíble
para lograr el propósito de la evaluación, abordar
las preguntas de la evaluación y cumplir con los
usos deseados
• Acuerdos: resumir los procedimientos y
responsabilidades relativas a la realización de la
evaluación (p. ej., procedimientos o resguardos
para proteger sujetos humanos, cómo se utilizarán
los recursos, el plazo para la implementación o
informe)
No se puede sobrevalorar la importancia de los
debates con las partes interesadas a fin declarar el
propósito de la evaluación, los usuarios y usos deseados, las
preguntas específicas de la evaluación a abordar, los
métodos y acuerdos.
Cada método tiene sus propios prejuicios y

limitaciones; en muchos casos, el uso de diseños de
métodos combinados (es decir, el uso de varios métodos de
recopilación de datos para abordar la misma pregunta de la
evaluación) mejora la calidad o riqueza de la indagación.
3. Enfocando el diseño de evaluación
Definición
Planificar con anticipación hacia dónde se dirige la
evaluación y qué pasos se seguirán; el proceso es iterativo
(es decir, continúa hasta que se encuentre una propuesta
"enfocada" para responder preguntas de evaluación con
métodos que los interesados acuerden serán útiles, factibles,
ético y preciso); las preguntas y los métodos de evaluación
pueden ajustarse para lograr una combinación óptima que
facilite el uso por parte de los usuarios principales.
Para qué
Proporciona inversión en calidad; aumenta las
posibilidades de éxito de la evaluación al identificar
procedimientos prácticos, políticamente viables y
rentables; no planear bien puede ser contraproducente, lo
que lleva a una evaluación que podría volverse
impracticable o inútil; cuando las partes interesadas
acuerdan un enfoque de diseño, se utiliza a lo largo del
proceso de evaluación para mantener el proyecto en el buen
camino.
Actividades
142
• • Reunión con las partes interesadas para aclarar

el propósito de la evaluación;
• Aprender qué personas están en condiciones de
utilizar los hallazgos, y luego orientar el plan para
satisfacer sus necesidades;
• Comprender cómo se usarán los resultados de la
evaluación;
• Escribir preguntas de evaluación explícitas para
ser respondidas;
• Describir los métodos prácticos para el muestreo,
la recopilación de datos, el análisis de datos, la
interpretación y el juicio;
• Preparar un protocolo o acuerdo por escrito que
resuma los procedimientos de evaluación, con
roles y responsabilidades claros para todas las
partes interesadas; y
• Revisar partes o todo el plan de evaluación
cuando cambien las circunstancias críticas.
d) Recopilar evidencia creíble
Se incluyen cinco elementos que probablemente
ejerzan influencia en las percepciones de la credibilidad de
la evidencia recopilada como parte de la evaluación:
• Indicadores (datos documentables o medibles
relacionados con lo evaluado3): seleccione los
indicadores que brinden información confiable y

válida relevante a las preguntas de la evaluación
• Fuentes: utilice varias fuentes de evidencia para
incorporar diferentes perspectivas o
comprensiones del programa que se está
evaluando; se deben explicitar los criterios
utilizados para seleccionar las fuentes para
informar las evaluaciones de la credibilidad de la
evidencia
• Calidad: los datos o la información recopilada
deben satisfacer las expectativas de las partes
interesadas y los umbrales de la credibilidad (p.
ej., adecuación e integridad de la información)
• Cantidad: estime la cantidad de datos o
información necesaria y asegure que todos los
datos a recopilar coincidan con un uso deseado
predeterminado
• Logística: la infraestructura y los métodos
utilizados para recopilar y manejar datos o
información
Para evitar o limitar las inquietudes relacionadas
con la calidad de los datos o errores de interferencia,
consulte con los expertos o especialistas en metodología de
evaluación.
Un modelo lógico sólido del programa puede
utilizarse para ayudar a identificar una gama de indicadores
144
desde elementos iniciales y actividades hasta el desenlace o

los resultados deseados.
Los factores culturales pueden indicar las formas
aceptables o apropiadas de completar el trabajo en este paso
del Marco y en otros.
Los peligros asociados con el uso de indicadores
como la única base para la toma de decisiones relacionadas
con el programa están debidamente documentados y deben
ser considerados en las etapas tempranas de la
planificación.
3. Recopilación de evidencia creíble
Definición
Compilar información que los interesados perciben
como confiable y relevante para responder sus preguntas.
Tal evidencia puede ser experimental u observacional,
cualitativa o cuantitativa, o puede incluir una mezcla de
métodos. Los datos adecuados pueden estar disponibles y
ser de fácil acceso, o puede ser necesario definirlos y
recopilar nuevos datos. Si un cuerpo de evidencia es creíble
para las partes interesadas puede depender de factores como
la forma en que se formularon las preguntas, las fuentes de
información, las condiciones de recopilación de datos, la
confiabilidad de la medición, la validez de las
interpretaciones y los procedimientos de control de calidad.
Para qué
Mejora la utilidad y precisión de la evaluación; guía
el alcance y la selección de información y da prioridad a las
fuentes de información más defendibles; promueve la
recopilación de información válida, confiable y sistemática

que es la base de cualquier evaluación efectiva.
Actividades
Elegir indicadores que aborden de manera
significativa las preguntas de evaluación;
Describiendo completamente los atributos de las
fuentes de información y la razón de su selección;
Establecer procedimientos claros y capacitar al
personal para recopilar información de alta calidad;
Monitorear periódicamente la calidad de la
información obtenida y tomar medidas prácticas para
mejorar la calidad;
Estimar de antemano la cantidad de información
requerida o establecer criterios para decidir cuándo dejar de
recopilar datos en situaciones en las que se usa un proceso
iterativo o evolutivo; y
Salvaguardar la confidencialidad de la información
y las fuentes de información.
e) Justificar las conclusiones

Las conclusiones deben estar debidamente
vinculadas con la evidencia y reflejar las normas o valores
acordados con las partes interesadas. El Marco incluye
cinco elementos necesarios para justificar las conclusiones:
• Normas: cuando se ponen en práctica, las
normas establecen criterios o reglas mediante las
cuales se juzgará el programa (p. ej., los
146
elementos utilizados para determinar si un

programa es exitoso o no lo es
• Análisis y síntesis: ya sea al aislar los hallazgos
claves (análisis) o combinar fuentes de datos para
alcanzar mayores conclusiones sobre lo evaluado
(síntesis), todas las decisiones relacionadas con la
organización, la clasificación, la determinación de
interrelaciones o comparaciones de datos y la
presentación de información deben guiarse por las
preguntas que debe tratar la evaluación, los tipos
de datos recopilados y los elementos iniciales de
las partes interesadas
• Interpretación: el trabajo de descubrir qué
significan los hallazgos; la recopilación y el
análisis de datos no son suficientes para sacar
conclusiones relacionadas con el programa
• Juicios: afirmaciones relacionadas con el mérito,
el valor o la importancia del programa o los
componentes del programa; considere los
hallazgos y las interpretaciones de los hallazgos
teniendo en cuenta las normas acordadas con las
partes interesadas
• Recomendaciones: las acciones específicas que
deben considerarse basándose en la evaluación; la
preparación de estas recomendaciones requiere
información que va más allá de lo que se necesita
para emitir juicios relacionados con el mérito o
valor del programa
Las técnicas para análisis y síntesis de datos deben
debatirse y determinarse antes de iniciar la recopilación de
datos.
El desacuerdo relacionado con la calidad o el valor
del programa puede indicar que las partes interesadas están
utilizando criterios diferentes como base para emitir juicios
y ofrece una oportunidad para la aclaración o negociación
entre las partes interesadas.
Emitir recomendaciones para la acción que carezcan
de evidencia suficiente puede socavar la credibilidad de la
evaluación.
3. Justificando conclusiones
Definición
Los reclamos y observaciones con respecto al
programa se harán sobre la base de datos que han sido
cotejados con ideas pertinentes y defendibles de mérito,
valor o importancia (es decir, contra estándares de valores);
las conclusiones alcanzadas se justificarán cuando se
apoyen en la evidencia reunida y sean consistentes con los
valores acordados o las opiniones de los interesados.
Para qué
Refuerza las conclusiones fundamentales para la
utilidad y precisión de la evaluación; implica la
clarificación de los valores, el análisis y la síntesis de los
datos cualitativos y cuantitativos, la interpretación
sistemática y la comparación adecuada con las normas
pertinentes para el juicio.
148
Actividades
• Usar métodos apropiados de análisis y síntesis
para resumir los hallazgos;
• Interpretar la importancia de los resultados para
decidir qué significan los hallazgos;
• Hacer juicios de acuerdo con valores claramente
establecidos que clasifican un resultado (por
ejemplo, como positivo o negativo y alto o bajo);
• Considerar formas alternativas de comparar los
resultados (por ejemplo, en comparación con los
objetivos del programa, un grupo de
comparación, normas nacionales, desempeño
pasado o necesidades);
• Generar explicaciones alternativas para los
hallazgos e indicar por qué se deben descartar
estas explicaciones;
• Recomendar acciones o decisiones que sean
consistentes con las conclusiones; y
• Limitar las conclusiones a situaciones, períodos
de tiempo, personas, contextos y propósitos para
los cuales los hallazgos son aplicables.
f) Asegurar el uso y aprendizaje

La preparación para el uso de la evaluación requiere
acción deliberada y comienza en las etapas tempranas de
planificación. El Marco incluye cinco elementos para

prepararse para el uso de la evaluación y promoverlo:
• Diseño: cómo se construyen las preguntas, los
métodos y los procesos de la evaluación para
lograr los usos deseados
• Preparación: proveer tiempo y oportunidades
para que los usuarios primarios practiquen o
ensayen la forma de recibir o utilizar los hallazgos
de la evaluación; esta actividad les brinda a las
partes interesadas tiempo para explorar las
implicaciones positivas y negativas de los
resultados potenciales e identificar las opciones
para la mejora del programa
• Comentarios: la comunicación que ocurre entre
todas las partes de la evaluación; este intercambio
a lo largo de la evaluación ayuda a desarrollar
confianza entre las partes interesadas y a
mantener el trabajo encaminado
• Seguimiento: el apoyo emocional y técnico que
necesitan los usuarios durante la evaluación y al
recibir los hallazgos o recomendaciones; es
posible que se requiera el seguimiento activo con
los usuarios para recordarles a las partes
interesadas sobre los usos planificados, evitar que
las lecciones aprendidas sean omitidas entre otras
decisiones o debates, o evitar el mal uso de la
información (p. ej., información fuera de contexto
150
o utilizada en formas diferentes a la acordada

entre las partes interesadas)
• Divulgación: el proceso de comunicar los
procedimientos o las lecciones aprendidas de una
evaluación a las audiencias relevantes de manera
apropiada; el contenido y formato de esta
información debe debatirse con las partes
interesadas con bastante anticipación a la
publicación
• Usos adicionales: cambios en pensamiento o
conducta (entre personas o dentro de
organizaciones) que ocurren como resultados de
la participación en la evaluación (p. ej., el
personal aclara o establece una comprensión
compartida de las metas del programa, más
atención a las decisiones basadas en datos o
información de una indagación sistemática)
• El diseño debe incluir información explícita
acerca de cómo se utilizarán los hallazgos y quién
los utilizará.
• Un informe formal de la evaluación no siempre es
el producto más apropiado de la evaluación; se
deben explorar las opciones para la divulgación
con las partes interesadas como un componente de
la preparación y promoción del uso.
g) Compartir las lecciones aprendidas

1. Definición
Asegurar que
a) los interesados conozcan los procedimientos y
hallazgos de la evaluación;
b) los hallazgos se consideran en las decisiones o
acciones que afectan el programa (es decir, uso de
hallazgos); y
c) aquellos que participaron en el proceso de
evaluación han tenido una experiencia beneficiosa (es decir,
uso del proceso).
2. Para qué
Asegura que la evaluación logre su objetivo
principal: ser útil; sin embargo, varios factores pueden
influir en el grado de uso, incluida la credibilidad del
evaluador, la claridad del informe, la puntualidad y la
difusión del informe, la divulgación de los hallazgos, la
presentación de informes imparciales y los cambios en el
programa o contexto organizacional.
3. Actividades
1. Diseñar la evaluación para lograr el uso previsible por
los usuarios previstos;
2. Preparar a los interesados para su uso final ensayando a
lo largo del proyecto cómo los diferentes tipos de
conclusiones afectarían las operaciones del programa;
3. Brindar retroalimentación continua a los interesados
con respecto a los hallazgos provisionales, las
152 Pasos
interpretaciones provisionales y las decisiones a tomar

que podrían afectar la probabilidad de uso;
4. Programar reuniones de seguimiento con los usuarios
previstos para facilitar la transferencia de las
conclusiones de la evaluación a acciones o decisiones
apropiadas; y
5. Difundir los procedimientos utilizados y las lecciones
aprendidas de la evaluación a las partes interesadas,
utilizando estrategias de comunicación adaptadas que
satisfagan sus necesidades particulares
Lista de verificación para garantizar informes de

evaluación efectivos
6. Proporcionar informes provisionales y finales a los
usuarios previstos a tiempo para su uso.
7. Adapte el contenido, el formato y el estilo del informe
para la (s) audiencia (es) involucrando a los miembros
de la audiencia.
8. Incluir un resumen ejecutivo.
9. Resumir la descripción de las partes interesadas y cómo
fueron comprometidas.
10. Describir las características esenciales del programa
(por ejemplo, en los apéndices).
11. Explicar el enfoque de la evaluación y sus limitaciones.
12. Incluya un resumen adecuado del plan de evaluación y
los procedimientos.
13. Proporcionar toda la información técnica necesaria
(por ejemplo, en los apéndices).
14. Especificar los estándares y criterios para los juicios
evaluativos.
15. Explicar los juicios evaluativos y cómo son respaldados

por la evidencia.
16. Enumerar las fortalezas y debilidades de la evaluación.
17. Discutir recomendaciones para la acción con sus
ventajas, desventajas e implicaciones de recursos.
18. Asegurar protecciones para los clientes del programa y
otras partes interesadas.
19. Anticipar cómo las personas u organizaciones pueden
verse afectadas por los hallazgos.
20. Presentar opiniones minoritarias o réplicas cuando sea
necesario.
21. Verificar que el informe sea preciso e imparcial.
22. Organice el informe de manera lógica e incluya los
detalles apropiados.
23. Eliminar la jerga técnica.
24. Use ejemplos, ilustraciones, gráficos e historias.
h) Resumen
1. Destinatarios
Como vimos en el capítulo anterior, el proceso de
evaluación, se desarrolla mediante la interacción de un
conjunto de partes interesadas, entre las que se destacan -
cuando se trata de evaluar decisiones públicas - los
funcionarios políticos de los tres poderes y de distintos
niveles jurisdiccionales, los beneficiarios y los ejecutores.
En ellos reside la iniciativa de impulsar la ejecución
de la evaluación y, ejecutada la misma, deben hacerse cargo
de las conclusiones y recomendaciones, que surjan de la
misma.
154 Pasos
Si pensamos en esas funciones puestas en términos

de políticas, planes y proyectos, se podría decir que la
evaluación es una “metodología” de la gestión política, que
organiza y ordena las prioridades y la toma de decisiones.
En consecuencia, los primeros interesados, los destinatarios
directos, son los políticos.
Más allá de la retórica, de discursos más o menos
enfervorizados que se pronuncian en la tribuna, la
evaluación elabora y desarrolla el enfoque racional de los
actos de gobierno y facilita el debate sobre bases objetivas,
tanto de los hechos actuales como de los objetivos
deseados.
2. Evaluación o auditoria
¿Qué relación guarda la evaluación con la auditoria?
Las dos actividades forman parte de un encadenamiento
reflexivo que recorre el ciclo de los proyectos.
Históricamente el control representó los cuidados
puestos en el cumplimiento de reglas, estándares y
procedimientos, de tal manera que las actividades de un
proyecto no se desvíen de su propósito.
En ese orden temporal, la evaluación ex ante, abre
la secuencia de pasos y la evaluación de impacto la
clausura.
Pero la diferencia fundamental no está en la forma
en que se suceden, sino en el objeto de su interés y la
naturaleza de sus conclusiones.
La auditoría se organiza para detectar anomalías,
desvíos, errores o fraudes, es decir apunta a lo atípico, lo
extravagante, las desviaciones del flujo principal, de hechos
o elementos.
La evaluación se ocupa aquellos procesos que

siguen los protocolos establecidos y que, en consecuencia,
han aprobado los exámenes del auditor, quedando apartados
sin más de su interés al no presentar signos de alarma,
dentro del cauce de la “normalidad”.
Sin embargo, la evaluación se concentra en
responder a la pregunta: ¿adónde llevan las decisiones
tomadas?, en lo que ocurre en el desarrollo normal de los
hechos previstos, proceso que se desenvuelve de acuerdo a
normas, reglas y procedimientos determinados, según una
agenda preestablecida
¿Que busca la evaluación en ese conjunto de
realizaciones del proceso?
La evaluación se apoya en el trabajo de auditoria
que, al certificar la corrección de las cuentas y la eficiencia,
eficacia y economía de los procesos, productos y resultados,
confirma los métodos y procedimientos aplicados.
En esas condiciones, tiene sentido preguntarse sobre
su efectividad.
¿Qué cambios introducen las acciones cumplidas
sobre la situación inicial? ¿Qué otros cambios se observan?
¿Cómo se valora esos cambios?
3. Giro complejo
Desde el punto de vista de los sistemas, la auditoria
está fuertemente relacionada con la verificación del
cumplimiento de reglas. Reglas contables, financieras,
particulares de los procesos, legales.
Eso es posible porque se trata de sistemas cerrados,
más simples o más complicados, pero con insumos
156 Pasos
determinados y productos o resultados producidos según

procedimientos predefinidos.
En cambio, la evaluación se desenvuelve en el
espacio abierto entre el sistema del proyecto y la compleja
realidad en la que se desarrolla. De esa manera, el proceso
queda expuesto a la influencia de factores inesperados,
provenientes del contexto. El sistema deja de ser
complicado y pasa a ser complejo (Snowden et al. 2012).
Mientras los sistemas simples tienen una solución
correcta y los complicados tienen por lo menos una
solución satisfactoria, los complejos, en cambio, no tienen
solución, sino que, en cambio, tienen trayectorias. No es
posible establecer un criterio único de aceptación o de
preferencia, sino solamente tomar nota de la evolución
temporal observada y comprender las interacciones
producidas entre los distintos factores, en una secuencia de
“aprendizaje”.
La evaluación de impacto cuestiona, problematiza,
el diseño y la oportunidad de las acciones desarrolladas, a
la luz de la efectividad lograda finalmente, con el propósito
de extraer enseñanzas, tanto de los efectos logrados, como
de las consecuencias inesperadas, tanto positivas como
negativas que, a la sombra de la incertidumbre, reflejan los
riesgos provocados por las acciones ejecutadas.
La evaluación se ha desarrollado intensamente en
las últimas décadas y su evolución en el tiempo se expresa
en términos de “generaciones”, según haya sido el enfoque
dominante que tuvo en cada etapa.
Esa trayectoria va desde un estilo basado en la
medición, a una etapa orientada a la descripción, después
de la cual los evaluadores dan un paso más y emiten

opinión, formulando un juicio. Es en la cuarta generación
que se desarrolla un proceso “constructivista”, que antecede
a la fase actual abierta y negociadora, con la participación
de los involucrados, en el reconocimiento y valoración de
los efectos. (Lincoln and Guba 2013)
Los cambios de foco modifican el significado
atribuidos a los efectos - del “impacto”- del proceso. Se
miden, se describen, se juzgan y finalmente se negocian los
grados de efectividad logrado, según sea el blanco definido
como objeto de medición.
Si la evaluación se refiere a programas sociales no
hay que confundir los efectos con los productos ni con los
resultados, aunque a veces se los toma en ese sentido. La
forma de diferenciarlos, es considerando el criterio
utilizado en cada caso, como se ve a continuación.
Es decir, si la atención está puesta en la eficiencia,
o sea en el mejor uso de los medios para las acciones
previstas, será suficiente analizar el programa, es decir si
los insumos y los procesos cumplen con los estándares. “Es
decir si las cosas se hacen bien”. Calidad de conformidad,
en términos de control de calidad
Por otro lado, si se estudia la oportunidad y las
cualidades de los productos y de los resultados, con el
criterio de comprobar si se “hacen las cosas correctas”, con
un sentido de eficacia, se mide la “calidad de diseño”, según
los términos de control de calidad. Hasta aquí el objeto son
los resultados.
Por otro lado, conviene señalar que el diseño de la
efectividad del impacto, se basa sobre conjeturas, que se
158 Pasos
expresan en una “teoría del cambio”, que tiene como

consecuencia una “teoría de la acción”, que, en un contexto
complejo y cambiante, pueden o no reflejar la realidad.
4. Teoría
¿Qué significa teoría? Es un conjunto de hipótesis,
de conjeturas, que esperan ser contrastadas con la realidad.
Eso tiene lugar, en la investigación científica, mediante el
cotejo experimental de los resultados, que deberían
responder a las hipótesis adoptadas.
En la evaluación de impacto, en cambio, la vigencia
de las hipótesis se pone a prueba mediante la inapelable
respuesta que produce la puesta en práctica, mediante el
cotejo entre los efectos conjeturados (evaluación ex ante) y
los efectivamente observados (evaluación ex post).
5. Capacidades
Pero es conveniente recordar que todo el esfuerzo
de diseño, de producción y gestión, tiene por objetivo
producir un cambio en las condiciones de vida de la gente.
En algún aspecto de sus vidas.
Amartya Sen ha definido como objetivo final de las
acciones el mejoramiento de las capacidades,
considerando que dichas mayores capacidades le permiten
al beneficiario ser agente de su propio cambio, dándole a su
vida más opciones entre las cuales elegir, y en
consecuencia, permitiendo un aumento de la libertad, que
se reconoce como el bien superior, porque habilita todos los
demás(Nussbaum and Sen 1993).
En síntesis, la tesis central de este trabajo es que las
dificultades en el funcionamiento del régimen republicano
y democrático, se podrían atenuar si la evaluación de

impacto se incorporara como una componente esencial, que
atraviese toda la estructura del poder político, tanto
legislativo como ejecutivo, otorgando bases racionales y
medibles, a la toma de decisiones. Ese enfoque también
facilitaría la participación ciudadana.
Si las políticas, planes y proyectos se someten a la
evaluación de impacto se podrá sacar provecho, no solo de
las contribuciones de la ciencia en la formulación de las
teorías y, en consecuencia, de los programas, sino de algo
más que es fundamental en el mejoramiento institucional,
como la participación activa de las partes interesadas en la
crítica y reconocimiento de los efectos de las políticas que
se basaron en dichas teorías.
De esa forma el necesario saber racional, basado en
la evidencia, se derramará a través de la sociedad y, tendrá
como consecuencia que los debates, los intercambios y
discusiones, se llevaran a cabo sobre el entramado de
conjeturas y datos provenientes de la realidad, evitando la
mera retórica, vacía de referencias empíricas y llena de
frases grandilocuentes.
La perspectiva resumida lleva a la conclusión de que
la evaluación de impacto, sin querer exagerar, es un
interesante y valioso aporte a la tan reclamada mejora y
modernización de la política.
Si en la gestación de planes y proyectos se cuenta
con la colaboración de los expertos en la respectiva materia
de los mismos, esto conlleva a que los respectivos debates
tengan en cuenta la naturaleza de los argumentos, la
justificación del diseño teórico que sostiene las acciones
160 Pasos
propuestas, y entonces estaremos alejándonos de la

pirotecnia del debate retórico.
161 Estándares Paso por Paso
V. Estándares Paso por Paso

Durante el proceso de evaluación, se produce la
interacción de los Estándares con las actividades en los
distintos pasos, a los efectos de tomar en cuenta los
méritos, valores o significación que se observan y actuar
en consecuencia.
La Tabla siguiente ilustra los estándares que deben
cumplirse durante cada paso de la evaluación. En cada
línea, se indica el estándar correspondiente y el grupo al
cual pertenece, según la versión incluida en Estándares
Resumen pág. 128. Que es levemente diferente de la
utilizada más arriba.
162 Estándares Paso por Paso
Pasos en la práctica de evaluación y Estándares

relevantes
1. Involucrar a las partes interesadas

Identificación de las partes interesadas Utilidad / A
Evaluador credibilidad Utilidad / B
Acuerdos formales Corrección/ B
Derechos de los sujetos humanos Corrección/ C
Interacciones humanas Corrección/D
Conflicto de intereses Corrección/G
Metaevaluación Precisión / L
2. Descripción del programa
Evaluación completa y justa Corrección/ C
Documentación del programa Precisión / A
Análisis de contexto Precisión / B
3. Enfocando el diseño de la evaluación

Evaluación Impacto Utilidad / G
Procedimientos prácticos Viabilidad/ A
Viabilidad política Viabilidad / B
Efectividad del costo Viabilidad / C
Orientación del servicio Corrección/A
Evaluación completa y justa Corrección/ E
Responsabilidad fiscal Corrección/H
Propósitos y procedimientos descritos Precisión / C
4. Recopilación de evidencia creíble
Alcance de información y selección Utilidad / C
Fuentes de información defendibles Precisión / D
Información válida Precisión/ E
Información válida Precisión/ E
Información confiable Precisión / F
Información sistemática Precisión / G
5. Justificación de las Conclusiones

Identificación de valores Utilidad / D
Análisis de información cuantitativa Precisión / H
Análisis de información cualitativa Precisión / I
Conclusiones justificadas Precisión / J
6. Garantizar el uso compartido de las lecciones

aprendidas
Credibilidad del evaluador Utilidad / B
Informe claridad Utilidad / E
Informar sobre la puntualidad y la difusión Utilidad / F
Evaluación Impacto Utilidad / G
Divulgación de los hallazgos Corrección/ F
Informes imparciales Precisión / K
164 Integridad del proceso
VI. Integridad del proceso
a) Integridad del proceso de evaluación

La evaluación de impacto, como se ha dicho antes,
constituye la culminación de una cadena de resultados los
que constituyen la base necesaria donde apoyar los
argumentos propios del balance final entre las expectativas
y estimaciones previas y los logros efectivos.
Los resultados de la cadena de evaluaciones previas
son imprescindibles para despejar el camino del
reconocimiento de las hipótesis causales que son el núcleo
de la evaluación de impacto.
No deben existir dudas con respecto a la influencia
de los factores financieros o de procedimientos sobre los
resultados finales obtenidas. Si esos antecedentes no existen
es necesario explorar esos aspectos como parte del
programa de la evaluación de impacto.
Por ejemplo, no deben quedar dudas de que las
transferencias fueron efectuadas en tiempo y forma, o de
que la selección de los beneficiarios se hizo siguiendo
estrictamente las reglas. De no ser así resultará imposible
establecer que los resultados son consecuencias de la teoría
de las acciones cuando estas acciones estuvieron viciadas
en su ejecución.
b) Simple, complicado y complejo

Sin embargo, no es conveniente limitarse a un
enfoque lineal del proceso. Tanto para el proyecto primario,
como para la evaluación del mismo. Ese esquema lineal se
refleja en el grafico siguiente.
Gráfico 4
El esquema presentado puede ser útil en el caso de

proyectos simples, en el sentido de David Snowden. Sin
embargo, resulta difícil aislar procesos que puedan
reducirse en su desarrollo a una secuencia lineal y única, sin
interacciones ni bucles.
Vistas, así las cosas, es conveniente adoptar desde
el inicio un enfoque sistémico, que permita incluir las
complejidades de distinta naturaleza que caracterizan a los
procesos sociales, y lograr de esa manera la capacidad
adaptativa que se necesita, tanto en materia de diseño
conceptual, como en términos de datos, para que las
conclusiones sean resistentes y respondan a los
requerimientos de los distintos usuarios.
c) Objetivos inmediatos y de largo plazo
El trabajo que se ofrezca, además de la amplia
difusión de los resultados, en forma clara y entendible, debe
ofrecer facilidades para análisis secundarios
166 Integridad del proceso
independientes, en los cuales se modifiquen parámetros

hasta revisiones con cambios en la extensión o en la
profundidad de la cobertura.
En ese sentido, se deben fijar criterios y enfoques
metodológicos que establezcan un estilo para los trabajos
de esta naturaleza. En ese enfoque se deben multiplicar los
esfuerzos a los efectos de producir al mismo tiempo que una
metodología consistente, resultados prácticos confiables y

una base institucional que asegure la continuidad y
comparabilidad de los estándares aplicados, de tal manera
que sirvan de apoyo al desarrollo de una cultura de la
evaluación y aporte argumentos valederos al debate
político.
VII. Referencias
1. Básicas
Macdonald, Goldie. 1999a. “Framework for Program Evaluation in
Public Health: A Checklist of Steps and Standards,” 1–8.
———. 1999b. “Una Lista de Verificación de Pasos y Estándares,” 1–
8.
Scriven, Michael. n.d. “Formative, Preformative, and Proformative
Evaluation.” Journal of Multidisciplinary Evaluation 8 (18):
58–61.
———. 2002. “Evaluating Evaluations.” HRMagazine 47 (6): 85.
———. 2007a. “Key Evaluation Checklist,” no. February: 22.
www.wmich.edu/evalctr/checklists.
———. 2007b. “Laundry List,” Methodology, no. October 2005.
———. 2011. “Evaluating Evaluations: A Meta-Evaluation Checklist.”
Claremont Graduate University, 1–7.
———. 2015. “Evaluation Revolutions.” Journal of Multidisplinary
Evaluations 11 (25): 15–21.
———. 2016. “Synthesis,” 367–82.
Stufflebeam, Daniel L. n.d. “Evaluation contracts checklist,” 2.
———. n.d. “Evaluation plans and operations checklist,”
———. 2000a. “Foundational Models for 21st Century Program
Evaluation.” Evaluation Models, 33–83.
168 Referencias
———. 2000b. “Guidelines for Developing Evaluation Checklists: The

Checklists Development Checklist (CDC).” Kalamazoo, MI:
The Evaluation Center. Retrieved on January 16 (July): 2008.
El Método es
el camino
170 Marco
I. Marco
a) Marco Conceptual
El marco se construye utilizando un enfoque
sistémico. Los componentes de cualquier sistema (incluido
el sistema de formulación de políticas) se pueden entender
mejor en el contexto de las relaciones entre sí y con otros
sistemas, en lugar de hacerlo de forma aislada. Por eso, se
consideran las instituciones gubernamentales como parte de
un sistema de formulación de políticas más amplio.
Las instituciones gubernamentales interactúan entre
sí y también afectan, y se ven afectadas, por múltiples
instituciones e individuos.
Simultáneamente, el sistema de formulación de
políticas interactúa con el “macro-contexto” más amplio
(entendido como el sistema político, económico, social y
cultural).
Los límites entre todos estos componentes son
borrosos y difíciles de establecer. Por lo tanto, es imposible
establecer relaciones simples y lineales entre instituciones
y partes interesadas.
Bajo este principio, el marco propuesto identifica
seis dimensiones interrelacionadas principales que son
cruciales para comprender dónde se encuentran los puntos
de entrada críticos para promover el uso del conocimiento

en las políticas.
También incluye un conjunto de las subdimensiones
relevantes que con mayor frecuencia afectan cualquier
esfuerzo para fomentar el uso de la evidencia y que deben
ser consideradas cuidadosamente al pensar en las posibles
vías de cambio.
Hay dos dimensiones principales que están
vinculadas con el mundo externo de una institución
gubernamental.
Contexto macro. Esto se refiere a las fuerzas
generales a nivel nacional que establecen el "cuadro más
amplio" en el que se elaboran las políticas y, en
consecuencia, cómo la investigación puede o no puede
informarlo. Es el contexto externo general para cada
institución de formulación de políticas, incluidos los
sistemas políticos, económicos, sociales y culturales.
Estas fuerzas dan forma a las oportunidades y
amenazas para las agencias estatales en términos de utilizar
la investigación para informar las políticas de dos maneras
principales: (1) factores estructurales, que muy rara vez
cambian de manera significativa y podrían ser considerados
como el entorno externo más constante y regular de las
instituciones de políticas; y (2) factores circunstanciales,
que surgen con un peso particular de vez en cuando y abren
ventanas de oportunidad muy específicas para el cambio.
Enlaces intra e interinstitucionales. Estos
pertenecen al macro contexto, pero debido al importante
papel que juegan en el uso de la investigación,
172 Marco
consideramos estas intra e interrelaciones como una

dimensión separada.
Las otras cuatro dimensiones son aspectos clave que
explican cómo una institución gubernamental piensa y se
comporta. Permiten u obstaculizan el uso de la
investigación en las políticas:
• La cultura como el conjunto de supuestos
básicos compartidos aprendidos por un grupo. Estas
suposiciones han funcionado lo suficientemente bien como
para ser consideradas válidas y, por lo tanto, se les enseña a
los nuevos miembros como la forma correcta de percibir,
pensar y sentir los problemas organizacionales (Schein,
2004). En este caso, esto afecta directamente lo que la
investigación puede significar y significa para los procesos
de políticas, y qué incentivos y motivaciones están
vinculados a esto.
• La capacidad organizativa, o sea la capacidad
de una organización para utilizar sus recursos
(Lusthaus, 2002) - en este caso, para diseñar e implementar
políticas públicas. Incluye los recursos humanos y el marco
legal que determina cómo pueden o no pueden usarse los
recursos. También establece interacciones entre sus
miembros. La capacidad interna juega un papel
fundamental para hacer que el uso de la investigación sea
posible (o no), así como la forma en que se utiliza.
• La gestión organizacional y los procesos, se
refieren a cómo cada institución gubernamental
organiza su trabajo para lograr su misión y sus objetivos,
desde la planificación hasta la evaluación. La forma en que
se gestiona y los procesos y mecanismos que se establecen
para permitir a los miembros cumplir con sus roles y las

responsabilidades pueden abrir (o no) la posibilidad de que
la evidencia interactúe con las discusiones sobre políticas y
la toma de decisiones.
• Otros recursos, que incluyen los recursos con los
que cuenta para lograr sus objetivos, incluidos el
presupuesto y la tecnología, y que son críticos para el
desempeño de cada organización. Una agencia estatal
puede presentar una cultura organizacional que aprecia el
uso del conocimiento y que tiene personal con las
capacidades correctas para generarlo y / o digerir la
investigación existente. Sin embargo, si carecen de recursos
financieros, tiempo e infraestructura, las oportunidades
reales de uso se verán significativamente disminuidas.
b) Naturaleza del problema
Cuando se describieron los interrogantes cuya
respuesta se busca con la evaluación de impacto se ha
omitido intencionalmente preguntarse ¿por qué?
¿Por qué razón, suficientemente importante, hay
que emprender el arduo camino de ponderar las
consecuencias, diversas, a veces cercanas y otras remotas,
ora benéficas y ora nocivas, en algunos casos explícitas y
muchas veces furtivas?
Porque integramos una organización social
democrática asentada sobre una trama de derechos y
obligaciones de la que somos responsables y, en
consecuencia, de lo que ocurre en ella, entre lo que cuenta
lo que hacemos con la sana intención de cambiar las cosas
que consideramos que están mal.
174 Marco
Pero todo eso ocurre en medio de la incertidumbre,

de las diferencias de criterios, de los valores, de los
intereses, de las urgencias. En un mundo donde imperan las
leyes de la complejidad, con sus bucles y
retroalimentaciones, sus sincronicidades y fracturas.
c) Línea de base
Hay que tener presente que, de manera explícita o
no, al decidir una acción, existe un diagnóstico y una
estimación previa, ex ante, de los resultados esperados.
Lo contrario sería un salto al vacío.
Un primer paso a dar, es que esa evaluación de
impacto Ex-ante siempre acompañe formalmente la
decisión de actuar. De la comparación del estado entre
ambos momentos, surgirán las conclusiones más relevantes
ex post.
La dirección tomada es un cambio que puede
producir efectos en la forma que nos relacionamos.
Igualmente modificará la misma cadena de resultados a la
que pertenece, porque es necesario que todos compartan la
nueva visión, en la que se armonizan los resultados
objetivos con el conocimiento experto, que sostienen una
tensión permanente.
Todo cambio espera su momento para culminar, un
momento que depende más del temor que del entusiasmo.
Que el proceso que se inicia no sea motor de nuevas
divergencias, sino signo de sumatoria inclusiva.
Hoy día, dice un autor, "se ha producido una radical
ruptura teórica que apunta hacia una nueva alianza -de
enormes implicaciones éticas y políticas- entre naturaleza,
de una parte, y sociedad y cultura, de otra. Lo hermenéutico

no se revela como una mera opción epistemológica, sino
como una nueva actitud fundamental que, con
independencia de los recursos conceptuales adoptados,
penetra y articula todo el tejido existencial de un nuevo
estar en el mundo".
176 Marco Lógico (ML)
II. Marco Lógico (ML)

La metodología del "marco lógico" (ML) como
estándar metodológico, ha recibido diversas críticas,
especialmente de los que aducen que no toma en cuenta
debidamente las condiciones sistémicas de los procesos
sociales.
Frente a los requerimientos de la evaluación de
impacto resulta oportuno analizar las ventajas y desventajas
de esa metodología.
1. Virtudes
En primer lugar, se tiene que reconocer que el marco
lógico tiene una serie de ventajas: ayuda a pensar y
conceptualizar las intervenciones de manera estructurada,
Impone una forma ordenada de pensamiento y demanda una
forma de representar la intervención que todos los que han
sido iniciados en el método pueden leer y entender,
proporcionando una terminología común, que puede
facilitar la discusión y los intercambios entre las distintas
partes interesadas.
El marco lógico también proporciona una visión
general de las principales características de una
intervención, así como medios para el seguimiento y la
evaluación. Esta visión general es particularmente útil para
políticos, altos funcionarios, financiadores o supervisores
(¡gente muy ocupada todos ellos!), que requieren - y
prefieren- descripciones claras y sencillas de una

intervención.
Un aspecto importante para entender su lógica, es el
origen del enfoque del marco lógico. El hecho de que
inicialmente haya sido aplicado en las fuerzas armadas
transmite a sus supuestos cierta claridad y orden, una
rigidez que no suele encontrarse en las intervenciones
públicas civiles.
En las intervenciones públicas (por ejemplo, ayuda
al desarrollo) es difícil y peligrosamente engañoso presumir
- o intentar imponer - el mismo tipo de claridad y consenso
de aquel diseño original.
2. Defectos
Es muy probable, en cambio, que existan
diferencias de opinión entre las partes interesadas, porque
raramente existe un solo centro de autoridad y - en la
práctica – también son raros de encontrar objetivos
claramente acordados.
Cuando se persiguen estos objetivos en situaciones
en las que hay actores múltiples y diversos, o condiciones
de contexto cambiantes o inciertas, el marco lógico tiende
a sobre especificar los objetivos y a subrayar el control en
lugar de la flexibilidad.
Además de lo anterior, también se ha observado que
tiene una lógica mecanicista, asumiendo una progresión
"lineal" de efectos que se producen casi automáticamente,
es decir, con independencia de los actores involucrados o
de las condiciones contextuales.
Por ejemplo, la realización de las actividades como
estaba previsto, no es de ninguna manera una garantía de
que se lograrán los resultados esperados, y mucho menos

los impactos buscados, ya que influyen muchos otros
importantes factores (externos o internos) que pueden tener
mayor o menor influencia según las circunstancias.
Una tentación muy atrayente es señalar efectos
observables, independientemente de que la intervención
haya contribuido realmente a su logro.
Esto es a menudo el caso con objetivos de nivel
superior, en el que las contribuciones de los factores
individuales son fáciles de reclamar, pero difíciles de
demostrar. O en el caso de las "cadenas largas", donde las
causas y los efectos son bastante distantes entre sí, ya sea
en el tiempo o en sus relaciones funcionales.
3. Llamado de atención
Como consecuencia de las características
descriptas, el marco lógico es inherentemente fácil de
usar mal.
El equilibrio de ventajas y desventajas dependerá de
las características de una intervención, sus condiciones de
contexto, la naturaleza del (los) problema (s) enfrentado(s)
y la de los actores involucrados.
Por lo tanto, saber cuándo no usarlo -o cuándo
complementarlo con otros métodos- será una habilidad
esencial en el manejo del marco lógico desde que está
destinado a evaluar el progreso hacia los objetivos y es a
menudo utilizado como una herramienta para el
seguimiento y la evaluación.
Dado que el foco el marco lógico es en el logro de
los efectos deseados a través de las vías elegidas, su utilidad
para el monitoreo y la evaluación es bastante limitada. Al
restringir la atención a esos elementos, se refuerzan los

aspectos de "visión de túnel" y los efectos distintos de los
especificados son sistemáticamente descuidados.
4. Aptitud para el control
Finalmente es de especial interés en nuestro caso lo
señalado por Gasper cuando advierte que "el enfoque de
auditoría del ML es un obstáculo para el aprendizaje y
refuerza el clima de control. Bajo tales condiciones, se
cuida que las intervenciones sean auditables: estructuradas
de acuerdo con la necesidad de ser monitoreadas".
Esto conduce a una preferencia por las variables
medibles y los efectos a corto plazo, y en perjuicio de la
información cualitativa y que sólo puede ser capturada en
el largo plazo.
5. Replanteo
En consecuencia, el diseño de la evaluación de
impacto, debe tener especialmente en cuenta a los
protagonistas de la evaluación (comunidad de evaluadores)
y el interés básico que la justifica, que es el aprendizaje y
mejora de los procesos de decisión.
Al mismo tiempo el modelo deberá incluir el debido
tratamiento de las interacciones, bucles y rezagos.
Resulta necesario adoptar métodos adecuados de
representación y análisis, teniendo en cuenta los limites
señalados.
Corresponde mencionar que, a pesar de lo dicho, el
marco lógico conserva su valor como forma de exposición
o de resumen, si se aclara debidamente que no refleja la
complejidad de los procesos sociales.
Gráfico 2 Componentes del Marco Lógico

El Gráfico 2 expresa la diferencia entre el concepto

de “enfoque del marco lógico” con respecto a la idea de
“matriz del marco lógico”.
Como se puede observar, en la parte izquierda
aparecen dos matrices rodeando a la matriz del marco
lógico, en la parte superior se presenta la que corresponde
al “análisis de los involucrados” y por debajo se puede
observar la que corresponde al “plan de acción”.
Los elementos que relacionan el conjunto y
diferencian la “matriz” del “enfoque”, aparecen en el área
grisada sobre la derecha. Ellos animan el circuito de
retroalimentación que hace todo el proceso dinámico,
mediante consultas, cotejos y valoraciones orientados a
calibrar el ajuste entre el programa expresado en la matriz
y los usuarios y acciones a llevar a cabo.
En resumen, el área grisada encierra las actividades
que producen, atendiendo a requerimientos y recursos, una
propuesta reflejada en la matriz.
Este resultado es revisado por los involucrados y
con esa calificación se vuelve a recorrer reiteradamente el
circuito gris, hasta que se logra una solución satisfactoria.
182 Nuevo paradigma
III. Nuevo paradigma

El paradigma de evaluación en desarrollo, conduce
al reemplazo del esquema lineal y unificado a uno no lineal
y abierto, con perspectivas múltiples, representativas de la
diversidad social.
El paradigma en retirada, fue forjado en su origen
mismo en el ámbito de las fuerzas armadas, y prosiguió su
desarrollo en empresas, donde encontró la necesaria
"unidad de mando" que determina la perspectiva
dominante, con la cual procede a la interpretación de los
resultados.
Como ocurre en los procesos de aprendizaje, no ha
colapsado, sino que se enriquece y sus cualidades positivas
se conservan en el nuevo marco ampliado.
No se puede dejar de señalar que, en parte, las
limitaciones del marco lógico se deben a la reducción de
esa metodología a la confección de la matriz, en la que se
reflejan gráficamente las limitaciones mencionadas. Eso se
hizo en detrimento del "enfoque del marco lógico", que
incluye todas las tareas de elaboración de los contenidos de
dicha matriz.
El enfoque del marco lógico, en sentido propio, se
refiere a los procedimientos de análisis de problemas, el
desarrollo de objetivos e indicadores y la identificación
de riesgos y supuestos, que se vuelcan en la matriz, como

una forma de notación mnemotécnica.
En general este proceso debe ser participativo, con
el fin de llegar a un consenso sobre la intervención, que es
entonces resumida en la matriz.
Una matriz resultante de un proceso previo de
discusión y acuerdos, incorporará los límites, transacciones
y resignaciones ocurridos.
La interpretación del modelo resultante, tendrá
como substrato esos acuerdos, que ayudarán a entender los
resultados y proporcionarán criterios para los ajustes
requeridos en el camino.
1. Participantes del proceso
El escenario de las políticas públicas en una
democracia se caracteriza por la división de poderes y la
participación. Esto pone en primera fila la cuestión de las
relaciones de intereses, de poder y de alianzas, entre los
diferentes sectores vinculados con los programas y
proyectos.
En consecuencia, la metodología debe tener en
cuenta, en primer lugar, para quien se elabora la evaluación.
Sus resultados tienen que ser útiles a la gente.
A las distintas "audiencias" de la intervención: los
que observan el desarrollo de las acciones, los que
participan en los distintos niveles de la ejecución -
normativo, estratégico y operativo-, los beneficiarios y los
que de una u otra forma son afectados o influidos por las
acciones emprendidas.
El eje articulador del proceso debe cambiar de la
secuencia de actividades y resultados, hacia las personas
184 Nuevo paradigma
que protagonizan esas actividades, como actores o como

destinatarios.
Se entiende claramente si se tiene en cuenta que las
actividades no son entidades que andan por el mundo
esperando ser revisadas, sino que son parte de la vida
laboral, familiar o social de personas que cumplen con las
mismas, en tensión permanente con otras actividades que
deben organizar en las "agendas de sus vidas".
El modelo mecanicista es claramente insuficiente
para entender, y menos para evaluar, esos procesos. En
realidad, el modelo a seguir deber ser el de una
conversación, abierta a todos lo que quieran o deban decir
algo, en la cual se tengan en cuenta los aspectos
cuantitativos, medibles, pero sobre una trama de sentido
que permita una interpretación enriquecedora para todos los
participantes.
La riqueza de la experiencia que se recoge en la
evaluación es el aprendizaje que se alcanza con la misma.
La oportunidad de aprender, de afianzar o de corregir
formas de hacer, tiene una condición básica. Las lecciones
de la evaluación deben ser claras e inteligibles. El arte de
comunicarlas debe tener el encanto de "contar una historia".
Lo que es, precisamente, la evaluación: "una historia".
Ni más ni menos.
2. Protagonistas
Los protagonistas de la historia que recoge la
evaluación forman una "comunidad ampliada de
evaluadores".
• Patrocinantes: legisladores, ONG,
• Agentes: docentes, médicos, personal sanitario

• Beneficiarios: hijos, madres, embarazadas,
alumnos,
• Interesados: funcionarios provinciales, municipales,
patrocinantes
• Afectados: empresas, sindicatos,
3. Los mediadores o el evaluador como facilitador
"La ciencia puede proporcionar estrategias y
recursos empíricamente informados, que respondan a las
preocupaciones del mundo real, para informar y mejorar la
política y la práctica. Sin embargo, con demasiada
frecuencia las comunidades operan independientemente
unas de otras, como si estuvieran 'separadas' (Boaz et al,
2015).
Los mediadores de la investigación desempeñan un
papel fundamental en la superación de estos mundos a
medida que resumen y traducen los hallazgos de la
investigación, iluminan las prácticas y las implicaciones de
las políticas y facilitan conexiones importantes entre los
actores clave, todo ello para apoyar el uso de la
investigación."
4. Uso de la evaluación
La literatura sobre utilización de la evaluación
sugiere que no es sencillo encontrar respuestas a esa
cuestión.
Por un lado, el propio concepto de “uso” debe ser
diseccionado, pues puede asumir distintas formas. Por otro
lado, la evaluación es, en el mejor de los casos, sólo un
186 Nuevo paradigma
insumo entre muchos otros en los procesos de toma de

decisiones o de aprendizaje institucional. Los factores que
influyen en estas situaciones son múltiples, casi imposibles
de “modelar” en una investigación rigurosa.
Intervienen los arreglos institucionales existentes
para gestionar las evaluaciones y facilitar su utilización.
Intervienen también las personas encargadas de
realizar las evaluaciones, con sus sesgos, prejuicios,
capacidad analítica y empatía.
Influye el momento en que se presentan los
resultados y las formas de comunicación.
Todo ello sucede en contextos para la decisión que,
en organizaciones complejas, implican a numerosos
participantes, con intereses propios usualmente
divergentes. Aunque sea un cliché, cada persona es un
mundo, por lo que no es posible ignorar la importancia del
factor humano.
IV. Cortar el nudo gordiano

La magnitud de la tarea descripta abre interrogantes
sobre la metodología para su ejecución. ¿Qué pasos
detallados seguir? ¿Qué criterios establecer como guías?
¿Qué instrumentos utilizar? ¿Qué perfiles académicos y
laborales establecer para el equipo?
a) ¿Cómo elegir los métodos para la evaluación

de impacto?
Cuando se eligen los métodos, es necesario tener
presentes los principales aspectos de una evaluación de
impacto, especialmente los valores que respaldarán la
evaluación.
¿Qué se considerarán procesos, impactos y
distribución de costos y beneficios deseables e
indeseables? Es importante aclarar a qué se parece el éxito.
Resulta necesario incluir dentro del modelado del
problema, intereses, valores, conflictos, urgencias.
Esos factores hacen del proceso un sistema abierto,
que escapa a los limites propios del laboratorio o del
gabinete. Esa presencia hace necesarias nuevas formas de
tratamiento de la evidencia, como alternativas al modo
demostrativo de la experimentación científica, que den
cabida a las distintas perspectivas de agentes de la
intervención, beneficiarios, entidades, organizaciones,
188 Cortar el nudo gordiano
grupos o particulares que tienen intereses en la intervención

o en el impacto
Adoptando una teoría del cambio y de la acción,
es decir, cómo se supone que funciona la intervención. Los
métodos aplicados deben permitir interpretar el
comportamiento del proceso y, sobre esa base, establecer la
adecuación de la "teoría del cambio". aplicada en la
intervención. Es decir, comprobar las hipótesis de trabajo
sobre las relaciones de causa a efecto.
O sea, responder en primer lugar si las actividades
desarrolladas, con la finalidad de activar las relaciones
causa/efecto, incluidas en la teoría del cambio, han sido
efectivas y se han producido los efectos esperados. Debe
tenerse en cuenta la complejidad de los sistemas sociales,
que se expresan en la diversidad de interrelaciones, bucles
y retroalimentaciones.
Definiendo qué variables medir o describir, y
cómo. Incluyendo los procesos y el contexto. Tanto a nivel
cuantitativo como cualitativo, el impacto puede ser
considerado desde distintos niveles: el de los beneficiarios
directos, el de los profesionales (médicos, maestros, etc.),
el de los funcionarios emisores (por ej. nacionales), el de
los funcionarios receptores (por ejemplo, municipales), el
público en general.
Los diferentes niveles, describen una estructura
jerárquica, con influencias diferenciales sobre los
resultados y sobre la interpretación de esos resultados.
Parece oportuno mencionar la necesidad de contar con
información básica, que permita establecer una "línea de
base". En este punto hay que subrayar la conveniencia de
que el INDEC ajuste su programación a las necesidades

de los proyectos y programas, poniendo a disposición de
los mismo información adecuada, relevante y oportuna,
obtenida de su trama de censos registros y encuestas
muestrales. Sin ese aporte, se dificulta la evaluación ex
ante del impacto y el sistema estadístico desaprovecha una
oportunidad de integrarse al curso de la acción de gobierno.
Permitiendo explicar cuál fue la contribución de
la intervención causa a los impactos observados. Como
se dijo antes, estamos en medio de un cambio de paradigma
científico, que se refleja en un corrimiento de la explicación
a la interpretación. Eso no constituye una ruptura sino el
reencuentro de los abordajes cuantitativo y cualitativo, que
supieron sostener una guerra, a veces sorda y otras ruidosa,
por dominar el campo del conocimiento
Proporcionando un juicio evaluativo general. La
interpretación es un proceso cualitativo, que adquiere
mayor importancia porque, como se dijo al principio, los
efectos pueden ser positivos o negativos y en consecuencia
emerge el problema de producir una interpretación
conceptual que integre las observaciones. A tono con una
visión participativa de la evaluación, se debe incorporar al
proceso recursos para conciliar interpretaciones, que
faciliten el calibrado de las opiniones personales, de
acuerdo con la información cuantitativa disponible y las
opiniones de "primera mano".
Comunicando eficazmente los hallazgos y
respaldando su uso. Esto plantea la necesidad de tomar en
cuenta el "estado del arte", en el campo de la metodología
de las ciencias sociales, utilizando combinaciones de
métodos cuantitativos y cualitativos, cuya triangulación

aumente la consistencia argumental de las conclusiones.
b) Convergencia metodológica
"No todo lo que cuenta puede ser contado y no todo
lo que se puede contar, cuenta "- Albert Einstein
En este párrafo se enuncian algunos de los grandes
ejes que sirven de soporte al nuevo enfoque integrado de los
estudios cualitativos y cuantitativos. Porque no es suficiente
colocar a uno como condimento del otro. Ambos deben
amalgamarse sustancialmente. Debe entenderse que, a
diferencia del viejo paradigma, no funciona como una
secuencia establecida, como un programa autorreferencial,
sino que requiere en todo momento una interpretación de la
situación en su conjunto.
Esa condición le otorga al trabajo en equipo una
nueva consistencia, que se aproxima a la idea de
inteligencia colectiva. Eso significa poner dentro del
quehacer las distintas perspectivas, dando lugar a que se
manifieste una parte mayor de la complejidad que la que
proporcionan las lecturas laterales. Pensemos la condición
de alumno sobre la que convergen el médico, el psicólogo
y el maestro. Seguramente se enriquecerá, en muchos casos,
si se suma el profesor de gimnasia o su técnico de fútbol.
Los nuevos ambientes de trabajo ofrecen enormes
oportunidades de desarrollo, tanto a la información
numérica como a la textual, a través de métodos de archivo,
recuperación y tratamiento de la información, en forma
local o remota. Computadoras y redes hoy convergen en los
celulares y las tabletas. Y empieza ser imposible imaginar
la vida sin ellas. ¡O más aún, parece increíble recordar lo

que era antes!
Como se dijo al final del punto anterior, estamos en
medio de un cambio de paradigma científico, que se refleja
en un corrimiento de la explicación a la interpretación. Eso
no constituye una ruptura sino el reencuentro de los
abordajes cuantitativo y cualitativo, que supieron sostener
una guerra, a veces sorda y otras ruidosa, por dominar el
campo del conocimiento.
En ese sentido, el bagaje de cada nuevo aliado puede
asociarse con los recursos del otro, desde una mirada
unificadora. En ese sentido hay ejemplos de buenas
fusiones.
c) Enfasis en los protagonistas
Anteriormente se han descripto los defectos y
límites del marco lógico y se dijo "...la metodología debe
tener en cuenta, en primer lugar, para quién se elabora la
evaluación". Esa definición determina que el diseño sea
participativo y que ofrezca una presentación de sus
resultados clara y comprensible.
Con respecto a la participación de los diferentes
actores, es conveniente decir que no se trata solo de
participación física, en diferente reuniones o foros de
debate. Es más profundo. Se trata de que el pensamiento,
las ideas, los intereses, incluso las emociones, de los
diferentes participantes, sean tenidos en cuenta
sistemáticamente por una metodología comprensiva,
sensible, con capacidad de indagar sin traumatismo en la
experiencia personal.
Esto marca claramente una exigencia a los

instrumentos de investigación y al perfil de los
investigadores. También proporciona un criterio para
definir la medida y el orden en que se combinen los
enfoques cualitativo y cuantitativo.
La brecha entre los dos abordajes de la
investigación, no solo se ha reducido por el mutuo
reconocimiento, sino que se cuenta con métodos "híbridos",
que actúan como intermediarios, "traductores", mediante
los cuales se concilian y amalgaman lo cualitativo y lo
cuantitativo, y preservar lo mejor de cada uno.
d) Causalidad
La literatura abunda en detalles sobre la forma de
medir causa y efecto. ¿Cuál es el impacto (o efecto causal)
de un programa sobre un resultado de interés?
El impacto del programa se manifiesta como el
efecto directo que tiene en la dirección prevista sobre los
resultados. Una evaluación de impacto analiza los cambios
en el resultado directamente atribuibles al programa.
Pero los efectos directos no son las únicas
consecuencias posibles. Las interacciones, rezagos y
bucles, pueden producir efectos inesperados, algunos
positivos y otros negativos.
Son consecuencias no buscadas que pueden
desnudar propiedades de las acciones o relaciones en el
sistema intervenido, aumentando el conocimiento para
prevenir amenazas o aprovechar oportunidades
Esta fuera de duda el interés y el valor que ese
conocimiento causal puede tener en términos de
prioridades, de acciones correctivas, de fortalecimiento de

determinadas políticas. Tampoco se puede ignorar la
imposibilidad de blindar el modelo de las influencias de
otros factores.
Todo proyecto se ubica en algún punto en un eje que
se extiende entre lo simple y lo complejo. En el caso de lo
simple, el grado de incertidumbre sobre la identidad del
causante de determinado efecto es baja. Son los "efectos
esperados" que encontramos a cada paso en la vida diaria.
A medida que los sistemas suman componentes, se
multiplican los vínculos, y su imprevisibilidad aumenta. El
pronóstico meteorológico es un elemento, también de la
vida diaria, sobre cuya efectividad podemos tener dudas
razonables. Y cuanto más si estamos considerando acciones
y comportamiento sociales.
En el extremo de esa complejidad creciente, nos
encontramos con la colorida imagen de una mariposa
aleteando al otro lado del mundo. ¿Cómo saber si debe ser
incluida entre los factores observados por su eventual
influencia?
Resulta oportuno tener presente los límites de la
capacidad explicativa de las teorías, fragilidad que se
acentúa cuando se enfocan a predecir el futuro de los
sistemas sociales.
Lo dicho de ninguna manera trata de quitar
importancia a la medición de los logros alcanzados con las
acciones, sino de colocar un recordatorio que repita que, a
diferencia del laboratorio, alrededor nuestro hay todo un
mundo que no controlamos.
Y no sabemos si no hay una mariposa aleteando.
1. Fuentes de datos
El contexto actual es de abundancia de datos. No es
fácil decir que hay mucha información, porque esta requiere
sistematización: orden, compatibilidad regularidad, validez
y fiabilidad, con las que no siempre se cuenta.
Sin embargo, ese contexto es competitivo y riesgoso
para el muestreo estadístico. Por dos motivos
contradictorios. En un caso porque existe información que
puede competir con los resultados, y habida cuenta de la
incertidumbre controlada del muestreo, y la aparente
solidez de las bases exhaustivas (dejando de lado sus
problemas endógenos mencionados antes) por lo menos
dejaría dudas sobre las estimaciones estadísticas. En
nuestro caso las bases del ANSES, las encuestas que
administra el INDEC, entre otras, son las incógnitas a
develar.
Por otro lado, la existencia de directorios como el
telefónico y en menor grado los correos electrónicos y la
misma web, son propicios para el despliegue de sistemas
automáticos, que hacen uso y abuso de las facilidades de
acceso a las personas, y producen resultados, cada semana,
cada día y hasta cada hora si son necesarios. ¿Quién puede
responder a la información en tiempo real? Cuando emita la
respuesta a un valor, éste ya será otro.
Principios
 Principio I.- Evaluar y emplear toda la información
disponible, armonizándola.
 Principio II.- Controlar y subsanar los errores que
no son de muestreo.
 Principio III.- Estimar la precisión, significatividad

y confiabilidad de las estimaciones.
e) Articulación metodológica prevista

El Diseño general esquematiza la secuencia
metodológica diseñada para abarcar los requerimientos
formulados: participación, explicación causal y
accesibilidad de las conclusiones.
1. Resumen grafico
El Gráfico 2 esquematiza la combinación de
métodos a emplear en la evaluación.
Gráfico 2
• El módulo CUALI representa la combinación de

procedimientos cualitativos que se utilizarán para
explorar la población objetivo (beneficiarios y otros
interesados e intermediarios).
• Con la información reunida en 1), se
complementarán los interrogantes emergentes de las
definiciones de las acciones desarrolladas y con
ambos se formularán los cuestionarios a aplicar en
la encuesta estadística PARA ORGANIZAR la

evaluación cuantitativa.
• La fase CUANTI incluye el diseño de la encuesta
estadística, el plan de muestreo, los criterios de
control, el procesamiento y la organización de la
base de datos.
• Los resultados de la encuesta serán analizados e
interpretados, en un Informe Preliminar.
• La base de información completa tendrá un
procesamiento secundario, para facilitar su empleo
en la etapa CUALI DELFOS
• En la etapa CUALI DELFOS, se recabarán
opiniones, preferencias y expectativas, mediante la
técnica de ese nombre, entre grupos con diversos
intereses en el programa.
• Finalmente, se elaborará el Informe final,
integrando los aportes de las distintas fuentes,
mediante los procedimientos de triangulación que
corresponda. Se pondrá especial cuidado en el
diseño gráfico, de manera que los resultados y
conclusiones se visualicen de forma clara y
significativa.
2. Niveles de análisis
Resulta claro de presentaciones como el marco
lógico y, más aún, del enfoque participativo, que en el
desarrollo de un proyecto se ven involucrados diferentes
grupos de interesados, cada uno de los cuales actúan a

determinados niveles del proyecto:
• político,
• estratégico,
• organizacional,
• operativo,
• usuarios.
En un enfoque sistémico como el adoptado deben
tenerse en cuenta las dependencias y anidamientos que
presentan.
3. ¿Quién debe conducir la evaluación de
impacto?
Se debe constituir un equipo evaluador,
interdisciplinario y con enfoque participativo, que tenga
la capacidad de involucrar a las partes interesadas en el
programa, agregando así rigor y credibilidad, con mejor
acceso a los datos y una interpretación más adecuada de los
resultados obtenidos.
Se suele reconocer que a menudo se producen
evaluaciones de mejor calidad, si se establece un equipo
de evaluadores con perspectivas internas y externas y es
particularmente útil incluir en el equipo expertos que
conozcan el contexto, la historia y las intervenciones
comparativas de otras agencias, así como que tengan
experiencia en las otras fases de auditoria. En el Anexo I,
se agregan algunos requerimientos especializados, que debe
incorporarse a perfiles de selección
198 Indicadores
V. Indicadores
1. Comunicar
Como se mencionó al comienzo, el enfoque de la
evaluación de impacto utilizado presenta dos características
fuertemente relacionadas: es participativo y aplica una
metodología mixta. Esos dos elementos están relacionados
por el objetivo de "escuchar a la gente" y estimular la
expresión de interpretaciones.
Para lograr ese objetivo es necesario organizar un
programa de comunicación que incorpore a los distintos
interesados en el desarrollo de la evaluación.
La idea subyacente en todo el proceso es que existen
diferentes "visiones" de la situación. Los puntos de vista
nacen de percepciones, intereses, actitudes, preferencias,
del grado de sinergia y del clima de confianza.
2. Indicadores acordados
Esa flexibilidad requiere un anclaje que permita el
necesario ejercicio de la comprensión. Para ello, hay que
elaborar indicadores acordados -que son aceptados por las
partes interesadas en lugar de seleccionados
exclusivamente por los expertos- y que deben ser vistos
como representando "objetos fronterizos", en el sentido
que son "adaptables a diferentes puntos de vista y lo
suficientemente robustos para mantener la identidad a
través de ellos"
Como consecuencia inmediata, se identifica la
tensión entre esa definición y la tendencia a apropiarse de
los indicadores, por parte de quienes los elaboran. Un caso
en el que se observa con claridad ese problema, son las

estadísticas públicas. Se pueden mencionar dos elementos
que se observan en sistemas estadísticos "maduros":
integración de los usuarios en el proceso estadístico y una
concepción de las estadísticas, como fruto de un convenio
que avala las distintas fases del citado proceso.
3. Política basada en la evidencia
Las consideraciones hechas arrojan luz sobre la
importancia institucional que tiene el diseño que adopte la
AGN para llevar a cabo las evaluaciones de impacto.
La estrategia participativa, fuertemente articulada a
una combinación de métodos cualitativos y cuantitativos,
posee los atributos necesarios para poner en práctica la
producción de indicadores acordados, a través de los cuales
se tienen los puentes entre el conocimiento científico y la
política, poniendo en movimiento una "política basada en
la evidencia"
200 Referencias
VI. Referencias
1. Básicas
Becker, H. A., and Frank Vanclay, eds. 2003. The International
Handbook of Social Impact Assessment: Conceptual and
Methodological Advances. Cheltenham, UK; Northampton,
MA, USA: Edward Elgar.
Bond. 2003. “Logical Framework Analysis.” Guidance Notes No. 4: 1–
8.
Cook, Thomas D., Michael Scriven, Chris L. S. Coryn, and Stephanie
D. H. Evergreen. 2010. “Contemporary Thinking About
Causation in Evaluation: A Dialogue with Tom Cook and
Michael Scriven.” American Journal of Evaluation 31 (1):
Catley, Andy, John Burns, Dawit Abebe, and Omeno Suji.
2014. “Participatory Impact Assessment. A Design Guide,”
57. 105–17.
Evaluación de Programas Gubernamentales. 2005. “Metodología para
la Elaboración de Matriz de Marco Lógico.” División de
Control de Gestión, DIPRES, 8.
Funnell, Sue C., and Patricia J. Rogers. 2011. “Purposeful Program
Theory. Effective Use of Theories of Change and Logic
Models.”
Rogers, Patricia. 2001. “Program Theory and Logic Models for
Systemic Evaluation.” RMIT University, No. January.
2. Algunos manuales
Asociación Internacional para la Evaluación de Impactos -
IAIA-. 2015. “Evaluación de Impacto Social:
Lineamientos para la Evaluación y Gestión de
Impactos Sociales de Proyectos.”,110.
http://www.iaia.org/pdf/Evaluacion-Impacto-Social-
Lineamientos.pdf.
Baker, Judy L. 2000. Evaluación del Impacto de los
Proyectos de Desarrollo en la Pobreza. Manual Para
Profesionales.
Bank, The World. 2003. “Independent Evaluation:
Principles, Guidelines and Good Practice.”
Blomquist, John. 2003. “Impact Evaluation of Social
Programs: A Policy Perspective,”
Cohen Ernesto, and Rolando Franco. n.d. Evaluación de
Proyectos Sociales.
Di Virgilio, Mercedes, and Romina Solano. n.d.
Monitoreo y Evaluación de Políticas, Programas y
Proyectos Sociales. Edited by CIPPEC.
Enfoque AEVAL. 2015. Guia Práctica. AEC.
Ernesto Cohen, and Rolando Franco. 1992. Evaluación de
Proyectos Sociales. Edited by Siglo Veintiuno.
Fontaine, Ernesto R. n.d. Fontaine (2008) Evaluación
Social de Proyectos.
Gertler, Paul, Sebastián Martínez, Patrick Premand, Laura
Rawlings, and Christel Vermeersch. 2011. La
202 Referencias
Evaluación de Impacto En La Práctica. Banco

Mundial. Banco Mundial.
Gertler, Paul, Sebastián Martínez, Patrick Premand, Laura
Rawlings, and Christel Vermeersch. 2011. La
Evaluación de Impacto en la Práctica. Banco
Mundial. Banco Mundial.
Henk Becker and, and Frank Vanclay. n.d. “The
International Handbook of Social Impact
Assessment.”
International, Canadian, and Development Agency. n.d.
“How to Perform Evaluations Getting Started how to
perform evaluations” 6088 (819): 0–8.
Jones, Robert, and Valerie Young. 2004. “CIDA
Evaluation Guide.”
Navarro, Hugo, Katiuska King, and Edgar Ortega. n.d.
Pauta Metodológica de Evaluación de Impacto Ex-
Ante y Ex-Post de Programas Sociales de Lucha
Contra La Pobreza.
OECD/DAC. 2010. “Glossary of Key Terms in Evaluation
and Results Based Management.”
www.oecd.org/dac/evaluation.
Raquel Bernal Ximena Peña. n.d. “Guía Práctica
Evaluación de Impacto.”
Shahidur R. Khandker Gayatri B. Koolwal Hussain A.
Samad. n.d. Handbook on Impact Evaluation. Edited
by The World Bank.
Valdés, Marcos. 1999. “La Evaluación de Impacto de
Proyectos Sociales: Definiciones y Conceptos.”
Herramientas
204 Necesidad
I. Necesidad
Menos Adictas al Estudio de la Cartografía, las
Generaciones Siguientes entendieron que ese dilatado
Mapa era Inútil y no sin Impiedad lo entregaron a las
Inclemencias del Sol y los Inviernos. En los desiertos del
Oeste perduran despedazadas Ruinas del Mapa, habitadas
por Animales y por Mendigos; en todo el País no hay otra
reliquia de las Disciplinas Geográficas.
J.L.Borges
El mapa no es el territorio.
A. Korszibski
El mapa es la mejor metáfora de lo que necesitamos
en nuestra relación con la complejidad. La complejidad nos
ha hecho conscientes no de la ignorancia humana en
general, “sino de la ignorancia agazapada, disimulada, cuasi
nuclear, en el corazón de nuestro conocimiento reputado
como el más cierto, el conocimiento científico. Ahora ya
sabemos que este conocimiento es mal conocido, mal
conocedor, dividido, ignorante tanto de su propio
desconocido como de su conocido (E. Morin).
Es inútil pretender trazar un mapa igual al territorio,

que no termine destrozado como el Mapa del Imperio del
cuento de Borges, que acaba deshilachado y olvidado hasta
en su razón de ser. Como no hay un mapa que replique el

territorio, no hay una teoría que explique todo.
Es menester avanzar con cautela, trazando planes y
guías de ruta. Esos itinerarios son el tema del siguiente
título
II. Listas de verificación
a) Naturaleza
Frecuentemente se considera que las listas de
verificación (checklists), están por debajo del nivel de lo
que llamamos metodología, y más aún de la teoría. Sin
embargo, ellas son de gran utilidad y ocupan un lugar
central en la evaluación.
Muchas listas de verificación utilizadas en la
evaluación incorporan una teoría bastante compleja, o al
menos un conjunto de hipótesis, bien fundamentadas.
De hecho, si bien la teoría subyacente a una lista de
verificación es menos ambiciosa que la que normalmente
llamamos una teoría del programa, a menudo es toda la
teoría necesaria para la evaluación.
El proceso de validación de una lista de verificación
es una tarea que requiere considerable dedicación.
A continuación, de acuerdo con el enfoque de
Scriven, se describen algunas de las características básicas
de las listas de verificación y su aplicación en la evaluación,
sin pretender agotar su lógica o metodología.
1. Definición
Una lista de verificación es una lista de factores,
propiedades, aspectos, componentes, criterios, tareas o
dimensiones, cuya presencia, referencia o cantidad debe
considerarse por separado, para realizar una determinada

tarea.
Hay muchos tipos diferentes de lista de verificación,
aunque tienen al menos una función en común: la de ser un
dispositivo recordatorio.
Esa función por sí sola las hace muy útiles en la
evaluación, ya que la naturaleza de la evaluación
profesional requiere un enfoque sistemático para
determinar el mérito, el valor, etc., de lo que a menudo son
entidades complejas.
Por lo tanto, una lista de los diversos componentes,
o dimensiones de mérito o desempeño, de tales entidades es
frecuentemente valiosa.
A juzgar por los resultados, incluso los evaluadores
profesionales a menudo olvidan los elementos clave que
deberían incluirse en las evaluaciones sistemáticas.
2. Tipos
El caso más simple es la “lista de la lavandería”,
un conjunto de categorías (camisas, medias, etc.), que es
“solo un dispositivo recordatorio”, lo cual ya es suficiente
para que sea muy útil.
El orden en que uno enumera los artículos en una
lista de lavandería no afecta su validez: simplemente
podemos anotar en la lista los elementos que se encuentran
en la parte superior de la pila de ropa.
En cambio, la entrada de elementos en la
categoría correcta de la lista sí es crucial. Ese error es el
equivalente, en la práctica, de los errores de codificación en
el registro de datos observados.
208 Listas de verificación
La agrupación de los elementos, al elaborar la

lista, es importante. Por ejemplo, las camisas con colores
que destiñen deben mantenerse separadas de las camisas
blancas.
Por supuesto, una lista de lavandería real no es una
lista de evaluación; pero muchas "listas de lavandería" son
útiles durante la evaluación.
Luego están las “listas de verificación secuencial”,
donde el orden sí importa.
El primer tipo es lo que podríamos llamar el tipo
fuertemente secuencial, donde se debe seguir el orden (de
algunos o todos los puntos de control) para obtener
resultados válidos.
Un ejemplo de esto es la lista de verificación previa
al despegue, cuyo uso es obligatorio, para las tripulaciones
de aviones que transportan cientos de miles de pasajeros por
día. Es secuencial porque, por ejemplo, la precisión del
instrumento de lectura A depende de si el ajuste en el
instrumento A se ha puesto a cero, por lo que uno debe
realizar el ajuste antes de la lectura.
El uso de la lista de verificación previa al vuelo es
evaluativo porque está diseñado para brindar soporte para
la conclusión de si el avión está (en ciertos aspectos
cruciales) en condiciones suficientes para volar de forma
segura: cada punto de control en la lista es una condición
necesaria para una operación segura.
Sin embargo, otras listas de verificación
secuenciales no son intrínsecamente evaluativas, aunque
podrían usarse en el curso de una evaluación.
Una lista de verificación “débilmente secuencial”

es aquella donde el orden es de cierta importancia, pero por
razones psicológicas o de eficiencia más que por una
necesidad lógica o física.
Por ejemplo, durante el desarrollo de los Estándares
de Evaluación de Programas(ver pág. 122), Lee Cronbach
argumentó que el primer lugar entre los grupos de esos
estándares no deberían ser los de Precisión, que eran los
candidatos obvios, sino los de Utilidad porque -como lo vio
Cronbach-, la gente estaba cansada de evaluaciones que
podían ser precisas, pero mostraban todas las señales de
ser inútiles.
Al convencer a la gente de que las evaluaciones iban
a ser útiles, argumentó, se ganaría su atención cuando fuera
el turno de cuestiones como la precisión.
Las consideraciones de eficiencia también pueden
sugerir un cierto orden dentro de una lista de verificación.
Por ejemplo, si la experiencia revela que si se requiere un
nivel de desempeño -quizá un cierto nivel de productividad
mínima- en el que fallan comúnmente los candidatos en una
competencia recurrente, la eficiencia sugiere ponerlo
primero en el orden, ya que eliminará la necesidad de perder
tiempo, y posiblemente otros recursos, revisando el
desempeño en otros criterios de aquellos candidatos que no
cumplan con ese requisito.
Una lista de verificación iterativa es secuencial,
en todo o en parte, pero requiere o puede requerir múltiples
repasos para alcanzar una lectura estable en cada punto de
control.
Pero, después de recorrer la lista de verificación,

uno puede pensar en otras alternativas, en algunos puntos
de control y repetir el ciclo, en forma iterativa.
Otro tipo de lista de verificación, que a veces es
secuencial pero no siempre, se basa en diagramas de
flujo. Esta es la lista de verificación de diagnóstico que se
utiliza, por ejemplo, en emergencias médicas.
Por lo general, respalda un tipo de conclusión
clasificatoria, que puede ser descriptiva o evaluativa.
Por ejemplo, una lista de resolución de problemas
cuyas conclusiones son determinantes, y por lo tanto
evaluativas ("El problema con este motor parece ser que las
boquillas de los inyectores de combustible están seriamente
desgastadas"; El culpable de esta muerte parece ser la
insuficiencia cardíaca ").
La lista de verificación en sí puede no ser
evaluativa, pero el contexto de uso justifica ciertos tipos de
conclusiones evaluativas. Por ejemplo, "Este espécimen
está demasiado dañado para hacer posible una clasificación
final ".
Vale la pena señalar que la lista de verificación de
diagnóstico, aunque puede no estar expresado en términos
teóricos, a menudo nos lleva a conclusiones causales.
porque a menudo se basa en una teoría implícita, bajo la
superficie (por ejemplo, se basa en una teoría limitada sobre
el modus operandi de un veneno).
b) Criterios de merito
Probablemente el tipo de lista de verificación más
importante para fines de evaluación es la lista de
verificación, de criterios de mérito (por lo tanto, listas

“CDM”).
Esto es lo que los jueces usan cuando califican a los
participantes en una competencia de patinaje, o canto, o de
productos agrícolas; es lo que el evaluador usa, o debería
estar utilizando para evaluar a maestros, o investigadores, o
universidades, o solicitudes de financiamiento.
Una serie de listas “cdm” (“comlist’s”: criteria of
merit lists, en inglés) están disponibles en el sitio web de
listas de verificación (https://www.wmich.edu/evaluation)
Las listas “cdm” se usan ampliamente como la base
para un procedimiento de calificación particular. Los
criterios reciben ponderaciones por importancia (p. ej., en
una escala de 1 a 5), los candidatos obtienen puntuaciones
de desempeño en una escala estándar (por ejemplo, 1-10)
para cada criterio o dimensión, y la suma de los productos
de los pesos (de cada criterio) por la calificación (en esa
dimensión) para cada candidato se utiliza como la medida
de mérito.
El “cdm” es a menudo un elemento difícil de
desarrollar y validar: tiene que cumplir con algunos
requisitos estrictos que no se aplican a los tipos más simples
de lista de verificación discutidos hasta ahora.
Por ejemplo, es esencial que esté completo, es
decir, que incluya todos los criterios significativos de
mérito.
De lo contrario, algo que presente una buena
calificación en una lista incompleta, podría ser en realidad
bastante inferior, debido a un pobre desempeño en alguna
dimensión crucial del mérito que se ha omitido.
Además, los criterios en un “cdm” no deben

superponerse si se van a utilizar como base para la
puntuación para evitar el "doble conteo" de la zona de
superposición.
c) El valor de las listas de verificación
Las listas de verificación son dispositivos
mnemónicos, es decir, reducen las posibilidades de
olvidarse de verificar algo importante. Por lo tanto, reducen
los errores de omisión directamente y los errores de
comisión indirectamente, si uno considera que las
decisiones son tomadas sobre la base de listas de
verificación.
Las listas de verificación en general son más fáciles
de entender y validar por los interesados legos, que la
mayoría de las teorías o análisis estadísticos.
Dado que a menudo se requiere que la evaluación
sea creíble para los interesados además de ser válida según
los estándares técnicos, esta característica es valiosa para
los evaluadores.
Las listas de verificación en general, y
particularmente las listas de control, reducen la influencia
del efecto halo, es decir, la tendencia a permitir que la
presencia de alguna característica altamente valorada
influya en exceso sobre el propio juicio de mérito.
Las listas de verificación hacen esto al obligar al
evaluador a considerar por separado y asignarle mérito a
cada dimensión relevante posible.
Los “cdm” reducen la influencia del “efecto
Rorschach”, es decir, la tendencia a ver lo que uno quiere
ver en una masa de datos. Lo hacen forzando un juicio

separado sobre cada dimensión y una conclusión basada en
estos juicios.
El uso de un “cdm” válido elimina el problema de
la doble ponderación cuando se usa un informante informal.
Las listas de verificación a menudo incorporan, en
un formato económico, enormes cantidades de
conocimiento específico sobre los criterios particulares para
los que se han desarrollado.
Por lo tanto, las listas de verificación son una forma
de conocimiento acerca de un dominio, organizadas para
facilitar ciertas tareas, por ejemplo, diagnóstico, evaluación
global.
En general, las listas de verificación evaluativas
pueden desarrollarse más fácilmente que lo que
normalmente se describe como teorías sobre la gestión del
evaluando.
Por lo tanto, a menudo podemos evaluar (o
diagnosticar, etc.) donde no podemos explicar (ojos
amarillos e ictericia).
Esto es análogo a las situaciones donde podemos
predecir a partir de una correlación, aunque no podemos
explicar la ocurrencia de lo que predecimos. (Ejemplo:
aspirina como analgésico).
Las listas de verificación pueden contribuir
sustancialmente a:
(i) la mejora de la validez, fiabilidad y
credibilidad de una evaluación;
(ii) a nuestro conocimiento útil sobre un
dominio.
d) Algunos desarrollos adicionales

1. Requisitos clave
La mayoría de los siguientes son auto explicativos y
se refieren a los criterios o puntos de control que conforman
una lista “cdm”:
1. Los puntos de control deben referirse
a criterios y no a simples indicadores (explicados a
continuación).
2. La lista debe estar completa (sin omisiones
significativas).
3. Los elementos deben ser contiguos, es decir, no
superpuestos (esencial si la lista se usa para calificar).
4. Los criterios deben ser conmensurables
(explicados a continuación).
Y por supuesto:
5. Los criterios deben ser claros (también
comprensibles, aplicables).
6. La lista debe ser concisa (para ayudar a su
función mnemotécnica), es decir, no debe contener nada
superfluo.
2. Criterios
Los criterios deberían ser confirmables (ser
medibles o fiables).
Un criterio de mérito es el que tiene que ver con el
mérito, a veces de manera muy fuerte (de modo que una
falla en ese criterio es fatal), pero a menudo solo es uno de
los varios que son altamente relevantes para el mérito,
aunque no es en sí mismo absolutamente esencial.
¿Cómo se valida una lista de verificación de

criterios de mérito?
Esencialmente, uno comienza intentando
integridad, es decir, trata de enumerar todo lo que cuenta
como mérito en una entidad X.
Luego, se intenta construir casos hipotéticos en los
que una entidad tenga todas las propiedades en el “cdm”
propuesto, pero todavía le falta algo que sería necesario o
importante para justificar una asignación de mérito.
Mirando la lista de verificación para un reloj, por
ejemplo, uno podría decir: "Bueno, todo lo que obtendría es
un reloj que funciona bien si te quedas en casa todo el
tiempo... pero supongamos que tienes que volar desde un
país a otro”.
Eso requerirá que reinicies la hora, y hay relojes
donde esa es una tarea prácticamente imposible a menos
que lleves un libro de instrucciones. Seguramente, ¿ese
defecto te permitiría retener una asignación de alto mérito?
Ese es un buen argumento, y creo que muestra que
en ese caso necesitamos agregar un criterio más de mérito.
3. Teorías evaluativas
Ya hemos destacado el contenido informativo de las
listas de verificación. Por ejemplo, la lista de verificación
de un reloj exhibe conocimientos útiles sobre los
componentes de los relojes, la lista de verificación de
contratación expone conocimiento considerable del proceso
por el cual las organizaciones aprueban los contratos.
Una teoría evaluativa de la entidad X es justo la
idea de una determinada lista para X. Y ese puede ser el
tipo de teoría, y puede ser el único tipo de teoría, que

necesitamos para fines de evaluación.
Estas “teorías evaluativas” no son tan ambiciosas
como la teoría explicativa de la operación total del
evaluando, pero son algo que es más de lo que cualquiera
puede manejar con evaluandos complejos como grandes
Instituciones educativas, o intervenciones como la adicción
y la delincuencia y la reducción de la pobreza.
Decir qué propiedades debe tener una institución o
intervención para ser considerado como meritorio no es
una tarea trivial, sino más fácil.
Una ventaja de la teoría evaluativa es que es mucho
más fácil dar una buena evidencia de su aceptabilidad de lo
que es demostrar la verdad de una teoría explicativa.
Aquellos que favorecen un enfoque basado en
resultados para la evaluación del programa tal vez se vean
particularmente atraídos por este tipo de teoría, debido al
énfasis en el rendimiento. Sin embargo, puede y
comúnmente debe incluir también variables de proceso.
Podría parecer que las teorías evaluativas, los
fundamentos de los “cdm” no son particularmente
versátiles para generar explicaciones y recomendaciones:
donde se supone que las teorías de programas sobresalen, si
tiene la suerte de tener una válida.
Pero tienen un truco bajo la manga bajo este
encabezado: son sobresalientes en un aspecto valioso de la
evaluación formativa: identificar las áreas de desempeño
que necesitan atención o retención.
4. Criterios, subcriterios y texto explicativo

La riqueza y el valor de un “cdm” a menudo se
incrementa enormemente al descomprimir algunos de los
criterios.
Hacerlo sigue siendo parte del desarrollo del “cdm”
y, a menudo, es la parte más difícil y útil. En particular, su
valor en la evaluación formativa puede ser mejorado en
gran medida por este procedimiento.
Aquí están los encabezados principales para evaluar
a los maestros:
1. Conocimiento de la materia,
2. Competencia de instrucción,
3. Competencia de evaluación,
4. Profesionalismo,
5. Deberes no estándar pero contractuales con la
escuela o la comunidad (por ejemplo, supervisión capilla)
Esa lista no es demasiado controvertida, pero
tampoco es tremendamente útil. “Todavía está muy lejos de
la trinchera: está más en la carpa del general que en el libro
de actividades del sargento de instrucción”.
Veamos como uno podría expandir la segunda
entrada aquí, para que tuviéramos algo que realmente pueda
hacer distinciones entre los maestros mejores y los más
débiles y orientar el desarrollo profesional, tanto para los
profesores como sus supervisores.
2. Competencia docente:
2.1. Habilidades de comunicación (uso de
vocabulario apropiado para la edad, ejemplos, inflexión,
cuerpo idioma)
2.2. Habilidades de gestión
2.2.1. Gestión del proceso (aula), incluida la

disciplina.
2.2.2. Gestión del progreso (educativo individual
del alumno).
2.2.3. Manejo de emergencias (incendio, tornado,
terremoto, inundación, accidente cerebrovascular, ataque
violento)
2.3. Curso de construcción y habilidades de mejora.
2.3.1. Planificación del curso
2.3.2. Selección y creación de materiales.
2.3.3. Uso de recursos especiales (sitios locales,
medios de comunicación, especialistas)
2.4. Evaluación del curso, docencia, materiales y
currículum.
Ahora podemos ver más claramente lo que está
siendo incluido. Y ahora estamos mucho más cerca de
poder aplicar la lista de verificación.
Sin embargo, en la publicación donde esto apareció
como una lista que había sido revisada más de 30 veces a la
luz de los comentarios de la experiencia y las sugerencias,
agregamos 8,000 palabras de detalles más específicos,
algunos para cada subcriterio, con el fin de completar una
lista de verificación de trabajo.
Esta señala una característica del uso de las listas de
verificación que debe tenerse en cuenta: el equilibrio entre
facilidad de uso y valor agregado a través de la aplicabilidad
por un lado y la longitud por el otro.
La brevedad es deseable; pero la claridad es
esencial, especialmente, por supuesto, cuando las carreras
de personas u otros los asuntos importantes están en juego.
La segunda cuestión que también puede iluminarse

con este ejemplo es el criterio de conmensurabilidad (para
listas de verificación).
Esto significa que los encabezados en un
determinado nivel de una lista de verificación tienen estar
en aproximadamente el mismo nivel de generalidad.
Al observar cualquier conjunto en su ubicación bajo
un encabezado de nivel superior, se debe comprobar que
todos son del mismo nivel de especificidad. La otra cara de
la moneda de conmensurabilidad es que uno debe poner
atención a la función de la lista de verificación, al agrupar
y nombrar subtítulos.
Por ejemplo, en la propia lista de lavandería, si la
función es controlar las acciones de la persona de
lavandería,
Los artículos de color deben enumerarse por
separado de los blancos. Pero si la tarea es simplemente
hacer un registro de lo que fue a la lavandería, el color de
las camisas es irrelevante.
Otro asunto que requiere cuidado al incluir listas de
verificación en la metodología, es la inteligencia,
incluyendo consideración, en la aplicación de las listas de
verificación.
Daniel Stufflebeam informa sobre un piloto cuyo
juicio sobre algunos pilotos con los que había volado era
que se habían centrado más en cubrir la verificación previa
de la lista, en el sentido de marcar los elementos fuera de
ella, pero no en el significado de los puntos de control,
creando así graves riesgos.
El uso de “cdm” para fines de perfilado y

puntuación
Posiblemente el uso más importante de las listas de
verificación en la evaluación involucra su uso como la base
para evaluar y representar el mérito general, el valor o la
importancia de algo.
En la calificación de, por ejemplo, decatletas,
podemos simplemente configurar un gráfico en el que cada
uno de los diez méritos que definen los eventos se asignan
a 3 cm del eje horizontal, mientras que su mejor puntaje en
cada evento es representado por una puntuación
(normalizada) en el rango 1-10 en 15 cm del eje vertical.
Este uso del gráfico de barras se llama creación de
perfiles y es una forma muy útil de mostrar logros o méritos
especialmente para fines de evaluación formativa.
Sin embargo, no proporcionará (en general) una
clasificación de varios candidatos. Para eso, necesitamos
amalgamar las sub-puntuaciones en un índice general de
algún tipo.
En el caso de decatletas, esto se hace fácilmente:
asignamos el mismo peso a cada actuación (ya que así es
como se califica el decatlón) y se suman los puntajes de
desempeño normalizados. El atleta con la puntuación más
alta es el ganador; la segunda puntuación más alta identifica
al subcampeón, etc.
Pero en la evaluación del programa y la mayoría de
las evaluaciones de personal, los asuntos no son tan
fáciles. A menudo parece claro que diferentes criterios de
mérito merecen diferentes ponderaciones; pero es muy
difícil establecer una medida cuantitativa de esos pesos que

atienda a dichas diferencia.
Peor aún, el uso de un solo peso para cada criterio
de mérito es una simplificación excesiva. Es frecuente que
un cierto nivel del desempeño en el criterio N es mucho más
importante que un cierto nivel de desempeño en el criterio
M, pero que los incrementos por encima de ese nivel en N
no son más importantes que los incrementos en M.
En otras palabras, la función de valor o utilidad no
es una función lineal del rendimiento. Si es así, ¿de qué tipo
de función es?
Los siguientes comentarios puede ser útiles para
explorar este refinamiento adicional de “cdm”.
1. No abandones la misma ponderación sin
evidencia abrumadora. En primer lugar, puede que no sea
exactamente correcto, pero puede ser la mejor
aproximación. En segundo lugar, aunque no sea la mejor.
aproximación, los resultados basados en este supuesto
pueden estar altamente correlacionados con los resultados
basados en la correcta función / ponderación; y si no puedes
determinar lo último y demostrarlo a la satisfacción del
cliente y las partes interesadas clave, es de esta manera o
de la carretera.
2. Si está seguro de que N es más importante, a lo
largo de su rango, que M, haga un sencillo e intuitivo
estimación de la diferencia como base para una exploración
de prueba de su efecto (es decir, comenzar una sensibilidad
análisis). Pero haz esto con mucho cuidado. Al principio,
considere si usar el factor 1.5 en lugar de 2, y casi nunca
superan la proporción de 2. Es extremadamente difícil
justificar una proporción mayor que 2 a otros porque 2 tiene

un efecto enorme; y al menos puede argumentar que es
crucial trabajar exactamente Las consecuencias de un peso
de 2 antes de seguir explorando.
3. Si la proporción que elige no se aplica
constantemente en todo el rango de rendimiento en un
criterio particular, intente variarlo para un cierto intervalo.
4. La prueba de sus intentos de establecer pesos
diferenciales requiere un juicio acerca de si los resultados
muestran que ha sido un éxito o un fracaso. Haga esto
inventando y considerando una gama de casos hipotéticos
para ver si conducen a resultados inverosímiles, es decir,
examinar la robustez de tus pesos (Esto es una prueba de
hipótesis para teorías evaluativas). Es probable que lo
descubras rápidamente que las grandes diferencias en pesos
permiten crear contraejemplos fáciles.
5. Un procedimiento que combina la ponderación
cualitativa con procedimientos cuantitativos minimalistas,
llamado El Peso y Suma Cualitativos (QWS), se establece
en el Tesauro de Evaluación del presente autor (Scriven,
1991) y algo más refinado en la metodología de evaluación
de E. Jane Davidson (2004) Conceptos básicos.
Conclusión
Las listas de lavandería, las listas de verificación
secuenciales y las listas de control desempeñan funciones
importantes en la evaluación.
Una lógica básica, que cubre solo algunas
propiedades, se ha establecido aquí, con la esperanza de que
pueda llevar a una mayor atención y mejor utilidad de las
listas de verificación.
III. Una lista preliminar para listas

Una lista de verificación NO es una herramienta de
enseñanza o un algoritmo
1. Desarrollo
❑ ¿Tienes objetivos claro, conciso para su lista de
control?
Es cada elemento:
❑ Un paso crítico de seguridad y en gran
peligro de ser perdido?
❑ No revisado adecuadamente por otros
mecanismos?
❑ ¿Accesible, con una respuesta especifica
requerida para cada elemento?
❑ Diseñado para ser leído en voz alta como una
verificación verbal?
❑ Una que puede ser afectada por el uso de una lista
de verificación?
2. Ha considerado:
❑ Añadir elementos que mejorarán la
comunicación entre los miembros del equipo?
❑ Involucra a todos los miembros del equipo en el
proceso de creación de la lista de verificación?
224 Una lista preliminar para listas
3. Redacción
¿La lista de verificación:
❑ Utiliza puntos de pausa naturales en el flujo de
trabajo?
❑ Usar un lenguaje básico y una estructura de
oración simple?
❑ Tener un título que refleje sus objetivos?
❑ Tener un formato lógico sencillo y ordenado
❑ ¿Encaja en una página?
❑ ¿Minimiza el uso del color?
4. Es la fuente:
❑ Sans serif?
❑ ¿Mayúsculas y minúsculas?
❑ ¿Lo suficientemente grande como para ser leído
fácilmente?
❑ ¿Oscuro sobre un fondo claro?
❑ ¿Hay menos de 10 artículos por punto de pausa?
❑ ¿Es la fecha de creación (o revisión) claramente
marcada?
5. Validación
Tienes:
❑ Probada la lista de verificación con usuarios de
primera línea (ya sea en una situación real o simulada)
❑ Modificada la lista de verificación en respuesta a
pruebas repetidas?
¿La lista de verificación:
❑ ¿Ajusta el flujo de trabajo?
❑ ¿Detecta errores a tiempo para que todavía se

puedan corregir?
❑ ¿Se puede completar la lista de verificación en un
período de tiempo razonablemente breve?
❑ ¿Has hecho planes para la futura revisión de la
lista de verificación?
IV. Lista de verificación para listas
El propósito de esta lista de verificación es servir de

guía a los evaluadores de programas y otros que son
responsable del diseño, desarrollo y uso de listas de
verificación de evaluación.
Se debe utilizar esta lista de verificación después del
diseño del contenido y antes del desarrollo final de una lista
de verificación de evaluación.
Evalúe el borrador de la lista de verificación para
cada uno de los criterios enumerados a continuación, y
facilite las revisiones necesarias para cumplir con todos los
criterios.
1. Contexto
 El título está en la primera página.
 El título describe con precisión y adecuadamente
el propósito de la lista de verificación.
 Se proporciona un contexto al principio de la lista
de verificación y se especifica lo siguiente:
o La audiencia para la lista de verificación
o Cuando usar la lista de verificación
o Instrucciones generales para la lista de
verificación
o Herramientas / referencias que apoyan la lista
de verificación
o Dónde obtener ayuda para usar la lista de

verificación
o Desarrollador y fecha de versión de la lista de
verificación
2. Contenido
 El contenido de la lista de verificación está
completo. (El contenido transmite toda la
información necesaria para abordar el tema de la
lista de verificación).
 El contenido es técnicamente correcto.
 Se utilizan términos precisos. (Los términos
precisos no están abiertos a una interpretación
amplia, por ejemplo, "tres" es más preciso que
"varios" y "semanal" es más preciso que
"periódicamente".
 Los puntos de control enfocan al usuario en qué
hacer.
o Sucinto (no use más o menos palabras de las
necesarias para transmitir el punto)
o Positivo (identifique qué hacer, en lugar de qué
no hacer)
o Declarativo (haga declaraciones en lugar de
hacer preguntas)
o Voz activa (enfatiza verbos en lugar de
adverbios o adjetivos)
228 Lista de verificación para listas
3. Estructura
 Se agrupan elementos similares y de facilitación.
(Un elemento facilitador es aquel que ayuda al
usuario a completar otra tarea; por ejemplo, poder
guardar un documento en un disco duro facilita
aprender cómo guardar un documento en un
disquete.)
 El orden en que se presentan los artículos es
funcional.
 Los artículos están numerados para que los
usuarios sepan el orden apropiado para realizar las
actividades. (Incluso si no hay una secuencia
inherente a una tarea, crear una proporciona a los
usuarios una estructura ordenada y aumenta la
probabilidad de completar con éxito la tarea.)
 Los cortes visuales (espacios en blanco / líneas
horizontales) se utilizan para separar diferentes
elementos, secciones e ideas, dejando en claro
dónde termina un elemento de una lista de
verificación y comienza el siguiente.
 La información importante se resalta de alguna
manera (en caja, centrada, en mayúscula) para
capturar la atención del usuario.
 La palabra "no" está subrayada cuando se usa (para
llamar la atención sobre el negativo).
 Los dispositivos textuales se utilizan de manera
efectiva para controlar la ingesta y el flujo de
información. Específicamente:
o El uso de diferentes tipos de caras y / o

tamaños de tipos crea una estructura clara
(jerarquía) para el documento.
o El texto del cuerpo está configurado para que
sea fácil de leer. (Algunas estrategias para
facilitar la lectura incluyen el uso de tipos de
letra serif, texto izquierdo justificado,
mayúsculas y minúsculas combinadas, y
espacio entre párrafos.)
o Si se usa el color, sirve un propósito
significativo. (El color será de poca utilidad si
la lista de verificación está fotocopiada; por lo
tanto, si se usa, el color debería ser
absolutamente necesario.)
4. Imágenes (si es necesario)

 Las imágenes se presentan en el lado izquierdo del
documento. (Los usuarios entienden mejor las
instrucciones cuando ven el concepto primero y
luego leen la descripción, y en las culturas
occidentales nuestros ojos se mueven del lado
izquierdo al lado derecho de la página.)
 El texto explicativo se presenta a la derecha o
directamente debajo de la imagen.
 Las imágenes están orientadas desde la
perspectiva del usuario. (Los usuarios deben ver la
imagen desde el ángulo en que la verían en la vida
real, no la imagen reflejada, al revés, o hacia atrás.
 Las imágenes tienen un propósito obvio. (Las
imágenes deben contribuir directamente a que los
230 Lista de verificación para listas
usuarios comprendan el contenido de la lista de

verificación).
 Las imágenes contienen solo información
esencial. (Los dibujos lineales son generalmente
mejores dispositivos de instrucción que las
fotografías porque los dibujos eliminan
información extraña y ayudan al usuario a
enfocarse en atributos importantes de un
elemento.)
5. Usabilidad
 El borrador de la lista de verificación se probó para
ver si funcionaba como estaba previsto. (Esto
requiere que el desarrollador tenga un sentido
claro de los objetivos y propósitos para la lista de
verificación)
 La prueba se llevó a cabo con miembros de la
audiencia objetivo para la lista de verificación.
(Los miembros de la audiencia objetivo son las
únicas personas que pueden juzgar adecuadamente
si la lista de verificación es valiosa para ellos ya
que trabajan para lograr el propósito para el cual la
lista de verificación es destinado a.)
 La prueba se llevó a cabo con un solo usuario a la
vez. (Es casi imposible rastrear a más de una
persona a la vez cuando se documenta la
información experiencias y recomendaciones del
usuario para la lista de verificación.)
 El probador se abstuvo de proporcionar ayuda
durante la prueba. (Es fácil quedar atrapado en
querer ayudar al usuario a entender las áreas de

confusión, pero es más importante es concentrarse
en documentar estos problemas y hacer que el
usuario sugiera mejoras para que a largo plazo la
lista de verificación sea un mejor producto.)
 Se realizaron revisiones a la lista de verificación
según los resultados de las pruebas.
 Las pruebas continuaron hasta que los usuarios
destinatarios pudieron usar las listas de
verificación según lo previsto.
V. Diseño de evaluación
a) Lista de verificación de diseño de evaluación

Basada en Daniel L. Stufflebeam, Western
Michigan University
La estructura lógica del diseño de evaluación
incluye elementos que comúnmente se aplican a una amplia
gama de tareas de evaluación y enfoques de evaluación
alternativos.
Esta lista de verificación está pensada como la guía
para las decisiones que uno necesita normalmente
considerar mínimamente al planificar y realizar una
evaluación.
Los puntos de control son especialmente relevantes
cuando se responde a la solicitud de un usuario potencial
para una exigente evaluación compleja. Sin embargo, la
lista de verificación está diseñada para usarse en una amplia
gama de asignación de evaluaciones, tanto pequeñas como
grandes, y para usar con una serie de enfoques diferentes
para la evaluación.
Puede usarse solo o en combinación con otras listas
de verificación. Cuando la evaluación contemplada es
pequeña en alcance y tendrá solo un presupuesto modesto,
los evaluadores y sus clientes pueden encontrar útil
considerar una amplia gama de problemas del diseño de
evaluación antes de dejar de lado aquellos que no son
factibles, no particularmente relevante a la situación, ni

especialmente importante.
Dado que esta lista de verificación está destinada a
los evaluadores que trabajan en circunstancias y
restricciones muy diferentes, el usuario deberá ejercer su
buen juicio y discreción para determinar y aplicar las partes
más aplicables de la lista de verificación de acuerdo con las
necesidades de evaluaciones particulares.
Esta lista de verificación está pensada como un
organizador avanzado y como un recordatorio de los
asuntos clave que deben ser considerados antes y durante
una evaluación.
Una lista ordenada de elementos comúnmente
incluidos en la evaluación de diseños sigue. Estos
elementos no están necesariamente destinados a ser tratados
en una secuencia lineal estricta.
A menudo, uno recorre repetidamente los elementos
mientras planifica y negocia una evaluación y también
durante el curso de la evaluación. En cada uno de estos
ciclos se abordan algunos elementos, mientras que otros,
por lo general, se reservan para la atención posterior o se
abandonan porque no se aplican a la situación particular.
El diseño de evaluación es tanto un proceso como
un producto. Al utilizar esta lista de verificación, el objetivo
debe ser, desarrollar un plan de evaluación que sustente una
evaluación sólida, receptiva y efectiva.
En algunos casos, el evaluador inicialmente está
restringido a la planificación basada principalmente en lo
que se encuentra en una publicación o solicitud de
propuesta. Incluso entonces, a menudo hay oportunidades
234 Diseño de evaluación
para aclarar las necesidades y preferencias del cliente a

través de la asistencia a conferencias de licitadores,
contactando personas designadas y dispuestas a responder
preguntas y / o revisión de evaluaciones pasadas relevantes
del evaluando o evaluandos similares.
Los evaluadores y sus clientes deben revisar las
decisiones de diseño de evaluación a lo largo de la
evaluación, especialmente a medida que surgen nuevas
preguntas y circunstancias. Lo siguiente, entonces, es un
conjunto ordenado de temas a considerar cuando se
planifica, conduce e informa una evaluación.
1. Enfocando la evaluación
1. Determine y aclare el objeto de la evaluación
(evaluando) y el cliente principal.
2. Teniendo en cuenta que las diferentes audiencias
necesitan información diferente de una evaluación,
identifique los principales niveles(es) de audiencias a ser
atendidas, por ejemplo, local, estatal y / o nacional o, dentro
de una organización, gobierno, administración, personal,
financiadores, beneficiarios, otros constituyentes.
3. Para cada nivel, identifique los principales usuarios
previstos de los resultados de la evaluación.
4. Cuando sea posible, involucre a los representantes de
los grupos de usuarios para identificar sus preguntas
prioritarias, información, criterios de evaluación preferidos,
enfoque de evaluación preferido, usos previstos de los
resultados, la naturaleza y el calendario de los informes
necesarios, y las inquietudes relacionadas con la evaluación
proyectada.
5. Identifique a las partes que podrían resultar
perjudicadas como consecuencia de la evaluación e invite y
considere seriamente su aporte antes de decidir llevar a cabo

la evaluación.
6. Pregunte acerca de la lógica que subyace al
evaluando; identificar los factores que llevaron a la
necesidad de la evaluación y examinar los contextos
políticos, políticos, culturales, organizativos e históricos
relevantes.
7. Identificar y abordar las barreras potenciales para la
evaluación, por ejemplo, los requisitos de revisión de
sujetos humanos; necesidades y posibilidades de asegurar
la confidencialidad y el anonimato; consideraciones
éticas; potenciales conflictos de interés; opositores del
evaluando y / o de la evaluación; cuestiones de raza, cultura
e idioma; necesidad de información de las poblaciones
“vulnerables”; necesidad de reunir información altamente
sensible; y la disponibilidad de los fondos necesarios.
8. Identificar y revisar evaluaciones previas del
evaluando; evaluaciones de evaluandos similares en
similares ajustes; literatura pertinente; cualquier evaluación
previa de necesidades relevantes; y otra información que
tenga relevancia para la evaluación.
9. Aclarar la naturaleza de los informes de evaluación
necesarios, por ejemplo, diagnósticos, formativos,
sumativos y / o metaevaluación.
10. Determine en qué medida la evaluación debe y,
prácticamente, puede presentar recomendaciones, así como
conclusiones.
11. Determine el modelo o enfoque de evaluación que
guiará la evaluación, teniendo en cuenta preferencias de
clientes / partes interesadas y evaluaciones previas
similares.
12. Determine en qué medida la evaluación recibirá la
cooperación y la asistencia necesarias de los clientes y otras
partes interesadas.
13. Haga una evaluación realista de la viabilidad de

proceder con la evaluación, según lo proyectado por el
patrocinador y bajo una posible reducción de alcance.
14. Con el cliente, clarifique los estándares para juzgar la
evaluación, las preguntas clave de evaluación, los requisitos
de información, criterios interpretativos, marco de tiempo
general, calificaciones requeridas del evaluador, posibles
arreglos para una metaevaluación y el costo total permitido
para la evaluación.
15. Deje en claro al cliente y a otras partes interesadas lo
que se puede lograr de manera realista con la evaluación
proyectada, dado el contexto y las restricciones relevantes,
y acordar un alcance apropiado para el estudio.
2. Recopilación de información
1. Considere recopilar una amplia gama de información
sobre el evaluando, por ejemplo, contexto, historia,
beneficiarios, benefactores, objetivos y estructura del
evaluando, en contraste con evaluandos similares,
calendario, recursos, calificaciones del personal,
implementación, efectos principales, efectos secundarios,
reputación, juicios de los grupos de interés, sostenibilidad y
transportabilidad.
2. Proyectar el (los) marco (s) metodológico (s) dentro del
cual se recopilará la información, por ejemplo, estudio de
caso, encuesta por muestreo, experimento comparativo y /
o estudio de campo de métodos múltiples.
3. Identifique las fuentes de la información necesaria, por
ejemplo, documentos, información archivada, sistemas de
información / bases de datos, registros financieros,
beneficiarios, personal, financiadores, expertos,
funcionarios de gobierno, y / o grupos de interés
comunitario.
4. Determine los instrumentos y métodos para recopilar la
información necesaria, por ejemplo, entrevistas,
observadores participantes, grupos focales, revisión de

literatura, búsqueda de archivos, Delphi, encuesta, escalas
de calificación, pruebas de conocimiento, debates, visitas al
sitio, fotografía, registros de video, diarios de registro,
estudio sin objetivos, y / o estudio de caso.
5. Especifique los procedimientos de muestreo que se
emplearán con cada método, por ejemplo, intencional,
probabilidad, y / o conveniencia.
6. Cuando sea posible, asegúrese de que cada pregunta de
evaluación principal se aborde mediante múltiples métodos
y / o puntos de datos múltiples en un método dado.
7. Proyecte un cronograma para la recopilación de
información, describiendo los momentos en que cada fuente
de información y cada dispositivo de recopilación de
información se activará.
8. Especifique quién será responsable de recopilar los
respectivos conjuntos de información.
9. Proporcionar al cliente una razón por la que se necesita
el rango de datos proyectado e identificar los datos que son
más importantes.
10. Revise el plan de recopilación de datos en relación con
los recursos disponibles y otras restricciones y, con el
cliente y, según corresponda, considere reducir la
recopilación de datos proyectada a lo que es factible y lo
más importante.
3. Organizando la Información
1. Desarrollar planes para codificar, verificar, archivar,
mantener seguro y recuperar la información obtenida.
2. Considere configurar una base de datos para la
información obtenida.
3. Detalle los programas informáticos, equipos,
instalaciones, materiales, etc. necesarios para procesar,
mantener y controlar el acceso a la información de la
evaluación.
4. Analizar información
1. Identificar las bases para interpretar los hallazgos,
como las necesidades evaluadas de los beneficiarios, los
objetivos, el mandato, estándares, normas nacionales,
costos y desempeño del evaluando en un momento anterior,
costos y
desempeño de evaluandos similares, juicios de expertos y
juicios de beneficiarios y otras partes interesadas
2. Determinar los procedimientos y dispositivos de
análisis cuantitativos necesarios, por ejemplo, estadísticas
descriptivas; análisis de tendencia; análisis de
costos; efecto principal pruebas de significación; pruebas
de interacciones; pruebas de significado a
posteriori; análisis de parámetros de
efecto; metaanálisis; análisis de ítems; análisis
factorial; análisis de regresión; y / o cuadros, tablas, y
gráficos.
3. Determine los procedimientos de análisis cualitativos
necesarios, por ejemplo, análisis temático cualitativo,
análisis de contenido, resúmenes, escenarios y / o contrastes
de fotografías.
4. Seleccionar programas informáticos apropiados para
facilitar los análisis cuantitativos y cualitativos.
5. Planifique la búsqueda de tendencias, patrones y temas
en la información cualitativa.
6. Planee contrastar diferentes subconjuntos de
información cualitativa y cuantitativa para identificar en
ambos conclusiones corroborativas y contradictorias.
7. Planee abordar cada pregunta evaluativa haciendo
referencia y citando los datos cuantitativos e información
cualitativa.
8. Planee usar información cualitativa para elaborar y
explicar hallazgos cuantitativos.
9. Planifique advertencias según sea apropiado en

consideración de cualquier conclusión no concluyente o
contradictoria.
10. Plan para sintetizar información cuantitativa y
cualitativa, por ejemplo, incorporando información con
datos cuantitativos dentro de una narrativa cualitativa o
mediante la incorporación de respuestas de entrevista y
otros datos y hallazgos cualitativos en la discusión de
hallazgos cuantitativos.
11. Anticipe que el cliente u otros grupos de partes
interesadas pueden requerir recomendaciones para corregir
problemas identificados en los hallazgos, y estar preparados
para explicar que los mismos datos que descubrieron los
problemas es poco probable que proporcionen una
dirección válida para resolver los problemas.
12. Considere incluir en el plan de evaluación un proyecto
de seguimiento para generar y evaluar válidamente cursos
alternativos de acción para resolver problemas
identificados; Tales procedimientos podrían incluir una
evaluación de estrategias de soluciones alternativas
disponibles, creación y evaluación de nuevas soluciones
estratégicas, participación de expertos con experiencia
sustancial en el área, revisión de la literatura, y / o una
conferencia de trabajo para trazar y evaluar posibles cursos
de acción.
5. Información de informes
1. En consideración del cliente y las diferentes
audiencias, el proyecto necesita informes de evaluación
(por ejemplo, informes finales y / o componentes
específicos; apéndices técnicos; resumen ejecutivo; un
informe independiente de metaevaluación) y distintos
formatos de informes (por ejemplo, impresos, orales,
electrónicos, multimedia, narración de cuentos,
sociodrama, etc.)
2. Resuma los contenidos de al menos los informes

principales, prestando especial atención a cómo los
hallazgos de diferentes fuentes y métodos se sintetizarán
para responder las principales preguntas de evaluación.
3. Considere la posibilidad de dividir los informes finales
en tres sub informes: Antecedentes del programa (para
aquellos que necesitan información de
fondo), Implementación del programa (para aquellos que
quieran replicar el Programa), y Resultados del
Programa (para todos los miembros de la audiencia).
4. Planifique proporcionar tablas de resumen útiles, por
ejemplo, para cada pregunta evaluativa, resuma los
hallazgos de cada procedimiento de recolección de datos y
también muestran los hallazgos que están de acuerdo en
diferentes procedimientos
5. En los documentos del apéndice técnico, planifique
incluir elementos e información como los currículos del
personal de evaluación, consultores y un meta evaluador
independiente; instrumentos de recopilación de datos y
protocolos; planes asociados con actividades específicas de
recolección de datos; informes de los resultados específicos
de instrumentos y procedimientos particulares de
recopilación de datos; tablas de datos; un registro de las
actividades de recopilación de datos y los informes
provisionales; un resumen de los costos para las diferentes
actividades evaluativas; un resumen de las cuestiones clave
que surgieron durante la evaluación y cómo se abordaron; e
internamente y explicaciones externas de cómo la
evaluación cumplió o no cumplió con los estándares
profesionales.
6. Según corresponda, prever revisiones preliminares de
borradores y talleres de retroalimentación, así como la
emisión de informes finalizados.
7. Desarrolle un plan y un calendario para transmitir los

informes necesarios a las diferentes audiencias, por
ejemplo, cliente, el personal del programa, una junta
directiva pertinente, beneficiarios y el público en general.
6. Administración de la evaluación
1. Delinea el calendario de evaluación.
2. Defina los requisitos y planes de personal y recursos
para cumplir con estos requisitos.
3. Evaluar el potencial de la evaluación proyectada para
cumplir con los estándares profesionales relevantes y
principios básicos, (Ver pág.248 Metaevaluación en la
práctica)
4. Proporcionar por lo menos las metaevaluaciones
formativas y sumativas internas y aconsejar al cliente que
organizar y financiar una metaevaluación independiente.
5. Delinear un presupuesto para la evaluación. (Ver
la lista de verificación para presupuestos de evaluación en
pág. 282 Presupuestos de )
6. Redactar un contrato de evaluación, definiendo
especialmente las audiencias con derecho a saber,
evaluador pertinente, responsabilidades y protocolos,
redacción de informes del evaluador y autoridad de
difusión, y responsabilidades de evaluación del personal.
7. Proporcionar para revisar y actualizar el plan de
evaluación y el contrato según sea necesario como surgen
restricciones y nuevas oportunidades, como las
relacionadas con el acceso a la información y el
presupuesto.
La piedra
angular
I. Evaluar, sopesar, ponderar
Evaluar es algo que todos hacemos, a menudo

muchas veces al día, a medida que nos abrimos paso a
través del tráfico, un menú, una lista de regalos o la elección
de palabras al escribir. Pero también hay una docena de
especialidades profesionales en la evaluación, tanto en
medicina como en ingeniería, donde se requiere, para
dominar incluso el vocabulario, por no hablar de las
habilidades de aplicación sustancial, de aprendizaje y
tutoría. Algunos de estos se enseñan formalmente en las
universidades, por ejemplo, programa de evaluación,
análisis de políticas y pruebas educativas. Otros son
aprendidos principalmente de miembros de la comunidad
de práctica - por ejemplo, clasificación de diamantes,
evaluación de antigüedades-
Pero hay una evaluación especial de importancia
única para la disciplina que, además de ser de considerable
dificultad, probablemente sea la menos estudiada de todas.
Es de crucial importancia porque representa el cuerpo de
conocimiento evaluativo en el que se incorporan los
estándares para toda la empresa de evaluación y, además,
porque su desarrollo y práctica son signos esenciales de que
los evaluadores practicamos lo que predicamos, es decir, los
beneficios de establecer y defender conclusiones
244
evaluativas, con el fin de beneficiar a ciudadanos, gerentes,

profesionales y teóricos. Esta especialidad es, por
supuesto, la evaluación de nuestras propias
evaluaciones, es decir, la metaevaluación.
Es tentador concluir que uno puede arreglárselas sin
tomarse el tiempo necesario para aplicar los estándares. Y
eso es ciertamente cierto si, y solo si, 'arreglárselas' es el
estándar por el que desea ser juzgado.
a) Lista de verificación de Metaevaluación
A continuación (en la página 248), se presenta la
herramienta más importante en la gestión de la Evaluación.
La lista de verificación de Metaevaluación, elaborada por
Stufflebeam, sirve de guia en la etapa de preparación de un
plan de evaluación y posteriormente para calificar el
desarrollo del proceso de evaluación. Cada estándar
contiene 10 ítems, como base para su calificación.
Esta lista de verificación sirve para realizar
metaevaluaciones finales y sumativas.
Para cada uno de los 30 estándares, la lista de
verificación incluye 10 puntos de control, extraídos de la
sustancia del estándar. Se sugiere tildar en cada punto de
control si se ha satisfecho la información correspondiente a
cada estándar. De esa manera se obtiene la puntuación de
cada categoría, contando las marcas.
b) Puntos de control
En cualquier caso, buscar cuidadosamente en el
contexto, incluyendo los usuarios, los actores, las
necesidades y los recursos, a fin de determinar cuál de los
puntos de control deben recibir más atención.
246 Evaluar, sopesar, ponderar
El orden de los siguientes elementos no es un simple

orden de importancia porque los “estrellados” (*), son de
cumplimiento prioritario.
1. Validez* Incluyendo la confiabilidad de la
metodología utilizada (por ejemplo, teniendo en cuenta la
inexactitud bien conocida en las estadísticas en Excel), la
calidad de su implementación y la amplitud de su cobertura
2. Credibilidad, es decir, evitar el evidente
conflicto de intereses o la apariencia de un insuficiente
nivel de competencia. Es importante evitarlos para facilitar
la aceptación y aplicación.
3. Claridad* Estrictamente hablando, esto debería
indicarse como “comprensibilidad en la medida posible
para cada audiencia”, normalmente requerida para todos los
interesados con derecho a saber, no sólo el solicitante y el
personal: esto puede requerir hacer más de un informe,
escrito o hablado; y comúnmente requiere después del
informe la interacción con el público, después de que se les
da tiempo para digerir y aplicar el informe.
4. Concisión. Evitar una longitud innecesaria — no
es igual a brevedad, ya que una evaluación debe cubrir lo
que requieren la validez y utilidad; es altamente
dependiente del contexto (por ejemplo, depende, hasta
cierto punto, de los intereses del usuario). Una evaluación
muy clara puede ser mucho muy larga, por eso es necesario
un control especial sobre esto.
5. Oportunidad. Es decir, presentado en el plazo
establecido, ajustado para acomodar demoras debido a
usuario). La evaluación es un servicio, no sólo una
publicación científica, y sólo para esto último puede uno
argumentar que la puntualidad se reemplaza por la

necesidad de un refinado nivel de exactitud o
exhaustividad. Una evaluación que viene después de la
fecha de decisión es a menudo de valor cero, no sólo de
menor valor.
6. Efectividad Juzgada hasta el cierre de la ventana
de seguimiento, más los efectos predecibles después de eso.
Tenga en cuenta que esto incluye maximizar la utilización
del diseño y ejecución, así como los resultados de la
evaluación. No se limita a los resultados solamente, es
decir, a los resultados de la utilización (ya que la ausencia
de esto último puede ser enteramente responsabilidad del
usuario o personal o 'actos providenciales' por ejemplo los
terremotos).
Si el fracaso para obtener adecuados resultados es
culpa del evaluador, sólo puede ser por culpa de su diseño
o implementación.
7. Costo-viabilidad * Viene antes de rentabilidad
porque esto normalmente incorpora un coste máximo
posible. Por lo tanto, este criterio no se limita al estado de
mera conveniencia. Esto incluye todo: dinero, no dinero y
los costos de oportunidad.
8. Rentabilidad Los tres focos más importantes
para la aplicación de este control requieren un nivel muy
sofisticado de habilidad en: (i) análisis de costos; (ii)
análisis de robustez; y (iii) análisis de rendimiento
probable.
9. Generalizabilidad También conocido como un
componente clave de la relevancia/importancia). Por
ejemplo, alguna conclusión o diseño que puedan aplicarse
provechosamente con otro personal, evaluando o contextos;

o usar una nueva herramienta (para recolección de datos o
análisis de datos) que se puede aplicar a otras categorías
importantes de evaluandos o datos; este criterio debe ser
aplicado con cuidado ya que es asimétrica, es decir, no es
culpa de la evaluación si no ofrece ninguna generalización,
la discusión no tiene que mostrar que el criterio está
presente para que la evaluación que estamos evaluando sea
una buena evaluación.
c) Metaevaluación en la práctica
Para cada una de las 30 normas, la lista de
verificación incluye 10 puntos de control extraídos de la
sustancia del estándar. Se sugiere anotar cada estándar en
cada control.
Es un tipo de lista con puntuación según “Criterio
del mérito”. Entonces, los juicios sobre la adecuación del
modelo de evaluación para cumplir con el estándar pueden
hacerse, sobre la base de los puntos cumplimentados en
cada norma, de la siguiente manera: 0-2 Pobre, 3-4 Regular,
5-6 Buena, 7-8 Muy buena, 9-10 Excelente.
Se considera que el modelo de evaluación falla si
obtiene un puntaje bajo en los siguientes estándares:
 C1 Orientación al servicio
 P5 Información válida
 P10 Conclusiones justificadas
 P11 Informes imparciales
Se recomienda consultar el texto completo del
Programa del Comité Conjunto (1994) Estándares de
Evaluación, Thousand Oaks, CA: Sage Publications.
1. REQUISITOS DE UTILIDAD
U1.- Identificación de partes interesadas
 Identifique claramente al cliente de evaluación
 Involucrar figuras de liderazgo para identificar otras
partes interesadas
 Consulte a las partes interesadas potenciales para
identificar sus necesidades de información
 Usar partes interesadas para identificar otras partes
interesadas
 Con el cliente, clasifique a los interesados por su
importancia relativa
 Organizar para involucrar a las partes interesadas a lo
largo de la evaluación
 Mantener la evaluación abierta para servir a las partes
interesadas recientemente identificadas
 Abordar las necesidades de evaluación de las partes
interesadas
 Servir a un rango apropiado de partes interesadas
individuales
 Servir una gama apropiada de organizaciones de
partes interesadas
9-10 Excelente 7-8 Muy bueno 5-6 Bueno 3-4 Regular 0-2 Pobre
U2 Credibilidad del Evaluador

 Involucrar evaluadores competentes
 Involucrar a los evaluadores en quienes confían los
interesados
 Involucrar a los evaluadores que puedan dirigirse a las
preocupaciones de los interesados
 Involucrar a los evaluadores que responden

adecuadamente a cuestiones de género, nivel
socioeconómico, raza y lenguaje y diferencias
culturales
 Asegurar que el plan de evaluación responda a las
partes interesadas clave
 Ayudar a los interesados a comprender el plan de
evaluación
 Ofrecer información a los interesados sobre la calidad
técnica y la practicidad del plan de evaluación
 Asistir adecuadamente a los interesados = críticas y
sugerencias
 Manténgase al tanto de las fuerzas sociales y políticas
 Mantener informadas a las partes interesadas sobre el
progreso de la evaluación
U3 Alcance y selección de información

 Comprender los requisitos de evaluación más
importantes del cliente
 Entreviste a los interesados para determinar sus
diferentes perspectivas
 Asegurar que el evaluador y el cliente negocien
audiencias pertinentes, preguntas e información
requerida
 Asignar prioridad a las partes interesadas más
importantes
 Asignar prioridad a las preguntas más importantes
 Permitir flexibilidad para agregar preguntas durante la
evaluación
 Obtenga suficiente información para abordar las

preguntas más importantes de la evaluación de los
interesados =
 Obtener suficiente información para evaluar el mérito
del programa
 Obtener suficiente información para evaluar el valor
del programa
 Asignar el esfuerzo de evaluación de acuerdo con las
prioridades asignadas a la información necesaria
U4 Identificación de los valores

 Considerar fuentes alternativas de valores para
interpretar los hallazgos de la evaluación
 Proporcionar una base clara y defendible para los
juicios de valor
 Determine la(s) parte(s) apropiada(s) para hacer las
interpretaciones valorativas
 Identificar las necesidades sociales pertinentes
 Identificar las necesidades pertinentes de los clientes
 Referencia leyes pertinentes
 Referencia, según corresponda, la misión institucional
pertinente
 Referencia los objetivos del programa
 Tener en cuenta las partes interesadas = valores
 Según corresponda, presente interpretaciones
alternativas basadas en bases de valores conflictivas
pero creíbles
U5 Claridad de los informes

 Informar claramente la información esencial
 Emitir informes breves, simples y directos
 Enfocar informes sobre preguntas contraídas
 Describe el programa y su contexto
 Describir los propósitos, procedimientos y hallazgos
de la evaluación
 Apoyar conclusiones y recomendaciones
 Evite reportar jerga técnica
 Informe en el idioma (s) de los interesados
 Proporcionar un resumen ejecutivo
 Proporcionar un informe técnico
U6 Informar puntual y oportunamente

 Hacer informes provisionales oportunos para los
usuarios previstos
 Entregar el informe final cuando sea necesario
 Tener intercambios oportunos con el comité de
políticas del programa
 Tener intercambios oportunos con el personal del
programa
 Tener intercambios oportunos con los clientes del
programa
 Tener intercambios oportunos con los medios públicos
 Tener intercambios oportunos con toda la gama de
audiencias de derecho a saber
 Emplear medios efectivos para llegar e informar a las
diferentes audiencias
 Mantenga las presentaciones apropiadamente breves

 Use ejemplos para ayudar al público a relacionar los
hallazgos con situaciones prácticas
U7 Impacto de la evaluación
 Mantener contacto con la audiencia
 Involucrar a los interesados a lo largo de la evaluación
 Fomentar y apoyar a las partes interesadas = uso de los
hallazgos
 Mostrar a las partes interesadas cómo podrían usar los
hallazgos en su trabajo
 Pronosticar y abordar usos potenciales de los hallazgos
 Proporcionar informes provisionales
 Asegúrese de que los informes estén abiertos, francos
y concretos
 Complementar informes escritos con comunicación
oral continua
 Llevar a cabo talleres de retroalimentación para revisar
y aplicar los hallazgos
 Haga arreglos para proporcionar asistencia de
seguimiento en la interpretación y aplicación de los
hallazgos.
2. Puntuación de la UTILIDAD de la evaluación

Sume lo siguiente: Fortaleza de las disposiciones del
modelo
Número de calificaciones excelentes (0-7) 26 (93%) a 28: Excelente

x4=
Número de Muy Bueno (0-7) x 3 = 19 (68%) a 25: Muy bueno
Número de Buenos (0-7) x 2 = 14 (50%) a 18: Bueno
Número de Regular (0-7) x 1 = 7 (25%) a 13: Regular
Puntaje total = 0 (0%) a 5: Pobre
_____ (puntaje total) ÷ 28 = _____ x 100 = _____
3. REQUISITOS DE VIABILIDAD
V1 Procedimientos prácticos
 Adaptar métodos e instrumentos a los requisitos de
información
 Minimizar la interrupción
 Minimice la carga de datos
 Designar personal competente
 Entrene al personal
 Elija los procedimientos que el personal está calificado
para llevar a cabo
 Elija procedimientos a la luz de las restricciones
conocidas
 Haga un horario realista
 Involucrar a los lugareños para ayudar a llevar a cabo
la evaluación
 Según corresponda, haga que los procedimientos de
evaluación sean parte de los eventos de rutina
V2 Viabilidad política
 Anticipar diferentes posiciones de diferentes grupos

de interés
 Evite o contrarreste los intentos de sesgo o aplicación
incorrecta de los hallazgos
 Fomentar la cooperación
 Involucrar a los interesados a lo largo de la evaluación
 Acordar autoridad editorial y de difusión
 Emitir informes provisionales
 Reportar opiniones divergentes
 Reportar a audiencias de derecho a saber
 Emplear un contrato público firme
 Terminar cualquier evaluación corrupta
V3 Efectividad/costo
 Sea eficiente
 Hacer uso de servicios en especie
 Producir información que valga la inversión
 Informar decisiones
 Fomentar la mejora del programa
 Proporcionar información de responsabilidad
 Generar nuevos conocimientos
 Ayuda a difundir prácticas efectivas
 Minimice las interrupciones
 Minimice las demandas de tiempo al personal del
programa
4. Puntuación de la VIABILIDAD de la evaluación

modelo
Número de calificaciones excelentes (0-3) 11 (93%) a 12: Excelente

x4=
Número de Muy Bueno (0-3) x 3 = 8(68%) a 10: Muy bueno
Número de bienes (0-3) x 2 = 6 (50%) a 7: Bueno
_____ (puntaje total) ÷ 12 = _____ x 100 = _____
5. REQUISITOS DE CORRECCION
C1 Orientación de servicio
 Evaluar las necesidades de los clientes del programa
 Evaluar los resultados del programa contra clientes
específicos = necesidades evaluadas
 Ayudar a asegurar que se sirva a toda la gama de
beneficiarios legítimos del programa
 Promover un excelente servicio
 Haga que la orientación del servicio de la evaluación
sea clara para las partes interesadas
 Identificar las fortalezas del programa para construir
 Identificar las debilidades del programa para corregir
 Dar retroalimentación provisional para la mejora del
programa
 Exponer prácticas dañinas
 Informar a todas las audiencias que tienen derecho a

conocer los resultados positivos y negativos del
programa
C2 Alcanzar acuerdos escritos por adelantado sobre:

 Propósito de la evaluación y preguntas
 Audiencias
 Informes de evaluación
 Edición
 Lanzamiento de informes
 Procedimientos de evaluación y calendario
 Confidencialidad / anonimato de datos
 Personal de evaluación
 Metaevaluación
 Recursos de evaluación
C3 Derechos de sujetos humanos

 Dejar en claro a los interesados que la evaluación
respetará y protegerá los derechos de los sujetos
humanos
 Aclarar los usos previstos de la evaluación
 Mantener informados a los interesados
 Seguir el debido proceso
 Defender los derechos civiles
 Comprender los valores de los participantes
 Respetar la diversidad
 Seguir el protocolo
 Respetar los acuerdos de confidencialidad / anonimato

 No hacer daño
C4 Interacciones humanas
 Relacionarse constantemente con todas las partes
interesadas de manera profesional
 Mantener una comunicación efectiva con las partes
interesadas
 Seguir el protocolo de la institución
 Minimizar la interrupción
 Honrar a los participantes = derechos de privacidad
 Compromisos de tiempo de honor
 Estar alerta y dirigirse a los participantes con
preocupaciones sobre la evaluación
 Ser sensible a los participantes con diversidad de
valores y diferencias culturales
 Ser imparcial al abordar las diferentes partes
interesadas
 No ignorar ni ayudar a encubrir la incompetencia,
comportamiento poco ético, fraude, desperdicio o
abuso de un participante
 C5 Evaluación completa y regular

 Evaluar e informar las fortalezas del programa
 Evaluar e informar las debilidades del programa
 Informar sobre los resultados previstos
 Informar sobre resultados no deseados
 Dar una cuenta completa del proceso de la evaluación

 Según corresponda, muestre cómo las fortalezas del
programa podrían usarse para superar sus debilidades
 Se revisó el borrador del informe
 Abordar adecuadamente las críticas al borrador del
informe
 Reconocer las limitaciones del informe final
 Estimar e informar los efectos de las limitaciones de la
evaluación sobre el juicio general del programa
C6 Divulgación de los hallazgos

 Definir las audiencias con derecho a saber
 Establecer una base contractual para cumplir con los
requisitos del derecho a saber
 Informar al público sobre los propósitos de la
evaluación y los informes proyectados
 Reportar todos los hallazgos por escrito
 Reportar puntos de vista relevantes tanto de los
partidarios como de los críticos del programa
 Informar conclusiones y recomendaciones
equilibradas e informadas
 Mostrar las bases para las conclusiones y
recomendaciones
 Revelar las limitaciones de la evaluación
 En el informe, respetar estrictamente un código de
franqueza, apertura e integridad
 Asegurar que los informes lleguen a sus audiencias
C7 Conflicto de intereses
 Identificar potenciales conflictos de interés al
principio de la evaluación
 Proporcionar garantías escritas y contractuales contra
los conflictos de interés identificados
 Involucrar a múltiples evaluadores
 Mantener registros de evaluación para revisión
independiente
 Según corresponda, involucrar a partes independientes
para la evaluación de susceptibilidad o corrupción,
mediando en conflictos de interés
 Cuando corresponda, divulgue procedimientos de
evaluación, datos e informes para revisión pública
 Contrato con la autoridad de financiación en lugar del
programa financiado
 Haga que los evaluadores internos informen
directamente al director ejecutivo
 Informar equitativamente a todas las audiencias que
tienen derecho a saber
 Involucrar a personas calificadas únicamente para
participar en la evaluación, incluso si tienen un
conflicto potencial de interés; pero tome medidas para
contrarrestar el conflicto
C8 Responsabilidad fiscal
 Especificar y presupuestar elementos de gastos por
adelantado
 Mantenga el presupuesto suficientemente flexible para

permitir reasignaciones apropiadas para fortalecer la
evaluación
 Obtener la aprobación apropiada para las
modificaciones presupuestarias necesarias
 Asignar la responsabilidad de administrar las finanzas
de la evaluación
 Mantener registros precisos de las fuentes de
financiación y los gastos
 Mantener registros adecuados de personal con
respecto a las asignaciones de trabajo y el tiempo
empleado en el trabajo
 Emplee compras de comparación para materiales de
evaluación
 Emplear una licitación de contrato de comparación
 Sea frugal en el gasto de recursos de evaluación
 Según corresponda, incluya un resumen de gastos
como parte del informe de evaluación pública
6. Puntuación de la evaluación de CORRECCIÓN

modelo
Número de Excelentes (0-8) x 4 = 30 (93%) a 32: Excelente
Número de Muy Bueno (0-8) x 3 = 22(68%) a 29: Muy bueno
Número de bienes (0-8) x 2 = 16 (50%) a 21: Bueno

_____ (puntaje total) ÷ 32 = _____ x 100 = _____
7. REQUISITOS DE PRECISIÓN
P1 Documentación del programa
 Recopilar descripciones del programa deseado de
varias fuentes escritas
 Recopilar descripciones del programa deseado por
parte del cliente y varias partes interesadas
 Describa cómo se diseñó el programa para funcionar
 Mantener registros de varias fuentes de cómo funciona
el programa
 Como sea posible, involucre observadores
independientes para describir las operaciones reales del
programa
 Describir cómo el programa realmente funcionó
 Analizar las discrepancias entre las diversas
descripciones de cómo se pretendía que el programa
funcionara
 Analizar las discrepancias entre cómo se pretendía
operar el programa y cómo funcionaba realmente
 Solicite al cliente y a varias partes interesadas que
evalúen la precisión de las descripciones grabadas de
ambos, lo previsto y el programa real
 Produzca un informe técnico que documente las
operaciones del programa
P2 Análisis de contexto
 Usar múltiples fuentes de información para describir

el contexto del programa
 Describir las características técnicas, sociales,
políticas, organizacionales y económicas del contexto
 Mantener un registro de circunstancias inusuales
 Registrar instancias en las que personas o grupos
interfirieron intencionalmente o de otra manera con el
programa
 Registrar las instancias en las que individuos o grupos
intencionalmente o de otra manera dieron asistencia
especial al programa
 Analiza cómo el contexto del programa es similar o
diferente de los contextos donde el programa podría ser
adoptado
 Informar aquellas influencias contextuales que
parecen influir significativamente en el programa y que
podrían ser de interés para los posibles adoptantes
 Estimar los efectos del contexto en los resultados del
programa
 Identifique y describa a los competidores críticos de
este programa que funcionaron al mismo tiempo y en
el entorno del programa
 Describa cómo las personas en el área general del
programa perciben la existencia, importancia y calidad
del mismo
P3 Fines y procedimientos descritos

 Al comienzo de la evaluación, registre los propósitos
del cliente para la evaluación
 Monitorear y describir las partes interesadas y usos

previstos de los hallazgos de la evaluación
 Monitorear y describir cómo los propósitos de la
evaluación permanecen igual o cambian con el tiempo
 Identificar y evaluar los puntos de acuerdo y
desacuerdo entre las partes interesadas con respecto a
los propósitos de la evaluación
 Según corresponda, actualice los procedimientos de
evaluación para acomodar los cambios en los
propósitos de la evaluación
 Registre los procedimientos de evaluación reales, tal
como fueron implementados
 Al interpretar los hallazgos, tener en cuenta las
diferentes partes interesadas y los usos previstos de la
evaluación
 Al interpretar los hallazgos, tenga en cuenta la medida
en que los procedimientos previstos fueron efectivos
ejecutado
 Describa los propósitos y procedimientos de la
evaluación en el resumen y en los informes de
evaluación de larga duración
 Como sea posible, involucre evaluadores
independientes para monitorear y evaluar los
propósitos de la evaluación y procedimientos
P4 Fuentes de información de apoyo

 Obtener información de una variedad de fuentes
 Utilice la información pertinente recopilada
previamente, una vez validada
 Según corresponda, emplee una variedad de métodos

de recopilación de datos
 Documentar e informar las fuentes de información
 Documentar, justificar e informar los criterios y
métodos utilizados para seleccionar fuentes de
información
 Para cada fuente, defina la población
 Para cada población, según corresponda, defina
cualquier muestra empleada
 Documentar, justificar e informar los medios
utilizados para obtener información de cada fuente
 Incluir instrumentos de recopilación de datos en un
apéndice técnico del informe de evaluación
 Documentar e informar cualquier característica de
sesgo en la información obtenida
P5 Información válida
 Enfoque la evaluación en preguntas clave
 Según corresponda, emplee múltiples medidas para
abordar cada pregunta
 Proporcione una descripción detallada de los
constructos y comportamientos sobre qué información
se adquirirá
 Evaluar e informar qué tipo de información adquiere
cada procedimiento empleado
 Entrene y calibre a los recolectores de datos
 Documentar e informar las condiciones y el proceso
de recopilación de datos
 Documentar cómo se calificó, analizó e interpretó la

información de cada procedimiento
 Reportar y justificar inferencias individualmente y en
combinación
 Evaluar e informar la exhaustividad de la información
proporcionada por los procedimientos como un
conjunto de relación con la información necesaria para
responder al conjunto de preguntas de evaluación
 Establecer categorías significativas de información
mediante la identificación de temas regulares y
recurrentes en la información recogidos mediante
procedimientos de evaluación cualitativa
P6 Información confiable
 Identificar y justificar el tipo(s) y el grado de
confiabilidad reclamado
 Para cada dispositivo de recolección de datos
empleado, especifique la unidad de análisis
 Como sea posible, elija dispositivos de medición que
en el pasado hayan mostrado niveles aceptables de
confiabilidad para sus usos previstos
 Al informar la confiabilidad de un instrumento, evalúe
e informe los factores que influyeron en la
confiabilidad, incluyendo las características de los
examinados, las condiciones de recolección de datos y
los sesgos del evaluador
 Verificar e informar la consistencia de la puntuación,
categorización y codificación
 Entrenar y calibrar anotadores y analistas para

producir resultados consistentes
 Prueba piloto de nuevos instrumentos para identificar
y controlar las fuentes de error
 Según corresponda, involucre y verifique la
consistencia entre múltiples observadores
 Reconoce problemas de confiabilidad en el informe
final
 Estimar e informar los efectos de la falta de fiabilidad
en los datos sobre el juicio general del programa
P7 Información sistemática
 Establecer protocolos para el control de calidad de la
información de evaluación
 Capacite al personal de evaluación para que se adhiera
a los protocolos de datos
 Comprobar sistemáticamente la precisión de la
puntuación y la codificación
 Cuando sea factible, use múltiples evaluadores y
verifique la consistencia de su trabajo
 Verificar la entrada de datos
 Revise y verifique las tablas de datos generadas desde
la salida de la computadora u otros medios
 Sistematizar y controlar el almacenamiento de la
información de evaluación
 Definir quién tendrá acceso a la información de
evaluación
 Controle estrictamente el acceso a la información de
evaluación según los protocolos establecidos
 Haga que los proveedores de datos verifiquen los datos

que enviaron
P8 Análisis de información cuantitativa

 Comience por realizar análisis exploratorios
preliminares para asegurar la corrección de los datos y
para obtener una mayor comprensión de los datos
 Elija los procedimientos apropiados para las preguntas
de evaluación y la naturaleza de los datos
 Para cada procedimiento, especifique cómo se están
cumpliendo sus suposiciones clave
 Informar las limitaciones de cada procedimiento
analítico, incluido el incumplimiento de los supuestos
 Emplear múltiples procedimientos analíticos para
verificar la consistencia y replicabilidad de los
hallazgos
 Examine la variabilidad y las tendencias centrales
 Identificar y examinar valores atípicos y verificar su
corrección
 Identificar y analizar interacciones estadísticas
 Evaluar la significancia estadística y el significado
práctico
 Use pantallas visuales para aclarar la presentación e
interpretación de los resultados estadísticos
P9 Análisis de información cualitativa

 Concentrarse en preguntas clave

 Definir los límites de la información que se utilizará
 Obtenga información clave para las preguntas
importantes de evaluación
 Verificar la exactitud de los hallazgos obteniendo
evidencia confirmatoria de múltiples fuentes,
incluyendo partes interesadas
 Elija procedimientos analíticos y métodos de resumen
que sean apropiados para la evaluación de preguntas e
información cualitativa empleada
 Derive un conjunto de categorías que sea suficiente
para documentar, iluminar y responder a las preguntas
de evaluación
 Prueba las categorías derivadas para confiabilidad y
validez
 Clasifique la información obtenida en las categorías de
análisis validadas
 Derive conclusiones y recomendaciones y demuestre
su significado
 Informar limitaciones de la información referenciada,
análisis e inferencias
P10 Conclusiones justificadas

 Enfocar las conclusiones directamente en las
preguntas de evaluación
 Reflejar con precisión los procedimientos de
evaluación y los hallazgos
 Limite las conclusiones a los períodos de tiempo,
contextos, propósitos y actividades aplicables
 Cite la información que respalda cada conclusión

 Identificar e informar los efectos secundarios del
programa
 Reportar explicaciones alternativas plausibles de los
hallazgos
 Explica por qué las explicaciones rivales fueron
rechazadas
 Advierte sobre las malas interpretaciones comunes
 Obtener y tratar los resultados de una revisión
preliminar del borrador del informe de evaluación
 Informar las limitaciones de la evaluación
P11 Informes imparciales

 Involucrar al cliente para determinar los pasos para
garantizar informes justos e imparciales
 Establecer la autoridad editorial apropiada
 Determinar audiencias de derecho a saber
 Establecer y seguir los planes apropiados para divulgar
los hallazgos a todas las audiencias que tienen derecho
a conocer
 Salvaguardar los informes de distorsiones deliberadas
o inadvertidas
 Informar las perspectivas de todos los grupos de partes
interesadas
 Reportar conclusiones alternativas plausibles
 Obtenga auditorías externas de informes
 Describir los pasos tomados para controlar el sesgo
 Participe en presentaciones públicas de los hallazgos

para ayudar a prevenir y corregir las distorsiones
causadas por otras partes interesadas
P12 Metaevaluación
 Designar o definir los estándares que se utilizarán para
juzgar la evaluación
 Asignar a alguien la responsabilidad de documentar y
evaluar el proceso de evaluación y los productos
 Emplear tanto metaevaluación formativa como
sumativa
 Hacer un presupuesto apropiado y suficiente para
llevar a cabo la metaevaluación
 Registre la gama completa de información necesaria
para juzgar la evaluación según los estándares
estipulados
 Como sea posible, contrato para una metaevaluación
independiente
 Determinar y registrar qué audiencias recibirán el
informe de metaevaluación
 Evaluar la instrumentación, la recopilación de datos,
el manejo de datos, la codificación y el análisis en
comparación con la información relevante estándares
 Evaluar la participación de la evaluación y la
comunicación de los hallazgos a los interesados contra
los estándares relevantes
 Mantener un registro de todos los pasos, información
y análisis de metaevaluación
8. Puntuación de la evaluación por PRECISIÓN

modelo
Número de excelentes (0-12) x 4 = 45 (93%) a 48: Excelente
Número de Muy Bueno (0-12) x 3 = 33 (68%) a 44: Muy bueno
Número de bienes (0-12) x 2 = 24(50%) a 32: Bueno
_____ (puntaje total) ÷ 48 = _____ x 100 = _____
Los siguientes estándares adicionales son de

especial interés dentro de la orientación de este libro.
9. RESPONSABILIDAD
Los estándares de responsabilidad de la evaluación
fomentan la documentación adecuada de las evaluaciones y
una perspectiva meta evaluativa centrada en la mejora y la
rendición de cuentas para la evaluación procesos y
productos.
10. Puntuación por RESPONSABILIDAD
 E1 Documentación de evaluación: las
evaluaciones deben documentar completamente sus
propósitos negociados y diseños implementados,
procedimientos, datos y resultados.
 E2 Metaevaluación interna: los evaluadores
deben usar estos y otros estándares aplicables para
examinar la responsabilidad del diseño de la
evaluación, los procedimientos empleados, la

información recogida y resultados.
 E3 Metaevaluación externa: patrocinadores de
evaluación de programas, clientes, evaluadores y otros
interesados deberían alentar la realización de
metaevaluaciones externas utilizando estos y otros
estándares aplicables.
274 Planificación
II. Planificación
Las planillas que se presentan a continuación
muestran una forma de organizar la planificación, de tal
manera que se pueda tener un mayor control sobre el
desarrollo de las actividades.
El conjunto es meramente ilustrativo y de acuerdo a
las necesidades, deberá adaptarse a los requerimientos y
recursos en cada caso concreto.
Los aspectos básicos incluidos son los siguientes:
a) Resumen y nombre del programa
b) Identificación de componentes del
programa.
c) Identificación de resultados.
d) Planificación de cada componente del
programa.
e) Destinatarios.
f) Colaboradores.
g) Programas de integración.
h) Barreras a la implementación.
i) Lista resumen de comprobación.
a) Herramientas de planificación
Nombre del programa:
Nombre de la persona que llene el formulario:

_____________________________________________________
_____________________________________________________
__________
Fecha:
1. Resumen y nombre del programa

Proporcionar brevemente el título y el Resumen de este
programa o estrategia.
Título:
Resumen:
276 Planificación
2. Identificación de componentes del programa

¿Qué componentes se implementarán para este programa
o estrategia? ¿Qué objetivos están vinculados a cada
actividad?
Componente ¿Qué Si utiliza un programa Si crea su propio

del objetivos modelo, cuál es el plan de programa, considere
programa están adaptación (o lo si los principios de
relacionados implementará sin una prevención
con cada modificaciones) efectiva son
componente? consistentes con el
programa en cada
objetivo
3. Identificación de salidas previstas

¿Qué salidas le mostrarán que las actividades se
ejecutaron según lo previsto?
Salidas son los productos directos de las actividades del
programa y generalmente se miden en términos de trabajo
realizado (por ejemplo, número de clases dadas, números
de participantes, etcétera...).
Componente del Salidas del programa esperadas

programa
Servicios que se prestan ¿Cuántos?
Componente X: Horas
(X de 1 a N) Sesiones de
Anuncios
Anuncios al aire
Materiales distribuidos
Asambleas
Otros
Personas que sirven
(total / por servicio)

278 Planificación
4. Cada componente del programa de

planificación
Ahora que usted ha elegido los componentes del
programa, cada uno necesita ser planificado. Incluir todas
las actividades que deben ser completadas para el éxito de
cada componente. Cada componente tendrá varias
actividades.
Especificar
las Recursos /
Fechas ¿Quién es el
Componentes actividades materiales a Ubicación
previstas responsable?
claves y sus cargo
detalles
Componente X:
(X de 1 a N)
5. Grupos destinatarios
Para los componentes de programa que requieren el
reclutamiento de los participantes, ¿cómo se llevará a cabo?
Población beneficiaria Número Plan de reclutamiento
esperado
Colaboración socios
¿Quiénes son los socios colaboradores para su programa
o estrategia y cuáles son sus funciones?
Colaboración socios Papel de socio
280 Planificación
6. Programa de integración
¿Qué medidas se están o se tomarán para integrar este
programa o estrategia con otras organizaciones y
programas existentes?
Programa/organización existente Esfuerzos de integración
7. Barreras de implementación
Programas de prevención pueden ser difíciles de
implementar y a menudo enfrentan muchos desafíos. Es útil
prever cuáles podrían ser estos desafíos o barreras y generar
posibles soluciones para ellos. En la tabla considerar cuáles
pueden ser las barreras a su programa y generar soluciones
a esas barreras. Usted no puede saber las soluciones ahora,
pero será capaz de volver a esta página y actualizarla en
cualquier momento en el futuro.
Barreras del Programa Soluciones propuestas
8. Lista Resumen de comprobación

¿Qué debe hacer para prepararse para este programa o
estrategia? ¿Estas tareas/actividades están suficientemente
abordadas?
Lista de Elementos Si N O , u n p la n p a ra la termin a ció n Por
qué/
Componente X: (X de 1 a N)
SI/NO/ND Recursos obtenidos
Persona responsable
Personal capacitado
Tareas asignadas
Punto marcado
Línea del tiempo escrita
Colaboración socios
Cuestiones culturales
Materiales del
Barreras que considera
Si el programa es
preexistente, todos los
componentes son
incluidos o adaptados
Si el nuevo programa
está en construcción,
los componentes están
Otros:
281
282
III. Presupuestos de Evaluación

Una Lista de Verificación para el Desarrollo y
Evaluación
Esta lista de verificación está diseñada para ayudar
a los evaluadores y otros a reflexionar sobre los muchos
problemas que deben ser considerados al desarrollar un
presupuesto de evaluación.
Este instrumento está dividido en varias categorías
de costos típicos para realizar evaluaciones y las preguntas
o declaraciones se utilizan como indicaciones para que los
usuarios tengan en cuenta. En algunos casos, un artículo en
la lista de verificación puede no ser aplicable.
Se debe dar la mayor consideración en todos los
casos, a los siguientes dos Estándares de Evaluación de
Programas:
F 3 – Eficacia en función del costo La evaluación
debe ser eficiente y producir información de suficiente
Valor, para que los recursos gastados puedan ser
justificados.
P 8 – Responsabilidad fiscal La asignación y el
gasto de recursos del evaluador deben reflejar
procedimientos de responsabilidad sólidos, es decir, ser
prudentes y éticamente responsables, para que los gastos
sean contabilizados y apropiados.
a) Consideraciones básicas.
En el desarrollo de un presupuesto, las
consideraciones básicas o la información guiarán la Forma
y naturaleza de tu trabajo. Por lo tanto, los problemas deben
ser conocidos antes de intentar construir un presupuesto
preliminar o final.
□ Tipo de acuerdo para la ¿Esta evaluación será financiada por una
evaluación subvención, contrato o cooperativa, acuerdo?
□ Condiciones de pago ¿El pago será sobre la base del reembolso de

costos o un precio fijo?
□ Fuente de financiamiento ¿Es la fuente de financiamiento una agencia

gubernamental, fundación privada, negocio /
industria del sector privado, o entidad sin
fines de lucro?
□ Período de financiación ¿En qué período de tiempo se aplicará el

presupuesto? ¿Incluirá más de un año fiscal?
□ Presupuesto de contacto ¿Quiénes son los contactos designados para

asuntos presupuestarios en la organización
financiera y en la organización del
proponente?
□ Límites de presupuesto ¿Se ha establecido un límite para el

presupuesto de evaluación, como porcentaje
del presupuesto total o monto máximo?
□ Condiciones de pago ¿Los fondos de la agencia de financiamiento

se pondrán a disposición como una suma
periódica (por ejemplo, mensual, trimestral o
sobre la base de presentación de informes), o
reembolsable basado en la presentación de
facturas con la documentación requerida?
□ Costes de previsión ¿Están permitidos los costos que están

directamente relacionados con las
actividades de evaluación, pero que ocurren
antes de la fecha efectiva oficial de la
concesión / contrato?
284
b) Formato.
La mayoría de las agencias que financian
activamente proyectos que incluyen componentes de
evaluación tienen formatos específicos en los que se espera
recibir los presupuestos propuestos. Asimismo, las
instituciones o las agencias que realizan evaluaciones
tienen uno o más formatos aceptables para presentar
presupuestos.
□ Formato designado ¿Se ha proporcionado una forma o formato
particular para el presupuesto?
□ Formato institucional ¿Es el formulario o formato aceptable para

su institución o agencia, o se requiere un
presupuesto organizado según otras
especificaciones?
□ Detalle ¿El formato requiere / incluye un conjunto

separado de detalles que explica cómo se
calculan las cantidades o cómo se utilizará
el dinero en una línea?
□ Desglose de costos por ¿Existen desgloses presupuestarios únicos,

tarea / función es decir, tarea, función, etc., requeridos
además de un resumen del presupuesto por
año y / o actividad del proyecto?
□ Resumen ¿Requerirá el presupuesto resúmenes de

costos anuales y un resumen de
desempeño?
c) Costos de personal.
El costo para el personal suele ser el elemento
individual más grande en un presupuesto; por lo tanto, es
fundamental que se preste una atención especial al tipo y la
cantidad de esfuerzo que se requerirá para completar la
evaluación como se propone. Además, una propuesta que
identifica el personal clave a menudo es más competitivo

que uno en el que el personal recibe un nombre más
genérico, por ejemplo, analista de datos, asistente de
investigación.
□ Tipos de personal ¿Se han identificado tipos clave de
individuos tanto para administrar como
para dirigir la evaluación?
□ Base ¿Se determinarán los costos de personal

sobre la base de días de esfuerzo,
porcentaje de tiempo, porcentaje de carga
de trabajo asignada, persona
horas/hombre, o algún otro factor?
□ Esfuerzo ¿Cuánto tiempo se requerirá de cada

persona / tipo para completar las tareas
identificadas?
□ Costo unitario ¿Cuál es el costo de una unidad de tiempo

/ costo para cada persona?
□ Consistencia de costes ¿Qué aumentos anticipados (inflación,

cotización dólar, p. ej.), se pueden
anticipar para cada año de evaluación?
□ Costos de contratación ¿Se requerirán costos de reclutamiento y

contratación para dotar de personal a la
evaluación?
□ Personal de apoyo ¿Los servicios de personal de apoyo se

asignarán a la evaluación, o esos servicios
(por ejemplo, servicios de secretaría,
servicios de entrada de datos, etc.) serán
tercerizados?
□ Asistencia al estudiante ¿Han sido considerados todos los costos

para los estudiantes participantes, según lo
defina la institución / agencia?
|□ Beneficios marginales ¿Qué beneficios complementarios,

incluyendo vacaciones / vacaciones
anuales, licencia por enfermedad, etc., son
aplicables para cada miembro del
personal? ¿Qué aumentos se esperan en
los beneficios complementarios?
286
d) Viajes.
Los costos de viaje pueden incluir gastos
anticipados para actividades administrativas, asistencia a
reuniones requeridas con la agencia de financiamiento,
recolección de datos, talleres de retroalimentación,
actividades de los participantes, etc. Es importante que se
anticipen estos costos ampliamente variables, identificados
por función, y calculados cuidadosamente usando la mejor
información disponible.
□ Propósito ¿En qué tipo de gastos de viaje se
incurrirá, es decir, administrativos,
recolección de datos, participantes, etc.?
□ Modo ¿Qué modo de viaje se utilizará, por

ejemplo, aéreo, automóvil (personal o de
alquiler), tren, etc.?
□ Admisible ¿Qué costos de viaje permitidos son

aceptados por la agencia de
financiamiento y la institución, es decir,
viáticos, alojamiento?
□ Requisito de tiempo ¿Cuánto tiempo total (de viaje y en el

sitio) se requerirá para realizar las
actividades de evaluación?
□ Consultores ¿Se pagarán los gastos de viaje de los

consultores desde el rubro presupuestario
de viaje o el rubro consultoría?
□ Costos compartidos ¿Es posible combinar viajes dentro de esta

evaluación o con otras evaluaciones, para
reducir los gastos de viaje?
□ Transporte terrestre ¿Cómo se proporcionará el transporte

terrestre a la terminación de viajes aéreos,
por ejemplo, taxi, alquiler de autos, otros,
etc.?
□ Cortesía / apoyo local ¿El transporte en el lugar será

proporcionado por otra parte y no cargado
a la evaluación?
□ Costes adicionales ¿Qué costos adicionales pueden requerirse

para situaciones especiales, es decir,
exceso de equipaje, vuelos largos y
agotadores que pueden requerir mejores
alojamientos, etc.?
e) Suministros y materiales.
Se requieren suministros de oficina y otros
materiales para realizar una evaluación que pueden
anticiparse en base a la experiencia con otras evaluaciones
de su naturaleza; pero algunas evaluaciones pueden tener
requisitos inusuales, y estos deben especificarse
debidamente.
□ Material de oficina ¿Qué suministros y materiales serán
necesarios para realizar las operaciones
normales de una evaluación, por ejemplo,
suministros de oficina y productos
institucionales?
□ Materiales especializados ¿Qué suministros y materiales inusuales

se necesitarán para esta evaluación, es
decir, libros de referencia, cartuchos de
impresión especializados, membrete de la
evaluación, elementos de recolección de
datos, etc.? (Nota: El software de
computación a veces está restringido o
requiere un permiso especial o debe ser
listado como un costo por separado.)
f) Comunicaciones
Normalmente, se incluyen los costos de alquiler
mensual de teléfonos y líneas telefónicas. como parte de los
288
costos "indirectos". Pero las llamadas de larga distancia,

líneas telefónicas dedicadas para datos específicos, los
procedimientos de recolección, franqueo para el envío de
encuestas, etc., son costos de evaluación deben ser
estimados en esta categoría.
□ Instalación de teléfono ¿Se realizará alguna nueva instalación de
teléfonos, puertos de computadora, u otros?
¿Se requiere equipos de comunicaciones?
□ Uso del teléfono ¿Cuáles son los costos fijos para el uso de
teléfonos, computadoras y otros equipos de
comunicaciones que puedan ser
identificados como con cargo a la
evaluación?
□ Costos específicos de ¿Aparte de las comunicaciones

evaluación administrativas habituales, habrá otros
costos para envíos grandes, servicios exprés,
etc.?
□ Costos de larga distancia ¿Qué cargos telefónicos y facsímiles de

larga distancia y otros? ¿Se incurrirá en
costos variables de comunicaciones?
□ Servicios de correo / correo ¿Qué franqueo u otras formas de servicios

de correo serán requeridos, dando atención
especial a envíos masivos de encuestas,
avisos, invitaciones, etc.?
g) Copia e impresión.
Los costos de copia e impresión a menudo exceden
las estimaciones debido a la facilidad con que el equipo
moderno proporciona respuestas rápidas y rápidas a las
acciones del personal. Además, algunas evaluaciones
pueden requerir la impresión de formularios de escaneo
óptico y otros documentos que deben ser obtenidos de
agentes externos.
□ Copia interna ¿Cuántas personas van a hacer copias

internas, y habrá un sistema para
monitorear el uso individual?
□ Costos por página ¿Cuál es la tasa actual y prevista de copia

a largo plazo?
□ Informes ¿Cuántas copias y de qué tipo / calidad

deben ser presentadas?
□ Materiales promocionales ¿La evaluación producirá materiales

promocionales, es decir, afiches, folletos,
etc.?
□ Recopilación de datos ¿Qué costos de impresión se producirán

como parte de la recolección y
procesamiento de datos?
□ Subcontratación ¿Se pueden manejar todos los trabajos de

impresión dentro de la organización o
algunos requieren subcontratación?
h) Equipo.
En la mayoría de los casos, la compra de equipos no
es un gasto permitido en el presupuesto de la
evaluación. Sin embargo, puede haber funciones
especializadas para las cuales una justificación e inclusión
de Los costos de equipo son aceptables.
□ Tipo ¿Qué equipo especializado se necesita?
□ Compra vs arrendamiento / ¿Es la compra del equipo un mejor valor

alquiler que el arrendamiento / alquiler?
□ Admisible ¿Requisitos administrativos para las

compras de equipos o alquileres?
290
i) Otros Consultores.
El uso de consultores para obtener experiencia
especializada o para realizar tareas / actividades específicas
es una práctica común. Los consultores son considerados
contratistas independientes y no están incluidos en los
costos de personal, y rara vez se les proporcionan beneficios
u otros servicios de apoyo normalmente disponibles para
los empleados de evaluación. Se establecen contratos
separados entre los consultores (contratistas
independientes) y la organización para realizar la
evaluación, generalmente con una tarifa diaria específica
más los gastos permitidos, es decir, viajes, comunicaciones,
etc.
□ Nombre o tipo ¿Quién o qué tipo de personas servirán
como consultores?
□ Servicio ¿Qué servicio realizará cada consultor?
□ Tasa y tiempo total. ¿Cuál es la tarifa o base permitida para

realizar el servicio, por ejemplo, 10 días a
$ 500 / día?
□ Gastos reembolsables ¿Viajes y otros gastos requeridos por el

consultor durante la prestación del servicio
serán reembolsable?
j) Otros Subcontratos.
En ocasiones es necesario emitir un subcontrato
para una tarea particular que su organización no puede
cumplir o un servicio que otra persona puede proporcionar

con ahorros sustanciales en tiempo o dinero.
□ Uso del subcontrato. ¿Estará emitiendo un subcontrato como parte
del esfuerzo de evaluación?
□ Servicio o producto ¿Cuál es el servicio o producto por el cual

necesario estará subcontratado?
□ Coste de subcontratación ¿Cuál es el costo esperado o los límites

presupuestarios previstos?
□ Estado del costo ¿Estarán los subcontratos sujetos a costos

indirecto en subcontratar indirectos o generales?
k) En especie o costo compartido.

Algunas evaluaciones pueden requerir costos
compartidos o contribuciones en especie como una
condición de la propuesta. Por otro lado, una entidad puede
ofrecer voluntariamente una contribución como parte de la
propuesta, lo que puede aumentar el atractivo de la oferta
para realizar los servicios requeridos.
Normalmente, las contribuciones en especie son
más comúnmente parte de evaluaciones apoyadas por
subvenciones, a diferencia de contratos. Cuando una
contribución en especie, ya sea una parte del tiempo del
personal, el uso de servicios o equipos, etc., se incluye
como parte de un presupuesto, la institución / agencia es tan
responsable de estos costos como de otros costos que
pueden ser apoyados por fuentes externas. En algunos
casos, el costo compartido se requiere y / o se incluye
voluntariamente en una propuesta. En efecto, el costo
compartido es una forma de contribución en especie.
292
□ Contribución requerida ¿Se requiere una contribución en especie o

costo compartido?
□ Bases de valor de ¿Cuál es la base para el cálculo y el valor

contribución computado del servicio o personal que se
ofrecen en especie o costos compartidos?
Esta lista de verificación se proporciona como un

servicio gratuito para el usuario. El proveedor de la lista de
verificación no ha modificó o adaptó la lista de verificación
para adaptarse a las necesidades específicas del usuario y el
usuario está ejecutando su lista de verificación propia
discreción y juicio en el uso de la lista de verificación. El
proveedor de la lista de verificación no hace
representaciones o garantías de que esta lista de verificación
es adecuada para el propósito particular contemplado por el
usuario y renuncia específicamente a tales garantías o
representaciones.
l) Indirecto
Administración institucional, uso de instalaciones,
servicios contables y otros costos que no están o no se
pueden enumerar razonablemente como rubros se conocen
como costos indirectos. Básicamente, son los costos en que
incurre la institución para llevar a cabo la evaluación en el
campo o en la organización por encima de los especificados
en el presupuesto. Instituciones que tienen experiencia con
proyectos financiados externamente probablemente tendrán
tasas para varios tipos de proyectos, es decir, investigación
en el campo, investigación fuera del campo, instrucción de
campo, etc.
Por lo general, la tasa indirecta es un porcentaje de

los costos directos totales y un porcentaje de todos los
sueldos y salarios con la posible exclusión de costos tales
como equipos o subcontratos.
□ Auditoria ¿Tiene su organización una tasa de costo
indirecto negociada basada en una
auditoría oficial por una agencia
competente o departamento?
ii□ Bases de cálculo ¿Cuál es la base de la tasa indirecta

calculada, es decir, el total directo costos,
sueldos y salarios, etc.?
□ Categoría indirecta ¿Cuál es la categoría indirecta apropiada

para esta evaluación?
□ Admisible ¿La agencia / organización de

financiamiento especifica una condición
para una tarifa indirecta, es decir, tarifa
máxima, base de cálculo, etc.
294
IV. Referencias
Bamberger, Michael. 2007. “A framework for assessing the quality and
utility of evaluations”. GAO, AEA. 2007.”
———. 2010. “Reconstructing Baseline Data for Impact Evaluation
and Results Measurement.” The World Bank: Special Series
on the Nuts and Bolts of M&E Systems 4.
———. 2012. “Introducción a los métodos mixtos de la evaluación de
impacto.”
Bamberger, Michael, Jim Rugh, Mary Church, and Lucia Fort. 2004.
“Shoestring Evaluation: Designing Impact Evaluations under
Budget, Time and Data Constraints.” American Journal of
Evaluation 25 (1): 5–37.
Barr, Julian, David Rinnert, Rob Lloyd, Dunne, and Anna Henttinen.
2016. “The Value of Evaluation: Tools for Budgeting and
Valuing Evaluations,” no. August.
Bichelmeyer, Barbara A. 2003. “Checklist for Formatting Checklists.”
Structure 15 (July): 7–9.
Creswell, John W. n.d. “Research Design Qualitative, Quantitative, and
Mixed Methods Approaches.” SAGE Publications Inc (2009).
Gertler, Paul J., Patrick Premand, Laura B. Rawlings, and Christel M.
J. Vermeersch. 2011. La Evaluación de Impacto en la Práctica.
Guba, Egon G, and Yvonna S Lincoln. 2001. “Guidelines and Checklist
for Constructivist (Fourth Generation) Evaluation.”
Patton, Michael Quinn, and Michael Quinn C N. 2002. “Qualitative
Research and Evaluation Methods”. 3 ed. Thousand Oaks,
Calif: Sage Publications
Rogers, Patricia. 2001. “Program Theory and Logic Models for

Systemic Evaluation.” RMIT University, No. January.
296
A modo de balance
298
I. Epílogo
a)
En primer lugar, espero que en este punto tome
sentido el título del libro. ¿Qué significa EVALUACIÓN:
CIENCIA ALPHA?
Nos hemos ocupado de los significados y sentido de
la evaluación y ahora corresponde volver sobre el vínculo
establecido entre ella y el concepto de ciencia Alpha.
Para ello debemos recordar qué se entiende por alfa.
Se dice que un individuo es alfa cuando se destaca y ejerce
funciones de liderazgo en su ámbito de acción. En particular
se ha dicho refiriéndose a la conducta de algunos animales
dentro de su manada.
Aunque la interpretación corriente atribuye a este
término el sentido de dominación, frecuentemente violenta
de los otros por el alfa, en realidad el alfa ejerce de otra
manera, como ha sido comprobado mediante la
observación.
La naturaleza protectora y en muchos casos
didáctica del alfa surge de atributos de origen del grupo que
encabeza. Frecuentemente se trata de individuos ligados por
lazos de familia, en su mayoría establecidos como vínculo
filial con el alfa.
¿Qué es lo que hace que la evaluación se constituya
o de ellas se pueda decir que es una ciencia Alpha?
De acuerdo con lo dicho antes deberíamos

considerar cual es la “manada” a la cual pertenece. Esa
identificación la alcanzamos a partir del reconocimiento
como ciencia de la evaluación, que se logra gracias a los
trabajos de Scriven.
Este matemático y filósofo, además de activo
evaluador, sentó las bases del lugar de la evaluación en el
colectivo de las ciencias. Pero no sólo eso, sino que también
destacó el carácter particular que la caracteriza como
integrante del conjunto llamado ciencias
“transdisciplinarias”. Ese conjunto lo integran también la
lógica, la estadística, la medición y la visualización de
datos.
¿Qué diferencia a este grupo “transdisciplinario” del
conjunto de las ciencias que por contraste podemos llamar
“disciplinarias”?
En forma sintética se puede decir que todas ellas, y
cada una desde un ángulo particular, contribuyen al modo
de hacer de cada una de las otras ciencias, ya que se dirigen
especialmente a la metodología con la cual trabajan
internamente las disciplinas.
Precisamente la existencia de las “transdisciplinas”
permite identificar el campo determinado por las
múltiples ciencias, como la “Ciencia”.
Y este es el punto que me parece conveniente
destacar al final de este trabajo. La importancia del método,
su papel crucial en el proceso de construcción y sobre todo
de aceptación mayoritaria de las hipótesis científicas.
Pero todavía nos falta dejar en claro por qué la
evaluación, ya distinguida con su pertenencia a la categoría
300
de las ciencias transdisciplinarias, se destaca aún entre estas

y merece la atribución del título de alfa.
Siguiendo a Scriven en esto también, es oportuno
observar que la evaluación abre una puerta que durante
mucho tiempo estuvo clausurada y donde un cartel muy
destacado advertía sobre los riesgos de atravesarla.
De un lado de la puerta desarrollaba su vida una
ciencia neutral, concentrada en sus gabinetes y laboratorios.
Su emblemática distinción surgía precisamente de la
naturaleza aséptica de sus procedimientos, siempre
dirigidos a evitar cualquier interferencia que significara
algún tipo de compromiso con cuestiones ajenas al “frío”
razonamiento.
Detrás de la puerta, se agitaba todo un mundo de
intereses encontrados, de interpretaciones divergentes, de
intenciones abiertas o inconfesables, de afectos, emociones
y compromisos.
Los problemas que habían atraído la atención de la
ciencia, tenían del otro lado vínculos y sufrían tensiones,
que era necesario quitar como visado para su admisión en
la mesa de trabajo de la ciencia. Así y todo, a lo largo del
tiempo, se fue comprobando la grandeza y enorme utilidad
del aislamiento casi monacal de los científicos empeñados
en esa lucha interminable y desigual en búsqueda de la
verdad.
b)
Y el Mundo, por darle un nombre a esa perturbadora
realidad detrás de la puerta, se vio beneficiado de múltiples
maneras, en la salud, en la economía, en la educación, en
cualquier dirección que se mire, la contribución de la

ciencia ha sido enormemente valiosa. Tanto que ha cargado
con el peso del desarrollo civilizatorio y cultural del
hombre.
Pero ese mismo desarrollo ha llevado a reconocer
condiciones de la realidad que exigen un paso más. Muchas
veces se ha dicho que el desarrollo científico de la
humanidad no se ha visto acompañado por el desarrollo en
otros planos en la misma medida.
Ese es un comentario muy amplio que excede los
propósitos de este trabajo. Sin embargo, uno de los aspectos
en los cuales es más claro que no hemos avanzado lo
suficiente, es en el terreno político, en el campo de las
decisiones comunes, en los modos de convivencia que
practicamos.
Hoy especialmente se observan, en diferentes
regiones del mundo reacciones que reclaman cambios y que
parece que no pueden ser contenidas por las formas
institucionales imperantes.
Presenciamos un regreso de la emocionalidad y de
formas del pensamiento mágico, como llave novedosa para
la solución de problemas y conflictos.
Ese camino tiene la gran desventaja de que renuncia
a los frutos producto del enorme trabajo realizado durante
los últimos siglos, para entender con la inteligencia
disponible, de manera paulatina y acumulativa, un poco
mejor el mundo de manera que ese conocimiento se
perfeccione generación tras generación, y mejore las
condiciones de vida.
302
c)
Ahora bien, parece llegada la hora de tomar en
cuenta y de utilizar ese capital que tenemos en el lugar y en
el momento en que ocurren las cosas, en que se manifiestan
los problemas, en que urgen las necesidades.
Para ello es necesario arrancar el cartel de “no
pasar” y definir una zona franca donde los problemas se
encuentren con las herramientas que ha ido puliendo la
ciencia, para obtener un diagnóstico verosímil, fuera de las
influencias mágicas, y sobre esa base las decisiones se
tomen persuadidos de que son las mejores, bajo las
condiciones de tiempo, lugar y circunstancias en las cuales
deben tomarse, según el modelo precautorio que rechaza
tanto la inacción como los impulsos irreflexivos.
. Cuanto más pronto aceptemos la complejidad de la
realidad que nos rodea, más rápido podremos dejar de lado
los enfoques simplificadores que en lugar de ayudar a
resolver los problemas los agravan porque son una de las
bases principales de las banderas políticas.
Al reconocer que la realidad es compleja, estamos
admitiendo que no resulta posible explicarla. Porque sería
muy imprudente decretar la vigencia de algún mecanismo
de causa y efecto, como si fuera una regla de inevitable
cumplimiento, en un alarde empirismo ingenuo.
La sabiduría en cambio aconseja, mantenerla como
conjetura, sujeta a contrastación permanente.
El otro vicio es la tentación de la omnipotencia, que
ha llevado a proclamar doctrinas incubadas por la
pretensión de explicarlo todo. La, búsqueda de la teoría del
todo, discutida en la física, es una contradicción en el
campo social y ha sido la causa de los más alevosos

crímenes durante el siglo XX y tiene sus herederos
mesiánicos en el presente.
Una actitud madura y responsable, apropiada para
las formas republicanas y democráticas, es tomar
conciencia de los límites de nuestros medios frente a la
magnitud de los problemas, y ser más cautelosos, más
considerados, más solidarios y más humildes.
La evaluación, propiciada en la ciencia después de
una larga práctica desarrollada a lo largo de la existencia de
la humanidad, no solamente ofrece principios y criterios
para ayudar en la toma de decisiones, sino que también abre
la oportunidad para la práctica de un nuevo discurso,
dejando atrás las estériles picardías de la retórica, que ya
fueron denunciadas por Bentham y Schopenhauer.
La reflexión y el estilo del debate científico, basado
en el aporte de pruebas y en la confrontación de
interpretaciones que deben ser resueltas volviendo a
interrogar, vía observaciones y experimentos, a la realidad,
supera ampliamente la capacidad del discurso político
habitual, hilvanado linealmente y muchas veces sostenido
solamente por el énfasis del locutor de turno.
La otra característica del pensamiento científico es
la de ser naturalmente colectivo. Todo se procesa en un
ambiente abierto a la duda y a la revisión, solamente
sometido al dictamen de la información, a cuya luz el rumbo
se ratifica o cambia.
Para que esto funcione, es necesario un decidido
compromiso de quienes hoy toman las decisiones, como
mandatarios y representantes de la ciudadanía, pero al
304
mismo tiempo es urgente, para que el proyecto perdure, que

se profundice, mediante la educación que se haga cargo de
lo que significa hoy estar alfabetizado.
Ya se sabe el sentido de la alfabetización elemental
y también hemos escuchado la importancia de la
alfabetización digital para entendernos con los ingenios de
la tecnología actual y también de la alfabetización
estadística que nos capacite para leer y entender los datos
que nos llegan cotidianamente por medios de comunicación
y redes sociales.
Pero todo eso redundará en beneficio social, en
bienestar para todos en justicia y reducción de las
desigualdades, si también se presta la debida atención al
cultivo de la evaluación como disciplina intelectual, que
equilibra en si misma el saber racional con el sistema de
valores de la cultura humanista que requiere la vida
republicana y democrática.
306

Evaluacion Ciencia Alfa Rev2

Încărcat de

Informații document

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

Evaluacion Ciencia Alfa Rev2

Încărcat de

Drepturi de autor:

Formate disponibile

HUGO OSCAR AMBROSI

Hugo Oscar Ambrosi

Buenos Aires, Argentina

Hugo Oscar Ambrosi

Buenos Aires, Argentina

Ambrosi, Hugo Oscar

1. Evaluación. 2. Política. 3. Ciencia. I.

© 2018 Hugo Oscar Ambrosi

Un especial reconocimiento al Prof. Michael

PARTE E EL MÉTODO ES EL CAMINO.................169

Como seres humanos civilizados, no somos los

Cuando aparezca la tensión,

Dame la sabiduría para

Dame la sensatez para

Dame en fin la generosidad para

I. Antes que nada

Durante toda mi vida de trabajo

Ignorar las normas y desconocer los hechos.

Esa complejidad de factores, se resume en la frase

Según palabras del autor citado: “… los conceptos

La ciencia debe tomar “conciencia” - sin perder los

El aglutinante, la argamasa común de la renovación

del campo científico, a una lengua abierta y comprensible

Será entonces necesario resolver cómo aprovechar

nuestras mentes en un definido, y esencialmente universal,

importante. Ni más ni menos, que sobre el objetivo hacia el

Pero la amplitud enciclopédica que requiere ese

¿Qué se necesita para conseguir ese resultado? Un

Y ambas interactúan con la información, que

evaluación y los estándares, los criterios de bondad de la

II. Sobre la organización del libro

Se trata de exponer en forma sinóptica, demarcando

La capacidad de la evaluación de atravesar todos los

Alberdi, Juan Bautista, Francisco Cruz. 1915. “Bases y

Waisman, Carlos H. 1987. Reversal of Development in

Pero hay algo más que conviene observar, siguiendo

En consecuencia, Scriven afirma que una disciplina

Se entiende por efectos finales aquellos que

II. La medición del impacto.

En el desarrollo de esos procesos, los sistemas de

Las dificultades que plantea la evaluación de

Sin ese aporte, se encarece y demora la evaluación

disponibles, referidos a la AUH. Como es de esperar, ante

políticas, nivel donde la distribución del poder, termina de

Por otro lado, una evaluación de impacto debe estar

intencionales correspondientes al programa de la

Error Tipo I Inferencia

Pero además de los Errores Tipo I y II, se pueden

Un técnico dice: -–Tenemos un indicador que

La efectividad se refiere a la relación entre los

fortalecimiento de la rendición de cuentas, el incremento de

 ¿Funcionó? ¿Produjo los impactos deseados, a

 ¿En qué medida los impactos coinciden con las

aspectos de la vida de las personas, es: ¿Cuál es el núcleo,

con una teoría del cambio, entendida como las conjeturas

La valoración de los resultados significa

III. Cambio, incertidumbre y riesgo

choque con cierta ilusión democrática según la cual

y la exclusión, la marginalidad y la pérdida de la seguridad

hasta la de quienes consideran un mérito espiritual la

instrumento. Al pasar menciona que los de Florencia eran

mediciones. Como se irá viendo a lo largo de las páginas, la

d) Política basada en la evidencia

2. Hablando se entiende la gente