Traducción: Francisco González Aramburo

Revisión técnica: Fernando Arias Galicia

Maestro de psicología
Universidad Nacional Autónoma de México
Maestro de admiiiistración
Universidad de California 1 Berkeley

1
investigación
evaluativa
Métodos para determinar
la· eficiencia de los
programas de acción

Caro! H. Weiss
11

111/IVEJlS/DAD DE LOS AIIDES

BIBLIOTECA
 Catalogación en la fuente
Welss, Caro/ H.
Investigación evaluativa : métodos para
determinar la eficiencia de los programas de
acción. -- 2a ed. -- México : Trillas, 1990
(relmp. 2001).
183 p.; 23 cm.
Traducción de: Evaluation Research. Methods
of Assesis/ng Program Effectiven"es
Bibllograffa: p. 1S7-176
Incluye Fnd/ces
ISBN 968-24-33S3-3
l. Clendas sociales - lnvestigadón. /. t.

o- 300. 72'WlS61 LC- H62.AS'W4.S Sl4

Título de esta obra en Inglés:

Evaluatlon Research. Methods of Asses/slng Program Effectlvenes
Versión autorizada en español de la
primera edición publicada en Inglés por
© Prentice-Ha/1, Englewood Cliffs,
Nueva Jersey, EUA
La presentación y disposición en conjunto de
INVESTIGACIÓN EVALUATIVA. Métodos para determinar
la eficiencia de los programas de acdón
son propiedad del editor. Ninguna parte de esta obra
puede ser reproducida o trasmitida, mediante ningún sistema
o método electrónico o mecánico (incluyendo el fotocopiado,
la grabación o cualquier sistema de recuperación y almacenamiento
de información), sin consentimiento por escrito del editor

Derechos reservados en lengua española

© 197S, Editorial Trillas, S. A. de C. \1.,
División Administrativa, Av. Río Churubusco 38S,
Col. Pedro María Anaya, C. P. 03340, México, D. F.
Tel. S6884233, FAX S6041364

División Comercial, Calz. de la Viga 1132, C. P. 09439

México, D. F. Tel. S633099S, FAX S6330870

Miembro de la Cámara Nacional de la

Industria Editorial. Reg. núm. 1S8

Primera edición en español, 197S (ISBN 968-24-QS96-3)

Reimpresiones, 1978, 1980, 1982, 1983, 198S, febrero
y septiembre 198 7
Segunda edición en español, 1990 (ISBN 968-24-33S3-3)
Reimpresiones, 1991, 1992, 1996, 1997 y 1999

Sexta reimpresión, enero 2001 *

Impreso en México
Printed in Mexico
 1
inlroduccion

EL TERMINO EVALUACI6N es una palabra elastica que se extiende para

abarcar muchas clases de juicios. La gente habla de evaluacion de la
ejecuci6n de la tarea por parte de un trabajador, de evaluaci6n de un
gui6n cinemato~Mico, de evaluaci6n del potencial de ventas de un nue­
vo detergente. Lo que tienen en comun todos los empleos del termino
es la noci6n de juzgar el valor 0 los meritos de alguna cosa, Alguien
.esta exa~inando y sopesando un fen6meno (una persona, una cosa, una
• Idea) valiendose de alg6D patr6n, expHcito 0 impHcito.
En este Iibro nos ocuparemos de la evaluaci6n de una clase de fen6­
enos en particular: los programas sociales que tienen como objeto
,.
lejorar el sino de la gente. Estos llrogramas son diversos; pueden te­
er. como materia la educaci6n, el bienestar social, la salud publica, la
iVienda, Ja salud mental, los servicios [uridieos, las organizaciones co­
,'eccionales, el desarrollo econ6mico, y otros muchos campos. Pueden
'her como fin cambiar el conocimiento, las actitudes, los valores y las
mduetas de las personas, 0 bien las instituciones con las que tratan
ilas comunidades en las que viven. La caracterfstica comun de esos
ogramas es la meta, que consiste en mejorar la vida y hacer que sea
,nAs satisfactoria para las personas a las que estan destinados.
~ Ademas, nos ocuparemos aqui de un metodo concreto de evaluaci6n,
'a investigaci6n evaluativa. Las herramientas de la investigaci6n se po­
len al servicio del ideal consistentc en hacer mas preciso y objetivo el
)toceso de juzgar. En su fonna de investigaci6n, la evaluaci6n establece
terios claros y espedficos para el exito, Henne sistematicamente prue­
'iM y testimonios de una muestra representativa de las unidades de que
~trate. Cormmmente, traduce estas pruebas y testimonios a expresiones
ntitativas (23~ del auditorio, caIificaciones de 85 0 mas), y los com­
15
 H Cap. 1 Introducción

· para con los criterios que se habían establecido. Luego saca conclusio-
nes acerca de la eficacia, el valor, el éxito del fenómeno que se está
estudiando.
El proceso de investigación consume más tiempo y cuesta más dine-
ro que las evaluaciones que confían simplemente en la intuición, la opi-
nión o la sensibilidad entrenada, pero permite alcanzar un rigor que
resulta especialmente importante cuando: a) los resultados que quieren
evaluarse son complejos, difíciles de observar y constar de muchos ele-
mentos que reaccionan de diversas maneras; b) las decisiones que serán
su consecuencia son importantes y caras, y e) se necesitan pruebas para
convencer a otra~ personas acerca de la validez de las conclusiones.
En la última década, los programas sociales, a todos los niveles, han
aumentado enormemente. Algunos son prolongaciones lógicas de es-
fuerzos anteriores, otros representan rompimientos radicales con el pa- '
sado y se aventuran por caminos no trillados. Quienes toman decisiones
quieren (y necesitan) saber: ¿con qué grado de acierto está cumplien-
do el programa los objetivos para los que se estableció? ¿Se le debería 1

continuar, ampliar, reducir, cambiar o desechar? Es difícil llegar a las

respuestas valiéndose de procedimientos informales. Las personas mejor
informadas (el personal que tiene a su cargo el programa) tienden al
optimismo y, en todo caso, tienen interés particular en hablar de que se
ha alcanzado éxito. Muchos programas ofrecen toda una variedad de
servicios y tratan con gran número de participantes. Un puñado de "tes-
timonios de los consumidores" o una rápida gira de inspección no ser- 1

virán gran cosa para estimar su eficacia. Las decisiones en torno a las
operaciones futuras afectarán el destino de muchas personas y requerí·
rán el empleo de considerables cantidades de dinero, a¡>art~ de que
quienes toman las decisiones suelen ser personas (legisladores, juntas i
de directores), que están lo suficientemente apartadas del programa
como para desear que se les presenten hechos bien establecidos sobre
los cuales basar sus decisiones. En tales circunstancias, la investigación
evaluativa parece adaptarse bien a la tarea de proporcionar la informa-
ción requerida, y en años recientes se ha convertido en una creciente
empresa.

APORTACIONES A LA TOMA RACIONAL

DE DECISIONES

La investigación evaluativa, en opinión de quienes la practican, es

una manera de aumentar la racionalidad de las decisiones. Al contar
con información objetiva acerca de los resultados de los programas es
posible tomar decisiones atinadas en materia de asignación de partidas
presupuestarias y de planeación de los programas. Los programas que
rindan buenos resultados se ampliarán; los que no lo rindan serán dese-
 Aportaciones a la toma racional de decisiones 15

chados o se les harán modificaciones drásticas. El extracto siguiente del

Report to the People, del congresista Dwyer (republicano de Nueva Jer-
sey), aun cuando no mencione la investigación evaluativa, sí contiene
la exposición razonada de todo lo que puede decirse en favor de la eva-
luación:

Es cada vez más claro que gran parte de nuestra inversión en campos
como los de la educación, la salud pública, la pobreza, los empleos, la
vivienda, el desarrollo urbano, los transportes y demás, no nos está rin-
diendo los dividendos esperados, Pn función de los resultados. Sin que
mengüe, ni por un momento nuestra voluntad de atender satisfactoria-
mente estas apremiantes necesidades humanas, una de las tareas primor-
diales, aunque a menudo demoradas, del Congreso, consiste en reexami-
nar nuestra multitud de programas sociales, y concentrar los recursos (en
verdad, aumentarlos) sobre programas que den resultado, alli donde las
necesidades sean las más grandes, y reducir o eliminar el resto. Ya no
tenemos ni tiempo ni dinero que desperdiciar en cosas no esenciales, que
L 1 no producirán la necesaria influencia visible en los problemas. 1

Tanto en la escala nacional como en la local, se considera que la

aplicación de los conocimientos y la metodología de las ciencias socia-
les tendrá efectos beneficiosos: mejorará la toma de decisiones, dará
lugar a que se planeen mejores programas y, de esta manera, rendirá
un servicio a los participantes en los programas de maneras más bene-
ficiosas, eficientes e inherentes. Aportar testimonios objetivos se inter-
preta como una manera de reducir la politiquería y las maniobras en
beneficio propio que comúnmente acompañan a la toma de decisiones,
en todos los niveles, desde el Congreso hasta la escuela del lugar. Los
datos sustituirán a los favores y a otras negociaciones políticas de ma-
nera que se tomarán las decisiones más racionales.
En función de lo antes dicho, ha sido decepcionante la historia de
la investigación evaluativa hasta nuestros días. Pocos son los ejemplos
de aportaciones importantes a las políticas y a los programas que pue-
dan citarse. La razón, en parte, consiste en la notable resistencia de las
organizaciones a la información indeseada -y al cambio indeseado.
Hasta la prueba del franco fracaso dejará a algunas instituciones, figu-
rada y literalmente, incólumes. Parte de la culpa estriba en la manera
como está estructurada, dotada de personal y ejecutada la evaluación
misma. Hay fisuras entre los fines propuestos de la evaluación y las cla-
ses de estudios realizados. Por cierto que esto constituye el tema de gran
parte de esta obra.
Pero parte de la decepción que se siente por las aportaciones de la
evaluación proviene del carácter poco realista de las expectativas. Por

1 Dip. Florence P. Dwyer, Report to the Peoplg, 12Q Distrito de Nueva Jersey,
XIV, núm. 1, 22 enero de 1970.
16 Cap. 1 Introducdón

lo general, un estudio de evaluación no desemboca en la obtención de

datos decisivos e inequívocos acerca del valor de un programa. Sus re-
sultados nos muestran a menudo pequeños cambios, ambiguos, efectos
de poca monta, resultados en los que han influido sucesos específicos
del lugar y del momento. Tal Vf'z se necesitará de un estudio continuado
a lo largo del tiempo y comparando proyectos para hablar con seguridad
de éxito y de fracaso.
Además, para quienes toman decisiones, la evaluación de la eviden-
cia del resultado es sólo una "entrada" o "insumo" entre muchos. Tiene
que considerar multitud de otros factores, desde la receptividad del pú-
blico y la reacción de los participantes hasta los costos, la cantidad de
recursos y de personal de que se disponga y las diversas alternativas
posibles. Quienes confían en que la evaluación logre desterrar la "polí-
tica" de la toma de decisiones tendrán que sufrir desengaños. Dentro
de cada organización, a las decisiones se llega mediante negociación y
transacciones, mediante política. Este es el sistema de que nos valemos
para asignar valores a los hechos. Diferentes actores aportan valores y
prioridades distintas al proceso de toma de decisiones. Los hechos de
la evaluación eiercen innuencia en las decisiones colectivas sólo en la
medida en que· se considera valiosa la eficiencia del programa, tal efi-
ciencia -inevitable y justificadamente- compite, en lo relativo a influir
sobre las decisiones, con consideraciones en materia de aceptabilidad,
factibilidad e ideología. A veces resulta f'motiva y políticamente remu-
nerativo realizar un programa, aun cuando se haya mostrado que ten-
dria poca consecuencia no hacer nada por el grupo particular de que se
trate. A veces el ambiente ideológico existente impide la adopción de
programas más efectivos que puedan violar supuestos y valores muy
aceptados.
Dentro de este contexto hay que reflexionar sobre la evaluación. Lo
que ésta puede hacer es proporcionar datos que reduzcan incertidum-
bres y aclarar las pérdidas y ganancias en que decisiones diferentes pue-
den incurrir. De tal manera, permite a quienes toman decisiones aplicar
con mayor precisión sus valores y preferencias, con un mejor conoci-
miento de los "cambalacheos" que encierran las diversas opciones po-
sibles.

FINES DE LA INVESTIGACióN

El objeto de la investigación evaluativa es medir los efectos de un

programa por comparación con las metas que se propuso alcanzar, a fin
de contribuir a la toma de decisiones subsiguientes acerca del programa
y para mejorar la programación futura. En esa definición hay cuatro
rasgos primordiales: la expresión "medir los efectos" hace referencia a
la metodología de investigaci6n que se emplea. La expresión "los efec-
 Fines de la investigación 17

tos" hace hincapié en los resultados del programa y no en su eficien-

cia, honestidad, moral o respeto a reglas o normas. La comparación
de los efectos con metas subraya el uso de criterios explícitos para juz-
gar hasta qué punto el programa va marchando bien. La contribución
a la toma de decisiones subsiguiente y al mejoramiento de la progra-
mación futura denota la finaUdad social de la evaluación.
Hay muchas clases de programas. No sólo abarcan toda una gama
de campos; varían también por sus alcances, dimensiones, duración,
claridad y especificidad de las entradas del programa, complejidad de
métodos y grado de innovación. Estas diferencias que existen entre los
programas contienen consecuencias importantes para el tipo de evalua-
ción que es factible y productiva. Una cosa es evaluar los efectos de
un pequeño programa, de corta duración, específico, bien definido,
como sería una película para entrenamiento, y otra cosa, muy diferente
y mucho más difícil, evaluar los efectos del programa nacional de lucha
contra la pobreza, dada su diversidad de métodos, acciones y metas.
Al evaluador le resultará recompensador darse cuenta de algunas de
las diferencias existentes entre los programas, a fin de facilitarle la
búsqueda de maneras ideales de dar forma a los enfoques y métodos
evaluativos.
Alcances. El programa que está siendo evaluado, tal vez abarque a
la nación o a una región, a un estado, a una ciudad, a un barrio o se
circunscriba a determinado lugar (un aula). Algunos programas se rea-
lizan en locales dispersos (un programa para tratamiento con metha-
done para drogadictos, en diez hospita:Ies dispersos por el país).
Dimemi6n. Los programas pueden dar servicio a unas cuantas per-
sonas o a miles y aun a millones de seres humanos.
Duraci6n. Un programa puede durar unas cuantas horas, o días o
semanas, determinado número de meses o de años, o proseguir indefi-
nidamente (el programa de los niños exploradores, el sistema de la edu-
cación pública).
Claridad y especificidad de las ·entradas del programa. Lo que el
programa está haciendo realmente puede ser algo bien definido y pre-
ciso; por ejemplo, puede instalarse un alumbrado público más eficaz, en
determinadas calles, con objeto de reducir la delincuencia. Muchos pro-
gramas tienen algún grado de claridad (un nuevo plan de estudios de
las materias científicas, la colocación en hogares adoptivos), puesto que
se están empleando materiales específicos o un método en particular,
pero el estilo y la pericia en su administración pueden ser diferentes
de acuerdo con los distintos miembros del personal. En el caso extremo,
hay programas difusos, muy variables y difíciles hasta de describir (un
programa de interplaneación para varias organizaciones oficiales ) .
Complefidad y longitud de tiempo abarcado por las metas. Algunos
programas tienen como objeto producir un cambio o unos cambios cla-
ros y tajantes (mejoramiento de la capacidad de lf)ctura, celocación en
18 Cap. 1 Introducción

un empleo). Otros tratan de alcanzar metas más complejas (convertir

a los niños en mejores ciudadanos, mejorar la salud mental, el funcio-
namiento de la familia) que son más difíciles de definir o medir. Una
meta como la de "mejorar la calidad de la vida urbana" contiene en sí
misma no sólo gran número de submetas (que tienen que hacerse ex-
plícitas), sino también submetas ambiguas (mejorar la estética del pai-
saje urbano) que plantean aterradores problemas de conceptualización
y medición.
Otro problema es el de la longitud de tiempo comprendido por las
metas. Le es más fácil al evaluador tratar con cambios propuestos que
se manifiestan rápidamente que con aquellos que se hacen evidentes o
seguros sólo después de decenas de años.
Grado de innovación. En un extremo del continuo tenemos progra-
mas que constituyen un drástico apartarse de los métodos de operación
acostumbrados. En el otro tenemos los programas ordinarios en marcha
de organizaciones bien establecidas.
Las características del programa afectarán a la clase de evaluación
aue puede hacerse y a los fines que permitirá alcanzar la evaluación.
En el capítulo dos se examinará con mayor detalle el tema de los fines.
Uno de los problemas que encierra la buena investigación evaluativa
consiste en que distintas personas asignan diferentes fines a la evalua-
ción y desean utili,-;ar sus resultados de maneras diversas. A menos aue
y hasta que el evaluador descubra concretamente quién es el que quie-
re saber algo, y cuáles son los fines que persigue con ello, el estudio eva-
luativo probablemente se hundirá en un pantano de expectativas en
conflicto.

COMPARACióN ENTRE LA EVALUACióN

Y OTRAS INVESTIGACIONES

La evaluación aplica los métodos de la investigación social. Los prin-

cipios y los método'> que tienen validez por lo que respecta a todos los
demás tipos de investigación. son válidos aquí también. Todo lo que
sabemos acerca de diseño, medición y análisis entra en juego para pla-
near v efectuar un estudio de evaluadón. Lo aue distingue a la inves-
tigación evaluativa no es el método o la materia de estudio, sino la in-
tención, el objetivo o finalidad con que se lleva a cabo.

Diferencias
Uso vara la toma de d.ecisiones. La evaluación está destinada al uso.
MientraS que la investigación fundamental hace hincapié en la produc-
ción de conocimientos y confía su uso a los procesos naturales de la di-
seminación y la aplicación, la evaluación parte del uso. En su forma
 Comparación entre la evaluación y otru investigaciones 19

ideal, la evaluación se realiza para un cliente que tiene que tomar deci-
siones y que recurre a ella para encontrar respuestas en las cuales basar
sus decisiones. A menudo, el uso es menos directo e inmediato de lo
que acabamos de decir, pero proporciona siempre el fundamento racio-
nal de la evaluación.
Interrogantes derivados del proe,rama. Los puntos que tiene en cuen-
ta la evaluación son los del que tiene que tomar decisiones y no la del
evaluador. A diferencia del investigador fundamental que formula sus
propias hipótesis, el evaluador se ocupa de lo que preocupa a los progra-
mas mismos. Puede decir mucho acerca de la forma del estudio, y lo
aborda con las pers¡ectivas de sus propios conocimientos y de su dis-
ciplina. Por lo comun está en libertad de entrelazarlo con investigacio-
nes que le interesen particularmente a él; pero el meollo del estudio
está constituido por asuntos de interés administrativo y programático.
La hipótesis común de la evaluación es la de que el programa está efec-
tuando lo que se propuso hacer.
Calidad del juicio. La evaluación compara "lo que es" con "lo que
debería ser". Aunque el mismo investigador carezca de prejuicios y se
mantenga objetivo, se ocupa de fenómenos que demuestran que el pro-
grama está al<'anzando o no las metas propuestas. Sea como quiera que
se formulen los interrogantes o problemas que se estudiarán, en alguna
parte de la formulación anarecerá la preocupación por estar a la altura
de los criterios establecidos. Este elemento del juicio por comparación
con criterios es fundamental para la evaluación y la distingue de otras
clases de investigación. Por consiguiente, el enunciado de las metas del
programa, por parte del personal del mismo, tiene un valor esencial para
la evaluación. Constituyen un inconveniente grande descubrir que los
programas, por lo general, no tienen enunciados claramente sus obje-
tivos. En el capítulo 3 estudiaremos los problemas que esto encierra.
Marco de acoi6n. La evaluación se realiza en un marco de acción,
en el que lo más imnortante de lo que está ocurriendo es el programa,
el cual está prestando servicios a la gente. Si existen conflictos de ne-
cesidades entre el programa y la evaluación, lo más probable es que se
e le conceda prioridad al programa. A menudo, el personal del programa
controla el acceso a las personas a quienes se da servicio en el mismo.
También puede controlar el acceso a los expedientes y archivos. Tiene a
su cargo la asignación de los participantes a las actividades y localida-
des del programa. Frecuentemente, las necesidades de la investigación
(de datos anteriores a la iniciación del mismo, de grupos de control)
chocan con procedimientos establecidos del programa, los cuales tien-
den a prevalecer.
), Conflictos entre papeles. Son frecuentes las fricciones interperso-
nales entre evaluadores y ejecutantes del programa. Los papeles que
i- desempeñan los ejecutantes y las normas de sus profesiones encaminadas
a al servicio tienden a hacerlos insensibles a las necesidades y promesas de
20 Cap. 1 Introducción

la investigación. A su entender, lo imperativo es el servicio; la investiga-

ción evaluativa tal vez no haga aportaciones tan importantes al mejora-
miento del servicio que justifiquen las interrupciones y las demoras. A
menudo, creen firmemente en el valor del programa que están ejecu-
tando y no consideran que exista necesidad de evaluación. Además, la
calidad de juicio que tiene la investigación evaluativa significa que se
está sopesando el mérito de sus actividades. En cierto sentido, según lo
entienden, se les está juzgando. Si los resultados de la evaluación son
negativos, si se descubre que el programa no está cumpliendo los fines
para los que se creó, entonces están en peligro el programa y, acaso, ,
sus empleos. Son obvias las posibilidades de que surjan fricciones. ·
Publlcaci6n. Se publica la investigación fundamental. Su disemina-
ción entre la fraternidad de investigadores y profesionales es esencial y
nadie la discute. En el caso de la evaluación, podemos decir que pro-
bablemente la mayoría de los informes de los estudios se queda sin
publicar. Los administradores y el personal de los programas creen a
menudo que la información se generó para encontrar respuesta a sus pre-
guntas, y no tienen muchas ganas de que su ropa sucia se lave en pú-
blico. A veces, los evaluadores están tan escasos de tiempo, o tan decep-
cionados por causa de las componendas que han tenido que hacer en
el diseño de la investigación que entregan un informe en mime6grafo
al organismo de que se trate y pasan a hacer el siguiente estudio; sin
embargo, si hemos de avanzar en lo que respecta a saber cuáles tipos de
programas dan buenos resultados y cuáles no, es esencial contar con una
base de información acumulativa. Sólo a través de la publicación se irán
acumulando resultados; aun cuando éstos muestren que el programa no
ha dado mayores rendimientos, es importante que otros se enteren de
los descubrimientos a fin de que no se repitan, una y otra vez, progra·
mas inefectivos.
Por supuesto, no todos los estudios de evaluación valen la pena de
ser publicados. Los estudios mal realizados son más perjudiciales que
útiles. Además, si el evaluador ha tratado sus problemas de maneras
tan concretas y específicas que sus resultados no son generalizables más
allá del programa inmediato, no habrá mucho que comunicar a otros.
Hovland traza una distinción entre "poner a prueba el ¡lrograma" y "po-
ner a prueba las variables". Si sólo el programa específico ha sido pues-
to a prueba y no los conceptos o los enfoques (variables) en los que está
fundado, el estudio no aportará mayor cosa al desarrollo del conoci-
miento.
Fidelidad. El que investiga acerca de evaluación tiene una fideli-
dad doble y quizá triple. Tiene obligaciones para con la organización
que paga su estudio. Debe entregar un informe de irrestricta objetivi-
dad y que posea toda la utilidad para la acción que pueda idear. Apar-
te de la organización de que se trate, tiene el deber de hacer aporta-
ciones para el mejoramiento de los esfuerzos en pro del cambio social.
 Comparación entre la evaluación y otras investigaciones 21

Independientemente de que la organización esté de acuerdo o no con

las conclusiones de su estudio, con frecuencia el evaluador descubre que
tiene el deber de esforzarse en pro de su aplicación para el bien común.
Por ambos conceptos, tiene compromisos en el campo de la acción. Tam-
bién tiene deberes para con el desarrollo del conocimiento y hacia su
profesión. En su calidad de científico de la sociedad, debe procurar
ampliar las fronteras del conocimiento acerca de cómo la intervención
afecta las vidas y las instituciones humanas.
Si algunas de las diferencias entre la investigación evaluativa y la
investigación social más académica nos llevan a pensar que la suerte
del evaluador es excesivamente dura, hay que decir también que exis-
ten comnensaciones. Una de las más gratificantes es la de la oportu-
nidad de participar activamente en la tarea de integrar los conocimien-
tos científicos a la acción social y de contribuir al mejoramiento de los
programas societarios. Es esta oportunidad la que ha atraído a tantos
investi~adores capaces hacia el campo de la investigación evaluativa a
pesar de las dificultades que acompañan a su práctica.

Semejanzas

Existen también semejanzas importantes entre la evaluación y otras

clases de investigación. Como otras investigaciones, la evaluación trata
de describir, de comprender, las relaciones entre variables y estable-
cer la secuencia causal. Porque está estudiando un programa que inter-
viene en las vidas de las personas con la intención de producir un cam-
bio, la evaluación puede hacer, a menudo, inferencias directas acerca
de los vínculos causales que conduce desde el programa hasta el efecto.
Los evaluadores utilizan toda la gama de métodos de investigación
para recabar información: entrevistas, cuestionarios, tests de conocimien-
to y destrezas, inventarios de actitudes, observación, análisis del con-
tenido de documentos, registros y expedientes y examen de las eviden-
cias físicas. Los evaluadores ingeniosos suelen encontrar las maneras
más convenientes de explorar una amplia ~ama de efectos. La clase de
esquema para reunir datos que se utilice dependerá de la clase de in-
formación que se necesite para dar respuesta a las preguntas especí-
ficas que plantea la evaluación.
El diseño clásico de las evaluaciones ha sido el modelo experimen-
tal. Esto requiere la medición de las variables apropiadas de por lo me-
nos dos ~pos equivalentes, uno de los cuales habrá quedado expuesto
a la acción del programa, en tanto que el otro no lo habrá estado. Se
utilizan muchos otros diseños en la investigación de evaluación: estu-
dios de caso, encuestas posprograma, análisis de las series de tiempo,
estudios de correlación, y así sucesivamente. El modelo experimental
que durante largo tiempo ha reinado como el diseño ideal (aunque a
22 Cap. 1 Introclucdón

menudo desdeñado) para la investigación evaluativa recientemente ha

sido objeto de diversas críticas. En el capítulo 4 se tratará con más de-
talle estos interrogantes.
No existe una fórmula perfectamente probada que se pueda ofrecer
a los evaluadores acerca de la "mejor" manera o más conveniente de
realizar su estudio. Mucho dependerá de los usos que vayan a darse al
estudio, de las decisiones pendientes y de las necesidades de informa-
ción de quienes tomen las decisiones. Mucho dependerá también (por
desgracia) de las restricciones que se encuentren en el ambiente del
programa, de los límites fijados al estudio por las realidades del tiempo,
del lugar y de las personas. ~1 dinero es algo que hay que tener en
cuenta también. Los libros de texto rara vez mencionan al sucio dinero,
pero un presupuesto limitado impone restricciones inevitables en materia
de cuánto es lo que puede estudiarse y durante qué tiempo. Así pues,
los métodos evaluativos representan a menudo una transacción entre lo
ideal y lo factible.
A veces se considera a la evaluación como un orden inferior de la
investigación, sobre todo en los círculos académicos, por comparación
con la investigación "fundamental" o "pura". Se desprecia a los evalua-
dores como si fuesen los zánganos de la fraternidad de los investigado-
res técnicos afanados en ventilar preguntas monótonas que ponen en
peligro constante su integridad en un mundo corruoto; pero como les
dirá todo evaluador en activo, y con toda sinceridad, la evaluación re-
quiere un nivel de pericia más alto que la investigación que queda bajo
el control completo del investigador. Es relativamente fácil hacer exoe-
rimentos en un laboratorio aislado, con sujetos cautivos; pero realizar
trabajo de investigación, cuando se las tiene uno que ver con las com-
plejidades de las personas reales, en programas reales, ejecutados por
organizaciones reales, requiere de pericia y de valentía. El evaluador
tiene que saber mucho acerca de la formulación del problema de inves-
tigación, del diseño del estudio, del muestreo, de la medición, del análi-
sis y de la interpretación. Tiene que saber lo que se encuentra en los
textos acerca de métodos de investigación y luego tiene que aprender a
aplicar tal conocimiento en un ambiente que a menudo resulta inhóspi-
to para rasgos importantes de su conocimiento. Si no se sale de su libro
de texto, corre el riesgo de hacer un trabajo que nada tenga que ver con
las necesidades del organismo que se lo encargó, de chocar con el per-
sonal del programa con el que trabaja, y de ver desperdiciados los re-
sultados de su estudio, en el caso de que llegue a completar su trabajo.
De modo que, a veces, tiene que encontrar Otras maneras posibles de
realizar su estudio y, al propio tiempo, debe estar dispuesto a defender
hasta morir aquellos. elementos del estudio respecto de los cuales no
puede llegar a .ningún compromiso.
2
objetivos
de la evaluación

EN ESTE CAPÍTuW veremos los fines, reconocidos o no, que hacen que
las personas decidan emprender la evaluación de un programa. Sugeri-
mos que el evaluador trate de descubrir qué es lo que quieren obtener
realmente del estudio los que toman las decisiones y c6mo esperan
utilizar los resultados. Con este conocimiento, podrá ajustar más eficaz-
mente el estudio y diseñarlo de manera que proporcione información
para tomar decisiones. La localización de la unidad de evaluación -el
sitio en que encaja en la estructura de la organización- determinará de
alguna manera si el estudio posee la latitud suficiente para ser útil.
Antes de entrar a tratar estas materias, formularemos una pregunta
previa. ¿Está justificada siempre la evaluación? ¿Siendo buenos pro-
gramitas, deberían todos los programas someterse a la evaluación? La
respuesta, por herética que pueda parecer, es no. La evaluación, en su
calidad de investigación aplicada, está consagrada al principio de la
utilidad. Si no tiene ninguna influencia en las decisiones resultará una
tarea en vano. La evaluación, probablemente, no valdrá la pena de
hacerse en cuatro clases de circunstancias:

l. Cuando no hay nada que preguntar acerca del programa. Se está rea-
lizando y las decisiones sobre su futuro o no se van a tornar o ya se
han tomado.
2. Cuando el programa carece de clara orientación. El personal del pro-
grama improvisa sus actividades de un día para otro, basándose en
pocas reflexiones y menos principios y el programa cambia y se va
transformando, vagabundea y se orienta como puede. Hay poca razón
para llamar a esto "programa".
!l. Cuando las personas que deberían saberlo no pueden ponerse de acuer-
do en qué es lo que está tratando de realizar el programa. Si existen
 . _ 24. . Cap. 2 Objetivos de la evaluación
\\ ~,,.rJ
.¡-,,~)~)-' grandes discrepancias en las metas pensadas, la evaluación carece de
,r;;-_ 1 ,)~ fundamento sobre el cual levantarse.
· ~Jc/"~.:{~-~ 4.! Cuando 1_10 hay suficie~~e dinero, ni personal lo_ bastante calificado
. ()'1 \.j para realizar la eva1U<1Cl0TI. Esta es una tarea ex.1gente, que requiere
tiempo, dinero, imaginación, tenacidad y destreza.

Hay quienes alegan que aún en tan tristes circunstancias la investi-

gación evaluativa puede producir algo de valor, algún resplandor pe-
netrante que logrará prender una vela para el fuhl.ro. Es esta una no-
ci6n atractiva, y de cuando en cuando sucumbimos a sus encantos en
esta obra; pero la experiencia nos indica que hasta los buenos estudios
evaluativos de programas bien definidos, que tienen como objeto claros
fines .de toma de decisiones, a menudo terminan siendo basura en el
molino burocrático. Excepcional será el estudio, en verdad, que "'arroje
luces" en condiciones nada favorables.

OBJETIVOS PATENTES Y ENCUBIERTOS

La gente decide evaluar un programa por múltiples y diferentes ra-

zones, que van desde lo eminentemente racional hasta lo patentemente
político. De Ihanenl ideal tin administrador busca respuestas a apremian-
tes preguntas acerca del futuro del programa: ¿deberá continuar? ¿Se
le debería ampliar? ¿Habría que hacer cambios en su operación? Pero
habrá ocasiones en las que recUrra a la evaluación pOr razones menos
legitimas.
Ap~zamiento. El que toma decisiones quizá ande buscando la for-
ma de aplazar una decisión. En vez de recurrir a la estratagema común
de designar un comité y esperar a que rinda su informe, puede encargar
un estudio evaluativo, que requiere aún más tiempo.
Eludir responsabilidades. A veces, una facción, en la organiza~ión
~el programa, es partidaria de un curso de. acción, en tanto que otra
facció"n se opone al mismo. Los administradores echan mano de la eva-
luación para que los saque del enredo al aportar testimonios desapasio-
nados, que tomarán por ellos las decisiones. Hay casos en que los ad-
ministradores saben cuál será la decisión aun desde antes de llamar a los
evaluadores, pero desean envolverla en las vestiduras legitimadoras de
la investigación. ·
Relaciones públicas .. A veces, la evaluación es considerada como ma-
nera de autogiorificarse. El adrnirúsb·ador cree que cuenta eón un pro-
grama de enorme éxito y anda en busca de una manera de hacer visible
sus glorias. Un buen estudio le caerá de perillas. Copias del informe,
que hablen bien, por supuesto; se podrán enviar a las juntas de fidei-
comisados, a los miembros de los comités legislativos, a los ejecutivos
de fundaciones filantrópicas, que otorgan grandes cantidades de dinero
 Objetivos patentes y encubiertos 2:>

a los ·programas de éxito, y a otros personajes influyentes. Suchman 1

habla de dos finalidades emparentadas o echar humo en los ojos y "ador-
narse". En la evaluación para echar humo en los· ojos, se hace el intento
de justificar un programa débil, seleccionando para la evaluación úni-
camente aquellos rasgos que tienen un buen aspecto superficial. La eva-
luación para adornarse trata de encubrir el fracaso de un programa pro-
curando evitar toda estimación objetiva.
Por supuesto, los motivos del adminisb:ador del programa no son ne-
cesariamente torcidos o egoístas. Por lo general, es necesario justificar
el programa ante las personas que pagan las cuentas y trata de reunir
apoyos para un concepto y un proyecto en cuyas virtudes cree. Obtener
apoyo para programas existentes es un motivo común para lanzarse a
w1a evaluación.
A fin de cumplir con los requisitos de un donativo. Cada vez más,
Ja decisión de realizar una evaluación proviene de fuentes que están
fuera del programa. Muchas donaciones federales para proyectos de
demostración y para programas innovadores van acompañadas de una
exigencia de evalnación; por eiemolo, todos los proyectos para ayudar
a alumnos no l?rivilegiados, financiados conforme a lo establecido en
el artículo -I de la Ley de educación elemental v secundaria de los
Estados Unidos, tienen· que ser evaluados. ·
Desde el punto de vista de los que conceden la ayuda económica, y
que están corriendo el riesgo de financiar un proyecto que no ha sido
orobado en la práctica, es razonable exigir que se aporten algunas prue-
bas del grado en que el proyecto está funcionando bien. Para quienes
se encargan de la ejecución de un proyecto, cobran prioridad las de-
mandas de- que se inicie y cOmience a ejecutar el nuevo programa. Aco-
sados como están, a menudo, por problemas inmediatos de conseguir
personal, elaborar presupuestos, obtener apoyo logístico, entrar en bue-
nas relaciones con la comunidad y todas las demás duras pruebas que
aguardan a los precursores, tienden a olvidarse de la evaluación. Ven en
ella, principá.lrnente, un ritual destinado a propiciar y aplacar a las di-
vinidades que sueltan el dinero, pero carente de utilidad real para ellos.
Así pues, la evaluación es una empresa racional que a menudo se
efectúa por razones que no son racionales o, al menos, que no son in-
formativas. Podr:íarnos seguir haciendo el catálogo de variedades de
fines encubiertos ( iustificar un programa ante el Congreso, «convencer"
al director del prOgrama, aumentar el prestigio del organismo), pero
lo importante es que tales motivos pueden tener consecuencias graves y
h"istes para . la evaluación.~

1 Edward A. Suchman, "Action for What? A Critique of Evaluative Research".

en la obra The Organization, Management, and Tactics of Social Research, Richard
O'Toob, dir. (Cambridge, Ma.s.s.: Schenkman Publishing Co., le., 1970).
2 Véase Sar Levitan, "Facts, Fancies, and Freeloaders in Evaluatin!;{ Antipoverty
Programs", Poverty and Human Resources Ahstracts, IV, núm. 6 (1969), 13-16; Ri-
 1

26 Cap. 2 Objetivos de la evaluación

El evaluador a quien se le pide que estudie un programa en particu-

lar, suele suponer que lo han llamado porque hay personas que desean
obtener respuestas en lo tocante a lo que el programa está haciendo
, bien o mal. Cuando no es tal el caso, en su ingenuidad podrá conver-
tirse en peón de las luchas de podei" internas de la organización, en una
manera de aplazar la acción,. o en bandera de una o de otra ideología.
Algunos evaluadores han descubierto, después de haber completado su
estudio, que sin quererlo ni saberlo han desempeñado un papel en un
. juego político más grande. Han descubierto que nadie estaba particular-
mente interesado en aplicar sus resultados a las. decisiones que estaban
más a mano, sino únicamente en utilizarlos (o algún b·ozo citable de
los mismos) como munición par~ destruir o para justificar.
· La lección 1, para el evaluador. que acaba de entrar en escena, dice
lo siguiente: trate de descubrir a quién se le ocurrió-la idea de realizar
una evaluación del programa y cuáles fueron sus fines. ¿Hubo otros
grupos de la organización que pusieron en tela de juicio la evaluación
o le presentaron objeciones? ¿Cuáles fueron sus motivos? ¿En los ejecu-
tantes, en los administradores o en los que conceden los f-ondos, o en ·
todos a la vez, existe una verdadera intención de utilizar los resultados
de la evaluaci6n para mejorar la futura tom'a de decisiones? Si los ob-
jetivos reales de -la evaluación no tienen que ver con un mejoramiento
de la t-oma de decisioneS y no existe mayor intención da aplicar los re-
sultados, el proyecto, probablemente, no será un buen sujeto de evalua-
ci6n. El evaluador. bien podría ponerse a reflexionar en· si desea verse
envuelto en esta situaci6n, o si no será mejor que busque maneras más
útiles de emplear su talento.

USOS QUE SE LE QUIEREN DAR

Ann cuando la evaluación se emprenda con fines sanos (es decir,-
para enterarse del grado en que el programa está realizando sus fines),
en las personas existirán expectativas ampliamente diferentes de las
clases de respuestas que se producirán. Para que no le tomen despre-
venido, el evaluador hará bien en enterarse, desde un príncipio, de cuá-
les son las respuestas que se esperan obtener gracias a su estudio. 3

chard H. Hall, "The Applied Sociologists and O~ganizational Sociology", en la obra

Sociology in Actíon, A.rthur B. Shostak (dir.) (Homewood, _Ill.: Dorsey Press, Inc.,
1966), págs. 33-38; Joseph W. Eaton, "Symbolic and Substantive Evaluative Re-
search", Administrative Science Quartely, VI, núm. 4 (1962), 421-442; Lewis A.
Dexter, "Impressions About Utility and Wastefulness in Applied Social Science
Studies", American Behavíoral Scientist, IX, núm. 6 (1900), 9-10.
3 Downs establece que el grado de la investigación aplicada debería estar jus-
tificado de ;manera económica por el valor de la información que produce para la
toma de decisiones. Los· evaluadores, como otros investigadores, pueden quedar fas-
cinados con el problema y hacer más investigación de la que necesita el programa;
1

Usos que se le quieren dar 27

¿Quiénes esperan obtener respuestas

y qué esperan obtener?
Lo que se espera de la evaluación varía, por lo general, de acuerdo
con la posición que ocupa una persona en el sistema.4 Los encargados
de tomar las decisiones superiores necesitan la clase de información que
les permita tratar las cuestiones más amplias: ¿debería continuarse el
programa o interrumpirse, se le debería instituCionalizar en el sistema
o sería mejor limitarlo a un programa piloto; .debería proseguir con los
mismos procedimientos y técnicas o mejor sería modificarlos? -¿Debería
asignarse dinero a este programa o a otros programas? Necesitan infor-
mación acerca de la eficiencia general del programa.
~os directores del programa se enfrentan a _ptTos problemas. Desean
saber no sólo cuán bien está alcanzando su programa los fines desea-
dos, sino también cuáles son las estrategias generales que tienen mayor
o menor éxito, cuáles están alcanzando resultados de la manera más
eficiente y económica, cuáles rasgos del programa son esenciales y cUá-
les pueden cambiarse o deyec;harse. .
Los miembros del personal de servicio directo tratan con individuos
y g1upos p_equeños. Les preocupan cuestiones prácticas, del trabajo co-
tidiano, de las· técnicas. ¿Deberían destinar más tiempo a crear buenos
hábitos de trabajo y menos tiempo a enseñar materias de estudio? ¿De-
berían hacer un mayor hincapié en las discusiones del grupo, en las
películas o en las confer".".i.iCias? ¿Deberían aceptar a personas más jó-
venes? (que aún no tienen hábitos fijos) ¿O a personas de mayor edad?
(que tienen más grandes responsabilidades y necesidade.s mayores). I"os
practicantes acostumbrados a confiar en su propia experiencia y en .su
juicio intuitivo, a menudo quieren que la evaluación les ofrezca algo
práctico para tratar problemas como estos.
Y no puede decirse que estos tres conjuntos de actores -encargados
de fijar . directrices políticas, ·directores de programas y ejecutantes-
constituyan toda la lista de quienes tienen interés en el asunto de la eva-
luación. Los que conceden dinero para la investigación evaluativa, par-
ticularmente cuando se encuentran fuera de la línea directa de opera-
ciones, tal vez se interesen en añadir algo a la suma de conocimientos
existente en el campo. Pr"obablemente deseen respuestas no tanto a pre-

p~ro también subraya que los clientes necesitan con frecuó'ncia una redefinici6n d.-.1
problema y que se 'tes propongan otros enfoques posibles. Anthony Downs, "Sorne
Thoughts on Giving People Economic Advice", American Behavioral Scientist, IX,.
núm. 1 (1965), 30-32. Por supuesto, es mucho más común que el gastar demasiado
dinero, tratar de hacer una evaluación con fondos por demás insuficientes para el
grado y la precisión de los resultados deseados.
4. Una útil discusión aparece en Louis Ferman, "Sorne Perspectives on Ewluating
Social Welfare Programs" _.<\.nnals of the AmerícGn Academy of Political and Social
Science, vol. 385 (septiembre, 1969), 143-156.
 28 Cap. 2 Objetivos de la evaluación

guntas de operación como a cuestiones de teoría y método. ¿El trabajo

social de grupo puede ayudar a mejorar la conducta paternal de las
parejas jóvenes? ¿El aumentar las oportunidades de hacer carrera para
los jóvenes de ingresos bajos puede dar como resultado la reducción de
. la delincuencia juvenil? ¿Si la coordinación en.tre los servicios de salud
pública de la comunid~d se aumenta, recibirá la gente mejores cuidaqos
médicos? Es esta otra de las finalidades de la evaluación, sujetar a prue-
ba proposiciones acerca de la utilidad de conceptos o modelos de ser-
vicio. El público en general tiene también interés en esto, en su calidad
de contribuyentes, de padres de niños que van a la escuela o de dona-
dores de dinero a organizaciones voluntarias. 5 Les interesa que su dinero
se gaste sabia y eficientemente.
En fechas recientes, otro actor ha ingresado en la escena d~ la toma
de decisiones, a saber, e'l consumidor de servicios. Tal ;vez descubra un
uso para la evaluación consistente en formular preguntas "a· ojo de cl.ien-
te" acerca del programa que se está estudiando. ¿Está cumpliendo el
programa los fines que tienen valor para los presuntos beneficiarios del
Servicio? 6 En fechas recientes, en los .Estados Unidos, sobre todo en
algunas comunidades negras, se ha levantado una creciente oposición a
las formulaciones tradicionales de las metas del programa. 7 A los acti- ·
vistas les interesa no sólo lo bien que los programas. están funcionando
para mejorar el aprovechamiento escolar o los Cuidados médicos, sino
también su legitimidad política. Se interesan en la participación de la
comunidad, o en el control de ésta acerca de los programas e institucio-
nes. Cuando cobran relevante importancia estos factores, Jas cuestiones
de la evaluación se originan en una perspectiva radicalmente difereñte.

Compatibilidad de fines

Siendo tantos los posibles usos que se pUeden dar a la evaluación,

el. que la realiza tiene que elegir. Es un mito la eval~ación que Sirve
par~ todo. Aunque cierto número de diferentes tipos de cuestiones pue-
de considerarse dentro de los límHes de un solo estudio, esto requiere ·
planeación y diseño meticulosos. Inevitablemente, ni siquiera el mejor
€isb,_dio olaneado prol?orcionará información sobre todas las cosas que
se le ocurra preguntar a la gente. De hecho, algunos fines de la evalua-

5 Edward Wynne, en ..Ev:-luating Educational Programs: A Symposium", Urban

Review, III, núm. 4 (1969), 19-20.
6 Philip H. Taylor, ..The Role and Function of Eclucational Research", Edttca-
tiorwl Research, IX, núm. 1 (1966), 11-15; Edmund de S. Brunner, "Evaluation
Research in Adult Education", b1temational Review of Community Devclopm~nt,
núm. 17-18 (1967), 97-102.
7 David K. CohE'n, "Politics and Rrscarch: Evaluation of Social Action Programs
in Education'J, Review of Education[Jl Research, XL, núm. 2 (1970), pág. 232.
 Usos que se le quieren dar 29

ción son incompatibles con otros. Consideremos la evaluación de deter-

minado programa educativo para personas de lento aprendizaje;
El personal docente desea utilizar los resultados a fin de mejorar las
exposic;iones y los métodos de enseñanza del curso, sesión h·as sesión, con
objeto de elevar al máximo el aprendizaje de los alumnos. La escuela
normal del estado desea saber si el programa educativo, basado en de-
terminada teoría del aprendizaje, mejorará la actuación de_ los alum-
nos. En el primer caso, el evaluador tendrá que examinar efectos inme-
diatos a corto plazo (aprendizajes después de la mañana de trabajo).
N o tiene por qué preocuparse de generalizar los resultados para otras
poblacionesy no necesita, ni grupos de control ni estadísticas compleja3.
Deseará elevar al máximo la retroalimentación de los resultados a los
maestros, a fin de que puedan verificar sus técnicas mientras cumplen
su trabajo. · ·
Por otra parte, cuando la evaluación está sometiendo a pn.J.eba la
proposición de que un programa fundado en determinadas teorías del
aprendizaje dará buenos resultados con personas de lento aprendizaje,
entonces se tiene que ocupar de efectos a largo plazo. Se necesita de- un
diseño riguroso, de manera· que los resultados observados pued"an ah·i-
buirse al estímulo del programa y no a acontecimientos extraños. Los
resultados tienen que generalizarse más allá del g~po concreto de alum-
nos. El programa educativo debería protegerse contra alteiaciones en el
transcursO de su ejecución, a fin de preservar la claridad del programa
que condujo a los efectos observados.
En teoría, es posible, a la vez, realizar una estimaci6n de la eficien-
cia general del programa y una prueba q.e la eficacia de las estrategias
componentes. Los manuales de diseño experimental 8 ofrecen métodos
de diseño factorial que permiten al experimentador descubrir, a la vez,
el efecto total y los efectos de cada ..tratamiento experimental'". En la
práctica, la evaluación en raras ocasiones puede entregarse a la tarea de
Inanera tan sistemática. Las restricciones de la situación de campo ponen
trabas a la evaluación: clientes demasiado numerosos, demandas de rá-
pid~ retroalimentación de la información, presupuestO insuficiente, «con-
taminación" de los grupos sujetos a tratamiento esoecial por causa de
los demás servicios que reciben, deserciones, falta de acceso a los expe-
dientes y datos, cambios del programa, y así sucesivamente.
Algunos investigadores dice~ que tratar de dfl! satisfacción a multi-
plicidad de demandas y usos, en condiciones de -campo comunes, es
andar provocando la frustraci6n. El evaluador que descubre 1~ decisión

8 Un buen ejemplo es B. J. Winer, Statistical Principles in Experimentcl D~sip.n

(Nu~va York: McGraw-Hill Book Company, 1962). F. Stuart Chapin, W. G. Coch-
ran y G. M. Cox, D. R. Cox, A. L. Edwards, R. A. Fisher, R. E. Kirk y E. F. Lind-
quist, entre otros han escrito también textos útiles sobre diseño experim~ntal. Huy
algu_nos en la tercera sección de la bibliografía.

o;ravt~~IUAU OE LOS AflOES

BI.B.LlUTECA
30 Cap. 2 Objetivos de la evaluación

fundamental que se quiere tomar y arregla su estudio de manera que

aporte información en lo concerniente a esa cuestión o problema pisa
terreno más firme. Hay otros que creen que hay maneras -no necesa-
riamerite formales y elegantes- de estudiar a la vez toda una gama de
cuestiones.' En los capitulas 3 y 4 hablaremos de algunos de estos mé-
todos; Sin embargo, es importante para el evaluador conocer cuál es la
prioridad entre los fines. Si se da el caso, podrá echar por la borda el
exceso de equipaje y defender a capa y espada lo esencial.

Evaluación form~tiva y sumativa

Hemos señalado ya varios tipos de usos que pueden darse a la eva-
luación. Se le puede pedir a ésta qUe investigue el grado de éxito del
programa para que puedan tomarse decisiones como las siguientes:

l. Continuar o descontinuar el programa.

2. Mejorar sus prácticas y procedimientos.
3. Añadir o desechar estrategias y técnicas específicas del programa.
4. Establecer pro"gramas semejantes en otras partes.
5. Asignar recursos entre programas que compitan entre sí.
6. Aceptar o rechíizar un enfoque o teoría para el programa.

Scriven 10 ha traZB.do una útil distinción en las discusiones en tomo

a los fines. Al reflexionar sobre la evaluación de los currículos educa-
tivos, traza una distinción enh·e evaluación formativa y evaluación su-
mativa. La primera produce información que se retroalirnenta durante
el desarrollo de un currículo para ayudar a mejorarlo. Presta servicio
a las necesidades de quienes lo- están .desarrollando. La última se realiza
una vez concluido el currículo. Proporciona información acerca de su
eficacia a las autoridades escolares encargadas .de tomar decisiones, que
están pensando en adoptarlo. 11
Esta distinción tiene validez para otros tipos de programas también,
con ventajas obvias para la aclaración de los fines; sin embargo, muchos
programas nunca se "terminan'", en el sentido en que podemos decir
que un currículo se termina, y la modificación y la adaptación continua-
das serán necesarias tanto en el lugar de origen como en los demás lu-

9 Véase Robert E. Stak~. "Generaliz~bility of Program Evaluation: The Need

for Limits", y James L. Wardrop, "Generalizability of Program Evaluation: The
Dangers of- Limits", Educational Product Report, II, núm. 5 ( 1969), 38-40, 41-42 .
. 10 Michael Scriven, ''The Methodology of Evaluation'', en Perspectives of Cttrricu-
lum Evaluation, Ralph W. Tyler, Robert M: Gagné, y Michael Scriven, dirs. AERA
Monograph Series on Curriculuin Evaluation, núm. 1 ( Chicago: Rand McNally &
Co., !967), pág,. 39-83.
11 Véase también Thomas J.. Éastings, "Curriculum Evaluation: The· Why of
Outcoines", ]Ottmal of ~dt,cational Measurernent, III, núm. 3 (1966), 27-32.
 ¿Quiénes la utilizarán? 31

gares que utilicen el programa. El evaluador todavía tendrá que ponerse

a pensar mucho.
En la práctlca, lo más frecuente es que se solicite la ayuda de la eva-
luación para tomar decisiones acerca del mejor~miento del progr_ama.
Son relativamente raras las decisiones de vida o muerte, de sirve o no.
Aun cuando los resultados de la evaluación muestran que' el programa
es un fracaso, la reacción acostumbrada consiste en ponerle un remien-
do y probarlo de nuevo. Es también raro el uso d~ la evaluación para
poner a prueba, con cierta orientaci6n teórica, los enfoques y modelos
de 'Programas. Estos pueden estudiarse más ·fácilmente en condiciones
controladas de laboratorio. Es la búsgueda de mejoramientos para las
estrategias y técnicas lo que da pie a la actividad evaluativa.
Aun cuando quienes toman decisiones parten de preguntas globales
().valdrá la l?ena seguir con el programa?), a menudo terminan- reci-
biendo resultados que no son definitivos ("hay los efectos buenos si-
gui.entes, pero ... , ) que los conducen a buscar formas de modificar las
prácticas actuales. Se interesan en la probabilidad de obtener mejores
resultados con diferentes comnonentes, con una mezcla distinta de ser-
vi~ios, ciertos grupOs de clientes, diversas estructuras de personal, di-
ferentes estructuras de organización. nrocedimientos y mecanismos dís-
tintos. Una de las ironías de la práctica evaluativa es que haya dado
buenos resultados -por lo que respecta a estimar el impacto general, ade-
cuado a la decisión, poco común, de sirve o no, y que está relativamente
subdesarrollada en diseños que producen información acerca de la .efi-
cacia de estrategias comparativas.

¿QUIÉNÉS LA UTILIZARÁN?

Se han mencionado algunos usuarios posibles de la evaluación:

l. Organización que concede el subsidio económico (gobierno, particular,

fu-ndación) . .
2. Organismo nacional (del gobierno, particular).
3. Organismo local.
4. Los ·directores de un proyecto específico.
5. El personal del servicio directo.
6. Clientes del programa.
7. Académicos de diversas disciplinas y profesiones.

¿A qué fines servirá la evaluación y r.ara quiénes? En algunos casos,

la pregunta es casi -~etórica, ~1 evaluador forma parte del personal· de·
alguna organización -ya sea nacional o exclusiva de un programa pilo-
to- y realiza la tarea que le han asignado; pero, más a menudo, Se le
ofrecen al evaluador cierto número de opciones. Si forma parte del per-
sonal de una organización de investigaciOnes externa al programa a la
 'Cap. 2 Objetivos de Ia e~aluación

que se le ha pedido que emprenda la evaluación, quizá se le ofrezca

la oportunidad de tomar parte. en las discusiones en torno a los fines y
al foco primordial de atención del estudio. Aun en el caso de que esté
vinculado más estrechamente al proyecto, por lo común existe tan no-
table falta de claridad en las demás partes que tendrá espacio- de sobra
·para maniobrar.
Si puede ayudar a . determinar el foco fundamental del estudio, el
evaluador tendrá en cuenta varias cosas. En primer lugar, probable-
mente, tenemos a. su propio conjunto de valores. Un programa de vera-
neo para jóvenes del ghetto, tal vez tenga valor para los funcionarios
municipales en la medida en que ayude a calmar a los jóvenes y a pre-
venir que se entreguen a motines y saqueos. El evaluador quizá desee
considerar el programa desde la perspectiva de los jóvenes también y ver
si. han mejorado sus perspectivas de obtener empleo, sus destrezas para
el trabajo y su diversión en general. Los datos que tal estudio produzca
podrán ofrecer un marco de referencia ·más amplio a.la_ decisión de con-
tinuar o no los programas de verano. Es importante qUe el evaluador sea
capaz de vivir en armonía con el estudio, sus usos y su conciencia, al
mismo tiempo.
Aparte de esto último, la primordial consideración acerca de cuál
es el uso que habrá de dársde al estudio es la siguiente: ¿cuál es la
decisjón· que debe tomarse? La cuestión pendiente podrá ser la de ex-
tender un pequeño programa piloto de una sala de hospital a otras salas
del mismo. Podrá asignar dinero a determinad-o proyect-o. Quizá haya
que tomar una decisión sobre la adopción de una técnica (reducción
del número de casos atendidos, auxiliares no profesionales) a lo largo
·de todo el sistema. Probablemente las decisiones pendientes tengan que
ver con la dotación de personal, la estructura o las poblaciones a las
que se destinará el servicio. Una vez que el evaluador descubra cuáles
son las decisiones fundamentales pendientes y cuánélo tendrán que to-
marse, podrá ajustar su estudio de manera que produzca máximos ren-
dimientos.
A menudo no existe una decisión fundat'nental pendiente o, por lo
menos, ninguna que pueda señalarse de momento; sin embargo, hay
«usuarios'~ a· quienes les interesa aprender algo del estudio y aplicar sus
resultados, así como hay otros a los que esto no les interesa. Cuando
]os administradores locales del programa están tratando de encontrar,
concienzudamente, ~ejores maneras de dar servicio a sus clientes, en
tanto que qu~enes toman las decisiones políticas, en liiveles superiores,
buscan de manera primordial "justificadores del programa", las pre-
guntas formuladas por los administradores locales son las que mere-
yen más atención. Por· otra parte, si los administradores ·locales lo que
quieren es un "adorno'" y los niveles superiores de-sean saber cómo asig-
nar nuevas partidas, el evaluador deberá ha.cer más hincapié en la es~
timación compar~tiva del resultado general.
 Estructura de la evaluación 33

Así pues, la siguiente tarea consiste en diseñar la evaluación para

que proporcione las respuestas que se necesitan. No siempre es fácil
descubrir cuáles son las respuestas que se necesitan. Como· veremos en
el capitulo 3, raro es el programa que expresa con toda claridad sus l l.C:ho
metas, objetivos, criterios y fundamentos para la decisión; no obstante, ( /:~).
basándose en su mejor- estimación del uso que se quiere dar al progra- } ~ ~
ma, el evaluador tiene que tomar decisiones acerca de las medidas que ¡ e~ C_-~_-yJ j
se emplearán, de las fuentes de información (capitulo 3), y del diseño \
de la investigación (capítulo 4). Obrará en su favor o en su contra la,)
localización de la evaluación dentro de la estructura organizacional.
Pasaremos en seguida a examinar este punto.

ESTRUCTURA DE LA EVALUACióN

Un esh1dio de evaluación puede estructurarse y dotarse de personal

de diferentes maneras. U:r;ta unidad o un departamento de investigacio-
nes, del organismo' que esté realizando el programa, puede ejecutar la
evaluación; o si no, se contratarán evaluadores especiales que se incor-
porarán al programa. (A menudo esta es la manera en que los proye.c-
tos de demostración subvencionados con dinero federal cumplen en los
Estados Unidos las exigencias de evaluación.) Se paga a veces a extra-
ños, que suelen ser profesores universitarios, para que presten servicios
como consultores y aconsejen a los evaluadores de la propia organiza-
ción, o bien realicen algunas de las tareas de evaluación en estrecha
colaboración con el personal. Esta manera de disponer las tareas puede
calificarse en su conjunto como de «dentro de la casa".
Otra rilanera de proceder consiste en que el organismo haga un con-
trato con una organización de investigaciones de fuera para que realice
el estudio. La organización de investigaciones, ya se trate de un grupo
académico, de una organización que no persiga fines lucrativos, o de
una casa comercial, es_ responsable ante las personas (y ante el nivel
jerárquico, en el caso de la organización que lleva a cabo el programa),
que· contratan sus servicios. Otra clase más de arreglo consiste en que
un organismo nacional (como la Oficina de Educación de los Estados
Unidos o la YMCA nacional) emplee a una organización de investiga-
ciones a fin de estudiar cierto número de los programas locales que sub-
venciona o supervisa.

Evaluación interna en contraposición

con evaluación externa

Se ha venido debatiendo durante mucho tiempo, sobre todo oral-

mente, la cuestión de cu~les son mejores, si las evaluaciones internas,
34 i~,;;, 2 Objetivos de la evaluación

o las externas. 12 La respuesta parece ser que ninguna de ellas tiene el

monopolio de las ventajas. Algunos de los factores que deben conside-
rarse son los de confianza depositada por los administradores, objetivi-
dad, comprensión del programa, potencial de utilización y autonomía.
Confianza de los administradores. Los admioistradores deben con-
fiar en las destrezas profesionales del personal encargado de la eva-
Iuacióri. A veces, al personal del organismo, sólo le impresionan las cre-
denciales y reputaciones de los investigadores académicos y supone .que
_el personal de investigación que tienen entre sus propios colabor"adores,
o que pueden contratar, son de segunda categoría. A la inversa, en oca-
siones consideran que los evaluadores de fuera están -demasiado aleja-
dos de las realidades, que son muy abstractos y propensos a refugiarse
en su torre de marfil como para producir investigación que posea: valdr
práctico. Ocasionalmente, es importante ganarse la confianza pública
contratando a evaluadores, los cuales no tengan intereses en juego en
el programa que deba estudiarse. Por supuesto, la capacidad es un gran
factor para ganarse la confianza y hay que considerarla con prioridad.
Ob¡etividad. Bsta requiere que los evaluadores queden aislados de
cualquier posibilidad de torcer sus datos, o la interpretación ~e los mis-
mos, por un deseo de hacer ver que todo marcha bien. A este respecto,
los que suelei_l hacerlo mejor son los de fuera, aunque evaluadores de
integridad esc:rupulosa, miembros del personal de la casa, han hecho a
veces una excelente evaluación. Llega a ocurrir ~ncluso, que una or-
ganización externa dedicada a la investigación endulza la interpreta-
ción de los resultados del programa (mediante la elección de los que
habrán de responder, mediante lá.s diversas clases de pruebas estadísticas
utilizadas), a fin de congraciarse con un programa y obtener nuevós
contratos. Sea como fuere, es importante proteger al estudio hasta en
contra de torcimientos no intencionados.
Comprensi6n del programa. El conocimiento de lo que se está ha-
ciendo en el programa tiene vital importancia -para el personal que va a
hacer la evaluación. Tiene que saber, a la vez, cuáles son las cuestiones
reales a que se enfrenta el organismo y los acontecimientos reales que
están teniendo lugar en el programa -para que su evaluación no pierda
sentido. Es a este respecto cómo el personal interno acumula puntos en
su favor, aunque los investigadores externos t~mbién pueden llegar a

12 Véase Elmer Luchterhand, "Research and th~ Dilemm<is in Developing- S0cial

Programs", en The Uses of Sociology, P. F. Lazarsfeld, W. H. Sewell y H. L. Wilens-
ky. dirs. (Nueva York: Basic Books, Inc., Publishers, 1967), págs. 513-517: Rensis
Likert y Ronald Lippitt, "The Utilization of Social Science", en la obra Research
Methods in the Behavioral Sciences, Lean Festinger y Daniel Katz, dirs. (Nueva York:
Holt, Rinehart & Winston, Inc., 1953), págs. 581-646; Martin Weinberger, "Evaluating
Educational Programs: Observations by a Market Researcher", Urban Review, III,
núm. 4 (1969), 23-26.
 Estructura de la eValuación !l5

enterarse de las interioridades del programa si hacen el _esfuerzo corres~

pondiente y se les da acceso a las fuentes de información.
Potencial de _utilización. La utilización de los resultados requiere a
menudo que los evaluadores desempeñen un papel activo para pasar
de los datos· de la investigación a la interpretación de los resultados en
un contexto de política general. El personal interno, que está dispuesto
a hacer recomendaciones sobre la base de los resultados y de defender-
las en las reuniones de funcionarios de la organizacÍÓf.l, ·quizá esté mejor
situado para conseguir que se les preste atención; pero a veces son los
de fuera, gracias a su prestigio y a su autoridad, los que son capaces de
convencer a aquellos de que se preste atención a la ·evaluación,·
Autonomía. La gente de la casa, por lo general, da por Sflntados los
su,puestos fundamentales y los esquemas de organización del programa .y
realiza su evaluación dentro del marco existente. El de. fuera quizá pue~
da ej·ercer mayor autonomía y ver las cosas con _una perspectiva . más
amplia. Aunque respete la fonnulación de problemas a· cuestiones esta~
blecidas en el programa, podrá ser capaz de introducir opciones qUe
constituyan una notable desviación respecto del statu qua. Lo que de~
duzca de los datos de la evaluación podrá orientarse men-os a poner
remiendos y más a la reestructuración fundamental del prog:rama.13 Sin
embargo, ta1 enfoque más amplio no es ni común entre los de fuera, ni
algo que desconozcan los de dentro.
Todas estas consideraciones deben sopesarse de manera cuidadosa.
No existe un "lugar óptimo" para la evaluaci6il. La organizaci6n deberá
sopesar los factores de nuevo en cada caso y estimar la manera como
los beneficios se pueden ir acumulando.

Nivel en la estructura

Quienquiera que sea el que realice efectivamente la evaluación, el

personal encargado de la misma ocupa algún lugar en la burocracia de
la organización. El evaluador rinde informes .a una persona que se en~
cuentra en álgún nivel de autoridad dentro de la organización del pr-o-
grama, o del organismo que lo supervisa o subvenciona, y es respOnsa~
ble ante esa persona y ante ese puesto -por lo que toca al trabajo que·
efectúa. Si el evaluador es de casa, rinde informes de manera regular,
el investigador de fuera recibe también sus tareas de personas que ocu-
pan determinada posición en la organización, a las cuales comunica ta!I}.-
bién sus resultados (y de las que puede recibir consejos a nivel inter-
medio).
La distinción importante en materia de localización dentro de la or-

l3 Robert K. Merton; "Role of the Intellectual in Public Bureaucracy", en la obra

Social TheoTy .and Social Structme (Nueva York: The Free Press, 1964), páginas
207-224).
36 Cap. 2 Objetivos de la evaluación

ganizaci6n, para lo que estamos tratando de explicar es la diferencia

1

entre la persona que establece las políticas y el administrador del pro-

grama. A fin de abreviar nuestra anterior lista de usuarios de la evalua-
ción y de las decisiones que tienen que tomar, los puntos fundamentales
son los siguientes:

Usuario Decisión
El que establece las políticas Ampliar, reducir o cambiar el pro-
grama
Administrador del programa Cuáles métodos, estructuras, técnicas,
organizaci6n del personal -

La evaluación deberla situarse dentro de la estructura de la organi-

zación a- un 'nivel consonante con su- misión. Si tiene como ·objeto dar
respuesta a las preguntas de política general (¿cuán bueno es el pro-
grama en su totalidad?) los evaluadOres deberían rendir informes ante
1

las personás encargadas de las decisiones_ de política general. Si no se

discute la forma fundamental del programa y la cuestión de la evalua-
ción gira en torno a los cambios que haya qu'e hacer en rasgos especí-
ficos, tal vez el evaluador debería ser responsable ante los administra-
dores del programa."
Surgen verdaderos problemas cuando la evaluación no está co_nve-
nienteffiente sib.Iilda en la estructura. Una evaluación iniciada por los
administradores del programa, y responsable ante ellos, está sujeta a todo
género de presiones para impedir que presente descubrimientos que
pongan en tela de duda la eficacia de todo el programa. Si lo hace, pro-
bablemente los gerentes detendrán el informe al nivel del programa y
jamás ·será presentado a la consideración de los consejos- superiores.H~
Por otra parte, cuando las personas encargadas de la formulaci6n general
de la política, a nivel cumbre, son las que inician y supervisan la evalua-
ción, las pregrmtas que formulan cobran categoría de primordiales y a
las p~eguntas acerca de las operaciones se I.es asignarán las partida·s más
pobres del presupuesto. Así también, a los evaluadores no les está per-
mitido un. contacto fácil e informal con los administradores y los ejecu-
tantes del programa que les permita escuchar y com¡Jrender los pro-
blemas y las opciones a que se enfrentan. A veces es difícil estudiar la
(;1ficacia de diversos componentes del programa porque los miembros
del personal ven en los evaluadores a "inspectores" que los están vigilan-

14 Esta regla práctica vale tanto si la evaluación fuese ejecutada por personal de
la casa o por un organismo de fuera. Cualquiera de ellos tendría que rendir infor-
mes a nivel·de decisión a que se dirige su trabajo: probablemente los de fuera tengan
mayor latitud para saltarse la cadena de mando de la organización y encontrar acceso
a un oído conveniente, pero hásta ellos se verán circunscritos por una mala locali~
zaci6n.
Hi Este punto 1Ja. sido tratado en Likert y Lippitt, obra citada.
 Estructura de la evaluación 37

do y procuran entonces no divulgar información que podría ir en detri-

mento de la apreciación de su achtación. Tampoco se muestran siempre
cooperadores por lo que toca a mantener las condiciones necesarias para
la investigación evaluativa, particularmente si hay competencia entre
los ejecutantes de diversos niveles del programa y si se cree que la eva-
luación es un esfuerzo por hacer valer las prioridades del nivel superior.
El problema de In situación estructural se hace más complejo cuando
la evaluación está sirviendo a ambos amos. En ·general, lo mejor parece
ser rendir informes a nivel superior. De es.a manera~ el evaluador con-
serva una mayor autonomía. Pero, en tal caso, tiene que hacer esfuerzos
especiales para enterarse lo suficiente acerca de las cuestiones críticas
de las operaciones cotidianas del programa, a fin de incorporarlas en
su estudio y de mantener el apoyo de los administradores locales del
programa, con objeto de preservar las condiciones de investigación más
adecuadas.
Es importante una buena localización en la estructura. Un reciente
informe de Wholey y colaboradores acerca de la práctica federal de
evaluación 16 examina esta cuestión en términos de las responsabilidades
de los organismos federales. Recomienda que un personal central de eva-
luación, en cada organismo, se haga cargo de planear y coordinar todo
trabajo. de evaluación en el departamento, pero que otro personal, a ni-
veles diferentes, se haga cargo de la vigilancia directa de los estudios
de evaluación de acuerdo con sus alcances y sus finalidades.

Las más de las veces, a quienes formulan las políticas se les pide que
elijan entre programas nacionales; en muchas ocasiones a los administrado-
res se les pide que elijan el ·grado de énfasis que deben poner en sus pro-
granias, o decisfones sobre el futuro de proyectos individuales dentro de
programas naciOnales. En la medida de lo posible, las evaluaciones en tor~
no al impacto de un programa, cuyo objeto es descubrir el valor de todo
un programa nacional deberían ser dirigidas por personas que no partid~
pasen inmediatamente en la administración y operación del programa. La
evaluación de la estrategia del programa debería estar dirigida por personas
vinculadas lo suficientemente al programa como para introducir variaciones
en el mismo.17

Dondequiera que se aloje, en la estructura, el proyecto de evalua- '-'~·---I~-·-A· .:,

ción, debería tener la autonomía que toda investigación requiere para-._
informar objetivamente con base en los testimonios y para seguir inves:-
tigando problemas estableciendo criterios y efectuando análisis más allá
de los límites establecidos por el programa, a fin de comprender e inter-
pretar mejor el fenómeno estudiado.

lO Joseph S. Wholey y otros, Federal Evaluation Policy (Washington, D. C.: The

Urban Instihtte, 1970), págs. 54-71.
11 Ibídem, pág. 65.
3

LA TRADICIÜNAL EXPRESIÓN de la pregunta evaluativa dice: ¿en qué me-

dida el programa está logrando alcanzar sus metas? Hay posibles varia-
ciones: ¿el programa A está alcanzando mejor que el B sus metas comu-
nes? ¿Cuán bien está alcanzando el programa los resultados X, Y y Z
con los grupos F, G y H? ¿Cuáles componentes del programa ( R, S
o T) están alcanzando más éxit-o? Pero la fundamental noción es la mis-
ma. Hay metas; existe una actividad planeada (o varias actividades pla-
neadas) que apuntan a alc:inzar estas metas: se ha hecho ~na medición
del grado en que se han alcanzado las metas. Al evaluar también· se
confía en que se establecerán controles, de manera que el inVestigador
pueda saber si fue el programa lo que condujo a la realización de los
fines, en vez de cualesquier factores externos (como la m'aduración de
los participantes, los mejoramientos de la economía, y así sucesivamen·
te). El problema del diseño del estudio -cómo pueden establecerse con-
troles en la investigación sobre un programa de acción -es el tema del
siguiente capítulo.
En abstracto, la pregunta evaluativa parece ser muy sencilla. Al pa·
recer, lo único que tiene que hacer el investigado~ es:
l. Buscar las metas del programa.
2. Traducir las .metas a indicadores mensurables de la re.alización del ob·
jetivo.
3. Reunir datos de los indicadores, correspondientes a quienes participaron
en el programa (y a un grupo de control equivalente que no participó).
4. Comparar los datos de los participantes (y de los controles) con los cri·
terios de realización de las metas.
¡Y eso es todo!
39
4.9 Cap. 3 Formulación de la pregunta y medición de la respuesta

Pero, lo que teóricamente parece ser elemental~ en la práctica se con-

vierte en empresa exigente. Nunca los programas son tan claros y trans-
parentes y tan manejables como quisiera el evaluador. Y tampoco las
circunstancias externas son tan pasivas e inocuas como le gustaría que
fuesen. Brotan ejércitos enteros de problemas inesperados. Este capítulo
se ocupará de cuatro de ellos:

l. A menudo las metas de los programas son borrosas, ambiguas, difíciles

de definir con toda precisión. A veces, las metaS oficiales son, simple-
mente, una larga lista de perogrulladas santurronas y parcialmente in-
compatibles.
2. Los programas no sólo conducen a la realización de las metas oficiales;
también realizan otras cosaS, unas veces además de y otras ocasiones
en vez de. El evaluador tiene la obligación de echar nna mirada a es-
tas inesperadas_ consecuencias de las actividades del progátma.
3. El programa es un c~ulo de. actividades; p'ersonas y estructuras. Al-
gunos de sus elementos son necesarios para los efectos que alcanza; otros
son impedimentos que nO vienen al caso. Quienes toman las decisiones
desean saber cuáles son los rasgos fundamentales y esenciales del pro-
grama, de manera que (en caso de tener éxito) los puedan reproducir
o (en caso de no tener éxito) los puedan eludir. ¿Cómo se descubren
y separan los elementos que si tienen importancia?
4. La pregunta evaluativa, según Ia hemos expresado, no hace caso de la
cuestión de por qué tiene éxito o fracasa el p[ograma. El porqué, a
menudo es algo que tiene tanta importancia conocer. como lo bien que
funciona el programa.

A fin de abordar estos problemas, recomendaremos una serie- de esiTa-

tegias. Quizá el tema más importante de todos (y volveremos a él en el
Siguiente capítulo,- cuando veamos lo del diseño) es la clasificación de
las partes componentes del programa. Cada elemento (de actividad,
enfoque, e~tructura, participantes, y así sucesivamente) que presumi-
blemente afectará a los resultados es observado, .definido y clasificado.
Las diferencias que van apareciendo entre gru.pos, entre actividades,
nos proporcionan información acerca de lo que da buenos resultados y
de lo que no sirve para alcanzar las metas del programa.
Así pues; en este capítulo, reflexionaremos acerca de estas cuestio-
nes medulares:

l. Formular las inetas del programa que la evaluación utilizará como cri-
terios.
2. Elegir entre metas múltiples.
3. Investigar consecuencias imprevistas.
4. Medir resultados.
5. Especificar qué es el programa.
6. Medir los insumos del programa y los procesos intercurrentes.
7. Reunir los ~a tos necesarios~
FORiV!ULACióN DE METAS DEL PROGRAMA

Es experiencia común para un evaluador que se le llame para estu-

cliar los efectos de un programa sin que se le diga cuáles son sus fines.
Si insiste en que se le diga cuáles son las metas, tal vez los administra-
dores del programa le contesten hablándole del número de personas a
quienes piensan dar servicio, y qué clase de éste ofrecerán, tipos de per-
sonal que tendrá y otras informaciones por el estilo. Para quienes se
encargarán del cumplimiento de Jos programas, éstas son "metas del
programa"- en sentido real y válido, pero no son la moneda de que se val-
drá el evaluador en sus tratos. Lo que le interesan. son las consecuencias
que se le han asignado al programa. Cuando insiste en preguntar, "¡.qué
es lo que trata de realizar el programa?", muchas de las personas dedi-
cadas al mismo suelen dar respuestas nebulosas, a menudo globales y
de alcances nada realistas. Se aventurarán a decir que están tratando de
..mejorar la educación'", "realzar la calidad de la vida", "reducir la cri-
minalidad", "fortalecer los procesos democráticos". Así comienza el pro-
ceso largo, a menudo doloroso, de conseguir que la gente enuncie metas
en términos claros, específicos y mensurables.
La meta debe ser clara para que el evaluador sepa qué debe buscar.
En un pro@;rama de trabajo en el aula, ¿debería ponerse a buscar prue-
bas de que les gusta el curso a los alumnos?, ¿de que les interesa la -
materia de estudio?, ¿de que se tienen conocimientos de la materia de
estudio?, ¿del uso de· la materia, de estudio para nuevas soluciones
de problemas?
La meta tiene que ser específica. Debe poderse traducir a términos
operacionales y hacerse patente. Alguien tiene que hacer algo de manera
diferente cuando se alcanza la meta. De tal modo, si la meta consiste
en- interesar a los alumnos en nuevos materiales, quizá se pondrán a
hablar más a menudo en el salón, o levantarán con mayor frecuencia las
manos, -o leerán más sobre el tema fuera de clase, o les hablarán a sus
padres de lo que están haciendo o harán alguna de muchas otras cosas.
Para los fines de la evaluación, ]a meta tiene que ser mensurable.
Esta no es una restricción tan grave como podría parecer a primera
vista. Una vez que los enunciados de la meta son claros y cárecen de am-
bigüedad, los investigadores expertos pueden medir todo género de
cosas. Pueden emplear todo el arsenal de las técnicas de investigación:
observación, análisis de· contenido de los documentos, tests, búsqueda
de expedientes existentes, entrevistas, cuestionario,s, elecciones sociomé-
tricas, experimentos de laboratorio, juegos, exámenes físicos, medición
de las pruebas físicas y así sucesivamente. Con tests de actitud y en-
cuestas de opinión pueden llegar a medir incluso metas relativamente
..difícilesn, como son el mejoramiento de la propia estimaci6n o de la
confianza en sí mismo; pero como son pocos los pr-ogramas que se pro-
t2 Cap. 3 Fonnulación de la pregunta- y medición de ]a respuesta

ponen sólo cambiar actitudes, el evaluador querrá también encontrar y

medir las consecuencias conductuales de las actitudes cambiadas, las
cosas qUe hacen los participantes porque se ven, de manera diferente,
a sí mismos, o a otras personas o la situación.
A algunos programas les resulta extremadamente difícil formular
metas en estos términos. David Kallen nos cuenta haber trabajado con
un comité consultivo encargado de planear la evaluación de un progra-
ma de trabajo para jóvenes pandilleros. Cuando se les pidió que señala-
ran concretamente las metas del programa, los miembros del comité
mencionaron cosas como las de··mejorar la conducta de los jóveneS, ayu-
darles a convertirse en mejores ciudadanos y perfeccionar su trabajo en
la escuela. Cuando trataron de traducir las metas a criterios operacio-
nales de éxito del programa, se vio que "conducta'' y "civismo'' eran
términos demasiado vagos como para poder emplearse, y que las califi-
caciones escolares, también, sufrían la influencia de las apreciaciones
estereotipadas que de los jóvenes hacían los maestros. Y la desalentadora
historia sigue diciendo:

Finalmente, resultó ·que a cierto número de residentes de la zona leS pare-

cía mal que los jóvenes hablasen diciendo palabrotas, y se decidió que una
medida de mejoniiniento en la conducta sería reduCir el número de pala~
brotas empleadas, ·y que esto era algo a lo que debería apuntar el trabajador
social en su inter:lcción con los jóvenes confiados a él. (¿Estaba identifi~
cando el grupo las _metas del programa o estaba establecierido nuevas
metas?) Por consiguiente, se eshlVO de· acuerdo con que parte del criterio
del éxito sería una reducción en el empleo de palabrotas. Añadiría yo que
esta fue ]a única medida de éxito en que pudieron ponerse de acuerdo el
equipo encargado de la evalua~ión y el comité consultivo del programa. 1

La no definición de las metas del programa es un fenómeno lo sufi-

cientemente común como para justificar que se le preste atención. Quizá
parte de la explicación consista en que quienes llevan a cabo las evalua-
ciones concentran toda su atención en las cuestiones concret~ del fun-
cionamiento del programa y su modo pragmático de operación. A me~
nudo no enfocan de manera analítica, sino intuitiva, el desarrollo del
programa; pero hay también una funci6n útil que cumple la ambigüe-
dad: puede encubrir subyacentes divergencias en lo que respecta a los
propósitos generales. Se requiere el apoyo de muchos elementos para
hacer que un programa levante el vuelo y las brillantes generalidades
que pasan por ser enunciados de meta tienen como objeto satisfacer
toda una variedad de intereses y perspectivas.
Sin embargo, cuando existe poco consenso acerca de lo que está tra·
tanda de hacer un programa el personal tal vez trabaje en contradicción
recíproca. Un beneficio colateral de la eValuación es que concentra la

1 Carta personal de David J. Kallen, 10 de enero de 1966.

 Formulación de metas del programa -43

atención sobre la formulación de metas en términos de las conductas

específicas que los ejecutantes del programa quieren alcanzar. Proba·
blemente el esfuerzo 'logre sacar a luz los desacuerdos y quizá se desem·
baque en un conflicto; pero si las diferencias pueden conciliarse (y el
programa tal vez no resultará viable si nO se concilian), la aclaración
no hará sino contribuir a racionalizar la ejecución del programa. Quizá
revele la existencia de discrepancias entre .las metas del programa y el
contenido del mismo, caso en el cual el contenido o, como señala Ber·
lak, 2 el enunciado de meta debería cambiarse. 'cuando se alcanza un·
sentimiento de finalidad común, la lógica y la racionalidad de la prác-
tica tienen que salir ganando. ·
¿Qué hace un evaluador cuando se enfrenta a un programa en el cual
no existe un consenso respecto al enunciado de metas específicas y sig-
nificativas? Puede hacer uria de cuatro cosas:

l. Puede plantear la cuestión y esperar a que el personal del programa

llegue a un acuerdo. Pero, como han señalado Freeman y -Sherwood,3
deberÍa llevarse algunos libros a la oficina para dedicarSe a leer mien-
tras espera a que lleguen a un consenso y, no obstante, ni siquiera así
lleguen tal vez a un enunciado que constituya fundamento ~decuado
para una evaluación.
· 2. También puede ponerse a leer todo lo que pueda encontrar acerca del
programa, charlar extensamente con sus ejecutantes, obserVar el pro-
grama en plena ejecución y luego sentarse a la mesa y" formular por sí
mismo un enunciado de metas. A veces es este un procedimiento razo-
nable, pero tiene dos peligros: uno de ellos es que pueda introducir en
el programa sus propias preconcepciones profesionales y desplazar su-
tilmente las metas (y el estudio subsiguiente) en el sentido de sus pro·
píos intereses. El otro riesgo es el de que una vez completado el estu-
dio, los ejecutantes del programa puedan hacer a nn lado los resultados
con el comentario de que "no es eso reahnente lo que hemos estado
procurando hacer".
3. P~ede tratar de organizar· un esfuerzo de colaboracióri. para la formu-
lación de metas. Quizá esta es la mejor manera de proceder. En colabo-l
ración con el personal del programa, el evaluador podrá ofreCer suCesi-
vos esquemas de enunciados de metas. El personal del programa los
modificará y proseguirá el debate hasta llegar a un acuerdo.
4. Puede dar carpetazo a .la cuestión de las metas y no dedicarse a una
evaJuación en la acepción común del término, sino a un estudio de ca-
rácter más abierto, exploratorio. En zonas complejas e inexploradas, ésta
puede ser una mejor estrategia que la de formular "metas" arbitrarias
y superficiales a fin de llevar adelante el estudio mientras a los aconte-
cimientos realinente significativos, en lo relativo al programa, se les·

2 Harold Berlak, "Values, Goals, Publíc Polícy and Educational Evaluation".

Review of Educational Research, XL, núm. 2 (1910), 261-218.
3 Howard E. Freeman y Clarence C. Sherwo'od, "Research in Large.scale Inter-
vention Programs", ]ournal of Soc-ial Issues, XXI, núm. 1 (1965), 11-28.
44 · Cap. 3 Formulación de la pregunta r m_edición de la respuesta

permite tener lugar sin estUdio, Sin análisiS y sin pena ni gloria. Las
evaluaciones fundadas en.metas e indicadores del éxito demasiado espe-
cíficos, probablemente resulten prematuras en un campo en el cual exis-
te poco acuerdo acerca de lo que constituye éxito. 4.

El evaluador experimentado también se pone a buscar la agenda

oculta, las metas encubiertas del· proyecto que es poco probable que se
expresen, pero cuya realización, a veces, es lo que determina el éxito o
el fracaso, independientemente de todo. lo demás que pueda ocurrir;
por ejemplo, si un programa de estudios interdisciplinarios, en una uni-
versidad, no logra captar el apoyo del personal de ]os departamentos y
de la dirección de la universidad, ni siquiera los resultados educativos
mejores serán suficientes para mantenerlo vivo. El evaluador, si va a
estudiar la realización de metas, hará bien en no perder. de _vista las
metas de "sistema" (las que ayudan a mantener la viabilidad del pro-
grama en su ambiente) as:í como las metaS de ..resultado", Se enterará
de muchas cosas que le explicarán por qué el programa realiza las adap- 1
taciones que efectúa y dónde se ventilan realmente los·· asuntos. 11
Algunos investigadores han Ilegado a proponer que el modelo meta
de la evaluación se descarte en favor de un ·modelo enfocado a la teo- \
ría de los sistemas. 6 Aún no se conocen con claridad los elementos de
tal modelo; hay casi tantas interpretaciones como participantes en la
diScusión; pero en lo que se está de acuerdo es en que las organizacio-
nes persiguen otras funciones, aparte de la de realizar las metas oficia-
les. Tienen que adquirir recursos, que coordinar subunidades y que 1f
l
4 Véase Cyril S. Belshaw, "Evaluation of Technical Assistance as a Contribution
to Development'', Internotional Development Review. VIII ( 1966), 2-6, 23, donde
se encuentra una situación en que ocurrió esto; sin embargo, recomienda un marco
te6rico y una serie de posibles criterios de éxito para los programas de asistencia
técnica, como el de un aumento en la gama de artículos producidos o un aumento
en la división del trabajo. Ofrece una declaración provisional de metas que puede [·
ser .modificada progresivamente por otros investigadores, ejecutantes y académicos.
5 Andrew C. Fleck, Jr., "Evaluation Research Programs in Public Health Prac- f
tice", Annals of the New York Academy of Science, CVII, núm. 2. (1963), 717-724,
recomienda que los evaluadores conozcan a fondo la organización y el énfasis rela-
tivo que pone la misma en la estabilidad a corto plazo por comparación con la su- \,
pervivencia· a largo plazo. ,
6 Véase Edward A. Suchman, ''Action for mat? .(\ Critiql!-e of Evaluative Re-
.search". en la obra The Organization, Management, and Tactics of Social Research,
Richard O'Toole, dir. (Cambridge, Mass.: Schenkman Publishing Co., 1970); Amitai
Etzioni, "Two Approaches to Organizational Analysis: A Critique and a Suggestion'',
Administrative Science Quarterly, V, núm. 2 (1960), 257-278; Herbert C. Schulberg
y Frank Baker, "Program Evaluation Modds and the Implementation of Research
Findings", American ]ournal of Public Health, LVIII, núm. 7 (1968), ·1248~1255;
Perry Levinson, "Evaluation of Social Welfare Programs: Two Research Models",
Welfare in Review, IV, núm. 10 (1966), 5-12; Herbert C. Schulberg, Alan Sheldon
y Frank Baker, "Introduction" en Ja obra Program Evalua.Uon irr the Health Fields
(Nueva York: Behavioral Publications !;1c., 1970).
 Elecciones entre metas 45

adaptarse al ambiente. Estas preocupaciones se enredan con la realiza-

ción de las metas del programa y le ponen limites. Según los que pro-
ponen el modelo que considere al programa como nn sistema, una eva-
luación que no las considere, probablemente desembocará en conclu-
siones artificiosas y aun, tal vez, erróneas.
¿Qué _aspecto lendría un modelo basado en la teoría de los sistemas?
Etzioni, Schulberg y Baker sugieren que dicho modelo debería basarse .
en un amplío conocimiento de la organización por parte del evaluador
y en su comprensión de la asignación óptima de recursos entre las fun-
ciones de .mantenimiento -de la organización y de realización de fines.
Entonces la pregunta fundamental diría lo siguiente: "en las condicio-
nes dadas, ¿en qué ·medida la asignación de recursos que hace la orga-
nización se acerca a una distribución óptima?" 7 Aunque la noción re-
sulta ·por demás interesante, exige tanto del evaluador (saber de la or-
ganización más que lo que ésta misma sabe) que es difícil imaginarse
su utilización práctica. Al menos en estos términos. Quizá desarrollos
futuros aportarán auténticas luces al reino de la utilización práctica-.
Por el rnome,nto, la rnayorfa de los evaluadores se mantendrán fieles,
probablemente al modelo que se basa en las metas, que puede justifi-
carse por sUs propios méritos, y prestar atención a los sistemas de or-
ganización y de la comunidad que afectan al pmgrama, como la situa-
ción parezca justificar. .

ELECCIONES ENTRE METAS

Una vez definidas clara, específica y conductuahnente las metas del

proyecto, el siguiente paso consiste en definir cuáles de ellas evaluar.
¿Cómo toma su decisión el evaluador?

U sos y carácter práctico

Parte· de la respuesta se encuentra en el potencial de _utilización.

¿Cómo se aplicarán los descubrimientos de la evaluación y cuáles son
las metas que vienen al caso de tal decisión? Parte de la respuesta se
encuentra en las duras realidades del tiempo, el dinero y el acceso.
Hasta dónde puede llegar, en el tiempo, el evaluador en su estudio es
algo que tiene como lúnite la duración del proyecto -y la evaluación-;
cuánto pueda estudiar es algo que, al menos en parte, es función del
dinero; y de si pueda o no examinar algunas clases de efectos es algo
que depende del acceso que se le dé a las personas y a los organismos.
Tendencia endémica en las diversas clases de investigaciones es 1a de
estudiar lo que resulta fácil de hacerlo, en vez de lo que debería ser

7 Etz.ioni, obra citada, pág. 262.

46 Cap. fonnulación _de la pregunta y medición de la respuesta

estudiado. Es particularmente 'importante que el evaluador no incurra

en esta suerte de evasión y se c;oncentre en los puntos fundamentales
del programa.

Importancia relativa
Nos resta todavía un factor, el de la importincia relativa de las di-
versas metas. Esto requiere juicio de valor y las propias prioridades del
programa tienen importancia crítica. El evaluador tendrá que insistir
en que se le permita descubrir las prioridades a fin de saber cuáles me-
tas son, según el personal, fundamentales para su misión y cuáles tienen
carácter subsidiario; pero, como el evaluador no es un simple técnico
para la traducción de ]os fines enunciados de un programa en instru-
mentos de medición, está obligado _a expresar su propia interpretación
de la importancia relativa de las metas. No quiere realizar un estudio ·
completo sobre cómo alcanzar metas inocuas y de poca monta, mientras
se dejan sin estudiar metas fundamentales. 8

Incompatibilidades
En algunos casOS hay incompatibilidades entre metas declaradas;
por ejemplo, un pro'grama de ciudades modelos trata de aumentar la
coordinación entre los organismos públicos y los privados que dan ser-
vicio a un barrio muy venido a me-nos. También desea innovaciones, que
se ideen nuevas maneras de enfocar el problema de cómo prestar ser-
vicios a los Tesidentes pobres. Evidentemente, la coordinación entre
organismos será niás fácil de conseguir en_ torno a las pautas de servicio
viejas, establecidas ·y aceptadas que en tomo a las nuevas. La innqva-
ción, probablemente, debilitará la coordinación y ésta, quizá ahogará el
espíritu de innovación. ¿.Cuál de las dos metas es- más "real"? La evalua-
ción no puede enterrar la cabeza en la arena y tratarlas como si fuesen
iguales e independientes.

¿Metas a corto plazo o a largo plazo?

Otra cuestión_ es la de si son más importantes las metas a corto pla-
zo o las de a largo plazo. Quienes toman las decisiones, y que por hábito
profesional reaccionan a las demandas del ciclo presupuestario más que
a las del ciclo de investigaciones, desean por lo general respuestas rá-
pidas. Si tienen que tomar una decisión a tiempo para que figure en el
presUpuesto del sjguiente "año, no tendrá mayor valor ponerse a averi-

S Robert E. Stake habla de la responsabilidad del evaluador por lo que toca a

evaluar Ia:S metas. declarada.s. "The Countenance of Educational Evaluation", Teachers
College RecMd, LXVIII, núm. 7 (1967), 523-540. .
 Varas de mÚir 47

guar la perdurabilidad de los efectos a lo largo de 24 meees. Lo que

cuentan son los resultados de este año.
Pero a quienes toman decisiones se les puede persuadir, a menudo,
de que vean la utilidad que tiene proseguir una investigación a lo lar-
go ·de varios años, de manera que se ponga de manifiesto la eficiencia
del programa a largo pl~z-o. Claramente, es bueno saber si persisten
los primeros cambioS o, por otra parte, si la: falta de un cambio tempra-
no refleja un "efecto de hibernación", la lenta formación de cambios
importantes a lo largo del tiempo. Siempre· que sea ·pasible, las evalua-
ciones deberán interesarse por los efect-os a largo plazo, particularmente
cuando estén en juego políticas fundamentales o servicios muy costosos.
Vna comparación de efectos a corto y a largo plazo nOs proporciona
información acerca- de cómo, y a qué velocidad tienen lugar los efectos.
El evaluador hará bien en efectuar la selección final de metas. para
el eStudio con quienes toman las decisiones y con los administnidOres
del programa. Todos están comprometidos. Es él quien tendrá que
vivir con el estudio y son ellos los que tendrán que vivir colll los resul-
tados del estudio y (ojalá que así sea) su ejecución.

V ARAS DE MEDIR

Una vez establecidas las metas, la siguiente pregunta es la que trata

de saber qué cantidad de avances hacia la meta es la que indica éxito.
Supongamos que un programa vocacional inscribe a 400, logra que se
gradúen 200, encuentra empleo para 100, de los cuales 50 siguen tra-
bajando todavía tres meses más tafde. ¿,Constituye esto un éxito? ¿,Sería
· éxito 100? ¿,200? ;25? Si no se les fijan directrices al respecto, los inter-
pretadores podrán justificar cualquiC'r conjunto de datos. Un cambio
minúsculo es mejor que ningún cambio, y esto último es mejor que un
(temido) retroceso. Diferentes personas, al examinar los mismos ·datos,
sacarán ~onclusiones distintas, conforme a la tradición de «un t-otal
únicamente" de algunos analistas. "Un total del 25% de los alumnos ... ",
proclama vanagloriándose el apologista. "Solamente el 25% de los alum-
noS ... '", susnira el detractor.
Sólo cobra sentido realmente la cuestión al hacerse una compara-
ción,9 ¿qué nos dice la comparación de los resultados de este año con los
del año pasado, con ·los resultados correspondientes a quienes no par-

9 Esto no zanja la cuesti6n, sino que la limita. ¿Hasta qué punto deberá mejorar
el programa a fin de que se le considere un éxito? Diferencias significativas estadís- ·
ticamente no indican necesariamente una significación sustantiva. Quizá el análisis
de costo-beneficios plantea la pregunta más prudente: ¿cuánto cuesta por cada can-
tidad dada de mejoramiento? Carol H. Weiss, "Planning an Action Project Evalua-
tion'', en la obra Lea.ming in Action, June L. Shtp.elzer, (dir.) (WashingtGn, D. C.:
Government Printing Office, 1966), págs. 15-16.
 48 Cap. 3 Formulación de la pregunta y medición de la respuesta

ticiparon en el programa especial, o mejor aún, con los resultados de

programas que tuvieron fines semejantes? Si no se cuenta con datos
comparables, el evaluador puede interpretar sus resultados y dejar que
otros saquen sus propias conclusiones, o tal vez, para llegar a la formu-
lación de su propio juicio, pueda ponerse a hacer .comparaciones con ex-
. periencias pasadas, con· las opiniones de los -administradores y ·can el
personal y, quizá con las de expertos de fuera. 10 Prestar pronta ate;nción
a las normas de juicio -antes de que corriiencen a llegar los datos-
podrá servir para prevenir discusiones más tarde.

CONSECUENCIAS IMPREVISTAS
El programa tiene metas deseadas. Existe también la posibilidad de
que tenga consecuencias que no quiso conseguir. La discusi6n de los
resultados imprevistos, por lo común, trae consigo la melanc6lica con-
notación de resultados indeseables, pero también pueden existir buenos
resultados inesperados y otros que son una mezcla de bueno y de malo.
Los efectos indeseables pueden producirse por toda una serie de
razones. A veces el programa no está bien pensado y exacerba los ma-
les que precisamente trata de mitigar. Un programa de empréstitos a
ineficientes hombres de negocios en pequeño, tal vez lo único que con-
siga sea sumirlos más en deudas; o ·un pr-ograma puede tener reper-
~usiones negativas al sacar a luz infortunios· que durante mucho tiempo
se habían aceptado. Algunos programas elevan las expectativas de la
gente. Si el progreso es demasiado lento, o si s6lo se benefician unas
cuantas. personas, los resultados probablemente s_ean frustraciones y
amarguras muy difundidas. De cuando en cuando, el programa que in-
vade el- territorio de organismos· existentes es causa de cólera,. de com-
petencia y de un forcejeo burocrático que mengua la eficacia de los
servicios.
No son tan comunes las consecuencias imprevistas buenas, porque
los reformadores que han tratado de convencer de las virtudes d~ un
programa nuevo, con toda prob?-bilidad habrán enumerado todos los
posibles resultados positivos; no obstante, hay veces en ·que un programa
prodnce resultados concomitantes felices, como cuando el programa apli-
cado en un diferente campo adopta algunos de sus rasgos buenos. Tam-
bién los resultados de un buen programa pueden "derramarse" sobre
otros aspectos de la vida de un participante en el programa; por ejem-
plo, los alumnos que aprenden a leer bien, tal vez se vuelvan más coope-
rad-ores y menos revoltosos y agresivos en la escuela y en el hogar. Tam-
bién aparecen efectos de contagio. Las personas que nunca asistieron
al programa aprenden las ideas o las conductas nuevas mediante con-
tacto con las que sí lo hicieron.
lO Stake, obra citada, págs. 527, 536-538, sugiere comparaciones con normas
absolutas, con otros .programas y con las opiniones de expertos para juzgar el éxito.
 Consecuendas imprevistas 49

A veces los programas abordan un aspecto por demás complejo. Aun

si obtienen buenos resultados en su campo, el efecto más importante,
quizá consista en descomponer el sistema original. Así, por ejemplo, un
programa de asistencia a zonas subdesarrolladas introduce en ellas una
nueva variedad de arroz que aumenta el rendimiento de las cosechas,
lo cual es la meta del program~; pero,- al mismo tiempo, su efecto es
convertir en más ricos a los agricultores ricos (porque pueden comprar
la nueva serrúlla y los abonos y también pueden darSe el lujo de correr
riesgos), ampliar el desnivel entre ellos y los agricultores que sólo al-
canzan a obtener lo necesario para su subsistencia y ocasionar inquie-
tud social y política. Los programas fragmentados, con demasiada fre-
cuencia no tienen en cuenta relaciones recíprocas entre los esfuerzos del
programa y el sistema general en que funciona la gente. Lo que original-
mente fue concebido como un buen resultado en una esfera, tal vez,
en una 'perspectiva -más amplia, puede resultar disfunciorial. Por causa
de estas interconexiones tan coniplejas, resulta tan atractiva la noci6n de
enfocar la evaluación tomando como base la teoría general de sistemas.
El evaluador no tiene que perder de vista las "demás" consecuen-
cias del programa que está estUdiando, Aunque quienes toman las de-
cisiones no las hayan expresadq como meta, tiene que desenterrar y es-
rud.iar las consecuencias que puedan influir .considerablemente en las
pe1:sonas y los sistemas. Al igual que la fOJ:mulaci6n de metas, estt? ejer-
cicio requiere pensamiento y atención. Un evaluador prudente se pone
a pensar de antemano en todos los efectos, buenos, malos e indiferentes
que podrian desprenderse del programa. Como contempla el peor de
los mundos posibles y no s6lo el· mejor, traza planes para no perderse
uno solo de los resultados probables. Lo que eran .. consecuencias im-
previstas'' ,son ahora -si juzgó bien- no intencionadas, pero previstas.
Tarribién tiene que mantenerse flexible y lo· suficientemente "abierto~·
como para advertix la aparición de efectoS que ni siquiera su amplia
imaginación logró prever.
Si él, o su personal de evaluaci6n están lo bastante cerca de la esce-
na como para observar lo que está ocurriendo, la observaci6n informal
puede ser suficiente para la primera mirada a los efectos no planeados.
En situaciones más remotas o complejas, tendrá que idear medidas e
instrumentos para resumir datos que le p·ermitan obtener la informaci6n
que necesita. Una vez que se aclaran las tendencias y se advierte la
notable probabilidad de que se produzcan efectos colaterales, querrá
contar con mediciones lo más precisas posibles de todo lo que puede
llegar a convertirse en los. elementos más importantes del campo del
programa. N o quiere que se le sorprenda nunca diciendo, "el programa
(conforme a nuestras mediciones del resultado) fue un éxito, pero el
paciente se muri6".
50 eap:·.- ; .t'·ormuiación de la. pregunta y medición de la respuesta

MEDICióN: INDIC;\.DORES DE RESULTADOS

Luego de que se hayan escogido las metas específicas que se quie-

ran estudiar, el siguiente paso del evaluador será idear indicadores paia
medir el grado en que se alcancen las metas. Estos indicadores de los
resultados del programa son las variables dependientes del estudio.
Así también, al evaluador le interesan la descripción y la medición
de otros factores. Hay los aspectos que vienen al caso del programa
-las entradas- que son las variables independientes del estudio. Quizá
existan también variables -intercurrentes, factores que median entre las
entradas y los resultados .. Estos dos tipos de medidas se examinan con
más cuidado en otra sección de este capítulo.

Búsqueda de medidas
La búsqueda de medidas, a la que a veces se la llama también "ins:
trumentaci6n.. es una exigente fase de la evaluación. Si el evaluador ~
tiene suerte, y si eshtdios anteriores ya se han realizado en el carripo o
si se han ideado medidas que pueden utilizarse para el tema que le in-
teresa, la tarea se reduce a tratar de encontrar las medidas existentes.
Vale la pena dediC"arse a buscar las medidas que ya han demostrado
su utilidad en vez de ponerse a crear nuevas. Ya se habrá hecho gran
parte del trabajo de ensayo y error. Así también, por lo general; es po-
s~ble· encontrar las ~espuestas que investigadores anteriores obtuvieron
mediante el empleo' de e-stas medidas y. de tal manera, contar ya con
algunas clases de datos comparativos procedentes de otra población.
La comparación ayuda a establecer con precisión las características
"especiales" del grupo que se está evaluando. y .el grado en que difieren
de los otros grupos.
El uso repetido de medidas comunes ayuda a ir formando un cúmulo
de conocimientos·. Como los diversos estudios de evaluación utilizan in·
dicadores comunes de res-ultados (por ejemplo, puntuaciones del mismo
test), resulta posible comenzar a hacer comparaciones acerca -de la efi-
cacia relativa de un programa cotejado con Otro.~ (La reserva importante
que hay que expresar es la de que tendrán que considerarse otros facto-
res, y que de preferencia sean constantes, l?ara que ·los juicios resulten
justos.) En años recientes se han nublicado como guías para Jos inves-
tigadores varios manuales de medidas ensayadas y probadas. A menudo
traen la distribución de respuestas de la investigación anterior. Véase,
por ejemplo:

Charles M. Bonjean, Richard J. Hill y S. Dale McLemore, Sociological

Measurement: An lnüentory of Scales and Indices (San Francisco, 1
Calif.: Chandler, 1967).
l
1
1

1
>.-.-

Medición: Indicadores de resultados 51

óscar Euros, Mental Measurements Yeilrbook, 6~ ed. {Highland Park, N. J.:

Gryphon Press, 1965).
Osear Euros, Personality Tegts and Reviews (Highland Park, N. J.: Gryphon
Press, 1970).
Delbert C. Miller, Handbook of Research Design and Social Measurement
(Nueva York: McKay, 1964).
John P. Robinson, Jerrold C. Rusk y Kendra B. Head, Measures of Political
Attitudes (Ann Arbor, Mich.: Survey Research Center, University of
Michigan, 1968).
John P. Robinson y Phillip R. Shaver, Measurés of Social Psycholagical
Attitudes (Arm Arbor, Mich.: Survey Research Center, University of
Michigan, 196f)).
John P. Robinson, A. Athanasiou y Kendra B. Head, Measure$ of. Occupa-
tional Attitudes and Occupational C haracteristics ( Ann Arbor, Mich.:
Survey Research Center, University of Michigan:, 1967).
Marvin E. Shaw y Jack M. Wright, Scales for tlw Measurement of Atti-
tudes (Nueva York: McGmw-Hill Book Company, 1967).
U. S. Bureau of the Budget, Erecutive Office of the President, Household
Survey Manual 1969. Trae conceptos, definiciones y preguntas utiliza-
das por_ organismos federales de estadística.

Frecuentemente, para garantizar la confi8.bilidad de su investigación,

el evaluador no encuentra medidas directamente relacionadas con los
temas que~ desea estudiar. 11 Tal vez encuentre algunas relacionadas por
inferencia y, si son fáciles de reunir, si se han usado durante mucho
tiempo o si se conocen sus distribuciones, quizá sienta la tentación de
valerse de ellas; por ejemplo, un evaluador desea saber si las madres
que participaron en un programa para educación de los padres se vuel-
ven más permisivas en la educación de sus hijos. Pensemos, por ejem-
plo, que encuentra un inventario de tolerancia, un test de personalidad
cuyas normas se han establecido con grupos semejantes al suyo y que
comprende reactivos acerca del grado de aceptación de la conducta
anómala. ¿Debería utilizar las puntuaciones obtenidas por las madres
en este test como indicador del aumento de la permisividad en la edu-
cación de niños? Las suposiciones principales que tiene que hacer son:
a) que la c..1.lidad de la "tolerancia" que mide el inventario es la ·misma
dimensión que la ret1ejada en 1a pennisividad en la educación p crianza
de niños, y b) que las respuestas escritas a las preguntas del inventario
son refleio verdadero de las conductas reales de las madres.
Por IÜ común, es más prudente atenerse al meollo del tema que se
está estudiando que confiar en una serie de suposiciones no dem?stra-
11 Hemphill sugiere que los "investigadores puros" descubran mejores medi-·
das y concephmlizaciones para uso del evaluador. John K. Hei:nphill, "Thé Rela-
tionship Between Research and Evaluation Studies'', en Educational E"Valuation:
New Roles, New Means, 68 Yearbook of the National Society for the Study of
Edttcation, Ralph W. Tyler (compilador) (Chicago: National Society for the Study
of Education, 1969), cap. IX.
52 Cap. 3 Formulación de la pregunta y medición de la respuesta

das. Encontrar medidas nuevas puede ser algo difícil y que emplee
mucho tiempo, pero las medic;Ias que no casan con el problema funda-
mental, no obstante ]a fama que tengan y lo rhuy consagradas que estén
por el tiempo, probablemente tendrán muy poca utilidad.
Idear preguntas, reactivos de tests y formas parece ser algo tan fá-
.cil, que con frecuencia es toda una sorpresa descubrir cuántas personas
no logran comprender o interpretan mal, hasta reactivos muy simples.
Antes de lanzarse a idear medidas nuevas, el investigador debería·
estar familiarizado con los principios de validez y de confiabilidad.
( Consúltese la última sección de la bibliografía, en la que se encuen-
tran varias obras sobre medición.) Se requiere de cuidadosas concep-
tualizaciones y definiciones, y las preguntas tienen que preensayarse y
revisarse (a menudo repetidas veces) hasta que se vea con claridad que
aportan la información deseada.

Medidas múltiples
Los buenos indicadores del éxito en la evaluación, al igual que las
buenas medidas de conceptos en toda la investigación social, por lo co-
l
mún presuponen múltiples medi~iones. Cada medición específica es una
aproximación al resultado que ·verdaderament~ nos interesa. Digamos,
t
1
por ejemplo, que nos interesa conocer si las buenas prácticas de con-
ducción de automóviles son resultado de un curso de educación para
choferes; Una medida puede ser el conocimiento de las reglas de trán-
sito; otra. puede ser las e,stimaciones de la habilidad para conducir que
efectúe un observador; uña tercera, los registros de violaciones al regla-
mento de tránsito. En el mejor de los casos, cada una es uria medida
parcial que abarca una fr.acci6n del concepto más general.1 2 A veces, su
conexión ·con el resultado real es problemática y tenue. Además, ·cada
medida contiene cierto número de cosas superfluas, que no vienen a1
caso, «equipaje extra" que nada tiene que ver con los resultados que se
quieren estudiar. Mediante el uso de cierto número de medidas, cada
una· de las cuales aportará una faceta diferel).te de información, pode-
mos limitar el efecto de todo lo que no viene a cuento y dibujar un cua-
dro más veraz y completo de los resultados~del programa. 13
Así, por ejemplo, las múltiples medidas podrían ser útiles para la eva.
luación de los programas educativos. Por lo común, los evaluadores han
confiado en el uso de tests formales de aprovechamiento de los alum-
nos; pero en las puntuaciones de los tests influyen muchas cosas apar-
te de la idoneidad del currículo, y éste pretende dar lugar a entendí·
12 Amitai Etzioni y Edward Lehman, "Some Dangers in ~Valid• Social Measure.
ment'', Annal8 of the American Academy of Political and Social Science, vol. 373
(septiembre, 1967), 1-!5.
13 Donald T. Campbell y Julian C. Stanley, "Experimental and Quasiexperimen-
tal Designs for Research on Teaching", en la obra Handbook of Research on Teach.
ing, N. L. Gage. com~. (Chicago: Rand McNally & Co., 1963), págs. 203·204.
 Medición: Indicadores de resultados 53

mientes y aplicaciones del conocimiento que sólo . en parte pueden ser

estimados mediante tests. Cronbach sugiere que es necesario tomar me-
didas de la conducta en el aula, de las actitudes y de las carreras subsi-
guientes de los alumnos. 14
Medidas separadas pueden combinarse para formar una medida
general del éxito del programa. Esto requiere que se tenga alguna
seguridad de que las diferentes medidas son complementarias y no re-
peticiones de la misma dimensión. Además, requiere que se tomen de-
cisiones acerca de la importancia relativa de las diferentes medidas
(¿merecen que se les dé un peso igual?), y sobre los procedimientos
estadísticos para representar Jos- valores relativos de medidas que uti-
lizan diferentes escalas (¿cómo se combinan las puntuaciones de habi-
lidad de lectura y el número de libros sacados de la biblioteca?). Tam-
bién existe la posibilidad de que un índice compuesto enmascare el
movimiento hacia arriba y hacia abajo de los diversos indicadores. Por
consiguiente, aun cuar.tdo un índice es- una útil herramienta, el evalua-
dor deberá informar de cambios, también, en cada una de las medidas
por separado.

Medidas aproximadas
A veces, los cambios reales que un programa desea producir se en-
cuentran en el futuro .remoto y no son tanto "metas" como piadosas es-
peranzas que no han sido analizadas. Un programa. de incentivos para
los gerentes pretende amnentar los atractivos que ofrece la organización
para los mismos con objeto de mejorar la eficiencia a largo plazo de la ge-
rencia; 1,:m programa educativo para niños de los b,arrios modestos de la
ciudad se propone mejorar su actuación en la escuela con objeto de
realzar su posición social y económica cuand-o lleguen a adultos. Se ne-
cesitarán años, y aun décadas, para estimar la eficacia con que el pro-
grama logró alcanzar estas metas. En el entretanto, tienen que utili-
zarse medidas aproximadas capace..s de apreciar metas más inmediatas
y presuntamente vinculadas con los resultados finales· deseados; por
ejemplo, antigüedad de los ejecutivos en sus puestos, o puntuaciones
obtenidas por los niños en las pruebas de aprovechamiento. Por des-
gracia, a menudo existen pocas pruebas de investigación de que se sos-
tienen las presuntas relaciones, por ejemplo, que la antigüedad en el
cargo está ligada con la eficacia en la gerencia o que el aprovechamien-
to escolar está relacionado directamente con los progresos económicos
y sociales de los pobres_lií Así también, el conocimiento existente no nos
sugiere siempre cuáles son las mejo.res medidas aproximadas.
H Lee J. Cronbach, "Evaluation for Course Improvement'', Teachers College
Record, LXIV, núm. 8 (1963), 672-683.
15 David K. Cohen, "Politics and Research: Evaluatíon of Social Action Pro-
grams in Education'', Review of Educational Research, XL, núm. 2 (1970), 218-219.
 54 Cap. ·3 "·Formu1ación de la pregunta y medición de la respuesta

El problema afecta no sólo a la evaluación; tiene imp01tancia capi-

¡
tal también para el diseño del programa. Los programas tienen que di-
señarse para- producir_ algunos cambios a corto plazo, puesto que se pre-
sume que son cqndici-ones necesarias para alcanzar los objetivos a largo
plazo. Como en muchos otros- aspectos, la evaluación hereda las falibili-
.' dades del programa. A menudo, lo mejor que puede hacer la evaluación,
al menos dentro de las comunes limitaciones de tiempo y a falta de un
mejor conocimiento, es aceptar los supuestos del programa y tratar de
descubrir hasta qué punto se están alcanzando las metas cercanas. Se
deja a una investigación ulterior estudiar las relaciones entre las métas
1
. a corto plazo y las consecuencias a largo plaz'o. Esta solución mediante
\ retirada, carece de grandeza heroica, pero en muchos casos constituye
\ la única manera factible de realizar el trabajo evaluativo.

Programo de
exito

Folla en lo
teorio

Falla en el No puso en
programa movimiento

Fig. 3.1. Tipos de fallas del programa.

Pero cuando las consecuencias deseadas no son tan remotas que ten-
gan mayor duración· que la evaluación, decididamente es conveniente
medir tanto los efectos a corto plazo como los resultados a plazo más
largo. Los programas pretenden poner en movimiento una serie de acon-
tecimient-os con_ los que se esperan alcanzar metas deseadas. Como ha
señalado Suchman 1 ~ si el programa no tiene éxito, la razón de e1lo
cae en una de dos categorías generales; o bien, no activó el "proceso
causal" que habría culminado de las metas deseadas (es ésta una falla
del programa); o bien, tal vez haya puesto en movimiento el presunto
"proceso causar~. pero el proceso no "causó" los efectos deseados (es
ésta una falla de la teoría) (véase la fig. 3.1).
Dicho de otra manera, la falla del programa consiste en que no se
alcanzan las próximas metas; la falla de la teoría consiste en que haber
alcanzado las metas próximas no dio lugar a los resultados finales de-
seadoS.
Cuando la investigación previa ha demostrado _cuál es el vínculo

16 Edward A. Suchman, "Evaluating Educational Programs: A Symposium",

Urban Revie-w, III, núm. 4 {1969 ), 16.
 Medición: fudicadores .de resultados 55

que existe entre las metas inmediatas 4el programa y los resultados de~
seados a largo plazo, no existe mayor necesidad de que la evaluación
esté en busca de resultados más allá de la primera etapa. Para la eva-
luación de una "clínica de fumadores", probablemente baste con des-
cubrir si el programa consiguió que quienes participaban en él dejaran
de fumar. No tiene valor esencial investigar la incidencia final del cán-
cer del pulmón, pero en campos en que el conocimiento está menos des-
arrollado es por demás deseable seguir la investigación.
Saber tan solo que no se han alcanzado los efectos que se querían
obtener no resulta instn1ctivo para la futura planeación de un p~ograma.
Poder contar con medidas a corto y a largo plazo nos ayudaría a indicar
si esto fue resultado de una falla del programa o de la teoría.U Me-
diante el examen de la asociación entre los efectos inmediatos y las con-
secuencias a largo plazo, la· evaluación puede ~ontribuir a la ejecución
y ·a la planeación del programa, así como al desarrollo de la teoría
social.

Tipos de medidas
Cu~les medidas resultan útiles para estn1ar los resultados de la in-
vestigación evaluativa· es algo que depende de las intenciones del pro- .
grama. Pueden referirse a actitudes, valores, conocimientos, conducta,
asignaciones presupuestarias, normas de servicio de organismos, produc-
tividad y muchas otrá.s cosas. Pueden tener que ver con las personas a
quienes se da servicio, con los organismos que ofrecen los. servicios o
con quienes resultan afectados por el cambio en las normas de servicios,
el barrio o la comunidad, o el público en general.
Medición de los efectos sobre las pers= a quienes se les da ser-J
vic-io. La mayoría de las evaluaciones tienden a concentrar la atenci6n 4-
en los cambios efectuados en los participantes de los programas. Co-

17 Hay· un conjunto de investigaciones sobre la inefi~acia de los programas de

orientación y terapia de grupo para delincuentes e .intemos, algunas de las cuales
tratan de encarar esta cuestión. Véase, H. J. Meyer, E. F. Borgatta y W. C. Jones,
Girls at Vocational High (Nueva York: Russell Sage Foundation, 1965); Walter B.
Miller, "The lmpact of a cTotal-Community, Delinquency Control Proyect", Social
Problems, X, núm. 2 (1962), 168~191; H. Ashley· Weeks, Youthful Offenders at
Highfield.s (Ann Arbor, Mich.: University of Michigan Press, 1958); Edwin Po-
wers y ·Helen Witmer, An Experiment in the Prevention of Delinquency: The Cam-
bridge~SomeTVille Youth Study (Nueva York: Columbia University Press, 1951);
William McCord y Joan McCord, Origins of Crime: A Neu; Evaluations of the
Cambridge-Somerville Youth Study (Nueva York, Columbia University Press, 1969);.
Gene Kassebaum, David Ward y Daniel Wilner, Prison Treatment and Parole Sur-
vivaZ: An Empirical As.sessment {Nueva York: Jolm Wiley & Sons, Inc., 1971);
William C. Berleman y Thomas W. Steinbum, "The Execution and Evaluation of
a Delinquency Prevention Program". Social Problems, XIV, núm. 4 (1967), 413-
423; Nathan Caplan, "Treabnent Intervention aiid Reciprocal Interaction Effects".
]oumal of Social I.ssues, XXIV, núm. 1 {1968), 63-88.
56 Cap. 3 Formulación de la pregunta y medición de la respuesta

múnmente utilizan medidas de actitudes, valores, variables de la per-

sonalidad, conocimientos y destrezas. Cada una de éstas puede tener
que ver directamente con las metas del programa; por ejemplo, es de
esperarse que un programa educativo vocacional imparta conocimientos
básicos, destrezas específicas, valores acerca del trabajo y algunas ac-
titudes por lo que toca al empleo. Las fuentes comunes de datos al res-
pecto son los tests, los cuestionarios y las entrevistas.
La mayoría de los programas se proponen cambiar también la con-
ducta patente. La información acerca de la_ conducta puede recabarse
mediante informes que de sí mismos ofrezcan los individuos del progra-
ma o informes que rindan personas que los conozcan (maestros, padres,
patronos). En algunos ambientes, la conducta puede observarse. Los
expedientes son otra fuente de información por lo que toca a cosas como
las calificaciones escolares, las detenciones policiacas, los salarios o los
ingresos en los hospitales.

r---,:---:--, Y esto
Condujo a Cambio a las condujo a Conseguir un
¿El e~lrenamienlo ------.... actitudes hacia el
trabajo
----+-
empleo?

Fig. 3.2. Medición del cambio conductual: hipótesis en forma de diagrama.

En el pasadO, los evaluadores pretendieron a confiar mucho en las

medidas de actitudes y de -conocimientos fáciles de obtener e hicieron
a un lado la reunión de datos conductuales más difíciles, pero la prue-
ba real .del valor de un programa, comúnmente, consiste en un cambio
de la conducta. Puesto que es dudoso que los cambios de actitud y de ~~.
conocimiento constituyan las condicioñes necesarias y suficientes para ,.
el cambio conducrual, el evaluador hará bien en adentrarse en el campo
de la conducta. 18 Tal vez tenga interés_ en investigar el grado en que 1
el cambio de actitudes v de conocimientos es una variable intercurrente;
es decir, un eslab6n co~ la variable dependiente del ca1¡1bio conductual L
(véase la fig. 3.2). .
Con mucha frecuencia, no se dispone directamente de mediciones
del resultado conductual; por ejemplo, ¿cómo ~e observa, registra y cuan-
tifica una disminuci6n de la conducta neur6tica? Los problemas de la
medición son imponep_tes; En muchos de estos casos el evaluador recu-
rre al juicio de expertos, éstos pueden asignarle un lugar al pacient~
en la escala que va desde «muy mejorado" hasta "mucho peor".
Cuando se utilizan juicios como indicadores de resultados es pre-

18 Y lo contrario, que la medici6n del cambio conductual baSto es incompleta

sin un conocimiento de las variables intrapsíquicas, lo aseveran Leonard A. Kogan
y AnU W. Shyne, "Tender-minded and TDugh-minded Approaches in Evaluation
Research", Weljare in· Review, IV, nún:t. 2 (1966), 12-17.
 Medición: Indicadores de resultados 57

ciso tomar varias precauciones. En primer lugar, suele ser conveniente

que las estimaciones no corran a cargo del personal del programa, sino
de gente de fuera. Por más objetivos que sean, los ejecutantes del pro-
grama pueden ser sospechosos de predisposición -y a veces lo son efec-
tivamente- a ver mejoramientos donde no existen, o a otorgar un valor
elevado a minúsculas y sutiles modificaciones que a otros le parecerán
triviales. Otra precaución consiste en la utilización de varios jueces,
cada uno de los cuales valorará los mismos casos,· para descubrir cuánta
consistencia ( confiabilidad) existe entre sus juicios. Si la confiabilidad
entre estimadores es baja, todo el procedimiento se hace sospechoso y
deberá revisarse. Por último, es necesario dar orientadó:ri y, tal vez
entrenamiento, a los estimadores en lo tocante a los factores que deben
tener en cuenta y a su importancia relativa. Sólo cuando estén utili-
zando el mismo patrón de medida y lo estén haciendo en. términos que
hayan sido definidos por el evaluador, sus estimaciones tendrán sen-
tido.19
A veces se utilizan las opiniones de los participantes acerca del pro-
grama como mcc}ida de "resultado", S((. les pregunta si les gustó, si les
ayudó, si lo recomendarían a otros y otras cosas semejantes. Tiene algún
valor averiguar si el programa present6 atractivos para su auditorio. En
el caso extremo, si resulta totalmente rechazado, nadie se presentará;
pero no cabe duda de que a las personas les puede gustar o disgustar
un ·programa por razones que nada tienen que ver con sus metas. Qu.izá
se hayan formado expectativas confusas o desorientadas acerca de lo
que el programa pretende realizar y, por consiguiente, estimen su inte-
rés y su utilidad en términos que no vienen al caso. A menos que sea
meta concreta del programa, ofrecer servicios esperados a los partici-
pantes o intere.Sarlos en ellos, el modelo de "concurso de popularidad"
para la cvaluaci6n resulta tristemente incompleto. 20
Medici6n de los efectos sobre la.. organizaciones. Algunos progra-
mas se proponen producir cambios ya no en las personas, sino en las
19 Véase Robert B. Mc!ntyre y Calvin C. Nelson, "Empirical Evaluation of
Instructional Materials", Educational Technology, IX, núm. 2 (1969), 24-27. Re-
comiendan que los juicios de expertos sohre materiales de instrucción se comple-
menten con evaluacipnes de campo de los efectos y los materiales en situaciones
reales. Un uso interesante de la opinión de eXp:!rtos en un campo donde es difícil
obtener datos conductuales es el de la auditoría médica en materia de comporta-
miento profesional; véase Mildred Mo~ehead, ''The Medica! Audit as an Üperational
Tool", American Journal of PubUc Health, LVII, núm. 9 (1967), 1643-1656.
20 Los estudios de programas de educación compensatoria han hecho un "des-
cubrimiento universal'': independientemente del tipo del programa, de su duración
o de los resultados reales los padres se muestran entusiasmados. Edward L. McDill,
Mary S. McDill y J. Timothy Sprehe, Strategies for Success in Comperwatory Edu-
cation: An Appraisal of Evaluation Research (Baltimore}, Md.: The Jobns Hopkins
Press, 1969), págs. 43-44. Véase también DonaÍd T. Campbell, "Reforms as Experi-
ments", American Psychologist, XXIV, núm. 4 (1969) sobre el "testimonio de agra-
decilniento'', pág. 426.
 ~--
58 Cap. 3 Formulación de la pregunta y medición de la respuesta

instituciones. Tal vez traten de conseguir que la') burocracias locales

reaccionen mejor a las necesidades de los residentes, de cambiar el tipo
de clientela a la que se presta servicios o la composición de las juntas de
gobierno, o de ampliar el concepto que de su propia misión tiene una
organización. En tal caso, los indicadores del resultado del programa
serán mediciones de las características institucionales. Algunas de éstas
podrán irse estableci~ndo a partir de los datos que se tengan acerca de
los individuos de la organización (por ejemplo, porcentaje de los que
mantienen contacto diario con los residentes locales), y .alguna') pue~en
ser medidas globales de la institución (por ejemplo, presupuesto total,
proporción del pxesupuesto consagrada a una actividad en particular,
horario de trabaJo de los servicios). La obra Organizational Measure·
ment~ de Allen H. Barton;21 es una guía útil para tomar medidas sobre
las instituciones.
En algunos campos, como los de la educa:ción y la salud pública, se
han usadO por tradición reactivos de una "lista de cotejo", compuesta
por expertos para que sirvan de "normas de servicio',, a manera de me-
didas de criterio para la evaluación. Por lo general, no son medidas del
~esultado, sino emmciados de lo que se suele considerar como ~'buena
práctica'" (proporción maestro-alumno, idoneidad del equipo). Tales
medidas han sido útiles para llevar un control de las actividades del
organismo, para las actividades de acreditación y para orientar· al per-
sonal y al público en lo que respecta a los criterios de servicio, pero no
son las medidas de que se ocupa de manera primordial la investigación
de evaluación, puesto que se. relacionan con los insumas del programa
más qUe con los resultados. Como veremos en la siguiente sección, estas
clases de medidas pueden resultar útiles como variables intercurrentes,
como índices de determinados rasgos del programa que presuntamente
habrán de ejercer una influencia beneficiosa en los resultados, para me·
diar entre el programa y sus efectos. La evaluación ofrece la oportu-
nidad de apreciar si los componentes de un programa que supuesta-
mente constituyen una "buena práctica" están en efecto relacionados
con los resultados exitosos.
Medición de los efectos sobre sistemas más amplios. A veces hay
programas cuy~s metas consisten en efectuar cambios en toda una red

Í
--{> de organismos (aumento de la comunicación y de los traslados entre
todos los .organismos que se dediquen a problemas de los jóvenes en
/ una comunidad) o cambiar una comunidad o incluso todo un sistem:.1
i., nacional de servicios. (educación, salud mental, entrenamiento para el

l
trabajo). En tales casos, es preciso idear mediciones novedosas. Los da-
tos podrán provenir de entrevistas con dirigentes; de observaciones den·
tro de los departamentos o en las reuniones;_ de estadísticas sobre clien-
tela, presupuestos o viviendas construidas; de registros llevados por el

21 Princeton, N. J.: College Entrance. Examination Board, 1961.

 ~··

personal; de análisis de documentos o de informaciones periodísticas;

de encuestas entre el público; y así sucesivamente. No se ha hecho mu-
cha evaluación a este "macro" nivel, pero son muy interesantes las po-
sibilidades que ofrece.
Medición de los efectos sobre el público. Si nn programa trata de
cambiar los valores o las actitudes públicas, el indicador de resultado
más propio es, evidentemente, el de las opiniones del público. Elaine y
John Cumming, por ejemplo, administraron _cuestionarios y . realizaron
entrevistas con objeto de determinar los efectos de uD. programa edu-
cativo de Ja comunidad que tenía como finalidad cambiar la opinión
de la gente acerca de la enfermedad mental. 22

ESPECIFICACióN DEL PROGRAMA

Tan importante como conceptualizar los resultados deseados cons-

tituye conceptualizar la naturaleza del progr~ma. ¿En qué consiste este
programa que está estudiando el evaluador, esta amalgama de sueños
y personalidades, oficinas y teorías, sujetapapeles y estructura de .la or-
ganizaci6n, clientes y actividades, presupuesto y fotocopias y excelentes
intenciones?
Los programas sociales son empresas complejas. Los evaluadoreS de
aquéllos contemplan con algo de celos a los que hacen evaluaciones
para la agriculpna, acerca de una nueva variedad de trigo, o a los eva-
luadores que trabajan en el campo de la medicina y tienen que estimar
los efectos de un medicamento. Estas son cosas físicas que se pueden
ver, tocar y -sobre todo- reproducir. El mismo estímulo puede provo-
j carse una y otra vez y' otros investigadores pueden estudiar sus conse-
cuencias, en las mismas o en distintas circunstancias, Con los- mismos y
·diferentes equipos, pero con alguna seguridad de que están examinandO
1
los efectos de la misma cosa.
Los programas sociales no son ni remotamente tan específicos. Abar-
can toda una gama de componentes, estilos, personas y procedimientos.
Resulta difícil describir qué es realmente "el programa". En algunos
casos, un programa puede expresarse en términos que parezcan ser cla-
ros y repetibles; por ejemplo, un nuevo programa de mateináticas, un
cambio en los límites de velocidad en carretera, una disminuci6n en el
número de casos asignados a un funcionario encargado de vigilar a los
que están en libertad condicional; pero el contenido del programa, qué
es lo que realmente está ocurriendo, es mucho más difícil de describir.
A menudo se observan n-otables variaciones internas en las operaciones
22 Elaine Cumming y John Cumming, Closed Ranks: Study of Mental Health
Education (Cambridge, Mass.:. Harvard University Press, 1957). El progrl_lma de
seis meses no produjo virtualmente cambio en las .actitudes de la poblaCión respecto
de la enfe1medad mental o del enfermo mental.
 60 Cap. 3 Fonnu1ación de la pregunta y medición de la respuesta

dfa tras dfa y según los diversos miembros del personal. Cuando se pone
uno a considerar un programa tap. amplio y amorfo como el de lucha
contra la pobreza, o el de las ciudades modelo, se necesita hacer gran
esfuerzo sólo para describir y analizar los insumas del programa.
¿Por qné deberla ocuparse el evaluador de los insumes del progra-
. ma? ¿No hemos dicho anteriormente que su tarea consiste en descu~
brir si el programa (cualquiera que sea) está alcanzando sus metas?
¿Cambia de alguna manera su trabajo el hecho de que el programa esté
utilizando el aprendizaje de memoria, el psicoanálisis o la magia negra?
Hay evaluadores que ven con simpatía tal modo de considerar las cosas.
Para ellos, el programa es una "caja negra" cuyos contenidos no les in~
teresan; lo que deben hacer es descubrir sus efectos; pero si el evalua-
dor no tiene idea de lo que es realmente el programa, tal vez no logre
forrnular las preguntas convenientes. Quizá porque crea en todo lo que
dice la inflada propaganda del programa espere resultados capaces de
mover montañas de lo que realmente son minúsculos esfuerzos. Más
probablemente, se pondrá a buscar un orden de efectos qu_e no viene
al caso. Tratará de establecer si se han alcanzado los tipos de metas que
se han expresado verbalmente, siendo que los principales recursos del
programa en acción se han ínyertido en cosas distintas. (¿Si se tuvo
como objetivo enseñar a los negros y se terminó dirigiendo la atención:
sobre los blancos, habrá sido éste un curso de diferente- color?).
Además, a menos que exista algUna definición riledíanamente pre-
cisa y coherente del programa, el evaluador ·no sabrá a qué ambuir los
resultados que observa. 23 Recordemos que la evaluación tiene como ob-
jeto ayudar a tornar decisiones. Los encargados de tomarlas tienen que
saber qu~ fue lo que dio resultados y qué es lo que no sirvió para nada,
qué es lo que debería adoptarse en todo el sistema o, de lo contrario,
modificarse. A menos que la evaluación pueda presentar pruebas de la
naturaleza del programa tal como existió (y no sólo del programa se-
gún lo describieron sus ejecutantes), no habrá mucho en que basar una
decisión. 24 En el caso extremo, cuando un programa es un éxito treme~
hundo y cuarenta comunidades desean adoptarlo imnediatamente, ¿qué
es lo que les diremos que adopten?
El evaluador tiene que descubrir la realidad del programa y dejar
a un lado ·su ilusión. Si acepta la descripción ofrecida en la solicitud

2S Aun si se describé y define claramente el programa, el evaluador quizá no

pueda hacer enunciados precisos de causalidad, pero al menos sabrá dónde buscar
efectos para empezar bien.
24 Coleman sugiere que a menudo hay diferencia entre entradas o insumas
ofrecidos y entradas o insumas recibidos. La pérdida de iusumos entre ·su desem-
bolso por las autoriades y su recepción por los alumnos, tal vez sea una variable
educativa para analizar-la eficiencia de los programas educativos. James S. Coleman
en "Evaluating Educational Programs: A Symposium", Urban Review, III, mím. 4
( 1969 ), 6-8,
 ~ ::- .

Especificación del programa 61

de dinero o en las afirmaciones de publicidad, tal vez se ponga a eva-

luar un fantasma. Se pondrá a atribuir efectos o .( ..ningunos efectos") a
un programa que jamás se realizó en lo más mínimo o que se efectuó
a un nivel tan bajo de competencia o de manera tan distinta, que mal
merecerá que se le dé el nombre de programa; por ejemplo, los pro- .
fesores que supuestamente están utilizando .materiales del nuevo plan
de estudios, quizá no los hayan recibido o tal vez no estén cumpliendo
con las recomendaciones para su usO. ·un programa recreativo para ni-
ños de primaria probablement~ no trabaje los fines de semana, que es
cuando los niños disponen de tiempo; tal vez intenl.lmpa sus labores
erráticam~nte, de manera que los niños pierdan interés en asistir; o qui-
zá ofrezca actividades que no logren atraer participantes. No será muy
necesado, que digamos, ponerse a reunir datos acerca de los "efectos"
de estos programas, puestó que la entrada será poca o ninguna. De ma-
nera semejante, Hyman y Wright citan el ejemplo de un programa de
salud rural en Egipto. Los investigadores que se pusieron a averiguar
la cuestión del personal del programa descubrieron que la mayoría de
los centros de salud carecían de personal de categorías esenciales y que
aun las personas que habían sido empleadas dedicaban muy pocas ho-
ras de trabajo a los centros. De tal modo, mal podrían proporcionar la
clase y la cantidad de S?J·_vicios que se quería ofrecer. 25
Se requiere recopilar información sistemática y obsérvaciones metó-
dicas, o alguna de estas dos cosas para descubrir qué es lo que está
ocurriendo realmente. Si el estímulo del programa se comprende bien
y resulta coherente, unas cuantas medidas bastas serán suficientes. Las
placas de rayos X ele una campaña antituberculosa son de rayos X y
probablemente bastará con saber dónde y a quién se ofrecen; perci si el
programa es vago, o novedoso, o se va desarrollando mientras realiza
sus actividades, el evaluador tal vez necesite describir lo que está ocu-
rriendo. Un centro de salud mental de la comunidad viene ofreciendo
servicios de ..orientación en materia de salud mental" a los clientes
pero ... ¿qué significa esto exactamente? Quizá haya que hacer algu-
nas averiguaciones para descubrir si esto significa remitir algunas per-
sonas a los servicios de psiquiatría, impartir alguna clase de psicotera-
pia, dar sermones moralizadores, remitir al cliente a una agencia de
empleos o a alguna otra de entre muchísimas cosas más. Tienen que
establecerse procedimientos para enterarse de la ejecución del programa.
Pueden ser tan sencillos como una charla con el director, una revisión
de los expedientes del personal o la asistencia a reuniones del mismo, o
puede requerir entrevistas con el personal o incluso la observación fre-
cuente del programa mientras se está realizando. Si se cuenta con ade-

25 Herbert H. Hyman y Charles Wright, "Evaluating Social Action Programs",

en The Uses of Sociology, P. F. Lazarsfeld, W. H. Sewell y H. L. Wilensky (dirs.)
(Nueva York: Basic Books, Inc., Publishers, 1967), pág. 745.
 f
~--

62. D¡.;·:--3 Formulación de la pregunta y medición de la respuesta

cuados procedimientos para el muestreo, se puede llegar a caracteri-

zar incluso a programas que se extienden muchísimo en el espacio y en
el tiempo,
En la mayoría de los casos, una~ cuantas categorías descriptivas, que
vengan al caso, bastan para captar la esencia del programa. Efitre éstas
podrían figurar el tipo de servicio ofrecido, su énfasis conceptual, la
clase de personal, el marco en que se desenvuelve· y la organización
que lo auspicia. Si el programa es sobradamente complejo o difiere de
manera notable de las pautas esperadas, se necesitarán más detalles.
Hyman y Wright nos advierten que no se debe emplear demasiado tiem-
po en hacer una descripción excesivamente prolija del programa; des-
pués de realizar una investigación inicial para ver si el programa se está
llevando realmente a cabo y una c~nceptualización fundamental, su-
gieren que el evaluador se ponga a la tarea de estudiar los, resultados. 26
Pero las cirunstancias no son siempre las mismas. La excesiva proliji-
dad de un programa es en otro sfmple aclaración.· Evidentemente, se
requiere de una mayor precisión cuando varían los insumas del pro-
grama. Algunos clientes reciberi un tipo de servicio en tanto que otros
obtienen algo distinto. En tales circunstancias, es preciso prestar mayor
atención a las variables del programa (por definición, son variables las
cosas que varían).

MEDICióN: VARIABLES DE INSUMO Y

VARIABLES INTERCURRENTES

No todo el mundo recibe las mismas experiencias en un programa.

Así como hay variables de resultado, hay variables de programa. Algu-
nos participantes en un programa de terapia de grupo asisten a toda..
las sesiones; otros asisten de manera irregular; unos reciben los servicios
de terapeutas experimentados; otros de novicios, relativamente hablan-
do. Hay grupos de igual sexo y grupos de los dns sexos, grupos en el
hospital y grupos en la comunidad, grupos de orientación psicoanalítica
y grupos de otras escuelas.
Por dos razones es importante fijarse en las variaciones del progra-
ma: a) Aclaran el significado "del programa"; aportan los detalles de
lo que ha esbozado la descripción del programa general; muestran la
gama de elementos que abarca el programa. b) Hacen aportaciones
para el análisis que se propone establecer; cuáles rasgos del programa
dan buenos resultados y cuáles no. Resulta posible observar los efectos
de los componentes del programa y ver si algunos están ligados a resul-
26 I-Iyman y Wright, obra citada, págs. 755-756. Advierten también contra el
estudio de la influencia. de variables del programa que la organización no puede
modificar. La tarea del evaluador consiste en descubrir los efectos de componentes
que son manipulables.
~.
J---
Medición: Varia~les de insumo y variables intercurreni~~~: titl

tados mejores que otros. Si las personas -que reciben .una clase de ser-
vicio se desempeñan mejor que las que no lo reciben, entonces n9s he-
mos enterado de algo acerca de la eficacia relativa de las diferentes
estrategias y descubrimos una clave acerca de por qué el programa está
funcionando bien. Si unas clases de personas se benefician, en tanto que
ptras no, entonces tenemos nuevas nociones acerca del proceso de cam-
bio. El análisis de las variables del programa comienza a explicamos
por qué produce los efecto~ que ocasiona. Cuando sa~emos cuáles son
los aspectos del programa asociados a un éxito mayor o menor, conta-
mos con algo en qué fundar recomendaciones para modificaciones fu-
turas.

Varia~les de insumo

Así pues, resulta importante definir y cuantificar las variables de

entrada. Tal vez tengan que ver con variaciones en:

1) finalidades;
2) princh?ios;
3) mÉt'1dos;
4) p-ersonal;
5) personas servidfls;
6) clU:radón del servicio;
7) lugar;
8) tamaño del programa;
9) auspicios;
1O) administración.

Si se considera a los participantes del programa como "metidos" en

el programa, las características de estos participantes también pueden
clasificarse como variables de insumes. Entre las medidas de los parti-
cipantes pueden figurar:

1) edad;
2) sexo;
3) status socioeconómico;
4) raza;
5) tiempo de residencia en la comunidad;
6) actitudes respecto del programa (o respecto de la salud, de los empleos,
el matrimonio, de las películas, del ocio o de cualquier otra cosa que
venga al caso) ;
7) motivaciones para la participación;
8) aspiraciones;
9) expectativas respecto del programa;
10) actitudes de otros miembros de la familia con relación al programa
(respecto de la salud, los empleos, el matrimonio y así sucesivamente);
64 Cap. 3 Formulación de la pregunta y medición de la respuesta

11) grado de apoyo ofrecido por la familia (amigos, compañeros de trabaJo,

supervisores y así sucesivamente) para los fines que se persiguen en
el programa. ·

Algunas de estas son características a las que no puede afectar el

programa (edad, sexo), pero otras pueden cambiar a medida que se
vaya realizando (aspiraciones, apoyo de los compañeros). Tal vez sea
importante contar con datos acerca de ambas clases de características
para ayudarnos a definir a quién o a quiénes el programa ayuda o deja
de ayudar,
A medida que se efectúan evaluaCiones de alcances más amplios y
se estudian programas nacionales e internacionales, se va volviendo cada
v:ez más importante medir las variaciones entre las diversas unidades;
es decir, medir variables de insumas. en cada prOgrama de incentivo
para el trabajo, de ocupación concentrada, de los cuerpos dé paz (en
los EstadQs Unidos), para mencionar sólo unos cuantos. únicamente,
entonces, será posible pasar de aprobaciones generales («sí funciona")
o de rechazos globales ("no funciona") hacia la especificación de que
funciona o deja de funcionar en tales ..o cuales circunstancias.
-Será oportuno hacer una advertenci:i:- Son muchas las variables cuyo
estudio resulta interesante, Podríamos segufr y hablar de muchas otras;
pero la mayoría de las evaluaciones cuentan con fondos limitados, y es
mucho más productivo concenb"ar ]a atención en unas cuantas variables
que vengan al caso, que lanzarse a expediciones de pesca de gran arras-
tre.27 Idealmente, la determinación de cuáles variables de insumo debe-
rán estudiarse debería basarse en la investigación previa, pero a menudo
se carece de pruebas claras. Después de considerar la gama de val"iables
posibles, el evaluador, por lo común, tiene que fundar su selección en
datos incompletos, en la ..experiencia" acumulada de los practicantes o
en la aplicación de la teoría. Hasta que la investigación no proporcione
una investigación mejor, éstas deberán considerarse como fuentes no
despreciables de hipótesis pausibles. Como norma será más útil, ,para
los fines de la toma de decisiones, estudiar los factores que el programa
puede cambiar ("variables manipulables"), como la del tipo de servicio
ofrecido, que concentrar la atención en atributos fijos sobre los cuales
el programa tiene poco conh·ol.

Variables intercurrentes
Durante los trabajos de medición puede presentarse otra fase más:
la de la especificación y medición de las condiciones entre los insumes
ael programa y los resultados." La razón mediante la cual se ha de
27 Véase Samuel A. Stouffer, "Sorne Observations on Shldy Design", American
]ournal of Sodology, LV, núm. 4 (1950), 355-361.
2 8 Véase Stake,. obra citada, donde se encuentra una conceptualización algo
 Mt!dición: Variables de insumo y \'ariables intercurrentes 65

prestar atención sistemática a estos factores intermediOs es la de que

se cree que habrán de afectar a los resultados. Si se dan algunas con-
diciones, los resultados mejorarán; si estas condiciones no se hallan pre-
s"entes se reduce la probabilidad de obtener resultados positivos.
Variables de e¡ecuci6n del prog1·ama. Hay dos clases de variables
intercurrentes. Una de ellas tiene que ver con la realización efectiva del
programa, o sea, con la manera cómo- se esté ejecutando. Así, por ejem-
plo, alguno's de los participantes en un programa de salud mental tal
vez recibirán los servicios de un solo terapeuta a todo lo largo del pro-
grama, ·mientras que otros (por_ cat1sa de los cambios de personal, de
las mOdificaciones en las tareas asignadas) serán atendidos por una su-
cesión de diferentes terapeutas. "La continuidad del terapeuta" es una
variable en la ejecución de un programa que puede influir en el éxito
final del tratamiento. ·
Otros ejemplos de variables de la ejecución efectiva de un programa
son: frecuencia de la cxr:osición (¿los narticipantes que asisten al 80%
o más de las sesiones del programa, se desenvuelven mejor que quienes
muestran grandes irregularidades en su asistencia?), el grado de acepta'-
ci6n por el grupo de compañeros (¿los miembros del grupo, que gozan
de muchas simpatías, muestran mejor ejecución, que quienes poseen
un status margin~l Ein el grupo?), grado de coordinación en los servi-
cios (¿los pacientes, que reciben todos los servicios médicos en un solo
centro de salud, mej-oran más que los que andan de la ceca a la meca
para recibir diferentes servicios médicos?). Mann presenta una lista de
variables que pueden afectar los resultados de los prográmas de cambio
de conducta, entre las que figura el grado de oportunidad para prac-
ticar nu~vas pautas de Conducta, el grado de tensión y la cantidad de
participación del participante y del practicante. 20 Muchos factores como
éste pueden tener consecuencias en lo que resl?ecta al grado en que un
programa beneficia a quienes participan en é}.3°
\) Variables "puente". La otra clase de variables intercurrentes tiene
que ver con qUe se alcancen metas intermedias. La teoría del programa
postula una serie sucesiva de acontec:imientos que van desde la inicia-·

diferente. Habla de antecedentes, transacciones y resultados. Sus "transacciones"

tienen mucho en común con lo que llamamos variables intercurrente.s del programa.
20 John Mann, "The Outcome of Evaluative Rcsearch", en ·la obra Chang-ing
Htt17Wn Beha-vior {Nueva York: Charles Scribner's Sons, 1965). págs. 191-214.
30 Katz, por ejemplo, habla de la importancia de las variables del programa en
la actuación intelectual de los negros en las escuelas integradas; por ejemplo,' del
rechazo social y el aislamiento, el miedo a la competencia y la aprecía"ci6n de am'2 4

nazas. Irwin Kat:z, "Review of Evidence Relating to Effects of Desegregation on the

IntellectualPerformance of Negroes", American Psychologist, XIX, núm. 6 {1964),
381-399. Ell términos más generales, M. C. Wittrock dice que es importante medir
el ambiente en que tiene lugar el aprendizaje y los procesos intelectuales y sociales
de los alumnos, asi como su aprovechamiento rea! en materia de aprendizaje; "The
Evaluation of lnstruction", Evaltw.tion Comment, I, núm. 4 ( 1969), 1-7.
66 Formulación de la pregunta y medición de la respuesta

ción hasta el resultado; para llegar al fm deseado, es preciso llegar pri-

:mero a unas submetas. En un programa de rehabilitaci6n de presos, se
supone que el aprendizaje de un oficio calificado reducirá la probabili-
dad de que un hombre recurra al crimen cuando quede en libertad. Por
consiguiente, podemos medir el grado en que los presos han llegado a
dominar el oficio calificado que se les está enseñando en el programa
(como variable puente) y luego relacionar el nivel de destreza adqui-
rida con la medida del resultado, la no comisión de delito.31 Otras va-
riables puente podrían medirse también, como la longitud del tiempo
transcurrido entre la excarcelación y el conseguir un trabajo, los salarios
obtenidos en el empleo, etc., ·ya que reflejan supuestos subyacentes del
programa. A veces se establece como hipótesis que ciertas variaciones
en las actitudes o conocimientos de los participantes son condiciones
preví~ necesarias para el cambio de conducta. Entonces, las medicio-
nes del cambio de actitud o de conocimientos se interpretan como va~
riables puente.32
En pocas palabras, las variables l?uente presuntamente vinculan los
acontecimientos del programa con los efectos deseados y representan
la teoría que fundamenta el programa. Por otra parte, pueden postu-
larse variables de realización efectiva del programa (o se las puede
descubrir) comO condiciones necesarias para que la teoría se cumpla
en la realidad. Las dos clases de variables intercurrentes tienen diferen-
tes concomitancias por lo que resl?ecta a la planeaci6n de urograma·s
fu-turos. La variable puente nos ofrece información acerca de la relación
entre los subojetivos y las metas finales. Comprueba la viabilidad de la
teorÍa y advierte a los planificadores de las modificaciones que hay que
hacer·en los supuestos, o de la necesidad! de postular otrasi teorías; por
ejemplo, podría ser que el programa se esforzase por alcanzar objetivos

31 Freeman y Sherwood, obra citada, ofrecen otros dos ejemplos: establecieron

la hipótesis de que el mejoramiento de la lectura era una variable intermedia por
lo que respecta a la reducción de desertores escolares (pág. 19), y que la mengua
de los sentimientos de alienación y anomia era un caso fundamental par:a la reduc.
ci6n de la conducta delictuosa (pág. 15). De manera semejante, para la evalUación
del entrenamiento dentro del servicio sugerí un anális'is en tres partes: ¿aprenden
los entrenados el contenido del entrenamiento? Entonces, ¿ponen en- práctica lo
que han aprendido? ¿Los entrenados que practican lo que han aprendido tienen
más éxito en el trabajo? Carol H. Weiss, "Evaluation of In-service Training", en
la obra Targets for ln·seroice Training (Washington, D. C.: Joint Commission on
Correctional Manpower and Training, octubre de 1967), págs. 47-54. El grado en
que las metas inmediatas e intennedias pueden divorciarse de las metas finales se
t.'Omenta en Edward A. Suchman, "A Model for Research and Evaluation on Reha-
bilitation", en la obra Sociology and Rehabilitation, Marvin B. Sussman ( dír.)
(Washington, D. C.: American Sociological Association, 1965), págs. 66-61.
32 Una discusión análoga en términos de "subobjetivos" se encuentra en un in~
forme sobre un programa de servicio de salud, en O. L. Deniston, I. M. Rosenstock
y V. A. Getting, "Evaluation of Program Effectiveness", Public Bealth Report,
LXXXIII, miro. 4 U968), 328-330.
 Medición: Variables de insumo y variables intercurrentes 67

intermedios diferentes, que serían eslabones más efectivos para llegar a

los resultados finales. Por otra parte, esta clase· de variables contribuye
a que podamos comprender cómo cumple sus efectos el programa, cuá-
les son las _condiciones para su operación efectiva. El análisis despierta
la sensibilidad de los planificadóres respecto de los rasgos que deberían
incorporarse en un programa a fin de poder operar con éxito.
Fuentes de variables interctlrrentes. Por lo común, las variables in-
tercurrentes se desprenden de los supuestos teóricos .del programa. Casi
siempre prevalecen algunas nociones, por poco ·explícitas que sean, de
que algunas acciones o condiciones intermediarias hab~án de traer con-
sigo los resultados apetecidos. Tamhién pueden irse descubriendo empí-
ricamente las variables intercurrentes en el transcurso del análisis. Aun-
que tal vez no hayamos tenido al principio la capacidad de sospechar
que venían al caso, más tarde podemos formular las l?~eguntas de los
datos y mediante un análisis adecUado descubrir si en los resultados in-
fluyen cosas como el tamaño del grupo, el costo del programa por alum-
nos, la frecuencia de- cambio de personal y así sucesivamente. Lo único
que se necesita es contar con los datos para analizarlos, lo cual significa
que el evaluador necesita bastante sagacidad o suerte.
Uso de un modelo. ¿C6mo decidimos cuáles son las variables que
necesitan ser medidas? Una manera de hacerlo consiste en construir un
modelo de los procesos que se considera _que se realizarán en el progra-
ma. Trataremos de de~cubrir los medios y los pasos a través de los cua-
les se pretende que funcione el programa; por ejemplo, se da comienzo
a un programa de visitas a los hogares por parte de los maestros con el
único fin de mejorar el aprovechamiento en lectura de los niños. ¿De
qué manera se cree que las visitas a los hogares mejorará!l la actuación
de los alumnos? Como hipótesis, podemos establecer la serie sucesiva de
ac:ontecimientos que aparece en la figura 3.3.
El modelo indica las clases de efectos que deberían investigarse. Una \
vez que se encuentran maneras de medir cada conjunto de acontecimien-
tos y que se efectúan las mediciones, resulta posible ver qué es lo que
ocurre, qué es lo que furiciona y qué es lo que no funciona, para quién
tiene buenos resultados y para quién no.33 En nuestro programa- de vi-

3 3 Como sugiere la- semejanza entre la figura 3.3 y un diagrama de ruta, el

análisis de ruta es una manera útil de estimar la fuerza de los eslabonamientos.
Cuando se satisfacen las condiciones necesarias para el análisis de ruta, los coefi-
cientes de· ruta representarán la magnitud del efecto correspondiente a cada flecha.
Véase Hubert M. Blalock, Jr., Theory Construction (Englewood Cliffs, N.}.: Pren-
tice-Hall, Inc. 1969 ). ·
Sería útil postular algunas cadenas negativas, también, y a través del análisis·
de ruta descubrir el grado en que están ocurriendo efectos laterales negativos.
Otro recurso analítico, útil sobre todo cuando un paso de la cadena está condi-
cionado totalmente y en gran parte por el anterior, es el Detector de Interacción
Automática. A diferencia del análisis de ruta, este análisis ..ramificado" nos muestra
si ~1 programa está produciendo efectos fuertes por lo que respecta a submuestras
8l
Visites de los maestros a hogares .de los alumnos

~ Opi~
tpo< pod<e>r mee>l<e>.--------------.

Comprensión por porte Conocimiento que Jienen Señalamiento "de los

del maestro, de la los padres de lo que
problemas especiales que retardan
culiuro dél hogar la escuela espera de los ~ el aprovechamiento de Jos niños
alumnos
(de salud, emolivos, etc.)

~
Simpotio del maeSira
t
Apoyo y estimulo de los padres
t
por los niños por parte del niño, Apoyo de los podres Remisión o quienes pueden
y su manera de poto el cumplimiento, paro mejorar la ayudarlo en la escuela o
entender al mundo de las toreas en el \ e>i>lencie e {e e>coele loem de le mi>m¡
} hogar y en la escuela
t
Enseñanza de manero
cómoda y comprensible Trabajo cOncienzudo Asistencia de los alumnos Recepción de .
para !Os alumnos de porte de Jos alumnos ~ ayudo especial
. ~de pa<le del oiño

'"'"'-'"" }. '"' "'"""~ j '~emoli,o)

. · Mejo<emieoto d.f
estado (de salud,

Aprovecharñiento en lectura

Fig. 3.3. ~1 modelo de. un programa hipotético.

'"•-..,-,·'-:....,.,...~~~,...,..~~....,...,.-~.=<">"'·':'!
 Medición: Variable! de insum(i y variables intercunentes 69

sitas a los hogares, podría resultar que los maestros mostrasen, en ver-
dad, una mayor comprensión de la cultura de los-hogares de los alum-
nos, que sintiesen mayor simpatía por los niños, no obstante lo cual
siguiesen enseñando a la vieja manera tradicional, sin hacer ningún es-
fuerzo por adaptar la enseñanza a la subcultura de los alumnos. Si no
mejora la lectura de los niños, contamos con alguna clave que nos per-
mita comprender el porqué. Podiemos señalar en qué parte se rompi6
la cadena proyectada. De manera semejante, si algunos padres se e_nte-
ran de las expectativaS de conducta y ejecución que para los niños es-
tablece la escuela y entonces tratan de alentarlos. para que trabajen me-
jor ta:nto en la escuela como en el hogar y, sin· embargo, el trabajo de
suS niños no es mejor que el de otros, habremos· descubierto un lugar
en el .cual buscar nuevos conocimientos acerca de la ruptura de la es-
perada cadena de acontecimientos. 34 ·

Una de ]as ventajas colaterales que tiene el establecer 1as pautas de

cambio que Se espera alcanzar es la de que se sensibiliza al evaluador
para los cambios en la estrategia del programa que hacen· que pierda
sentido su diseño de evalua --:ión. Supóngase que el programa de visitas
al hogar ha trooezado con dificultades en su operaci6n y que para su-
perarlas, sus administradores han cambiado de curso. Han descubierto
'que los padres desean hablar realmente de cosas que no son la cultura
del hogar y las expectativas de la escuela. A fin de conservar el interés
y la cooperación ele los nadres, han cambiado su hincapié y ahora se
dedican s0bre todo a satisfacer las peticiones de información de los T'::t-
dres (acerca rle la vivienda, de los. servicios médicos,· etc.). El modelo
de proceso orie;inal es obsoleto y tiene gue modificarse para reflejar las
nuevas condi-::iones. Se establecen como hipótesis algunos· Procesos nue~
vos y se descartan algunos -de los viejos: se añaden nuevos renglones y
nuevas directrices, en tanto que otras viejas se abandonan. El modelo se
adapta a las realidades del momento y las mediciones y los análisis se
ajustan al nuevo curse.. El ~vnluador, gue e~tá preparado a tiempo para

dP] grnpo. Esta cuesti6n tiene interés teórico y programático, po•nn~ si hay efectos
diferenciales, pueden hlearse pro'!ramas especiales p:ua grup'"~.~ Psp~ciales. John A.
Sonquist y .lames N. Margan. The Detection of-Interaction Effects: A Report on a
Computer Pmf!.ram -for the Selection of Optimal Combinations of Explanatory Varia-
blr:s (Ann Arhor, Mich.: University of Michi<tan Institute for Social Research. mo-
nografía núm. ·.'35, 1964).: John A- Sonquist, Multivariate Model Building: The Va~
lidation of a Search Strategy (Ann Arbor, Mich.: University of Michigan Institute
for Social" Research, 1970).
3-1 Una analogía interesante con el razonamiento en que se funda 1~ concepci6n
de modelos de procesos de programa es la que ofrf'ce Myron Tribus. "Physical View
of.Cloud Seedin¡;;", Science, CUGII, núm. 3928 {1970). 201-210. En el complicado
negocio de- producir lluvia "sembrando" nubes, sugiere .que en vez de valerse de
m..-diciones estadísticas de la precipitación fluvial para investigar el éxito, los in-
vestigadores traten de comprender y medir la cadena de acontecimientos físicos
que vienen después del sembrado de nubes- y que dan o no lttgar a lluvia.
 70 Cap~--~~: Fonnulación de la p1·egunta y medición de la respuesta

enfrentarse a los cambios en la ejecución y en los supuestos del pro-

grama mantiene la suficiente flexibilidad en su eshldio para que no
pierda su sentido.
La simple construción de tal modelo puede ser un útil ejercicio para
los constructores del programa. Se explicitan algunos de los supuestos
- implícitos en el programa y se someten a exame~ expectativas ingenuas
y simplistas. Así, por ejemplo, ¿los constructores del programa creen
que a padres que carecen de los valores, de la experiencia previa o de
las destrezas necesarias para ayudar a los niños en sus estudios será po-
sible convenoerlos de que lo hagan con sólo una o dos visitas del maes-
tro? Es indudable que de muchas más cosas se debe dotar a un programa
que conciba esperanzas- tan grandes; entre otras cosas, de entrenamien-
to para los maestros, y de refor:iamientos, recompensas y, tal vez, en-
trenamiento especial para los padres. El modelo de evaluación puede
ser una herramienta de aprendizaje desde mucho antes de gue erripiece
la evaluación, si la gente dedicada al programa decide emplearlo como tal.
Un m-odelo no es la única forma de realizar la tarea de delinear cuá-
les son las medidas necesarias, pero sí es una forma de aclarar y siste-
matizar los factores qU:e vale la pena examinar. Supóngase que después
de las visitas al hogar, el aprovechamiento en lechlra de los alumnos
meJora significativamente más que el de los alumnos del grupo de con-
trol a quienes no -se visitó. La conclusión común serÍa la de que las vi-
sitas (y todos los-: supuestos y expectativas nebulosas que las rodearon)
estuvieron justificadas; pero supóngase también que los registros de las
visitas de los maestros mostraron que todas las medidas de interacción,
comunicación y cOmprensión entre padres y maestros se sihmron a ni-
veles muy bajos, que los -padres y los maestros en re8.lidad no se estaban
comunicando. La causa del mejoramiento en la capacidad de lech1ra de
los niños deberá buscarse en otra parte. (Una explicación l?odría ser la
de que los alumnos no entendieron bien la intención de las visitas de
los maestros; tal vez pensaron que los maestros se habían ido~ quejar
de su trabajo y a Uatar de convencer a los padres para que e stigaran
su bajo rendimiento. El _mejoramiento del trabajo escolar fue u a reac-
ción ante una supuesta amenaza.)
Si la serie pronosticada de aco~tecimientos no se cumple, se reqUie-
ren nuevas investigaciones. Pero cuando el modelo demuestra ser un
cuadro razonablemente bueno de cómo están ocurriendo las cosas, pue-
de proporcionarnos alguna noción acerca de las razones que nos exp]j_-.,
can el fenómeno y quizá valga la pena seguir indagando. Aún en el caso
de que se cuenta con los mejores datos, capaces de proporcionar la me-
jor corroboración, los modelos nunca quedan "probados". En el mejor
de los casos, los datos no los "desmienten". Tal vez existan otros mode-
los que nos proporcionarían interpretaciones igualmente plausibles, o
mejores, de los datos con que se cuenta. Las generalizaciones científicas
se van forjando mediante el establecimiento de hipótesis que se sujetan
 ·Recopilación de datos 71

luego a pruebas sucesivas, cuyo objeto es desmentirlas, q encontrar los

límites de su validez.

RECOPILACióN DE DATOS

Los datos para la investigación evaluativa pueden provenir de tada'

una gama de t"-uentes y se les puede reunir utilizando t_odo el arsenal de
técnicas de investigación. Los únicos límites son el ingenio y la imagi-
ná.ción del investigador. Son algunas fuentes posibles, ·Ias siguientes:

l. Entrevistás.
2. Cuestionarios.
3. Observación.
4. ·Clasificaciones (por parte de compañeros, de miembros del perso~al,
de expertos) .
S. Tests psicométricos de aptitudes, valores, personalidad, preferencias,
normas y creencias.
6. Registros institucionales.
í 7. Estadísticas del gobierno.
8. Tests de infonnación, interpretación, destrezas y aplicación de los co-
nocimientos.
9. Tests proyectivos.
10. Tests situacionales que le presentan al sujeto situaciones vitales simu-
ladas.
11. Registros diarios.
12. Testimonios físicos.
13. Exámenes clínicos.
14. Registros financieros.
15. Documentos (actas de las reuniones de juntas de comités, informaciones
periodísticas acerca de determinadas acciones. políticas, copias de jui-
cios).

Entrevistas

Gran parte de la evaluación se vale de entrevistas y cuestionarios

para recolectar información acerca de los participantes en el programa,
acerca de quiénes son: qué es lo que hacen ~n él y cuáles son ·y han
sido sus actitudes y conductas antes y después de la participación en
el programa. Así también, eón frecuenda se interroga a los miembros del
personal. Los tests son ingrediente muy común en· la evaluación de los
programas educativos. Proporcionan datos importantes sobre conocimien-
to y aprendizaje. Las clasificaciones realizadas por expertos son frecuen-
tes en los estudios de los trabajadores sociales y de los programas mé-
dicos y psiquiátricos.
72 Cap. 3 Formulación de la pregunta y medición de la respuesta

· Observación

A veces los investigadores encuentran ~aneras de reunir datos me-

diante métodos "discretos" que no requieren que se le pregunte nada a
nadie. Así, por ejemplo, la asistencia a una exposición científica puede
estimarse mediante el número de vueltas que registre el torniquete de
la entrada; la popularidad de lo que se exhiba podrá medirse en función
del de• gaste del piso· que quede frente a las vitrinas o del número de
solicitudes de juegos de muestra. El cumplimiento de las reglas de se-
guridad para peatones antes y después de un programa de seguridad
puede medirse contando el número dtt· peTsonas que cruzan sin fijarse
en las luces de tráfico o fuera de !cWlugares señalados. En los progra-
mas de educación médica se han utilizado exámenes clínicos y tests de
diagnóstico. Ejemplos imaginativos de estas clases de medidas se en-
cuentran en la obra titulada Unobtrusive Measures, de Webb y colabo-
radores.35
La observación es una herramienta importante para reunir datos re-
lativos a los indicadores pre y posprograma y al proceso mismo. Pam
alcanzar un máximo de seguridad, deberían regish·arse inmediatamente
las observaciones; si su clasificación es fácil se las podrá "codificar'" en
el lugar mismo en que se hagan.

Registros de P~'-ogram~
Los registros de los programas y los expedientes de los organismos
son una fuente ..natural" de datos para la evaluación. Los pr?gramas
suelen reunir buena cantidad de información acerca de las personas que
participan en ellos. Tanto Si son alumnos de una escuela, como si son
residentes en viviendas del estado, beneficiarios de subsidios o pacien-
tes en hospitales, los participantes habrán llenado esqueletos de muchas
páginas, en los que habrán suminish·ado información de toda clase acer-
ca de sí mismos y de su situación. Por desgracia, la experiencia nos ha
mostrado que los expedientes de las organi~aciones no poseen ni remo-
tamente, toda la utilidad que podrían tener. La organización lleva sus
registros a_ la buena de Dios, y lo mismo ocurre con el traslado de las
jnformaciones de enh·ada y de servicio a expedientes o registros perma-
nentes. Los registros suelen ser inexactos, estar atrasados, etc.· Además,
Jas definiciones y categorías utilizadas por la organización. tal vez no
sirvan para los fines de evaluación. Quizá nunca se hayan. solicita9-o
importantísimas categorías de información o los registros se lleven en
forma (como la del registro narrativo de caso) enormemente difícil de
rcdudr a renglones que puedan utilizarse en la investigación.

35 E. J. Webb, D. T. Campbe11, R. D. Schwartz y L. B. Sechrest, Unobtrusive

Measures: Nonreactive Research in the Social Sciences (Chicago: Rand McNa1ly
& Co., 1966).
 :·>:.
Recopilación de ~~-~ 73

Los sistemas de muchas organizaciones pecan de incompletos. Si los

participantes no suministran algunos renglones de información, o si el
personal no anota los datos, nadie. se pone a buscar los renglones fal-
tantes o los datos que no se han inscrito. Así, por ejemplo, si un eva-
luador necesita saber cuáles son los alumnos universitarios que trabajan,
además de estudiar, no podrá confiar en -los datos que aparezcan en los
expedientes para formarse una idea completa. A veces las organizaciones
calnbian sus procedimientos de registro de datos. Si tal cosa ocurre du-
rante el pedodo que se está esb.ldíando, viciará todos los intentos de
hacer comparaciones entre etapas anteriores y posteriores. Y -para aña-
dir otro horror· más a l¡:¡ galería, señalaremos que existe la posibilidad de
deformaciones. Los registros a los organismos se basan, a menudo, en
los informes de quienes trabajan eri. ellos y cuando saben que se les
"juzga" de acuerdo con los datos que aparecen en los expedientes o re-
gistros, con intención o sin ella suelen torcer sus informes.
Por otra: parte, el uso de los regisiTos de las instituciones tiene sus
compensaciones. Una de ellas es la de- que se ahorran el tiempO y el di-
ner-o que r~quiere la recolección original de datos. Otra es la ventaja
de la continuidad. A diferencia del estudio evaluativo "de un solo gol-
pe", que recoge elegante información para un breve tieml?O y luego
..cierra la tienda", el sistema de registro de datos ele la organización pue-
de suminisb"amos una corriente continua de información. Como han
querido dar a entender nuestras advertencias, pocos sistemas podrán ser
usados sin más. Por lo común, el evaluador tendrá que cambiar algunos
procedimientos, introducir nuevos renglones adecuados a las necesida-
des evaluativas y establecer maneras de comprobar la precisión, y si son
completos o no los datos. Si puede hacerse y mantenerse esto, los indi-
cadoreS del éxito del programa podrán consultarse constantemente para
la evaluación en proceso.
Un proyecto -de fianzas utiHzó, efectivamente, sencillos procedimien-
tos de registro de datos l?ara demostrar su val-or. El programa tenía como
objeto ayudar a acusados que no podían pagar una fianza antes del jui-
cio. El Personal del programa se puso a investigar l?ara ver si· tenían
familia, hogar, trabajo, o algunas rtras raíces en lá comunidades. y si las
tenían, lograban que Jos sacasen el~ ]a c~.rco1. sin F ~nza, antes del juicio.
En los tres mios, durante los cuales el Instituto de Vera Justicia llevó
a cabo el exuerimento, se de~6 en libertad a 3 505 rersonas. Los inves-
tigadores evaluaron el proyecto examinando simplemente los expedientes
de presentación a juicio en los tribunales (y enconh'nron que sólo 56 no
se presentaron a juicio) ,3o
Durante muchísimo tiempo, la tarea de llevar los registros de una
organización se confió a un empleado cansado, perdido en un cuartucho.

36 Herbert Shlrz, "Experiments in the Criminal Justice System", Legal Aid

Briefcase (febrero, 1967), págs. 1-5.
 f
J>
74 Ca~~::.: •.: Formulación de. la pregunta y medición de la respuesta

Al llegar la época de las computadoras y de la sustitución de los "tarje-

tones de archivo" por los bancos de datos y el sistema de inforrrlación 1
los registros de las instituciones cuentan con una mayor probabilidad
de que se les preste atención de nivel superior y se les "ascienda"; pero
una vez instalado el nuevo sistema y luego que se hayan ido los es-
pecialistas en sistemas, para que la evaluación se beneficie habrá que
satisfaCer varias necesidades fundamentales. Una- de ellas es que la orga-
nización conserve la capacidad de realizar una evaluaCión. Alguien tie-
ne que estar en aptitud de analizar los resultados del sistema de infor-
mación con vistas a una evaluación y también con fines descriptivos. Otra
es la de que el evaluador debe estar en situación de presentar los datos
interpretados a la atención de quienes toman las decisiones de política
general, sobre todo cuando están pendientes decisiones para las cuaJes
tienen sentido los datos. Otra necésidad más es 1a de que se cuente con
la oportunidad de hacer una revisión periódica del cOntenido del sistema
de información. Los programas oambian; aquello en lo que hoy hacemos
hincapié, mañana tal vez ya no venga al caso. Un sistema de información
osificado deja rápidamente de teneT sentido para las cuestiones vivas.
Tiene que encontrarse una manera rutinaria de adaptar los renglones de
datos y su presentación a la escena actual, sin que~ al mismo tiempo, se
trastornen los renglones de las -series temporales que dan lugar a la con-
tinuidad y permiten· las comparaciones en el trans·curso del tiempo. Du-
rante cierto tiempo~· los renglones viejos y los nuevos deberán existir
unos· junto a otros.

Registros del gobiemo

Algnnos organismos del gobierno llevan registros sobre individuos
_que son agua excelente para el molino del evaluador. Ejemplo superior
es el de la Administración del Seguro Social de los Estados Unidos que
recopila no sólo los descuentos permitidos a ]os salarios~ sino también da-
tos acerca Q.el número de lugares en que trabaja la persona, del ramo de
actividad a que se dedica~ de la sun1a de sus salarios (hasta el ..tope"'
de la seguridad social) y oteas informaciones semejantes. Estos datos
son confidenciales~ pero·· la administración mencionada~ a veces, da a co-
nocer tabUlaciones de los .datos coiTespondientes a grupos de personas
para que sirvan a la investigación de buena fe y de manera que no per-
mite identificar a los individuos.n Para la evaluación de programas OOu-
cativos o de entrenamiento para ciertos trabajos, son datos de "segui-
miento" extremadamente útiles, aun cuando se reconoce la existencia de
lagunas (corno laS de las ocupaciones a las que no abarca la seguridad
social).
87 Por ejemplo, Bernard Levenson y Mary S. McDill, "Vocational Graduates in
Auto Mechanics: A Follow-up Study of Negro and White Youth'', Phylon, XXVIJ,
núm. 4 (1966), 347-357. ·
 Otra buena fuente son los datos escolar.es. Dependiendo de los regla-
mentos escolares, se pueden recolectar inform~ciones acerca de las pun-
hlaciones de aprovechamiento, de la asistencia, de los "pases" y de otros
renglones semejantes correspondi-entes a grupos de alumnos. Así tam-
bién, existen registros de los tribunales, de las oficinas de- licencias, de
las licencias para vehículos de motor y muchas otras fuentes de datos
que poseen utilidad para algunos fines. Los sistemas automatizados per-
miten recolectar fácilmente los datos, pero es importante reconocer que
hay -y deberá haber- limites a los usos de los registros, aun con fines
legítimos. Es causa de creciente preocupación la "invasión" de la vida
privada de las personas, y los investigadores que tratan de tener acceso
a lOs registros oficiales tienen la responsabiliClad de limitar sus indaga-
ciones a los renglones que son esenciales y, cada vez que sea posible, de
utilizar datos agregados (que no identifican a individuos) como indica-
ilores de ciertos resultados.

Series estadíSticas del gobierno_

Otra fuente de datos para la evaluación se encuentra en los informes
estadísticos de otros organismos (por lo común del gobierno). Estos
datos suelen tener que ver con el problema que el programa pretende
"resolver". Así, por ejemplo, si un programa tiene como objeto reducir el
analfabetismo, ü los accidentes en carretera o la mortalidad infantil,
el evaluador podrá echar mano de informes estadísticos sobre la frecuen-
cia de estos males y echar una mirada a los cambios que se. observen en
las estadísticas desde una fecha anterior al comienzo del programa, pe-
riódicamente, hasta alguna época ulterior. Si el programa es eficiente,
se presume que tenderá a reducir las cifras. Por supuesto, es necesalio
_que el prOgrama y los indicadores abarquen la misma zona geográfica;
si está dando resultados en la reducción del analfabetismo. en un banio
de una gran ciudad, no será muy justo estimar su éxito estud-iando las
estadísticas de analfabetismo correspondientes. a toda la ciudad.
Alances.· La evaluación con fundamento 'en los cambios observa-
ble--S en los indicadores existentes es todavía más· un sueño que una rea-
lidad. En el momento actual sólo se cuenta con un· corto número ·de ·da-
tos sociales y éstos no necesariamente tienen que ver con las cuestiones
más importantes.
La mayoría de los datos se recogen localmente y las definiciones y
categorías -y hasta los significados- varían en las diversas ciudades.
Tenemos muy pocos datos de zonas pequeñ·as, como las de un barrio,
en la que funciona aún la mayoría de los programas.
Exactitud. Además, la exactitud no es cosa de siempre; por ejemplo,
se ha descubierto que las estadísticas de delincuencia están éargadas de
peculiaridades en su información. En los Estados Unidos se conocen por
lo meno.s dos casos, que se convirtieron en noticia, -~un nuevo jefe de
76 Cap. 3 Formulación de la pregunta y medición de Ja respua~ta

pvlicía que al comenzar- a actuar mejoró el sistema de llevar datos y

tuvo que enfrentarse a un ·sq.J_to tremendo en la tasa de delin-cuencia. Los
estudios de- victimación, las encuestas en muestras representativas deJ
público en general, que hablen de sus experiencias como víctimas de la
delincuencia, muestran que jamás se comunica a la po1icía gran número
de delitos. Muchas series estadísticas reflejan acciones administrativas
lo mismo que la incidencia "pura" del problema. Las tasas de delincuen-
cia reflejan la agilidad de la policía en la aprehensión de jóvenes, asi
como la tasa real de delincuencia j~nil. ·Las tasas de incidencia de.
enfermedades dependen tanto de la existencia de los casos como de- las
activídades del Departamento de Salubridad en lo que respecta a bus-
carlos.
·ae
Definición términos. Las definiciones de-·teññiDos, también, qui-
zá no estén de acuerdo cbn las necesidades del evaluador .. Las cifras
estándar de desocupación no cornprenden a lOs subempleados, personas
que trabajan algunas horas al día, pero necesitan empleo de tiempo com-
pleto, ni tampoco cuentan a las personas que están sin empleo, han per-
(lido toda esperanza y ya no se han puesto a buscar activamente emnleo.
Recientes estudios del Departamento de Trabajo de los Estados Unidos
han descubierto que en los barrios pobres las tasas de desocupación pue-
. den verse considerablemente reduCidas a ca11.<;a de estas omisiones·. Si
un evaluador desea -utilizar estas cifras para juzgar el éxito de un pro-
grama destinado- a reducir la desocupación esencial, ni las cifras ante-
riores, ni las ulteriores, sirven para estos fines. ·
Separación de los efectos. En años recientes se ha observado en los
Estados Unidos un movimiento en nro del desarrollo de un sistema na-
cional de indicadores sociales. El sistema propuesto resolvería muchos
de los -problemas actuales; aumentaría el alcance de los datos, institui-
ría deíi"niciones y categorías comunes para que pudiesen compararse
entre sí datos procedentes de diversos lugares. MejorarÍa la exactitud
e indudablemente permitiría la disgregación de datos en lo que res-
pecta a zonas pequeñas. Existen razones convincentes para mejorar la
contabilidad social; pero como han observado SheJdon y Freeman,38 ni
siquiera indicadores sociales mucho mejores resolverán todos los pro-
blemas deT evaluador. Para los fines de la evaluación no exis~e una ma-
nera de separar los efectos del programa y los de todos los demás fac-
tores que influyen en los indicadores. Si la tasa de analfabetismo baja,
no por ello es nec~sariamente verdadero que :el programa haya siclo y
que sea su exclusivo o siguiera su principal determinante.
Base geográfica. Otro de los problemas es el de que los indicadores,
por lo general, se basan más en la ~eografia que en las personas. Abar-
can a cualesquier personas que estén vivie-ndo en la zona en un deter-

38 Eleanor B. Sheldon y Howard F. Freeman, "Notes on Social Tndicators: Pro~

misses and Potentia:l'', Policy Sciences, I (1970), 97-111.
 Recopilación de datos 77

minado momento. En algunas zonas, sobre todo en los barrios pobres,

los residentes son altamente m6viles. Las personas que v.ivieron ahí y a
quienes el programa dio servicio el año anterior ya no se encuentran
por allá a fin de aparecer en los indicadores de este año .. La situaci6n
que se está midiendo. es el de ~oda una nueva hornada de personas. Si
aquellas de ingres_o superior se han trasladado al barrib, los cambios en
los indicadores parecerán por demás favorables, aun cuando el grupo
en el cual se deseaban alcanzar las metas ·reales no se halle mejor, sino
simplementE! más lejos.
El hecho de que los indicadores abarcan zonas y, por consiguiente,
a poblaciones más grandes que la zona de acción del programa, reduce
al mínimo la capacidad del programa para hacer mella en los números.
Una ciudad contará con cifras relativas al porcentaje de personas que
votan en toda la ciudad y en cada delegaci6n o área de la misma, pero
no cifras correspondientes a la votaci6n de las personas que quedaron
expuestas a una campaña en pro del voto. Se requerirían cambios de
proporciones heroicas en· el grupo expuesto a la campaña para cambiar
los porcentajes de votante.s de toda la ciudad o de la zona o barrio.
Inexactitud. Al utilizar indicadores se -'siente la tentación de arre-
glárselas con las cifras que existen, aun cuando. no sean medidas direc-
tas de las metas del programa. La utilización de me&das sustitutas, o
de lo que Etzioni llama "med.ici6n fraccional", es común en- toda la in-
vestigación social, puesto que un indicador rara vez captura todo el
contexto que nos interesa.39 Quizá sea especialmente probable· en la eva-
luación-mediante-indicador-social, por causa del corto número de indica-
dores convenientes; por ejemplo, tal vez tengamos un programa para
mejorar la calidad de la vivienda en un barrio. No se cuenta con cifras
ácerca de la calidad de la vivienda, pero sí existe una cifra muy alta
respecto de gente; es decir, del número de personas por habitación. El
evaluador realiza una serie de suposiciones que lo conducen a sacar la
conclusión de que el atestamiento de personas es un buen indicador de
la calidad del alojamiento, y luego saca conclusiones acerca del éxito
del programa fundándose en una medida que, en el mejor de los casos,
no es sino un :indicador parcial del verdadero objetivo.
Manipulación. Así también, los indicadores pueden manipularse.
U na vez establecidos los indicadores nacionales, el personal del pro-
grama -como el maestro que enseña y aplica la prueba- puede hacer
algo por mejorar aquellas facetas de su actnaci6n que sabe que tendrán
que manifestarse si son juzgadas, y prestar menos. atención a cambiar
las complejas condiciones sociales que los indicad?res reflejan tan sólo
parciahnente. -iO
Expectativas'. Tal vez el impedimento más grave que se opone al

G9 Etzioni y Lehman, obra citada, pág. 2.

-iO Campbe1l, "Refonns as Experiments", págs. 409-429.
 t
,-.-.

78 cap. 3 Fonnulación de la pregunta y medición de la respuesta

uso de los indicadores sociales para la evaluación es el de que sea tanto

lo que espera conseguir. Un programa puede ser lo suficientemente pe-
netrante como para llegar hasta una parte considerable de la población
de que se trate y lo bastante efectivo como para provocar un cambio su-
ficiente para hacér pasar a las personas de una categoría a otra. No bas-
ta con un poco de cambio; las personas tienen que pasar de "hospitali-
zada" a "no hospitalizada", y "por debajo del nivel de grado" a "nivel
de grado", de "desocupada" a "ocupada''. Esto pide un éxito de mag-
nitud gigantesca para el programa; por lo general, ]os programas ·llegan
hasta un n~mero relativamente pequeño de participantes y producen
mejoras pequeñas. Aun el programa de lucha contra la pobreza, al que
en su momento se consideró como empresa gigantesca, movilizó recur-
sos francamente par~os en comparación con la magnitud del problema.
Nada -tiene de particular que los indicadores se_ muestren resistentes al
cambio dramático.
Aun si se produce el cambio, lo más probable es que tarde algo en
manifestarse. Los indicadores son perezosos. Se derivan de sondeos pe-
riódicos, por lo Común anuales, de manera que transcurrirá un conside-
rabl~ periodo antes de que las tendencias se 'Pongan de manifiesto. Para
cuando aparecen cambios en las cifras, muchas otras influencias se han
venido ejerciendo sobre ]as condiciones, y nos enfrentamos de nuevo aJ
problema de autenticar que el programa es la fuente de los efectos.
Algunos ·usos razonables. No -obstante, hay condiciones en que el uso
de los indicadores nara ]a evaluación tendría sobrado sentido. Para los
programas de grandes dimensiones, como los de la educación nública
o los servicios médicos, pueden proporcionar datos de series tempora-
les acerca de la distribución de los recursos y los resultados. 41 Presenta- "
ría la ve!ltaja, por lo que respecta a ]as decisiones de carácter fede-ral,
de utilizar criterios comulles y reunir datos comparables según los pro-
yectos y a lo larg-o del tiempo y, en caso de estar sagazmente conshuidos,
de tratar problemas que interesan a quienes están encargados de formu-
lar políticas. No pueden superar limitaciones propias tales como la in-
capacidad de tener en cuenta las influencias externas (que no son el
programa) o la falta de información acerca de las causas y la din8.mi.ca
del cambio; pero si se complementan y relacionan con estudios especí-
ficamente evaluativos de los problemas críticos, su inforrnación en lo
relativo a las condiCiones nacionales puede constituir un apoyo y ser
importante ..

4 1 Cohen, obra citada, págs. 234-236, propone· un sistema de indicadores socia-

les de escuelas y de escolaridad que permitiría el análisis de los insumas a las escue-
las, resultados de la escolaridad, y "variación temporal, geográfica, política y de-
mográfica, en ambas categorías",
• 1

r~
. 1

'
1

i
'
 \1
6
utilización de les
resultados de
la· evaluación
EL EVALUADOR QUE ha sobrevivido a las crisis recurrentes de su estudio,
finalmente reúne y a~aliZa sus datos y escribe un infonne. Lo entrega
a: los adminiStradores del programa, así como a los patrocinadores del
estudio y deja que los hechos hablen por sí mismos; pero, a menudo, no
ocurre nada. ¿Por qué? Ha prestado atención a todas las recomendacio-
nes de los capítulos anteriores: ha logrado interesar profundamente a
los administradores, ha ajustado el estudio a las finalidades de la organi-
zación, ha hecho que los ejecutantes del programa se sientan consagra-
dos también a la evaluación. Ha realizado un estudio metodológicamente
competente y ha terminado a tiempo para que se tomen decisiones
y, no .obstante todo- esto, no se hace el menor caso de los resultádbs.
Cierto número de restricciones limita con frecuencia el uso de los re-
sultadoS de la evaluación. Examinaremos cinco de ellas: a) la idea
qúe el evaluador se forma del papel que le corresponde desempeñar
en el p~oceso de utilización; b) la resistencia al cambio que ofrece la
organización; e) la diseminación inadecuada de los resultados;- d) el
hueco que queda entre ]os descubrimientos de la evaluación y los cur-
sos claros de acción futura, y e) la tendencia de gran parte de las eva-
luaciones a mostrar pocos o ningunos· efectos positivos. En cada caso,
comentaremos diversas maneras de mejorar la utilización.

PAPEL QUE DESEMPE:t"A EL EVALUADOR

Por lo general, los evaluadores provienen de la tradición de inves-

tigadores académicos. En lá escuela se les. sometió a los procesos de
socialización y a los ritos de iniciación de la ciencia. Con mucho, la

.,¡

¡
'
,¡
 T
'J·
~!-:··

136 Cap. 6 Utilización de los resultados de la evaluación

mayoría _de los mismos adopta aún ia ..orientación académica" en· su

trabajo, de que nos ha hablado Kathleen Archibald. 1 Aprecian su áuto-
nomía y no ven con buenos ojos el entremetimiento del patrocinador
en su investigación y, una vez terminado su estudio, no quieren verse
envueltos en los conflictos de torna de decisiones del organismo. Si los
hechos no hablan ·por sí mismos, no tienen la ·menor intención de verse
enredados en lOs procesos políticos de la organización, a fin de poder
hablar en favor de ellos. .
Los investigadores de la ciencia social aplicada, independientemente
de que cj_uienes les den empleo sea la organización que tiene el progra-
ma, una universidad o una organización de investigaciones, tienden a
mirar hacia la comunidad académica en busca de reconocimiento y re-
compensa. Por consiguiente, a muchos evaluadores les interesa más rea-
lizar un trabajo que puedan apreciar sus colegas profesionales que dar
respuesta a las preguntas prácticas de un gerente o un administrador. 2
Aun en el caso de que el evaluadOr haya realizado un esrudio serio,
según los objetivos perseguidos por el organismo, su recompensa con-
sistirá en la publicación en una revista profesiopal respetable. No le cau-
sa mayor placer dedicar horas fuera de la invdstigación a interpretar los
resultados para quienes tom·an las decisiones y en convertirse en aboga-
·do de los mismos. El caso del experto de la compañia RAND, que efec-
hiÓ un estudio para la fuerza aérea de los Estados Unidos y luego se
pasó meses luchando en defenSa de sus conclusiones por todos los nive-
les del-Departamento de Defensa a es considerado como una anoinalía,
como una suerte de moraleja de lo que puede ocurrirle al investigador
que se deja atrapar en el juego de la "utilización".
La· orientación académica a veces lleva a los evaluadores a abstener-
se de Sacar conclUsiones cuando rinden el informe de sus reSultados.
En su opinión, su ta;rea consiste en realizar el estudio y analizar los
datos; no es su deber recomendar la acción. Puesto que, como veremos
más adelante, rara vez son obvias las implicaciones de los datos, el he-
cho de que el evaluador renuncie a la ejecución de esta tarea con dema-
siada frecuencia significa que nadie la hará. El gerente del programa
comienza 3: quejarse de que la evaluación no aportó nada que viniese
al caso de las necesidades de su programa y el evaluador se retira a su
despacho lamentándose del olvido en que tienen a su trabajó quienes
toman las decisiones. 4
1 Kathleen A. ArChibald, "Alternative Orientations to Social Science Utiliza-
tion", Social Scíence Information, IX, núm. 2 (1970), 7-34.
2 Véase James A. Da vis, "Gr€at Books and Small" Groups: An Informal History
of a National Survey", en la obra Sociologists at Work: Essays on the Craft of
Social Research, P. E. Hammond ( dir.) (Nueva York: Basic Books, Inc., Publishers,
1964), págs. 212-234, donde se analiza esta orientación. ·
a Se describe este acontecimiento -en Bruce L. R. Smith, The RAND Corpora- .¡
tion (Cambridge, Mass.: Harvard University Press, 1966), págs. 195-240. 1

4 Stake no está ·s~guro de que la evaluación deba formular juicios. Si se encarga

 Utilitación de los resultados de la evaluación 137

Cuando los evaluadores con orientación académica buscan soluciones

para el problema de la no utilización de sus resultados, descubren dos:
colocar a un mayor número de científiCos sociales en posiciones que los
capaciten para tomar decisiones, quiene~_ presumiblemente prestarán
más atención a la investigación, y la creación de un papel de "interme-
diario", que sirva de eslabón entre quienes se dedican a la investigación
aplica1a y quienes toman decisiones. Reclutar gente para que ocupe
posiciones políticas es algo que escapa claramente al control de quienes
piensan así (y hay razones para dudar de que el entrenamiento en cien-
cias sociales llegue a pesar más que los imperativos políticos del cargo).
Pero el puesto de intermediario, innovación descrita y propugnada du-
rante décadas en campo tras campo, se prestaría .más a recibir la in-
fluencia.5 No obstante, en el ambiente local inmediato, rara vez se des-
cubre su presencia.
La organización que tiene a su cargo el programa que está siendo
evaluado casi nunca cuenta con un funcionario residente que se haga
cargo de traducir e interpretar los resultados de la evaluación. Si el
evaluador y los funcionarios del organismo no se ponen de acuerdo,
el hueco que se abre entre el estudio y la acción ·será muy grande. En ra-
. ras ocasiones un consultor o nn miembro del comité o de la junta de
dirección que ha participado en la evaluación y goza del respeto de la
organización puede ayudar a sacar recomendaciones a partir de los re-
sultados, pero esto, por lo común, ocurre más accidentalmente que por
intención. Así pues, no existe una base o autoridad permanente en la
organiz~ción, ni papel" profesional, ni calificaciones reconocidas para
el iritennediario. 0 Hasta que no se creen estructuras y funciones ade-
cuadas (véase más adelante la secci6n dedicada a la proposición de
remedios), el inocente que trate de saltar el hueco tal vez se cuele por
él, o termine convirtiéndose en abogado de nna o de otra parte.
Un rasgo interesante de la mayor parte de lo que se ha escrito sobre
la idea de utilizar un intermediario para poner remedio al desdén en
que se tiene a los resultados es el de que requiere que se traiga a otra
persona. Esto deja intacto el papel neutral del evaluador; sin embargo,

de esta tarea, el evaluador por lo general (y la investigaci6n en ciencia social), se

hará más sospechoso todavía para los ejecutantes. Sugiere que los evaluadores pre-
senten los datos y luego busquen y elaboren los juicios de los expertos. Robert E.
Stake, "The Countenance of Educatlonal Evaluation", Theachers College Record,
LXVIII, núm. 7 ( 1967), 523-540.
5 Para un resumen exc~lente de esta bibliografía, véase el análisis de Ronald G.
Havelock, "Dissemination and Translation Roles", en la obra Knowledge ProducUon
and Utilization ín Educational Administration, Terry L. Eidell y Joanne M. Kitchel
( dirs.) (Eugene, Ore.: Center for the Advanced Study of Educational Administra-
tion, 1968), págs. 64-119.
6 Havelock, obra citada. Véase también, Ronald G. Havelock, Planning for In-
'1 novation Through Di.ssemination and Utilization of Knowledge (Ann Arbor, Mich.:
1nstitute for Social Research, The University of Michigan Press, 1969).
¡
1
 138 _Cap•. 6 Utilización de los resultados de la evaluación

hay tradiciones de la minorfa, en el dominio de la investigación apli-

cada, que asignan un valor mayor al hecho de influir en el proceso de
decisiones. Una de las más famosas es la de la "investigación para la
acción", derivada principalmente de la obra de Kurt Lewin. La inves-
tigación para la acción envuelve procedimientos de autoestudio; las per-
sonas que habrán de emprender la acción participan en el proceso de.
investigación. El grupo de investigación-acción diagnostica sus dificul-
tades, ·recoge información que ayude a efectuar cambios necesarios- y
después de haberlos realizado, evalúa su eficacia. El aspecto de inves-
tigación está claramente subordinado a la meta de efectuar modifica-
ciones necesarias en la estructura y el funcionamiento del grupo.
Arm fuera de la escuela de· la investigación para la acción, existe
. nna minoría de evaluadores, cada vez más elocuente, para la cual su
papel encierra la "venta" de los resultados. Están dispuestos a quitarle
tiempo a sus actividades de investigación y publicación a fin de ejercer
una influencia en el mundo real. Les interesa contribuir a la racionali-
zación de la política soc~al y al mejoramiento de la programación so-
cial. Si el investigador emprende una evaluación, cree que tiene el deber
de hacer la apropiada respecto de lOs imperativos ·y las restricciones
particulares de la organización, así como el deber de desarrollarla de
forma que contribuya:_ a detenninar la calidad de las decisiones subsi-
. guientes; por ejemplo; Longood y Simmel incitan al evaluador a que
se convierta eri abogádo de sus resultados y a que tome parte en las
luchas y forcejeos de la toma de decisiones dentro de la organización. 7
Así pues, una de las razones que explican que no se utilicen los re-
sultados de la evaluaci6n puede ser la falta de interés que sienta el in-
vestigador por lo que ocurra -después; pero, ¿por qué las organizaciones
que han pagado· buenas cantidades de dinero para la realización del
estudio no toman la iniciativa de utilizarlo?

RESISTENCIAS EN LA ORGANIZACióN

Supongamos que los resultados del estudio muestran que el progra-

ma ha dado lugar a un éxito mediano coil algunos grupos, pero ha sido
un triste fracaso en otras partes. Lo implícito, en esto, es que la organi-

7 Robert Longood y Arpold Simmel, "Organizational Resistence to Innovation

Suggested by Research", en la obra Evaluating Action Programs, Readings in Social
Action and Education, Caro! H. Weíss (dír.) (Bastan: Allyn & Bacon, Inc., 1972),
págs. 311-317. Véase también Chris Argyris, "Creating Effective Research Relation-
ships in Organization", Human Organization, XVII, núm. l (1958), 34-40; Floyd
Mann y Rensis Likert, ''The Need for Research on the Communication of Re-
search Results", Human Organization, XI, núm. 4 (1952), 15-19; Stanley Sadofsky,
"Utilization of Evaluation Results: Feedback into the Action Program", en la obra
Learning in Action, June L. Shmelzer (dir.) (Washington, D. C.: Govemment
Printing Office, 1966), pp. 22-36.
 Resistencias en la organización 139

zación haría bien en- efectuar algunas revisiones drásticas. El tiempo

sigue su marcha y no ocurre gran cosa. Las razones de esto pueden
agruparse bajo los rótulos de factibilidad, aceptabilidad e ideología.

~actibilidad

Las organizaciones tienden a considerar al statu qua como una cir-

cunstancia felizmente factible. El cambio _de las prácticas de la organi-
zación requiere dinero, factor con el que a rrienudo no se cuenta. Tam-
bién necesita de' tiempo y esfuerzos de la gerencia. A menudo supone
el Cambio de las prácticas y hábitos consagrados del persona~ a quienes
les parece que las cosas están bien_ como están y creen en el- valor de
su manera de trabajar actual_. Si se requieren nuevas destrezas, habrá
que volver a entrenar al personal antiguo (de nuevo habrá que gastar
tiempo y dinero, y será preciso cambiar cómodas rutinas) o que em-
plear persónas nuevas (a las que hay que reclutar, atraer, paga( y con-
serVar). En pocas palabras, una organización es un sistema social .com- 1
plejo. Ha construido una pauta de conductas y papeles para el personal
y un sistema de motivaciones y recompensas 'para la buena ejecución
de los papeles existentes. N o podernos tener la seguridad de que logre
establecer nuevas pautas. N ada tiene de particular que la organización
desee convencerse de que las nuevas prácticas obtendrán resultadOs no-
tablemente mejores· que las antiguas, antes de meterse a ca~biar el or-
den establecido.
Además, a las organizaciones no sólo les preocupa alcanzar sus me-
tas. También les interesa la supervivencia. Desean generar apoyo, con-
se¡rvar su posición en el ambiente pOlítico e interorganizacional y dar
satisfacción a sus elementos humanos. Y esta preocupación por la super-
vivencia nó debería interpretarse como si fuere algo necesariamente
antitético de la realización de fines. Aun cuando puedan contribuir a
determinar la rigidez en la organización, también, en cierto sentido, es
condición previa de una actividad efectiva. La organización está acumu-
lando fuerza y créditos para el fuhtr9. Las gerencias temen a veces qut>
mucho cambio, o demasiado frecuente o drástico, p~eda conducir a la
inestabilidad, a una falta de dirección, y a que se pierda la confianza
en las capacidades de la organización. Son éstas preocupaciones legí-
timas.

Aceptabilidad
Otro conjunto de problemas tiene que ver con la aceptabilidad que
tengan las nuevas prácticas para grupos de fuera. Las revisiones del pro-
grama tal vez sean causa de cambios en las relaciones con los que do-
nan el dinero, con los clientes o con otras organizaciones de la comuni-
dad. Es posible que no les parezcan aceptables los cambios. Si entran
140 U.p. 6 Utilización de lOs resulta~os de la evaluación

en cOnflicto con las expectativas del momento y" no logran atender a los
intereses de estos grupos, la' organización podrá caer en un periodo de
luchas y ajuste ca6tico.
Además, las prácticas nuevas quizá nO armonicen con los valores so-
ciales prevalecientes; por ejemplo, una recomendación para concentrar
recursos en las. escuelaS de los barrios miserables tal vez tropiece con la
resistencia de los contribuyentes de la clas~ media. Aun si los cambios
propuestos llegasen a ayudar a realizar mejor las metas del programa,
sería perfectamente posible que tuviesen efectos colaterales masivos y
diesen origen a nuevas clases de problemas. La falta de certidumbre
acerca de la riceptaci~n de las recomendaciones fuera del organismo
puede ser un efectivo inhibidor del cambio. Es problema recurrente el
de conseguir y mantener el apoyo del Congreso para los programas sO-
ciales federales en los Estados Unidos.

Ideología
~as organizaciones tienen compromisos ideológicos. Se inclinan a
creer én un conjunto de valores e incluso en determinados métodos de
· trabajo. Probablemente rechazarán cualesquier conclusiones que ame-
nacen a sus finalidades esenciales. Así, por ejemplo, los estudios que no
creen en la eficacia de la universidad abierta, o de las becas para hacer
estudios de pos¡;rado, o que proponen tratamientos distintos de la psi-
coterapia individual, tro?iezan con la resistencia de los organismqs que
creen en estos Valores y procedimientos. Cuando una evaluación mostró
que un programa de trabajo colectivo para muchachas de secundaria
potencialmente delincuentes resultaba inefic~ para prevenir la conducta
delictuosa, la reacCión de la organización encargada del programa con-
sistió en sugerir que se aumentase el número de sesiones de grupo por
semana. Cada vez que están en juego fuertes compromisos ideológicos
(sobre todo, creencias fundamentales en la igualdad y la justicia), ni
siquiera la obtención de resultados totalmente negativos conducirá a
que se abandonen ciertos programas; la evaluación tiene que ofrecer
guía y orientación que permitan mejorar la forma en que los programas
pueden alcanzar sus metas.
Aun cuando se ven con simpatía todas estas consideraciones, algu-
nas organizaciones ofrecen exceSiva resistencia al cambio. A diferencia
de las empresas de negados cuyo destino está decidido por el balance,
las organizaciones de servicio no sufren castigos graves cuando no lo- .
gran alcanzar sus metas. Les siguen llegando contribuciones privadas o
partidas del presupuesto. La clientela descontenta no tiene mayor voz
ni votO en la dirección de los- asuntos. No sabiendo a veces que se les
está -engañando, se sienten contentos con sólo que alguien les preste
atención. Indudablemente, los administradores concienzudos no sólo
desean que les 'va{a bien, sino olJrar bien, pero pueden encontrar ?le-
 --->~
·-··:':.··.-
Resistencias en la organización 141

gr~s racionalizaciones para persisti,r actuando de manera ineficiente ( .. la

falta de lucimiento es _sólo transitoria"; ..es resultado de condiciones aje-
nas a nosotros"; ..lo único que necesitamos es más dinero"; ..de todos
modos, la evaluación no ha sido muy· buena"). Las críticas contra- la
metodología son un contraataque cada vez más común para defenderse
de la evaluación que no habla bien de uno. 8

Remedios propuestos de carácter organizacional

Los observadores han propuesto una serie de remedios para vencer
la resistencia a los resultados de la evaluación; por ejemplo, Campbell
dice:

Un solo cambio sencillo en la postura política, que reduciría el problema,

consiste en dejar de abogar por una reforma específica y pasar a abogar
por otros posibles esfuerzos reformistas en caso de que el primero falle.
Entonces, la postma política sería la siguiente: "El problema es _grave.
Proponemos comenzar con la política· A a modo experimental. Si al cabo
de cinco años no se ha obtenido un considerable mejoramiento, pasaremos
a guiarnos por la política B". 0

Aunque la proposición es atractiva, no parece que sea tan "sencilla".

Nuestra experiencia nos indica que los grupos que se han lanzado a una
reforma tienen- que cree-r en aquello por lo cual están abogando, a fin
de poder salir airosos en las luchas políticas, y que los encargados de
tomar las decisiones tienen que estar convencidos de que el plan es
bueno y correcto y que valdrá la pena invertir en él. Rivlin señala:

La· Oficina de Oportunidades Económicas de los Estados Unidos podría

haberle dicho al Congreso: "No sabemos si los programas preescolares da-
rán buenos resultados, rii cuál de ellos. resultará mejor, pero hemos dise-
ñado un programa para enterarnos. Pero, ¿habría obtenido entonces el
dinero? 1o ·

8 .. Dos recientes casos son las críticas de la evaluación nacional de la Westing-

house-Ohio Univer:sity del programa Head Start y la· controversia sobre las «es-
cuelas más eficaces" que utiliza la ciudad de Nueva York. Walter Williams y John
W. Evans, "The Politics of- Evaluation: The Case of Head Start", Annals of the
American Academy of Political and Social Science, vo_L 385 (septiembre de 1969),
IIS-132; Nelson -Aldrich ( dir.). "The Controversy o ver the More Effective School:
A Special Supplement", Urban Review, II, ntun. 6 (1968 ), 15-34. En ambos casos,
los evaluadores reconocen qué parte de la· critica ·met-odológica está justificada;
operaron en condiciones que impidieron un diseño ideal. No obstante, tal vez la
crítica estuvo motiVada más por una ideología que .por ·Ia metodologia, porque los
críticos deseaban proteger Un programa popular. Si los resultados de la evaluación
hubiesen sido favorables, no se hubiese oido un clamor semejánte.
9 Donald T. CaiD.p"be11, "Reforms as Experiments", American Psychologist~_XXIV,
núm. 4 (1969), 410. ·
10 Alice M. Rivlin, Systematic Thinking for Social Actiory, (W~shington D. C.:
The Brookins Institution, 1971 ), pág. 85.
142 c3i-. o Utilización de los resultados de la evaluación

Además, los administradores y el personal del programa se sienten

comprometidos con los p:i'ogramas a l9s cuales consagran sus energías.
Tal dedicación probablemente tenga importalléia para su carrera de
ejecutantes; una postura escéptica, consistente en un_ esperar y ver, bien
podría reducir la eficacia de su acción. Ellos, y también a veces los par-
ticipantes en los programas, van cifrando intereses muy particulares en
el programa. Así, también, otro-s intereses políti~os se inclinan por déjar
las cosas como están. Pero, quizá, en pequeña escala, cuando son -~sea­
sos de recursos y cuando las fuerzas eri "pro" y en "contra" están delica-
damente equilibradas (y tanto por conveniencia como por racionalidad)
los encargadqs de hacer la política llegarán a pérmitir ensayos de pro-
gramas con la adecuada evaluación de sus efectos, antes de lanzarse a
la realización de grandes reformas. Experimentos recientes, con los pla-
nes de ingresos garantizados, constituyen mi signo esperanzador de que
tal eri.foqUe -es posible. 11
Además, este es un mundo en el que todo se mueve rápidamente.- Las
aspiraCiones y las condiciones de una_ comunidad cambian. En los or-
ganismos, nuevas personas lleg-an a cargos directivos. El examen· e?'tér-
no estimula el autoanálisis de la organización. Lo que fue inmutable en
otro tiempo pasa a ser obieto de debate. 12 Tal vez se saquen de los ar-
chivos testimonios evaluativos y se reúnan partidarios; quizá encarguen
nuevos estudios., Cuando el personal de la organización no se hálla dis-
puesto a c\ejar las· cosas como están, entonces se muestran más ·sensibles
a lo implícito en. los resultados de la evaluación. Es un estado de pér-
plejidad· e insatisfacción lo que da origen en o~asiones a la evalúación,
y, en tales circunstancias, los resultados suelen tomarse en serio. 13 AcaSo
nuestras expectativas respecto del uso de resultados se han fijado un
plazo temporal demasiado breve. Probablemente se necesita que trans-
curra un considerable tiempo antes de que las conclusiones en::tpiecen a
circular y a recibir al?oyo, y antes de que las organizaciones movilicen
recursos para la acción.
Canales de los· organismos. Subsiste el hecho de que se necesitan

11 Véase "Preliminary Results of tbe New Jersey Graduated Work Incentive

Experiment" {Washington. D. C.: Office of Economic Oportunity, febrero de 1970),
y "Further Preliminary RPsults of the New Jersey Graduated Work Incen"tive
Experiment'~ (Washington, D. C.: Office of Economic Opportunity, mayo de 1971).
12 George James, "Planning and Evaluation of Health Programs", en la obra
Administration oj Coinmunity Health Services ( Chicago: intemational City Ma-
nagers Association, 1961 ), págs. 114-134.
13 Likert y Lippit analizan la sensibilidad al problema (una "imagen de po-
tencialidad" que implica que las condiciones pueden cambiarse para bien) y una
actitud expedm~ntal respecto de la innovación como condiciones previas para el
uso de los resultados de la ciencia social. Rensis Likert y Ronald Lippitt. "The
Utilization of Social Science", en la obra Research· Metlwds in the Behavioral Scien-
ces, Léon Festin~er y Da:niel Katz (dirs.} (Nueva York: Ho~t, Rinehart & ~ins:
ton, Inc.,. 1953.)
 Resistencias en la organización 143

técnicas más eficaces para persuadir a las organizaciones de que presten

buenos oídos a los resultados. Hasta hoy, la mejor manera de proceder
al respecto ha consistido en los esfuerzos de algunos gerentes decididos
que han insistido en que se usen los resultados. para alcanzar una eje~
cución óptiina y quienes recompensan a los mi_embros del-personal que
,lo hacen. 14 En otra parte se ha propuesto-el estudio sistemático de otras
técnicas, que. podrian aumentar la utilización de los resultados de la
evaluación, tales como la_ ídentificación a buen tiempo de los Usuarios
potenciales y la selección de las cuestiones que ·res interesan, el hacer
participar a los miembros del personal en la planeación y realización·
del estudjo y la participación de gente "de fuera" que ocupe posiciones
claves y que pueda hacer correr la voz o ejercer presión sobre la orga~
nización. 15 Archibald sugiere que el enfoque del ..cambio planeado,. o
de-"relaciOnes humanas.. propugnado por Lippit, Bannis y colaboradores
podría utilizarse en apoyo· del análisis y la evaluaci6n. 16 La escuela del
..cambio planeado" tradicionalmente ha concentrado su atención en las
tareas de abrir canales de comunicación, ayudar a la organización a re-
conocer sus problemas a fin -de comenzar a trabajar en _su resolución,
y en generar la aceptación interna para el cambio. Los ..agentes del Cam-
bio" han Sido por lo común consultores externos, a quienes se ha acu~
dido en tiempos de crisis de la organización, para servir como diagnos-
ticadores y habilitadores y a los cuales no les ha ¡ireocnpado mayormente
el contenido de otras posibles acciones o sus consecuencias en el mun-
do real. A pesar de las diferencias conceptuales y operacionales enh'e
los enfoques llamados del "cambio planeado" y del "uso de los resulta-
dos de la evaluaci6n", parece tener algún valor la noción de comple-
mentar los atractivos racionales de las pruebas y testimonios con la aten~
ción a .la dinámica de grupo del proceso del cambio. Lo bueno sería
entretejer los doS· enfoques o maneras de proceder y enconh'ar un per-
sonal dotado de destrezas dobles.
Incentivos y recompensas. ·Otra manera de aumentar la atención de
la organización a la evaluación consiste en incorporar al programa in-
centivos y recompensas adecuados. Un ejemplo de estp lo tenemos en

14 Véase Ronald Lippitt, Jeanne Watson y Bruce Westley, The D¡¡namics of

Planned Change {Nueva York: Harcourt Brace Jovanovich, Inc., 1958); Warren
G. Bennis, ·Kenneth D. Benne y Robert Chin ( dirs.), The Planning of Change,
2~ ed. {Nueva York: Holt, Rínehar & Winston, Inc., 1969), donde se examinan
otros métodos para fomentar_ el cambio en la organización,
15 Caro! H. Weiss, "The Utilization of Evaluation: Toward Comparative Study",
en la obra The Use of Social Research in Federal.Domestic Pi-ograms, vol. III,
U .S. Congress, House Committee on Govemment Operations, Research and Tech-
nical Programs Subcommittee, 90th Congress, primera sesión (Washington, D. C.:
Covernment Printing Office, 1"967.), págs. 426-432. ·
16 K." A. Archibald, "Three Views of the Experts Role in Policy-making: Sys-
tems Analysis, Incrementalism, and the Clinical Aproach", Policy Sciences, 1 (1970),
73-ea.
144 . Cap. 6 Utilización de los resultados de la evaluación

Jos contratos según la ejecución. Conforme a yste sistema, que tOdavía

está en la etapa experimental, a un organismo no se le paga sólo única-
mente si alcanza determinadas metas. Así, par ejemplo, a un contratista
en el campo de la educación, se le paga por enseñar a niños únicamen-
te en la medida en_ que mejora el aprovechamiento de los niños. Cuales-
quiera que puedan ser sus demás riesgos, tal sistema exige que se utili-
cen datos evalUativos. Se han propuesto semejantes esquemas para des-
arrollar criterios evaluativos de servicios médicos, de entrenamientos -en
el lugar del trabajo y otros semejantes, y la svjeción a estos criterios se
ha tomado como base para determinar la cantidad de la ayuda federal. 17
Si los programas sociales federales se descentralizan a las ciudades y si
los grupos locales tienen más ingerencia en su control, tales proposi-
ciolles podrán resultar cada vez más atractivas para los encargados -de
la política federal interesados en que se cumplan sus fines .. Que tales
esquemas pueden tener consecuencias negativas es · evidente, y antes
de su adópci9n hibrá que realizar muchos análisis y experimentaciones;
pero representan una manera posible de ampliar lo que ahora son, por
lo general, recompensas muy parcas a quienes se atreven a dar su lugar
en la aCción a los resultados de la evaluación. _
Los sistemas de «fichas", que también se han propuesto, parecen ser
otra manera, algo menos directa, de recompensar la atención prestada
a los resultados de la evaluación. A los olientes se les dan fichas de ser-
vicios, y en vez de convertirse en recipientarios, a la buena de Dios, de
servicios públicos monopolistas (educación, viviendas del estado, aseso-
ramiento en materia de bienestar), pueden elegir sus propios servicios
y pagarlos con esas fichas. Al crear un mercado de competencia, este
plan proporcionaría a los ·Clientes cierto grado de control. Tal vez se
intereSarían más en los datos correspondientes a la eficacia relativa de
los diferentes servicios que lo que han estado las instituciones de· ser-
vicio mismas. Necesitarán adquirir una cierta pericia al respecto, pero·
tendrán motivos para prestar atención.
Presentación de resultados adecuados a usuarios adecuados. Uno
de los principales problemas que se encuentran al fomentar el uso de
los descubrimientos de la evaluación es el de hacer llegar la informa-
ción hasta el nivel de quien toma las decisiones respecto al p¡·ograma
que. vienen al caso. Como señalamos en el capitulo 2, los gerentes de
programas por lo común no deciden si un programa ha de continuar o
ha de terminar, o si sús alcances deben reducirse o ampliarse a ob·as uni-
dades. Más bien están absortos en los problemas que presenta la ejecu-
ción, como los de elección de estrategias, de personal, de grado de in,
tensidad del servicio y otros semejantes. Un informe evaluativo que dice
sólo que el programa no ha producido los efectos esperados no les ser-

17 Charles L. Schultze, The Politics and Economics of Govemment Spe11ding

(Washington, D .. C.: The Brookings Institution, 1968), págs. 103-125.
 Resistencias en Ja organización 145

virá de mayor cosa; para sus fines, éste no es el orden de información

que les conviene. Podrá ser información ade~ada para los funcionarios_
superiores encargados de t,razar la política, pero los gerentes de los pro-
gramas necesitan contar con datos sobre la eficacia relativa de las dife-
rentes estrategias a fin de poder utilizar de manera constructiva los re~
sultados. ·
Presentación de comparaciones útiles. Además la evaluación debe
proporcionar comparaciones que tengan verdadera utilidad para ayudar
a optar entre decisiones posibles. Si ninguna de las opciones consiste
en no ofrecer el menor servicio, un estudio que comparase participantes
con controles, _que no recibieron servicio, tendría muy poco valor prác-
tico. Proporcionarían información más útil comparaciones entre partici-
pantes en ~l programa: a) recipientarios del tipo rutinario .de servicio;
b) recipientarios de variantes reducidas, económicas, del programa que
se estuviese estudiando, o o) recipientarios de otros tipos posibles de
servicios innovadores. Esto nos daría una base para elegir entre posibles
usos d,e acci~n. Evidentemente, algunos de los problemas que presenta
el uso de los resultados en la organización se derivan de la misma eva-
luación.
Oportunidad con que se rínda el informe. A veces de las conclusio-
nes de una evaluación se informa después de que se han tomado las
decisiones. Este no coincidir con el calendario de las decisiones puede
deberse a toda una variedad ele factores, del contexto de la situación,
de la organización· y de la evaluación. Tal vez explote de manera re-
pentina un problema; la falta de previsión respecto de la necesidad de
contar con la evaluación puede haber dado lugar a que ésta se haya
comenzado tarde; quizá se haya incurrido en demoras en la realización
del estudio; los análisis de los datos a menudo consumen más· tiem-
po del asignado. Cualesquiera que puedan ser las razones las organiza-
ciones no pueden utilizar los resultados, con propiedad, cuando se les
presentan tarde o cuando s6lo una suerte de esqueleto del conjunto de
datos está preparado ya para el momento de la toma de decisiones y se
aplaza, u olvida para siempre, la riqueza de datos del análisis pormeno-
porizado. Trazar con todo cuidado planes por anticipado para la eva-
luación, basándose en el conocimiento de todo lo que supondrá la in-
vestigación y del tiempo que se necesit~rá para realizarla; ayudará a
solucionar el problema de la oportunidad en la presentaCión de los re-
sultados. Así también los evaluadores tienen el deber de presentar a
tiempo los resultados que se vayan a utilizar y de dejar para fecha pos-
terior la exploración de algunos interesantísimos caminos desviados.
Franqueza acerca de las limitaciones de la investigación, Hemos ha-
blado ya de las resistencias que puede ofrecer la organización a los
resultados evaluativos. Los evaluadores no son inmunes a sus propias re-
sistencias. Los estudios tienén con frecuencia algunas deficiencias {en
su conceptualización, medición, diseño o análisis) que limitan sus apli-
 146 Cap. 6 Utilización de los resultados de la evaluación

caciones; sin embargo, ha habido evaluadores que han defendido hasta

aspectos de valor muy discutible de su trabajo con la pasión de alguien
_que está negando acusaciones de inmoralidad. Se necesita de un poquito
más de franqueza. Si hay huecos, interpretaciones rivales, o lugar a
dudas, el evaluador que reconoce las limitaciones puede ayudar a to-
mar decisiones, cargadas de sentido de responsabilidad, a los encarga-
dos de hacerlas. Tal vez un mejor análisis de los datos de que se dis-
ponga, o la reunión de oh-os datos más puedan resolver el problema de
que se trate. En el entretanto, las decisiones no se solidificarán.
Comunicación de los resultados. El informe de la evaluación, por
lo común, se consigna en el lenguaje técnico del investigador. Para el
lector miembro de la organización, no sólo sus términos, sino su pers-
, pectiva conceptual podrán ser- extraños y ·motivo de confusión. Un in-
forme que se propone dar forma a decisiones debería componerse en
un estilo que establezca la comunicación con su auditorio. Por lo ~ene­
ral, se recomienda hacer un breve resumen en el que se pongan de re-
lieVe los principales descubrimientos y sus implicaciones (sin deJar de
mencionar las limitaciones importantes y los problemas a l-os que no se
ha encontrado solución), prestando alguna aten,ción quizá al atrac-
tivo del formato y a la calidad de las ilush·aciones. A muchos investi-
gadores les parece que esta manera de "envolver" su trabajo es más
propia de una casa de publicidad y que equivale casi a un apartarse
de su papel tradicional. En tales casos, tal vez sea bueno contratar a
un escritor- profesional, que posea enhenamiento en ciencias sociales,
para preparar el resUmen; el informe completo quedará a disposición
de todo el que desee ahondar en el asunto.
Unirúldes de planeación y desarrollo. Ya señalamos lo común que es
que falte un intermediario del organismo que sirva de puente entre la
evaluación y la administración, y el hecho de que su inexistencia se
deba en gran medida a la falta de una base institucional, de autoridad
y de un papel reconocido. Si se le dotase de esto en la estructura in-
terna de la organización, la necesidad de un intermediario podría legi-
timarse, y reclutarse aquél.l 8

18 Aun sin una base institucional permanente, algunos individuos. Cf'<nitP.s. pro~
yectos y centros han traído los descubrimientos de la investigación ante la atención
de los usuarios. Ralph Nader ha desempeñado un papel esencialmente evaluativo
en la educación del consumidor. Comités transitorios. corno el Phvsical Science
Study Commitee, han sido muy eficaces para< promover la adopción· de planes de
estudio y otras formas de conocimiento. B. R. Clark, "Interorganizational Pattf\ms
in Education", Administrative Science Quarterly, X, núm. 20 (1965). 224~237. Las
comisiones nacionales pueden contratar una investigación y comunicar sus resulta-
do.s a un amplio auditorio, por ejemplo, los estudios de la Comisión de Motines.
National Advisory Commission on Civil Disorders, Supplemental Studies ( Wash-
ington, D. C.: Government Printing Office, 1968). Los profesores universitarios
pueden difundir los resultados de la investigación a través de sus actívidades do-
centes y cb c::msultorrs.
 Mejor diseminación de los res~¿dos 147

La estructura más factible para aliar la evaluación con el programa

parece consistir en crear una unidad de planeación y desarrollo del pro-
grama. A esta unidad se le dará la tarea del desarrollo y mejorarrliento
continuos del programa. Si el organismo se toma en serio tales funcio-
nes, la unidad ocupará un alto lugar _en la jerarquía, y quizá sea bueno
que quede ligada a la oficina del director. Revisará la misión del or-
ganismo, estudiará los indicadores de eficiencia, propondrá modifica-
ciones al programa o planes nuevos y quizá se ~ará cargo, en parte,
de la formulación del pi'esupuesto. El evaluador se convertiría en fuente
importante de información y sostén. Cuando sus informes sirvan para
alimentar una función de planeación, contará también con capacidad
de influir en el sistema. -
Hasta ahora, unidades de esta clase se han irutalado sobre todo en
casos en que un organismo tiene que presentar planes anuales para
obtener presupuestos anuales. Son riluy comrmes en los organismos fede-
rales, que cada año tienen que presentar planes y presupuestos al
Congreso, y en organizaciones donde alguna variante del _sistema de
planeación-programación del presupuesto ofrece un marco y conjunto
de procedimient-os claros. Su introducción en programas operantes a
otros niveles podría contribuir a colocar la evaluación en la corriente
de asuntos principales de la organización; pero deben contar con el
al?Oyo y los oldos del director y demostrar en la acción su valor, pues
de lo contrario lo único que se conseguirá será trasladar el problema de
]a utilización de un lugar a otro.

MEJOR DISEMINACióN DE LOS RESULTADOS

DE LA EVALUACióN .

Lo que hemos dicho hasta ahora ha dado, por supuesto, que existen
dos principales personajes (con unos cuantos personajes secundarios)
en nue~tro elenco: un evaluador que aporta resultados de la investiga-
ción, que en algún grado vienen al caso, y un encargado de trazar la
política del organismo que se dedica a no tenerlos en cuenta. Afortu-
nadamente, hay otros actores en el drama. En algunos casos, tienen
importancia capital los encargados de trazar la política a superiores ni-
veles (funcionarios de organismos federales, representantes ante el Con-
greso). Como señalamos en el capítulo 2, son los encargados de tomar
las decisiones políticas supremas quienes, p·or lo general, deciden cómo
se realizará la asignación ele recursos y si los programas deben proSe-
guir o interrumpirse. Es estéril presentar los resultados de la evaluación
al organismo ejecutante de un programa -sobre todo resultados nega-
tivos, cuya implicación es que deberían dedicarse a otra cosa- pero
los encargados de trazar la po1ítica a nivel superior a menudo se mos-
trarán dispuestos a prestarles oídos. COmo se ven menos obligados a
 148 Cap. 6 Utilización de los resultados de la evaluación

-dejar las cosas como están, suelen tener menos prejuicios en pro y en
contra y estar más dispuesto~ a examinar las pruebas que se aporten
en torno a la eficiencia de un programa. No sólo en esto basarán sus
decisiones; también ellos tienen que pensar ell: el ..saboru político de la
cosa, en su factibilidad, en la ideología y en los costos; pero cuentan
. con la autoridad, y a veces con los motivos, para tomar decisiones ade-
cuadas.
Otros usuarios potenciales son los encargados de trazar la política
en organismos semejantes (otras juntas de educación,· otros directores
de departamentos estatales de conservación de recursos, directores de
otros hospitales). Aun cuando los encargados de tomar las decisiones
de organismos cuyo programa está siendo evaluado no se atreven a usar
los resultados, o los utilizan sólo para llevar a cabo pequeños arreglos
en las operaciones, estos otros actores tienen que interesarse en lo que
está ocurriendo. También ellos proponen, consiguen presupuestos, ad-
rrúnistran y supervisan programas, y tienen que interesarse en propor-
cionar servicios sociales más efectivos. Cuando estalla una crisis en sus
dominios, o surgen engorrosos problemas, necesitan información súbre
otros programas y sobre el grado en que hayan alcanzado éxito, o hayan
fracasado en las circunstancias dadas. Algo les podrán enseñar los es-
fuerzos evaluativos que hayan realizado sus semejantes. Por tener me-
nos intereses creados y menos sensibilidad que el organismo que es ob-
jeto directo de estudio, quizá muesh"en también menos resistencia a los
descubrimientos. Por otra parte, como es pro~able que su situación no
sea idéntica, la aplicación de los descubrimientos tal vez suponga una
adaptación y no una pura y simple adopción. Gran parte del uso que
se le da a la investigación social lo llevan a cargo organizaciones que no
son el "cliente" local del estudio. La evaluación efectuada en relación
con programas especiales de demostración, por ejemplo, ·quizá ejerza
poca influencia en los sucesos locales porque la vida de la demostración
termina cuando se agota el presupuesto federal (o de la fundación).
Luego se detiene también "la evaluación y rara vez se le ofrece la opor-
tunidad de afectar a las decisiones en torno· a la continuación del pro-
grama en el lugar; pero los resultados de la evaluación de un proyecto
de demosh"ación son útiles para otros. Los organismos federales y esta-
tales, las fundaciones y las organizaciones nacionales que fijan normas,
diseminan información, proponen nuevas soluciones a probJernas locales
y dan dinero para esfuerzos locales necesitan saber qué es lo que da
buenos resultados y· qué es lo que no los da en diversas circunstancias,
a fin de que puedan dar su apoyo a los modelos más eficientes y pro-
pagarlos. Los legisladores que están reflexionando sobre una nueva
legislación social y sobre la .ampliación de antiguos programas pueden
utilizar las evaluaciones de demostración como clave para una atinada
asignación de recursos. Constituyen otro auditorio· más los clientes del
programa y los g7upos de la comunidad en general. Tal vez tengan un
 Mejor diseminación de los rcsultadru 149

interés particular en los resultados de la evaluaci6n, que nos muestren

cómo mejorar los servicios que reciben. Si se les puede hacer llegar el
testimonio de la investigación y con ello se logra movilizar su apoyo, ·
quizá puedan ejercer presión sobre los organismos con objeto de que
se haga un uso efectivo de los· descubrimientos.
A fin de que se efectúe cualquiera de estos usos; es necesario co-
municar los resultados de la evaluación. Esto parece hivial, pero dista
mucho 4e ser la práctica ·común. La mayoría de los informes de evalua-
ción terminan- convirtiéndose en unos cuarenta ejemplares en mime6-
grafo, de cuatrocientas cuartillas, presentados a un organisnio encargado
de un programa o de otorgar la subvención para el mismo y gnardados
en un cajón del escritorio. Con notables excepciones, es un número
relativamente pequeño el de los informes de evaluación que se tras-
mutan en artículos que aparecen en las revistas profesionales o en li-
bros. A veces, es culpable de esto la propia organización, que ha exi-
gido, como condici6n de la c~operación, que todo trabajo tenga :carácter
confidencial. A veces, el estudio ha tenido que hacer tantas concesiones
a lo largó de su ejecución que no puede presentarse como trabajo aca-
démico. De cuando en cuando, el evaluador está ·demasiado cansado
y frustrado por las tribulaciones del proceso de investigaci6n como para
poner a resguardo los descubrimientos importantes. Tal vez crea que,
más allá del caso inmediatO, los resultados no sean muy generalizables.
A veces, son los editores y las revistas quienes no se muestran dispues-
t?s a publicar trabajos sobre temas de evaluación. Creen que ésta trata
sobre información particularizada, poco teórica y demasiado práctica,
que escasamente añade al acervo de conocimientos en el mundo. A me-
dida que la evaluación vaya poniendo de relieve tanto sus fundamentos
conceptuales como los de su trabajo cotidiano y analice los componen-
tes sociales importantes, esta falta de hospitalidad profesional quizá
cambie -y entonces los evaluadores se verán motivados a poner por es-
crito su trabajo profesional.
Por el momento, es preciso buscar también otras salidas. Las noti-
cias, los resúmenes de informes de evaluación, y las bibliografías anota-
das selectivas son algunos sistemas de información que pueden orga-
nizarse, y en algunos lugares ya se han realizado, para enterar a los
auditorios adecuados acerca de los informes que están a disposición de
quienes los deseen. Deberían ser selectivos, para no inundar a los lec-
tores con una masa de información de calidad variable, gran parte de
la cual no es digna de su atención. Tienen que llegar hasta las personas
que toman las decisiones. Así también, los informes tienen que ser me-
jores -más fáciles de leer, más breves, más atractivos- y de más fácil
acceso para que la información pueda circular. El contacto -personal
constituye una mejor manera todavía de llegar hasta la gente. Un estu-
dio descubrió que la utilización de la información respecto de las de-
mostraciones que han tenido éxito fue incrementada por la asistencia ~
150 Cap. 6 Utilización de los resultados de la evaluación

conferencias en las que usuarios potenciales podían comentar el pro·

grama con los ejecutores del mismo y por las visitas al lugar de su eje·
cución, en donde podían verlo en acción. 19 Los consultores de organis·
mos federales y estatales (o de universidad o empresas privadas) pueden
también poner a circular la infmmación y acicatear el proceso de .uti-
lización.
Recientemente, varios organismos federales han establecido perso-
nal para la utilización de la investigación, consistente en una serie de
agentes que trabajan en el campo de acción. El modelo lo ha propor-
cionado el Servicio de Extensión Agrícola del Gobierno de los Estados
Unidos con su sistema de agentes distribuidos en los condados. Cuando
se trata de grandes campañas descentralizadas, ésta parece ser la única
manera factible de diseminar por· el campo de acción ·los resultados de
la evaluación. El Servicio Social y de Rehabilitación del Departamento
de Salubridad, de Educación y Bienestar, así como la Oficina de Edu-
gación del gobierno de los Estados Unidos han asignado agentes de uti-
lización a sus organismos en los estados.:w Su trabajo no consiste en
dar nueva presentación a los resultados importantes de la investigación,
hacerlos más i apetecibles y distribuirlos luego a usuarios potenciales;
más bien, el papel que ·desempeña el agente de utilización es de con-
sulta y solución de problemas. Los agentes ayudan a las delegaciones
locales a definir sus problemas y sus necesidades de conocimiento, a
recopilar la investigación que les concierne a través de los sistemas de
recursos y ayudar a ·la delega<;ión y al organismo local a adaptar la in-
formación a sus necesidades. A medida que se vayan desarrollando estoS
sistemas, quizá los agentes se vean en la necesidad de ayudar a las
delegaciOnes u organismos a poner en práctica programas basándose en
los resultados de la investigación. Deben hacer hincapié no sólo en dise·
minar inforrnes acerca de los programas que han tenido éxito, sino
también en compartir los resultados negativos y equívocos y propor-
cionar datos que concuerden con las condiciones de la acción locaL
Los programas de utilización son nuevos y es mucho lo gue aún
.19 Edward M. Glaser y Hubert S. Coffey, Utilization of Applical::le R-sem·ch
and Demonstration Results (Los Angeles: Human Interaction Research Instihlt~.
!961). Un informe ulterior muestra que aunque ·las conferencias y las consultas
pueden generar entusiasmo, no son suficientes .para determinar la adopci6n de nw'!·
vas prácticas cuando se necesitan dinero, personal y recursos generales. Véase, Ea-
ward M. Glaser y Harvey L. Ross, Increasing the Utilization of Applied Research
Result (Los Ángeles: Human Interaction Research Institute, 1911),
20 Para el "So"Cial and. Rehabilitation Service", ·véase George A. Engstrom, "Re·
search Utilization: The Challenge of Applying SRS Research'', Welfa-re in Review,
VIII, núm. -5 -(1970.), 1·7; Margaret F. Cl8.rk, "Creating a New Role: The Research
Uti.lization Specialist", Rehabilitation Record, X, núm. 6 (1969), 32·36. Respecto
del "Office of Education Pilot State Dissemination Program", aparece una breve
reseña en Report on Education Research, 22 julio de 1910. Véase también Sam D.
Sieber, ''Activities of Field Agents in Jhe U.S. O. E. Pilot State Disseffiination
Program" (Nueva York: Bureau of Applied Social Research, marzo de 1971.
 Distancia entre la evaluación y las recomendaciones 151

queda, por hacer en materia de desarrollo de papeles, definición de re-

laciones entre organismos o delegaciones y de establecer expectativas
razonables. No obstante, constituyen un adelanto muy prometedor en
lo que respecta al desarrollo del papel del intermediario entre el inves~
tigador y el usuario.
Nuestros estudios sobre utilización de la investigación nos están
enseñando que no tiene caso intentar hacerles tragar los resultados de
la investigación a personas que no están interesadas. en ellos. Por otra
parte, cuando la gente se enfrenta a una decisión·, a menudo se pone a
buscar información que la ayude. 21 Aun cuando estén buscando infor~
mación para dar mayor fuerza a un punto de vista preconcebido, el
sistema de diseminación -cumplirá una función útil. Al armar. a quienes
tienen que tomar las decision~s, cuyas opiniones coinciden con los -re~
sultaQ_os de la investigación~ con munición. convincente para defender
su caso, el sistema dota de un auditorio Y. de partidarios a la inves~
tigación.
De ninguna mariera ha terminado la búsqueda de estrategias de di-
seminación efectiva. Es mucho lo que aún queda por hacer en cada uno
. de los grandes campos, a Jin de lograr que se pueda utilizar la infor-
mación de evaluación para lo que se necesite.

LA DISTANCIA QUE MEDIA ENTRE LA EVALUACióN

Y LAS RECOMENDACIONES PARA LA ACCióN ,

En todo lo que se ha venido diciendo, hemos dado por supuesto que

los resultados de la evaluación han descubierto un camino clarp para
el mejoramiento de las cosas. A veces, no hay tal. Aun cuando se em-
plean diseños experimentales, modelos de proceso y complejas· técnicas
analíticas, hay veces en que un informe de evaluación no puede decir
sino que "el programa no está alc~nzando ]os resultados deseados". ¿Cómo
se podrían obtener conclusiones o emprender acciones con tales funda-
mentos?
Por supuesto, el horizonte rara vez está tan cerrado. Por lo común,
sabemos algunas cosas, como las de a_ue una clase de servicio ha sido
más efectiva que otras; que las muchachas han salido mejor que los
muchachos; que. las actividades patrocinadas por la comunidad han
dado mejores resultados que las patrocinadas por el estado; que los
trabajadores experimentados han salido mejor que los nuevos. Los datos
se estructurarán de manera que darán origen a algunas claves que guíen
el mejoramiento; pero si las diferencias son pequeñas, tal vez ofrezcan
un fundamento tenue sobre el cual levantar una compleja superestru:-
21 Por ejemplo, Caro! H. Weiss, The Consequences of the Study of Federal
Studsnt Loan Programs: A Case Study in the Utilization of Social Research ( Nue-
va York: Bureau of Applied Social Research, 1970).
 152 Cap. 6 Utilización de los resultados de la evaluación

tura de recomendaciones. Puesto que tiene que tratar con personas rea-
les y que prever graves consecuencias para la organización, tonto sería
el evaluador_ que se pusiese a levantar grandes· esquemas utópicos· a
partir de un conjunto de pequeñas diferencias en porcentaje. (Podrá
verse tentado a levantarlos con los materiales de su propia ideología;
· es ésta una cuestión que consideraremos más- adelante.) Así pues, una
evaluación ncis ·muestra debilidades, pero a menudo ofrece sólo muy
leves indicios de solución. Existe un hueco entre los datos y la acción
que tendrá que llenarse con intuición, experiencia, ideas que se tomen
de las bibliografías de la investigación, suposiciones adquiridas de la
teoría, de la ideología y con una determinada cantidad de pura y sim-
ple adivinanza. Avanzar a través Pe este hueco hasta Ilegar a la exne-
rimeritación de un programa nuevo, ·requiere, de quienes toman las de-
cisiones, que estén c~nvencidos de que -un nuevo ensayo es mejor que
la preservación de un error confirmado.
La evaluación nunca proporcionará todas las respuestas. L9- que sí
puede hacer -y nó es ésta una aportación de poca monta- es poner al
descubierto las deficiencias de los programas existentes y seña-lar la ne-
cesidad de cambio. A veces podrá conseguir publicidad para los fraca-
sos (y éxitos) de los programas, ayudar y despertar interés en la efi-
cacia del programa fuera de los estrictos límites de la organización y
proporcionar apoyo a los reformadores que ·tratan de mejorar las ejecu-
ciones de los programas. Tal vez el uso de mayor valor práctico·que se le
puede dar a los descubrimientos de la evaluación consiste en proporcio-
nar pruebas contundentes a fin de apoyar a quienes proponen cambios
dentro del sistema de toma de decisiones, a las personas de dentro y de
fuera del organismo que han querido cambiar los modos usuales de pro-
gramación. Los datos del estudio legitiman su causa y les dan material
abundante que citar. Otra aportación de _e;ran importancia es que plan-
.tea ·nuevas cuestiones y carribia la naturaleza y hl atmósfera de la dis-
cusión. En el transcurso del liempo. una pauta recurrente de descubri-
mientos de la evaluación podrá ir producienP.o poco a poco- cam_bios en
la opinión pública y profesional.
Con diversos grados de seguridad, la evaluación puede ofrecer tam-
bién opciones a la manera actual de ejecutar un programa. Algunas pro-
posiciones optativas podrán acorazarse con datos contundentes y un
franco apoyo; por ejemplo, los programas de rehabilitación de los cen-
tros A y D evidentemen.te están funcionando mejor que los de los centros
B y C. A veces los testimonios son menos sustanciales. De cuando en
cuando, no se encuentra ninguna prueba y el evaluador echa mano
de su conocimiento profesional a fin de ofrecer otros cursos p-osibles de
acción. No existe una regla práctica que le indique hasta dóride deberá
llegar, cuánto puede apartarse de los datos para ponerse a especular
sobre posibilidades diferentes de acción. Las circunstancias del progra-
ma y de la organización, y sus propias inclinaciones, determinarán la
 Efecto que tiene el ~'efecto pequeño" 153

latihld que a sí mismo se dé. Si está muy enterado del campo de acción,
ha tenido experiencia previa en actividades de organización semejantes
y es persona grata al patrocinador del estudio., podrá espaciarse a su an-
tojo y, tal vez el. programa saldrá muy beneficiado. Por lo común ofre-
cerá un puñado de_ sugerencias, y no una sola, para realizar los fines
(
que encuentre que no se han realizado.
Pero cuando el evaluador esté haciendo uso de conocimientos y va-
lores que quedan fuera del estudio de evaluación, tendrá el deber de
decirlo. Le corresponde indicar de manera explícita el grado en que
las recomendaciones que ofrece tienen como fundamento datos del es-
tudio, hásta qué punto son ampliaciones 16gicas de los datos y cuándo
y dónde habla sólo como un individuo. Cuando esté haciendo suposi-
ciones que se derivan de posturas ideológicas, prestará servicios a la
causa de la claridad si hace explícita su suposición y el fundamento de
la misma,_ De esta manera se ayuda a quienes toman las decisiones a
separar la opinión del evaluador de los resultados de la investigación.
Si aquellos están de' acuerdo con las recomendaciones, no por ello que-
da!án exentos de la obligación de prestar atención seria a los datos .
. Incluso se puede ir un paso más allá del simple sugerir otras posi-
bles maneras de acción. El evaluador concienzudo puede pasar a efec-
tuar un análisis de las consecuencias probables, buenas y malas, de los
cursos de acción opcionales qUe está recomendando. Sobre todo, si las
sugerenciaS que hace difieren notablemente de los modos acostumbra-
dos, será útil ·contar con una ponderación ilustrada de las consecuencias
l?OSibles; pero al llegar a este punto en nuestra exposición, vemos que
hemos pasado más allá de sus contribuciones como evaluador, y hemos
llegado al reino de sus conh·ibuciones como analista de la política· y
participante en el proceso d~ toma de decisiones.

EL EFECTO QUE TIENE EL "EFECTO PEQUEl'<O''

Uno de los impedimentos más graves que se oponen al uso de los

result-ados de la evaluación consiste en su desalentadora tendencia a
mostrar que los efectos del programa han sido pequeños. Como señala
Flinson, 22 evaluaciones competentes han señalado que se han obtenido
resultados negativos en multitud de campos. Así ha sido en los de la
psicoterapia, las. correccionales, la educación compensatoria, la vivienda,
en la mayoría de los campos a los que se ha prestado seria atención eva-
luativa. De tal manera, el evaluador se ve en situación de decretar la
"muerte" del programa de alguien. Puesto que los programas viejos,

22 Jack Elinson, "Effectiveness of Social Action Programs in Health and Wel-

' fare", en la obra Assessing the Effectiveness of Child Health Services, Report of the
Fifty-sixth Ross Conference on Pediatric Re.search ( Columbus, 0.: Ross Labora-
tories, 1967), págs. 77-81.
154 Cap. 6 Utilización de los resultados de la evaluación

consagrados~ rara vez se evalúan, es el programa que se: atreve a innovar

el que carga con todo el peso. La faceta negativa de los resultados de
la evaluación ha tenido como efecto debilitar a los reformadores y eli-
minar a los programas innovadores. Programas cubiertos de moho -mu-
chos de_ los cuales saldrían ganando si se les echase una mirada pro-
longada y clara- ahí se están sin que nadie los examine. Algunos
observadores han señalado que el efecto emocional de gran parte de la
evaluación -ha consistido en prestar ayuda y consuelo a los bárbaros,
aunque los resultados prácticos sean quizá nulos. Los programas pare-
cen sobrevivir sin que nada les importe.
Una evaluación excepcionalmente rigurosa de un programa de orien-
tación de grupo para internos de las cárceles descubrió que los r~sul­
tados, para los participantes en él, no fueron mejores que para los éon-
troles.23 El departamento estatal de prisiones no sólo no interrumpió
la ejecución del programa, sino que lo extendió a todas las cárceleS del
departamento y, en algunas instituciones,. hizo obligatoria la participa-
ción de los presos. Los evaluadores, Ward y Kass-ebaum sospechan que
la principal reacción a sus descubrimientos consistirá en negar el ac-
ceso a las cárceles a los investigadores de fuera. El departamento tra-
tará de utilizar a su propio personal para la evaluación y luego limita-
rá la ·circulación de los informes decepcionantes. 24 La propensión a lo
negativo quizá haga que los administradores y los ejecutantes de pro-
gramas sutiles y complejos se muestren cada vez más desconfiados res~
pecto de las "aportaciones" de la evaluación. A medida que se vaya
corriendo el rumor, los programas sociales tal vez se vuelvan, por lo
general, menos hospitalarios para la ev~luación. Otra línea de defensa
consiste en concebir razones plausibles a fin de justificar programas que
para la evaluación han sido un fracaso. Stember, al reflexionar sobre
los datos relativos a que la integración en el aula no ha ejercido resul-
tados positivos en las actitudes raciales o en el aprendizaje, se pre-
gunta por qué las decisiones deberían verse afectadas por los resultados
estimados según estos criterios. La integración es ética y legalmente
cOrrecta, como principio democrático. 25 De manera semejante, Lerman
ha descubierto que los programas de tratamiento de las instituciones
para delincuentes no ejercen una influencia apropiada por lo que toca
a reducir el porcentaje de delincuentes puestos en libertad que vuelven
a infringir la ley. No obstante, saca en conclusión que los programas de

23 David A. Ward y Gene G. Kassebaum, "On Biting the Hand That Feeds:
Sorne Implications of Sociological Evaluations of Correctional Effcctiveness", en
Evaluating Action Programs: Readings in Social Action and Education, Caro! H.
Weiss (dir.) (Bastan: Allyn & Bacon, Inc., 1972), págs. 300-310.
2-t Ibídem, págs, 308-310.
25 Charles H. St€imber, "Evaluating Effects of the Integrated Ciassroom", Urban
Reoíew, II, núm. 7 (_1968 ), 3-4, 30-31.
 11
1
Efecto que tiene el "efecto pequeño" 155

tratamiento deberían conservarse, porque no aumentan el porcentaje

de fracasos y son más humanitarios. 26 Ambas conclusiones parecen ra-
zonables, pero de manera semejante la fnndamentación razonada. de
cualquier progra~a inefic.az puede cambiarSe sin efectuar el arduo
trabajo intelectual y de desarrollo que se requiere· para producir pro-
gmmas que den resultados.
La frecuencia con que se Jlega a resultados nulos en la investiga-
ción de evaluación tiene graves concomitancias pa~a la política social,
entendida en la acepción más amplia del término. Indica que muchos
de nuestros esfuerzos en pro del cambio social están mal concebidos y
ejecutados. Las partes más fáciles de la tarea se han realizado en los
campos de la educación, de la salud y en otros más. Al enfrentarnos a
los problemas restántes, comienzan a manifestarse los rendimientos de-
crecientes. Es cada vez más difícil avanzar;· pero, como sociedad, nos
repugna renunciar a procedimientos que en otro tiempo parecieron dar
buenos resultados.
La evaluación, con su cúmulo de resultados negativos, nos está ha-
ciendo llegar un mensaje de capital importancia. Las viejas ideas y pro-
cediniientos no están dando resultados en muchos campos de impor-
tancia crítica. La intervención social está agobiada por una serie de
defectos ·a insuficiencias importantes (pero no necesariamente insupe-
rables. Una de ellas es el "~stado del conocimiento" en las 'ciencias so-
ciales. No basta con tener programas basados en la sabiduría intuitiva
y en extrapolaciones de pasadas experiencias. Es preciso llevar a cabo
importantes .esfuerzos teóricos de investigación. Aun en el estado actual
del conocimiento, los programas no ponen en práctica todo lo que se
sabe. La mayoría de los programas nacen- con raíces en organizaciones
existentes, profesiones tradicionales, -procedimientos establecidos. En
vez de una programación innovadora, lo que tenemos es un hacer tramM
pa con la mezcla, como ante~. Además, con frecuencia se administran
muy mal los programas. En muchos campos no se ha prestado sufi-
ciente aterición a forjar las destrezas administrativas que puedan con-
ducir al uso óptimo del tiempo y del talento. Así también, la estruc- ·
tura de los programas ha sido a menudo deficiente. Se crean proyectos
fragmentarios -para tratar problemas de amplio aspecto. Cada programa
trata una faceta- de una cuestión compleja, de múltiples relaciones, no
sólo carente de coordinación con esfuerzos complementarios, -sino que
a menudo compite y empuja en pos del poder y del prestigio. Moynihan
ha afirmado recientemente que las condiciones actUales, en los Estados
Unidos, requieren políticas integradas, en vez de programas por partes.
El día en que un solo programa, por más grande que fuese su escala,

20 Paul Lermañ, ..Evaluative Studies of Institutions for Delinquents: ImplicaM

tions for Research and Social Policy", Social Work, XII, núm. 4 (1968), 55~(!4.
 156 Cap. 6 Utilización de los resultados de la evalua_ción

podía resolver eficazmente graves males sociales está llegando a su

fin.27
Es mucho lo que aún queda por hacer para mejorar la programaci6n
social. Se han ensayado muchas soluciones moderadas baratas, fragmen-
tarias, y la investigaci6n evaluativa ha descubierto que son deficientes.
Si" querernos tomar en serio los resultadDs de·Ia evaluación, nos veremos
obligados a larizamos a una experimentación social de carácter más fun-
damental.28 Las instituciones sociales tendrán que decidirse a correr ries-
gos más grandes en la búsqueda de programas verdaderamente eficaces.
La ·evaluación puede llegar a convertirse en útil compañero de esta
búsqueda, si se le proporcionan los presupuestos y las condiciones para
someter a prueba proyectos experimentales en pequeña escala. A me-
. dida que los programas se vayan constmyendo sobre mejores funda-
mentos en el conocimientó, se cuente con mejores ordenamientos de
carácter estructural en las organizaciones y se 'establezca ·una integra-
ción más grande con instituciones afines y con los procedimientos polí-
tivos de carácter más general, la evaluación tendrá que desempeñar otro.
papel más. Podrá. estimar con considerable precisi,ón la eficacia de las
innovaciones, ~sí como determinar cuáles son los rasgos que no poseen
eficacia y cuáles son los que deberán preservarse para un desarrollo ul-
terior. A pesar de todas sus insuficiencias y defectos, la investigación
evaluativa cuenta, no oQstante, con la capacidad potencial de dotar de
una mayor racionalidad a la toma de decisiones de carácter sociaL

27 Daniel P. Moynihan, "Policy vs. Program in the 70's", The Public Interest,
núm. 20 (1970), 90-!00.
28 Carol H. Weiss, "The Politicization of Evaluation Research", .Tournal of So- :!
cial Issues, XXVI, núm. 4 (1970), 57-68.