House Evaluacion

Col ecci n PEDAGOGIA
Manual s
Eval uaci n, tica y poder
Por
Ernest R. HOUSE
TVeduccin de
Pablo Manzano
Col ecci n PEDAGOGIA
Manual s
Por
Ernest R. HOUSE
TVeduccin de
Pablo Manzano
Ernest R. HOUSE
Tercera edi ci n
ed i c i o n es mo r a t a , s . l .
Fundada por Javier Morata, Editor, en 1920
C/ Meja Lequerica, 12
28004 - MADRID
Ttulo original de la obra:
E val uat ing wit h val idit y
Ernest R. House.
Publicada originalmente por Sage Publications Inc., 1980.
Primera edicin: 1994
Segunda edicin: 1997 (reimpresin)
Tercera edicin: 2000 (reimpresin)
e-mail: morata@infornet.es
pgina web: http:/ / www.edmorata.es
No est permitida la reproduccin total o parcial de este libro, ni su tratamiento informtico, ni la transmisin
de ninguna forma o por cualquier medio, ya sea electrnico, mecnico, por fotocopia, por registro u otros
mtodos, sin el permiso previo y por escrito de los titulares del Copyright.
Biblioteca U.N.S.C.H.
INGRESO 145758
EDICIONES MORATA, S. L. (2000)
Meja Lequerica, 12. 28004 - Madrid
Derechos reservados
Depsito Legal: M-27.971-2000
ISBN: 84-7112-389-4
Compuesto por: ngel Gallardo
Printed n Spain - Impreso en Espaa
Imprime: CLOSAS-ORCOYEN. Paracuellos del Jarama (Madrid)
Ilustracin de la cubierta: Postal publicitaria de Fsforo Ferrero. Reproducida con
permiso de Syntex Latino.
CMVERHM MCIMflL K W
m n l M l M BAHAMA
UNIDAD DE ALMACEN
Ptcasa N* :__&/J L_______
Fecha:.44MURr-Wa^
Valon S/. /LLQ.------
S. ' ______
CONTENIDO
Pgs.
SOBRE EL AUTOR................................................................... ...... 10
AGRADECIMIENTOS.......................................................................... 12
PREFACIO........................................................................................... 13
PRIMERA PARTE: Los enfoques de la eval uacin............................ 15
CAPTULO PRIMERO: El evaluador en la sociedad............................ 17
Evaluacin privada y evaluacin pblica, 18.El proceso de evalua
cin, 20.
CAPTULO II: Los enfoques principales............................................. 23
El enfoque de anlisis de sistemas, 25,El enfoque de objetivos con
ducales (o basado en metas), 28.El enfoque de decisin, 29.B
enfoque que prescinde de los objetivos, 31 El enfoque del estilo de
la crtica de arte, 33 El enfoque de revisin profesional (acredita
cin), 35.El enfoque cuasijudicial (contradictorio), 38.El estudio de
casos (o negociacin), 40.Otros enfoques, 43.
CAPTULO III: Premisas en las que se basan los enf oques............... 45
Liberalismo, 45.tica subjetivista, 48.La epistemologa objetivista
liberal, 49.La epistemologa subjetivista, 55.Premisas polticas de
los modelos: los utilitaristas, 58.Premisas polticas de los intui-
cionistas-pluralislas, 59.
SEGUNDA PARTE: Los criterios fundamentales de la evaluacin: ve
racidad, belleza y j ust i ci a............................................................ 63
CAPTULO IV: La lgica de la argumentacin eval uative................... 65
El gran terremoto que se va a producir en California, 65.Equivocktad
Ediciones Morata, S. L
Eval uaci n, ti ca v p0(j er
de las pruebas: certidumbre frente a credibilidad, 66.La evaluacin
como persuasin, 69.Los destinatarios de la evaluacin, 72.Las
premisas del acuerdo, 75.La argumentacin cuantitativa, 77.La
argumentacin cualitativa, 80.Revisin de la objetividad, validez e
imparcialidad, 83.El discurso evaluativo: la buena vida (junto a la
falla de San Andrs), 90.
CAPITULO V: Coherencia y credibilidad. La est t i ca.......................... 93
El conductor ebrio, 93.La trama, 97.La forma, 101. Outward
Bound" (Salida), 103.Autenticidad, 106.La belleza del conductor
ebrio, 109.
CAPTULOVI: Justicia........................... . ... .. .... ................. 112
Utilitarismo, 11A.Pluralismo/Intuicionismo, 118.J usticia como equi
dad, 120.La utilizacin de las teoras de la justicia, 126.
TERCERA PARTE: Los principios de la eval uaci n............................ 129
CAPTULO VII: La democratizacin de la eval uaci n.......................... 131
La poltica de la eleccin, 131 .Evaluacin democrtica libe
ral, 133.Intereses, 134 7 inters pblico en la evaluacin, 137.
Concentracin de poder frente a difusin de poder, 140.Principios
distributivos, 142.a evaluacin como procedimiento de decisin
moral, 145.
CAPTULO VIII: Un contrato de evaluacin equi t at i vo........................ 148
La caracterizacin de la equidad, 149 Algunas condiciones para
un contrato equitativo, I50. Reflexiones sobre las condiciones de
equidad, 158.Hasta qu punto es vinculante el contrato?, 160.
CAPTULO IX: Poder y deliberacin........................... ........ 162
Las debilidades del liberalismo, 162.Poder e intereses, 164.Poder
y autoridad, 167.Deliberacin, 169.Determinacin colectiva de las
opciones, 173 El fundamento moral de la evaluacin, 175.La con
cepcin subyacente de justicia, 176.
CUARTA PARTE: Metaevaluacin........................ . . V . . . . / / : . , 183
CAPTULO X: La objetividad, equidad y justicia de la poltica federal
de evaluacin...................... ................................................... 185
La poltica federal de evaluacin, 185.Los comienzos del Folow
Through", 188.La fase Egbert/Stanford Research Institute: 1968-
1971,189 La fase McDaniels/Huron Institute: 1972-1973, 192.La
fase Evans/Abt Associates: 1974-1977,194.a lgica de la evalua
cin, 197.Objetividad, 200.Equidad, 202.Justicia, 204.Una re
visin de la poltica federal de evaluacin, 206.
CAPTULO XI: Crtica de los enf oques.................... ............ 209
El Anlisis de sistemas, 210.Objetivos conductuaes, 211.Deci
sin, 213 Independencia de los objetivos del programa, 215.Crtica
ttmm Morato. f .
Cont eni do___________________________________________________
de arte, 218.Revisin profesional, 221 .Cuasijudcial, 224.Estu
dio de casos, 227.
CAP TULO XII: La real i zaci n de eval uaci ones vl i das......................... 231
APNDI CE A: Un anl i si s de la l gi ca de una eval uaci n.................... 239
Formas de razonamiento, 239.Anlisis de la "Educational Product
Evaluation" de Glass, 244.Anlisis de la respuesta de Scriven a
la evaluacin de Glass, 250.
APNDI CE B: La eval uaci n nat ural i st a.................................................. 255
APNDI CE C: Un cont rat o de eval uaci n................................................ 259
BI BLI OGRAF A................................................................................................. 262
OTRAS OBRAS DE EDICIONES MORATA DE I NTERS......................... 270
Sobre el aut or
Emest R. House es profesor de Administration, Higher and Cntinuing
Education del Center for tnstructional Research and Curriculum Evauation
(CIRCE) de la University of Illinois en Urbana. Se gradu con el de Bachelor
en la Washington University en 1959 (graduacin Phi Beta Kappa), ejerci
la docencia en educacin secundaria, gradundose como Master en la
Southern Illinois University en 1964 y obteniendo su doctorado en la University
ofllinoisen 1968.
Su primer proyecto consisti en una evaluacin a gran escala del Illinois
Gifted Program. Desde entonces, se ha dedicado a evaluar diversos pro
gramas educativos y sociales. En los ltimos aos ha trabajado en la eva
luacin de evaluaciones. Con anterioridad ha publicado los siguientes libros:
School Evauation: The Politics and Process (1973), The Politics of Educational
Innovation (1974) y Survival in the Classroom (con S. Lapan, 1978). Ha sido
consultor de muchas organizaciones de los Estados Unidos y de otros
pases. En 1976, fue presidente del congreso anual de la American Educa
tional Research Association y en la actualidad pertenece al consejo de
redaccin de Educational Evauation and Policy Analysis.
El individuo instruido aunque imprudente, que camina en lnea recta
desde las verdades generales a la particulares, se pierde en medio de
las tortuosas sendas de la vida. Pero el sabio que, en medio de las 1
vueltas e incertidumbres de la accin y de los acontecimientos huma
nos, mantiene su mirada fija en la verdad eterna, sigue una via indirecta,
cuando no puede proseguir por la lnea recta y, en el terreno de la
accin, toma decisiones que, con el tiempo, se muestran tan prove
chosas como lo permite la naturaleza de las cosas.
Giambattista Vico.
On the Study Methods of Our Time, 1709, pg. 35.
AGRADECIMIENTOS
Este libro constituye la culminacin de mis cinco ltimos aos de trabajo.
Diversas personas han aportado su contribucin significativa al mismo. Gene
Giass y Rochelle Mayer lo han revisado y han influido ampl iamente en las
ideas que se exponen. Steve Lapan, Don Ho gben y Barry M a c Do n a l d han
desarrollado conmigo muchos de estos pensamientos hasta extremos, a
veces, inconcebibles. Mis colaboradores del CIRCE (Gordon Ho k e , Tom
Hast j ngs, Bob St ake y Harry Br oudy) me han proporci onado un ambiente
excepcionalmente estimulante en el que trabajar.
Mike At ki n, decano de Illinois durante estos aos, ha alentado de forma
especial mis esfuerzos. Tom Sergiovanni, director de mi departamento, se
ha mostrado muy generoso a la hora de repartir las tareas. Muchos alumnos
de CIRCE han hecho lo posible para evitar que me desvi ase en diversas
cuestiones y les agradezco su ayuda en determinados captul os. Ot ra tarea
ingrata, desarrollada con todo entusiasmo por Jeri W i l l e n y Donna Koeni g,
ha sido la de trabajar con mis manuscritos.
PREFACIO
Este libro se dirige a los evaluadores y a quienes deseen adquirir un
conocimiento ms profundo de la evaluacin moderna, qu es y adnde se
dirige. Su objetivo consiste en lograr que la prctica de la evaluacin sea
ms reflexiva. Para ello, el libro presenta una conceptualizacin global de la
evaluacin moderna, que va desde los enfoques principales hasta las normas
y principios que deben presidir esa prctica, y la crtica de aquellos enfoques
sobre la base de tales normas.
El panorama actual de la evaluacin se caracteriza por la vitalidad y el
desorden. La escala a la que se llevan a cabo las actividades de evaluacin,
su omnipresencia y diversidad hacen difcil su comprensin, incluso a quienes
se mueven en este campo. Ms alarmante an es el hecho de que una
mala evaluacin puede deteriorar un programa social y ocasionar perjuicios
a toda una clase social. La importancia social de la evaluacin es enorme;
su interpretacin, relativamente insignificante. Esperamos que este libro con-
tribuya a un orden conceptual ms completo y evidente, y a un sentido ms
decidido de responsabilidad moral.
La Primera parte del libro se ocupa de la caracterizacin de las modernas
tentativas de evaluacin. En el Captulo Primero se describen las formas
actuales de evaluar, mostrando cmo, en un contexto moderno, la evaluacin
no slo difiere de los intentos precedentes en cuanto al mbito que abarca,
sino tambin en sus caractersticas esenciales. En el Captulo II, afirmamos
que hay relativamente pocos enfoques de la evaluacin, a pesar del esfuerzo
masivo que se lleva a cabo, describindolos con detalle. Establecemos una
taxonoma de los enfoques fundamentales de la evaluacin. En el Captu
lo III, relacionamos entre s de forma sistemtica los distintos enfoques
fundamentales a partir de sus supuestos bsicos subyacentes de caracter
epistemolgico, tico y poltico, explicando dichos supuestos. Al caracterizar
los enfoques preponderantes en la actualidad, damos por supuesto que los
evaluadores actan de manera racional, o sea, que tienen buenas razones
Q Eckxww Mism S
14
Evaluacin, ti ca y poder
para hacer lo que hacen, aunque ello les lleve a adoptar enfoques dife
rentes.
La Segunda parte del libro consiste en una reflexin sobre los niveles
de verdad, belleza y justicia necesarios para orientar y juzgar la calidad de
una evaluacin. La veracidad en la evaluacin tiene ms implicaciones que
en el caso de la verdad en la ciencia, al menos eso se dice. La belleza,
que se manifiesta en la coherencia y la imaginacin en la evaluacin, tiene
una influencia sustancial en la credibilidad que otorgue un pblico concreto
a la evaluacin. Por ltimo, el sentido de la justicia con el que actuemos
tiene importantes consecuencias para el tipo de evaluacin que llevemos a
cabo y para los resultados de la misma. Revisaremos las concepciones de
la justicia y sus consecuencias sobre la evaluacin.
La Tercera parte del libro trata de extraer los principios polticos y morales
sobre los que debe basarse la evaluacin. Se la concibe como un aspecto
de los procedimientos ms generales de decisin social. Se limita a la
persuasin racional. Estudiamos qu significa el que una evaluacin sea
aceptable desde los puntos de vista democrtico y moral. En sentido ms
prctico, afirmamos que, para considerar equitativa una evaluacin, hace
falta que se cumplan determinadas condiciones. Por ltimo, indicamos que
el fundamento subyacente de la evaluacin consiste en valores morales
considerados en el marco de una concepcin pluralista de la justicia.
La Cuarta parte del libro constituye una crtica de la poltica federal de
evaluacin y de sus principales enfoques. Cada uno tiene sus Virtudes y
sus defectos, tanto desde el punto de vista terico como del prctico, pero
ninguno tiene valor universal. El libro acaba con una exposicin del carcter
de la validez en la evaluacin sosteniendo que, para que sta se considere
vlida, ha de ser veraz, creble y correcta, desde el punto de vista normativo.
El objetivo del libro consiste en conseguir que la prctica sea ms autorre-
flexiva
Pr i mer a par t e
Los enfoques de la evaluacin
El primer paso para que los hombres se comprendan consiste en
hacer que reconozcan el modelo o modelos que dominan y penetran
su pensamiento y accin. Como todos los intentos de hacer conscientes
a los hombres de las categoras con las que piensan, se trata de una
actividad difcil y, a veces, dolorosa, que produce con facilidad resultados
profundamente inquietantes. La segunda tarea consiste en analizar el
modelo en s, lo que compromete al analista respecto en su aceptacin, j
modificacin o rechazo y, en este ltimo caso, en la elaboracin de
otro ms adecuado que lo sustituya.
Isaiah Be r l n . !
Philosophy, Politics and Society, 1962, pg. Vil. i
1
oi i ms m m i m oc
SMCJSrCBAL DtHtIAMAHG
nSLlQTgC
c a p t u l o p r i mer o
El eval uador en la soci edad
Separar lo malo de lo bueno es, desde muy antiguo, una actividad
humana, esencial para la misma sociedad. Aunque a menudo se ha conce
dido autoridad a las instituciones para hacer juicios de valor, slo en los
ltimos tiempos se ha formalizado la evaluacin de los programas pblicos
de manera que constituya una actividad independiente como tal e incluso
una nueva disciplina.
En los ltimos veinte aos, la evaluacin se ha convertido en una actividad
importante al surgir los programas de bienestar a gran escala. Cada ao, se
llevan a cabo decenas de miles de evaluaciones de programas pblicos,
slo en los Estados Unidos. Miles de personas estn empleadas en estas
evaluaciones y cientos de universidades y empresas compiten para conseguir
contratos de evaluacin. La mayor parte de las evaluaciones estn patroci
nadas por el gobierno federal; otras lo estn por los gobiernos de los
estados y los ayuntamientos. La evaluacin de los programas pblicos se
ha convertido en una actividad exigida por la legislacin y cada ao se in
vierten en ella cientos de millones de dlares.
Tant o por su omnipresencia, como por el papel que desempea, la
evaluacin tiene gran relieve social, y transforma, justifica o desacredita ios
programas pblicos. La enorme cantidad de las actividades de eval uacin
hacen difcil la supervisin. No siempre las eval uaciones de los programas
pblicos son de buena calidad. Con excesiva frecuencia, los evaluadores
se limitan a hacer lo que quieren sus patrocinadores. Demasiado a menudo
confunden el carcter de su trabajo y no hacen justicia a los programas
sociales que evalan. No se trata de que los evaluadores sean ms i ncom
petentes o avariciosos que las personas que se dedican a otras ocupaciones,
sino de que las posibilidades de causar daos suelen ser ms amplias,
menos evidentes y ms perdurables.
Este libro pretende fomentar la reflexin en la eval uacin Parece nece
sario basar la evaluacin en alguna forma de responsabilidad moral, de
18
Evaluacin, t i ca y poder
manera que las reflexiones sobre su justicia, veracidad e, incluso, belleza
configuren su prctica. Deben existir consideraciones morales que tras
ciendan el marco de los cientos de organizaciones y miles de evaluadores
que tratan de atraer la atencin de unos pocos patrocinadores. Sin embargo,
estas consideraciones no pueden derivarse o imponerse de f orma arbitraria,
sino desarrollarse a partir de un anlisis racional de lo que es la eval uacin
y de lo que parece razonable a los que la realizan como f undamento de
una prctica consciente.
Evaluacin privada y evaluacin pblica
La evaluacin moderna es descendiente directa del modernismo. La
modernizacin era la liberacin de la tradicin, el paso de una realidad
incontrovertida ofrecida por la tradicin, a un contexto social en el que todo
es controvertible y mutable; era el paso de lo dado a la opci n" (Ber ger ,
1974). En el mundo moderno, podan escogerse ms cosas. Se supona
que esto traera una vida material mejor y un desarrollo personal ms
profundo. En realidad, la modernizacin ha llegado a tal extremo que la
misma opcin se ha convertido en un problema. La eval uacin aparece
como elemento de ayuda para poder elegir.
En poca ms reciente, la realizacin de evaluaciones f ormales a escala
masiva, el patrocinio brindado por los gobiernos a las eval uaci ones y la
proliferacin de organismos que las efectan han pl anteado probl emas
nunca vistos antes. Pensemos en una mujer que elige por su cuenta y
riesgo. Acude a una tienda de automviles para comprar un coche nuevo.
Visita los concesionarios cuyos vehculos puede adquirir y mira los coches
disponibles. Tras un regateo con el vendedor respecto del precio, escoge el
coche pequeo ms barato. Le gustan los coches pequeos y no quiere
tener que esperar un par de meses hasta que se lo entreguen. Para ella
son importantes el precio de compra, el tamao y la posibilidad de entrega
inmediata. No le preocupan demasiado ni el color ni los accesorios. Ll eva a
cabo su propia evaluacin para su satisfaccin particular.
Pensemos ahora en una situacin en la que el exceso de opci ones po
sibles abruma a la persona en cuestin. Hay tal cantidad de vehculos
disponibles que no sabe ni por dnde empezar y, adems, el comprador no
es experto en mecnica. Una organizacin, como la Consumers Union*, le
ofrece sus servicios: evala en su nombre los coches y le dice cul le con
viene ms. El interesado puede conseguir sus informes de eval uaci n de
automviles. Ahora bien, en este caso, el evaluador es distinto de la persona
que decide. Ambas situaciones difieren en varios aspectos.
Cmo debe proceder el evaluador? Para que la eval uacin sea til, ha
* El equivalente en Espaa sera la Organizacin de Consumidores y Usuarios (OCU).
(N. (ME.}
0 tOorm Mofla, 8 L
de seleccionar normas de valoracin adaptadas a los gustos y necesida
des de la interesada. SI no la conoce, es difcil que adivine sus preferencias
personales. Pasar por alto la forma externa; la interesada puede hacer tal
eleccin sin ayuda. La entrega inmediata es un problema circunstancial. El
evaluador tambin lo dejar de lado, salvo como factor limitador. Por su
puesto, a todo el mundo le interesa el precio de compra. Adems, el eva
luador tendr en cuenta en su valoracin la economa de consumo de
combustible y otros aspectos por el estilo, dejando de lado la velocidad
mxima como criterio.
El evaluador tiene que tomar otras decisiones importantes tambin. Qu
coches ha de evaluar? Cuando la mujer efectuaba la evaluacin por su
cuenta, defina el conjunto de vehculos que le servirla de base para elegir.
Para el evaluador no es una cuestin sin importancia, porque los resultados
variarn de modo espectacular segn los coches que incluya en su compa
racin. Ti ene que seleccionar un conjunto que evaluar. Aplicar las normas
por l elegidas al conjunto de coches. En la medida en que se ajusten
mejor o peor a las normas, los calificar como buenos o malos (lo que
supone una comparacin con todos o con el "coche medio") o clasificar
los automviles del mejor al peor, dependiendo de cmo haga la comparacin
en el conjunto seleccionado. Por ltimo, elaborar su informe.
En ese momento, la consumidora tiene que optar de nuevo; debe decidir
si acepta o no la evaluacin. Ha de cumplir determinados requisitos; tomara
ella como punto de partida los vehculos preseleccionados? Las normas
utilizadas son pertinentes respecto a su decisin? Al emitir sus juicios finales,
el eval uador sopesa las normas empleadas como lo hubiera hecho ella
mi sma? Y todava ms importante: es veraz la evaluacin?, puede fiarse
de ella?, es fiable el evaluador?, le paga alguna de las empresas auto
movilsticas?, tiene credibilidad la eval uacin? La consumidora sigue te
niendo libertad para aceptar o rechazar los resultados y consejos de la
evaluacin. Aunque la evaluacin se haya convertido en un proceso social
que establece un vnculo entre el evaluador y la consumidora, la eleccin
final le compete a sta.
Pensemos ahora en una tercera situacin. El gobierno financia a un
eval uador para que valore un programa de accin social. En este caso,
para quin se realiza la evaluacin?: para el gobierno?, para el pblico?,
para los beneficiarios del programa?, para los administradores del mismo?
La respuesta no es sencilla porque los resultados afectan a todos estos
grupos. Sin embargo, aqu no existe un individuo concreto, como en el caso
de la compradora de coches, a quien pueda dirigirse la eval uacin. Hay
muchas personas interesadas, porque las decisiones sobre un programa
basadas en la eval uacin afectarn a todos. La eval uacin f orma parte, de
manera f undamental e inextricable, de una situacin pblica: una decisin
colectiva.
A diferencia del contexto privado, el consumidor insatisfecho no puede
conf ormarse con dejar de lado la evaluacin despus de encontrara i na
ceptable porque sta le afectar de alguna manera. El carcter publi co de
20
Eval uaci n, ti ca y p0der
la situacin impone ciertas limitaciones a la evaluacin. Al cabo del tiempo,
quedan magnificados todos los problemas relacionados con la seleccin de
normas apropiadas y la eleccin de comparaciones adecuadas. Sin embargo,
los evaluadores tienen que escoger y han descubierto distintos modos de
habrselas con este problema. Los enfoques adoptados por ellos de ah
el moderno predicamento del evaluador constituyen el tema inicial de
este libro. La mayor o menor adecuacin de estos enfoques es su final.
Entretanto, tratar de establecer las normas de eval uacin que conduzcan
a estos juicios de adecuacin.
El proceso de evaluacin
En su sentido ms sencillo, la evaluacin conduce a una opinin fundada
de que algo es de un cierto modo. No tiene por qu llevar a una decisin
respecto a una determinada forma de actuar, aunque hoy da a menu
do pretende tal cosa Podemos valorar a Csar como un gran general sin
que de ello se derive ninguna decisin. La evaluacin aboca a un juicio
acerca del valor de algo.
Con frecuencia, se llega a tal juicio mediante la calif icacin o clasifica
cin de algo segn cumpla mejor o peor un conjunto de normas o crite
rios. La evaluacin es comparativa por naturaleza, y suele presentarse ex
plcitamente como tal Esto significa que ha de existir un conjunto de normas
y una clase con la que comparar el objeto. Si ste se califica como bueno
o malo, la clase de comparacin est constituida por toda la clase de
objetos o por el objeto promedio de la clase. Si el objeto recibe la clasificacin
de mejor" o peor", se le compara directamente con un subconjunto concre
to de objetos similares; por ejemplo, un coche se compara con otros cuatro
en cuanto a su precio. Los coches se clasifican por orden, indicando el
nivel relativo de cada uno, en relacin con esta norma y en comparacin
con los otros cuatro, aunque sin necesidad de asignar una valoracin al
grupo de coches como tal. El mero hecho de sel ecci onar una clase de
comparacin puede provocar una diferencia espectacular en la evaluacin,
aunque las normas utilizadas sean las mismas ( T a y l o r , 1961).
Por tanto, la evaluacin supone, por naturaleza, adoptar un conjunto de
normas, definirlas, especificar la clase de comparaci n y deducir en qu
grado el objeto satisface las normas. Cumplimentadas estas etapas, el eva
luador debe poder llegar a establecer un juicio sobre el val or del objeto
evaluado (Tayl or , 1961). Muchos enfoques, como los de los estudios de
casos, presentan las normas, comparaciones y juicios de f orma ms implcita
e Intuitiva. Algunos tienden ms a la comprensin que al juicio.
Es frecuente que el juicio de valor se exprese como bueno o malo, o
mediante otras frmulas valorativas, pero no hace falta que as sea. En
determinados contextos, pueden utilizarse expresiones descriptivas ordi nari as
para expresar juicios de valor. Los ejemplos y ancdotas pueden t ransmi t i r
t tbkmtt Monta. S. L
mensajes de evaluacin. El juicio de valor estriba en la forma de utilizar las
expresiones ms que en estas mismas.
Los juicios de valor que se desprenden de las evaluaciones no equivalen
a directrices. Slo podemos orientar a alguien de manera razonable para
que haga algo si est en sus manos hacerlo. Podemos hacer juicios de
valor sobre cosas cuya modificacin se nos escapa. Sin embargo, en la
prctica moderna de la evaluacin, se pide a menudo al evaluador que
ayude al responsable de las decisiones cuando trata de decidir entre distintos
cursos generales de accin. stos se transforman en los objetos evaluados.
Los juicios de valor pueden convertirse en recomendaciones, pero, aun en
ese caso, el responsable de la decisin goza de libertad para dejar de lado
el consejo del evaluador.
En el caso ms sencillo de evaluacin, en el que evaluador y responsable
de la decisin es la misma persona, es ms fcil seleccionar la clase de
comparacin y adoptar un conjunto de normas. Sin embargo, el proceso
real de evaluacin es ms complejo de lo que parece. Las personas no
slo evalan mediante la aplicacin de normas, sino comprobando tambin
sus juicios en situaciones particulares cuyos resultados creen conocer. El
razonamiento real de evaluacin se desarrolla como un proceso dialctico
entre principios abstractos y casos concretos ms que como una deduccin
directa a partir de las normas (Ba r r y, 1965).
Es ms, en una evaluacin real, las normas pueden ser contradictorias.
Queremos un coche amplio y tambin un automvil que consuma poca
gasolina. No podemos conseguir el mximo respecto de ambas caracters
ticas de manera simultnea. En estos casos, nos inclinamos al equilibrio
entre ellas, plantendonos cunta amplitud queremos en relacin con el
consumo que deseamos. En vez de dar una preferencia absoluta a una
u otra norma, optamos por determinar la inclinacin por normas contra
dictorias mediante consideraciones intuitivas de las proporciones de ambas.
Qu amplitud estamos dispuestos a sacrificar en beneficio de cunta eco
noma de consumo? Estas proporciones relativas varan de una persona a
otra. La evaluacin es un proceso complejo aun cuando se concibe como
una operacin personal.
Cuando evaluador y responsable de las decisiones son personas distintas,
se aade otra dimensin. Est en juego la credibilidad del evaluador y.
adems, en ese caso ha de comunicarse de alguna manera la evaluacin
al responsable de la decisin. Existe una mayor incertidumbre respecto a la
clase de comparacin y las normas que emplear y a las proporciones
relativas que asignar a las normas. El responsable de la decisin no soto ha
de preocuparse de que los datos sean correctos, sino tambin de si el
evaluador los presenta de forma veraz. En las sociedades liberales moder
nas, esta relacin se concibe an como un acto privado, aunque interper
sonal.
Por ltimo, en la tercera situacin, el objeto sometido a evaluacin es un
programa pblico. El evaluador debe preocuparse de que la evaluacin
satisfaga las normas de los procedimientos de decisin previstas en vas
22
Eval uaci n, t i ca y pc| er
de inters pblico. La evaluacin no slo s ya un asunt o interpersonal,
sino colectivo. Debe tenerse en cuenta una comuni dad ms ampla de
intereses pertinentes. ste es el problema fundamental del eval uador moderno
y es lo que echa sobre sus espaldas la carga ms pesada de todas. Su
evaluacin no slo debe ser veraz y creble, tambin debe ser justa.
Los evaluadores han enfocado la solucin de su moderno probl ema de
diversos modos. Sus soluciones han evolucionado a partir de sus convic
ciones filosficas, profesionales y personales. Su preparaci n y prctica
habitual constituyen influencias significativas. En el prxi mo captulo pre
sentamos los principales enfoques de la eval uacin y, en el si guiente, los
ponemos en relacin con los sistemas de creencias.
omtt Mu**, 1.1,
CAPTULO II
Los enf oques pri nci pal es
Se defienden docenas de enfoques de la evaluacin. No obstante, la
mayora de ellos puede agruparse en unos pocos tipos bsicos. Hay quienes
denominan model os a estos tipos bsicos, para poner de manifiesto que
se trata de diseos o tipos estructurales, defendidos por importantes tericos
como enfoques dignos de imitacin. Son paradigmas. Podemos llamarlos
enf oques , sin ms.
Todos estos modelos bsicos tienen importantes partidarios, presen
tan unos f undamentos racionales explcitos, aparecen en las bibliografas,
hay un grupo de profesionales que los ponen en prctica y con no menos
relieve existen evaluaciones concretas llevadas a cabo segn sus co
rrespondientes diseos bsicos. En s, los modelos constituyen elabora
ciones idealizadas de los enfoques de evaluacin. Son muchas las contingen
cias distintas que configuran una evaluacin real; por tanto, sta puede
adoptar muchas formas aunque comience, desde el punto de vista con
ceptual, como un tipo concreto. En otras palabras, un modelo es un tipo
ideal.
Convi ene sealar tambin que muchos tericos eminentes de la eval ua
cin (Cronbach, Campbell y Glass, por ejemplo) no se comprometen con
ningn enfoque concreto. Y otros, por ej., Guba, han publicado trabajos que
defienden dos enfoques diferentes. Yo he llevado a cabo eval uaciones
utilizando todos los enfoques principales. En consecuenci a, no podemos
identificarlos como propios de ninguna persona determinada ni considerarlos
tpicos de nadie.
La Figura 1 muestra una taxonoma de los principales modelos de eva
luacin. Al definir stos, he utilizado con profusin otras clasif icaciones
anteriores, sobre todo la de S take (1976), as como las de Popham (1975) y
W o r t h e n y Sanders (1973). Sin duda, habr omitido sin querer algunos
tipos. He excluido algunos posibles modelos porque an no se han utilizado
lo suficiente para que constituyan una escuel a de prctica profesional. Los
Monfth. S i .
Eval uaci n, ti ca y PJ
U
modelos de la Figura 1constituyen los principales enfoques que se utitizan
en la actualidad.
A continuacin, expongo un breve esquema de cada uno. En ej Captu
lo XI, har una crtica de cada enfoque, desde un punto de vista tanto
terico como prctico.
El enfoque del anlisis de sistemas
En este enfoque, se definen unas pocas medidas de resultados, como
las puntuaciones de tests en educacin, tratando de relacionar las diferencias
halladas entre programas o normativas con las variaciones que se descubran
en los indicadores. Los datos son cuantitativos y las medidas de resultados
se relacionan con los programas mediante anlisis de correlacin u otras
tcnicas estadsticas. Recientemente, vienen utilizndose ms los diseos
experimentales, prefirindose la variacin planificada del programa a la
natural (vase Cooley y Lohnes, 1976).
Uno de los antecedentes principales de este enfoque fue el anlisis de
sistemas desarrollado en el Department of Defense, siendo secretario
McNamara. Desde 1965, ms o menos, constituy la principal perspectiva
sobre la evaluacin en el Department of Health, Education and Welfare
(Departamento de Salud, Educacin y Bienestar). En ese ao, el presidente
Johnson ampli el Planning, Programming and Budgeting System (PPBS)
(Sistema de planes, programas y presupuestos) en el mbito del gobierno
federal. Si endo secretario de Health, Education and Welfare John Gardner,
se cre un nuevo organismo denominado Assistant Secretary for Program
Evaluation (ASPE) (Subsecretara de Evaluacin de Programas). Para hacerse
cargo del mismo, fue nombrado un grupo de economistas y auditores,
dirigido por William Gorham, que contaba con gran experiencia en el PPBS
del Departamento de Defensa. Los ayudantes de Gorham eran Robert
Gros s e y Alice Rivlin, quien se convertira ms adelante en subsecretara y
directora de la Congressional Budget Office (Oficina de presupuestos del
Congreso).
El modelo de gestin, promovido y perfeccionado por Robert McNamara en
el Departamento de Defensa y llevado al de Salud, Educacin y Bienestar por
William Gorham, se derivaba del mundo de la teora microeconmica. Los ana
listas de la Subsecretara de Evaluacin de Programas trataron de aplicar pers
pectivas tericas semejantes a las reas de servicios humanos. En el diseo dte
TEMPO (a primitiva evaluacin del Ttulo I) haba diversos supuestos mpcios
de partida que configuran una visin econmica de cmo funciona e manda
El presupuesto bsico consiste en que los individuos y las organizaciones se
comportan de manera que se eleve al mximo algn resultado o conjurto per
ceptible de resultados. Por tanto, el analista debe ser capaz de representar tas
opciones organizativas y deducir los objetivos deseados, asi como l a aAcaci a
relativa de las distintas estrategias para alcanzarlos. Este marco miEco supo
ne la existencia de una funcin estable de produccin, una raiacia agriar y
t i m m i tawaa, Si i
Eval uaci n, t ica y poder
cuaniiftcable entre los factores iniciales de una actividad y los productos de |a
misma
(McLaughl i i m, 1975, pg. 35j
La historia de la evaluacin del Ttulo I de la ESEA (Ley de Educacin
especial), que financiaba a los nios en situacin desventajosa, es la de
una tentativa de utilizar el enfoque del anlisis de sistemas. La Office of
Education* resolvi que se utilizara este enfoque en los 30.000 proyectos
del Ttulo I, que afectaban a cinco millones de nios. Dos f uncionarios del
Departamento de Salud, Educacin y Bienestar explican el enfoque:
Para cumplir este mandato legislativo, la U. S. Office of Education contrat a
la RMC Research Corporation para que elaborase modelos para eval uar los
incrementos de la adquisicin de destrezas bsicas conseguidos por los proyectos
del Ttulo I. Cada modelo de los tres de RMC incluye tests pre y postrat ami en
to, un mtodo de estimacin de incrementos de la "lnea base en ausenci a de
los servicios del Ttulo I y procedimientos de conversin de los resultados de los
tests locales en equivalentes de curva normal" que permitieran la i ntegraci n
entre proyectos.
(Barnes y Gi nsburg, 1979, pg. 7.)
Por tanto, estas evaluaciones prescritas utilizan como ni ca medi da de
xito las puntuaciones en los tests (aunque tambin se recogieran la duracin
semanal de los servicios, las proporciones entre profesores y alumnos, los
gastos por cada nio y la cantidad total de participantes), preocupndose
ms por la mxima consecucin de xitos y por la integracin de resultados
que por la distribucin de los mismos. Todos los resultados deban ser
comunicados en un equivalente de curva normal elaborado al efecto, e
integrados en el nivel estatal y en el nacional. Podemos presumi r que una
puntuacin podra representar el estado o la nacin.
En Systematic Thinking for Social Action, deca Ri vli n (1971) que el
problema fundamental consista en cmo podra el gobierno tomar decisiones
mejores. Esta autora consideraba que las cuestiones cl ave eran: 1) cmo
definimos los problemas sociales y cmo se distribuyen?; 2) a quin y
cunto ayudaran las soluciones propuestas?; 3) qu sera ms beneficioso
y cmo podran compararse los beneficios derivados de los distintos enfo
ques?; 4) cmo pueden proporcionarse los servicios del modo ms eficaz?
De estas dos ltimas preguntas podra ocuparse la eval uacin. La caracte
rstica ms importante de este enfoque es el anlisis comparat i vo cos
te/producto de los programas. El caso paradigmtico es la eval uaci n de
seguimiento.
En general, existe un consenso respecto a los objetivos, y el problema
* La U S Officeof Education, integrada en el Department of Health Education and Welface,
correspondera a loque en el organigrama espaol es una secretara de estado o s u b s e c r e t a r a
mmtertal de educacin. (N. deIT.)
oorm Uorata, 3 L
Los enf oques principales 27
estriba en medir los resultados de los programas gubernamentales. Con el
fin de establecer las relaciones de causa a efecto entre programas y resul
tados, hace falta un buen diseo experimental. El diseo preferible incluye
un grupo de control escogido al azar, pero no siempre es factible. Una vez
medidos los resultados de modo psicomtrico, sociomtrico o econom-
trico, se comparan los costes de los programas para averiguar qu resul
tado puede obtenerse por menos dinero. La metodologa de las ciencias
sociales se basa, en gran parte, en este proceso.
El libro Evaluation: A Systematic Approach, de Rossi, Freeman y Wright
(1979) hace suyo el enfoque del anlisis de sistemas. Para ellos, las eva
luaciones se efectan con fines de gestin, planificacin, desarrollo normativo
y efectos fiscales. Las cuestiones clave son las siguientes:
1. Alcanza la intervencin a la poblacin objetivo?
2. Est implementndose del modo especificado?
3. Es eficaz?
4. Cunto cuesta?
5. Cul es su razn coste/ eficacia? (pg. 20).
La evaluacin debe ser lo ms objetiva posible; es decir, para propor
cionar una valoracin firme: una valoracin cuyos resultados no varen si la
realiza otro grupo o si la repiten los mismos evaluadores (pg. 21). Se
pretende conseguir el desarrollo e implementacin ordenados de normas.
Las evaluaciones sistemticas se basan en las tcnicas de las ciencias
sociales. Rossi y cois, desestiman las evaluaciones de sentido comn porque
conducen a conclusiones errneas, y las evaluaciones basadas en reglas y
normas profesionales porque no se fundan en pruebas cientficas. Tampoco
el juicio clnico proporciona una orientacin firme para la decisin.
Las evaluaciones sistemticas proporcionan pruebas vlidas y fiables
que pueden repetir otros observadores, que no podran haberse producido
sin la interaccin y que incluyen informacin respecto al empleo eficaz de
los fondos. Una evaluacin global da respuesta a cuestiones relativas a la
planificacin y supervisin de programas, valoracin de su impacto y efi
ciencia econmica. La informacin sobre la planificacin ayuda a los plani
ficadores a poner a punto intervenciones adecuadas. La informacin de
supervisin nos dice si un programa concuerda con su diseo. La informa
cin sobre el impacto nos muestra si el programa provoca cambios en el
sentido pretendido. La informacin econmica pone de manifiesto si el pro
grama es eficiente. Rossi, Fr eeman y Wr i g h t advierten que no es posible
llevar a cabo la evaluacin de un modo competente si el proceso de de
sarrollo normativo no se efecta de forma clara y explcita.
En todo caso, el enfoque del anlisis de sistemas adopta, sin lugar a
duda, la metodologa de la ciencia social positivista y, por regla general,
excluye otras metodologas. Este enfoque cuenta con el respaldo de muchos
altos funcionarios del gobierno federal, sobre todo economistas. Adems,
reclama para s la categora de ciencia social.
Ediciones Mora. S. I
Como sealamos en el captulo anterior, el problema que se plantea ai
evaluador moderno consiste en que debe valorar un programa pblico pa,
unos destinatarios externos. El enfoque del anlisis de sistemas resuelve
este problema adoptando la perspectiva de los legisladores federales, dando
por supuesto que el programa que se somete a investigacin constituye
una parte funcional de la estructura social y gubernamental. Si asignamos
ese papel al programa, ste debe observar determinados criterios y funciones
Por tanto, el evaluador ha de responder a ciertas cuestiones, aceptando
que el programa desempea ese papel. Se trata de un enfoque funcionalista
Dada la funcin de los programas, todos ellos deben cumplir ciertos requi
sitos.
El enfoque de objetivos conductuales *
(o basado en metas)
El enfoque por objetivos resuelve de otra manera el dilema del evalua
dor moderno. Toma las metas del programa tal como estn formuladas y
recaba pruebas para comprobar si se han alcanzado. Los objetivos son la
nica fuente de normas y criterios. El evaluador valora lo que dicen que
tratan de conseguir quienes han elaborado el programa. La discrepan
cia entre los objetivos formulados y los resultados obtenidos constituye la
medida del xito del programa. Los objetivos formulados descargan al eva
luador de la tarea de suponer determinadas funciones de los programas,
por ejemplo, la eficiencia
En educacin, el modelo basado en objetivos fue promovido por Tyler
(1950), que defenda la definicin de los objetivos educativos en trminos
de la conducta de los estudiantes. La evaluacin de un programa debera
definir sus resultados y sus objetivos como conductas individuales especficas.
El cometido del evaluador consistira en determinar si los estudiantes mos
traban estas conductas concretas tras participar en el programa. Este pro
cedimiento acab conocindose como enfoque por objetivos conductuales
o modelo tyleriano de elaboracin y evaluacin de programas.
Mager (1962) perfeccion ms tarde la tcnica, insistiendo en que no
slo haba que especificar de antemano los objetivos en trminos conduc-
tuales, sino que los mismos objetivos encerraban los criterios y niveles de
consecucin de las metas previstas por quienes elaboraran el programa
Los medios empleados para medir la conducta de los alumnos consistan
en variables de logros cuantificadas, sobre todo los tests de rendimiento en
educacin. Bl oom (1956) y otros elaboraron taxonomas de objetivos edu-
cativos apropiados. Bl oom y cois. (1971) y Popham (1975) aplicaron est
enfoque a la evaluacin de distintas asignaturas.
En los ltimos aos, el centro de atencin de la tcnica se ha desplaza
desde la adecuada formulacin de los objetivos a la preocupacin Por
modo de medirlos. Los tests normalizados de rendimiento tradicionales c ^
sisten en tems de prueba que no se basan en objetivos especificado
Los enfoques principales
antemano. Ha surgido un marcado inters por la elaboracin de tests "refe
ridos a un criterio". Invariablemente, se refieren a objetivos. O sea, tos crea
dores de los tests establecen un conjunto de objetivos, basndose en ellos
para elaborar los Items del test.
El National Assessment of Educational Progress, cuyo principal defensor
es Ty l e r , es de este tipo. Los tests de competencia constituyen un desarrollo
ms reciente de esto. A menudo, se parte de la base de que los objetivos
que sirven de fundamento al test son objetivos mnimos correspondientes a
uh nivel determinado. En otras palabras, todos los nios tienen que llegar
a dominarlos. Para que se le declare mnimamente competente, el alumno
tiene que responder bien todos estos tems. Casi todos los estados cuenten
con un programa de tests de competencia de este tipo. En algunos, como
en Florida, el paso al curso superior depende de la puntuacin que el
alumno consiga en el test El enfoque por objetivos goza de mayor popula
ridad en el nivel estatal.
El enfoque por objetivos conductuales tambin ha adquirido relieve en otros
campos. Por ejemplo, la gestin por objetivos consiste esencialmente en el
enfoque por objetivos aplicado a los negocios y a los organismos guberna
mentales. Se pide a organismos e individuos que definan sus objetivos y se
les juzga con arreglo a la medida en que los cumplen. Nada tiene de particular
si tenemos en cuenta que el movimiento a favor de los objetivos surge del an
lisis de tareas y de la psicologa industrial de principios del siglo xx.
El primer libro de evaluacin de Suchman (1967), sobre la evaluacin de
la salud pblica se basaba primordialmente en el enfoque por objetivos. El
proceso de evaluacin se conceba como la identificacin de una actividad
meta, como la puesta en marcha de esa actividad, la valoracin del efecto
de la actuacin meta, la formacin de valores, la formulacin de objetivos y
la medida de los mismos (pg. 34). En palabras de Suchman: La caracte
rstica ms peculiar de la investigacin evaluativa es la presencia de alguna
meta u objetivo, cuya medida de consecucin constituye el principal centro
de atencin del problema que se va a investigar (pg. 37). Un objetivo
claro de un programa equivale a la hiptesis en un trabajo de investigacin.
Podemos contrastar este enfoque con el antes descrito del anlisis de
sistemas. La evaluacin de seguimiento, segn el enfoque del anlisis de sis
temas, se basaba slo en cuatro bateras de tests para evaluar trece programas
relativos a la primera infancia. Es de suponer que lo que medan estos cuatro
tests era fundamental. En realidad, cada programa de primera infancia tena
docenas de metas y objetivos explcitos. Una evaluacin por objetivos con
ductuales tendra que haber determinado si se cumpla cada uno de los ob
jetivos o bien debera reducir stos a algn conjunto mensurable.
El enfoque de decisin
Todos los enfoques modernos de la evaluacin tienen presente la cone
xin entre sta y la toma de decisiones, aunque varen los responsables <Je
EacnMSManto. $.
Eval uaci n, ti ca y poder
las decisiones y el modo en que stas se llevarn a efecto. El enfoque de
decisin sostiene que la evaluacin ha de estructurarse a partir de las deci
siones reales que haya que tomar, lo que alude, por regla general, a las que
corresponden al responsable mximo, director, o administrador.
En el campo de la educacin, el principal exponente de este enfoque ha
sido Stufflebeam (1973). La evaluacin es el proceso de delimitar, obtener
y proporcionar informacin til para juzgar posibles decisiones alternativas"
(pg. 129). Stufflebeam define tres mbitos de decisin (homeostasia, In-
crementalismo y neomovilismo), cuatro tipos (planificacin, estructuracin,
implementacin y reciclado), tres fases en el proceso de evaluacin (delimi
tacin, obtencin y comunicacin) y cuatro tipos de evaluacin [de contexto,
de entrada (input), de proceso y de producto].
Con independencia del tipo de evaluacin de que se trate, su diseo
se establece mediante la identificacin del nivel de decisin al que se di
rige, proyectando la situacin de decisin, definiendo los criterios de cada
situacin y las normas para el evaluador. Tras ello, se recoge, organiza,
analiza y transmite la informacin requerida. Cada fase se divide en diversas
tareas subordinadas del evaluador (Stufflebeam, 1969).
Gut t ent ag (1973, 1974) trat de realizar un anlisis cuantitativo de la
estructura preferida por el responsable de la decisin. Su idea consiste en
identificar las acciones o programas que eleven al mximo relieve los valores
de los responsables de las decisiones. Esto se llev a cabo mediante un
mtodo de escalado de utilidad de atributos mltiples, elaborado por Edwards.
La "utilidad es el resultado de un curso de accin relativo a los valores de
los responsables de las decisiones. Su objeto consiste en identificar los
cursos de accin que favorecen al mximo la utilidad global.
El enfoque exige que se definan las dimensiones pertinentes de valor y
que el responsable de la decisin clasifique las entidades que han de
evaluarse en relacin con estas escalas de valor. Todo ello se basa en los
juicios subjetivos de los responsables de las decisiones. La utilidad de las
alternativas de accin se resume en relacin con las diversas dimensiones
de valor para determinar el curso de accin de mxima utilidad.
Pat t on (1978), que hace hincapi en el factor personal en la utilizacin
de ios hallazgos de la evaluacin, presenta la tercera perspectiva respecto
al enfoque de decisin de la evaluacin. El primer paso en la perspectiva
que se centra en la utilizacin de la evaluacin consiste en la identificacin
y organizacin de los responsables pertinentes de la decisin y de los
usuarios de la informacin que aporte la citada evaluacin (pg. 61). Pat t on
sostiene que los hallazgos de la evaluacin se utilizan cuando algn individuo
se responsabiliza de forma directa y personal de conseguir la informa
cin para las personas adecuadas. La responsabilidad de determinar qu
informacin necesitan corresponde a los encargados de tomar las deci-
El segundo paso de una evaluacin consiste en i dent i f i car y cent rar las
cuestiones pertinentes. La cuestin correcta tiene varias caract erst i cas. Es
aportar datos que se refieran a ella y existe ms de una posible
Los enf oques principales 31
respuesta a la misma. Los responsables de las decisiones identificados
quieren y creen necesitar informacin que les ayude a responder la pregunta
Los encargados de las decisiones quieren contestarse a s mismos y es
preocupan las respuestas. Por ltimo, los responsables de las decisiones
pueden especificar cmo utilizarn la respuesta a la cuestin.
En resumen, el enfoque de decisin de la evaluacin resuelve el problema
del evaluador tomando como destinatario (a quien se dirige la evaluacin)
al responsable de las decisiones, adoptando como preocupaciones y criterios
significativos los propios de aqul. Vara la manera de identificar a ios res
ponsables de las decisiones y cmo se manifiestan stas. Se supone que
este enfoque incrementar la utilizacin de los hallazgos de la evaluacin.
La metodologa descansa, en gran medida, en la metodologa de encuesta
como cuestionarios o entrevistas, y el evaluador trabaja ms sobre las
variaciones naturales en el medio en donde se desarrolla el programa que
tratando de montar experimentos. Las cuestiones que se resuelven corres
ponden a los responsables de las decisiones, aunque, por regla general,
incluyen la eficacia del programa en relacin con alguna dimensin y, en
especial, qu partes del programa funcionan.
El enfoque que prescinde de los objetivos
El enfoque que prescinde de los objetivos constituye una reaccin directa
frente a la omnipresencia de la evaluacin determinada por los objetivos.
Scriven (1973) sostiene que el evaluador no slo no tiene que basar su
evaluacin en los objetivos del programa, sino que debe procurar evitar
deliberadamente informarse sobre ellos, con el fin de que no le lleven a
sesgos tendenciosos. La evaluacin sin objetivos debe contemplarse en el
contexto de la preocupacin ms general de Scriven por la reduccin de
los efectos de los sesgos en la evaluacin. Los objetivos producen sesgos
en el evaluador. Como dice Scriven, por desgracia yo no puedo evaluar
sus logros (del personal del proyecto) con una objetividad razonable y, al
mismo tiempo, tener una larga sesin de adoctrinamiento con ellos (p
gina 320).
El modelo sin objetivos reduce el sesgo de buscar slo los intentos del
responsable del programa, especificados de antemano, ya que stos no se
comunican al evaluador. Por tanto, el evaluador debe investigar todos ios
resultados. Muchos de ellos no son sino efectos colaterales imprevistos,
que pueden ser positivos o negativos. Como dice Scriven:
A menudo, los llamados efectos colaterales, sean buenos o matos, deter
minan completamente el resultado de la evaluacin. Es obvio que. para el eva
luador, carece de relieve si se trata de efectos colaterales o directos ' Esa
forma de hablar se refiere a las intenciones del promotor y e) evaluador no
valora intenciones, sino resultados. En realidad, es peligroso incluso prestar
odos a descripciones generales de las intenciones porque esto aparta la aienon
32
Eval uaci n, t ica y poder
de los efectos colaterales" y tiende a hacer que los pasemos por alto o los In
fravaloremos.
(Pg. 321 .j
De todos los enfoques de la evaluacin aqu descritos, el que prescinde
de los objetivos ha sido el menos utilizado, hasta el punto de que algunos
cuestionan que se le incluya entre los modelos principales. En el campo de
los servicios sociales, es frecuente que, tanto a los eval uadores como a los
responsables de los programas, les resulte difcil imaginar incluso dnde
puede el evaluador encontrar criterios de evaluacin fuera de los objetivos
del responsable del programa. Dan por supuesto que el evaluador se limita
a reemplazar sus propios criterios por los correspondientes a los responsa
bles de los programas.
Sin embargo, la Consumers' Union evala productos de consumo con
regularidad sin preguntar a los productores cules son sus metas. Por
ejemplo, este organismo evala automviles sin utilizar los objetivos de la
General Motors como base de la evaluacin. La Consumers Union emplea
las normas y criterios que cree benefician ms al consumidor que al pro
ductor. Del mismo modo, la evaluacin sin objetivos toma como destinatarios
o grupo de referencia a los beneficiarios de los programas sociales, en vez
de a los directivos. En gran parte, el pensamiento de Scriven parece tener
presente como modelo el enfoque de la Consumers Union.
Por supuesto, los programas sociales no son automviles y la obtencin
de un conjunto de normas para su evaluacin no resulta tan sencilla como
en el caso de los productos de consumo. Con este objeto, Scriven ha
tratado de desarrollar el concepto de necesidad como fundamento de la
evaluacin. Frente a los simples gustos o deseos, las necesidades se descu
bren mediante su evaluacin. El establecimiento de la validez objetiva de ta
les necesidades proporcionara al evaluador una fuente autorizada de nor
mas. Por tanto, la evaluacin independiente de los objetivos se basa en el
anlisis de las necesidades del usuario y no de los objetivos de los pro
ductores.
La metodologa de la evaluacin sin objetivos no es tan clara como en
otros enfoques. En general, Scriven es partidario de un enfoque sin sesgos
para garantizar la objetividad. Se considera al eval uador como experto en
la tarea de eliminar e impedir que los sesgos derivados de s mismo y de
los dems intervengan en la evaluacin. Entre las tcnicas utilizadas es
tn los experimentos de tipo doble ciego , en los que ni el sujeto ni el ex
perimentador saben cul es el tratamiento ni cul el placebo. Scr i ven ve la
evaluacin sin objetivos como una operacin a triple ciego, en la que
nadie conoce las intenciones. Otras tcnicas abarcan la mezcla antecedente
y posterior de los elementos que se juzgan, la calibracin de los jueces por
medio de casos normalizados, la separacin entre el individuo y el personal
del programa, cdigos deontolgicos, rplica concurrente de las experiencias,
anlisis secundario a cargo de agentes independientes y otras por el estilo
(Scri ven, 1976).
Los enf oques pri nci pales 33
Scriven (1975) insiste mucho en la independencia entre el evaluador y
el personal del programa. Su principio de retroalimentacin {feedback\ inde
pendiente dice que ninguna unidad depender por completo de una deter
minada subunidad en relacin con la retroalimentacin evaluativa sobre
esa subunidad. Su principio de la inestabilidad de la independencia da a
entender que, en el transcurso del tiempo, los evaluadores se ven continua
mente solicitados, debiendo cuidarse de mantener una renovada vigilancia
sobre la evaluacin. Se refiere de forma reiterada al evaluador como a un
cazador o detective que ha de descubrir claves y extraer la informacin. En
un caso, compara el trabajo del evaluador con el de un juez instructor que
trata de determinar conexiones causales en condiciones no experimentales
(Scriven, 1976). Por medio del mtodo del modus operandi, el investigador
establece una cadena causal entre causa y efecto. El evaluador debe operar
de modo semejante.
Las tcnicas utilizadas en las pocas evaluaciones llevadas a cabo pres
cindiendo de los objetivos son muy diversas. En una evaluacin de ciertos
materiales curriculares nuevos, House y Hogben (1974) examinaron los
resultados de un pretest, leyeron revisiones de los materiales efectuadas
por expertos, visitaron aulas, entrevistaron a profesores y alumnos, y exami
naron los materiales concretos. En otra evaluacin de materiales curriculares.
W elch (1978) utiliz un tribunal de jueces para clasificar los materiales en
una larga lista de comprobacin. Harrington y Sanders (1979) tratan de
elaborar algunas orientaciones para la realizacin de la evaluacin, pres
cindiendo de los objetivos.
El enfoque del estilo de la crtica de arte
Los roles que desempean la crtica de arte, la crtica literaria, la critica
teatral y la crtica de cine son bien conocidos. Constituyen formas valiosas
de juzgar la calidad de las obras de arte. Eisner (1979) y otros han estudiado
el modelo anlogo de crtica educativa o curricular para juzgar los programas
educativos. El mismo enfoque puede utilizarse en otras reas del mbito
social.
En la concepcin de Eisner, la crtica es cualitativa por naturaleza como
las mismas obras de los artistas. El crtico o crtica de arte se enfrente con
la difcil tarea de traducir las cualidades esencialmente inefables que cons
tituyen las obras de arte a un lenguaje que ayude a los dems a percibir la
obra con mayor profundidad (pg. 191). Ei s n e r sostiene que la crtica es
una operacin emprica. Las cualidades que describe el crftteo pueden
situarse en la obra misma. Es ms, todo puede ser objeto de critica. sla no
es la valoracin negativa de algo, sino la iluminacin de sus cualidades, de
modo que pueda apreciarse su valor. La prueba de la crtica est en tos
efectos instrumentales que produce en su destinatario.
Eisner distingue entre la actuacin del experto y la crtica. La earaciensfcca
del experto es el arte de la apreciacin, mientras que la crtica es e arte de
32
Eval uaci n, ti ca y p0(ler
de los 'efectos colaterales y tiende a hacer que l os pasemos por alto o los in
fravaloremos.
(Pg. 321.)
De todos los enfoques de la evaluacin aqu descritos, el que prescinde
de los objetivos ha sido eJ menos utilizado, hasta el punto de que algunos
cuestionan que se le incluya entre los modelos principales. En el campo de
los servicios sociales, es frecuente que, tanto a los eval uadores como a los
responsables de los programas, les resulte difcil i magi nar incluso dnde
puede el evaluador encontrar criterios de evaluacin f uera de los objetivos
del responsable del programa Dan por supuesto que el eval uador se limita
a reemplazar sus propios criterios por tos correspondientes a los responsa
bles de los programas.
Sin embargo, la Consumers' Union evala productos de consumo con
regularidad sin preguntar a los productores cules son sus metas. Por
ejemplo, este organismo evala automviles sin utilizar los objetivos de la
General Motors como base de la evaluacin. La Consumers Union emplea
las normas y criterios que cree benefician ms al consumi dor que al pro
ductor. Del mismo modo, la evaluacin sin objetivos toma como destinatarios
o grupo de referencia a los beneficiarios de los programas soci al es, en vez
de a los directivos. En gran parte, el pensamiento de S c r i v e n parece tener
presente como modelo el enfoque de la Consumers' Union.
Por supuesto, los programas sociales no son automvil es y la obtencin
de un conjunto de normas para su evaluacin no resulta tan sencil la como
en el caso de los productos de consumo. Con este objeto, S cri ven ha
tratado de desarrollar el concepto de necesi dad como f undamento de la
evaluacin. Frente a los simples gustos o deseos, las necesi dades se descu
bren mediante su evaluacin. El establecimiento de la val idez objetiva de ta
les necesidades proporcionara al evaluador una fuente aut ori zada de nor
mas. Por tanto, la evaluacin independiente de los objeti vos se basa en el
anlisis de las necesidades del usuario y no de los objeti vos de los pro
ductores.
La metodologa de la evaluacin sin objetivos no es tan c la r a como en
otros enfoques. En general, Scr i ven es partidario de un enf oque sin sesgos
para garantizar la objetividad. Se considera al eval uador como experto en
la tarea de eliminar e impedir que los sesgos deri vados de s mismo y de
los dems intervengan en la evaluacin. Entre las t cnicas utilizadas es
tn los experimentos de tipo doble ciego , en los que ni el sujeto ni el ex
perimentador saben cul es el tratamiento ni cul el pl acebo. S cr i v e n ve la
evaluacin sin objetivos como una operacin a triple ci ego , en la que
nadie conoce las intenciones. Otras tcnicas abarcan la mezcl a antecedente
y posterior de los elementos que se juzgan, la calibracin de los jueces por
medio de casos normalizados, la separacin entre el indi viduo y el personal
del programa, cdigos deontolgicos, rplica concurrente de las experiencias,
anlisis secundario a cargo de agentes independientes y otras por el estilo
(Scr i ven, 1976).
ftriiiMM Moran, 8- L
Los enfoques principales
Sc r i ve n (1975) insiste mucho en la independencia entre el evaluador y
el personal del programa Su principio de retroalimentacin (feedback\ inde
pendiente dice que ninguna unidad depender por completo de una deter
minada subunidad en relacin con la retroalimentacin evaluativa sobre
esa subunidad. Su principio de la inestabilidad de la independencia da a
entender que, en el transcurso del tiempo, los evaluadores se ven continua
mente solicitados, debiendo cuidarse de mantener una renovada vigilancia
sobre la evaluacin. Se refiere de forma reiterada al evaluador como a un
cazador o detective que ha de descubrir claves y extraer ia informacin. En
un caso, compara el trabajo del evaluador con el de un juez instructor que
trata de determinar conexiones causales en condiciones no experimentales
(Scriven, 1976). Por medio del mtodo del modus operandi. el investigador
establece una cadena causal entre causa y efecto. El evaluador debe operar
de modo semejante.
Las tcnicas utilizadas en las pocas evaluaciones llevadas a cabo pres
cindiendo de los objetivos son muy diversas. En una evaluacin de ciertos
materiales curriculares nuevos, House y Hogben (1974) examinaron los
resultados de un pretest, leyeron revisiones de los materiales efectuadas
por expertos, visitaron aulas, entrevistaron a profesores y alumnos, y exami
naron los materiales concretos. En otra evaluacin de materiales curriculares,
We lc h (1978) utiliz un tribunal de jueces para clasificar los materiales en
una larga lista de comprobacin. Harrington y Sanders (1979) tratan de
elaborar algunas orientaciones para la realizacin de la evaluacin, pres
cindiendo de los objetivos.
El enfoque del estilo de la crtica de arte
Los roles que desempean la crtica de arte, la crtica literaria, la critica
teatral y la crtica de cine son bien conocidos. Constituyen formas valiosas
de juzgar la calidad de las obras de arte. Eisner (1979) y otros han estudiado
el modelo anlogo de crtica educativa o curricular para juzgar los programas
educativos. El mismo enfoque puede utilizarse en otras reas del mbfto
social.
En la concepcin de Eisner, la crtica es cualitativa por naturaleza como
las mismas obras de los artistas. El crtico o crtica de arte se enfrenta con
la difcil tarea de traducir las cualidades esencialmente inefables que cons
tituyen las obras de arte a un lenguaje que ayude a los dems a perder to
obra con mayor profundidad" (pg. 191). Eisner sostiene que ia crf tca es
una operacin emprica Las cualidades que describe el critico puedan
situarse en la obra misma. Es ms, todo puede ser objeto de critica. Esto m
es la valoracin negativa de algo, sino la iluminacin de sus cualidades fe
modo que pueda apreciarse su valor. La prueba de la critica esto en los
efectos instrumentales que produce en su destinatario.
Eis n e r distingue entre la actuacin del experto y la critica La caraciansca
del experto es el arte de la apreciacin, mientras que la critica a s al afta f ia
& aaMMtt ItoNNfc.
la revelacin (pg. 193). El arte del experto consiste en reconocer y apreciar
las cualidades de la obra en cuestin, pero no exige un juicio o descripcin
pblicos. Es el preludio necesario de la crtica.
El carcter de experto requiere del perceptor que tenga gran experiencia
para ser capaz de distinguir lo que de significativo tiene un vino, un juego,
un aula educativa. Sin embargo, existen diferencias entre reconocimiento y
percepcin. El simple reconocimiento y la clasificacin basados en la expe
riencia no bastan. Hace falta ser capaz de percibir las sutilezas y comprender
cmo contribuyen a un patrn general, como en la vida del aula.
Para desarrollar este carcter de experto es preciso tener la oportunidad
de asistir a los acontecimientos y compararlos. Las percepciones han de
perfeccionarse, integrarse y valorarse. Hay que ser sensible a las cualidades
que surgen del aula o del programa que se va a evaluar. Esto requiere
tambin un conjunto de ideas (teoras, modelos o lo que sea) que permitan
al sujeto diferenciar lo significativo de lo trivial. Para acceder a estas discri
minaciones hace falta una preparacin adecuada y tambin experiencia.
Por otra parte, "la critica es el arte de revelar las cualidades de los
hechos u objetos que percibe el arte del experto (pg. 197). La crtica trata
de 'traducir una situacin de tal manera que se pongan en evidencia los
aspectos significativos, de la situacin, objeto o programa. Eisner plantea
aqu la distincin entre las formas discursiva y no discursiva de presentacin.
La crtica trata de captar la esencia de lo concreto. Su lenguaje es no
discursivo en la medida en que utiliza formas para presentar sensaciones
ms que para representar hechos.
La crtica realizada de manera adecuada aumenta el conocimiento y la
apreciacin. "Apreciacin no significa que guste algo, sino un mayor co
nocimiento. La funcin de la crtica consiste en aplicar criterios, de mane
ra que los juicios sobre los hechos puedan fundarse en una consideracin
de lo importante. Esa investigacin cualitativa permite al lector participar de
manera vicaria en las cualidades descritas.
En cuanto a la validez y fiabilidad, Eisner habla de la "corroboracin
estructural" y de la adecuacin referencia!". La evidencia se corrobora
cuando los elementos de la misma encajan entre s. La adecuacin referen-
cial alude a la posibilidad de encontrar en la obra o programa criticado las
caractersticas sealadas por el crtico. Se hace gran hincapi en la- necesidad
de un buen conocimiento de la situacin. No obstante, no hay que espe
rar la unanimidad entre los crticos. Segn Eisner, el objetivo consiste en
ampliar la percepcin y no en llegar a una crtica definitiva. La consecuencia
de la crtica se basa en el desarrollo del carcter de expertos de los dems.
Hasta ahora, el enfoque crtico de la evaluacin ha sido divulgado sobre
todo por Eisner y sus discpulos (p. ej.: McCutcheon, 1978, y Val l ance,
1978), (imitndose a la educacin.
En realidad, hay diferentes enfoques respecto a la crtica misma,* Ke-
.y (1978) establece una analoga entre la evaluacin y la crtica literaria,
ms que con la crtica de arte. De la literaria extrae conceptos establecidos
como, metfora, voz, argumento y tema, utilizndolos para ilustrar la evala-
34 _______________ __________________________________________Eval uaci n, tica y p0rio,
%CAmwmtont, 8 i
Los enf oques principales %
cin. Su anlisis muestra cmo los evaluadores emplean conceptos similares
al considerar los programas y redactar sus informes. En su anlisis, se
mezclan descripcin y evaluacin. Asimismo, la credibilidad de la crtica
constituye un problema para l ms que para Eisner. Como seala Kelly,
aceptamos la crtica con la que estamos de acuerdo. Por tanto, la naturaleza
de la crtica puede variar de una materia a otra.
La crtica puede cambiar tambin dentro de una misma rea. Jenki ns y
OTo o l e (1978) sealan las diferencias entre crticos literarios. Existen los
crticos acadmicos de las universidades, que juzgan todo segn los nive
les de las mejores obras. Hay crticos escritores que perciben la crtica co
mo una consecuencia de su propia obra y tratan de determinar las normas
de gusto mediante las que podran ser evaluados. En particular, la crtica de
estos ltimos asume algunas caractersticas de la escritura creativa. Por
ltimo, se encuentran los crticos libres o periodsticos, que se dirigen a un
pblico amplio.
Ante todo, el crtico da por supuesto que escribe para un grupo de
usuarios o para expertos. El pblico descubrir si el programa es bueno,
pero tambin tendr una sensibilidad acrecentada. Esto supone que el
pblico acepta la crtica y, por regla general, sus normas implcitas. No
existe una metodologa normalizada, salvo la revisin crtica, que puede
llevarse a cabo de diversos modos. La inmersin y la familiaridad con el
objeto o programa suelen considerarse fundamentales. Para el crtico, son
esenciales una experiencia y preparacin adecuadas. En definitiva, la crtica
lleva a una consciencia reforzada, una mejora de los niveles y una actuacin
perfeccionada. El enfoque crtico de la evaluacin resuelve el dilema de
sta mediante la designacin, como evaluador, de una persona experimen
tada y con la adecuada preparacin, en definitiva, un experto en la cuestin
de que se trate. Con su sensibilidad, la persona experimentada comunica
sus juicios de un modo que informa y educa a los menos sensibles.
El enfoque de revisin profesional (acreditacin)
Durante ms de cincuenta aos, las asociaciones profesionales han
llevado a cabo evaluaciones de la preparacin profesional. Ya se trate de
mdicos, abogados, trabajadores sociales o maestros, la revisin profesional
de los centros de formacin, tal como la realiza la North Central Associatm
en las escuelas secundarias, ha constituido un medio fundamental de eva
luacin. Concebida de manera algo ms amplia, (a revisin profesional
supone que los cirujanos, profesores o abogados juzguen el trabajo de sus
colegas. Por regla general, la participacin en la revisin se circunscribe a
los compaeros de profesin.
Muchas de ellas son evaluaciones que sirven para dar fe de la ca
lidad de los centros de preparacin profesional. Por ejemplo, a partir de
1885, ciertos grupos de escuelas secundarias organizaron la normalizacin
de los requisitos de ingreso en los centros de enseanza superior. De eflo
surgi el National Study of School Evaluation (1978), que publica Evaluative
Criteria. En este trabajo aparecen criterios mediante los cuales se evalan
las escuelas secundarias.
Los criterios estn organizados por materias especficas, como agricultura
arte, formacin empresarial, etctera. Algunos criterios se refieren a los
servicios escolares, como medios audiovisuales de aprendizaje, servicios a
los alumnos o instalaciones de la escuela El programa educativo se divide
en dieciocho reas temticas. Adems, existen nueve reas de servicios
Hay diversas listas de comprobacin para evaluar cada materia.
Por ejemplo, en el rea de ingls, aparecen tems como: "Se exige a
todos los alumnos que cursen la asignatura de ingls (pg. 103); Algunas
obras contemporneas y clsicas, seleccionadas por su adecuaci n a las
capacidades, intereses y madurez de los alumnos, se estudian de manera
intensiva" (pg. 195); Se presta atencin al perfeccionamiento de las tcnicas
de estudio (pg. 111). El evaluador punta cada tem en una escala de
cinco opciones, desde "nada en absoluto" hasta excelente .
Este enfoque est pensado para involucrar al prof esorado en la auto-
evaluacin. Antes de que una comisin externa efecte una visita, el profe
sorado del centro se divide en varias subcomisiones que se encargan de
puntuar los tems de la lista de comprobacin. Los resultados se comunican
a todo el profesorado. El organismo externo encargado de la certificacin
(p. ej.: la North Central Association) nombra una comisin externa encargada
de validar la autoevaluacin. Los centros tienen derecho a vetar a los
miembros de dicha comisin, cuyo nmero puede oscilar entre diez y treinta.
La comisin visitadora se divide en subcomisiones por materias, cada
una de las cuales comprueba las puntuaciones de la autoevaluacin, modi
ficndolas si no estn de acuerdo con ellas. Tant o las subcomisi ones como
el pleno de la comisin visitadora elaboran informes escritos. Antes de
abandonar el centro, en un breve informe oral al prof esorado, la comisin
indica los principales aspectos positivos y negativos y hace las correspon
dientes recomendaciones. Dependiendo del informe, se concede o no la
certificacin a la escuela. Tras la visita, se prev que sta adopte las
medidas pertinentes para corregir los aspectos negativos sealados. Aunque
existen ciertas variaciones de criterios y procedimientos, diversos organismos
con capacidad para otorgar certificaciones, como asociaciones profesionales
y gobiernos estatales, efectan visitas similares a casi todas las escuelas,
desde las ms elementales hasta las de carcter ms profesional.
Una variante interesante del enfoque de acreditacin de la eval uaci n,
que registra un rpido crecimiento, consiste en la eval uaci n de departa'
mentos o unidades de una universidad, patrocinada, por regla general, po
la administracin universitaria. Una de las primeras eval uaci ones de es
tipo fue la Council on Program Evaluation (COPE), de la Uni versi dad o
Illinois. Desde 1972 hasta 1979, fueron eval uadas todas las unidades aca
dmtcas del campus de Urbana.
Para llevar a cabo este proceso, se instituy un consejo de nue ^
profesores, presidido por un administrador del rectorado. Ms tarde, entrar
Los enfoques princi pal es
9
a formar parte del consejo dos alumnos graduados y dos no graduados. B
consejo tena autoridad para evaluar los departamentos de acuerdo con
seis criterios:
1. calidad del programa docente;
2. calidad de la investigacin, de la actividad creativa o de trabajo
acadmico;
3. calidad de servicio a la universidad y a la profesin;
4. contribucin prestada por la unidad a otras del campus o importancia
de aqulla en el mismo;
5. valor del programa para la sociedad o singularidad del mismo en el
estado, y
6. posibilidades y previsiones de futuro.
Al principio, el consejo nombraba grupos de trabajo de cinco a diez
profesores para que estudiasen un departamento concreto. Dichos grupos
celebraban amplias entrevistas con los miembros del departamento en cues
tin, redactando ms tarde un informe confidencial de evaluacin del mismo
que elevaban al consejo. Este organismo revisaba el informe y. basndose
en l, elaboraba su propia evaluacin abreviada, normalmente en forma de
carta, que enviaba al vicerrector y al departamento. Este ltimo poda res
ponder a la carta y a las recomendaciones que contuviese.
Despus de emplear este mtodo durante unos aos, este proceso
empez a exigir tal cantidad de tiempo que se decidi que no hubiese un
grupo de trabajo por cada departamento. Se elabor un amplio conjunto de
formularios para que cada uno de ellos los cumplimentase. stos reco
gan cuestionarios sobre la mayora de los aspectos de las operaciones de
los departamentos. El consejo revisaba los formularios cumplimentados,
emitiendo un juicio global y una serie de recomendaciones fundadas en
criterios formales. En la prctica, la calidad de la investigacin pesaba
mucho en el juicio final. Cuando pareca que el departamento en cuestin
presentaba demasiados aspectos negativos o necesitaba algn tipo de aten
cin especial, se nombraba un grupo de trabajo para que llevase a cabo
una evaluacin presencial ms exhaustiva (Pet r i e, 1979).
Por supuesto, no todas las revisiones profesionales se desarrollan del
mismo modo. Por ejemplo, ios tribunales de evaluacin de las especialidades
mdicas estn regidos por un consejo de profesionales, pero el medico se
somete a un examen escrito y otro oral a cargo de especialistas. En todas
estas evaluaciones, la fuente de normas y criterios son los profesionales
mismos. Se da por supuesto que estn mejor cualificados para juzgar el
mrito profesional. Los procedimientos varan, pero la evaluacin cumma
en una valoracin global de un programa profesional a cargo de otaros
expertos.
Eval uaci n, ti ca y podQr
El enfoque cuasijudicial (de contrapruebas)*
Los procedimientos cuasijudiciales se han utilizado desde hace mucho
tiempo con fines de evaluacin y de elaboracin de normativas. Reciente
mente, en el campo de la evaluacin, se viene prestando atencin a la
simulacin de juicios u otros procedimientos de contrapruebas, sobre todo
ante la agresiva accin de los tribunales de justicia en la determinacin de
problemas de los programas sociales. Sin embargo, no todos los procedi
mientos cuasijudiciales son por naturaleza de contrapruebas. Deshecho, si
contamos entre los procedimientos de tipo judicial los j urados de premios y
las comisiones nombradas con fines parecidos, la mayora no reviste ca
racteres de contrapruebas. La legislacin [p. ej.: la Civil Rights Act (Ley de
Derechos Civiles)] establece procedimientos de revisin administrativa que
se atienen a los principios procesales, aunque no son de contrapruebas.
Por ejemplo, la Warren Commission, que investig el asesinato del pre
sidente Kennedy, fue un grupo nombrado por el presidente que tom decla
raciones a los testigos, llev a cabo sus propias investigaciones y lleg a
una conclusin sobre los hechos probables. Del mismo modo, \a Kerner
Commission on Civil Disorders lleg a una conclusin sobre causas proba
bles. Con frecuencia, se emplea este tipo de tribunales para tratar cuestiones
controvertidas y resolver las dudas que pesen sobre ellas. La comi si n de
Wi rt z (1977) constituye un ejemplo reciente del descenso de las puntuacio
nes en los tests normalizados registrado en todo el mbito nacional. El
tribunal correspondiente dedujo las probables causas de tal descenso.
En Inglaterra, se hace frecuente uso de este tipo de comisiones y consejos
para extraer orientaciones para la poltica pblica (Ko g a n y Pa ck wo o d ,
1974). El Plowden Committee de 1967, sobre la educacin primaria, y el
Taylor Report, ms reciente, sobre el gobierno local de las escuel as consti
tuyen buenos ejemplos. Para presidir estos tribunales, se nombra a ciuda
danos relevantes, contando con la ayuda gubernamental.
Todas las reas sociales han recibido orientaciones de esta clase de
tribunales y a menudo se instituye el tribunal para resolver problemas en el
seno de una colectividad profesional. Por ejemplo, la National Education
Association (House y cois., 1974) financi un tribunal para que examinara el
sistema de responsabilidad educativa de Michigan. El mismo grupo patrocin
una investigacin similar en Florida (Tyl er y cois., 1978). En la Office of
Education, el J oint Review Dissemination Panel escucha los testimonios de
prueba y los comunica s los programas desarrollados con financiacin
federal resultan lo bastante "validados como para divulgarlos por el resto
ei pas,
' 8 trmino origina! es Adversar/ * , cuya traduccin literal sera 'adversario o c o n t r a r i o
Dado el contexto cuasjurdico en el que aparece, optamos por la acepcin / c o n t r a p r u e b a s .
que ss como en nuestro mbito jurdico se conoce este vocablo. Contrapruebas, en D e r e c h o P f '
rms Gsvt, son las pruebas encaminadas a destruir los asertos al egados por la parte co n tr a r i a
formar porte de lo que se denomina prueba de lo contrario o "prueba en contrario". (N. del ' '
39
Aunque estos tribunales y comisiones no forman parte del sistema judicial,
en realidad, su autoridad se deriva, en parte, de sus procedimientos cuasijud-
ciales. Las pruebas suelen presentarse ante un tribunal. Los testigos testifican
y presentan pruebas. Se establecen reglas respecto a quin puede pre
sentarlas y en qu condiciones ha de darse testimonio. Las mismas audiencias
adoptan los smbolos y la solemnidad de las salas de justicia; a menudo, las
salas de audiencia estn dispuestas a la manera de aqullas. Suele ponerse
mucho cuidado en tomar declaraciones exhaustivas. En resumen, el problema
del evaluador se resuelve mediante el empleo de procedimientos cuasijudi-
ciales que prestan a la evaluacin la autoridad de la justicia.
Desde no hace mucho tiempo, vienen utilizndose procedimientos judi
ciales de contrapruebas para evaluar programas. La audiencia de contraprue
bas se basa en el supuesto de que los hechos de un caso pueden comprobar
se mejor si cada parte hace todo lo posible, con plena parcialidad, para
presentar las pruebas ms favorables en apoyo de sus tesis ante el tribunal
(Owens, 1973). La tendenciosidad de las partes en conflicto pone en eviden
cia pruebas vitales.
En 1970, tuvo lugar en Hawai la primera audiencia de contrapruebas para
juzgar si las escuelas pblicas de all deban adoptar el curriculum Man: A
Course of Study. Presidan tres jueces, todos ellos educadores. Las dos
partes pasaron varias semanas preparando el caso. Otra simulacin judicial
se celebr en la universidad de Indiana para evaluar un programa de for
macin de profesorado (Wo l f , 1975). Los equipos opuestos entre s pre
sentaron argumentos en pro y en contra del programa. Durante dos das,
declararon treinta y dos testigos. Se elaboraron instrucciones judiciales
respecto al examen directo y cruzado. El jurado estuvo constituido por trece
expertos en educacin.
El responsable del diseo del juicio dijo: quiz, la razn de mayor peso
para utilizar la metodologa judicial sea que presenta un sistema til de
reglas y procedimientos de prueba dirigidos a conseguir inferencias alter
nativas a partir de los datos antes de proceder al juicio... El enfoque judicial
facilita la consideracin estructurada de argumentos e inferencias alternativos
que hagan que la evaluacin sea intelectualmente honrada y equitativa
(Wo l f , 1975, pg. 185).
W o l f concibi el proceso constituido por cuatro fases: planteamiento
del problema, seleccin del mismo, presentacin de argumentos y audiencia
En la primera fase, se llevaba a cabo una serie de entrevistas para descubrir
treinta problemas. En la segunda, se utilizaba una encuesta dirigida a profe
sores, estudiantes y administradores con el fin de reducir el nmero de
problemas. En la tercera fase, se preparaban los alegatos. En la cuarta,
tenan lugar las sesiones de presentacin anterior a la audiencia y ella
misma. La duracin total del proceso fue de seis meses.
Ante las crticas dirigidas contra los mtodos de contrapruebas, W o l f (1979)
trat de quitar importancia al carcter de contrapruebas de su enfoque concre
to: quiz el aspecto ms significativo de la metfora judicial... sea que la tor*
ma de investigacin de los tribunales es educativa (Wo l f , 1979, pg. 21), El
BdicioMS S.
40
Eval uaci n, Bcay^
testimonio humano es la "piedra de toque de la evidencia. La evidencia
final que orienta la deliberacin y el juicio no slo abarca los hechos, sino
una gran variedad de percepciones, opiniones, sesgos y especulaciones
en un contexto de valores y creencias (pg. 21).
Stenzel (1979) estudi el empleo de las comisiones de investigacin del
Congreso como modelo de evaluacin. La Illinois Office of Education instituy
una comisin para examinar los aspectos positivos y negativos de la eva
luacin de un programa de educacin especial a cargo de terceros. La
comisin recibi el encargo de estudiar la validez de la evaluacin, revisar
las recomendaciones contenidas en el informe y elaborar por escrito una
respuesta al informe original de evaluacin. La comisin estaba compuesta
por tres miembros del personal profesional de la Illinois Office of Edu
cation. Los evaluadores comparecieron ante la comisin para responder
a las preguntas suscitadas. Stenzel (1979) destaca los procedimientos de
las comisiones del Congreso, que difieren significativamente de los de un
juicio.
Hay muchos procedimientos cuasijudiciales que pueden aplicarse a la
evaluacin, de los que el jurado de certmenes y el juicio slo son los ms
conocidos. El objetivo de los procedimientos judiciales consiste en resolver
de uno u otro modo los problemas. La mayora de los procedimientos
judiciales se caracterizan por alguna forma de audiencia en la que se
presentan los argumentos en pro y en contra. La legitimidad de este enfoque
depende de la aceptacin que se dispense a los procedimientos empleados
en concreto, al instructor y al jurado o tribunal. En el mbito de la misma
administracin de justicia, la accin de los tribunales suele seguir los derro
teros marcados exclusivamente por los jueces.
El estudio de casos (o negociacin)
Este enfoque se centra en los mismos procesos del programa y en la
visin que las personas tienen de ste. La cuestin principal que se plantea
es: "qu les parece el programa a los sujetos que tienen contacto habitual
con l?. La metodologa usual consiste en llevar a cabo entrevistas con
muchas personas, hacer observaciones in situ y presentar los hallazgos en
forma de estudio de casos. El estudio cualitativo de casos prevalece hasta
tal punto en cuanto metodologa que, para referirme al enfoque, utilizo esta
misma expresin junto a la de "negociacin. Tambin podra llevarse a
cabo un estudio cuantitativo de casos, pero se apartara mucho de este
enfoque. El de estudio de casos-negociacin es casi completamente cuali
tativo por metodologa y presentacin. Quiz la denominacin de historia
de casos" fuera ms exacta
E! objetivo de este enfoque consiste en mejorar la comprensin que de
la evaluacin tenga el lector o destinatarios, mostrndoles, ante todo, cmo
perciben otros el programa sometido a evaluacin. Los procedimientos an
tropolgicos e, incluso, las herramientas periodsticas y novelsticas son
0 CdtMnm lontt, $ L
Los enf oques pri nci pales
4f
anlogos. La metodologa etnogrfica constituye un enfoque relacionado
con el que nos ocupa y es habitual calificar estas metodologas como
"naturalistas". Un personaje de cabecera es St ak e (1975,1978).
Este autor defiende as los estudios de casos:
Con frecuencia, los estudios de casos sern el mtodo preferible de investi
gacin porque estn en armona epistemolgica con la experi enci a del lector,
por lo que, para esa persona, constituirn una base natural para la general i zaci n-
Si los lectores de nuestros informes son las personas que puebl an nuestros
hogares, escuelas, gobiernos e industrias, y si tenemos que ayudarles a ent ender
los problemas y programas sociales, hemos de percibirlos y comuni carl os de
forma que se adapten a sus conocimientos actuales. En su mayora, esas perso
nas han adquirido sus conocimientos a travs de la experiencia directa y vi cari a
(St ak e, 1978, pg. 5.)
Cuando la meta de la investigacin es ms la comprensin que la
explicacin y el conocimiento preposicional, el estudio de casos es a menudo
superior a otras formas de investigacin. Es legtimo descubrir o validar
leyes por medio de muchos estudios acadmicos, pero el objetivo de las
artes prcticas es hacer cosas. Para Stake, los estudios de casos presentan
descripciones complejas, holsticas y que implican gran cantidad de varia
bles interactivas. Los datos se obtienen mediante la observacin personal y
la redaccin es informal, narrativa, empleando a menudo citas, ilustracio
nes, alusiones y metforas. Las comparaciones son ms implcitas que
explcitas.
El enfoque de Stake se centra en la percepcin y en el conocimiento
como proceso de negociacin, por lo que a veces se le denomina modelo
de negociacin. En la evaluacin responsiva *, el evaluador suele negociar
con el cliente sobre lo que ha de hacerse, y responde a lo que quieren
saber distintos destinatarios.
La evaluacin educativa es responsiva si se orienta de forma ms directa
hacia las actividades del programa que a sus intenciones, si responde a las
peticiones de informacin de los destinatarios y si se tienen en cuenta las
diferentes perspectivas de valor presentes al informar sobre el xito o el fracaso
del programa. Para hacer una evaluacin responsiva, el evaluador concibe un
plan de observaciones y negociaciones. Prepara la situacin de manera que
diversas personas observen el programa y, con su ayuda, elabora breves informes
narrativos, descripciones, exposiciones de resultados, grficos, etc. Pone de
manifiesto lo que sus destinatarios consideran valioso y recaba manifestaciones
de valor de Individuos cuyos puntos de vista difieran. Por supuesto, comprueba
* Aunque la traduccin de la pal abra inglesa ' responsive' no es, en sentido esmd&
responsi va , sino sensible (al contexto)", en este caso, esa "sensibi l idad'1se mareiesfca en
la di sposicin a adaptar la eval uaci n a lo que desean conocer diversos desnatenos d* **
misma, por lo que parece adecuado traducir el trmino como aparece en ei textor (H a T ;
COwcum Xindfc & l
- Eval uacin, tica v ^
H . . i , ! , - -------------------------------------------------1'"ir |
la calidad de sus anotaciones; hace que el personal que desarrolla el program,
reaccione respecto a la precisin de sus descripciones, y los destinatarios re^'
donan segn la importancia de sus hallazgos. Lleva a cabo la mayor parte de
estas operaciones de manera informal: repitindolas y anotando acciones v
reacciones. Escoge medios accesibles a sus destinatarios para aumentar
viabilidad y fidelidad de la comunicacin. Puede preparar, o no, un Informe f|na|
por escrito, dependiendo del acuerdo al que llegasen sus clientes y l.
(St ak e, 1975, pg. 141
Utilizando una metodologa antropolgica ms tradici onal , Smith y Poh.
l and (1974) evaluaron un programa de enseanza asistida por ordenador
en los Apalaches, y Wo l co t t (1977) evalu la instalacin de un sistema de
planificacin de programas y de presupuestos en una escuel a local. En
ambos casos, los evaluadores se basaron en la observaci n participante,
en especial por medio de notas de campo, entrevistas i nf ormales y anlisis
documental.
En Inglaterra, MacDonald (1974) defiende tambi n el enf oque de los
estudios de casos en lo que ha denominado eval uacin democrt i ca :
La evaluacin democrtica constituye un servicio de informacin a la comu
nidad sobre las caractersticas de un programa educativo. Reconoce el pluralismo
de valores y trata de representar un conjunto de intereses al formular los proble
mas. El valor bsico consiste en una ciudadana informada y su evaluador acta
como intermediario en los intercambios de informacin entre distintos grupos.
Sus tcnicas de recogida y presentacin de datos deben estar al alcance de
personas no especializadas. Su principal actividad consiste en recoger definiciones
del programa y reacciones frente a l. A los informadores, les garantiza la con
fidencialidad y les confiere el control sobre el uso que pueda hacer de la infor
macin. El informe carece de recomendaciones y el evaluador no es responsable
del empleo incorrecto de la informacin. El evaluador mantiene negociaciones
peridicas respecto a sus relaciones con los patrocinadores y los participantes
en el programa El criterio de xito es el mbito de destinatarios del proceso.
(MacDonal d, 1948, pgs. 226-227.)
Tambin en Inglaterra, Par l et t y Hami l t on (1977) def endan un enfoque
que denominaban evaluacin iluminadora". Su objetivo consi st e en estudiar
el programa' cmo opera, cmo influyen en l las si tuaciones en l as que se
aplica; qu ventajas e inconvenientes presenta para qui enes se ven direc
tamente afectados por l, y en qu aspectos de las t areas intelectuales y
experiencias acadmicas de los alumnos influye de modo especial. Aspira
a descubrir y documentar qu supone participar en el pl an, sea como
profesor o como alumno, y discernir y exponer, adems, las caractersti cas
ms significativas, las consecuencias y los procesos crticos de la i nnovacin
fP/ MLErr y Hami l t on, 1977, pg. 19).
Poco despus, Guba (1978), adoptando en lneas general es este mismo
entogue, trai d definir las dificultades a las que se enfrenta una e v a lu a c i n
Loe anf oquM pri nci pal es 43
naturalista". Tal como lo considera, el principal problema es el de la auten
ticidad: el establecimiento de las bases que permitan fiarse de los resulta
dos de la eval uacin. Otros problemas metodolgicos son el de fijar los
lmites de la investigacin y el de circunscribirse a las categoras en las que
puedan asimilarse y comprenderse los datos. Guba considera que la meto
dologa naturalista no slo describe el enfoque del estudio de casos, sino
tambin los modelos crtico y cuasijudicial.
Podemos comparar el enfoque del estudio de casos con el crtico, al
que se parece mucho. El crtico se basa en su propia experiencia y aplica
normas que escoge l mismo. Qui en emplea el estudio de casos se funda
tanto en las percepciones de otros como en las suyas, emitiendo sus j uicios
de valor sobre el programa. En algunos casos, ambos enfoques pueden
parecer muy semejantes.
El enfoque del estudio de casos, o de negociacin, de la evaluacin va
adquiriendo gran popularidad. Se estn llevando a cabo muchas evaluaciones
mediante estudio de casos (consideradas antes muy subjetivas) y existe
una bibliografa muy amplia sobre el tema. El enfoque del estudio de casos
resuelve el problema del evaluador procurando representar todas las posturas
significativas de valor en el estudio del caso de que se trate, extrayendo de
esas posturas sus criterios y normas, y dejando al lector del estudio que
sopese y equilbre estos elementos por su propia cuent a
Otros enfoques
He propuesto determinados enfoques, descritos y puestos en prctica
por muchos profesionales, como modelos principales de evaluacin. He
excluido otros por estar muy relacionados con estos tipos principales o ser
combi naci ones de los mismos. Los enfoques puros no tienen por qu ex
cluirse mutuamente. Est surgiendo un nuevo enfoque, debido a Ap p l e
(1979), Lundgren (1977), K a l l o s (1978), P au ls t o n (en prensa) y otros ms.
Aunque estos autores presentan diferencias sustanciales entre s, su enfoque
global consiste en asumir una postura terica que tiene en cuenta de forma
deliberada la sociedad. Consideran que sta se halla organi zada de mane
ra que produzca desigualdades de clase, y creen que la educacin propor
ciona los f undamentos ideolgicos de esta reproduccin social.
Hasta ahora, su trabajo ha consistido sobre todo en crticas de ios
enf oques de la evaluacin vigentes, ms que en formular un nuevo enfoque
basado en aqul fundamento terico. Muy pocas evaluaciones se han llevado
a cabo de acuerdo con este enfoque. Un estudio que se ha realizado
consiste en una investigacin a largo plazo de las convicci ones que han ido
surgiendo en los estudiantes en el transcurso de su f ormacin profesional
en la educacin superior sueca (Franke-Wikberg, 1979). Podemos suponer
que este enfoque de la eval uacin se centrar en las desigual dades en ei
contexto del programa sometido a val oracin. Si llega a desarroll arse este
4*
Eval uaci n, t i ca v p ^
enfoque, es probable que los supuestos a l subyacent es se caractericen
por ser no liberales, en claro contraste con los domi nant es en la actualidad
que hemos presentado antes.
Respecto a la clasificacin de las eval uaciones en ti pos idealizados
hemos de advertir, por ltimo, que tal clasificacin sl o ti ene un carcter <
aproximacin. Muchos evaluadores insistirn en que su enf oque concreto
es nico y no puede encuadrarse en ninguna de las ca t e gora s que he
expuesto. En cierto sentido, tienen razn. Los enf oques mencionados slo
son tipos idealizados, constructos utilizados para acl arar el pensamiento en
este campo. En cierto sentido, cada enfoque presenta caract eres exclusivos.
Por otra parte, creo que estos tipos bsicos dan cuent a de la inmensa
mayoria de las evaluaciones que se realizan en la act ual idad, y que pue
de defenderse con fuerza la clasificacin de los enf oques concretos utili
zados en la prctica en estas categoras general es. Est o no significa que
cada evaluacin adopte exactamente la forma propia de uno de estos ti
pos. Las evaluaciones reales estn configuradas por determinadas circuns
tancias y contingencias. Lo que, en ciertas circunst anci as, empieza como
una evaluacin por objetivos puede diferir mucho de ese tipo de evaluacin
en situaciones distintas. No obstante, es muy probabl e que, en la mayora
de los casos, una evaluacin por objetivos difiera mucho ms de otra que
siga el enfoque del estudio de casos. La prueba def initiva del esquema de
clasificacin estriba tanto en su validez como en su utilidad para comprender
la evaluacin. Alkjn y E lle t t (1979) y Alkin (1979) han manifestado un
punto de vista similar sobre el papel que desempean l os sistemas catego-
riales en la evaluacin.
CAPTULO III
Premi sas en l as que se basan l os enf oques
Liberalismo
Una manera de comprender la evaluacin consiste en comparar los
numerosos enfoques o modelos entre s (utilizo los trminos enfoques y
modelos como sinnimos). Hay muchas posibilidades de comparacin,
pero quiz las ms significativas sean las que se efectan entre las premisas
tericas en las que se fundan los enfoques. De este modo, podemos ver
hasta qu nivel son similares, desde el punto de vista lgico, y determinar
qu posibilidades lgicas tienen y cules no.
La cuestin fundamental es que todos los enfoques de evaluacin se
basan en variaciones de las premisas del liberalismo o, si se prefiere, en
las concepci ones de la democracia liberal. Los modelos difieren entre s
cuando cambian las premisas bsicas. En este contexto, entiendo el trmino
premisas segn el significado de sentido comn, en cuanto cosas que se
dan por supuestas o se toman como verdaderas.
En la primera columna de la taxonoma de la Figura 1 del Captulo II, se
citan los nombres corrientes de los enfoques. En la fila superior, apare
cen las dimensiones crticas de la comparacin: los destinatarios a quienes
se dirige la evaluacin, sobre qu aspectos existe acuerdo dentro del en
foque en cuestin, la metodologa de recogida de datos, los resultados
finales previstos y la cuestin caracterstica de la que se ocupa el enfoque.
En cierto nivel de abstraccin, stas son las premisas subyacentes al en
foque.
NOTA DEL AUTOR: Una versin de este capitulo apareci con el titulo: "Assumptions Un
derlying Evaluation Modes ", en: Educational Researcher, vol. 7, n. 3, marzo 1978, pgs. 4-12,
Copyright 1978: American Educational Research Association, Washington, D.C. Reimpreso con
autorizacin. Robert Enni s, David Hami l t on y Bruce St ewar t han aport ado sus valiosos co
mentarios.
41
Eval uaci n, tica y
En ta taxonoma, los modelos se relacionan entre s de forma sistemtica.
En general, a medida que se desciende por la columna de destinatarios
principales, son ms democrticos y menos elitistas. Si descendemos por
la columna del consenso, menor es el acuerdo sobre los objetivos y otros
etementos. En ta columna correspondiente a la metodologa, cuanto ms
abajo vayamos, ms subjetivista y menos objetivista ser la metodologa de
investigacin Descendiendo por la col umna de resultados, decrece la preo
cupacin general por la eficiencia social y aumenta la bsqueda de la com
prensin personal. En realidad, se trata de simplificaciones excesivas,, puesto
que el orden real es ms complejo.
Los etementos principales para comprender los enfoques son su tica,
su epistemologa y sus derivaciones polticas. Todos los modelos vigentes
se denvan de la filosofa del liberalismo y las diferencias existentes entre
ellos se deben a sus respectivas desviaciones de la corriente principal. No
pueden separarse por completo la tica, la epistemologa y la poltica.
El mismo liberalismo surgi del intento de racionalizar y justificar la so
ciedad de mercado (Macpher son, 1966), organizada sobre la base de la
libertad de eleccin. La eleccin sigue siendo una idea clave en los enfoques
de la evaluacin, aunque aparezcan diferencias en cuanto a quin elige,
qu elige y sobre qu base elige. El ideal ltimo es la eleccin del usuario,
pero difieren las concepciones sobre dicho usuario.
La segunda idea clave del liberalismo consiste en una psicologa in
dividualista Se presume que la existencia de cada mente individual es an
terior a la de la sociedad. En principio, no se piensa en el individuo como
parte de una colectividad mayor, aunque pueda incluirse ms adelante en
una de ellas, como en una situacin de contrato social. Respecto a sus
estructuras intelectuales, el liberalismo es profundamente individualista, desde
el punto de vista metodolgico.
Otra idea clave consiste en la orientacin empirista. Con f recuenci a,
el liberalismo es radicalmente empirista. Por ejemplo, John Stuart Mi l l , el
apstol del liberalismo, crea que incluso las matemticas tenan una ba
se inductiva. Todos los modelos de evaluacin muestran ese regusto empi
rista.
Los enfoques de la evaluacin asumen tambin un mercado l ibre de
ideas en el que los usuarios comprarn las mejores. Dan por supuest o
que la competencia entre las ideas fortalece la verdad. En ltimo extremo,
suponen que el saber har de alguna manera felices o mejores a las
personas. Por tanto, los enfoques de la evaluacin comparten las ideas
correspondientes a una sociedad mercantil, competitiva e individualista. Pero-
la idea ms fundamental es la de libertad de eleccin, porque, si falta, qu
utilidad tiene la evaluacin? La Figura 2 presenta los enfoques de eval uacin
relacionados con el liberalismo.
F
i
g
u
r
a

2
:
E
s
q
u
e
m
a

d
e

r
e
l
a
c
i
o
n
e
s

e
n
t
r
e

l
o
s

p
r
i
n
c
i
p
a
l
e
s

e
n
f
o
q
u
e
s

d
e

e
v
a
l
u
a
c
i
n

y
la

f
i
l
o
s
o
f
a

d
e
l

l
i
b
e
r
a
l
i
s
m
o
Premi sas en tas que se basan tos enf oques
47
J
u
s
t
i
c
i
a

c
o
m
o

e
q
u
i
d
a
d
Eval uacin, t i ca y pode
tica subjetivista
Todos tos modelos principales de evaluacin se basan en una tica
subjetivista aunque no sea necesario. Una clase de subj etivi smo tico con
sidera que el fin de la conducta tica es la realizacin de al gn tipo de
experiencia subjetiva. Se muestra ste en los cuatro enf oques que he de
nominado utilitarios". Hablando con propiedad, el utilitarismo se refiere a la
idea de elevar al mximo la felicidad en la sociedad. Toda activi dad que lo
consiga es correcta" y debe llevarse a cabo (House, 1976). Por regla
general, como indicadores de felicidad se utilizan medidas vi cari as, como el
producto nacional bruto en economa o las puntuaciones medi as de tests
en educacin.
Junto a los enfoques de anlisis de sistemas, objetivos conductual es y
de decisin, el modelo de Scriven, que prescinde de los objetivos, se
incluye tambin en esta clase. Todos estos enfoques tratan de ll egar a un
juicio nico de utilidad social general. El enfoque ms sencillo es la escala
homognea del enfoque del anlisis de sistemas, que trata de reduci r todas
las variables a un modelo cuantitativo, como el anlisis de regresin. Slo
se utilizan una o unas pocas variables de resultados.
El ms complejo (el de Scriven) considera muchas variables de resulta
dos, incluyendo efectos secundarios y terciarios. Hay que asi gnar pesos
distintos y combinar todas estas variables de manera que se integren en un
juicio sumativo global. Puede establecerse una analoga con un informe de
una asociacin de consumidores en el que se integran criterios muy diversos
para dar como resultado una clasificacin global de mejor y ptimo.
Como en el caso de la asociacin de consumidores, la clasificacin final
ser ordinaria y no de intervalos. Es utilitaria en el sentido de que el resaltado
final consiste en una clasificacin final de mritos, encabezada por la mejor
opcin para el usuario y, en ltimo trmino, de mxima utilidad social.
He denominado los otros cuatro modelos principales de evaluacin
intuicionistas-pluralistas". Los principios ticos no son nicos ni estn defi
nidos explcitamente como en la tica utilitaria. Hay varios principios sin
reglas para sopesarlos y esos principios se derivan de la intuicin y la
experiencia. Esto pone de relieve otro sentido del subjetivismo tico: los
criterios ltimos de lo que es bueno y correcto son sentimientos o aprecia
ciones individuales.
En el modelo de la critica de arte, el crtico llega a sus principios i nv aria
blemente plurales a travs de un largo perodo de preparacin y ex perie nci a.
Su gusto se ha perfeccionado tanto que es un j uez experto. G r a n p a rte de
su maestra se basa en su capacidad para equilibrar de modo intuitivo las
premisas de sus juicios. En el enfoque profesional, las premisas^ pue den
expresarse en libros como Evaluative Criteria (National Study of Secondary
School Evaluation, 1978), pero su origen y aplicacin siguen s i e n d o una
cuestin que tiene mucho de juicio intuitivo basado en una larga experiencia.
En el enfoque cuasijudicial, como en los juicios, el jurado tiene libertad
para utilizar mltiples criterios de manera intuitiva Los adversarios pueden
Premi sas en l as que se basan l os enf oques 49
introducir lo que gusten en calidad de evidencia que puede estructurarse
como pertinente. Por ltimo, en el enfoque del estudio de casos, se introducen
criterios plurales solicitando a diversas personas participantes en el programa
que emitan sus juicios respectivos. El evaluador y los destinatarios de la
evaluacin sopesan los datos de manera intuitiva. En general, los utilitaristas
suelen adoptar tcnicas definidas de forma explcita como base de la tica
y el saber, mientras que los intuicionistas-pluralistas asumen como f unda
mento de aqullos el saber intuitivo tcito que se deriva de la experiencia
profesional y la participacin.
Aunque todos los enfoques principales se basan en una tica subjetivista,
no tendra por qu ser as. En el marco de la filosofa liberal, podra darse
una tica objetivista. Por ejemplo, en su A Theory of J ustice, John Rawls
(1971) trat de fundamentar su tica social en dos principios de justicia
Esos principios no se justificaban sobre la base de que llevaran al mximo
un sentimiento subjetivo, como la felicidad, ni en el hecho de que las personas
sostuvieran intuitivamente tales principios. Las premisas se justificaban, en
cambio, sobre la base de que el anlisis racional, o sea, la teora de reducir
al mnimo las prdidas, llevara a cualquier persona racional hasta las mis
mas premisas. Eran objetivistas en el sentido de que se basaban en una
lgica pblica susceptible de revisin. La teora de Rawls seguira encua
drndose en la tradicin liberal de la libre eleccin y el individualismo me
todolgico.
El grupo utilitarista se diferencia internamente por su orientacin hacia
distintos destinatarios. Los enfoques de anlisis de sistemas, objetivos con-
ductuales y de decisin se orientan en gran medida a suministrar informacin
a los gestores o dirigentes. El enfoque que prescinde de los objetivos del
programa tiende ms hacia los usuarios. Esta distincin entre elite y masas
aparece tambin entre los intuicionistas-pluralistas. Los enfoques crticos
artstico y profesional se basan, para j uzgar el programa que se evala, en
profesionales expertos, mientras que los enfoques cuasijudicial y de estudio
de casos requieren la participacin de profesionales y pblico.
La epistemologa objetivista liberal
Los enfoques gerenciales, con su orientacin hacia la gestin, buscan la
manera de que la direccin pueda supervisar y perf eccionar los programas.
Las principales preocupaci ones de la direccin son la responsabilidad, la
eficiencia y el control de calidad. La eval uacin tiene una cierta funcin de
perro guardin. La escuel a gerencial suele basarse tambin en una episte
mologa comn, que he denominado objetivista". Se considera que la in
f ormacin de la eval uacin es "cientficamente obj et i vaEst a objetividao se
consigue utilizando instrumentos objetivos", como tests o cuestinanos. Se
supone que los resultados que producen estos instrumentos son reproduo
bles. Los datos se analizan por medio de tcnicas cuantitativas, que tambin
# Ct MMI MOMBk S.
Eval uaci n, ti ca v p0(Je|
son objetivas" en el sentido de que pueden verificarse mediante la revisin
lgica de (as mismas, con independencia de quien las emplee.
En su forma extrema, el objetivismo epistemolgico excluye por completo
lo no cuantitativo: lo que existe puede medirse. La reduccin a nmeros se
equipara a veces a la objetividad. En buena medida, los orgenes de este
empirismo y objetivismo extremos pueden encontrarse en la primitiva epis.
tecnologa de la filosofa liberal.
En parte, podemos situar los orgenes del liberalismo como filosofa en
el primer gran empirista britnico: Thomas Hobbes. Este autor e ra un admi-
rador de Gauleo y de su visin mecnica global del universo. Hobbes
elabor una filosofa mecanicista de la mente, basada en la dea de que las
sensaciones se producen en la mente a causa de los movimientos de
cuerpos externos. Las palabras slo tienen significado cuando se asocian
con estas sensaciones y la verdad consiste en el correcto ordenamiento
de nombres y sensaciones. Las definiciones claras son fundamentales. El
razonamiento equivale al clculo y slo ser correcto cuando los signos se
vinculen con imgenes coherentes. Causa y efecto constituyen un reflejo
directo del mundo. Por tanto, el camino hacia la verdad pasa por la definicin
clara y el mtodo cientfico.
Locke, Berkeley y Hume, a su vez, reformularon esta epistemologa.
Doscientos aos despus, apareci el ltimo de los grandes empiristas
britnicos: John Stuart Mi l l , llamado tambin el apstol del liberalismo.
Segn Mi l l , la mente es un manojo de impresiones. Las leyes psicolgicas
de la asociacin constituiran el fundamento de la ciencia de la sociedad.
Todo proviene de la experiencia y ha de ser comprobado mediante sta,
hasta el punto de que incluso la lgica deductiva (las matemticas, por
ejemplo) tiene una base inductiva. Mi l l no vea ninguna diferencia funda
mental entre las verdades lgicas y las verdades basadas en hechos. ^Pen
saba que todo el conocimiento tena que fundamentarse en la experiencia y i
comprobarse mediante sta. El saber consista en la suma de las observa
ciones individuales.
Este individualismo metodolgico extremo llegaba hasta lo ms profundo
de la filosofa de Mi l l . Segn l, la sociedad era una coleccin de personas
individuales unidas por intereses comunes. Su empirismo radical 1$ llev a
formular reglas para el desarrollo de la investigacin inductiva en MSystem
of Logic. Como la mente consista en sensaciones, sentimientos y sus
asociaciones, para Mi l l , las categoras del mundo real eran lbilmente
accesibles. Pero, en qu se basaban estas categoras? Si fuesen efmeras,
nada podramos conocer. Para solucionar este problema, M i l l dio por su
puesto que el mundo consista en uniformidades constantes entre clases de
sensaciones.
La experimentacin era esencial para la comprobacin cientfica de l as
teoras. Las conexiones causales vlidas slo podan establecerse medi ant e
el meticuloso ordenamiento y la variacin ifidpendiente de las condi ci ones
antecedentes y las consecuencias. Con frecuencia, stas quedaban ocul t as
a la observacin casual. Las apariencias sin depurar resultaban engaosas.
# CdKHmMwsBa. $. L.
145758
Premi sas en les que se besen l os enf oques
Slo las tcnicas de la lgica inductiva podan purificarlas. En este contexto,
eran tiles las tcnicas como el mtodo del acuerdo, el de la diferencia o el
de la variacin concomitante. Los cnones de la induccin proporcionaban
un mtodo para filtrar la evidencia de las correlaciones en las que se
basaban las leyes cientficas.
Se trataba de llegar a leyes cientficas. La ciencia debia ocuparse de las
uniformidades causales que afectaran a todos los elementos pertenecien
tes a una clase dada. La clave de la que dependa todo el sistema lgico
de Mil l era el supuesto de la uniformidad de la naturaleza. Con palabras de
este autor:
En pri mer lugar, t enemos que observar que, en el mi smo enunci ado de lo
que es la i nducci n, hay una premi sa bsica; un supuest o previ o en rel aci n
con el decurso de la nat uraleza y el orden del uni verso: en la nat uraleza existen
casos paralelos, de modo que lo que sucede una vez, si se da un grado suficiente
de ci rcunst anci as semej ant es, ocurri r de nuevo, y no sl o otra vez, si no tantas
veces cuant as vuel van a concurri r las mi smas ci rcunst anci as... V si observamos
el curso real de l a nat ural eza, veremos que la premi sa es ci erta. El uni verso, en
la medi da en que lo conocemos, est constitui do de tal manera que lo que es
ci erto en un caso, lo es en t odos los casos de una mi sma cl ase; la ni ca
dif icultad est en descubri r de qu clase se trata.
(Mil l , 1893.)
Este empirismo extremo se basaba en el convencimiento de que no era
difcil descubrir las categoras, como en el caso de las categoras de las
ciencias fsicas. Utilizando las tcnicas adecuadas, podran definirse las
variables y establecer las relaciones entre ellas. Como la naturaleza serla
uniforme, podramos inducir las leyes de las ciencias sociales, del mismo
modo que en las ciencias naturales. Es ms, esto podra llevarse a cabo
mediante la metodologa de encuesta. La evaluacin ha heredado ese ex
tremo inters por el empirismo en la exclusin de la teora a partir de la
epistemologa liberal: en la naturaleza, podemos descubrir relaciones sin
necesidad de constructos tericos.
Hami l t on (1977) estudia la aparicin de algunas de estas ideas en la
evaluacin. Un contemporneo de Mi l l , Francis Ga l t o n , cre tcnicas co
rrelacinales para establecer las conexiones entre las categoras que, segn
Mi l l , eran fcilmente apreciables. Ga l t o n proporcion tambin un importante
f undamento para la psicometra en su obra sobre las diferencias individuales.
Ca t t e l l , muy influido por Ga l t o n , introdujo los tests mentales en los Estados
Unidos.
El uso de los tests en educacin con fines de clasificacin fue promovido
por E. L. Thor ndi k e. Este autor tuvo tambin gran influencia en el movimiento
de gestin Cientfica de la educacin. Dicho movimiento introdujo en las
escuelas la ingeniera de la eficiencia. Los tests, las escalas de clasificacin
y las tcnicas cuantitativas estimuladas por los trabajos de Thohnoke se
^ ---------- I_Wder
utilizaron como instrumentos para lograr la eficiencia de las escuela
(Caiuhan, 1962). ' I s
Al hacer hincapi en el anlisis de tareas, la especificacin previa
muchos otros aspectos, la gestin cientfica presenta un importante pareci
con los enfoques del anlisis de sistemas y de los objetivos conducales
de la evaluacin (House, 1978). De hecho, uno de los principales def enso
res de la gestin cientfica de la educacin fue Franklin Bobbitt. Ms tarde
Bobsitt y Cmarters adoptaron un enfoque de anlisis de tarea y especifj
cacin de la misma en relacin con el desarrollo curricular. Uno de |0
alumnos posgraduados de Char t er s fue Ralph Ty l e r , creador del modelo
de evaluacin por objetivos conductuales. La orientacin gerencial de la
evaluacin tiene profundas races histricas.
Con independencia de sus conexiones histricas, la semejanza entre
los modelos gerenciales de evaluacin y la epistemologa de M i l l es grande.
Quiz sea Alice M. Rivun la principal exponente del enfoque del anlisis de
sistemas. Perteneca al grupo que introdujo el anlisis coste/producto en la
educacin y en otros programas sociales en el Department of Health, Edu
caron and Welfare en los aos sesenta. La mayor parte de los ms amplios
programas federales de evaluacin se basaron en la lgica del anlisis de
sistemas (McLaughlin, 1975).
Las ideas clave del enfoque de Rivun ( 1971) eran las siguientes (Hou
se, 1978):
Las decisiones clave deben tomarse en los niveles gubernamentales
superiores.
El fin de la evaluacin es la eficiencia en la produccin de servicios
sociales.
El nico conocimiento verdadero consiste en una funcin de produc
cin que especifique relaciones estables entre inputs y outputs edu
cativos.
Slo puede conseguirse ese conocimiento mediante los mtodos
experimentales y las tcnicas estadsticas.
Es posible lograr el acuerdo sobre los objetivos y sobre unas pocas
medidas de resultados.
Existe un paralelismo directo entre la produccin de servicios sociales
y la de artculos manufacturados. Se aplican las mismas tcnicas de
anlisis.
Como Mill, Rivun da por supuesto que el paradigma de las ciencias
fsicas es adecuado para estos menesteres. Consideraba que las misn1^
tcnicas de investigacin servan para los servicios sociales y para la fa
cacin de productos. El resultado sera unas generalizaciones (funcin
de produccin, en este caso) vlidas en diversas circunstancias, sie^P
que pudiesen determinarse stas. Esta concepci n mecanicista se re,1l0L
hasta Hobbes. Y las premisas de la uniformidad de la naturaleza nos_
van hasta J. S. Mill. Los resultados seran consistentes en cualquier P
41 .
# EdttwwMoral*, f. '
Premi sas en las que se basan los enfoques
53
Ri vl i n crea, como t ambi n Mi l l , que hacan falta muest ras grandes para
evi t ar l os aspect os i diosi ncrsi cos.
Mi l l pensaba que el pri ncipal probl ema moral era la i lustracin y que tos
hombres resul t aban engaados por sus i nsti tuci ones. Ri vun crea que el
pri nci pal probl ema era la i gnoranci a respect o a cmo produci r servi ci os
soci al es de manera ms ef i caz. Ambos estaban convenci dos de que el
empl eo de expert os el i mi nara esos probl emas. Asi mi smo, ambos crean en
la ut i l i zaci n de unas cuant as medi das como sustitutos de la f eli ci dad. Esas
medi das son necesari as para los cl cul os preci sos para el f unci onami ent o
de la t i ca utilitaria.
No obst ant e, hay un aspect o en el que el liberal cl si co J. S. Mi l l y un
l i beral moderno se di st anci an. Para Mi l l , la libertad era necesari a para que
se produj era la i l ust racin. Fue uno de l os grandes def ensores del laissez-
faire. El gobi erno deba apart arse de los asunt os de los i ndi vi duos. Segn
Ri vl i n, una l i beral del est ado del bi enest ar, el gobi erno t endra que t omar las
deci si ones y ponerl as en prct i ca. Con el fin de descubri r lo que f unci o
na, el gobi erno necesi t a mayor cont rol para poder desarrol l ar experi ment os.
A excepci n de campos especi al es, como el de la educaci n, en el que
acept aba la pl ani f i caci n y la coerci n, i ncl uso, Mi l l no est aba a f avor de
l a pl ani f i caci n soci al a gran escal a. Ri vl i n const i tuye el eptome de di cha
pl ani f i caci n.
El obj et i vi smo de l os enf oques gerenci al es de la eval uaci n, que t i ende
a equi parar la obj et i vi dad con la cuanti f i caci n, se basa en el acuerdo
i nt ersubj et i vo como i ndi cador excl usi vo de obj et i vi dad. Scri ven (1972) lo
l l ama sent i do cuanti tati vo de la obj eti vidad . La percepci n que una persona
t i ene de al go se consi dera subj et i va: es la di sposi ci n de un i ndi vi duo. Lo
obj et i vo est consti tui do por lo que experi ment a un conj unto de observadores.
La experi enci a comn hace pbl i ca la observaci n medi ant e el acuerdo
i nt ersubj et i vo.
Ha l l egado a equi pararse la obj eti vi dad con la ext eri ori zaci n de t odas
l as ref erenci as, de manera que se l l egue a un test i moni o mlti ple, dado que,
segn la doct ri na de la i nt ersubj eti vi dad, no es acept abl e lo que no puedan
experi ment ar ot ros de f orma di recta. Por tanto, con f recuenci a, se equi para
la obj et i vi dad con l a posi bi l i dad de especi f i car y expl i car por compl et o t odos
l os procedi mi ent os de recogi da de dat os. La total ext eri ori zaci n permi t e la
rpl i ca, l a pi edra de t oque de la f i abi l idad.
Descri bi endo l os procedi mi ent os de anl i si s de si st emas, el Department
of Defense pl ant ea de est e modo l a cuest i n:
Qui z el ms importante de ellos sea el mtodo cientfico. Esto significa que
los datos utilizados en el anlisis deben ser susceptibles de verificacin, bien
mediante observaci n, bien por deducci n a partir de premi sas aceptables, y
que los procedimientos empleados en el anlisis deben ajustarse a las regias
aceptadas de la lgica. El anlisis de sistemas se caracteriza, en segundo tugar,
por el uso de datos cuantificables y tcnicas matemticas... El comn denomnactor
final del anlisis de sistemas es la claridad. Las premisas y criterios utthzactos m
$ CdieiotmMchHl i L
a
utilizaron como instrumentos para lograr la eficiencia de las escuela
(Cal l ahan, 1962).
Al hacer hincapi en el anlisis de tareas, la especificacin previa m
muchos otros aspectos, la gestin cientfica presenta un importante parecido
con los enfoques del anlisis de sistemas y de los objetivos conduct ual es
de la evaluacin (House, 1978). De hecho, uno de los principales defenso-
res de la gestin cientfica de la educacin fue Franklin Bo b b it t . Ms tarde
Bobbit t y Char t er s adoptaron un enfoque de anlisis de tarea y especifj'
cacin de la misma en relacin con el desarrollo curricular. Uno de |0
alumnos posgraduados de Cha r t er s fue Ralph Ty l e r , creador del modelo
de evaluacin por objetivos conductuales. La orientacin gerenci al de la
evaluacin tiene profundas races histricas.
Con independencia de sus conexiones histricas, la semejanza entre
los modelos gerenciales de evaluacin y la epistemologa de Mil l es grande.
Quiz sea Alice M. Rivun la principal exponente del enfoque del anlisis de
sistemas. Perteneca al grupo que introdujo el anlisis coste/ producto en la
educacin y en otros programas sociales en el Department of Health, Edu-
cation and Welfare en los aos sesenta. La mayor parte de los ms amplios
programas federales de evaluacin se basaron en la lgica del anlisis de
sistemas (Mc Laughl in, 1975).
Las ideas clave del enfoque de Ri vun (1971) eran l as siguientes (Hou
se, 1978):
Las decisiones clave deben tomarse en los niveles gubernamentales
superiores.
El fin de la evaluacin es la eficiencia en la produccin de servicios
sociales.
El nico conocimiento verdadero consiste en una funcin de produc
cin que especifique relaciones estables entre inputs y outputs edu
cativos.
Slo puede conseguirse ese conocimiento mediante los mtodos
experimentales y las tcnicas estadsticas.
Es posible lograr el acuerdo sobre los objetivos y sobre unas pocas
medidas de resultados.
Existe un paralelismo directo entre la produccin de servicios sociales
y la de artculos manufacturados. Se aplican las mismas tcnicas o
anlisis.
Como Mill, Rivun da por supuesto que el paradigma de l as ciencias
fsicas es adecuado para estos menesteres. Consideraba que l as
tcnicas de investigacin servan para los servicios sociales y para la ja
cacin de productos. El resultado sera unas generalizaciones (tune1 e
de produccin, en este caso) vlidas en diversas circunstancias, sl0pta
que pudiesen determinarse stas. Esta concepcin mecanicista se rem ^
hasta Ho bbes . Y las premisas de la uniformidad de la nat ur al eza1no e
van hasta J. S. Mill. Los resultados seran consistentes en cual qui er P
6 f&eiPMi Moteta, I ,L
53
Ri v l i n crea, como t ambi n Mi l l , que hacan f al t a muest ras gr andes para
evi t ar l os aspect os i di osi ncrsi cos.
M i l l pensaba que el pri nci pal probl ema moral era la i l ust raci n y que l os
hombres resul t aban engaados por sus i nsti t uci ones. Ri vl i n crea que el
pri nci pal probl ema era la i gnoranci a respect o a cmo produci r servi ci os
soci al es de manera ms ef i caz. Ambos est aban convenci dos de que el
empl eo de expert os el i mi nara esos probl emas. Asi mi smo, ambos crean en
la ut i l i zaci n de unas cuant as medi das como sust i tutos de la f el i ci dad. Esas
medi das son necesari as para l os cl cul os preci sos para el f unci onami ent o
de la t i ca utilitaria.
No obst ant e, hay un aspect o en el que el l i beral cl si co J. S. M i l l y un
l i beral moderno se di st anci an. Para Mi l l , la l i bert ad era necesari a para que
se produj era la i l ust raci n. Fue uno de l os grandes def ensores del laissez-
faire. El gobi erno deba apart arse de l os asunt os de l os i ndi vi duos. Segn
Ri vl i n, una li beral del est ado del bi enest ar, el gobi erno t endra que t omar l as
deci si ones y ponerl as en prct i ca. Con el fin de descubri r lo que f unci o
na, el gobi erno necesi t a mayor cont rol para poder desarrol l ar experi ment os.
A excepci n de campos especi al es, como el de l a educaci n, en el que
acept aba la pl ani f i caci n y la coerci n, i ncl uso, M i l l no est aba a f avor de
l a pl ani f i caci n soci al a gran escal a. Ri vl i n const i t uye el ept ome de di cha
pl ani f i caci n.
El obj et i vi smo de l os enf oques gerenci al es de l a eval uaci n, que t i ende
a equi parar la obj et i vi dad con la cuant i f i caci n, se basa en el acuerdo
i nt ersubj et i vo como i ndi cador excl usi vo de obj et i vi dad. Scr i ven (1972) lo
l l ama sent i do cuanti tat i vo de la obj et i vi dad . La percepci n que una persona
t i ene de al go se consi dera subj et i va: es l a di sposi ci n de un i ndi vi duo. Lo
obj et i vo est const it ui do por lo que experi ment a un conj unt o de observadores.
La experi enci a comn hace pbl i ca l a observaci n medi ant e el acuerdo
i nt ersubj et i vo.
Ha l l egado a equi pararse la obj et i vi dad con la ext eri ori zaci n de t odas
l as ref erenci as, de manera que se l l egue a un t est i moni o ml ti ple, dado que,
segn l a doct ri na de la i nt ersubj et i vi dad, no es acept abl e lo que no puedan
experi ment ar ot ros de f orma di rect a. Por t anto, con f recuenci a, se equi para
l a obj et i vi dad con l a posi bi l i dad de especi f i car y expl i car por compl et o t odos
l os procedi mi ent os de recogi da de dat os. La total ext eri ori zaci n permi t e la
rpl i ca, la pi edra de t oque de la f iabi l idad.
Descri bi endo l os procedi mi ent os de anl i si s de si st emas, el Department
of Defense pl ant ea de est e modo l a cuest i n:
Qui z el ms importante de ellos sea el mtodo cientfico. Esto signif ica que
los datos utilizados en el anlisis deben ser susceptibles de verif icacin, bien
mediante observaci n, bien por deducci n a partir de premi sas aceptables, y
que los procedimientos empleados en el anlisis deben aj ustarse a las recias
aceptadas de la lgica. El anlisis de sistemas se caracteriza, en segundo lugar,
por el uso de datos cuantificables y tcnicas matemticas... El comn enomrator
final del anlisis de sistemas es la claridad. Las premi sas y criterios utilizados en
CdMon MONMk S. L.
54 Evaluacin, t i ca
' ' -----iPgger
un anlisis se especifican y los aspectos i nconmensurabl es y l as reas d
incertidutnbre se delimitan con todo cuidado. r e
( S N Y D E R , 1 9 6 7 , P g . 5 j I
De acuerdo con este razonami ento, se asi gna la mxi ma pri ori dad a ios I
"instrumentos fiables". En realidad, cuant o mayor sea el acuer do entre i
observadores (coeficiente de fiabilidad), mej or parecer el i nst rument o o I
procedimiento. Por desgraci a, la fiabilidad no garant i za l a val i dez y l a f alacia I
intersubjetiva puede llevar a utilizar "i nst rument os con l os que se l ogra un I
alto grado de acuerdo entre observadores en perj ui ci o de procedi mi ent os 1
de superior validez. Los instrumentos de el evada f i abi l i dad const i t uyen los I
hitos de este objetivismo epi stemolgi co.
En cierto sentido, el principio de veri f icaci n i nt ersubj et i va se t rasl ada a I
la definicin de los objetivos, as como a la medi da de l os ef ect os. En el I
enfoque gerencial de la eval uacin, se supone que es posi bl e l l egar al I
consenso sobre los objetivos de un proyect o concret o. Est e supuest o es I
fundamental en los model os de anlisis de si st emas y de obj et i vos conduc- I
tuales, porque el consenso def ine lo que buscar la eval uaci n. Adems, el I
modelo de anlisis de si stemas da t ambi n por supuest o el acuer do sobre ]
las relaciones entre causa y efecto. Mi l l presupona que l a causa y el I
efecto son evidentes y di scerni bl es por nat ural eza.
Por tanto, en el objetivismo, la nocin de obj et i vi dad se equi par a con los I
procedimientos para determinar la i ntersubj eti vi dad. Est o se pr oduce tanto 1
en la tica como en la epi stemologa. En real i dad, el ut i l i t ari smo [requiere I
que haya una norma ni ca de utilidad soci al con l a que comparar las 1
cosas.
Aunque he situado la eval uaci n i ndependi ent e de l os obj et i vos de I
Scri ven en el grupo utilitarista, sta es al go ms compl ej a. Scr i ven emplea 1
la idea cualitativa de objetividad. En est e caso, st a se equi para con la I
ausencia de sesgos y def ormaci ones. La preocupaci n suprema de S c r i v e n I
consiste en el control de los sesgos. Puede uti l i zar el di seo experimen-
tal, como el grupo gerencial , pero ha el aborado t odo un arsenal de disposi- 1
tivos organizati vos y social es para control ar l as desvi aci ones tendenciosas
en su sentido ms ampli o (Scri ven, 1 9 7 5 , 1 9 7 6 ) .
En el marco de Sc r i v en , es posi bl e que un ni co observador, sin el 1
auxilio de instrumento psi comtrico alguno, sea ms obj et i vo que un bata-
lln de observadores cargado de i nst rument os f i abl es, si empre q u e el ob- j
servador ni co busque lo que debe buscar y est lo bast ant e pr ot egi do
contra numerosos sesgos. Sc r i v en no equi para l a obj et i vi dad al a c u e r d o i n - 1
tersubjetivo.
Tampoco hace suyo el consenso respect o a met as y obj et i vos, como
pone de manifiesto de manera espect acul ar el enf oque i ndependi ent e de
objetivos. Es probable que la eval uaci n i ndependi ent e de obj et i vos requ'era
el acuerdo sobre las consecuenci as del programa. (De nuevo, se refie,e
ms a la eleccin del usuari o que a la del di rect i vo.) Sc r i v e n f eombna
& EAaonM Mor ata, S. L
6
ml t i pl es cri t eri os de consecuenci as con l a escal a ordi nal y un enf oque
comparat i vo i mpl acabl e.
La epistemologa subjetivista
La eval uaci n uti litari sta se basa, por tant o, en una t i ca subj et i vi sta, de
manera que el eve al mxi mo un est ado ment al , como es l a sat i sf acci n;
pero, para hacerl o, empl ea una epi st emol oga obj et i vi sta. Cuando se ha
det ermi nado lo que debe promoverse al mxi mo, l a met odol oga puede
ut i l i zarse de f orma obj et i vi st a para asi gnar recursos que sat i sf agan di versos
deseos.
Los enf oques i nt ui ci oni st as-pl ural i st as de l a eval uaci n empl ean una
t i ca subj et i vi st a de cl ase di f erente. En general , t ambi n su met odol oga de
i nvest i gaci n suel e ser subj et i vi st a. Los procedi mi ent os medi ant e l os cual es
un crt i co educat i vo o un equi po de acredi t aci n l l eva a cabo su i nvest i gaci n
son ms general es que especf i cos. La cl ari dad de detal l es y la ext eri ori zaci n
de l os procedi mi ent os, de manera que ot ros puedan observar lo mi smo, no
son denomi nadores comunes. Tampoco la posi bi l i dad de reproducci n es
el cri t eri o pri nci pal .
Del mi smo modo, en l os enf oques cuasi j udi ci al y de est udi o de casos,
no se especi f i ca del t odo cmo l l ega un j urado a una deci si n ni por qu un
est udi oso de casos escoge ci ert os mat eri al es y no otros. El modo en que el
aut or cl ave desarrol l a su i nvent i gaci n se di st i ngue por una subj et i vi dad
i mport ant e.
Mi ent ras l os obj et i vi st as se f undan en la cl ari dad de det al l es para def ini r
t cni cas que puedan ut i l izar ot ros, l os i nt ui ci oni st as se basan en l a prepara
ci n y l a experi enci a para garant i zar el descubri mi ent o de l a verdad. En
est os enf oques, l l evados al ext remo, t ant o la val i dez como la ut i li dad se
def i nen de manera subj et i va. La val i dez se conci be en rel aci n con l os
condi ci onami ent os de l a ment e humana, bi en a causa de l as l i mi t aci ones
uni versal es que pesan sobre la f orma de pensar de l as personas, bi en a
causa de l i mi t aci ones personal es. (A menudo, en el marco obj et i vi st a, se
conci be l a val i dez como la previ si n de una cat egora observabl e a parti r
de otra.)
La val i dez subj et i va si gni f i ca que la verdad depende de l a nat ural eza
humana y, qui z i ncl uso, de l os humanos concret os. Lo que es vl i do para
uno, puede no serl o para ot ro. De i gual modo, l a ut il idad subj et i va de al go
se basa en el j ui ci o y en l os deseos personal es. Cada persona es el mej or
j uez de l os hechos para s mi sma.
En real i dad, la epi st emol oga subj et i vi st a no es t an anrqui ca como parece.
Mi ent ras que l a post ura obj et i vi st a se basa en la ext eri ori zaci n y pl ena es
peci f i caci n de l as t cni cas, l a post ura subj et i vi st a se f unda en la t radi ci n
del caso cerrado . Medi ant e l a preparaci n, l a experi enci a y l a soci al i zaci n,
el eval uador i ncorpora precedent es a sus j ui ci os. La j ust i ci a const i t uye el
ej empl o ms obvi o de un conj unt o de casos que ori ent an el j ui ci o.
Ediciones Moris. i.
A t e subjeftwstas tes npocta menos llegar a una proposicin verdadera
ten eJsenado de generafczabte) que relacionar la eval uacin con la expe~
nenoa concreta de los destinatarios. Tratan de conseguir una perspectiva
v>>ca eft p marco de referencia del grupo para el que trabajan. Se da por
supuesta la distancia entre el lenguaje y la experiencia. El eval uador busca
ms el conocimiento tcito que el explcito. La eval uacin est intenciona,
tmente togada al contexto y sus descubrimientos se interpretan dentro de:
mismo. Como los descaanos pueden tener una captacin ms Jndamen-
ada del contexto, basados en su mayor experiencia, la interpretacin que
eAos hagan de un acontecimiento puede ser superior a la del evaluador, a
los evaluadores subjelivistas les preocupan ms en su trabajo los enunciados
causales especficos (validez interna) que los enunciados causales generales
(validez extema) (Ennis, 1973). Las generalizaciones quedan para los desti
natarios
La metodologa subjetivista suele ser naturalista. Aspira a la generalizacin
naturalista (basada en la experiencia de los destinatarios); se dirige ms a
destinatarios no tcnicos, como profesores y pblico en general; utiliza el
lenguaje ordinano y categoras cotidianas de acontecimientos, y se basa
ms en la lgica informal que en la formal. Los instrumentos preferidos para
recoger datos son las entrevistas y observaciones informales. Con frecuencia,
sus trabajos se ponen por escrito a modo de estudios de casos.
El evaluador procura recoger mltiples perspectivas, aunque no con-
cuerden entre s. Asimismo, tienen gran relieve la investigacin histrica y
el seguimiento de los hechos en el transcurso del tiempo. El modo histrico
de investigacin es ms adecuado que el de las ciencias naturales. Se
hace ms hincapi en lo cualitativo que en lo cuantitativo.
En la metodologa subjetivista, la utilidad se plantea en trminos de los
intereses del observador. La teora y la prctica se mezclan. El objetivo
consiste en mejorar la comprensin de individuos particulares. En el enfoque
objetivista. se da una separacin rgida entre el observador y los hechos
(una teora muy abstracta separada de la aplicacin). Su objetivo es la
previsin.
La tcnica del caso cerrado y el uso de los precedentes proporci onan
estabilidad a los juicios que se derivan de la epistemologa subjetivista. En
realidad, en estos enfoques de evaluacin, tiene tanto peso la tradicin qu
se pueden criticar por eso mismo. Ocurre esto porque los enf oques subjej1'
vistas se basan en gran medida en el juicio del profesional que, a su v02, ^
funda en la experiencia de la clase. Los modelos subjetivistas consi deran
educacin y la enseanza como un arte, ms que como un conj unt o j
tcnicas explcitas y exteriorizadas.
El enfoque de estudio de casos de la evaluacin se centra en los lieCV I
que se producen dentro y alrededor del programa concreto en con10 I
Se basa en la percepcin y en el conocimiento como proceso I
4or En una versin de la psicologa transaccional, la percepci n l111111' ,/, I
fJepende de tres caractersticas (It t e l s o n y C a n t r i l , 1954). En prime' j oS I
fA hechoe de la percepcin se presentan siempre mediante* lnd|V/l
Pl f KMMt W I M QWWM bMUl t ol t rt QQUM
concret os que se desenvuelven en situaciones concret as Po tant o, sol o
pueden estudiarse las percepci ones a travs de (as t ransacci ones concret a*
en las que pueden observarse. Ni las percepciones ni el obj et o perci bi do
existen con independencia de una situacin vi t al La situacin es una tran
saccin, Todas las parles que intervienen en la situacin se incluyen en la
transaccin como participantes activos '. Las partes deben su exi st enci a a
esta participacin activa y no aparecen como entidades independientes
preexistentes. En consecuencia, la participacin activa constituye una idea
clave.
En segundo tugar, la percepcin siempre es de una peisona particular,
desde su propia postura, expenencias y necesidades nicas Hay tantos
puntos de vista como participantes. Incluso los cientficos observadores
entran en la situacin como participantes. Ellos influyen en la situacin y, a
su vez, son influidos por ella. Por tanto, el punto de vista del cientfico
observador slo es uno entre muchos. Forma parte de la transaccin
Tercero, cada persona crea su propio ambiente psicolgico, atribuyendo
aspectos de su experiencia al ambiente. Cree que el ambiente oxiste con
independencia de su experiencia. En otras palabras, exterioriza su expe
riencia. En consecuencia, el mundo, tal como se experimenta, es el producto
de la percepcin y no su causa.
Estas premisas respecto a la percepcin difieren por completo de las de
J. S. Milu y Ho b b es . Desde el punto de vista mecanicista hobbesiano. el
ambiente acta sobre el organismo para producir la percepcin. En la pera-
pectiva transaccional, ste tambin opera en el ambiente de forma activa,
por lo que la percepcin es producto de ambos. Las categoras no se dis
tinguen con facilidad del ambiente porque estn inextricablemente mezcladas
con las propias percepciones.
Desde el punto de vista hobbesiano-milliano, el mundo se toma como
dado. La uniformidad mecanicista de la naturaleza lo garantiza. Las percep
ciones pueden aislarse y estudiarse. Un cientfico puede comunicar enun
ciados a otro cientfico, que son reduclbles a lo que el otro experimental a si
hace determinadas cosas (el punto de vista operacional). En la perspectiva
transaccional, la fiabilidad no se consigue con tanta facilidad, Lo que uno
observa es funcin de la posicin y experiencia nicas de cada obseivador
e, Incluso, de sus fines. Las percepciones slo pueden estudiarse en situa
ciones concretas de la vida real.
No todos los defensores de los enfoques de estudio de casos de la
evaluacin suscribiran todos estos presupuestos, pero esta descripcin
presenta el punto de vista transaccional como Interaccin dialctica entre
las personas y su ambiente que se traduce en percepciones Las percep
ciones individuales constituyen un centro de atencin que estudiar y la
participacin activa es esencial para el conocimiento.
^ a |uaci6n1ticaypêr
Premisas polticas de los modelos: los utilitaristas
El liberalismo no slo es una teora tica y epi stemolgica, si no tambin
una teora profundamente poltica. Como sealamos antes, aunque RiVl i n n
los liberales modernos aceptan la tica utilitaria y el empi ri smo extremo de
J. S. Mi l i , difieren espectacularmente de su postura respect o al papel que
haya de desempear el gobierno en cuanto a las deci si ones y a la iniciati
va de accin. El liberalismo de bienestar de Ri vl i n sost i ene que el gobier
no debe tomar las principales decisiones, mientras que M i l l era el campen
del laissez-faire, de mantener al gobierno lo ms apart ado posible de las
decisiones. En este sentido, los intuicionistas estn ms cerca del liberalismo
clsico que los utilitaristas.
Segn Mi l l , la ilustracin era necesaria para la f eli cidad y la libertad. La
ausencia de interferencia del gobierno era necesari a para la ilustracin.
Segn Rivlin, la ilustracin se producir a travs de la i nvest i gacin patroci
nada por el gobierno y, sobre la base de estos conoci mi ent os, el gobierno
emprender los pasos necesarios para paliar los probl emas. En ambos
casos, el saber har felices a los hombres.
Segn Mi l l , hay dos esferas distintas de acti vi dades: int erna y externa.
La interna abarca la mente, el cuerpo y las acci ones pri vadas del propio
individuo. En la esfera interna, el gobierno no ti ene absol ut ament e ningn
derecho a interferir en nada. El individuo podra ent ret enerse o abusar de s
mismo cuando se tratase de cuestiones que sl o le af ect aran a l (Wo l f f ,
1968). El mbito de actuacin del gobierno se limita sl o a lo que concierne
a terceros: la esfera extema.
Incluso en la esfera extema en la estructura de Mi l l , slo se Justifica la
interferencia social sobre la base del principio de utilidad. Es decir, la inter
ferencia gubernamental slo estara justificada cuando promovi era la mayor
felicidad del mayor nmero de personas, elevando al mximo la satisfaccin.
Las acciones guardan una proporcin correcta cuando tienden a promover j
la felicidad, y errnea cuando tienden a producir lo contrario a ella. Entendemos
por felicidad el placer y la ausencia de dolor; por infelicidad, el dolor y la pri vaci n,
del placer.
(Mi l l , 1861)
Los argumentos de Mi l l eran estrictamente utilitarios, o sea,, basados en
una estimacin de las consecuencias futuras de di versas alternativas. Si ^
estimaciones empricas de las consecuencias cambi an, tambin lo 0
as conclusiones. Los modernos liberales del est ado de bienestar han
dmcado las estimaciones empricas y, en consecuenci a, las c o n c l u s i n |
Segn los liberales modernos, el principio de utilidad requiere que el gb' ef]
emprenda una accin enrgica. El clculo del princi pi o de utilidad
ltimo trmino, al liberalismo del estado de bi enestar (W o l f f , 196 8). $,
Segn Mu, cualquier persona es el mej or j uez de su propio n
Premi sas en las que se basan los enf oques
(Debemos sealar que Mi l l escriba en un momento en que las masas
carecan de voto. Sus teoras slo se aplicaban a la ciudadana ms ilus
trada".) Para los liberales modernos, como Ri v l i n (1971), no es as. A menudo,
el gobierno es el mejor juez. En el marco de Mi l l , la completa libertad de
expresin lleva a una competencia de ideas que refuerza la verdad. En un
mercado libre de ideas, los consumidores adquirirn lo mejor sin la interfe
rencia gubernamental. Para el liberal moderno, el gobierno debe proporcionar
ndices de eficacia sobre los que fundar los juicios y, a menudo, eiegir en
aras del inters pblico. Los liberales, clsicos y modernos, estn de acuerdo
en los principios polticos liberales, pero disienten respecto al carcter be
nfico o daino de la interferencia gubernamental.
Mi l l cree que la interferencia del gobierno se traducir en el impedimento
del desarrollo individual, la centralizacin y el abuso de poder, la ineficacia,
la accin desganada y de baja calidad del gobierno que las partes privadas
interesadas podran realizar mejor y la supresin de la iniciativa indivi
dual que sienta las bases para el despotismo. Sin embargo, incluso Mi l l
cree que, si el comprador no fuese el mejor juez de un bien, la competencia
del mercado no existira. En los asuntos culturales y educativos, Mi l l no
cree que los incultos sean los mejores jueces. Por tanto, el estado podra
intervenir legtimamente, postura prxima a la de los liberales modernos.
En la esfera privada, que consiste en la libertad de pensamiento, concien
cia, opinin, sentimiento, gustos y pasatiempos y asociacin, Mi l l pensaba
que cualquier persona sera, sin duda, el mejor juez de sus propios inte
reses por ser la ms preocupada por su propio bienestar. Su conocimiento
de sus sentimientos y circunstancias sera muy superior al que pudiera
tener cualquier otra respecto de ella misma. Por tanto, sera mejor dejar a
cada individuo que hiciera sus propios juicios, aunque pareciesen equivoca
dos o dainos para el interesado.
Pero, en general, el clculo del principio de utilidad conduce ms bien a
potenciar una fuerte intervencin gubernamental que a evitarla. No nos
sorprende, por tanto, que todos los modelos utilitaristas de evaluacin (anlisis
de sistemas, por objetivos conductuales, de decisin e independiente de los
objetivos) se basen en una accin de gobierno, normalmente en forma de
mandato gubernamental, incluso. La mayor parte de estos modelos tienen
como principales destinatarios tambin a los directivos y administradores
de programas gubernamentales. La evaluacin independiente de los objeti
vos del programa, cuyos principales destinatarios son los usuarios, constituye
la nica excepcin.
Premisas polticas de los intuicionistas-pluralistas
Cmo puede llevarse a cabo una evaluacin si no existe un principio
nico, como el de utilidad, para usarlo como criterio? En los enfoques
intuicionistas-pluralistas hallamos dos tipos de respuestas. Una consiste en
la autoridad profesional, como en los enfoques crtico y profesional, y la otra
60 Eval uaci n, tica
i ^ o s
es una combinacin de autoridad cientfica y de participacin en la evaluar
de quienes desarrollan el programa. El enfoque profesional comenz col?
asociacin voluntaria en contra de la interferencia del gobierno y se ba
en la idea de la maestra por medio de la experiencia. fl, A Sa
Los enfoques participativos constituyen intentos de promover una coi
boracin ms directa de las personas ms comprometidas en el prograrrf
El enfoque cuasijudicial consigue esto haciendo que las personas se invo
lucren en una operacin de decisin semejante a un juicio. El enfoque ci
estudio de casos implica a las personas a travs de la negociacin, |a
entrevista y la respuesta a evaluaciones provisionales, aunque sea el eva
luador quien redacte el informe. Para que las personas participen en calidad
de destinatarios principales, la evaluacin ha de ser inmediata y comprensi
ble. La escuela participativa pretende establecer una democraci a ms directa
entre los implicados en el programa en vez de-dejar las decisiones al go-
biemo, como en et caso de la evaluacin utilitaria. Los principios pluralistas
se derivan de la participacin de diversos individuos y grupos.
Existen dos enfoques distintos del pluralismo poltico. Uno se deriva di
rectamente de la filosofa liberal clsica de J. S. Mi l l , sin su epistemolo
ga ni su tica utilitarista. El liberalismo clsico considera la sociedad como
una asociacin de individuos autodeterminados que cooperan con los de
ms para conseguir sus propios fines. De acuerdo con Mi l l , es esencial
que puedan autorgobernarse, dado que son ellos quienes mejor se conocen
a s mismos y a sus intereses. Esta versin del pluralismo acepta como
inevitables las idiosincrasias individuales y los conflictos interpersonales
(Wol f f , 1 9 6 8 ) .
La inviolabilidad del individuo frente a la intrusin de la sociedad es
fundamental y la esfera ntima de la persona debe conservarse inviolada.
No pueden interferirse sus pensamientos y prcticas. En vez de suprimirse,
se estimulan la individualidad y la diversidad. Se concibe la sociedad como
un mercado en el que cada individuo trata de conseguir sus propios fines.
Cada hombre goza de libertad para procurar alcanzar sus propias metas de
manera compatible con la de los dems que pretenden lograr las suyas. En
la esfera pblica, la sociedad tiene derecho a i mponer algunas regl as de
equidad. Por lo dems, el mercado regula las cosas de f orma automti ca
La sociedad ideal que se preconiza es la de una gran ciudad con10
Londres o Nueva York. El liberalismo clsico considera al hombre como ^
calculador racional del dolor y el placer. La racionalidad consiste en
prudencia calculada. Cada individuo ve a los dems como i nstrumento
para conseguir sus propios fines. Los dems son medios p a r a algn
no fines en s mismos. A veces, sta se denomina teora instrumental
pluralismo ( W o l f f , 1 9 6 8 ) . y I
La justicia consiste en la proteccin de la esfera ntima de la person^
en la oportunidad, ms o me/ios igual para todos, de conseguir sus ^se.
fines. En versiones ms complejas, se suaviza hasta cierto punto la con
cucin del mximo placer, hacindose hincapi en el logro de objetâ
ms elevados: No obstante, sigue considerndose la soci edad como
01
col ecci n de cent ros de conci enci a i ndependi ent es, cada uno de los cua
les procura consegui r sus propi os f i nes y se enf rent a a los dems como si
de obj et os ext raos se t ratase (Wo l f f , 1968).
Asociada con esta versin del pluralismo est la teora arbitral del
gobierno. ste tendr que establecer las reglas bsicas para la competicin
entre individuos y grupos, aunque sin inmiscuirse de ninguna otra manera.
La accin debe ser directa de los individuos y grupos interesados y no una
accin de gobierno. Cada persona tiene que gozar de libertad para participar
de forma directa en los procesos de decisin y este papel no puede delegarse
ni en el gobierno ni en nadie ms, como tampoco puede ser usurpado por
ellos. Esta versin de la democracia directa surge del liberalismo clsico,
en el que se promueve al mximo la eleccin de cada individuo.
El enfoque de evaluacin que ms se corresponde con esta versin del
pluralismo liberal es el de la evaluacin democrtica de Ma c Do n al d (1974).
Este autor considera al evaluador como intermediario en los intercambios
de informacin entre grupos, representando un conjunto de intereses, pre
sentando informacin accesible a los no especialistas, brindando confiden
cialidad y proporcionando control sobre los datos a los informadores, sin
intencin de utilizar mal la informacin, negociando con los patrocinadores
y participantes y abstenindose de hacer recomendaciones. El evaluador
facilita informacin a los destinatarios y deja que el mercado resuelva
Cada persona hace el uso que le parece de la informacin, relevando al
evaluador de hacer interpretaciones. ste opera sobre la base de un conjunto
de normas de procedimiento que controla el flujo de informacin.
Ma c Do n a l d ha sido tambin un mximo defensor de la proteccin de la
inviolabilidad de la esfera ntima, concediendo a los informadores el derecho
a vetar lo que pudiera aparecer en el informe. Esto se refleja en su mxima:
las personas son dueas de los hechos de sus vidas. Se rechaza la
interferencia del evaluador tanto en la esfera privada como en la pblica,
salvo para facilitar el flujo de informacin que incremente el conocimiento y,
quiz, la felicidad, al permitir a los individuos que traten de conseguir con
mayor facilidad sus propios fines.
En los Estados Unidos, prevalece una versin diferente del pluralismo.
Basada en la idea de que cada persona alcanza su identidad a partir de los
grupos primarios, no considera al hombre como un individuo por completo
desvinculado, como en el liberalismo clsico. Como los grupos tnicos,
religiosos, econmicos y culturales determinan lo que es una persona, sus
intereses deben expresarse por medio de los grupos ms grandes a los
que pertenece. Esta versin, denominada pluralismo democrtico o libe
ralismo conservador, acepta la tolerancia para con los distintos grupos
establecidos, pero no respecto a los individuos idiosincrsicos. Se considera
que, para el individuo, es bueno adaptarse a ciertos grupos, aunque, para
stos, es bueno que difieran entre s.
En esta visin del pluralismo, en cuanto conflicto de grupos de intereses
permanentes, la comunidad tiene un valor mucho mayor que en el liberalismo
clsico. El pluralismo se basa en la diversidad de los grupos y no en la de
EdoooMMmn $
Evacuacin, aftca y pooe.
136 mtitokto& l a sociedad oeai se parece ms a una ciudad pequea que
s yne grande La tolerancia y la aceptacin mutua se ejerce entre ios
9* 00*
Asoci ada con esta visin dei pluralismo est la teora del gobierno de la
u m de vect ores a de* ~equtf ibno del: poder *. El objetivo consiste en
corsegurr que el gcOi emo act e en una di recci n det ermi nada. Ei i ndivi duo
dada operar por medi o de sus grupos para l ograrl o, dado que sol o ellos
t on* ? t i uenoa suf ici ente para conduci r la nave del Est ada Como en el
Kwrat emo dsco, ei i ndi vi duo debe est ar cerca de su grupo, ser ef i caz y
compromtat e en ei mi smo y part e toar en el. El gobierno (y ei eval uador)
adua como medi ador amort i guando l as i nst rucci ones y respondiendo a los
cambi os de presi n En ambos t i pos de plurali smo, fa capacidad de consi
derar t egf t mas las redamaci ones encont radas es esencial para que el
M a m a t ondone
La evaluacin responsiva de Stake se acerca mucho a la versin del
pur&smc dernocrftco. El evaluador debe responder a cualesquiera intereses
y presiones fegtbmos en tomo al programa, pero no est obligado a repre
sentar punto de vista alguno ni a reflejar en la evaluacin ios puntos de
vista satvo que algn grupo de intereses participante en el programa pro
mueva activamente alguno de ellos. La participacin activa es un criterio
para reflejar en la evaluacin el punto de vista de un grupo.
Los grupos legtimos definen las cuestiones y slo algunas se estudian.
Han de escogerse mtodos de investigacin que se adapten a las cuestiones
planteadas Los problemas se resuelven mejor cuando se encargan de ello
(rectamente personas prximas a la situacin en la que se plantean (St ak e,
1975) Este planteamiento se opone ai de la evaluacin utilitarista en la que
al gobierno evala, define el problema y emprende la accin. Las evalua
ciones pluralistas tienden a favorecer al mximo la opcin individual y local
en vez de ia utilidad social. Ambas formas de pluralismo suelen identificarse
con ta interaccin libre entre individuos y grupos opuestos, como requiere
I funcionamiento del mercado bre.
Aunque todos estos enfoques de la evaluacin difieren en cuanto a los
aspectos sealados, comparten algunos elementos bsicos de la ideologa
iioeras. Entre ellos est el principio de la libertad de eleccin. Aunque siga
en pie el problema de quin elegir, se favorece al mximo esa el ecci n.
Se tundin en una psicologa muy individualista. Asimismo, su ori ent aci n
m rotundamente empirista.
De igual modo, todos los enfoques de la evaluacin dan por supuest o
un mercado Ubre de ideas en el que, en un plano ideal, los usuarios selec-
clonaran & mejor Mediante la competicin entre las ideas, se fortalece la
arded y se perfeccionan los sen/ icios sociales. Por ltimo, todos los enf oques
atienen p un mayor conocimiento hace de alguna manera felices, mejores
1 metoctm a las personas, suposicin interesante que se remonta hast a
te
Se g u n d a p a r t e
Los criterios fundamentales de la evaluacin:
veracidad, belleza y justicia
Cuando se trata de la conducta prudente en la vida, es bueno que
tengamos presente que los acontecimientos humanos estn dominados
por el Azar y la Eleccin, que estn extremadamente sujetos a cam
biosl . En consecuencia, aquellos cuya nica preocupacin es la verdad
abstracta experimentan grandes dificultades para poner los medios y
mayores an para alcanzar sus fines... Por tanto, dado que el curso de
accin debe tener en cuenta la importancia de los acontecimientos
nicos y sus circunstancias, puede suceder que muchas de estas
circunstancias sean ajenas y triviales, algunas malas otras contrarias
incluso, al propio objetivo. Es, pues, imposible valorar los asuntos
humanos con arreglo al criterio inflexible de la justicia abstracta; debe
mos, en cambio, sopesarlos mediante las... reglas flexibles que no
adaptan los cuerpos a s mismas, sino que se adaptan a sus siluetas
" \
Gi ambat ti st a Vi co.
On the Study Methods of Our Time, 1709, pg. 34
CAPTULO IV
La l gi ca de la argument aci n eval uat i va
Utilizo a propsito la palabra discurso" porque las demostra
ciones cientficas, incluso las pruebas matemticas, son f undamen
talmente actos de persuasin. Los enunciados cientficos nunca
pueden ser ciertos; slo pueden ser ms o menos crebles.
Joseph W e i z e n b a u m: Computer Power and Human Reason, 1976
Las generalizaciones desaparecen.
Lee J. C r o n b a c h : Beyond the Two Disciplines of Scientific
Psychology, 1974
El gran terremoto que se va a producir en California
Vi vo en Los ngel es, pero me pregunto por qu. Ha surgi do una repentina
el evaci n de treinta cent metros y medi o en una f ranj a de ciento sesent a
ki lmet ros a lo l argo de la f alla de San Andrs. Basndose en las l ect uras
de l as ondas ssmi cas, un cientf ico de Cal if orni a ha previst o un importante
t erremot o en el rea de Los ngel es durant e este ao (Science, mayo
1976). Fundndose en otras lecturas, un predi cador radi of ni co advi erte
El ttulo origi nal del captulo es: The logic of evaluative argument En ingls, la pal abra
argument" si gnif i ca argument o", razonamiento, di scusi n", debate , alegato". En la cita
de Wei zenbaum, la pal abra "argument" se utiliza en dos sentidos dif erentes: razonami ent o" y
di scurso persuasi vo", deri vndose esta ltima acepci n de uno de los si gnif icados del verbo
i ngls "to argue": persuadi r , que concuerda con el sentido de la cita inicial, la cual resul tana
conf usa t raduci da de otro modo. (N. del T.)
NOTA DEL AUTOR: Est e captulo es una versin reduci da de The Logic o EvaJ uatrve
Argument, Monografa n. 7, Los ngel es: Center for the Study of Evaluation, UCLA, 1977.
Agradezco a Lee Cronbach, Bob Enni s, Gene Gl ass y al personal del CSE sus detal l ados
comentari os.
Ediciones Morals, S. L
acerca de un importante temblor de tierra Tanto los cientficos como los
videntes concuerdan en sus augurios. Sin embargo, ninguno facilita el tipo
de informacin que necesito.
Hablo con los naturales del pas acerca de estos signos de mal agero.
Su respuesta corresponde a la necesidad de vivir en esas circunstancias:
se encogen de hombros. El Presidente ha sido informado, pero parece que
nadie sabe qu hacer con exactitud. Los funcionarios de Washington sugieren
que se instale un nuevo dispositivo de instrumentos cientficos a lo largo de
la falla, aunque no est claro qu resultados pueden proporci onar ms
medidas.
Mientras tanto, el tiempo es perfecto; el marco de las montaas de
Santa Mnica, esplndido; el estilo de vida, sibartico. Los cl cul os de pro
babilidades de los sesmos a largo plazo no me benefician en absoluto; yo
necesito saber cundo temblar la tierra en relacin conmi go mismo. El
vocabulario de la accin es complejo. Todo el mundo est de acuerdo en
que la informacin configura de algn modo las decisiones, pero la relacin
no es directa ni sencilla. A menudo, cuanto ms importante es la decisin,
ms oscura parece la relacin. Consideremos la decisin de contraer matri
monio. Para la mayora, se trata de un proceso largo, arduo, que requiere
un perodo de tiempo para ir tomando forma. Ninguna porcin de informacin
es decisiva al respecto. Al contrario, la decisin se f ragua despacio, casi
imperceptiblemente, hasta que se produce. Se esgrimen y ponen a prueba
una razn tras otra. Por ltimo, un conjunto de argumentos diversos se
erigen en fundamento racional de la decisin que, con f recuencia, se ha
tomado mucho antes de establecer todos los argumentos.
Las decisiones ms significativas son las que tienen consecuenci as a
largo plazo, pero no permiten una extrapolacin fcil, las que estn tan
enredadas con todo lo dems que se oponen a un anlisis formal preciso.
Ante ellas, nos vemos obligados a aplicar nuestra lgica intuitiva, nuestro
sentido comn. El hecho de que nuestros conocimientos de estos complejos
problemas sea limitado, que no llegue a ser determinado, radica en su mismo
carcter. Ante un conocimiento inseguro, la tarea de decidir en medio de esta
maraa depende menos de que aparezcan pruebas que nos convenzan de
manera absoluta que de que dispongamos de mltiples razones que nos
persuadan. El criterio no estriba en lo necesario sino en lo admisible.
Equivocidad de las pruebas: certidumbre frente a credibilidad
Entonces, por qu los funcionarios gubernamentales, el pblico e, incluso,
los miembros de la comunidad de evaluadores reclaman pruebas definitivas
'Respecto a esta distincin y a muchas otras ideas expuestas en este captulo, estoy en
deuda con la excelente obra sobre la argumentacin de Perelman y Ol b r e c h t s -Ty t e c a : The
H$w ftml o r i e : A Treatise on Argumenl Scranton (PA): University of Notre Dame Press, 1969.
$ (VmtifiOM Mrrrda 8. L
La lgica da la argumentacin avaluatlva 67
del xito de los programas educativos? May una tradicin que se remonta
hasta De s c a r t e s que sostiene que el nico conocimiento es el que posee
la caracterstica de cierto. El mtodo de anlisis de De s c a r t e s parta del
escepticismo total: dudar de todo lo que pudiese dudarse. En su bsqueda
de un saber seguro, lleg a lo de por si evidente como ltima nota de la
razn. Para que algo pudiese calificarse de saber, habla que partir de ideas
claras y distintas e ir progresando a base de pruebas deductivas. Las
proposiciones asi derivadas tenan que ser necesarias e irresistibles para el
intelecto; no podan ser negadas, desde el punto de vista racional.
Este mtodo impeda considerar como saber lo meramente creble. Segn
el ideal cartesiano, el nico razonamiento verdadero es analtico. La lgica
deductiva formal, el mtodo de prueba utilizado en matemticas, constituye
el mtodo por excelencia. El saber puede reducirse a proposiciones de por
s evidentes. No son posibles los desacuerdos respecto al conocimiento
cierto. Como deca De s c a r t e s , si dos hombres no se ponen de acuerdo
sobre una materia, uno de ellos estar con seguridad equivocado. Hay una
proposicin verdadera y otra falsa y la lgica acta mediante pruebas irre
futables para determinar cul es cada cual.
Ms tarde, quienes prolongaron esta lnea de razonamiento tuvieron que
enfrentarse con el hecho de que, a menudo, pareca que los hombres
racionales pensaban de forma diferente y llegaban a conclusiones contra
dictorias. Algunas de las proposiciones del mismo De s c a r t e s parecan sos
pechosas. Pa s c a l introdujo la explicacin de que estos desacuerdos, as
como la negativa a aceptar conclusiones necesarias, era producto de la
irracionalidad. Comenz a verse en el hombre un lado irracional que, con
frecuencia, le descarra en su bsqueda del saber. La aparente irracionalidad
de quienes no aceptan las conclusiones que otros perciben como necesarias
es moneda corriente en la evaluacin contempornea.
Desde la perspectiva cartesiana puede accederse al conocimiento cierto
mediante procesos deductivos, y ste debe llevar a una conviccin absoluta
Ese razonamiento funciona en geometra, pero lo hace porque excluye la
mayor parte del mundo de los sentidos. Como sealaba Hu me , nuestras
creencias, aun en conceptos tan bsicos como la causalidad, no son seguras
si se les aplica un escepticismo absoluto. El razonamiento deductivo llega a
producir un conocimiento cierto sobre todo mediante la eliminacin de la
mayor parte del mundo cotidiano.
Desde el punto de vista epistemolgico, John Stuart Mi l l rescat para
nuestros usos el mundo sensible. Del mismo modo que los lgicos han
estructurado la lgica deductiva formal reflexionando sobre la naturaleza de
las pruebas matemticas, Mi l l reflexion sobre la psicologa asociacionista
de su poca y formul una lgica inductiva que permiti la introduccin de
la certidumbre en el conocimiento derivado de manera inductiva Para ha
cerlo, Mi l l estableci diversos axiomas que, an hoy, estn presentes en
toda la investigacin a base de encuestas. Segn Ha mi l t o n (1976), st os
son los axiomas:
fe EOctonas Moraaa, % i
Eval uaci n, tica y p0cjQ(.
l a naturaleza es uniforme en el espaci o y en el tiempo. Esto brinda
ai razonamiento inductivo la misma cert idumbre de procedi mi ento
que a las conclusiones deri vadas mediante la lgica silogstica.
Los conceptos pueden definirse por ref erencia directa a categoras
empricas y las leyes de la naturaleza puede deri varse de un modo
inductivo de los datos por lo dicho anteriormente.
Las muestras grandes pueden eliminar los aspectos i di osi ncrsicos
y poner de relieve "causas generales".
Las ciencias sociales y naturales tienen el mi smo objetivo de descubrir
leyes generales (que proporci onan la base de la expl i caci n y de las
previsiones).
Las ciencias sociales y naturales son idnticas desde el punto de
vista metodolgico.
Las ciencias sociales slo son ms complejas.
Por tanto, Mi l l defenda que el conoci mi ento cierto puede deri varse
tanto del razonamiento inductivo, como del deducti vo. Podramos def inir las
categoras y relacionarlas entre s medi ante tcnicas ahora bien conoci das.
En realidad, Mi l l conclua que el mtodo inductivo constitua la nica f orma
de descubrir ideas nuevas, dado que la lgica deducti va sl o podra revel ar
lo que hubiera de antemano. (Mi l l estaba tan seguro de su mt odo que
afirmaba que los principios ticos tambi n podan deri varse medi ante el
razonamiento inductivo y, por tanto, tenan un f undamento cientf i co.)2
El axioma de verdad importante es el primero de Mi l l . Segn sus propias
palabras: "El universo, en la medi da en que lo conocemos, est estructurado
de manera que lo que en un caso es verdadero es cierto en t odos los
casos de una determinada descripcin; la nica dificultad estriba en descubrir
de qu descripcin se trata" (Mi l l , 1893). Qu familiar resulta esa i dea a
2AI final de su obra f undamental sobre la lgica inductiva, Mil l considera la lgica de la
prctica" o "arte: "Debe haber alguna norma mediante la que determinar la bondad o mal
dad, absoluta y comparativa, de los fines u objetos de deseo. Y, cualqui era que sea la nor
ma, slo puede haber una; porque si los principios ltimos de conducta f uesen .diversos, la
misma conducta podra ser aprobada por uno de estos principios y condenada por otro; y sera
necesario algn principio general, como rbitro entre ellos" (John Stuart Mil l : A System o
Logic Nueva York. Harper, 1893, 8.a edicin).
Esto lleva a M i l l a imponer una nica norma universal mediante la que juzgar l o s asunt os
prcticos, porque la nica alternativa es "suponer un sentido o instinto moral" o princi pi os
morales intuitivos . Los principios ticos generales slo pueden conocerse por i nducci n.
Como la certeza inductiva presupone la uniformidad de naturaleza, la psi col oga resultante es
determinista La moralidad es natural, dado que slo una valoracin naturalista p e r m i t i r mt odos
cwnlfteos de prueba. La base es el utilitarismo hedonista.
En cierto sentido, Mil l impeda el desacuerdo respecto a las cuesti ones moral es, ya que
empre es posible llegar a conclusiones opuestas en ausencia de un acuerdo previ o sobre el
emano B resultado de este razonamiento es el clculo utilitario que combi na todos lo deseos
Humera* en una nica configuracin y los satisface mediante el criterio del mxi mo de satis-
M m plenas derivadas. El juicio lo lleva a cabo un "espectador i mparcial" que, en los
i t i Mpot moderno* , demuestra su imparcialidad empleando tcnicas objetivas" de anlisis.
# f tf lannat i t r s i
La l gi ca de la argument aci n evaluatl va
quienes se dedi can a la investigacin mediante encuesta y qu falible la
lgica inductiva en la que se basa!
El procedimiento de razonar desde una parte" hacia el todo" constituye
sin lugar a dudas una falacia lgica. Se supone que cada caso confirmato
rio hace ms probable una hiptesis. Sin embargo, si la hiptesis es: todos
los hombres miden menos de 30 metros , y encontramos uno que mda
29,9 metros, ste sera un caso confirmatorio que debilitara considerable
mente la hiptesis, en vez de reforzarla (Ga r d n e r , 1976). Cada da que
pasa en Los ngel es sin que se produzca el gran terremoto previsto, lo
hace ms o menos probable? En los estudios estadsticos, tambin es muy
posible que dos trabajos independientes confrmen por separado una hip
tesis y que, sin embargo, reuniendo los resultados de ambos, quede refutada
(vase la paradoja de Si mpson en: Martin Ga r d n e r , 1976).
No obstante, a pesar de sus graves defectos lgicos, parece que la
cienci a basada en la lgica inductiva funciona con relativo xito. Sin
embargo, el conocimiento procedente de la misma carece de certidumbre.
Incluso los hechos cientficos mejor establecidos deben tomarse como pro
visionales. Como afirma un cientfico:
Seguro que el hombre de la calle cree que tales hechos cientficos est n tan
bien fundados como probada est su propia existencia Su seguridad es una
ilusin. Ni siquiera el cientfico resulta inmune a tal ilusin. A fin de cuent as, en
su prctica debe mantener en suspenso la desconfianza para hacer o pensar
algo. Es, ms bien, como un espectador de teatro que, para participar en lo que
sucede en el escenario y comprenderlo, tiene que fingir para s que est presen
ciando acontecimientos reales. El cientfico debe creer su hiptesis de trabajo,
junto con su amplia estructura subyacente de teorias y supuestos, aunque slo
sea como tal hiptesis. Con frecuencia, el discurso" abarca toda su vida. Poco
a poco, se convierte en lo que, al principio, slo finga que era un verdadero
creyente. Utilizo a propsito la palabra discurso porque las demostraciones
cientficas, incluso las pruebas matemticas, son fundamentalmente actos de
persuasin.
Los enunciados cientficos nunca pueden ser ci ertos; slo pueden ser ms o
menos crebles. Y la credibilidad es un trmino que pert enece a la psicologa del
individuo, es decir, una palabra que slo tiene sentido con respect o a un obser
vador individual. Decir que una proposicin es creble es, en ltimo t ermi na
decir que un agente, con libertad para no creerla la cree, o sea que un obser
vador, tras ejercitar el juicio y (posiblemente) la intuicin, opt a por acept ar la
proposicin como digna de ser creda
(Wb z b b m m 19764
La evaluacin como persuasin
Si en las ciencias fsicas las demostraciones son f undamefKalmmft
actos de persuasin, an ms las investigaciones sobre la educaorv 0
axioma de Mi l l acerca de que las ciencias sociales y naturales son oent cas.
itAf c & de v'ssa ê?Ddo* occo hoy da parece mucho ms dbdo.
*o Ocw^ ao {i74iy por ejempi a dusfe de la conveni enci a de i mpon*.
a a* oenoas socales ios ideales de las aenctas f sicas. En el parada
as. esencias i scas tos nechos se explican y prevn medi ante una
*90 de proposeerw que ponen en relacin constructos abstractos
Tras reat ar weeae aos de estucfos de las interacciones entre apttuc y
yâr vsr ^) basados en aoue< modelo. Cpo nbac h concl uye que tos fln-
sooae* estn demasiado abiertos a las interacciones con otras
tf naOf es para permitir generalizaciones establ es La estrategia positivista
di establecer condiciones que permitan conseguir general izaciones da por
puesto* unos procesos estables que puedan dividirse en si st emas inde
pendiente* a efectos de estudio de los mismos, supuesto muy f rgil en
reiaon con los sistemas sociales.
C i n v i t a a interpretar los datos en su contexto, en vez de tratar
# Aegar a generalizaciones. Un observador, situado en un ambiente concreto
puede describir e interpretar ios efectos en las condiciones locales. Mientras
gue el control experimental y la correlacin sistemtica plantean preguntas
formales de antemano, la observacin local es ms abierta ante los impre-
vwtoe El empirismo a corto plazo es sensible al contexto, y as el investigador
puede prescindir de cierta capacidad de previsin. Dej a de ef ectuar gene
ralizaciones y construir teoras, elaborando, en cambio, "concept os que
ayuden a pensar a las personas". He ah lo que defiende Cr o n bac h .
Yo estoy dispuesto a sostener que, por s mismas, las eval uaci ones no i
W sino actos de persuasin. Aunque, a veces, los eval uadores prometen
pruebas cartesianas y utilizan los mtodos inductivos de Mi l l , inevitablemente,
la* evaluaciones carecen de la certidumbre de prueba y del carcter con
cluyente que les otorga el pblico. Si en realidad existe, la eval uacin
definitiva es rara. Incluso un metodlogo cientfico tan mi nucioso como
James Coleman ha de hacer frente a continuas y custicas crticas de su |
tritfijo Si i someten a un examen serio, las evaluaciones si empre resultan
equvoca.
Esperar que la evaluacin arroje conclusiones definitivas y necesarias |
es pedir ms de lo que la evaluacin puede dar. Sobre todo en una sociedad
pluralista, la evaluacin no puede llevar a proposiciones necesarias. Pero, 1
aunque no pueda acabar en conclusiones definitivas, s puede l levar a lo I
creble, lo plausible y lo probable. Sus resultados no llegan a ser ciertos,
pero todava pueden ser tiles.
Probar algo supone satisfacer el conocimiento de una audiencia uni versal ;
con respecto a la verdad, ms all de toda duda. Producir una prueba
aceptable para una audiencia universal que comprenda a todos los hombres j
itt.iongto?, gxô superar las particularidades locales o histricas. La cer t eza
requiera aialar los datos reapecto de su contexto total como, por ej empl
n loa ttrminos de un silogismo. La certeza lgica slo puede consegui r se i
dentro de un sistema cerrado, completamente definido, como un juego.
8i la evaluacin se limita al conocimiento cierto proporcionado por un J
raionam+ento deductivo e inductivo estricto, tiene que dejar de lado graf
S I __________ E w f t u a atea y bb^
La l gi ca e l a argurnent aci cr evsi uaf cva : . W
parte de la capacidad de razonamiento que (as personas utilizan de forma
habitual para regir sus vidas. Esa limitacin es el resultado de contundir la
racionalidad con la lgica. No son idnticas.
Si convencer de manera absoluta a todos los hombres racionales cons
tituye una carga excesi va para la eval uacin, no lo es persuadir a deter
mi nadas personas. En lugar de las proposiciones necesarias derivadas de
una lgica rigurosa, podemos emplear los razonamientos no obligatorios
de la persuasin. En lugar de la necesidad de la autoevidencia, podemos
val emos de la adhesin variable a las tesis cuando se presentan a destina
tarios concretos. Las tesis pueden ser ms o menos crebles. Los destinata
rios gozan de libertad para creer o no creer tras estudiar los razonamientos
y ejercitar su propio juicio.
La eval uacin aspira a persuadir a un pblico concreto del valor de algo
o de que ese algo es lo que interesa, apelando a la razn y la comprensin
del pbli co3. A stos efectos, el conocimiento no probado es til, aunque
siempre sean discutibles las ideas que se exponen. Los mtodos adecuados
son los de la argumentacin, que es el mbito propio de lo creble, lo
plausible y lo probabl e y no de lo necesario (Per el man y Ol b r e c h t s -
Ty t e c a , 1969).
La argumentacin se opone a la demostracin. Las demostraciones se
basan en la l gica formal que evita la ambigedad por medio de la cohe
renci a interna de su sistema de smbolos. En la lgica deductiva, el origen
de los axiomas es externo al sistema. Cuando pasamos de la deduccin a
la induccin, todos los tipos de cuestiones se convierten en discutibles,
como la val idez de la medida. Pero sigue buscndose el conocimiento
cierto .
En la eval uacin, los contextos social y psicolgico cobran especial
relieve y el conocimiento se hace menos seguro. En tales condiciones, la
argumentacin orientada a lograr la adhesin y a aumentar la comprensin
de destinatarios concretos resulta ms apropiada. La persuasin slo pro*
cl ama la validez respecto a determinados destinatarios, y la intensidad con
la que esos pblicos concretos aceptan los descubrimientos de la evaluacin
constituye una medi da de su eficacia. El eval uador no aspira a convencer a
3Ke l l y (1980) ha puesto de manifiesto las premisas ocultas presentes en mis razonamientos
aqu expuestos. Est implcito en ellos que el evaluador acte para persuadir a los destnatenos
de cierto punto de vista porque es verdadero" y tiene algn medio para establecer esto, Ho
obstante, la verdad puede mantenerse con distinta intensidad. Kelly afirma tambin corree*
tamente, a mi modo de ver que hago la distincin aristotlica entre el argumento terico que
conduce a la verdad y el argumento prctico que lleva a la accin razonada.
No estoy tan seguro respecto a su afirmacin de que la evaluacin persuada a itQuieri
para que acte en vez de persuadirlo de que algo constituye el problema. La accin es el
objetivo final de la evaluacin, pero en la accin estn involucradas tantas otras cooiiitlerecionee
que parece difcil que el evaluador pueda valorar e. incluso, identificar las pnncipeloi c o n M v
gencias. Me parece que la evaluacin persuade de la conveniencia de algo. En ciertas cir
cunstancias, esto puede constituir un curso de accin, pero, por regla qeneral. le accin
supone otras consideraciones adicionales.
tteeMMK woHMe, s
Eval uaci n, t i cay ^
una audiencia universal, compuesta por todos los hombres racionales, p0r
la fuerza de la necesidad de sus conclusiones.
La persuasin est directamente relacionada con la accin. Aunque |9
informacin de la evaluacin no sea tan segura como la informacin cientfica
dingida a una audiencia universal, la persuasin es eficaz para promover ia
accin porque se centra en un pblico concreto y suministra la informacin
que afecta a ese pblico. El conocimiento personalizado que induce a las
personas a dejar de fumar puede ser distinto de las generalizaciones cien
tficas que vinculan el fumar con las enfermedades del corazn o con el
cncer. Es ms fcil que el conocimiento del ataque al corazn de un
pariente prximo sea el que nos induzca a actuar, y no todos los grficos y
tablas. El razonamiento evaluativo es a la vez menos seguro, ms particula
rizado, ms personalizado y ms tendente a la accin que la informacin
derivada de la investigacin.
En resumen, la evaluacin persuade ms que convence, argumen
ta ms que demuestra, es ms creble que cierta, la aceptacin que suscita
es ms variable que necesaria. Esto no significa que se reduzca a mera
oratoria o sea completamente arbitraria. El hecho de que no se limite al
razonamiento deductivo e inductivo no supone que sea irracional. La racio
nalidad no equivale a la lgica. La evaluacin emplea otras formas de
razonamiento. Eliminada la carga de la certeza, las posibilidades de una
accin informada aumentan, en vez de disminuir.
Los destinatarios de la evaluacin
S la persuasin se convierte en el objetivo de la evaluacin, los destina
tarios a quienes se dirige la evaluacin son importantes. Desde hace muchos
aos, se aconseja a los evaluadores que piensen en sus destinatarios y en
el tipo de informacin que ellos necesitan. Lo que tiene importancia para un
grupo, quiz carezca de relieve para otro. La argumentacin parte de la
base de que existe una "comunidad de mentes, hay un contacto intelectual
y, al menos, hay acuerdo respecto a algunas cuestiones sobre las que
comenzar a deliberar.
Debe existir un lenguaje comn y el deseo del evaluador de persuadi r
a tos destinatarios y de tener en cuenta sus preocupaciones. A menu
do, estas condiciones no se cumplen. El concepto que se tiene de los des
tinatarios es errneo o no se los toma en serio. No es raro que el eval uador
facilite informacin apropiada para un pblico compuesto por psi cl o
gos poro casi carente de sentido para un profesor o un funcionario del go-
t omo
Es fcil que el acuerdo de una audiencia universal (todos los hombres
de todos tos Uempos) se consiga mediante el razonamiento lgico f ormal
tMMtdo en conceptos de por s evidentes. Por tanto, cuanto ms est ri ct o
0 diserio experimental, ms convencida quedara una audiencia uni versal
$ relacin entre causa y efecto, con independencia del contexto. Unos
# b/ mtm Manto. S- i ,
La l gi ca de la argument acin evaluativa
destinatarios ms cercanos a la escena pueden aceptar la causa y ei
efecto sin necesidad de tal prueba. Por supuesto, la audiencia universal no
es reunible en ningn momento determinado, aunque, de hecho, diversos
grupos escogidos actan como representantes de aqulla. Quiz los filsofos,
ms que nadie, representen este tipo de audiencia. Los argumentos que
manejan stos no siempre coinciden con los que esgrimen los profesores.
En la medida en que un razonamiento se dirija a una audiencia universal,
menos discutible ser. Poca discusin cabe en pura lgica deductiva
Con frecuencia, las tcnicas de evaluacin se presentan como indiscutibles,
basadas, por ejemplo, en instrumentos vlidos y fiables, que utilizan proce
dimientos estadsticos fundados, etctera. En realidad, todos los enunciados
basados en una evaluacin pueden suscitar desacuerdos y son discutibles,
si el desacuerdo se manifiesta adecuadamente. Cuanto ms tcnica y cuan
titativa sea la evaluacin, menos capaces de discutirla sern unos destina
tarios no iniciados, pareciendo, en tal caso, que la evaluacin es ms
incontrovertible de lo que en realidad es.
En las evaluaciones que utilizan metforas estadsticas, podemos decir
que los efectos del tratamiento difieren porque existe la probabilidad de que
dos puntuaciones medias del test pertenezcan a poblaciones diferentes y,
por tanto, que el programa experimental es mejor que el control. El uso
generalizado de nmeros en los procedimientos estadsticos y las puntua
ciones de los tests proporcionan a las pruebas una apariencia de certeza e
inequivocidad.
En realidad, detrs de los nmeros se esconden muchos supuestos
previos (como, por otra parte, detrs de toda evaluacin). Casi siempre, es
posible discutir la validez de los tests, la adecuacin de los procedimientos
estadsticos y el control del diseo experimental. La discusin no invalida la
evaluacin, pero, cuando se discuten las premisas, se pone en evidencia el
carcter de la evaluacin como discurso persuasivo. El evaluador puede o
no tener xito en la defensa de su estudio. En todo caso, para defenderlo
ha de asumir un razonamiento no deductivo y ms equvoco. Aunque, en
apariencia, la evaluacin apele a la racionalidad definitiva de la audiencia
universal, termina en apelaciones directas a destinatarios concretos. Creo
que es imposible estructurar de otra forma una evaluacin.
Incluso una operacin de evaluacin de base muy amplia, como la del
Consumers feport, que utiliza procedimientos objetivos y diseos expen-
mentales complejos para evaluar productos de consumo, se orienta a unos
destinatarios determinados. Sus argumentos, dirigidos a la clase media arta,
no tienen mucho sentido para las clases inferiores o superiores, que no
suelen tener muy en cuenta sus evaluaciones.
Por tanto, la situacin a la que se enfrenta el eval uador consi st e casi
siempre en una llamada a pblicos concretos que puede def i ni r con ci ert a
precisin. Si el evaluador no puede definir a sus destinatarios, l a eval uaci n
ser indeterminada. Debe tratar problemas y estructurar argument os que
digan algo a pblicos concretos. Ms an, es probabl e que Sos dest nat enos
constituyan un combinado de grupos diversos, l o que complica cont er a-
K*Hfcfr*V fffrcL.
Dememe su tarea l a onentaoon eficaz a determinados dest inat ari os modifica
ios Mrraies de la racionalidad apbcabte No est conf i nado a l as formas m
nesmngtas de razonamiento. Cuando la evaluacin se hace mas equvoca
tambin aumenta su grado de posibilidad
0 dilogo socrtico constituye un ideal de ia argumentacin entre dos
oartes, El dilogo se desarrolla como una cadena rigurosa de razonamiento
at alguien que pregunta y alguien que responde. El destinatario unipersonal
es persuadido nevndole a aceptar paso a paso ciertos principios. En lti mo
termino, en la interaccin se ponen sobre el tapete las preocupaciones
concretas del destinatario. Asimismo, el dilogo socrtico encierra tambin
gran fuerza respecto a terceros que puedan leerlo.
No obstante, el pblico ai que se enfrentan la mayora de los evaluadores
no suele reducirse a una sola persona. Es mucho ms corriente que est
formado por diversos grupos diferentes. Algunos tericos han sugerido formas
<te evaluacin en las que el evaluador mantenga frecuentes cambios de Im
presiones con los destinatarios durante el estudio. Con independencia de
la forma de la evaluacin, estoy convencido de que la que tiene xito en su
faceta persuasiva debe implicar a los destinatarios en el discurso fundamental,
aunque ese discurso pueda desarrollarse de maneras muy diferentes.
B discurso que se desarrolla de este modo es ms que un simple
debate en el que los correspondientes partidarios expongan sus distintos
puntos de vista. El dilogo debe consistir en una discusin en donde las
partes busquen de manera seria y sincera respuestas mutuas. Esta restriccin
descalifica en gran medida el empleo de los mtodos contradictorios en
cuanto instrumentos persuasivos, dado que puede suscitarse un conflicto
sin persuadir a nadie de nada.
Kemmis (1976) pretende que el destinatario sea uno mismo: la evaluacin
como autocrtica". Considera que los destinatarios primordiales han de ser
quienes intervienen en el programa. Convencido de que el nico camino
para perfeccionar el ejercicio profesional consiste en la dialctica entre
el conocimiento y la accin, seala que las normas de la evaluacin deben
depender de los mismos participantes en el programa y que los datos
consistan en los progresos que perciban los participantes. As, la evaluacin
se convierte en autocrtica teraputica. El objetivo final es que los participan-
tes consigan un mayor conocimiento y una idea ms clara que les conduz
ca a una accin eficaz.
Con independencia de quines sean los destinatarios, cuando se trata
de argumentaciones, stos deben compartir la responsabilidad. Como la
informacin no es definitiva, ios destinatarios gozan de libertad para estable'
cer su grado de compromiso. Deben escoger activamente en qu medida
estn dispuestos a creer, lo que exige que comprueben la evaluacin de un
modo activo en vez de aceptarla o rechazarla de forma pasiva. Los d e s t i na
taos tienen que comprometerse de modo personal y compartir la respon
sabilidad. La decisin racional corresponde a los destinatarios y no al eva
tuador.
6 6MA* MM, S
L a s p r e m i s a s d & i a c t i m d o
La elaboracin da la argumentacin evaluattva pate de la base det
acuerdo entre los destinatarios. Las premisas de la argumentacin <unsWuyeM
el principio de este acuerdo y el punto de partid* do acuet do* na* empati e
Del mismo modo que el sentido comn admita vent ados intocables e nnvs
cutibles, algunas de las premisas principales de una eval uaos atan tcita*
y no explcitas.
Segn Per eiman y Our ioht *Tyt ioa (1009), hay dos clases da pienueea
las ' reales' y las preferibles . Entre las reales otttan los hechos, las verdades
y los supuestos bsicos y, por regla general, la presuncin ci valida
respecto a una audiencia universal. Por otra parte, las preferibles se itieniiian
con unos destinatarios concretos y abarcan vsloiea, | eraiqulei* de valoies
compuestas y premisas de valor de carcter muy general, denominadas
toe/ ".
Los hechos y las verdades son datos 0ideas que no consideren acapto
das por la audiencia universal, es decir, compartidas por los seres pensantes
y, por tanto, sin necesidad de justificacin. Qu un tlnl constituya un hecho
depende de la propia concepcin de Id audiencia universal. Si 6*ta cambia,
tambin loa hechos y verdades. No obstante, el mantenimiento de la <atanor la
de hecho o verdad significa que, a los efectos del raionamlento, el dato ea
incontrovertible e indiscutible. SI se cuestiona el dato, pierde su catego*
ra de hecho y pasa a ser tema de argumentacin en ve/ de objeto d
acuerdo.
Cuando existe acuerdo sobre las condiciones de verificacin, como en
la ciencia moderna, pueden darse muchos hechos. La ciencia moderna no
concede la categora de hechos" a muchos datos Pol anvi (1P&0) pone de
manifiesto cmo la ciencia protege de la incoherencia a *us propios sistemas
de creencias medante la negacin de diversos datos que se oponen a
otras creencias que tienen el carcter de hechos. Asi, fluanlo muchos
aos, la ciencia descart que los efectos hipnticos se produjesen da ningn
modo. No se reconoca el carcter de hechos de los dato* en cuestin
porque entraban en contradiccin con el sistema cientfico da creencias
entonces vigente. Este sistema de creencias se modifica cada ciarto tiempo,
pero, con independencia de lo que excluya, loa argumentoque se produscen
en el marco del sistema de creencias deben basarr*e en hechos y verdades
indiscutibles.
Los argumentos tambin proceden de supuestos bsicos que eef Oift
de la autoridad y fiabilidad plenas de los hechos y verdades Loa supuestas
bsicos no pueden probarse, no obstante sean aceptados de modo bsteme
general como provisionalmente verdaderos. Muchos supuestos bSiOQeesttft
relacionados con el concepto de lo normal. En las evaluaciones que emplean
modelos y metforas estadsticos, se acepta de forma cae* 1torrarse! et
supuesto bsico que atribuye una distribucin normal a una pnNnctOn
La segunda case de objetos de acuerdo ea la de lo preJerSe tu*
objetos preferibles slo reclaman la adhesin de grupoe concreto* y no de
Eval uaci n, ti ca y POcjf
una audiencia universal. Los valores constituyen los ejemplos ms sobre,
salientes. El acuerdo respecto a un valor supone admitir que existe una in'
fluencia especifica sobre la accin o una disposicin a la accin que gj
evaluador puede utilizar. Aunque sea importante para un grupo determinado
no se considera que el valor vincule a nadie en concreto.
En la ciencia, los valores aparecen ante todo al seleccionar los objetos
de inters para la investigacin, ya que es imposible investigar el mundo
entero (Polanyi, 1958) y, quiz, en la aceptacin de las conclusiones cient
ficas por medio del juicio humano global (Wei z en b a u m, 1976). Pero, en el
desarrollo de la mayor parte de la argumentacin, sobre todo en las ciencias
exactas, los valores se dan por excluidos. El anlisis de las relaciones entre
causa y efecto de Enni is (1973) nos lleva a cuestionar esto mismo. En la
evaluacin, nada impide que los valores aparezcan a cada momento. Los
valores se utilizan para persuadir a los destinatarios y para justificar las
opciones que se hagan ante los dems.
Diversas combinaciones de argumentos pueden compendiarse en unas
pocas agrupaciones generales denominadas loci (Per el ma n y Ol br ech t s-
Ty t ec a , 1969). Los loci ms comunes son los de cantidad y calidad. Los
argumentos agrupados en torno a los loci de cantidad afirman que una
cosa es mejor que otra por razones cuantitativas (mayor nmero, mayor
grado, mayor durabilidad, etc.). Con frecuencia, la eficacia de los medios se
justifica mediante loci cuantitativos. Las ideas de "normal y "norma tambin
se basan en la cantidad.
En contraste con la cantidad, est la idea de calidad. Hay cosas que
ostentan un valor elevado a pesar de su pequeo nmero. La valoracin
elevada de lo nico se asocia a la calidad. Un individuo puede estar en
posesin de la verdad mientras la multitud permanece en el error. Por
ejemplo, Scri ven (1972) defiende que la nocin de objetividad no tiene por
qu estar vinculada a la cantidad de personas que sostienen determinada
idea, ni la de subjetividad a la propia percepcin de una persona, como se
piensa a menudo.
Junto a los razonamientos generales sobre hechos y valores, existen
acuerdos especiales restringidos a determinados destinatarios especiales y
propios de cada evaluacin. En la medida en que la evaluacin se dirige a
unos destinatarios tcnicos, stos compartirn determinados acuerdos y
convenciones. Un grupo de investigadores de la educacin constituye un
conjunto de destinatarios tcnicos de este tipo. Las evaluaciones que se
dirigen a unos destinatarios inexpertos en la materia no pueden basarse en
los mismos acuerdos.
Es posible que los acuerdos peculiares ms importantes de una eval a-
cin concreta se deriven de la negociacin que con frecuencia precede a la
evahiacin (acuerdos entre patrocinadores, personal que part i ci pa en
programa y evaluadores). En esta importantsima negociacin, pueden
canzarse acuerdos sobre los criterios, mtodos y procedimientos, acceso a
ios datos, divulgacin de resultados, etctera. Los desacuerdos sobre esto5
aspectos pueden acabar completamente con la credibilidad de la eval uaci n
La lgi ca de la argumentacin evaiuativa 77
En resumen, al principio de la evaluacin el evaluador debe basarse en
los acuerdos con los destinatarios. Estos acuerdos pueden ser tanto impldlos
como explcitos. En realidad, sera imposible especificar con minuciosidad
todos los aspectos, aunque es peligroso dar por supuesto el acuerdo sobre
temas importantes cuando no existe. El evaluador debe partir de la postura
de sus destinatarios, aunque las premisas iniciales no sean aceptables
para terceras partes ni para el mismo evaluador siquiera. En caso contrario,
la evaluacin no ser creble ni persuasiva. Como mnimo, debe darse una
comprensin compartida de la situacin. Si discrepan en exceso los valores
bsicos, el evaluador puede optar por no llevar a cabo el estudio. Por
supuesto, esta comprensin bsica est sometida a las concepciones de
decencia y justicia que prevalecen en la sociedad en conjunto, y el evaluador
puede basarse en estas concepciones sociales ms generales.
Todo esto no significa que el evaluador tenga que estar de acuerdo en
todo con sus destinatarios. Es probable que existan reas de desacuerdo,
pues, si no, no haran falta argumentos. Es posible que los destinatarios
quieran aprender algo nuevo o, de lo contrario, no hara falta evaluar. Pero
la evaluacin parte de reas en las que existe el acuerdo, para alcanzar
aquellas otras en las que el acuerdo es problemtico.
La argumentacin cuantitativa
El enfoque ms popular de la evaluacin es el cuantitativo. Algunos lo
consideran como la autntica esencia de la racionalidad y del mtodo
cientfico. Ha producido muchos buenos estudios de evaluacin (y muchos
malos tambin). Como este enfoque se ensea en los centros superiores y
se promueve en la bibliografa, no necesitamos extendernos en sus virtudes,
que son muchas. En este apartado pretendo mostrar que incluso la meto
dologa cuantitativa consiste esencialmente en argumentos y est sometida
a similares consideraciones. Utilizada de manera adecuada, puede ser una
valiosa herramienta de anlisis; empleada de forma inadecuada, es peli
grosa.
La metodologa cuantitativa constituye un cuerpo de mtodos matemticos
y tcnicas de medida a disposicin del evaluador. La utilidad de la meto
dologa depende de las semejanzas entre los problemas tericos de ios
que sta se ocupa y los problemas efectivos a los que se enfrenta el
evaluador en un medio concreto. Por su parte, Cr o n bac h (1974) ya ha
sealado que el ajuste entre los problemas tericos y efectivos no es buena
El contexto educativo es demasiado complejo.
Un matemtico de la Rand Corporation (St r a u c h , 1976) exami n las
dificultades que presenta la metodologa cuantitativa cuando se apl i ca a
estudios polticos, o sea, a cuestiones que surgen a partir de i os procesos
gubernamentales de toma de decisiones. Segn St r a u c h , en la medid* en
que la metodologa es matemtica, la estructura de lo determinado por las
$ ickcMMeeMan*, S t.
j* 19 iSMMMMI Lsjk /00nvUtijy&r' to*j ^xtoj ^ns y r
**j*rf*t. ?; <&&&&>* ws *&** wpme sahitr que exsl e t n ?
tap&S ifw&jAfj* 0t$$ & a c o n o ($$a dtspassac^fi a l a a c c i n que .
*fWj*tlFp iMtt $$2 A \ & t importante para un grupo det em-^v
*Ki | 4tsMr 41 * Jtar SSS^ a i$$($ en oonoreiP.
(/<* $l$| > ^ i^îsp iipareosH ams todo ai seteccionaf los o b ^-.
4$ MMI JNM9 l l ya Que (Si imposiste investigar ss
4rt| Ati9
cMz es
jf *e Jnepteciini de las conclusiones c* ^r-
i o n pm wto M po o 0MM (WnrrmMM 1976). Pero, en <-
def r*
irtsde ls
srgumanlacia eotxe todo en las deoe
wwM & tuto/reseed rpore*
iduxtof. O anlisis de las relaciones entre
mum i eiedo <
le IbifNft5(1973) i
w tieya a cuestionar esto mitsmo. En
Wldi wnpide <que tas valores aparezcan a cada momento. Los
yf i Vl i 19 Uflfc/Sm (Me p em ui
ir a los destmatanos y para justificar tas
of/ c*x*es y$ M
hagan <me los clems
0Mm coefcntcwnei de argumentos pueden compendiarse en unas
fKItf Mt t pt conf f 9nra#f denominadas 'toe/ " (Pzr el man y Ol srecht s.
rlTOCA. 1000) Lo# toe/ ms comunes son los de cantidad y calidad. Los
Mtf f iiintQl agrupados en torno a los toe/ de cantidad afirman que una
jjjp| e* ()U9 ot/a por fBZOfW$ cuantitativas (mayor nmero, mayor
yuto, m t durabilidad. etc j Con frecuencia, la eficacia de los medios se
0$f mediante loci cuantitativaos Las ideas de "normal" y "norma tambin
se bft^sn en 1$ centidad
i n contraste con la cantidad, est la idea de calidad. Hay cosas que
ostenten un valor afevado i posar do su pequeo nmero. La valoracin
eievsds d# lo nico se asocia a la calidad Un individuo puede estar en
posesin de la verdad mientras la multitud permanece en el error. Por
ejifwpto, toi ivf N (W2) defiende que la nocin de objetividad no tiene por
qu star vinculada la cantidad do personas que sostienen determinada
d, ni || (\tt subjetividad a la propia percepcin de una persona, como se
piensa i menudo.
Junto a los razonamiento! generales sobre hechos y valores, existen
oruardo* nprtcisles restringidos a determinados destinatarios especiales y
pr(i()int} rin r &ds evaluacin En la medida en que la eval uacin se dirige a
Kt $#itlliirl@8 tcnicos, stos compartirn determinados acuerdos y
oonvenftlones Un grupo de investigadores de la educacin constituye un
conjunto dn dimtinstarios tcnicos de este tipo. Las eval uaciones que se
dingan $ unos destinatarios inexpertos en la materia no pueden basarse en
ios mismos acuerdos.
I * posible qim km acuerdos peculiares ms Importantes de una e v a l a -
ion r iitK mtnn deriven do la negociacin que con frecuencia precede a Ia
evaluacin (acuerdos anuo patrocinadores, personal que participa en G'
prggrfiffia y evaluadores). Bn esta Importantsima negociacin, pueden al'
**n/ ars* fjt uerdos i obr los criterios, mtodos y procedimientos, acceso a
tos detos divulgacin da resultados, etctera. Los desacuerdos sobre esto5
iMifiorto* pueden acabar completamente con la credibilidad de la evaluacin
i a pea -fltete t gungrt Bct cr gagUuaftua
En resumen. ad prnopo de ta evafcjaoon ei evaluador debe desase en
os acuerdos con tos destnaftanos Estos acuerdos pueden ser tanto npficiios
como expl o tas En readad. seria npostoie espeoficar con mnuoi osxM
lodos tos aspectos, aunque es peigroso dar por supuesto e8 acuerdo sobre
lemas importantes cuando no existe B evaluador debe partir de la postura
de sus destinatarios, aunque las premisas nidales no sean aceptables
para terceras partes ni para el mismo evaluador siquiera. En caso contrario,
la evaluacin no ser creble ni persuasiva. Como mnimo, debe darse una
comprensin compartida de ta situacin. Si discrepan en exceso los valores
bsicos, el evaluador puede optar por no Nevar a cabo el estudio. Por
supuesto, esta comprensin bsica est sometida a las concepciones de
decencia y justicia que prevalecen en la sociedad en conjunta y el evaluador
puede basarse en estas concepciones sociales ms generales.
Todo esto no significa que el evaluador tenga que estar de acuerdo en
todo con sus destinatarios. Es probable que existan reas de desacuerdo,
pues, si no, no haran falta argumentos. Es posible que ios destinatarios
quieran aprender algo nuevo o, de !o contrario, no hara falta evaluar. Pero
la evaluacin parte de reas en las que existe el acuerdo, para alcanzar
aquellas otras en las que el acuerdo es problemtico.
La argumentacin cuantitativa
El enfoque ms popular de la evaluacin es el cuant it at i vo. Al gunos lo
consideran como la autntica esencia de la racionalidad y del mt odo
cientfico. Ha producido muchos buenos estudios de eval uaci n (y muchos
malos tambin). Como este enfoque se ensea en los cent ros superi ores y
se promueve en la bibliografa, no necesitamos extendemos en sus vi rt udes,
que son muchas. En este apartado pretendo mostrar que i ncl uso l a met o
dologa cuantitativa consiste esencialmente en argumentos y est somet i da
a similares consideraciones. Utilizada de manera adecuada, puede ser una
valiosa herramienta de anlisis; empleada de forma i nadecuada, es pel i
grosa.
La metodologa cuantitativa constituye un cuerpo de mt odos mat emt i cos
y tcnicas de medida a disposicin del evaluador. La ut i li dad de la met o
dologa depende de las semejanzas entre los problemas t eri cos de los
que sta se ocupa y los problemas efectivos a los que se enf rent a el
evaluador en un medio concreto. Por su parte, Cr o n b a c h (1974) ya ha
sealado que el ajuste entre los problemas tericos y efectivos no es buena
El contexto educativo es demasiado complejo.
Un matemtico de la Rand Corporation (St r a u ch , 1976) examin l as
dificultades que presenta la metodologa cuantitativa cuando se apl i ca a
estudios polticos, o sea, a cuestiones que surgen a part i r de los procesos
gubernamentales de toma de decisiones. Segn St r a u c h , en l a medi da an
que l a metodologa es matemtica, la estructura de lo det ermi nado por las
premisas que definen el sistema constituye un sistema cerrado*. El anlliir,
matemtico consiste en el estudio de esa estructura, tal como se deriva
lgicamente de las premisas. Los resultados estn conectados con |q s
pfpfls mediante inferencias lgicas En el sentido en que su valide?
puedo determinarse sobre la base de esa cadena de razonamiento, |q 8
resultados son "objetivos" (no hace falta apelar a la competencia o al juicio
de la persona que los obtuvo ni a sus destinatarios). Los resultados son
necesariamente lgreos. En la argumentacin, en cambio, no pueden sepa
rarse por completo de la persona que los obtiene.
La aplicacin de la metodologa cuantitativa a problemas efectivos utiliza
un modelo matemtico como representacin simplificada del problema. Los
resultados dependen, en parte, del anlisis matemtico, pero tambin del
ajuste entre el modelo y el problema real. En las aplicaciones ms sencillas,
como en las ciencias fsicas, los problemas reales son rigurosamente cuan-
tificables, El control experimental refuerza la capacidad del evaluador para
hacer que el problema real se adapte al modelo matemtico, por ejemplo la
seleccin aleatoria en los modelos estadsticos. En esos casos, las conclu
siones son objetivas" en el sentido de que estn sujetas a verificacin
independiente sobre la base de la lgica y del ajuste, sin referencia al juicio
de la persona que las elabor. Sin embargo, cuanto ms conductual o
poltico sea el problema real, ms difcil resulta definirlo sin ambigedad en
trminos matemticos. Las relaciones entre la realidad y el modelo se
hacen ms dbiles.
En un estudro cuantitativo del tipo mencionado, St r a u c h identifica los
siguientes componentes: la formulacin supone definir el problema formal a
partir del problema real, estableciendo despus un modelo matemtico del
problema formal. Se trata de un procedimiento de reduccin. El anlisis
ttpone el cmputo en el contexto matemtico definido por el modelo. Se
M u c e en enunciados matemticos. La interpretacin consiste en la reinte
gracin de los enunciados al problema formal; y, por ltimo, la interpretacin
S estas conclusiones depende tanto de la validez lgica del anlisis como
de la validez de las relaciones entre el modelo y el problema real. Aunque
te validez lgica puede determinarse sin referencia al juicio subjetivo del
anahsta, no as las relaciones. Estas ltimas se fundan en los juicios subjetivos
del analista. Tanto la formulacin como la interpretacin son procesos sub
jetivos La formulacin requiere reducir las dimensiones del problema r eal
El lrmtn utilizado en al original es "self-contained", traducido a vocea como "autocon
tenidoIndependiente", que tiene aus propios recuraos". Optamos por la expresin sistem'
cerrado" porque rattya de manera ms clara la intencin del autor, sobre todo t i tenemos en
coarta la importancia que, para el estudio de loa sistemas sociales, tiene la teora general de
M M m M * de jcMg von Bwtaianffy (General Systems Theory. Foundations, Q$velopmel,i
AfiphcMcmt, Nueva York George Braziller, 1968. Trad. cast.: Teora general dj/kjttem#'
fn de Cultura Econmica) y, ms en concreto, la dinmica de sistemas" de Jay
W Fowmst m (Industrial Dynamics. M.I.T. Presa, 1961). En este contexto, sistema cerrado '5
aqul que *o ntar acta con variables externas a si mismo, como 8ucede en el alaterna I I due
te ceiaê (N. del T.f
n Qvai uaoin, ai ioa u
L l gi ca d* la argument aci n t val uat l va 79
para hacerlas manejables mediante el anlisis, aadiendo, quiz, algunos
supuestos que hagan ms fcil el anlisis, aunque pueda resultar discutible
en la perspectiva real, por ejemplo, la independencia de los acontecimientos.
La interpretacin supone restaurar las consideraciones contextales que
hablan sido eliminadas y, posiblemente, ajustarlas a causa de los supuestos
slmpliflcadores. Tanto la formulacin como la interpretacin requieren dosis
considerables de juicio intuitivo. En consecuencia, las conclusiones no son,
en realidad, tan "objetivas" como se afirma (vase el tratamiento de la
objetividad que hacemos en un apartado posterior).
La forma usual de ocuparse del aspecto subjetivo de la metodologa
consiste en dejarlo de lado. En las ciencias naturales, en donde los mtodos
cuantitativos han cosechado tantos xitos, esto no constituye un gran pro
blema. La evidencia de "objetividad" en esos campos se toma como prueba
de objetividad en otras reas. Cuando se cuestiona esta relacin, empieza
a quedar claro que las premisas que le sirven de fundamento son muy
discutibles.
A menudo, de los estudios cuantitativos se han derivado perspectivas
interesantes, pero stas suelen deberse ms a los juicios intuitivos correctos
del analista que a los clculos bien hechos. Estos xitos se atribuyen con
facilidad a la metodologa cuantitativa en vez de al juicio. Las crticas suelen
centrarse ms en la calidad tcnica del anlisis matemtico que en la
calidad de los juicios asociados a la formulacin e interpretacin. Cuando
se discute la calidad del juicio, la justificacin debe basarse en el tipo de
razonamiento comn a toda argumentacin.
Un resultado de infravalorar el papel del juicio es lo que podemos denomi
nar, con St r a u c h , "anlisis orientado al mtodo". El analista deja de lado las
complejidades del contexto y se sumerge en su mtodo preferido. Vista en
una perspectiva superficial, la metodologa se aplica de forma directa, como
si no existiesen problemas de ajuste. Al final, se plantean unas cuantas adver
tencias, indicando que compete a los lectores decidir si el ajuste es bueno.
En su forma extrema, hay una escuela de pensamiento, que S t r a u c h
denomina "cuantificacionismo", que sostiene que la cuantificacin es un
valor positivo en s misma. Una respuesta cuantitativa siempre es mejor que
otra cualitativa. Cualquier problema puede reducirse a una solucin cuanti
tativa y ningn problema llega a comprenderse de manera adecuada hasta
que no se consigue. Por tanto, los mtodos cuantitativos deben aplicarse a
todos los problemas. Es probable que esta postura sea falsa, dado que, en
realidad, pocas personas la suscribiran.
Esa actitud, que favorece la metodologa "cientfica", se basa en un re-
duccionismo que trata un fenmeno como un sistema aislado, elabora un
modelo cuantitativo para ese sistema y utiliza el modelo como sustituto del
fenmeno. Como sealamos antes, el reduccionismo puede ser un elemento
de las ciencias fsicas intransferible a los fenmenos sociales.
La imagen de los proyectos cuantificacionistas es la de un proveedor de
"hechos" objetivos basados en datos contundentes. No se responsabiliza
personalmente de las conclusiones a las que puedan llegarse mediante su
% UMMi MonMi & t
mat odotoga. dado que no son suyas. Sk> se dimita a descubrirlas y a
H H de E resul t ados de sus mt odos obj et i vos. Desdea los datos c J!
ntatvo5> como suj et i vos
Est a acti tud se aproxi ma a lo que Pol anyi (1958) describa como obj e
t msmo en i a ci enci a. Es un i ntento para def i ni r un mtodo obj et i vo qu'
edrrne l a responsabi l idad del observador respect o de sus hallazgos. Pol an!
depende, en cambi o, que una convi cci n requi ere el compromiso y la res'
poosaMt dad personal es i ncl uso en ia ci enci a. El objetivismo ha t rat ado ^
represent ar ei conoci mi ent o ci ent f i co como t ot al ment e impersonal.
A menudo, el cuant f i caci oni smo y el obj et i vi smo convienen t ambi n ai
responsabl e de l as deci si ones en l a medi da en que ste pued^ j i j #f i cari a
medi ante la ref erenci a a un descubri mi ent o ci ent f i co". Esto puede ayudarl e
9 el udi r su responsabi l i dad personal . Las t ent at i vas de cuantificacin de
probl emas no cuantrf icabi es y de pasar por alto l os factores judiciales acaban
def ormando el proceso de deci si n.
Indi ca St rauch que un modo de el i mi nar esa deformacin consiste en
uti lizar los mt odos cuanti tati vos como perspectivas respecto del problema
real, en vez de como sustitutos. La acept aci n del modelo matemtico
como representaci n vl i da del probl ema real supone utilizarlo como sustituto.
i empl eo del model o para i nt egrar hal l azgos con el conocimiento que ya
se posee si gnif ica uti lizarlo como perspect i va.
Respecto a la mayor parte de los problemas reales, los destinatarios de
la evaluacin ya poseen imgenes bien elaboradas por s mismos. El anlisis
cuantitativo puede proporcionar a los destinatarios una visin adicional, aunque
no necesariamente mejor ni ms vlida, del problema. La interaccin êntre
las propias imgenes y las perspectivas adicionales debe producirse en el
interior de cada destinatario, de cada responsable de depisiones o de qui en
corresponda. S slo se utiliza la metodologa cuantitativa como una pers
pectiva, se reduce el problema del ajuste entre el modelo y el problema real.
Por otra parte, tanto el evaluador como los destinatarios deben respon
sabilizarse de modo personal de los hallazgos, dado que no se derivan
necesariamente del anlisis. Las conclusiones no pueden Justificarse por
completo sobre la base de que se derivan, en buena lgica, de los supuest os
de partida. La evaluacin de cada uno de los supuestos debe co mp l e t a r s e
con la evaluacin global del total.
Por tanto, la argumentacin cuantitativa debe utilizarse siempre en con
juncin con el juicio humano y ste debe ocupar una posicin superior. Las
consecuencias para el argumento cuantitativo en la evaluacin son impoi''
tantea. La metodologa cuantitativa debe considerarse fundada en los juicios
humanos y en el razonamiento intuitivo, justificndose en consecuencia.
La argumentacin cuailtatlva
ti i &u articulo sobre el conocimiento cualitativo, Campbell (1974) indcate
,4iJf. $1 conocimiento cientfico depende del sentido comn v a u ^ o ^ i g d 2 L
La ilgica de la argumentacin evaiuativa Si
concret os, sean de l a ci enci a o del senti do comn, sl o Siegan a conocerse
en el conj unt o de muchos ot ros hechos. La proporci n ent re l o f i abl e y l o
dudoso es si empre una f racci n muy pequea . En reali dad, cual qui er co
noci mi ent o de al go depende del contexto y, segn Ca mp b el l , el conoct mi ent o
cual i t at i vo de t otal i dades y paut as" proporci ona el context o necesari o para
i nt erpret ar l os dat os cuanti tati vos. Por ej emplo, l a el aboraci n de hiptesi s
al t ernat i vas requi ere conocer bi en el medi o l ocal, un act o cuali tati vo.
Campbel l pi ensa que se ha dej ado de l ado el conoci mi ent o cuali tati vo
en benef i ci o de l os mt odos cuantitati vos. Le gustara que se uti lizaran
conj unt ament e l os mt odos cual i tati vos y cuantitati vos con el fin de ef ectuar
val i daci ones mut uas entre ambos ti pos. Cree que l os mt odos cuantitati vos
pueden proporci onar perspect i vas que l os cual i tati vos no son capaces de
f aci l itar, a pesar de l a mayor f undament aci n de estos lti mos. Asi mi smo,
como t odo conoci mi ent o es esenci al ment e comparati vo, cree que las tcnicas
cual i t at i vas, como l os est udi os de casos, pueden mej orarse medi ant e con
si deraci ones rel at i vas al di seo experi ment al , que, a su modo de ver, no
f orman part e excl usi va de l a met odol oga cuant i t at i va
Al sopesar de nuevo la necesidad e, incluso, la prioridad del saber
I cualitativo, Ca mpb e l l (1975) revisa la observacin naturalista, anecdtica y
de caso nico. La generalizacin cuantitativa se opondr en algunos as
pectos a este conocimiento, pero slo por confiar en un conjunto mucho
mayor de observaciones de ese tipo. En su clsico documento sobre el
diseo experimental, Ca mpbe l l y St a nl e y (1966) mencionan el estudio de
casos, considerando que carece de base de comparacin y, en conse-
I cuencia, de justificacin para extraer inferencias causales.
Ca mpb e l l ha modificado considerablemente su postura y ahora considera
que el estudioso de casos hace muchas previsiones sobre la base de su
teora, que puede quedar invalidada. Se trata de un proceso de ajuste del
modelo en el que los distintos aspectos de ste se confrontan con las
observaciones del medio local. En la actualidad, Ca mpbel l cree que el
estudio de caso nico constituye una base de conocimiento ms segura de
I lo que pensaba antes.
Segn Ca mpb e l l , cmo podemos conocer algo? A partir de las dificul
tades epistemolgicas actuales, busca un fundamento seguro del conoci-
I miento. El esfuerzo para eliminar la equivocidad, basando el conocimiento
en datos sensoriales concretos y el espritu del atomismo lgico se orien-
I tan en el mismo sentido de bsqueda de la certeza en los aspectos concre
tos (Ca mpb e l l , 1966). La certeza se lograra mediante la definicin de
I aspectos concretos incorregibles. Esto se traducira en trminos especifi-
cables de modo inequvoco y en una certeza de comunicacin.
En la actualidad, Ca mpb e l l cree que esta forma de positivismo es insos-
I tenible, tanto desde el punto de vista de la filosofa como de la psicologa.
Las cosas fuera de contexto no son interpretables. Pero, cmo podemos
an conocer algo partiendo de un conjunto de acontecimientos, cada uno
de los cuales es de por s indeterminado? Ca mpb e l l afirma que esto se
consigue mediante el "ajuste del modelo.
GcNoorm Morata, S L.
metodologa, dado que no son suyas. Slo se limita a descubrirlas y a
formar de los resultados de sus mtodos objetivos. Desdea los datos cn^
litativos como subjetivos.
Esta actitud se aproxima a lo que Po l a n y i (1958) describa como objp
tivismo en la ciencia. Es un intento para definir un mtodo objetivo qu'
elimine la responsabilidad del observador respecto de sus hallazgos. Pol ai ^
defiende, en cambio, que una conviccin requiere el compromiso y la res'
ponsabilidad personales incluso en la ciencia. El objetivismo ha tratado
representar el conocimiento cientfico como totalmente impersonal.
A menudo, el cuantificacionismo y el objetivismo convienen tambin ai
responsable de las decisiones en la medida en que ste puede justificarlas
mediante la referencia a un descubrimiento cientfico. Esto puede ayudarle
a eludir su responsabilidad personal. Las tentativas de cuantificacin de
problemas no cuantificables y de pasar por alto los factores judicialespcaban
deformando el proceso de decisin.
Indica St r a u c h que un modo de eliminar esa def ormaci n consiste en
utilizar los mtodos cuantitativos como perspectivas respect o del problema
real, en vez de como sustitutos. La aceptacin del model o matemtico
como representacin vlida del problema real supone ut il izarl o como sustituto.
El empleo del modelo para integrar hallazgos con el conocimiento que ya
se posee significa utilizarlo como perspectiva.
Respecto a la mayor parte de los problemas reales, los destinatarios de
la evaluacin ya poseen imgenes bien elaboradas por s mismos. El anlisis
cuantitativo puede proporcionar a los destinatarios una visin adicional, aunque
no necesariamente mejor ni ms vlida, del problema. La interaccin entre
las propias imgenes y las perspectivas adicionales debe producirse en el
interior de cada destinatario, de cada responsable de decisiones o de quien
corresponda. Si slo se utiliza la metodologa cuantitativa como un$ pers
pectiva, se reduce el problema del ajuste entre el modelo y el problema real.
Por otra parte, tanto el evaluador como los destinatarios deben respon
sabilizarse de modo personal de los hallazgos, dado que no se plerivan
necesariamente del anlisis. Las conclusiones no pueden justificarse por
completo sobre la base de que se derivan, en buena lgica, de los supuest os
de partida. La evaluacin de cada uno de los supuestos debe completarse
con la evaluacin global del total.
Por tanto, la argumentacin cuantitativa debe utilizarse siempre en con
juncin con el juicio humano y ste debe ocupar una posicin superior. Las
consecuencias para el argumento cuantitativo en la evaluacin son impor
tantes. La metodologa cuantitativa debe considerarse fundada en tos juicios
humanos y en el razonamiento intuitivo, justificndose en consecuencia.
La argumentacin cualitativa
En su artculo sobre el conocimiento cualitativo, Ca mpb e l l (1974) i n d i c a d
que el conocimiento cientfico depende del sentido comn y que los / hechos
dicK>nM Morarte, 8. L
La lgica de la argumentacin evaluativa w k
concret os, sean de la ci enci a o del sentido comn, sl o llegan a conocerse
en el conj unt o de muchos otros hechos. La proporcin entre lo fiable y lo
dudoso es si empre una f raccin muy pequea. En realidad, cualqui er co
noci mi ent o de al go depende del contexto y, segn Campbel l , el conocimiento
cual i tat i vo de t otal i dades y pautas proporci ona el contexto necesari o para
i nt erpret ar los dat os cuantitati vos. Por ej emplo, la el aboraci n de hiptesis
al t ernati vas requi ere conocer bi en el medi o local, un acto cualitativo.
Campbel l pi ensa que se ha dej ado de lado el conoci mi ento cualitativo
en benef i ci o de los mtodos cuantitativos. Le gustara que se utilizaran
conj unt ament e los mt odos cuali tati vos y cuantitativos con el fin de ef ectuar
val i daci ones mut uas entre ambos ti pos. Cree que los mtodos cuantitativos
pueden proporci onar perspecti vas que los cualitativos no son capaces de
f aci li tar, a pesar de la mayor f undamentaci n de estos ltimos. Asi mi smo,
como t odo conoci mi ent o es esencialmente comparativo, cree que las tcnicas
cual i t at i vas, como los est udi os de casos, pueden mej orarse medi ante con
si deraci ones rel at ivas al di seo experi mental, que, a su modo de ver, no
f orman parte excl usi va de la metodologa cuantitativa.
Al sopesar de nuevo la necesi dad e, i ncluso, la prioridad del saber
cual i t at i vo, Ca mp b e l l (1975) revi sa la observaci n naturalista, anecdti ca y
de caso ni co . La general i zaci n cuantitativa se opondr en al gunos as
pect os a est e conoci mi ent o, pero sl o por conf iar en un conjunto mucho
mayor de observaci ones de ese tipo. En su clsi co documento sobre el
di seo experi ment al , Ca mp be l l y St a n l e y (1966) menci onan el estudio de
casos, consi derando que carece de base de comparaci n y, en conse
cuenci a, de j ust if i caci n para extraer i nf erencias causales.
Campbel l ha modi f icado considerablement e su postura y ahora considera
que el est udi oso de casos hace muchas previ si ones sobre la base de su
t eora, que puede quedar i nval i dada. Se trata de un proceso de ajuste del
model o en el que los di sti ntos aspect os de ste se conf rontan con las
observaci ones del medi o l ocal. En la actual idad, Campbel l cree que el
est udi o de caso ni co consti tuye una base de conoci mi ent o ms segura de
lo que pensaba ant es.
Segn Campbel l , cmo podemos conocer al go? A partir de las dificul
t ades epi st emol gi cas act ual es, busca un f undamento seguro del conoci
mi ent o. El esf uerzo para el i mi nar la equivoci dad, basando el conoci mi ent o
en dat os sensori al es concret os y el espritu del atomismo l gico se orien
t an en el mi smo sent i do de bsqueda de la cert eza en los aspect os concre
t os (Campbel l , 1966). La cert eza se l ograra medi ant e la def i ni ci n de
aspect os concret os i ncorregi bl es . Est o se t raduci ra en t rmi nos especi f i -
cabl es de modo i nequvoco y en una cert eza de comuni caci n .
En la act ual i dad, Campbel l cree que est a f orma de posi ti vismo es i nsos
t eni bl e, tant o desde el punt o de vist a de la filosofa como de la psi col oga
Las cosas f uera de context o no son interpretabl es. Pero, cmo podemos
an conocer al go part i endo de un conj unt o de acont eci mi ent os, cada uno
de l os cual es es de por s i ndet ermi nado? Campbel l af i rma que esto se
consi gue medi ant e el aj uste del model o .
Frrinngrj Mo t h S (
f vil uacln, tica v *
----------
En acontecimientos relativos a la cognicin, como la visin binculo
los ojos reconocen los objetos corrientes mediante un proceso de triangul'
cin. Cuanto ms elaborado es el modelo, ms improbable resulta un err0
de reconocimiento, desde el punto de vista estadstico. Por medio de J
memoria, pueden compararse varios modelos. Ca mpb e l l considera el ajuste
del modelo como un proceso de ensayo y error. Se trata esencialmente de
pensamiento analgico, siempre presente, segn Campbel l , en el proceso
de conocimiento.
En realidad, la teora cientfica constituye la instancia ltima del conoc,
miento y la relacin entre la teora formal y los datos es de ajuste del
modelo, con un error asignado a la medida de los datos (puntuaciones
verdaderas y puntuaciones estimadas"), salvo cuando se est de acuerdo
en la necesidad de revisar la teora. Hay que ajustar dos modelos: el de la 1
teora y el de los datos. La aceptacin o rechazo de la teora est sometida
a algn criterio de ajuste entre ambos. En realidad, nunca se rechaza una
teora a causa de su falta de ajuste, salvo si existe una teora alternativa'que I
la sustituya. Lo que hace que una teora sea correcta es la falta de
hiptesis rivales aceptables.
Campbel l piensa que estas consideraciones se aplican de forma directa
a las cuestiones relativas a la evaluacin de programas. Creo que los pro
blemas de equivocidad de las pruebas respecto a la eficacia de los progra-
mas son tan afines a los problemas generales de inferencia cientfica que
nuestras extrapolaciones a recomendaciones sobre procedimientos de eva
luacin de programas pueden estar bien fundadas, con la adecuada crtica
mutua."
Si entiendo bien su postura, Campbel l afirma que la eval uaci n constituye
un aspecto de la investigacin cientfica y est sujeta a probl emas episte
molgicos semejantes. Aunque pueda ser cierto, al menos, en est e captulo, J
he invertido de alguna manera la relacin entre figura y f ondo, consi derando ]
la ciencia como una argumentacin dirigida a una audiencia universal que, I
por tanto, se ocupa del establecimiento de generalizaciones a l arg plazo, y I
la evaluacin como una argumentacin que se dirige a dest i nat ari os con
cretos, ocupndose de cuestiones relacionadas con un cont ext o deter-1
minado.
Podemos considerar que, en la evaluacin, el ajuste del model o no slo
se produce en la mente del evaluador, cuando estructura su est udi o y
examina el ajuste entre su descripcin del programa y el programa en s,
sino tambin en tas mentes de ios destinatarios, cuando comparan el estudie'
de evaluacin con su propia experiencia. Los destinatarios t ambi n tienen
imgenes, recuerdos y teoras sobre el programa sometido a eval uaci n
Utilizando la evaluacin como perspectiva (un modelo verbal, en est e caso)
los destinatarios comparan sta con su concepcin del programa. Los errori
se atribuirn dependiendo de la capacidad de persuasin de la eval uaci n
De este modo, I09 destinatarios operan como hitos independientes de va' 1
dacin de la evaluacin, debiendo asumir un papel activo en sSHpr pr et ac^
y responsabilizndose personalmente de esa interpretacin.
La lgica de la argumentacin avaluotiva
Segn Ca mp b el l , el proceso bsico de ajuste del modelo es ms anal
gico que lgico (aunque no cabe duda de que el proceso lleva consigo
muchas formas de razonamiento). En realidad, podemos llegar ms lejos
En una epistemologa basada en la eliminacin de la equvocidad y en el
establecimiento de la certeza del conocimiento mediante la definicin de
aspectos concretos incorregibles, el razonamiento deductivo y el inductivo
constituyen el modo adecuado de relacionar esos aspectos. La lgica forma)
depende de trminos unvocos que operen en un sistema cerrado.
En la medida en que los trminos sean ambiguos y el sistema abierto (o
no reducible a subsistemas aislados), la lgica formal slo puede aplicarse
de manera argumentativa. El razonamiento ha de incluir otras formas de
pensamiento, salvo que aceptemos la imposibilidad del anlisis racional. En
la evaluacin ste es posible, pero slo en raras ocasiones adoptar una
forma de silogismo4.
Revisin de la objetividad, validez e imparcialidad
Qu quiere decir que un estudio de evaluacin sea objetivo" o vlido?
Pocos conceptos se han confundido tanto y han provocado tanta desorien
tacin. Muchas personas se muestran reacias a aceptar o a creerse las
evaluaciones cualitativas slo porque se basan en las observaciones de
una sola persona. Se piensa que estas observaciones son en s y de por s
subjetivas y, en consecuencia, carentes de justificacin a efectos pblicos.
La clave de la confusin radica en la errnea concepcin de la objetivi
dad. Sc r i v en (1972) se ha ocupado esplndidamente de esta confusin,
poniendo de manifiesto la desafortunada historia de la definicin de la obje
tividad. El argumento fundamental de la mayora de las definiciones de
objetividad consiste en que hay algo extemo a la mente que puede verificarse
mediante el acuerdo pblico e intersubjetivo, y que podemos expresar o
probar tales cosas sin la influencia de los sentimientos personales. Una
evaluacin que pueda operar as es objetiva. Pero, acaso el punto de vis
ta de una persona puede ser objetivo? La dificultad radica en la confusin
de la objetividad con los procedimientos para determinar la intersubjetividad.
Sc r i v en (1972) sostiene que objetividad se utiliza en dos sentidos
diferentes: el cuantitativo y el cualitativo. En el sentido cuantitativo del trmino,
la opinin que una persona tenga de algo se considera subjetiva (se trata
de la disposicin de un individuo). La objetividad se consigue a travs de
las experiencias de un conjunto de sujetos u observadores. La experiencia
comn hace pblica la observacin mediante e acuerdo intersubjetivo. En
un plano ms formal, podemos decir que el conjunto de individuos nos
4 Vase en el Apndice A un anlisis ampliado de la evaluacin como argumantocirv En
el Apndice B, puede examinarse un anlisis de la "evaluacin naturalista
Ednones Mohul & L
64
Eval uaci n, tica y P0de
garantiza una representacin ms adecuada de la poblacin (un problema
demuestreo).
El sentido cualitativo de la objetividad es muy di f erente. Se refiere a ia
calidad de la observacin, con i ndependenci a de la cant i dad de personas
que la lleven a cabo. Se denomina objetiva la observaci n que se atiene 9
los hechos, mientras que se considera subjetiva la que de algn modo es
tendenciosa. Puede darse el caso de que las observaci ones de una persona
se atengan a los hechos concretos, mientras que las realizadas por un con
junto de individuos no lo sean? En efecto. Por tanto, una observacin puede
ser subjetiva, desde el punto de vista cuantitativo (la opinin de un individuo),
y al mismo tiempo objetiva, desde el punto de vista cualitativo (realmente
carente de sesgos y veraz).
En realidad, hemos de aceptar que los tipos de inclinaciones tendenciosas
que influyen en la opinin de una persona difieren de algn modo de los
sesgos propios de las opiniones grupales. Por ejemplo, un individuo puede
sucumbir con mayor facilidad ante los puntos de vista idiosincrsicos, dado
que slo es capaz de tener una perspectiva Por otra parte, existen sesgos
sociales y culturales ante los que un grupo se muestra ms susceptible que I
una persona concreta, p. ej., el chauvinismo. La objetividad cualitativa del j
individuo puede evaluarse por su trayectoria en relacin con estas cuestiones
y por sus intereses personales actuales. En todo caso, quien acepte total y I
exclusivamente la idea cuantitativa de objetividad nunca estar satisfecho 1
con enfoques del estilo del estudio de casos.
Cmo lleg la idea cuantitativa de equiparar la cantidad de individuos \
que efectan una observacin con su veracidad para adquirir un ascendiente
tal que excluyese la objetividad cualitativa? Sc r i v en remonta esta deformacin I
hasta los intentos de la psicologa para erradicar la introspeccin y las
tentativas de la filosofa para eliminar la oscura metafsica. Ambas disciplinas -
procuraron conseguir esas metas por medio del principio de verificacin. La 1
intersubjetividad se operativiz como el criterio de objetividad. En su forma j
extrema, la equiparacin de la objetividad con la idea cuantitativa de Inter-
subjetividad se manifest en el conductismo metodolgico y en el opera-
cionalismo. Pero la falacia del intersubjetivismo alcanza a todos los campos.
Scr i ven menciona el caso de la evaluacin de una antena de t el evi si n 1
en una revista de electrnica en la que el evaluador ve e informa de que la 1
imagen procedente de una de las antenas probadas es mejor. No obstante,
el evaluador pide disculpas por haber sido "subjetivo, ya que no utiliz
instrumento alguno para medir el incremento en decibelios. En real idad,
como seala Scr i v en, sin utilizar instrumentos, es posible llegar a acuer dos
ntersubjetivos respecto al funcionamiento de equipos electrnicos, sin que
la correlacin de estos juicios de calidad reunidos con cualesquiera lecturas
de instrumentos de medida sea elevada. Por qu, entonces, para este
evaluador confundido, la lectura de un instrumento es objetiva, mientras
que el juicio de una persona es subjetivo?
La razn est en que el evaluador es la nica persona que efecta I0
observacin y, aunque sabe que podra confirmarla apelando a sus colegas-
0 dicXHmMoritt, 9>I
La lgica de la argumentacin evaluatlva
86
cree que sera mejor disponer de un instrumento porque se llegara a un
acuerdo an mayor entre observadores sobre la lectura del aparato de
medida (aunque la medida que arroje el aparato no constituya un ndice
elevado de calidad). En este caso, la idea cuantitativa de intersubjetividad
suplanta la calidad de la percepcin.
En trminos operacionales, segn Sc r i v en , la medida en una escala
cuantitativa por medios mecnicos se convierte en indicador de veracidad
porque la fiabilidad entre jueces es superior. Al mismo tiempo, se sacrifica
en realidad la validez en beneficio de la fiabilidad, porque la lectura del apa
rato de medida, aunque fiable, no es un buen indicador de la calidad de
imagen. ste es uno de los errores corrientes de la evaluacin: la sustitu
cin de la observacin directa de la calidad por los instrumentos, la de la
validez por la fiabilidad. Y es un error de primera magnitud.
A part i r de esta idea lo que otros no pueden experimentar directamente
no puede t omarse como ciencia autntica (intersubjetivismo), se ha de
sarrol l ado el concepto de objetividad como exteriorizacin de todas las re
f erenci as, de manera que pueda conseguirse una prueba mltiple; segn
Sc r i v en , una excesiva y grosera simplificacin. En la investigacin educativa,
est o se ha manifestado en la equiparacin de la objetividad con la capa
ci dad de especificar y explicar del modo ms completo todos los procedi
mi ent os de recogida de datos. La exteriorizacin y objetivacin completas
permi t en l a rplica, la garanta de la fiabilidad. En educacin, ser objetivo ha
l l egado a significar disponer de un instrumento vlido (exactamente, como
un eval uador electrnico).
Lo que, en realidad, existe son instrumentos muy fiables cuya validez es
cuestionable. Su correlacin con los juicios de calidad no siempre es elevada
La deformacin del principio intersubjetivista de verificacin se ha traducido
en la equiparacin de la objetividad con procedimientos exteriorizados y
replicables, aunque stos puedan ser influidos por inclinaciones tendenciosas
y, en consecuencia, ser subjetivos, desde el punto de vista cualitativo.
La identificacin de la objetividad con un procedimiento externo com
pletamente especificable tiene otro efecto importante. Libera ai evaluador
de la responsabilidad respecto de los resultados y consecuencias de la
evaluacin. En realidad, si estos instrumentos y procedimientos objetivos
arrojan esos resultados, cmo vamos a culpar al evaluador? Habr que
acusar a la ciencia. Po l a n y i (1958) denomina "objetivismo a esta postu
ra. En este sentido, la objetividad significa que las observaciones estn
sometidas a una verificacin independiente sin referencia a la persona que
las efecta.
Ahora bien, no es posible especificar explcitamente todo el conocimiento
ni verificarlo por completo mediante procedimientos externos independientes.
Scr i ven sostiene que, incluso en las pruebas matemticas, cuyos pasos se
reducen a lo evidente de por s, la intuicin desempea un inevitable e
importante papel. La verificacin intersubjetiva no slo no es garanta de
veracidad, sino que no es necesaria. La verdad constituye un ideal ai que
EvtkCto, b c i y
slo podemos acercarnos mediante la interaccin entre introspeccin y
wrificactn pblica.
Dada su complejidad, nunca podrn explicarse del todo muchos juicios
intuitivos. No obstante, las conclusiones no tienen por qu ser menos ierta<>
por nuestra incapacidad de explicarlas. El acuerdo entre muchos quiz sea
necesario para explicar la verdad a terceros, pero no es preciso para
verdad en (.
Cmo podemos establecer la validez de una afirmacin si no podemos
separarla por completo de la persona que la hace? Una forma consiste en
comprobar la fiabilidad del observador en casos anteriores y constatar su
carencia de sesgos. Estas comprobaciones no garantizan la consecucin
de la verdad, pero aqu no hay garantas posibles. Segn Scriven^ hay
afirmaciones relativas al conocimiento, hbridas de manifestaciones internas
y externas, p. ej., enunciados de tendencias, analogas, aproximaciones,
que ton cierta# aunque no formen parte de los tipos de afirmaciones que
t oii inot asociar con los enunciados cientficos. Las llama afirmaciones de
"conocimiento dbil" y dice que representan el tipo de conocimiento del
que pueden disponer las ciencias sociales.
Estos enunciados de conocimiento se manifiestan ms como explica
ciones que como previsiones. La explicacin y la comprensin son funciones
del modo de codificarse la informacin en la mente. La explicacin ûpone
que existe una persona que la entiende. No existe de por s. En; ltimo
extremo, o la comprensin es reducible a algo ya presente en la mente de
sus destinatarios, que realizan el proceso de comprensin, o no habr |
explicacin.
De igual manera, salvo que la evaluacin proporcione una explicacin a I
unos destinatarios concretos, aumentando su comprensin por medio del
contenido y la forma de presentacin de las argumentaciones, no ser una J
evaluacin adecuada a esos destinatarios, aunque los hechos en los que J
se base puedan verificarse por otros procedimientos. Un indicador de la I
capacidad explicativa es el grado de persuasin de los destinatarios conse
guido. En consecuencia, una evaluacin puede ser cierta en el sentido 9
convencional, pero no persuasiva para unos destinatarios concretos, a quie-
nes no sirve de explicacin. Por tanto, en su sentido ms pleno, la e va l uaci n
depende tanto de la persona que efecta el informe evaluativo pomo de la I
que lo recibe.
No es necesaria la previsin para demostrar la comprensin. La inferencia
de un acontecimiento a partir de un coeficiente de correlacin ms a l gu n a s fl
condiciones antecedentes no constituye un test necesario de validez u I
objetividad. En cambio, el modelo de razonamiento se acerca al de aj ust e
del modelo, de encontrar interpretaciones, explicaciones y comprensi ones
razonables en un contexto dado. El test de una explicacin no es la exact i t ud
de la previsin de un hecho, sino que los destinatarios puedan cont empl a1* I
relaciones nuevas y responder preguntas pertinentes nuevas.
Por ltimo, respecto a la cuestin de la objetividad hemos de conclu' 1
dos cosas: o bien la objetividad no puede identificarse en exclusiva con un I
inmtmMor*!*, 8.1
Ul lgica ta argumentacin evaiuafcva
procedimiento exteriorizado, independente por completo de las memes quc
llevan a cabo tas observaciones y las comprenden, o bien gran parte de te
verdad es de carcter subj et i vo. En el primer caso, la objetividad significa
algo ms que lo que suele tomarse por tal; en el segundo, significa si go
menos.
Qu decir de la validez? Una definicin de validez consiste en qipe se
basa en procedimientos objetivos. La validez lleva consigo ideas sobre la
concordancia entre lo que se intenta y lo que se lleva a cabo, la derivacin
correcta y la sancin por parte de la autoridad. En el sentido estricto de la
objetividad cuantitativa, la validez se equipara con la previsin (comprobacin
de los datos en relacin con un criterio). Pero ello supone una tentativa
nica y el intersubjetivismo como principio de verificacin. Es un procedi
miento demasiado estricto. En ltimo trmino, dice Cronbach (1971), la
validez depende del uso que se haga de los datos y la utilidad depende de
los valores, no de las conexiones estadsticas de las puntuaciones.
Si no podemos conseguir una nica puntuacin que constituya un pre
sunto indicador de validez, cmo se determina sta? Quiz la mejor res
puesta consista en examinar las posibles causas de invalidez Una evaluacin
puede ser no vlida de diversos modos. Uno de ellos es que los hechos y
verdades en los que se basa sean errneos. Ambos se aceptan sin discu
sin. Otros datos han de determinarse mediante procedimientos aceptados
de recogida de datos que, a su vez, estn refrendados por una disciplina
concreta y sometidos a examen pblico. A menudo, la validez se refiere a
la utilizacin de tales procedimientos aceptados de recogida de datos, como
seala el artculo de Cr o n b a c h sobre vali daci n de los tests.
Otro modo de cuest i onar la validez tiene que ver con las relaciones que
se establezcan ent re l as conclusiones e interpretaciones y los datos. Como
afirma Cr o n b a c h , l a val i dez o no validez no se refiere tanto al test o a los pro
cedimientos de recogi da de datos como a las interpretaciones de los mismos.
Se trata de la val i dez de una inferencia: la inferencia se deriva correctamente
de los datos y premi sas?
Tambin est la cuestin de si la interpretacin es aplicable a situacio
nes distintas de aqulla de la que se ha derivado, pues las generalizaciones
dependen del contexto. El diseo experimental se ocupa de forma sistemti
ca de estas cuestiones en cuanto constituyen amenazas contra la validez
interna y externa.
En los estudios cualitativos, es ms difcil presentar pruebas de validez,
lo que no significa que no existan. La demostracin de la validez de los
estudios naturalistas suele consistir en la confirmacin de una clase de
datos con otra. Al proponer los estudios de casos en la enseanza de las
ciencias, Stake y Ea s l ey (1978) consideraban que las tendencias personales
y la experiencia anterior constituan la principal amenaza a la credibilidad
de los estudios de casos. Propusieron el uso generalizado de grabaciones
magnetofnicas de entrevistas; de citas directas, en la medida de lo posible,
e informar de los desacuerdos entre los entrevistados, si los hubiera. Las
personas conocedoras de la situacin local podran leer el informe escrito y
Evaluacin, ti ca y prj,(<
juzgar la exactitud de la descripcin. Habra que sealar los indicios <k
incoherencia de los trabajadores de campo con el fin de seguir supvolucir
posterior Tambin se documentaran y describiran los contextos de i ^
observaciones. El hecho de garantizar las observaciones de diversos part,
cipantes sobre una cuestin o acontecimiento concreto era un modo de
triangular lo que en realidad ocurriese.
La mayora de las amenazas contra la validez se contempla?desde ia
perspectiva de un destinatario universal. Pero hay otra forma de'Considerar
la validez de una evaluacin: si sta es vlida para destinatarios concretos
En realidad, la validez siempre est relacionada con los fines de alguien y
la utilidad que le proporcione. Si la evaluacin no se basa en valores
propios de la mayora de los destinatarios, stos quiz no la consideren
vlida, es decir, pertinente para ellos, en el sentido de bien fundamentada,
justificable o aplicable. La evaluacin puede pasar por alto, sin ms, las
principales cuestiones que se plantean unos destinatarios determinados. Al
mismo tiempo, la evaluacin puede ser vlida, en el sentido de que los i
hechos en los que se fija son reales y las inferencias efectuadas a partir de i
ios datos, correctamente derivadas. Desde el punto de vista de unos desti
natarios concretos, el error puede estar en las premisas de partida.
Por otra parte, una evaluacin tambin puede ser no vlida en este
sentido secundario si las formas de argumentacin utilizadas son errneas.
Por ejemplo, en esta sociedad, las argumentaciones de medios y fines,
sobre todo las correspondientes a las relaciones entre coste y eficacia, 1
tienen una fuerza singular. Si empleamos un argumento encaminado a I
favorecer la excelencia al mximo, en vez de escoger la mejor alternati- 1
va disponible, puede tener poco peso aunque, desde el punto de vista de 1
un destinatario generalizado, ambas orientaciones sean igualmente verda
deras y vlidas. Por tanto, la validez se aplica a la evaluacin de formas
muy diversas. (El debate entre Gl a ss y Sc r iv e n que aparece en el Apndi- |
ce A se refiere, ms que nada, a la forma del argumento.)
Tambin ocurre que, cuanto ms "naturalista sea la evaluacin, ms se 1
basar en sus destinatarios para extraer sus propias generalizaciones
(validez externa). Por ejemplo, cada lector puede interpretar un estudio de 1
casos de distinta manera, pues tiene presente su propio universo de casos
a efectos de comparacin. El lector puede ver semejanzas y diferencias ba- j
sadas en su experiencia, pudiendo hacer sus propias interpretaciones.
Concibiendo de este modo el proceso de generalizacin, se modi f i ca j
incluso el primer sentido en el que se utiliza la validez. El evaluador sigue I
siendo responsable de la confirmacin y comunicacin de los hechos y I
enunciados verdaderos", pero parte de la interpretacin se escapa de sus 1
posibilidades. Dado que, como dice Cronbach, la cuestin final consiste en 1
la validez de la interpretacin, que slo el lector conoce con seguridad, los I
destinatarios deben asumir una considerable responsabilidad respecto de 1
la validez de sus propias interpretaciones. En ltimo extremo, el e v a l u a d o '
debe suponer que el pensamiento de sus destinatarios sigue procesos
racinale.
La lgica de la argument acin evaiuatrva
Como sealaba Ennis (1973), la validez interna y la externa se refieren a
fenmenos muy diferentes. La validez extema tiene que ver con ta capacidad
de generalizacin de enunciados causales generales. La validez Interna
versa sobre enunciados causales especficos que no supone ta generaliza
cin a otros casos. La generalizacin implica siempre el conocimiento de
las leyes pertinentes que intervienen en la extrapolacin a mbitos distintos.
En cambio, un estudio de validez interna slo alude a la causalidad en el
pasado y en circunstancias especficas. No pretende la extrapolacin, siendo,
por tanto, menos dependiente de premisas externas.
Sin embargo, ni los enunciados causales especficos ni los generales se
derivan lgicamente de un modo perfecto de las observaciones, ni siquiera
en el caso de los mejores diseos experimentales. Incluso en tos diseos
ms estrictos, son necesarias algunas premisas empricas. Adems, segn
En n i s , la identificacin de un hecho concreto con la causa supone inevita
blemente un juicio de responsabilidad acerca de que un acontecimiento
concreto es responsable del efecto. Esta adscripcin de responsabilidad
requiere un importante conocimiento de base y un juicio de valor. Lleva
consigo la probable asignacin de alabanza o censura y muestra un mbito
de intervencin.
La mayora de los evaluadores asume la responsabilidad de enunciados
causales especficos del tipo x caus y en este estudio (validez interna),
aunque, en s, esto supone necesariamente un conjunto de premisas. Pero
algunos remitiran la capacidad de generalizacin de los hallazgos a los
juicios de los destinatarios, dado que sta se basa en una informacin
externa que pueden tener ellos, pero no el evaluador. Los destinatarios
podran efectuar algunas adscripciones de responsabilidad basndose en
su propio conocimiento de base y en sus valores. Algunos evaluadores,
sobre todo los naturalistas, podran decir que, en ltimo trmino, esto se
traduce en generalizaciones superiores.
Hay an otro problema relacionado con la objetividad. Basta decir, en
realidad, que el evaluador es objetivo? Si tomamos la objetividad en el
sentido en que suele utilizarse, en cuanto procedimiento exteriorizado, es-
pecificable, que produce resultados repetibles, es, sin duda, un criterio insu
ficiente para la evaluacin. La administracin de tests normalizados de
ejecucin constituye un procedimiento completamente exteriorizado y es-
pecificable que produce resultados repetibles. Al mismo tiempo, parece que
estos tests estn muy sesgados de muchas formas, sobre todo en relacin
con grupos minoritarios. En este sentido, tenemos un instrumento objetivo,
pero sesgado. De hecho, podemos elaborar un instrumento cuyo sesgo se
incline en el sentido opuesto. (Para mayor confusin, si lo que pretende tal
instrumento es la discriminacin racial, podemos disponer de un instrumento
objetivo, vlido, para este fin.)
Una evaluacin debe carecer de deformaciones y sesgos (debe ser
objetiva, desde el punto de vista cualitativo) y el hecho de que est exterio
rizada, sea especificable y repetible no basta para conjurar posibles 'inclina
ciones tendenciosas. Incluso, para la evaluacin, no es suficiente ta objeti-
$ CnaponmMcmHk. L
vidad cualitativa porque lleva consigo el aura de neutralidad. Las personas i
sometidas a evaluacin no quieren un evaluador neutral, que no se preocupe I
por los problemas. Una persona sometida a juicio no escogera un jue* I
totalmente independiente de su propio sistema social.
La postura desinteresada no nos da derecho a participar en una decisin I
que determina en gran medida la suerte de alguien. El conocimiento de I
tcnicas para lograr descubrimientos objetivos es inadecuado. En cambio I
el evaluador debe ser considerado como miembro del grupo sometido a I
juicio o vinculado con el mismo, de igual modo que un acusado es juzgado
por sus semejantes *. El evaluador ha de ser considerado como una persona I
preocupada, interesada y sensible a los argumentos pertinentes. Debe ser I
ms imparcial que simplemente objetivo.
La imparcialidad del evaluador debe considerarse como la de un actor 1
dentro de los acontecimientos, de alguien sensible a las argumentaciones I
adecuadas, en quien las fuerzas contendientes estn equilibradas, en vez I
de no existir. El evaluador debe ser considerado como alguien que no tema I
partido de antemano a favor de una u otra postura.
El evaluador puede remitirse a criterios objetivos para resolver los pro- I
blemas; pero, cuando se discute su propia imparcialidad, no basta con que I
d pruebas de objetividad. Debe demostrar su imparcialidad, sealando H
cmo, en el pasado, ha actuado en contra de sus propios intereses.
90 _____________________________ ___________________________________Eval uaci n, tica y pog^, I
El discurso evaluativo:
la buena vida (junto a la falla de San Andrs)
Empec este captulo hace varias semanas. Todava no se ha producido I
el gran terremoto de Los ngeles. Se suceden das magnficos, muy parec- I j
dos unos a otros; por tanto, parece que maana ser como hoy, un sueo H
placentero que se extiende indefinidamente.
Cada da que pasa hace que el terremoto parezca menos probable que H
antes. Sin embargo, si ha de producirse en este ao, debera ser ms pro- I
bable. Razono que el tiempo que tie permanecido aqu es slo una peqea I
fraccin del ao en curso, de manera que las posibilidades de que se I
produzca el terremoto son ahora menores que eran respecto a todo el ao I
correspondiente a la previsin. Razono que, aun en el caso de que!el I
terremoto se produzca, los efectos no sern desastrosos. Adems, el Medio I
Oeste est devastado por los tornados. Junto a esto, acaso muchos djp los I
hombres ms despiertos del pas, incluidos los sismlogos, viviran aqu si I
el peligro fuese tan grande? Me siento mejor. Mi ansiedad disminuye.
Mientras tanto, en los ltimos das, el New York Times Magazine r eavi va I
el drama en su edicin del bicentenario (4 de julio de 1976). Como el ement o I
simblico de America at 200", publica un reportaje sobre The G o o d Life I
B a u t o r alucie a la actuacin del jurado en un proceso judicial norteamericano. ( N d e l T J I
9 tonmMorata, 8 i
La lgica de la argumentacin evaluativa
(along the San Andreas Fault)*. En portada aparece una ilustracin de un
f ragment o de autopista zambullndose en pleno ocano, los restos de Los
Angel es tras el prximo terremoto. El artculo comienza con un panorama
de sei s prrafos sobre los efectos del terremoto previsto.
Qui enes viven encima de la lnea de fractura de nueve millas de profun
di dad t i enen sus propias razones para vivir all. Cuando su patio se desmorona
a di ari o, un trabajador de correos, que tiene tres coches, preferira mudarse,
pero no puede vender su casa. El gerente de un rancho, para quien la vida
en Cal i f orni a es mejor que en cualquier otro sitio en el que haya vivido, explica:
No me voy. Acaso existe algn lugar en el que no haya ninguna catstrofe?
Para algunos, la misma precariedad hace mucho ms valioso estar aqu. Un
consejero de inversiones en paro que vive en la falla dice: Vives en un punto
crtico. Puedes perder todo lo que tienes en cualquier momento.
No son las razones que yo dara, pero pueden ser correctas. Toda per
sona es libre para sopesar sus propias razones. Todos somos libres para
hacer nuestras propias opciones. Y as debe ser cuando nos enfrentamos
con esa incertidumbre. No podemos basar el juicio en una realidad irrefutable.
Aun cuando los terremotos sean mucho ms previsibles, sigue habiendo
margen para escoger la respuesta. En el campo de la decisin social, la
certeza parece remota, cuando no imposible.
Ante tales dificultades para llegar a una realidad irrefutable, hay quienes
tratan de hacer sencillas las complejidades de la vida. Insisten en pretender
que hay acuerdo cuando no lo hay, tanto respecto a hechos como a valores.
Ocupando con frecuencia posiciones de poder, imponen definiciones sim
plificadas de la realidad en beneficio de la accin. Sin embargo, con inde
pendencia de la mayor o menor aceptacin de la simplificacin, la realidad
sigue ah. Crean lo que crean veintin millones de californianos, el gran
terremoto llegar.
La alternativa no tiene por qu ser una vuelta a la irracionalidad. Si las
opiniones no pueden tener un fundamento irrefutable, tampoco deben con
siderarse completamente arbitrarias, como meros juicios de valor. Esa
clasificacin circunscribe el conocimiento a lo claro, distinto y unvoco. Esta
distincin crea un cisma entre el saber terico objetivamente verdadero, por
una parte, y la accin basada en motivos irracionales, por otra En ltimo
extremo, lleva a tildar de irracionales a quienes no concuerdan con la
propia perspectiva. La clasificacin de ciertas personas como irracionales
justifica el desprecio de sus opiniones y, quiz, de su dignidad e intereses:
incluso, justifica la utilizacin de la sugestin y la fuerza contra ellas.
La alternativa consiste en tratar como racionales a todos los hombres.
Entre el autoritarismo conservador de la tradicin y el autoritarismo liberal
del cientifismo, entre la certeza del fanatismo y la evasin de la responsabi
lidad del escepticismo se sita la deliberacin racional. Debemos tomar en
* El utor reproduce en l encabezamiento de la seccin el titulo de The NashYork Times
Magazine: La buena vida (junto a la falla de San Andrs). (N. de) T.l
92
^val uaci n, t ica y POcJe
serio las opiniones de los dems, introducindolas en un discurso riguroso
ste es el mbito de la argumentacin y la esfera adecuada de la evgj
luacin.
Partimos de la base de que los grupos de personas se adhieren a
opiniones diversas con intensidad variable y que estas opiniones pueden
ponerse a prueba en un discurso serio. Pueden considerarse incluso hechos
concretos y valores. El discurso racional consiste en dar razones, aunque
no razones indiscutibles. En el mbito de la acci n, en el que hay pocas
cosas claras y distintas, la motivacin puede ser racional. La prctica puede
ser razonable.
El evaluador debe hacer participar a sus destinatarios en un dilogo en
el que puedan emplear su razonamiento con toda l i bert ad. Esto significa
que los destinatarios deben asumir la responsabilidad personal de su inter
pretacin de la evaluacin, dado que el razonamiento que se les presenta I
no es del todo convincente ni compl et ament e arbitrari o. Est o supone que el I
evaluador asuma tambin la responsabil i dad personal de sus juicios, ya I
que no puede ocultarse tras un mtodo ci ego. Ambas part es deben poner I
en prctica su razn natural.
$ tMc&mMorMs, 8. L
CA P TUL O V
Coherenci a y credi bi l i dad
La esttica
El conductor ebrio
La humani dad permanece irremediablemente en la caverna de
Pl at n, gozando todava su antiqusima costumbre con meras
Imgenes de la verdad.
Susan Sont ag: O n P h o t o g r a p h y , 1977, pg. 1.
Consideremos dos imgenes distintas del conductor bebido. Imagin
monos al bebedor social corriente, al que suele tratrsele con excesiva
tolerancia, y a quien, tras desobedecer una seal de parada obligatoria,
detiene la polica y, por tanto, se enfrenta con un problema. Imaginemos
ahora al conductor que es bebedor habitual, siempre con unas copas de
ms, que va haciendo eses, dando tropezones y que, en la carretera, cons
tituye un grave peligro para todos, incluso para s mismo. La imagen que
nos hacemos del conductor que bebe tiene mucho que ver con las reco
mendaciones que, orientadas a la accin, podramos suscribir como medio
para eliminar a los conductores bebidos.
Hasta la pasada dcada se ha venido considerando al conductor que
bebe como un bebedor social, problema civil susceptible de correccin
mediante acciones legales, como la imposicin de castigos y multas. Sin
embargo, desde hace unos diez aos, un conjunto de estudios ha influido
en la transformacin de la imagen predominante del conductor bebido,
NOTA DEL AUTOR: Est e captulo fue publicado como: "Coherence and Creb<}\ The
Aesthetics of Evaluation", en Educational Evaluation and Policy Analysis, Vol. 1, n,5, septiembre-
octubre 1979, pgs. 5-17. Copyright 1979: American Educational Research Association. Was
hington, DC. Reimpreso con autori zacin. Gene Gl ass, Jo Friedman, Donald Hogbeh. Rochelle
M a y e r , John N i s b e t y Hel en Si mons me hicieron valiosos comentarios sobre el mismo.
Ediciones Mota*. S L
valuacin, tica
-----Poclo,
concibindosele ms en la actualidad como bebedor habitual,
patolgico
Las recomendaciones para solucionar el problema derivadas de esa i man
son de tipo sanitario y estn ms orientadas hacia un reducido subconjun?1
de transgresores que a todos los conductores que beben.
El socilogo Gus f i el d (1976) analiz la retrica empleada en estos es tuI
dios (la forma de presentacin de los datos para persuadir al lector de ia
conclusiones). Lo que descubri es realmente provocador. En las ci enci a!
sociales, se ha considerado axiomtico que, aunque un novelista pueda
persuadir a un lector con la emocin, el cientfico slo persuade con la I
gica. Gusf i el d alude a esta idea de la neutralidad del lenguaje como la teo' 1
ra del lenguaje de cristal de ventana: una expresin que revela la realidad 1
con absoluta transparencia y sin ninguna clase de adornos. El aut or de. 1
muestra que, en la prctica concreta, la valoracin de los estudios cientficos
se debe, en parte, a la utilizacin dramtica que en ellos se hace dpi
lenguaje.
Gusf iel d analiz con detalle el estudio ms influyente sobre los conduc- I
tores bebedores: Identification of Problem-Drinking Among Drunken Drivers'm
(Wal l er , 1967). Utilizando las categoras de Burke (1945) de escenario,
accin, agente, mediacin y objetivo, Gusf i el d puso de manifiesto que el
estudio de Wal l er operaba como un instrumento retrico persuasi vo. Como
el estilo literario de las ciencias es de carcter neutral, el estudio cientfico
debe parecer no literario, sin que medie en l punto de vista personal. En el I
estudio de Wal l er sobre los conductores bebidos, la neutralidad del esce
nario viene dada por el rol del autor investigador mdico, que escribe I
en el Journal of the American Medical Association. Establecida la neutrali dad!
del escenario, desaparece la figura del autor en cuanto persona que nter-1
viene en el asunto.
La forma que reviste el estudio es narrativa, con una evidente estructura
dramtica. La tensin aumenta con la opcin entre dos tipos de conductores
bebidos, descargndose en el desenlace. La progresin dramtica va desde
el bebedor problemtico como bebedor social hasta el problemtico como
conductor bebido. Segn Gus f i el d, en esta progresin es importante que el
cambio de perspectiva (resultado real del estudio) se considere como la
consecuencia de datos externos derivados mediante el mtodo cientfico
Por este motivo, el tono del informe es impersonal: Recientes informes hanB
indicado...; "se va poniendo cada vez ms de manifiesto que.... La forma I
impersonal sita la accin en la mediacin externa de los datos y el mtodo
ms que en el autor. Refuerza la idea de que las conclusiones surgen de1
universo de datos impersonales.
El estilo "cientfico" resultante es clnico, desinteresado, i mper sonal 1
carente de imgenes. El autor presenta el universo externo y per mi t e qjj
persuada al lector. El estilo sugiere que el observador se rige por el mt oc I
y las reglas de la integridad cientfica. La atencin prestada a l os det al l es y
a la descripcin meticulosa de los procedimientos, como la presentacin 1
lonmeros con siete cifras decimales, da impresin de p r e c i s i n ] 5eg
Gusweto, este estilo refuerza la premisa epistemolgica bsica: ut i l i zan j
# tdmrm Moreda, 8. i
coherenci a y credibilidad
el mismo mtodo, distintos observadores tienen que llegar a las mismas
conclusiones.
Aunque la exposicin de la metodologa se desarrolla con una neutralidad
evidente, las consecuencias que se extraen para la accin se manejan de
muy distinta manera. Los hechos de experiencia se convierten en imgenes.
En su estudio sobre los conductores bebidos, Wal l er menciona de manera
reiterada la expresin conductores bebidos, suscitando de ese modo im
genes poderosas, en vez de hacer una descripcin con trminos ms neutros,
como: conductores que sufren accidentes despus de beber. En el mis
mo ttulo del artculo se utiliza la expresin conductores bebidos. En
la actualidad, la categora de embriaguez se define operacionalmente por la
cantidad de alcohol en sangre, definicin legal cuya carga emocional es
muy diferente de la que suscita la imagen del conductor ebrio.
Segn Gu s f i el d , cuando Wal l er identific a los conductores bebidos
con los bebedores problemticos mediante su revisin de archivos judiciales
civiles, extrajo las consecuencias para la accin del conjunto de imgenes
de su clasificacin original. De este modo, el cientfico mdico dio sentido a
sus datos por reduccin a imgenes. La representacin del conductor bebido
ampli el significado de los datos primarios de manera que abarcasen
interpretaciones ya aceptadas y conocidas por sus destinatarios. No se
trataba de una simple extrapolacin de los datos.
En sntesis, la imagen del conductor bebido atribuye la responsabilidad
al agente, al mismo conductor, y no al escenario en el que ste acta. La
conduccin en estado de embriaguez se convierte en atributo del individuo
que requiere tratamiento mdico. Supone una conducta ms patolgica que
normal y, en consecuencia, soluciones diferentes. Incluso se trata de un
subgrupo diferente de personas. El delincuente civil se transforma en pa
ciente.
Gu s f i el d seala que este estudio es caracterstico, en cuanto al estilo
retrico, de los trabajos sobre la conduccin en estado de embriaguez,
aunque haya tenido una influencia especial. En un plano ms general, afirma
que la ciencia opera mediante esta clase de reducciones. El saber genera
l izare se crea mediante la vinculacin de objetos especficos con categoras
universales. En esta empresa (la ciencia) estn implcitas y son inherentes
a ella la definicin, descripcin e interpretacin de los datos a travs de
comunicaciones orales o escritas en la medida en que las conclusiones y
generalizaciones suponen significados para la accin" (pg. 31). Y ms
adelante: para que tengan relevancia o sean significativos, no slo hay
que seleccionar los datos, sino tipificarlos e interpretarlos tambin [ibid).
Aunque no todos los estudios de evaluacin utilizan unas imgenes tan
vividas, en la evaluacin surgen problemas similares. Las representaciones,
la estructura dramtica y la forma de exponer una evaluacin constituyen
cuestiones fundamentales para la importancia de la misma. Estos elementos,
a menudo considerados como pura cosmtica, pueden influir en la forma
de pensar y actuar de las personas. Cmo operan estos elementos y cul
es su relacin con el contenido el valor de verdad de una evaluacin'?
&fc0P6S
Evaluacin, tica v n
..m>>;
concibindosele ms en la actualidad como bebedor habitual, patlogo
Las recomendaciones para solucionar el problema derivadas de esa irnag60
son de tipo sanitario y estn ms orientadas hacia un reducido subconjum^
de transgresores que a todos los conductores que beben.
El socilogo Gus f ie l d (1976) analiz la retrica empleada en estos estu
dios (la forma de presentacin de los datos para persuadir al lector de |a'
conclusiones). Lo que descubri es realmente provocador. En las ciencia^
sociales, se ha considerado axiomtico que, aunque un novelista pueda
persuadir a un lector con la emocin, el cientfico slo persuade con la ir*
gica Gusf ie l d alude a esta idea de la neutralidad del lenguaje como la teo. ^
ra del lenguaje de "cristal de ventana: una expresin que revela la realidad
con absoluta transparencia y sin ninguna clase de adornos. El autor de
muestra que, en la prctica concreta, la valoracin de los estudios bentficos
se debe, en parte, a la utilizacin dramtica que en ellos se hace del I
lenguaje.
Gusf iel d analiz con detalle el estudio ms influyente sobre los conduc-1
tores bebedores: Identification of Prob/em-Drinking Among Drunken Drivers
(Wal l er , 1967). Utilizando las categoras de Bur k e (1945) de escenario,
accin, agente, mediacin y objetivo, Gusf i el d puso de manifiesto que el I
estudio de Wa l l er operaba como un instrumento retrico persuasivo. Como I
el estilo literario de las ciencias es de carcter neutral, el estudio cientfico 1
debe parecer no literario, sin que medie en l punto de vista personal. En el I
estudio de Wa l l er sobre los conductores bebidos, la neutralidad del esce- \
naro viene dada por el rol del autor investigador mdico, que escribe I
en el Journal ofthe American Medical Association. Establecida la neutralidad 1
del escenario, desaparece la figura del autor en cuanto persona que inter- J
viene en el asunto.
La forma que reviste el estudio es narrativa, con una evidente estructura 1
dramtica La tensin aumenta con la opcin entre dos tipos de conductores
bebidos, descargndose en el desenlace. La progresin dramtica va desde i
el bebedor problemtico como bebedor social hasta el problemtico como 1
conductor bebido. Segn Gu s f ie l d , en esta progresin es importante que ell
cambio de perspectiva (resultado real del estudio) se considere como l al
consecuencia de datos externos derivados mediante el mtodo cientfico- |
Por este motivo, el tono del informe es impersonal: Recientes informes han
indicado...; se va poniendo cada vez ms de manifiesto que... . La forma I
impersonal sita la accin en la mediacin externa de los datos y el mtodo
ms que en el autor. Refuerza la idea de que las conclusiones surgen de
universo de datos impersonales.
I estilo cientfico resultante es clnico, desinteresado, impersonal 1
carente de imgenes. El autor presenta el universo externo y permi t e ofi |
persuada ai lector. El estilo sugiere que el observador se rige por el mto1a 9
y las reglas de la integridad cientfica. La atencin prestada a los d e t a l l e s ya
a la descripcin meticulosa de los procedimientos, como la presentacin j
m nmeros con siete cifras decimales, da impresin de precisin.' Se9
6w* t o, este estilo refuerza la premisa epistemolgica bsica: utilizan ,
Coherenci a y credibi li dad
96
el mismo mtodo, distintos observadores tienen que llegar a las mismas
concl usi ones.
Aunque la exposicin de la metodologa se desarrolla con una neutralidad
evidente, las consecuencias que se extraen para la accin se manejan de
muy distinta manera Los hechos de experiencia se convierten en imgenes.
En su estudio sobre l os conductores bebidos, Wal l er menciona de manera
reiterada la expresin conductores bebidos, suscitando de ese modo im
genes poderosas, en vez de hacer una descripcin con trminos ms neutros,
como: conductores que sufren accidentes despus de beber. En el mis
mo ttulo del art cul o se utiliza la expresin conductores bebidos. En
la actualidad, l a categora de embriaguez se define operacionalmente por la
cantidad de al cohol en sangre, definicin legal cuya carga emocional es
muy diferente de l a que suscita la imagen del conductor ebrio.
Segn Gu s f i el d , cuando Wa l l e r identific a los conductores bebidos
con los bebedores problemticos mediante su revisin de archivos judiciales
civiles, extrajo las consecuencias para la accin del conjunto de imgenes
de su clasificacin original. De este modo, el cientfico mdico dio sentido a
sus datos por reduccin a imgenes. La representacin del conductor bebido
ampli el significado de los datos primarios de manera que abarcasen
interpretaciones ya aceptadas y conocidas por sus destinatarios. No se
trataba de una simple extrapolacin de los datos.
En sntesis, la imagen del conductor bebido atribuye la responsabilidad
al agente, al mismo conductor, y no al escenario en el que ste acta. La
conduccin en estado de embriaguez se convierte en atributo del individuo
que requiere tratamiento mdico. Supone una conducta ms patolgica que
normal y, en consecuencia, soluciones diferentes. Incluso se trata de un
subgrupo diferente de personas. El delincuente civil se transforma en pa
ciente.
Gu s f i el d seala que este estudio es caracterstico, en cuanto ai estilo
retrico, de los trabajos sobre la conduccin en estado de embriaguez,
aunque haya tenido una influencia especial. En un plano ms general, afirma
que la ciencia opera mediante esta clase de reducciones. El saber genera
li zare se crea mediante la vinculacin de objetos especficos con categoras
universales. En esta empresa (la ciencia) estn implcitas y son inherentes
a ella la definicin, descripcin e interpretacin de los datos a travs de
comunicaciones orales o escritas en la medida en que las conclusiones y
generalizaciones suponen significados para la accin (pg. 31). Y m s
adelante: para que tengan relevancia o sean significativos, no slo hay
que seleccionar los datos, sino tipificarlos e interpretarlos tambin {bldl
Aunque no todos los estudios de evaluacin utilizan unas imgenes tan
vividas, en la evaluacin surgen problemas similares. Las representaciones,
la estructura dramtica y la forma de exponer una evaluacin constituyen
cuestiones fundamentales para la importancia de la misma. Estos e l e m e n t o s ,
a menudo considerados como pura cosmtica, pueden influir en la f o r m a
de pensar y actuar de las personas. Cmo operan estos elementos y cul
es su relacin con el contenido el valor de ver dadde una evaluacin?
$ 6dieiOW&SMratfc. $
96 Eval uaci n, tica y p0tje
Los eval uadores uti lizan esos el ement os, aunque no si empre de manerM
consci ent e y en la mi sma medi da. Como seal a Gusf i el d, lo que se cuesJ
tiona, no obstante, es la necesi dad de la i nterpretaci n y la nt i ma conexi n!
entre esa i nterpretaci n y su f orma de present aci n, su el ement o art st i co!
(pg. 32).
Del mismo modo, en su anlisis del papel de las imgenes para definirl
los problemas sociales en la poltica social, Sc h n (1979) afirmaba que e| |
planteamiento de problemas sociales est mediado por lo que cuentan las I
personas sobre ciertas situaciones problemticas. El encuadre de los pro-
blemas sociales depende de las metforas subyacentes a los relatos. La I
forma de encuadrar los problemas es crtica respecto a las soluciones que I
se susciten. Por ejemplo, en todas partes se oye que los servicios sociales
son fragmentarios y la solucin implcita es que hace falta coordinarlos.
Pero los servicios que aparecen como fragmentarios pueden considerarse
tambin autnomos. La metfora subyacente configura y orienta la solucin
de los problemas.
Sc h n sostiene que nuestro pensamiento sobre la poltica social est
orientado por imgenes omnipresentes y tcitas que denomina metforas
generativas. stas se transfieren de un marco de referencia a otra situacin.
Por regla general, se inducen cuando nos sumergimos en la experiencia del
fenmeno. Estas imgenes orientadoras son necesarias para nuestro pen
samiento.
Por ejemplo, hay dos perspectivas muy distintas sobre la renovacin
urbana. Una considera que las barriadas baratas fueron en otras pocas
comunidades saludables que se han estropeado. Un planificador social que
tenga esa imagen pensar que la eliminacin de la ruina urbana llevar
consigo el rediseo y la reconstruccin completos. Otra visin muy distinta
de las barriadas baratas las representa como comunidades naturales, viables
y de renta baja que ofrecen a sus residentes importantes beneficio^ sociales.
Esta segunda perspectiva supone recomendaciones totalmente distintas
para la mejora de esas comunidades.
En la planificacin social de los aos cincuenta predominaba ante todo la
imagen de la barriada barata como ruina. En los aos sesenta, surge la de
la barriada barata en cuanto comunidad natural como metfora opuesta a la
primera, compitiendo con ella para ganar la atencin del pblico y de los
expertos. Segn Sc h n , a partir de una realidad que es ambigua e indeter
minada, cada imagen selecciona caractersticas que constituyen los temas
en los que se basan dichas imgenes. En la primera perspectiva, adqui eren
importancia expresiones como ruina, "salud, renovacin, ciclo de de
cadencia y plan integral. En la segunda, las ideas clave sern: hogar,
modelos de interaccin, redes informales y desarticulacin.
Cada imagen presenta una visin de la realidad social, sel ecci oni ando,
nombrando y relacionando elementos pertenecientes al marco escogido.
Segn Sc h n , los procesos clave son la denominacin y el enmarca-
miento. Mediante la seleccin de ciertos elementos y la coherente organi
zacin de los mismos, esos procesos explican lo inconveniente de una
d*ctonea Morata, S. L
tuacin determinada y sugieren una transformacin. Los datos se convierten
recomendaciones.
La denominacin y el enmarcamiento se llevan a cabo mediante la
metfora generativa. Los investigadores ven la barriada como ruina o como
c o m u n i d a d natural. Al ver A como B, la evaluacin implcita en 8 se traslada
a a La primera metfora es la de la enfermedad y la curacin. La segunda
es la de la comunidad natural (frente a la comunidad artificial). Las evalua
ciones transferidas se basan en imgenes profundamente asentadas en
nuestra cultura. Cuando vemos una situacin compleja como de salud/enfer
m e d a d o de naturaleza/ artificio, sabemos en qu direccin movemos.
La consideracin de A como B facilita mucho nuestra capacidad de
diagnosticar y prescribir. Por otra parte, puede llevarnos a pasar por alto
otras caractersticas importantes de la situacin que la metfora no capta
Como lasinetforas generativas suelen ser tcitas, podemos soslayar ca
ractersticas importantes. Sch n dice que tenemos que ser ms conscientes
de nuestras metforas generativas y que la mejor forma de conseguirlo
consiste en analizar lo que decimos del contexto del problema.
La metfora profunda explica por qu incluimos en lo que decimos
unos elementos y otros no, por qu se dan como ciertas algunas premisas
a pesar de las pruebas en su contra, y por qu parecen obvias algunas
recomendaciones. La imagen del conductor bebido o la metfora de la
barriada como enferma configura el estudio y orienta nuestras propias ac
ciones.
La trama
O sea, lo primero que hacemos con las imgenes es construir una trama, del
mismo modo que lo primero que hacemos con las palabras es decir algo; hacer
un enunciado... Las imgenes y las tramas constituyen los activos de la mente.
Susanne K. Langer, Philosophy in a New Key, 1942, pg. 128.
Pensemos en una evaluacin. En primer lugar, hay un conjunto de
hechos, la realidad tal como es, que siempre ser algo indeterminado. El
evaluador se enfrenta con un universo ambiguo. Gracias a diversas lentes
sociales y psicolgicas, el evaluador representa esos hechos en un informe.
El informe en s es un producto artificial. Como tal, ste tiene coherencia y
forma, cierta clase de estructura esttica, aun en el caso de que la estructu
racin no sea del todo consciente.
Los Rectores interpretan el informe y esa interpretacin variar depen
diendo de cada lector, de sus circunstancias y orgenes. Si a los lectores
les parece creble el informe, es ms probable que asuman la correspondiente
postura de valor frente al objeto evaluado. Es ms, los lectores pueden ser
impulsados a la accin, dependiendo de su disposicin y otras circunstancias.
El evaluador puede o no recomendar la accin.
Edi ci ones Moratft. S. L
Como artefacto artificial, el informe de evaluacin tendr cualidadJ
estticas, formas externas que susciten el inters, pero en un informe cj J
evaluacin hay aspectos ms fundamentales que stos. Toda evaluacin
debe tener un grado mnimo de coherencia. La coherencia mnima consiste!
en que la evaluacin narre una trama. Debe existir una sucesin, explcita o|
tcita, de hechos (o, con mayor precisin, una interpretacin de loa hechos)!
para que el lector utilce la evaluacin como gua para valorar. Tambin!
pueden aparecer recomendaciones del evaluador, pero no son necesarias.!
La trama est presente.
En este sentido, las imgenes no pueden ser evaluaciones de por s. I
Como indica Sq n t a g (1977) en su anlisis de la f ot ograf a:
El deseo no tiene historia: al menos, en cada caso se experimenta todo l en
primer plano, inmediato. Lo suscitan arquetipos y, en este sentido, es abstracto.
Pero los sentimientos morales estn inmersos en la historia, cuyas personas
son concretas, cuyas situaciones siempre son especficas. As, las reglas para
utilizar la fotografia con el fin de despertar el deseo y la conciencia son casi las
opuestas. Las imgenes que movilizan la conciencia siempre estn vinculadas a
una situacin histrica concreta. Cuanto ms generales sean, ms difcil resultar
que sean eficaces.
(Pgs. 16-17.)
Las fotografas pueden utilizarse para reforzar valoraciones e, incluso,
presentarse en secuencia para contar una trama (Templ i n , 1978). La trama
en s es, no obstante, necesaria para interpretar los hechos. stos deben
presentarse en un contexto histrico especfico. La trama, ms an que la
imagen y la metfora, constituye la estructura bsica subyacente a una
evaluacin.
Existen al menos dos formas convencionales de contar la trama. Una
consiste en presentar al evaluador como observador neutral, cientfico. En
este caso, lo que cuenta es el desarrollo de la trama. Sonara ms o menos
as: Soy un observador neutral, independiente, que ha efectuado determi
nadas medidas con arreglo a los cnones de la ciencia y ha descubierto
que ciertas cosas son asi. El programa se ha desarrollado tal como lo he
deserto, con los siguientes resultados.... Al manifestarse de este modo, el
evaluador especifica meticulosamente sus procedimientos metodolgicos
para realzar su credibilidad. Se espera que los lectores crean los resulta
do por la objetividad de la metodologa y por su experiencia previa y su
conviccin respecto de tal metodologa. Por regla general, el relato concluye
diciendo que se implement el programa y los resultados fueron stos y
aquellos Con frecuencia, escasean las descripciones de los hechos con-
Cf 11 El estudio sobre los conductores bebidos es un ejemplo de esta
Hnea de desarrollo argumenta!. La presentacin habitual consiste en describir
1 proyecto o tos objetivos de) mismo, el tratamiento, los resultados o ef ect os
y &s conclusiones
t i itgund* forma importante de llevar a cabo la trama consiste en que
M____________________ __________ ; ________________Eval uaci n, tica y P0() I
%MtWW & i
(a y w r t l b a d
99
I eval uador permanezca prximo al desarrollo del programa, como refleja
J v0Z de narrador, y cuente la trama describiendo los hechos con detalle.
Para ello, el evaluador puede utilizar una expresin emocionalmente cargada
una present aci n narrativa. El relato se parecer a un informe periodstico.
f \ pri mer enfoque de desarrollo de la trama se presta a la metodologa
cuant i t at i va y el segundo a la cualitativa, pero en ambos casos hay una
ordenaci n de los hechos que configuran un relato, aunque muchos de
el los se den por supuestos y no se hagan explcitos. Cuanto ms formal sea
la present aci n, ms cosas se darn por supuestas.
Hemos de distinguir la trama, que es una ordenacin interpretativa de
los hechos, bsica en todas las evaluaciones y requisito previo para la
valoracin que haga el lector, de la forma dramtica Dicha forma puede
variar, presentndose la misma trama de distintas maneras. Una trama
evaluativa puede resultar ms irrebatible, interesante y agradable por la for
ma dramtica y otros elementos estticos. Sin embargo, aunque la trama
sea ms bsica, la esttica con la que se presenta no es mera cosmtica
El buen arte y la buena ciencia unidas conducen al lector a experimentar
un hecho de modo parecido a como lo sinti el creador (Bronowsky, 1956).
Como mostraba Gu s f i el d en su anlisis de los estudios sobre la conduccin
en estado de embriaguez, la esttica que los envuelva puede producir un
efecto importante sobre las recomendaciones y significado de un estudio
poltico, incluso uno cientfico.
Tampoco puede sorprender a nadie que la trama de una evaluacin
sea ms bsica que su forma esttica, dado que el desarrollo de la trama
vincula especficamente unos hechos con otros, como en el caso de las
relaciones entre causa y efecto. Los hechos de la trama pueden presentarse
de distintas formas dramticas, pero tanto ella como los elementos estticos
contribuyen a la coherencia general. En igualdad de condiciones, una mayor
coherencia conduce a mayor credibilidad para los destinatarios. Las cosas
se ajustan mejor. Sin embargo, si la coherencia del informe no es realista,
la credibilidad se pierde.
Podemos pensar en la diferencia entre la trama y la presentacin dra
mtica como en la existente entre contenido y forma o, con trminos de
Pol anyi (Polanyi y Pr o s c h , 1975), la diferencia entre la trama y la "es
tructura. sta puede consistir en imgenes, medidas u otras formas "artifi
ciales de presentacin. Esto no significa que la estructura sea pura
cosmtica. El significado de una obra es la integracin de su apariencia y
su contenido. El significado de un poema no consiste slo en el contenido
del mismo, escrito en prosa.
La trama difiere de una cronologa de hechos porque implica inferencias
e interpretaciones de los mismos. Los acontecimientos se integran entre s
y las partes se ordenan en el conjunto. La trama misma puede estar integrada
con mayor o menor rigidez, proporcionando la necesaria coherencia para te
evaluacin en su conjunto.
A estos efectos, un concepto clave es el de coherencia". sta cons*sle
en la* conexin lgica, congruencia o consistencia al razonar o netactonar,
100
Evaluacin, t ica y Pode
de manera que una parte del discurso no destruya ni contradiga el resto-
conexin armoniosa entre las distintas partes de manera que el conjunto
sea lgico, como en la coherencia de un razonamiento o informe (Oxford
English Dictionary).
De acuerdo con Po l a nyi (Po l a ny i y Prosch, 1975), quisiera ampliar el
mbito de aplicacin de la "coherencia para que incluya tambin las i m^
genes, las estructuras dramticas y otros elementos estticos. Por ejemplo
podemos considerar la consistencia lgica del concepto de conductor be
bido, tal como se utiliza en la argumentacin, pero tambin, podemos
contemplar la imagen de dicho sujeto cuando se emplea de manera armo
niosa con otros elementos.
En s, la imagen sirve para condensar significados entremezclados, tanto
emocionales como cognitivos, con su propia coherencia compacta. Tiene
una relacin con lo cotidiano, con el mundo real de la que carece el con
cepto. Podemos definir el concepto de manera explcita, pero la imagen
slo a travs de la participacin tcita. Los significados multiestratificados
implcitos en las imgenes y dems elementos estticos hacen posible la
comunicacin de evaluaciones complejas, elaboradas y muy perfeccionadas
de los objetos sometidos a estudio. Los elementos estticos transmiten
intensidad, unidad y complejidad (Beardsley, 1958).
Los elementos estticos, como las imgenes y las estructuris gramticas,
se distinguen de las entidades lgicas porque aqullos se captan de forma
inmediata, sin recurrir a razonamientos formales. En este sentido, son como
las percepciones. Los elementos estticos pertenecen slo a la apariencia
y se captan mediante la influencia tcita, por la integracin inconsciente de
sus partes (Po l a n y i y Pr o s c h , 1975). As, si leemos el estudio sobre el
conductor bebido, asimilamos de algn modo inconsciente los significados
tcitos transmitidos por las imgenes y la estructura dramtica. En el apren
dizaje hay un bagaje considerable de percepcin subliminal, aunque, si
se indican, sea fcil detectar los elementos estticos.
Es ms, el lector participa activamente en ese aprendizaje y^ llega a
adquirir una postura activa en la integracin de las partes en significados
tcitos y, con frecuencia, se involucra profundamente en el proceso, aunque
la profundidad de su participacin vare entre unos y otros lectores. Ms
adelante, las inferencias tcitas y las explcitas se integrarn en una imagen
global individual, la estructura subjetiva de conocimiento. Se trata de la
imagen del mundo del sujeto que, en ltimo trmino, influye en l$ propia
conducta (Bo u l d i n g , 1956).
Y sostengo, de un modo explcito y no tcito, que cuanto mayor sea la
coherencia, ms creble y digno de confianza ser el informe de eval uaci n.
Un informe incoherente no es en absoluto creble y, en igualdad de condi
ciones, cuanto ms coherente sea (hasta cierto punto), ms creble, parecer.
Por regla general, tambin el evaluador procura ser persuasivo (para
llevar a sus destinatarios a determinado punto de vista o, incluso, lnea de
accin concreta, mediante la razn y la comprensin). La mayor parte del
peso de la persuasin recae en la argumentacin explcita, pero tambin en
0 Bdknort Mor ala, 8. L
101
te caso, l a coherenci a ref uerza la persuasi vi dad del argument o. Con
eS or f recuenci a, el eval uador aspi rar t ambi n a susci tar el compromiso,
ara vi ncul ar al l ect or con una post ura det ermi nada u obl igarl e a aceptarla,
patas eval uaci ones son l as ms poderosas, pero tienen que pagar el pre-
o de un conj unt o reduci do de desti natari os a cambi o del compromi so
ms prof undo de unos pocos. Desde la credi bi l idad hasta la persuasi vi dad
I e| compromi so, avanzamos cada vez ms haci a la accin. En la mayora
de las eval uaci ones, l a coherenci a desempea el papel ms humi lde de
realzar la credi bi l i dad.
La forma
La ciencia no es sino el intento de descubrir la unidad en la enorme diversidad
de la naturaleza o, con mayor exactitud, en la variedad de nuestra experiencia.
La poesa, la pintura, las artes constituyen la misma bsqueda... de la unidad en
la vari edad. Cada una a su modo busca la semejanza bajo la diversidad de la
experi enci a humana.
J. Br o no w sk i : Science and Human Vales, 1952, pg. 16.
Si ef contenido difiere de la estructura dramtica de su presentacin,
qu comprende la forma esttica? En un artculo clsico sobre "The Problem
of Esthetic F o r m Pa r k e r (1960), siguiendo a Ari st t el es, deca que la
forma esttica puede analizarse en relacin con seis principios: unidad
orgnica, tema, variacin temtica, equilibrio, jerarqua y evolucin. El principio
fundamental es el de unidad orgnica y los dems son subsidiarios de ste
de distintas maneras. Dicha unidad realza la coherencia plena.
El principio de unidad exige que la obra slo contenga elementos nece
sarios. En cierto sentido, la forma esttica est en contradiccin con la vida,
que contiene muchos elementos innecesarios, desde el punto de vista est
tico. Los otros cinco principios son manifestaciones del pricipio de unidad.
En un jhforme de evaluacin debemos disponer de un tema y, para
conseguir el efecto completo, ste no slo debe persistir, sino reaparacer
en distintas variaciones. En los estudios de evaluacin, se logra con fre
cuencia este efecto presentando datos que estructuran un tema comn.
Esta estructuracin y abreviacin de datos refuerzan la veracidad; movilizan
al lector.
El equilibrio supone una igualdad de elementos opuestos que se ba
lancean en la forma. Proporciona la tensin dramtica. La jerarqua cons
tituye un modo de organizar las distintas partes. Por ltimo, Park er aade
el principio de evolucin, indicando cmo puede crearse el sentido pleno
mediante una acumulacin en la que las partes primitivas determinan \o
Que suceda despus. La unidad evolutiva puede lograrse mediante un dmax
?&I problema de la forma esttica. (N. del T.)
@Ecbctooe Moris. S l
al final o asumiendo el mismo final mayor importancia que las dems par+
En la evaluacin, el informe puede evolucionar hacia conclusiones surgjH
de la presentacin de los datos.
Quiz sea ms fcil ver estos principios estticos en una narrac^
dramtica. The Fina/ Days, de Wo o d wa r d y Bernst ei n (1976), no es un^
evaluacin, pero constituye un tratamiento interesante de materiales prea
suntamente reales. Se narran paso a paso los das finales del rgimen
Nixon. Esta diaria cuenta atrs hasta el inevitable desenlace de su dimisin
contribuye a la intensidad dramtica de la obra. Woodward y Ber nst ei n no
se limitan a contar uno detrs de otro los relatos de di st i nt as personas
sobre los hechos, tal como fueron recogiendo la informacin, sino que corr,
binan diversas percepciones para constituir una representacin general
compleja, pasando de los pensamientos y acciones de una persona a los
de otra. A partir de esta interreiacin, surgen ciertos temas.
Distintas fuerzas convergen sobre un Nixon desafiante y recalcitrante.
De diversas maneras, uno a uno, sus defensores ms destacados van
convencindose de que es culpable y debe dimitir. Estas pequeas pince-
ladas personales en el marco de un drama ms amplio se repiten en
variaciones temticas que contribuyen al tema global del continuo desgaste
de la defensa de Nixon. l mismo duda entre dimitir y continuar en el poder.
Este equilibrio va perdindose da a da, hora a hora. A partir del tema del
creciente aislamiento de Nixon, surge otro trascendente: su desintegracin
personal. Estos temas se entretejen con maestra hasta desembocar en el
desenlace de su desgracia, su dimisin y su colapso como persona.
Principios estticos semejantes se aplican al material cuantitativo, aunque
a veces resulta ms difcil discernir sus efectos. La simplicidad, economa y
elegancia de un adecuado diseo experimental o anlisis multivariado son
manifestaciones del principio de unidad. De hecho, algunos cientficos-
filsofos, como Pol anyi , creen que, en los dominios ms elevados del pen
samiento, el matemtico se gua ante todo por su intuicin esttica.
Consideremos, por ejemplo, el atractivo esttico de un anlisis rnultivariado
en comparacin con una larga cadena de anlisis bivariados de datos. Esa
compresin suscita un atractivo que supera con mucho el mayor valor de
verdad que pueda encerrar un anlisis multivariado. La bsqueda de diseos
ms elegantes se basa, en parte al menos, en tales satisfacciones. O consi
deremos el atractivo que encierra una escala de Guttman. La parquedad de
ese tipo de escalas y de las teoras jerrquicas basadas en ese ordenamiento
apela a la sensibilidad esttica. Siempre buscamos problemas y datos que
se adapten a esos diseos.
El atractivo esttico de los estudios cuantitativos se refleja en expresiones
como coherencia, 'elegancia, economa y potencia". En cierto sentido,
las soluciones elegantes son compactas, sencillas, rpidas, proporci onan
una sensacin de control, utilidad y dominio semejantes a la bsqueda y
hallazgo de la 'palabra exacta para describir algo. Las soluciones elegantes
evitan pasos y procedimientos innecesarios. Son irresistibles.
No slo encontramos esta coherencia en los estudios cuantitativos. Ni
0 dwon* Morete, & f
C^ r g n c i a y o i b i l i d a d
l0s el ement os estructurados tienen por qu ser cifras o smbol os. Una de
las razones primordiales del carcter persuasivo de la evaluacin de las
grabaciones educativas de AERA efectuadas por Gl ass (1972) consiste en
la forma en que los argumentos se conjugan en una representacin general
(Apndice A). Los elementos son las argumentaciones. Gl ass consigue
integrar las partes lgicas de la evaluacin en una estructura retrica global
coherente. En este caso, la elegancia significa que pocas partes son pres
cindibles respecto a la lgica global de la evaluacin. Hay una estructura
orientadora clara, aunque compleja, en la que las partes se ajustan con
exacti tud y pulcritud en el conjunto.
Adems de la elegancia y la coherencia, hemos de afirmar que el trabajo
de Gl a s s resulta creble por su voz, la actitud del narrador en relacin
con su objeto de estudio. Gl a s s proyecta una persona en calidad de
narrador convencido por los datos, con independencia de cmo se manejen.
La i magen del narrador es la de un hombre racional dispuesto a dejarse
persuadi r por las pruebas. La identificacin de esta caracterstica como un
ef ect o del estilo no cuestiona su autenticidad.
Outward Bound (Salida)*
Evocar en uno mismo un sentimiento ya experimentado y evocado despus
en uno mi smo por medio de movi mi entos, lneas, colores, sonidos o formas
expresadas en palabras, para transmitir ese sentimiento de manera que otros
experi ment en el mismo sent imi ento: sta es la actividad artstica
To l s t o y : La comunicacin de la emocin".
La evaluacin que Smi t h , Ga b r i el , Sc h o t t y Pad i a (1976) hicieron de
Outward Bound resulta poco habitual por utilizar tanto mtodos cuantitativos
como cualitativos. Las dos partes se trataron por separado y ambas se
incluyeron en el informe final. Las lneas que abren el estudio sitan el
problema y la tensin dramtica:
Qu le ocurre al joven que opt a por afrontar las dificultades fsicas relacio
nadas con las rocas, peascos, campos nevados y torrentes de las Montaas
Rocosas y las dificultades i nterpersonal es de un pequeo grupo aislado en un
medio extrao? Los defensores del programa Outward Bound, al umnos y prole-
sores, sostienen que los efectos psi col gi cos son exclusivos en cada participante
sin qu$ puedan preverse. En cambi o, otros muchos afirman que el programa
* ComQ pbservar el lector, el programa Outward Bound consista en cursaos de verano
cuyo objetivo es el fortalecimiento de la personalidad de quienes participan en l por medio de
un ejercici o f sico inhabitual, la permanenci a en un ambiente imponente y hostil en relacin
con el medio ordi nario, y la vida en un grupo reducido de personas aisladas en el medio t aco
descrito. La denomi naci n del programa, cuya traduccin al castellano es "saWa es lo
bastante al usi va al respecto. (N. del T.)
causa cambios profundos y previsibles en los sentimientos de los part i ci pant es I
respecto a s mismos y a los dems.
(Pg. 401.) I
La tensin introducida en estas lneas proporciona ambiente dramtico I
significado e inters. La cuestin bsica se trata de dos maneras: mediante I
la medicin cuantitativa y por observacin cualitativa participante. Ambas I
reflejan la historia global de la evaluacin.
En la parte cuantitativa, se escogieron cuatro variables como criterios de I
resutados: autoestima, autoconciencia, autoafirmacin y "aceptacin I
por los dems. Se elaboraron instrumentos psicomtricos para medir las I
cuatro variables. La "voz del apartado cuantitativo era la del narrador neu- I
tral, cientfico. La oportunidad para la elegancia provena del diseo del I
estudio.
Trabajando con grupos de participantes que desarrollaban su entrena- I
miento en diferentes ocasiones durante el verano, los evaluadores asignaban I
al azar estudiantes a grupos, administrando los cuestionarios slo una vez I
a cada grupo en distintos momentos. As, pudieron utilizar un diseo complejo I
de series temporales en el que cada grupo serva de control de los dems. I
Se recogieron y analizaron 44 medias en cada uno de los cursos de junio, I
julio y agosto.
La unidad se consegua mediante la representacin grfica precisa de I
las 44 medias, de manera que pudiesen compararse entre s, tanto d& manera I
visual como matemtica. Una tabla de cuatro por tres entradas resuma de I
forma sucinta ia considerable masa de datos. El nico defecto esttico consista I
en que las cuatro variables de resultados no estaban relacionadas de ninguna I
manera entre s, rompiendo la unidad del anlisis. La observacin participante I
se ocup tambin de la misma cuestin bsica. La tensin dramtica qued I
establecida a travs de un relato de primera mano. El estilo era personal y I
participativo, en vez de neutral y desinteresado.
El viaje de seis horas de Denver a las montaas de San Juan permi t i que |
se incubaran nuestros temores y esperanzas. Mis propios t emores se cent r aban
en la dif erencia entre m mismo y mis compaeros de Outward Bound. Cal cul
que doblaba la edad de los dems y me pregunt aba si su f ortaleza y aguant e
superaran los mos. La perspectiva de fallar f sicamente y constituir un l astre
social era desalentadora. Como los nios de mi alrededor, saba algo de lo que
se supona era y me procuraba Outward Bound para m. Era consciente de sus
orgenes militares y de los rumoreados peligros f sicos del programa. Era t a m b i n
la indicacin de que experimentaramos la entrada mstica en la edad adul t a.
Aunque ya haca mucho tiempo que yo haba entrado en dicha edad, ci ert os
aspectos de mi mismo suscitaban dudas respecto a los prximos veintitrs das
mi temor a las alturas, mi inexperiencia en si tuaci ones competi ti vas, mi i nt ransi
genci a cuando me obligaban. Las dudas eran cuesti ones ment al es repet i das:
me dej arn atrs? Me entrar pni co a mitad del ascenso por una roca
escarpada? Fracasar en el papel de adulto, me har cargo de demasiada
104 Eval uaci n, ti ca y I
(dktenMMorata. 8. L
y f ^ i M a d
105
r e s p o n s a b i l i d a d y ser rechazado? Abandonar? El silencio que reinaba en el
autobs me llev a pensar que los dems tambin iban meditando sobre las
experiencias que se avecinaban. Cada uno de nosotros tena sus propias visiones
y pesadillas ntimas.
(Pgs. 411-412)
En l estudio, el drama personal y la expresin de sentimientos acre
centaban el inters. Los encabezamientos de las distintas secciones indica
ban la progresin dramtica: Esperanzas, Competiciones, Expediciones,
A solas, Desafo soci al , Expedicin final, Maratn. El clmax de la
narracin estaba constituido por el ascenso a una montaa peligrosa y una
carrera agotadora. La redaccin era a la vez penetrante y vivida.
Pens que Outward Bound estaba especialmente diseado para personas
como Chris. Nunca haba trabajado, nunca haba tenido que luchar, en realidad,
slo haba vivido esta experiencia de forma indirecta a travs de sus padres y
de los medios de comunicacin. El curso la obligaba a realizar una serie de
experiencias compendiadas, provocando la aceleracin de su maduracin. Casi
poda ver el aumento de su vigor y de su confianza a medida que progresaba el
curso. Ella luchaba con fuerza, pero nunca dejaba de quejarse. Era incapaz de
abandonar su juego de proclamar sus debilidades y ocultar sus capacidades. La
estratagema debe haberle dado resultado, acaso no le vali un paseo gratuito
por el Ro Grande a mis espaldas?
(Pg. 417.)
Se abandona la voz neutral para dar paso a un intenso relato de los
hechos en primera persona Se dejaba constancia de resultados como: la
autoafirmacin, la autoestima y la autoconciencia, en manifestaciones per
sonales. Esta versin de los hechos proporcionaba otro nivel de comprensin
y de significado, diferente de los hallazgos relativos a que el cursillo Outward
Bound tena una influencia positiva en la autoafirmacin y autoestima"
de los participantes, sin afectar de forma mensurable a la aceptacin de
los dems o a la autoconciencia de los participantes, que fueron los
resultados de la medida de las cuatro variables en la parte cuantitativa de la
evaluacin. No obstante, ambas secciones mostraban una estructura esttica
Juntos, los dos componentes proporcionaban una respuesta muy cualificada
pero tambin creble y persuasiva, a la pregunta planteada en el primer
prrafo del estudio.
Los dos anlisis juntos slo cuentan una misma historia de lo ocurrido, y
esa misma historia podra haberse presentado en distintas formas dramticas.
por ejemplo, la estructura general podra haber consistido en una narracin
dramtica completa, con los datos cuantitativos repartidos a lo largo de la
misma para apoyarla. El informe podra haber consistido primordialmente
tambin en un anlisis cuantitativo con explicaciones de los efectos que se
ncluyeran en la seccin de discusin. Tambin podra haberse redactado
104
Eval uaci n, t i ca y poder
causa cambios profundos y previsibles en los sentimientos de los participantes
respecto a s mismos y a los dems.
(Pg. 401.)
La tensin introducida en estas lneas proporciona ambiente dramtico
significado e inters. La cuestin bsica se trata de dos maneras: mediante
la medicin cuantitativa y por observacin cualitativa participante. Ambas
refiejan la historia global de ia evaluacin.
En ia parte cuantitativa, se escogieron cuatro variables como criterios de
resultados: autoestima, autoconciencia, autoafirmacin y aceptacin
por los dems. Se elaboraron instrumentos psicomtricos para medir las
cuatro variables. La voz del apartado cuantitativo era la del narrador neu
tral, cientfico. La oportunidad para la elegancia provena del diseo del
estudio.
Trabajando con grupos de participantes que desarrollaban su entrena
miento en diferentes ocasiones durante el verano, los evaluadores asignaban
al azar estudiantes a grupos, administrando los cuestionarios slo una vez
a cada grupo en distintos momentos. As, pudieron utilizar un diseo complejo
de series temporales en el que cada grupo serva de control de los dems.
Se recogieron y analizaron 44 medias en cada uno de los cursos de junio,
julio y agosto.
La unidad se consegua mediante la representacin grfica precisa de
las 44 medias, de manera que pudiesen compararse entre s, tanto de smanera
visual como matemtica. Una tabla de cuatro por tres entradas resuma de
forma sucinta la considerable masa de datos. El nico defecto esttico consista
en que las cuatro variables de resultados no estaban relacionadas de ninguna
manera entre s, rompiendo la unidad del anlisis. La observacin participante
se ocup tambin de la misma cuestin bsica. La tensin dramtica qued
establecida a travs de un relato de primera mano. El estilo era personal y
participativo, en vez de neutral y desinteresado.
El viaje de seis horas de Denver a las montaas de San Juan permiti que
se incubaran nuestros temores y esperanzas. Mis propios temores se centraban
en la diferencia entre m mismo y mis compaeros de Outward Sot//7d. Cal cul
que doblaba la edad de los dems y me preguntaba si su fortaleza y aguante
superaran los mos. La perspectiva de fallar fsicamente y constituir un lastre
social era desalentadora. Como los nios de mi alrededor, saba algo de lo que
se supona era y me procuraba Outward Bound para m. Era consciente de sus
orgenes militares y de los rumoreados peligros fsicos del programa. E r a [ | a m b i n
la indicacin de que experimentaramos la entrada mstica en la edad adulta.
Aunque ya haca mucho tiempo que yo haba entrado en dicha edad, qiertos
aspectos de m mismo suscitaban eludas respecto a los prximos veintitrs das:
m temor a las alturas, mi inexperiencia en situaciones competitivas, mi^ntransi'
gencia cuando me obligaban. Las dudas eran cuestiones mentales repetidas:
me dejarn atrs? Me entrar pnico a mitad del ascenso por una roca
escarpada? Fracasar en el papel de adulto, me har cargo de demasiada
Ediciones Mor ata, S. L
r e s p o n s a b i l i d a d y ser rechazado? Abandonar? El silencio que reinaba en el
autobs me llev a pensar que los dems tambin iban meditando sobre las
experi enci as que se avecinaban. Cada uno de nosotros tena sus propias visiones
y pesadil l as ntimas.
(Pgs. 411-412.)
En el estudio, el drama personal y la expresin de sentimientos acre
centaban el inters. Los encabezamientos de las distintas secciones indica
ban la progresin dramtica: Esperanzas, Competiciones, Expediciones,
A solas * "Desaf o social , Expedicin final, Maratn. El clmax de la
narracin estaba constituido por el ascenso a una montaa peligrosa y una
carrera agotadora. La redaccin era a la vez penetrante y vivida
Pens que Outward Bound estaba especialmente diseado para personas
como Chris. Nunca haba trabajado, nunca haba tenido que luchar, en realidad,
slo haba vivido esta experiencia de forma indirecta a travs de sus padres y
de los medios de comunicacin. El curso la obligaba a realizar una serie de
experiencias compendiadas, provocando la aceleracin de su maduracin. Casi
poda ver el aumento de su vigor y de su confianza a medida que progresaba el
curso. Ella luchaba con fuerza, pero nunca dejaba de quejarse. Era incapaz de
abandonar su juego de proclamar sus debilidades y ocultar sus capacidades. La
estratagema debe haberle dado resultado, acaso no le vali un paseo gratuito
por el Ro Grande a mis espaldas?
(Pg. 417.)
Se abandona la voz neutral para dar paso a un intenso relato de los
hechos en primera persona. Se dejaba constancia de resultados como: la
autoafirmacin, la autoestima y la autoconciencia, en manifestaciones per
sonales. Esta versin de los hechos proporcionaba otro nivel de comprensin
y de significado, diferente de los hallazgos relativos a que el cursillo Outward
Bound tena una influencia positiva en la autoafirmacin y autoestima
de los participantes, sin afectar de forma mensurable a la aceptacin de
los dems o a la autoconciencia de los participantes, que fueron los
resultados de la medi da de las cuatro variables en la parte cuantitativa de la
evaluacin. No obstante, ambas secciones mostraban una estructura esttica
Juntos, los dos componentes proporcionaban una respuesta muy cualificada,
pero tambin creble y persuasiva, a la pregunta planteada en el primer
prrafo del estudio.
Los dos anlisis juntos slo cuentan una misma historia de lo ocurrido, y
esa misma historia podra haberse presentado en distintas formas dramticas.
Por ejemplo, la estructura general podra haber consistido en una narracin
dramtica completa, con los datos cuantitativos repartidos a lo largo de la
misma para, apoyarl a. El informe podra haber consistido primordialmente
tambin en un anlisis cuantitativo con explicaciones de los efectos que se
incluyeran en la seccin de discusin. Tambin podra haberse redactado
Ediciones Morata, S. i
Eval uaci n, ti ca y Pode
el informe como un discurso socrtico o como una obra teatral. S mit h v
cois. (1976) optan por otorgar un peso igual a lo cuantitativo y lo cualitativo
Con independencia de la forma, el argumento de la eval uacin sera ei
mismo, aunque difiriera en cuanto a su fuerza esttica. La credibilidad de |a
evaluacin depende, en cierta medida, de la correspondenci a: de la parte
cuantitativa con los principios de la medida; de la parte cualitativa con la
experiencia personal de los destinatarios y de las partes entre s: su cohe
rencia Si estos elementos se ajustan adecuadamente entre s y la evaluacin
adopta una forma esttica, toda ella se considerar muy creble. En este
caso, las partes muestran una coherencia mutua y es fcil que los destina
tarios se convenzan de la eficacia del entrenamiento de Outward Bound. ei
nico fallo est en que la parte cuantitativa y la cualitativa no estn unidas
explcitamente, por lo que la unidad global no resulta tan intensa como
podra haber sido.
Con independencia de que una evaluacin abunde en metf oras o en
coeficientes, estructura dramtica o economa matemtica, toda evaluacin
debe cumplir algo fundamental: contar una trama. sta puede ser explcita,
truncada o implcita, pero siempre tiene que existir para poder extraer con
clusiones. Una evaluacin debe interpretar hechos sucedidos en el transcurso
del tiempo.
Con frecuencia, en muchas evaluaciones cuantitativas la trama se da
por supuesta. Por ejemplo, en la evaluacin cuantitativa de Outward Bound,
se presume la existencia de un programa de algn tipo, una serie de
acontecimientos, y que los instrumentos de la evaluacin miden los resul t ados
de ellos. El objetivo del diseo experimental consista en descubrir si los
presuntos acontecimientos eran las causas de los cambios observados en
las medidas. En tal caso, se derivan en todo ello determinadas inferencias.
La esttica agradable de la evaluacin depende del uso apropiado del
diseo experimental, la estadstica, etctera
En la seccin cualitativa de la evaluacin, los acontecimientos se repre
sentan de forma personal, en vez de darse por supuestos. La esttica est
en las imgenes y en la estructura dramtica. Los datos procedan de la
observacin directa en relacin con categoras cotidianas, en vez d derivarse
de interpretaciones de instrumentos sobre la base de categoras cientficas.
La trama presentada moviliza al lector y, en igualdad de condiciones, cuant o
mejor sea la presentacin esttica de la misma, ms se movilizar al l ect or.
Autenticidad
Una obra de arte no es autntica ni veraz en virtud de su contenido ni por su
pura" forma, sino por el contenido convertido en forma.
Herbert Ma r c u s e: The Aesthetic Dimensin, 1978, pg. 8-
Por qu son tan importantes los elementos estticos como las i mgenes
y ta estructura dramtica? Hay muchas explicaciones, en su mayora extra'
$ &Jkaon* t Morata, S, L
rrh^ ^ ^ d j b i l i d a d
âs l e teoras de la esttica o del arte, pero no existe una explicacin nica
acept ada (Di ck i e, 1971). Es obvio que contemplamos nuestras vidas en
forma d M | l c e n a rios y argumentos, que las imgenes estn configuradas
@n el lenguaje de nuestros pensamientos cotidianos. Las imgenes concretas
constituyen la trama que compone nuestra mente y nuestra memoria
El aHrplogo Tu r n e r (1973) afirmaba que el alecto es en s miao
concreto, piarticular y est asociado con la relacin nica del yo con su
ambi ent e objetivo (pg. 354). Los principios abstractos son inadecuados
p a r a actuar en el mundo real. Esa integracin en el ambiente se consigue
medi ante condensaciones concretas, afectivas, que slo pueden proporcionar
las imgenes, los smbolos, los rituales y los mitos. Estos instrumentos
transmiten fuerza afectiva y motivadora en el marco del significado subjetivo
de la persona.
De igual modo, Sul l i van (1977) indicaba que el papel de la imaginacin
consiste en proporc iona r imgenes y mitos integradores. El individuo acta
siempre en u r f contexto personal e histrico concreto. Las teoras de la
accin y de la c o nducta muy formales y abstractas pasan por alto este nivel
ms profundo d e la motivacin contingente1.
Aunque tal es anlisis son perspicaces, quiz subestimen la fuerza mtica
de la misma ci enc ia. A veces, las personas actan sobre la base de resul
tados que c o nside ran extrados de forma cientfica. La ciencia tiene sus
propios mitos y su propia autoridad mtica. Y la necesidad de una imaginera
concreta no e x p l i c a los efectos de las representaciones estticas ms abs
tractas
Por ej emplo, por q u es tan eficaz la forma dramtica? Segn Bhoudy
(1972), au n q u e la fo r m a dramtica no equivale al significado moral o meta-
fsico, es su p rim er indicio. La verdad literal suele ser confusa e insigni
ficante. D e b e conve rtirs e en ficciones plausibles. Las ilusiones son nece
sarias para el significado humano. Las interpretaciones estticas se convierten
en bsquedas d e significado de los acontecimientos humanos. Es ms, con
frecuencia, las p e rs o n a s juzgan la credibilidad de los hechos que se les co-
1En f st t i ca exi st en teoras similares. El objetivismo de la teora de Piaget tiene sus
anlogos erl posof a moral y en esttica. La teora de la justicia de Rawl s (1971) se predica
sobre la base de una* * situacin original en la que un velo de ignorancia limita el conocimiento
y las motivaciones que deben t ener las personas cuando escogen sus principios de justoa.
Los sujetos que se hall an en las situaciones originales hipotticas desconocen su posoon
social o sus part i cul ares talentos. Adems, son racionales y no altruistas. En otras palabras, e
inters individual se reduce en cuanto motivacin y podemos presumir que las personas
actuarn deSi aneral mparci al . Como en la psicologa de Pi aget, se concibe al actor como
'^personal, abst ract o, carent e de motivaciones contingentes.
En la filosofa de l a estti ca, la postura correspondiente recibe la denominacin de objetvemo
f enomenQlgi c| | ^nsHALK, 1962). Un individuo debe ver un objeto desde la adecuadaJfcid
esttica, que i ncl uye eli; desplazamiento de lo prctico y la prdida de la condenade y&
Asumiendo esa act itud, el i ndi vi duo es capaz de mostrar objetivamente cmo ciertas ca
rsticas de l i obra provocan determi nadas emociones (Bever, 1974). En cor#rss*& con este
perspectiva est $| post ura que sosti ene que el significado de un objeto esta W*
el inters del i ndi vi duo al ver el objeto (Beyer, 1977).
109
Eval uaci n, ti ca y p0(jef
munican obra la base de criterios estticos como la viveza y la unidad
intrnseca, sobre las apariencias.
Por tanto, una experiencia esttica es una experiencia y no mera expe
riencia. El artista selecciona acontecimientos cuyo impacto es acumulativo.
La tensin que surge de la estructura dramtica rige la atencin del pbl i co.
Por ejemplo, en el estudio del conductor ebrio, el investigador mantiene la
atencin entre las dos imgenes del conductor borracho que compi t en
entre si. Desde el punto de vista de Br o u d y , la alternativa de la representacin
imaginativa es la insignificancia. La presentacin esttica trata de captar la
esencia" de los acontecimientos ms que su mera realidad literal.
Tambin Pounvi considera que la cuestin subyacente es la si gni f i
cacin:
Nuestras vidas carecen de forma, sumergidas en un centenar de encrucijadas.
Las obras de arte son representaciones imaginativas, labradas en model os arti
ficiales; y estos modelos, cuando se integran juntamente con una constante
importante, producen un significado de una calidad caracterstica. Estos modelos
artificiales hacen... que las obras de arte queden aisladas del flujo de la experiencia
personal y de la vida pblica. Ellos hacen que las obras de arte sean algo
desligado, en muchos casos transportable y reproducible y, en potencia, inmortal.
(i; (Pg. 101.)
Desde una perspectiva ms radical, Ma r c u s e (1978) haca hincapi en
la importancia del sentimiento personal y de la forma artstica en la ref orma
social. La subjetividad la historia interna y personal del individuo puede
ser una fuerza liberadora si se expresa en una obra de arte. La real i dad
dada", la realidad configurada y verificada por las instituciones soci al es
dominantes, puede reconfigurarse en la obra de arte. sta constituye una
realidad alternativa en oposicin a la realidad dada. Asi, la obra de arte
desafia el monopolio de las instituciones establecidas respecto a la def ini ci n
de la realidad.
En este proceso, la forma esttica convierte el contenido en un conj unt o
nuevo con entidad propia. Esta nueva visin revela las dimensiones de la
realidad reprimidas en una realidad ficticia que capta slo la esencia de
los hechos. Por medio de la concentracin, la exageracin, el inters por lo
esencial y la reordenacion de los hechos, se reestructura la conciencia de
la audiencia. La experiencia se intensifica.
El contenido de la obra es un sentimiento subjetivo y la forma subj et i va
convierte el contenido en un conjunto con entidad propia, que permite que
la obra se enfrente a la realidad dada". Cuando el contenido se convi ert e
adecuadamente en forma, la obra adquiere el carcter de autenticidad. Por
eso Mar c u s e puede decir: La autntica utopia se funda en l a memori a"
(pg. 73),
# fidMena* Metala & L
la belleza del conductor ebrio
La sabi dura, la habi li dad para llegar al ncleo de la cuestin en situaciones
concret as, se adqui ere despaci o; es una disciplina de experiencia, imaginacin
e historia, no de i nteligencia desnuda.
.. M, Novak, Ascent of the Mountain, Flight of the Dove, 1971, pg. 58.
El real i zador de documentales Frederick Wiseman, muy conocido por
sus pel cul as sobre instituciones sociales, como el sistema de bienestar y la
industria de envasado de carnes, describa sus documentales para la tele
visin como ficcin de la realidad, como una estructura ficticia con la
ilusin de l a verdad (OCo n n er , 1976). A partir de la masa informe de
ci ncuenta horas de pelcula, Wiseman da forma al documental en el proceso
de mont aj e, en el que introduce los elementos de ritmo, estilo y estructura
Segn Wi seman, aunque la seleccin se hace arbitrariamente, el realizador
trata de capt ar una parte de la verdad, tal como l la ve.
Sin embargo, la evaluacin no es ficcin o, al menos, no debe serlo. Las
afirmaciones que se hacen respecto a las artes, incluso al arte documental,
no tienen por qu ser las que den forma a la evaluacin. De un informe de
evaluacin esperamos mayor veracidad que de una novela o pelcula Vol
viendo a la pregunta original, cmo podemos justificar una presentacin
artstica de tos datos que afecta a la misma interpretacin del estudio en
cuestin?
Lan g er (1942) deca que hay, al menos, dos tipos de significados: el
literal y elrartstico. El literal se refiere al contenido explcito y se expresa
mediante proposiciones. Pueden ser verdaderas o falsas. El significado
artstico versa sobre la forma tcita y se expresa como sentimiento. Puede
ser adecuado o inadecuado. En consecuencia, la referencia concreta y la
significacin? potica son dos relaciones muy diferentes entre smbolos y
sus significados, pero ambas pueden identificarse.
En la teora de Langer , la ciencia avanza gracias al pensamiento discur
sivo que puede reducirse a conceptos analticos y a "hechos. Langer
indica que el uso discursivo de los smbolos, que alcanza su clmax en la
ciencia, slo es una forma de conocimiento. Hay formas no discursivas de
conocer, como las visuales; formas en las que los elementos del conjunto
se presentan de modo simultneo, como en las pinturas, imgenes, metforas
y mitos. En cuanto tal, el significado artstico no est sometido a tests de
falsificacin similares a los que existen en los enunciados preposicionales.
En cambio, la f orma artstica es ms comprensible en trminos de con
sistencia, coherencia, economa y elegancia. No obstante la utilidad de los
smbolos discursivos, no tenemos ms remedio que acudir a la forma aitis&ca
PaI? exPresar el sentimiento. La teora del arte de Langer es una teona de
imitacin, en la que la forma artstica acta como anlogo de la emocin,
demismo modo que el lenguaje discursivo opera como anlogo lgico <W
mundo fsico (Di ck i e, 1971). Con independencia de la fuerza de la afirmacin
es innegable que el significado artstico puede oponerse, a veces, al literal.
Es posible, sin duda, que los usos inadecuados de la metfora, los hechos
errneamente reconstruidos o los datos omitidos pueden desorientar al
pblico.
Por ejemplo, The Final Days, de Woodward y Bernst ei n, suscitan cues
tiones sobre su veracidad. Se levant una polmica acerca de la veracidad
de los hechos mencionados e, incluso, sobre hasta qu punto podan conocer
los autores determinados sucesos ntimos. Algunos participantes dijeron
que los autores haban dejado de lado detalles discordantes con el fin de in
tensificar el drama sobre la desintegracin de Nixon. La credibilidad de
los autores se resinti porque el libro resultaba demasiado dramtico. Con
independencia de sus mritos en este caso concreto, no es difcil apreciar
cmo puede sacrificarse, a veces, la verdad literal a la forma dramtica. A
pesar de que John Keat s opine lo contrario, en ocasiones, la verdad y la
belleza son incompatibles.
Ms all de la veracidad de la obra se sita la pregunta de si es equitativa
respecto a las personas que representa. En otro lugar he tratado la cuestin
de la justicia relacionndola con el atentado contra el propio derecho a la
autoestima (Ho u s e, 1976). No cabe duda de que la relacin entre verdad y
justicia en The Final Days es discutible. Incluso columnistas liberales han
criticado que los autores fueron demasiado lejos en su representacin de
Nixon como persona en proceso de desintegracin.
Una evaluacin puede verse gravemente amenazada si se comprueba
que uno de sus elementos es falso o de origen discutible. Qu ocurrira,
por ejemplo, en la evaluacin de Outward Bound de Smi t h y cois. (1976),
si descubriramos que quien escribi el excelente relato en primera per
sona no ha experimentado en realidad la situacin? La autenticidad de la
obra se resentira si el redactor hubiera reconstruido las aventuras de un
tercero.
Y qu decir si el viaje a las Montaas Rocosas se basara, en realidad,
en tres viajes efectuados en tres ocasiones por tres personas distintas, y,
por razones estticas, el autor hubiese combinado las tres experiencias
diferentes en una nica narracin dramtica? La ventaja es evidente. De
ese modo, la narracin transmitira el tono del sentimiento de la experien
cia de ia montaa veracidad de sentimiento con una fuerza que no se
ria posible alcanzar con tres relatos distintos. Esto resultara positivo para la
coherencia de la obra, su credibilidad y su capacidad de persuasin.
Por otra parte, esa narracin no sera verdadera, en sentido literal. Est ara
justificado que el autor se tomara tales libertades? Debera darse una co
rrespondencia entre la veracidad literal y la de sentimientos, entre verdad y
belleza. An con la importancia que la belleza tiene en la evaluacin, si se
produce un conflicto entre verdad y belleza, la primera debe predominar. En
ftimo trmino, la evaluacin no es ficcin, aunque las imgenes y la f orma
sean necesarias para transmitir significados complejos. Es posible el equil i bri o
entre verdad y belleza. Podemos omitir ciertos hechos para que el i nf orme
sea ms coherente, ms legible. Pero slo sacrificaramos una pequea
a cambi o de una belleza de gran magnitud. La verdad es relativa-
nte ms valiosa.
' p a r a m, la solucin gira en torno a la idea de la trama eval uaba
den permi t i rse libertades en la estructura dramtica siempre que no se
ndifipue la t rama evaluativa. O sea, unas personas fueron a las montaas
experi ment aron estas cosas, aunque no exactamente como apareceran
^ un pl ant eami ent o literal? Si esas personas no experimentaran cosas
eimiiares o si el lenguaje figurativo sugiriese estados sentimentales diferentes
He los i nduci dos por el viaje a las montaas, la licencia sera excesiva en
una eval uaci n. Los destinatarios de la misma podran verse inducidos a
error de f orma significativa y tendran una representacin falsa del programa
Asimismo, t endran que decirnos que los acontecimientos relatados habran
sido reconst rui dos. Podramos comprobar la veracidad por la consistencia
nterna de l a narracin, por la coherenci a con el anlisis cuantitativo y por
su congruenci a con la propia experi enci a del lector.
Tampoco los estudios cuantitativos se ven libres de este conflicto. Las
tcnicas de medida y anlisis se basan a menudo en criterios estticos y, a
veces, se traducen en aplicaciones inadecuadas. Es ms, las secciones
dedicadas a la metodologa de la mayora de los estudios estn redactadas
desde una perspectiva reconstructiva de lo ocurrido ms que desde la
forma real de? recoger y analizar los datos. Esta reconstruccin debera
tener un lmite fijado en el punto en que la historia de la evaluacin se
modifica de manera significativa. Por ejemplo, los destinatarios pueden su
poner que se hayan adoptado las precauciones habituales en la recogida
de datos cuando, en realidad, no se hubieran tomado. Oesos mismos des
tinatarios pueden creer que se ha efectuado algn tratamiento cuando, de
hecho, su rr&jimentacin sera cuestionable. Como en un estudio cuantitativo
los destinatarios dan por supuestas tantas cosas, no aclaradas por los
autores, la reconstruccin de lo ocurrido constituye un problema permanente.
Volviendo al ejemplo inicial del estudio del conductor bebido, se justifica
que el investigador utilizara imgenes fuertes del conductor ebrio? La res
puesta es un s condicionado, si aceptamos que el propsito de una
evaluacin o estudio poltico consiste en informar la opinin y conducir a la
accin. La condicin se basa en que la imagen del conductor ebrio debe
ser congruente con el resto del estudio, pues no es la nica versin que
hubiera podido escoger el autor, y que la perspectiva adoptada refleje ade
cuadamente el mundo real. Estas versiones son esenciales para la accin
moral. Emplean el vocabulario de la accin que sigue constituyendo una
Aligacin del evaluador (Ho u s e , 1973). No obstante, en los casos concretos
en los que verdad y belleza se oponen, la primera es ms importante que ia
segunda, y la justicia, ms importante que ambas.
CAPTULO VI
Just i ci a
La justicia es la primera virtud de las instituciones sociales,
como la verdad lo es de los sistemas de pensamiento.
John Rawls: A Theory ofJ ustice.
Consideremos una situacin tpica del evaluador en ejercicio. Unobierno
contrata sus servicios para evaluar un programa educativo dirigido a alumnos
desventajados. Cmo acta? Qu busca? Las posibilidades son mayores
de lo que podramos pensar. Puede administrar un test normalizado de
rendimiento y comparar las puntuaciones con las de los alumnos que no
participan en ese programa. Puede elaborar un test especial, basado quiz
en objetivos, para evaluar determinadas reas de deficiencia acadmica.
Puede medir las actitudes, opiniones y autoconceptos de los estudiantes.
Por otra parte, puede: solicitar las opiniones, actitudes y juicios de los
profesores acerca del programa; observar cmo se comportan en clase, en
ios pasillos, en la calle alumnos y profesores; registrar y analizar lo que los
profesores dicen de los alumnos, cmo los clasifican, qu niveles fijan;
preguntar a los padres sobre el programa, los profesores, las escuelas;
examinar la participacin de los padres en las actividades escolares o ios
esfuerzos de las escuelas para hacer participar a los padres.
Puede: pedir las opiniones de los patronos sobre el contenido o los
resultados del programa; comparar el contenido del programa con las des-
NQTA DEL AUTOR; Este captulo constituye una amplia modificacin de las ideas cont e
nidaen Justice mEvaluaron", en: G.V, Gl ass (ed.): Evaluaban Studies Review Annual, Voi .
Beverly Hito; Sage Publications, 1976; y "The Role of Theories of Justice in Eval uat i on
ducaUot Tht&ty, Voi, 29, n. 4,1980 Este ltimo es una respuesta a la critica de St ri ke
OiTfll
# Mcwmi Me*, S t
^ | i a r i a s para las actividades ll ral es o estudiar las oportafedM
^ de l os alumnos, o el salario, o la actuacin despues del programa.
notas de cursos escolares posteriores; pedir a expertos en tas
feas cd| P>ondi ent es 0 a ,deres polticos que j uzguen el programa; hacer
fis propi os juicios; montar un pseudojuicio y hacer que juzguen ei programa
Personas det pblico. Podra hacer muchas otras cosas.
^ Qu hace el evaluador? Influyen en ello un conjunto de factores: su
experiencia, su formacin, lo que quiere el gobierno, k) que pretenden las
personas qujfcfiarticipan en el programa etc. Uno de estos factores * ^fluyentes
esia concepci n de justicia, tcita, por regla general, que tengan el evalua
dor y el pat roci nador de la evaluacin. Lo que crea correcto el evaluador y la
concepci n de justicia que predomina influirn de manera significativa en
la eval uaci n.
Hemos de admitir que la influencia es compleja y nada directa La
evaluacin no es una deduccin de la concepcin de la justicia La conexin
es ms vaga, ms implcita, pero en absoluto menos influyente. La concepcin
dominante de justicia limita los enfoques que se adopten, las actividades
que se consideren justificadas, los argumentos significativos. Las concep
ciones de l justicia operan ms en calidad de marcos de referencia que
como mquinas internamente coherentes para deducir conclusiones. Distn-
buyen el peso de los argumentos de determinadas formas.
Las tcnicas y las prcticas de evaluacin no forman, en s mismas,
parte de una determinada teora de la justicia, como el utilitarismo o la
justicia como equidad de Ra w l s . Por ejemplo, la regresin mltiple no es,
de por s, utilitaria, aunque un evaluador que creyera que son pocos los
indicadores ci| feffrtitativos de xito acabara utilizando una y otra vez la
regresin mltiple. Quien pensara que en una evaluacin deberian estar
representados de forma directa los intereses de diversas clases de pblico
empleara la entrevista mucho ms que un utilitarista. En s, la tcnica no es
utilitarista, sino el razonamiento que lleva a ciertas opciones que ha de
hacer el evaluador.
En parte, el evaluador acta por intuicin y la filosofa puede agudizar
las intuiciones y sensibilidad de aqul. Las intuiciones del evaluador no slo
se refieren a la justicia, sino al propio inters, y la filosofa puede hacer ms
agudas las mejores intuiciones mediante la reflexin sobre las teonas de la
justicia Las personas pueden justificar las evaluaciones en relacin con las
concepciones y las teoras de la justicia, y as lo hacen muy a menudo,
aunque de la forma intuitiva aqu indicada.
El evaluador tiene que escoger. Si piensa que una mayor cantxlad di
Puntuaciones de tests normalizados se traducir en mayor escolanzacii
un trabajo mejor, ms dinero y, quiz, mayor satisfaccin de los esluAartes
-en pocas palabras, que est convencido de las ventajas de tos l
s utilizar como indicadores de xito del programa. Si cree que k
Pacin de los padres es fundamental o que los intereses de lo
estn mejor representados por las opiniones de sus padres, He
Una Val uaci n muy diferente. Quiz todava utilice tests norm
Eval uaci n, tica y ,
forma de representar los intereses del alumno y de quines sean los interese!
registrados se traducir en evaluaciones significativamente distintas. El hechl
de que se representen intereses diversos es una cuestin que at ae a ul
teora democrtica, pero hay muchas concepciones de la j ustici#'coherentes I
con un punto de vista democrtico. Por ejemplo, un eval uador neomarxi st al
quiz busque desigualdades presentes en el medio escolar, mi ent ras q ^ J
un pluralista poltico procurar representar las opiniones y val ores de muy I
diversos grupos.
La evaluacin es una actividad poltica por naturaleza. Presta sus servicios
a los responsables de las decisiones, se traduce en redi st ri buci ones de
recursos y justifica que unos reciban ciertas cosas y otros ot ras. Est nt.
mmente vinculada con la distribucin de los bienes bsicos en la sociedad.
Es algo ms que un enunciado de ideas; se trata de un mecani smo social
para la distribucin, que aspira a adquirir una categora i nsti t uci onal ! La
evaluacin no slo debe ser veraz, sino tambin justa. Sus esquemas al
uso, con independencia de su valor de verdad, reflejan la j ust i ci a en grados
muy diversos. Y la justicia constituye una norma importante con respecto a
la cual juzgar la evaluacin.
En este captulo, presento tres concepciones de justicia la utilitaria, la
intuicionista pluralista y la justicia como equidad de Ra w l s , rel aci onndol as
con los enfoques actuales de la evaluacin. Trat o de seal ar al gunos puntos
fuertes y dbiles de las distintas concepciones y de llegar a est abl ecer un
juicio global sobre la que es preferible. Como seala St r i k (1979), una
teora de la justicia propia del sujeto no determina un ni co enf oque de la
evaluacin. No obstante, creo que la teora del sujeto li mita l os enf oques
posibles de la evaluacin y se utiliza para justificar esos enf oques (Hou-
SE, 1979).
Utilitarismo
Segn Rawl s (1971), la tica utilitarista estipula que una soci edad es
justa cuando sus instituciones estn organizadas de manera que se consiga
el mximo balance neto de satisfaccin, teniendo en cuent a el conj unt o de
los individuos. El principio de utilidad consiste en elevar al mxi mo' ese I
balance de satisfaccin. El utilitarismo requiere la existencia de una medi da 1
o ndice comn de satisfaccin que haga posible efectuar cl cul os cuant i t a
tivos. En educacin, esta medida comn est constituida casi si empre pr
las puntuaciones obtenidas en tests normalizados. Es el ndice sustituto (o
vicario) de satisfaccin.
La estructura bsica de una teora tica viene dada por l a f orma de
establecer la relacin entre dos conceptos bsicos: el bien y el derecho.
las teoras teleolgcas entre las que figura el utilitarismo el bien se
define de modo independiente y antecedente respecto al derecho. Despus
el derecho se convierte en lo que maximiza el bien (ya sea la s a t i s f a c c i n ,
la excelencia, o cualquier otra cosa). La misma racionalidad si gni f i ca eleva
<>Ediciones Mor ata, 8. L
hien al mximo, un concepto con una gran atraccin intuitiva Se considera
a no procurar el mximo bien es, como mnimo, ineficaz, poco inteligente
qncluso irracional. En la tica utilitarista, es inmoral.
6 ' por ejemplo, en el enfoque del anlisis de sistemas aplicado a la educa-
n, se toman las puntuaciones en los tests como ndice del bien. Aquello
aue las maximiza es, a la vez, lo que se debe y lo que conviene hacer. Los
mejores programas educativos son los que, entre las alternativas disponibles,
consi guen los mayores incrementos en las puntuaciones obtenidas en los
tests. El diseo experimental, la instrumentacin y la estadstica son medios
para determinar eficazmente las mejores alternativas, mediante el esta
blecimiento de la relacin lgica y cuantitativa entre lo ajustado a derecho y
el bien. La conveniencia social se convierte en el tema de maximizar las
puntuaciones obtenidas en los tests. La mayor parte de las discusiones
sobre la evaluacin giran en torno a la eficacia de la misma como medio
para determinar la veracidad y magnitud de ese incremento.
El efecto de una teora de este tipo consiste en la divisin de los juicios
morales en dos clases diferentes. El bien, los juicios de valor", constituyen
una clase independiente de juicios que puede especificarse de antemano
sin referencia a lo correcto. En sentido tradicional, el derecho abarca el
problema de la distribucin de los bienes bsicos. En la economa moderna,
muy dependiente del pensamiento utilitarista, se hace gran hincapi en la
produccin de bienes bsicos, prestndose mucha menos atencin al modo
de ditribucin de esos bienes. La atencin se centra en el incremento de la
produccin total y no en la distribucin de los bienes. En la evaluacin
utilitarista, se resalta el incremento de las puntuaciones de los tests y no la
distribucin d esas puntuaciones.
La justicia utilitarista significa llevar al mximo la satisfaccin total. Cada
uno de los deseos o esperanzas de los individuos ha de equipararse con el
de los otros, con independencia de que uno tenga mayores aspiraciones y
otro menores. En cierto sentido, si alguien tiene mayores aspiraciones, tiene
derecho a ms. Es posible suprimir satisfacciones a quienes tienen me
nos en beneficio de alguien que necesita ms. Este tipo de transaccin
es una de las causas del fracaso de la economa moderna en los pases en
vas de desarrollo. El producto nacional bruto de un pas puede aumentar
sustancialmente por medio de nuevas industrias. Sin embargo, el dinero o
la misma industria se ajusta a menudo para satisfacer las aspiraciones
crecientes de la nueva clase media, mientras las correspondientes a las
clases inferiores siguen como estaban. El incremento total de la riqueza no
supone la mejora de la parte que a cada uno le corresponde. La estabilidad
de las satisfacciones de las clases inferiores en beneficio del aumento de
las deparadas a las superiores es coherente con la justicia utilitarista La
satisfaccin global se maximiza.
Tanto en educacin como en otras reas de tipo social, a menudo las
Pretensionesjlgcesidades, objetivos, etc.) se dan por supuestas. Preparamos
valuaciones de necesidades" para determinar stas lo ms objetiva y
cuantitativamente posible. En nuestra teora de la medida, basada en las
^ ~ ~
Eval uaci n, ti ca y po<jer
diferencias individuales, las necesidades son intrnsecas y permanecen a la
espera de ser medidas, clasificadas por orden de prioridad y equi l i bradas
en relacin con otras necesidades. Si las personas de clase social el evada
albergan muy grandes aspiraciones respecto a sus hijos, todas ellas ent rarn
en el anlisis de necesidades y tendrn que ser satisfechas. Su cumpl i mi ent o
quedar reflejado en la medida comn del rendimiento y en todos los
bienes y valores que en la sociedad dependen de esas puntuaciones. La
distribucin entre las personas no es tan importante como la suma total. El
lema es elevado al mximo en todas partes.
Como slo se tiene en cuenta la puntuacin neta final, la disminucin
correspondiente a una persona se compensa con el incremento de otra.
Los estudiantes de clase social superior tienen que incrementar al mximo
sus puntuaciones de rendimiento y elevar su posicin social, aunque sea a
costa de los alumnos de clase inferior. Todos tienen libertad para aumentar
su propio bien y, como lo justo consiste en elevar al mximo el bien, las
acciones de la clase social superior son al tiempo buenas y justas.
Como todas las aspiraciones se valoran en cuanto a su apariencia
inmediata y las esperanzas y deseos son mucho mayores en las clases
sociales y econmicas superiores, el utilitarismo, en cuanto sistema de
justicia, lleva consigo la tendencia a favor de la clase alta. El deseo de un
Rolls Royce que tenga una persona es tan digno de satisfaccin como el
que otra experimente respecto de un Ford. Las mayores exigencias de los
estudiantes de clase alta o media se satisfacen a costa de las Clases
inferiores.
En el utilitarismo, es esencial que todo se encuadre en un sistema de
aspiraciones, de manera que pueda cumplirse la justicia Todo debe reducirse
a una unidad de medida que haga posibles las comparaciones. El mtodo
bsico de comparacin es el del clsico espectador imparcial utilitario. Al
ser imparcial y simpatizar con todas las partes, el espectador (evaluador de
necesidades) puede organizar todas las aspiraciones (necesidades) en un
sistema coherente de aspiraciones (conjunto de objetivos). Sopesa y equilibra
la intensidad de las aspiraciones y les otorga el peso adecuado en el
conjunto del sistema (evala). Despus, el administrador o legislador (el
omnipresente responsable de las decisiones) ajusta los medios limitados
con el fin de maximizar la satisfaccin de aquellas aspiraciones. El resultado
es una administracin eficaz con la mxima satisfaccin posible.
La semejanza del evaluador utilitarista con el espectador imparcial es
grande, En la economa y en la evaluacin modernas, el espectador imparcial
funda en alto grado su imparcialidad en medidas cuantitativas. Los econ-
metras modernos reclaman datos unvocos para medir la eficacia de los
programas sociales (Rivun, 1971). Estos datos pueden convertirse en el
diseo ms eficaz para la sociedad. El evaluador ideal tambin registra sin
ani mosi dad las aspiraciones mediante las evaluaciones de necesidades y
las definiciones de objetivos. Asigna pesos y mide los resultados de un
modo imparcial.
Mediante tcnicas de investigacin conocidas, el evaluador combina
# fiOtatanct Merata, $. L
js#
s |as necesidades educativas en un sistema. Dice Rawl s: El utilitarismo
torna en serio las diferencias entre las personas, confundiendo ta imper-
n0 adad con la imparcialidad. Pero este reduccionismo es esencial para
je la justicia utilitarista determine lo que se debe y conviene hacer.
^ Como i ndi qu en el Captulo III, los modelos de evaluacin de anlisis
, sstemas, de evaluacin por objetivos, de decisin y el modelo de objetivos
dependi ente parecen fundarse en una concepcin utilitarista de la justicia
Todos ellos tratan de conseguir la mayor utilidad elevando al mximo un
nmero reduci do de variables, un conjunto de objetivos, las preferencias
del responsabl e de las decisiones o sopesando resultados. Procuran llegar
a un j uicio de la utilidad social general que, a su vez, conduce a la mxima
felicidad en la sociedad. Como en la economa, el coste constituye una
consideracin primordial, dado que el dinero gastado podra utilizarse en
otras cosas para Aumentar la felicidad; o sea, podra mejorarse la utilidad.
El utilitarismo asume que la esencia de la conducta racional consiste en
elevar al mximo las satisfacciones o utilidades individuales (Macpher -
son, 1966). L# esencia humana consiste en la accin racional que maximiza
lautilidad. Como las aspiraciones de las personas respecto a toda clase de
satisfacciones son ilimitadas y los medios para realizarlas siempre son
escasos, el problema consiste en descubrir el sistema que pueda emplear
los mediosp&scasos para lograr la mxima satisfaccin. El bien ltimo consiste
en conseguir la mayor utilidad.
El utilitarismo se basa en la idea de que todo el mundo procura conseguir
el mximo posible. La mayor utilidad supone hallar una frmula mediante la
cual las personas consigan satisfacciones con el mnimo esfuerzo. Esto
plantea problemas en relacin a cmo identificar y reunir las satisfacciones
o utilidades que diferentes cosas procuran a las personas, y cmo compa
rarlas mediante una nica escala de medida. Esto es necesario para poder
decir que una determinada ordenacin de utilidades es la mejor, para afirmar
que un conjunto de ellas contribuye a una utilidad total mayor (Macpher -
son, 1 9 6 6 ) .
Entre los Enf oques utilitaristas de la evaluacin, el anlisis de sistemas
trata de identificar un conjunto crtico de variables en cuanto indicadores
sociales; el enfoque por objetivos parte de los objetivos del programa; el de
decisin seala como elementos crticos las decisiones clave de los res
ponsables, y el eval uador que prescinde de los objetivos se centra en los
efectos concretos del programa. Cada modelo adopta un enfoque ligeramente
distinto para lograr la mxi ma utilidad.
El utilitarismo ha constituido una forma brillante y productiva de pensa
miento; pero, como parte de las demandas tal como estn e insiste en una
pedida comn de bienestar, favorece con frecuencia a las clases sociales
levadas en detrimento de las inferiores. Cuando la medida comn se
convierte en i rri gadores como los tests normalizados de aprovechamiento,
* Problema se compl ica, porque esos mismos tests pueden estar sesgados
esde los puntos de vista social y racial; se basan en una teora e las
herencias individuales; desde el punto de vista histrico, se han utilizado
Evaluacin, tica y p0{jer
con el propsito explcito de seleccionar personas, apartndolas de |qs
grupos sociales (Kari er, 1973), y pueden emplearse para justificar las desi
gualdades. La justicia utilitarista no coincide con muchas sensibilidades
morales.
Pluralismo/lntuicionismo
La segunda teora de la justicia es la pluralista/ intuicionista. Esta teora
afirma que existe una familia irreductible de primeros principios que deben
sopesarse entre s buscando el equilibrio ms justo entre ellos (Rawls,
1971). No hay un principio fundamental, como el de la utilidad del utilitarismo,'
que puede servir para determinar los pesos que se asignen a los principios
ltimos. Por tanto, se da una pluralidad de primeros principios por medio de
los cuales se efectan los juicios sobre la justicia y no existe ningn mtodo
o conjunto explcito de reglas de prioridad para sopesar entre s. dichos
principios.
La mayor parte de las ideas de justicia de sentido comn son de este
tipo, como tambin la mayora de las doctrinas filosficas formales. Por
regla general, hay distintos grupos de preceptos especficos que se aplican
a problemas concretos de justicia, como los impuestos o la conducta criminal.
Estos preceptos especficos se aplican de manera ms o menos intuitiva
dentro de reas definidas, equilibrando unos los principios fundamentales
de una manera y otros de otra. Los pesos relativos de los principios espec
ficos pueden llevar a los ms intensos debates (como ocurre con la libertad
de expresin) aunque las personas estn de acuerdo en los principios :
fundamentales. La costumbre y los intereses de las partes implicadas con
ducen a otorgar pesos distintos.
Sin embargo, el equilibrio intuitivo entre los principios no proporciona
medio alguno de juzgar la justicia de las prcticas cotidianas. El intuicionista
espera que las personas se pongan de acuerdo en los principios, una vez
identificados, o que al menos acuerden algn procedimiento que permita
otorgar pesos. Al mismo tiempo, el pluralista/ intuicionista sostiene que no
existe ninguna concepcin tica suprema en la que se funden esospesos.
La complejidad de los hechos morales es demasiado grande para que un
principio de ese estilo d cuenta de ellos.
Para las escuelas de evaluacin que he denominado pluralistas/ in-
tuicionistas, el origen y el contenido de los principios de justicia son distintos.
En el modelo de evaluacin crtico artstico, el crtico educativo aplica prin
cipios a los que ha llegado a travs de su propia experiencia y preparacin
en los programas educativos. Podemos suponer que cada crtico tendr su
propio conjunto de principios que aplicar a una situacin dada de manera
intuitiva. Como el crtico de arte, el educativo llega a un juicio complejo del
programa o normativa.
El modelo profesional utiliza un conjunto de principios a menudo acep
tados de antemano. Por ejemplo, Evaluative Criteria menciona muchos cri-
& ttctorm MoraU, & L
aceptables para j uzgar los programas de ingls, otro conjunto para
^rtar los de matemticas, etc. Los expertos en ingls o en matemticas
rcan estos criterios establecidos -y quiz otros- de forma intuitiva. Cada
aP'rto equi l i bra los principios de acuerdo con sus propias disposiciones.
0* De un modo similar, el Council on Program Evaluation (COPE) presenta
na lar9a c.rêros clue emPlea Para juzgar los departamentos uni-
Prsitarios. realidad, estos criterios pueden resumirse en unos pocos
Hncipios, eomo la calidad de Investigacin y de enseanza. A partir de ah,
I Council establece un conjunto de juicios mediante el equilibrio intuitivo
!ntre esos principios. Por regla general, estos juicios otorgan gran peso a la
i n v e s t i g a c i n . Tanto en el modelo de tipo crtico artstico como en el profe
sional, los criterios, los principios orientadores ltimos y los pesos proceden
de los profesionales de la educacin.
En cambio, los modelos de evaluacin cuasijurldico y de estudio de
casos suelen derivar sus principios y valores de la participacin de las
personas implicadas en el programa o en las decisiones sobre el mismo.
En el modelo cuasijurdico que emplea un procedimiento parajudicial, el
jurado y el juez determinan los criterios y principios que se utilicenpara
llegar a una decisin. Los principios concretos que se empleen dependen
de la forma de seleccionar el jurado, el juez o el tribunal de audiencia.
Puede tratarse de miembros del pblico en general, como en un jura
do autntico,, o fresponsables de decisiones encargados del programa en
cuestin.
En muchos pasos, como en un tribunal de audiencia "blue-ribbon" (tribu
nal de expertos) ste puede estar compuesto por miembros prestigiosos
del pblico o de un subgrupo profesional, a quienes se considere en general
con autoridad en la cuestin de que se trate, como un grupo de expertos en
temas fiscales, evaluadores o responsables de decisiones. Por ejemplo, el
Dissemination fteview Panel, en las evaluaciones de revisiones de programas
federales del departamento de Salud, Educacin y Bienestar, para determinar
si estos programas deben ser validados" para su divulgacin por el resto
del pas.
Por ltimo, Santre los pluralistas/ intuicionistas hay quienes valoran la
participacin de las personas implicadas en el programa. En general, sta
consiste en I# recogida de puntos de vista y opiniones de diversas personas
respecto al programa o normativa en cuestin. El evaluador registra y refleja
fielmente sus puntos de vista. De este modo, los principios, criterios y
valoraciones de la| personas participantes se utilizan para juzgar el programa.
Por supuesto, al seleccionar y resaltar algunos aspectos y puntos de vista
en detrimento de otros algo inevitable, entran en juego algunos principios
del propio evaluador.
Se trata de up j urado f ormado por expertos para juzgar asuntos muy especializados. Es
recuenta (por Ejemplo, en Estados Unidos) en la resolucin de conflictos en ios mbitos
ernPresarial mdi co. ( N . d e l R . )
4 os fuoos de cfesfemos grupos relacionados con el program
es** -juno entogue no slo es piurafesia en el sendo flosco de juza^
sobre la base de pmopos dwersos, smo tambin en el sentido potifco
'apresemar intereses poflftcos drenles Es obvio Que ios juicios de
par&cipanies y det evaluador se equibran casi siempre de manera KSva
La leona pnuraisia mfc*aonista de la justicia es la que ms se acerca
senteio comn. pero deja sometida la evaluacin a cualesquiera principios
f que se les ocurra uttzar a los jueces, con independencia
oe qui nes se trate En un extremo, existe epeligro de que el proceso o
juoo se rija por principios profesionales y. en el otro, de <xt completo
'etarasmo en e* que se considere tan buena la opinin de uno como la de
cualquier ofro Ninguno de los dos extremos coincide con la idea de justicia
de la mayora.
J usticia como equidad
La ms recente de las teoras modernas sobre la justicia es la de
Rmts {1971 Este autor menoona dos principios de justicia medante los
cuales pueden ser juzgadas las instituciones y convenios sociales. Raw l s
denomina su concepcin "justicia como equidad A diferencia del utilitarismo,
justicia como equidad** asume que siempre existe una pluralidad de
fês y una detincin de personas que impiden combinar todas las aspira-
oonez en un sistema En primer lugar, hay que llegar a un acuerdo que
penrtfa repartir ei bien y saldar tas disputas que surjan. Ms tarde, âcordados
los principios de reparto, los individuos tienen libertad para determinar su
propio bien y tratar de conseguirlo, pero siempre de acuerdo con los principios
aceptados que determinan lo que se ajusta a derecho.
Ai definir cmo se llega a estos principios, Ra w l s utiza el const ruct o
hipottico de l a posicin original . Suponiendo que todas las personas
sean iguales, desde e) punto de vsta moral, y se les conceda un tratami ento
justo (y desconozcan qu ventajas y desventajas tendrn en la soci edad
concreta), qu principios estarn dispuestas a aceptar para definir la j us
ticia?
La concepcin general de justicia de Rawls es la siguiente: 'Todos los
valores sociales libertad y oportunidad, ingresos y salud y tas bases del
respeto a s mismo se reparten por igual, salvo que la distribucin desi gual
de alguno, o de todos estos valores beneficie a alguien (Rawls, 1971, p
gina 62).
Los principios especficos de justicia para las instituciones son:
Primer principio:
Toda persona ha de tener igual derecho a los ms amplios si st emas
de libertades bsicas iguales, compatible con un sistema semej ant e de
libertad para todos,
Segunda prnctpio:
Las desguiairtades y
^ i e r a que:
;^ # Bnec*en a los meros
^ afgana*
ruarse oe
Saâoe
' ^ o t ej uf ca
empleos
deopoit
a iodos en
**Gaes Pags. 302-
3 obvio
pue fe jsica son
3 0 3 ).
Teniendo en cuenta estas premisas r&
^qudafestrmge otros fines. Pone frutes 1
hacer* En esa perspectiva, no podemos tom 00010 *** *3aSa'Ts
, aspiraciones, pues quedan sometidos a ios 058805
U^ppfcia como equidad excluye especfca**?3aacoa
zocr,ententes a unos pocos en beneltodeniS!icsn^ <npoaar gefV
de os dos principios de la justicia especifica are
antecede ai segundo. Se impulsan a) mxro 9e^3re
'cependencia de ios beneficios econnvcos v soca*^ -
pueden abordarse las desigualdades sociales y economcas. OeMsnn
con .i a segunda premisa, slo pueden pentrse esas 3
zeoeftdan a los menos favorecidos de la sociedad Noneteia^se
as desigualdades si no se benefician de ellas los peor &rooco
: êden aceptarse transacciones que afecten a las ftertaoes =
cambio de beneficios sociales y econmicos.
La segunda premisa, el principio de diferencia', singriaiza a posoor
de los menos favorecidos de l a sociedad para juzgar si pueden permrse las
desigualdades. Por ej empl o, si son necesarios salarios elevados para aiaer
a personas a ocupaciones que beneficien a los menos favorecidos, pueoe
aceptarse ta desigualdad.(Este juicio se opone a) principio de eicaca tiei
jtiitarismo. El principio de eficacia slo permite la redistrbucin de enes
pnmariosen 10 medida en que el beneficio de un grupo social no se pro&zca
endetrimento de otro grupo. Esto refuerza de forma considerable el orden
establecido. Una est ruct ura ser eficiente' al mxima o en grado oowro-
cuando sea imposible mejorar algo sin pejudicar a oros. En ei e ^ r
Rawls, la premisa de la justicia como equidad precede al pnndpio de escaaa
Se impulsan al mximo las aspiraciones a largo plazo de la poswon
favorecida, con las restricciones impuestas por la primera prems<L
Suponiendo por ahora que aceptamos la teorade la
Qu importancia tiene evaluar (si acaso tiene alguna! $
ambas premisas son lo bastante abstractas como
valuacin. Por otra parte, en cuanto mecanismorestnDJ f^_ a avric
Parece razonable que la evaluacin preste atencin a ^
cHdad. Las Ifeertades bsicas que protege^ , Je canaeroa y to
libertades polticas, la de expresin y reuni^
gpensamiento, libertad de personas y propiedades.
Evaluaoln, tica y pQcle||
Al reflejar los juicios de distintos grupos relacionados con el programa
este Ultimo enfoque no slo es pluralista en el sentido filosfico de j uzgar
sobre la base de principios diversos, sino tambin en el sentido poltico de
representar intereses polticos diferentes. Es obvio que los juicios de los
participantes y del evaluador se equilibran casi siempre de manera intuitiva.
La teora pluralista/ intuicionista de la justicia es la que ms se acerca ai
sentido comn, pero deja sometida la evaluacin a cualesquiera principios
y valoraciones que se les ocurra utilizar a los jueces, con independencia
de quienes se trate. En un extremo, existe el peligro de que el proceso de i
juicio se rija por principios profesionales y, en el otro, de un completo
relativismo en el que se considere tan buena la opinin de uno como la de
cualquier otro. Ninguno de los dos extremos coincide con la idea de justicia I
de la mayora.
La ms reciente de las teoras modernas sobre la j ust i ci a es la de
Rawls (1971). Este autor menciona dos principios de justicia medi ant e los
cuales pueden ser juzgadas las instituciones y convenios soci al es. Ra w l s
denomina su concepcin justicia como equidad. A diferencia del utilitarismo,
la "justicia como equidad" asume que si empre existe una pl ural i dad de
fines y una distincin de personas que impiden combinar t odas l as aspi ra
ciones en un sistema. En primer lugar, hay que llegar a un acuerdo que
permita repartir el bien y saldar las disputas que surjan. Ms tarde, acordados
los principios de reparto, los individuos tienen libertad para det ermi nar su
propio bien y tratar de conseguirlo, pero siempre de acuerdo con los pri ncipi os
Al definir cmo se llega a estos principios, Raw l s utiiza el const ruct o
hipottico de la posicin original. Suponiendo que todas l as personas
sean iguales, desde el punto de vista moral, y se les conceda un t ratami ento
concreta), qu principios estarn dispuestas a aceptar para def ini r la j us
ticia?
La concepcin general de justicia de Raw l s es la siguiente: Todos los
valores sociales libertad y oportunidad, ingresos y salud y las bases del
respeto a s mismo se reparten por igual, salvo que la distribucin desi gual
de alguno, o de todos estos valores beneficie a alguien" (Raw l s , 1971, p
gina 62).
Los pnncipios especficos de justicia para las instituciones son:
Primer principio:
Toda persona ha de tener igual derecho a los ms ampl i os si stemas
libertad para todos.
# MwuawMwifr & i.
segundo principio:
Las desigualdades sociales y econmicas han de organizarse de
manera que:
a) benef i ci en a los menos agraciados, salvado el principio de justicia,
y
est n subordinadas a servicios y empleos abiertos a todos en
condiciones de equitativa igualdad de oportunidades (pgs. 302-
303).
Teniendo en cu enta estas premisas, resulta obvio que la justicia como
auidad restringe otros fines. Pone lmites en relacin con lo que podamos
hacer. En esa perspectiva, no podemos tomar como indiscutibles los deseos
v aspiraciones, pues quedan sometidos a los principios bsicos.
La justicia como equidad excluye especficamente la imposicin de in
convenientes a unos pocos en beneficio de muchos. Las reglas de prioridad
de los dos principios de la justicia especifican que el primero siempre
antecede al segundo. Se impulsan al mximo las libertades bsicas con
independencia de los beneficios econmicos y sociales. Slo entonces
pueden abordarse las desigualdades sociales y econmicas. De acuerdo
con la segunda premisa, slo pueden permitirse esas desigualdades si
benefician a los menos f avorecidos de la sociedad. No pueden aceptarse
las desigualdades si no se benefician de ellas los peor situados, ni tampoco
pueden aceptarse transacciones que afecten a las libertades bsicas a
La segunda premisa, el principio de diferencia, singulariza la posicin
de los menos f avorecidos de la sociedad para juzgar si pueden permitirse las
desigualdades. Por ejemplo, si son necesarios salarios elevados para atraer
apersonas a ocupaciones que beneficien a los menos favorecidos, puede
aceptarse la desigualdad. (Este juicio se opone al principio de eficacia del
utilitarismo. El principio de eficacia slo permite la redistribucin de bienes
primarios en la medida en que el beneficio de un grupo social no se produzca
establecido. Una estructura ser eficiente al mximo, o en grado ptimo,
cuando sea imposible mejorar algo sin pejudicar a otros. En el esquema de
Jwls, la premisa de la justicia como equidad precede al principio de eficacia
6 mpulsan al mximo las aspiraciones a largo plazo de la posicin menos
V(?ecida, con las restricciones impuestas por la primera premisa.)
Suponiendo por ahora que aceptamos la teora de la justicia de Rawl s,
arnh 'mPrtanc'a tiene eval uar (si acaso tiene alguna)? Es evidente que
ev ias premisas son lo bastante abstractas como para no determinar la
par Uac*n. Por otra parte, en cuanto mecanismo redistributivo importante,
equidCV a20nab'e ciue *a evaluacin preste atencin a la justicia como
êrtari âspbertades bsicas que protege el primer principio son las
de nei?es RWcas, la de expresin y reunin, la libertad de conciencia y la
Sarniento, libertad de personas y propiedades, etctera
Eval uaci n, tica y Poria
Al reflejar los juicios de distintos grupos relacionados con el programa
este ltimo enfoque no slo es pluralista en el sentido filosfico de juzgar
sobre la base de principios diversos, sino tambin en el sentido poltico de
representar intereses polticos diferentes. Es obvio que los juicios de los
participantes y del evaluador se equilibran casi siempre de manera intuitiva.
La teora pluralista/ intuicionista de la justicia es la que ms se acerca al
sentido comn, pero deja sometida la evaluacin a cualesquiera principios
y valoraciones que se les ocurra utilizar a los jueces, con independencia
de quienes se trate. En un extremo, existe el peligro de que el proceso de
juicio se rija por principios profesionales y, en el otro, de un completo
relativismo en el que se considere tan buena la opinin de uno como la de
cualquier otro. Ninguno de los dos extremos coincide con la idea de justicia
de la mayora.
La ms reciente de las teoras modernas sobre la justicia es la de
Rawls (1971). Este autor menciona dos principios de justicia mediante los j
cuales pueden ser juzgadas las instituciones y convenios sociales. Ra w l s j
denomina su concepcin justicia como equidad. A diferencia del utilitarismo,
la "justicia como equidad asume que siempre existe una pluralidad de
fines y una distincin de personas que impiden combinar todas las aspira-
clones en un sistema. En primer lugar, hay que llegar a un acuerdo que
permita repartir el bien y saldar las disputas que surjan. Ms tarde, acordados
los principios de reparto, los individuos tienen libertad para determinar su j
propio bien y tratar de conseguirlo, pero siempre de acuerdo con los principios
Al definir cmo se llega a estos principios, Rawl s utiiza el const ruct o
hipottico de "la posicin original. Suponiendo que todas l as personas
sean iguales, desde el punto de vista moral, y se les conceda un trat ami ent o
concreta), qu principios estarn dispuestas a aceptar para def i ni r l a j us
ticia?,
La concepcin general de justicia de Raw l s es la siguiente: Todos los
valores sociales libertad y oportunidad, ingresos y salud y las bases del
respeto a si mismo se reparten por igual, salvo que la distribucin desigual
de alguno, o de todos estos valores beneficie a alguien (Raw l s , 1971, p
gina 62).
Los principios especficos de justicia para las instituciones son:
Primer principio:
Toda persona ha de tener igual derecho a los ms amplios si st emas
ttberfad para todos.
121
sociales y econmicas han de organizarse de
maera que:
aj benef ici en a los menos agraciados, salvado el principio de justicia,
y
ya est n subordinadas a servicios y empleos abiertos a todos en
condi ci ones de equitativa igualdad de oportunidades (pgs. 302-
303).
Teniendo enicuenta estas premisas, resulta obvio que la justicia como
iidad restringe otros fines. Pone lmites en relacin con lo que podamos
hcer En esa perspectiva, no podemos tomar como indiscutibles los deseos
aspiraciones, pues quedan sometidos a los principios bsicos,
y La justicia como equidad excluye especficamente la imposicin de in
convenientes a unos pocos en beneficio de muchos. Las reglas de prioridad
delos dos principios de la justicia especifican que el primero siempre
antecede al segundo. Se impulsan al mximo las libertades bsicas con
independencia de los beneficios econmicos y sociales. Slo entonces
pueden abordarse las desigualdades sociales y econmicas. De acuerdo
con la segunda premisa, slo pueden permitirse esas desigualdades si
benefician a los menos f avorecidos de la sociedad. No pueden aceptarse
lasdesigualdades si no se benefician de ellas los peor situados, ni tampoco
pueden aceptarse transacciones que afecten a las libertades bsicas a
La segunda premisa, el principio de diferencia, singulariza la posicin
dlos menos favorecidos de la sociedad para juzgar si pueden permitirse las
desigualdades. Por ejemplo, si son necesarios salarios elevados para atraer
apersonas a ocupaciones que beneficien a los menos favorecidos, puede
aceptarse la desigualdad. (Este juicio se opone al principio de eficacia del
utilitarismo. El principio de eficacia slo permite la redistribucin de bienes
primarios en la medida en que el beneficio de un grupo social no se produzca
establecido. Una estructura ser "eficiente al mximo, o en grado ptimo,
cuando sea imposible mejorar algo sin pejudicar a otros. En el esquema de
gWLS- Ia premisa de la justicia como equidad precede al principio de eficacia,
eimpulsan al mximo las aspiraciones a largo plazo de la posicin menos
orecida, con las restricciones impuestas por la primera premisa.)
qu ^0n'enc*0 ôr aôra clue aceptamos la teora de la justicia de Rawl s,
arnh lmôr*anca tiene evaluar (si acaso tiene alguna)? Es evidente que
evalua y.rem'sas son l bastante abstractas como para no determinar la
Paree11 ^ r *ra Parte> en cuanto mecanismo redistributivo importante,
equ^ .razorable que la evaluacin preste atencin a la justicia como
libertad ,!'bertactes bsicas que protege el primer principio son las
depe Polticas, la de expresin y reunin, la libertad de conciencia y la
amiento, libertad de personas y propiedades, etctera.
Segundo principio:
I B desigualdades
Adems, segn Rawl s (pg. 440), el bien primario ms importante es e|
respeto a s mismo. Sin l, ia persona no podr creer que merezca la pena
tratar de dar cumplimiento a su propio plan de vida (cualquiera sea ste).
En tai caso, su vida carecer de sentido. Un argumento fundamental contra
el utilitarismo consiste en que algunos pueden verse obligados a abandonar
sus aspiraciones en beneficio de la utilidad general. La rebaja involuntaria
de stas en provecho de otros reduce el fundamento de su propio respeto a
s mismo. La justicia como equidad no admite esta situacin.
El primer principio puede aplicarse a la evaluacin de dos maneras;
segn si tiene en cuenta lo que busque el evaluador o la forma de llevar a
cabo la evaluacin, El primer principio garantiza las libertades bsicas, j
incluido el derecho a la autoestima. Por ejemplo, una queja fundamental de
quienes se oponen a los tests, en concreto, consiste en que las puntuaciones 1
obtenidas en los mismos reducen la autoestima de muchos nios en la ]
escuela. No slo los crticos dicen que los tests estn sesgados en los!
planos racial y de clase social; los economistas radicales (Bo w l es y Gi nt i sJ
1972-1973) sostienen que los tests se utilizan precisamente con el fin de I
justificar la estructura jerrquica del sistema de clases sociales, de manera i
que los miembros inferiores de la sociedad crean que merecen lo que son.
Uevan consigo la reduccin de las aspiraciones.
Con independencia de la veracidad de estos cargos, en la justicia como j
equidad estas cuestiones son motivo de grave preocupacin y para el
evaluador constituyen el problema principal. Con frecuencia, es ms fcil 1
determinar la conveniencia de una prctica concreta y ms cercana al co- |
metido real del evaluador. Por ejemplo, mandar a su casa a un nio con j
su puntuacin de Cl plantada encima (prctica corriente en algunas grandes
ciudades) puede resultar repulsiva incluso a los evaluadores ms fervientes j
partidarios de los tests. Otras prcticas, como la de pegar a los nios para
que suban sus puntuaciones en los tests suelen descartarse de antemano j
(incluso aunque provoquen un ascenso espectacular de tales puntuaciones).
Hay cosas que no pueden hacerse en nombre del bien comn.
Es posible que la aplicacin de ambas premisas reduzca, aunque de
ninguna manera elimine, los juicios intuitivos. Tras decidir que el respeto a
uno mismo es un derecho que precede a cualquier otra consideracin, con j
independencia de las pretensiones del programa o de sus patrocinadores,
todava tenemos que aplicar el principio. Esto lleva consigo una serie de
juicios intuitivos y el cometido del evaluador de aplicar los criterios a cir
cunstancias especficas sigue siendo difcil.
No obstante, la seleccin de criterios primarios para aplicarlos a la
mayor parte del resto de los criterios (por artificial que pueda parecemos a
quienes nos hemos formado en una tradicin emprica) proporciona un
fundamento moral ms til de lo que a primera vista pudiera parecer. A
veces, la visin resultante es informativa. Por ejemplo, si todo el mundo
tiene derecho a la autoestima, de ello tambin se desprende que, en una
sociedad justa, los menos favorecidos no pueden violar la autoestima de
quienes estn en mejor posicin. No se permiten las actividades denigrantes
" ^ ... ....... v:.:. ________ ! ..................... ^ Evaluacin, tica y ppâ.
faJ toWMW Mor ata & i
I ndj vi duo. Es obvio que ello presupone que la autoestima de los ms
| p3^ cjdos no se basa en la disminucin de la estima de los peor situados,
faVqi la i nf ormaci n lesiona el respeto a s mismo de la persona implicada,
Hebe incluirse en el informe de evaluacin, con independencia de su
[ , ncia en l a calidad del proyecto. Han de protegerse los derechos de los
| int'rdu0s ant es que el beneficio del proyecto. Slo podra violarse este
in ricipo en el caso de una transaccin entre este derecho y otro de igual
[ Pnortancia. Por supuesto, el problema bsico de un proyecto est constitu
an oor el sistema total de derechos iguales de todos los implicados. No
habra que t rat ar con tanto miramiento a un director desptico que lesione
la aut oest i ma de otros. Se permiten las transacciones entre derechos b-
I SlCAplicado por completo el primer principio, hemos de prestar atencin al
I segundo. La esencia de la segunda premisa consiste en que las desigual
dades sociales y econmicas slo son justas cuando benefician a los menos
| favorecidos de la sociedad. Un personaje representativo" del sector menos
I afortunado debe preferir las perspectivas que se le ofrecen con las desi-
; gualdades ms que sin ellas. Se juzga la estructura social desde una
posicin social determinada: la de los menos favorecidos. Las desventajas
de quienes estn situados en el escaln inferior de la estructura social no
pueden justificarse por las ventajas que de ello se deriven para los dems,
como acepta el utilitarismo. Por supuesto, este juicio ha de ser coherente
[ con el primer principio. No pueden sacrificarse las libertades bsicas a los
i beneficios sociales y econmicos.
Como en el caso del primer principio, el segundo puede aplicarse de
| dos maneras: como criterio del programa o como criterio de la misma
evaluacin. En la Illinois Gifted Evaluation, nos mantuvimos en contacto
directo con el personal que trabajaba en el programa, que fue muy equitativo
| en relacin con el primer principio. Visto en retrospectiva, el principal dficit
j consisti en que no se investigaron posibles efectos secundarios de la
agrupacin uniforme de los nios bien dotados. Analizamos los efectos que
se produjeron en estos mismos nios, pero no lo hicimos con los que no
I pertenecan a ese grupo ni consideramos el impacto social sobre el sistema
de clases. Hemos de admitir que estos problemas no son fciles de resolver,
en parte porque a menudo no se plantean lo suficiente. Sin embargo, deberan
haberse tratado con mayor profundidad.
En la justicia como equidad, no se considera que las desigualdades en
,os talentos naturales tengan que dar derecho a mayores aspiraciones
materiales en la sociedad, salvo que se empleen en beneficio de los menos
dotados. Por ejemplo, se podran conceder mayores recompensas a los
I Jodieos por la preparacin a la que han de someterse y esperando que el
f faraer ? ^ medicina a individuos mejor dotados beneficie a los menos
esrecic,0S asi como a cualesquiera otros. Pero el hecho de que alguien
I a<! * c,otacl0 con mayores talentos naturales no le da derecho a mayores
1 co?raCOnes- Cierto sentido, el contrato que surge de la "posicin originar
[ siste enun acuerdo para compartir la suerte y la desgracia, como en
i H Eval uaci n, t i ca y p0c)e

una familia: sus miembros no aumentan su buena suerte al mximo a
expensas del menos favorecido de la misma.
Qu diferencias podra producir el segundo principio de justicia en una
evaluacin? Consideremos el estudio sobre la igualdad de oportunidades
educativas de Co l ema n (1966) que, esencialmente constituye un enfoque li
beral de un problema social. Aunque no se trate de una evaluacin, en sen*
tido estricto, el estudio de Co l ema n constituye un intento de valoracin de la
falta de igualdad de oportunidades educativas, un tipo de evaluacin de ne
cesidades sobre el que se estructura la poltica gubernamental. A Co l ema n !
se le plante el problema sin una concepcin clara del significado de la*
igualdad de oportunidades. Como seala En n i s (1975), la concepcin de al
guien depende del significado que tenga para l la "educacin y de cmo
interprete tener una oportunidad. Co l ema n opt por dar a educacin el
significado de educacin acadmica y, entre cinco concepciones de opor-3
tunidad", opt por "igualdad de resultados, tal como los mide un test de]
vocabulario.
El estudio supona una nica medida de utilidad. El anlisis adapt laj
forma de regresin mltiple, refundiendo las variables de origen social y]
escolar en relacin con las puntuaciones obtenidas en el test. A partir del
esto, Co l eman lleg a la conclusin de que las escuelas no corregan las]
desigualdades que reflejaban las puntuaciones obtenidas en el test. Poda]
presumirse que lo que necesitaban los negros para acceder a un plano de i
igualdad eran las destrezas bsicas reflejadas en las puntuaciones del test]
Se estim que el problema primordial era el aislamiento socioeconmico y]
racial, considerndose que la respuesta sera la integracin. La tctica serial
llevarlos en autobs*.
Tal como io analiza En n i s (1975), gran parte de ello estaba implcito en j
la carta de transmisin del encargo, que identificaba el aislamiento racial]
como el principal impedimento en contra de la igualdad de oportunidades]
educativas y en la concepcin de igualdad que compartan Co l ema n y las]
autoridades gubernamentales. Yo aadira que la conclusin tambin estaba]
implcita en la metodologa del estudio y en la teora de la justicia en cuyo]
mbito se formul. En n i s (1973) sealaba que una cadena causal de ra-1
zonamento slo es emprica parcialmente; la otra porcin es axiolgical
Los valores participan en la determinacin del punto en el que es posible |
interferir la cadena, estableciendo el carcter diferencial. Los liberales podan]
aceptar el traslado en autobs como respuesta al problema, rechazando,!
sin embargo, la interferencia familiar, mientras que los conservadores sel
opondran a ambas posibilidades. Dice En n i s : "Lo que hizo, en apariencia,]
fue seleccionar ios factores que estudiar, cambios que pensaba 1) no violaran I
* La tctica del "busing" se utiliz para llevar en autobs escolar a los nios negros al
mrtuifa de barrios blancos y a nios blancos a escuelas de barrios negros, con la pretensin!
de conseguir ia integracin racial, estructurndose un medio escolar de integracin cerrada. |
independenle dei ambiente familiar, perteneciente a medios socioeconmicos distintos del |
encolar, egregadoe y, por tanto, tambin cerrados. (N. del T.)
n conjunto de valores (al menos, los suyos, en la mayora de tos
(iifl9 , w2} podran indicar una diferencia. Despus, llev a cabo un estudio
c&oSJ rl de estos factores, tratando de descubrir cules establecan la
erflP1 . ..
difeSant e este enfoque, los investigadores determinaron la medida de
,Had y los fectores 9ue ,es parecieron aceptables para provocar una
trferencia que influyera en aqulla. La parte emprica del estudio se
J2La a det ermi nar qu factores de los predeterminados afectaran a los
fs tambin establecidos de antemano. Incluso el anlisis se someti a
etos de val or al determinar qu variables entraran en primer lugar en el
rtceso de regresin mltiple. Al incluir en primer trmino los factores
Sidos al medi o de origen, la covarianza atribtale a la interaccin entre
se medio y l a escuela no podra atribuirse a sta. Adems, el error residual
Podra atribui rse a cualquier otra cosa, p. ej., a la suerte, en el anlisis de
j enck (Levin, 1972). No creo que el estudio de Coleman estuviese mal
hecho, pero, aunque era en gran medida cuantitativo, estaba necesariamente
plagado de supuestos ocultos de valor.
El enfoque adoptado por Col eman elimin otras diversas opciones polticas
que podran haberse adoptado. Dej completamente de lado las actitudes
-si no los intereses de los grupos ms preocupados por conseguir una
medida general de utilidad. En este caso, la eliminacin de la segregacin
condujo a llevar a los nios negros en autobs a escuelas de grupos
blancos no anglosajones, cuyo nivel social y econmico era slo algo superior
al de los negros y a transportar a nios blancos a las escuelas del ghetto.
Esta situacin se convirti en una amenaza a la ya precaria posicin de los
blancos no anglosajones. Ms tarde, Co l eman (1975) ha cuestionado la
tctica del transporte en autobs, comentando sobre su estudio original: Es
evidente que, para lograr este propsito, se debera haber prestado mucha
ms atencin a las reacciones de los blancos no anglosajones con medios
econmicos suficientes para trasladarse. En el estudio no se tuvo en cuenta
el punto de vista de estas personas.
Sin embargo, haba una omisin an mayor: tampoco se consider el
punto de vista de los negros, que eran las personas a quienes se supona
beneficiaran las polticas de integracin. Es posible que los puntos de vista
de los negros o los de los blancos no anglosajoneshubieran sugerido
otras polticas alternativas en relacin con la justicia social. No slo las
polticas gubernamentales prescindieron de la influencia de los ms afectados,
stno que el estudio de evaluacin no reflej sus puntos de vista e intereses.
Pesar de las nobles intenciones de los reponsables de las decisiones, el
??ue estuvo muylast rado por el paternalismo.
en este caso, quienes pagaron el mayor precio de la reforma social
t ^ron ios negros y los blancos no anglosajones (los dos grupos menos
* * * * en este ambiente). En cierto sentido, se procur beneficiar a los
Pet 3 cos*a ê sus antagonistas ms naturales y que ms tenan que
grupos sociales que formularon y pusieron en prctica esta
lca e$taban bsicamente desligados de los afectados por ella.
m
Evaluacin, tica y podcj
Quedaba otra injusticia adicional. Dentro del sistema educativo, los coste!
de la integracin recayeron ms sobre los menos favorecidos: los nios j
sobre todo, los nios negros que quedaron a merced de las fechoras dd
los racistas. Incluso en ios trminos en los que se plante, qued demostradla
que el estudio original era inadecuado, pues, en donde se llev a cabo l l
integracin, las puntuaciones en los tests no se elevaron necesariamente
(Co l eman , 1975). Parece ser que se excluyeron del anlisis causal f act or
importantes. Por ltimo, y sobre todo, el enfoque mantuvo el control f uerj
del alcance de las bases.
Un enfoque pluralista/intuicionista del problema habra recogido los punto*
de vsta de todos los implicados. No habra establecido unos fines predterlj
minados ni eliminado posibles causas alternativas sin examen previo. AdjB
ms, un enfoque de justicia como equidad se asegurara de que los puntos
de vista de los menos favorecidos tuvieran prioridad respecto a los dems
Examinado el problema desde la perspectiva de los menos favorecidos, lal
prioridad pasara a quienes ocupaban el segundo lugar entre los menoB
favorecidos: los grupos blancos no anglosajones, en este caso.
La utilizacin de las teoras de la justicia
Ninguna de estas teoras predominantes de la justicia son completamente!
satisfactorias como fundamento de la evaluacin. El utilitarismo se sita!
muy cerca de la filosofa oficial del gobierno. Siempre que es posible, l oa
funcionarios gubernamentales tratan de reducir todo a medidas monetaria*
comunes. El anlisis de coste/ producto constituye el mximo hito de e s
enfoque, y la preocupacin por el dinero es con frecuencia un indicio da
que el evaluador adopta esta teora de la justicia. Hay mucho que decir a]
favor del utilitarismo. Proporciona un criterio bien fundamentado para adoptcfl
y justificar las decisiones pblicas. Su principal debilidad estriba en que]
tiende a favorecer a las clases superiores en detrimento de las inferiores yl
conduce a juicios que no siempre concuerdan con la propia sensibilidad
moral. El empleo de medidas utilitaristas lleva a menudo a una excesivll
simplificacin de los resultados, como ocurre en la evaluacin Follom
Through.
La teora pluralista/ intuicionista de la justicia es ms coherente con las]
ideas cotidianas, de sentido comn, de la justicia. La mayora de la gentel
utiliza principios mltiples para emitir juicios y los equilibra de forma intuitiva!
Los principios utilizados varan de una persona a otra y de una a otra situa-l
clon. Los empleados para juzgar la justicia de las polticas fiscales no ti e
nen por qu ser los mismos que los utilizados para juzgar la justicia de laa
tablas salariales. Esta situacin concuerda con los usos cotidianos y dej
sentido comn, pero, es suficiente para la evaluacin de los programa!
pblicos?
Nos daramos por satisfechos sabiendo que un evaluador utiliza un conj
junto de principios y otro emplea un conjunto diferente para evaluar t i
minado programa, sobre t odo si ese programa fuese nuestro? La autn-
^ edra de toque de l a j ust i ci a es la idea de consistencia, que implica
acPJ" cas0S similares se t rat an de forma semejante. Este enfoque parece
oft la consistencia. En un extremo aparece la amenaza del relativismo
a^neipis utilizados por uno son tan buenos como los empleados por
îflier otro). En consecuenci a, cualquier juicio es tan bueno como el que
c1VEsto parece que sera el fin de la evaluacin. Sobre los enfoques
t i c a m e n t e pluralistas que ut i l i zan los juicios de los grupos involucrados
^cri t eri os ltimos de eval uaci n, se cierne la amenaza de esta posibi-
e| otro extremo de l os enfoques pluralistas/intuicionistas, es difcil
e los principios totalmente derivados de los profesionales consigan la
Lna aceptacin del pbl i co. La idea que una profesora tenga del trato
Usto dispensado a los al umnos quiz no coincida con la de los padres.
Cul emplear el eval uador? Pocas personas estaran dispuestas a dejar
auequienes dirigen los ferrocarriles tengan el control exclusivo de lo que
sehaga. Del mismo modo, l os enfoques profesionales de la evaluacin, en
losque unos expertos eval an a otros, sean profesores, cirujanos o inge
nieros, han ido perdiendo credibilidad durante la pasada dcada. El pblico
haperdido confianza en l os profesionales que se regulan a s mismos. Da
lasensacin de que la gente no est dispuesta a dejar en manos de otros
los juicios sobre la justicia, que esencialmente son decisiones respecto a la
distribucin.
En la teora ms moder na sobre la justicia, Rawls presenta una ms
igualitaria que el ut i l i t ari smo y ms absoluta y determinada que el intuicio-
nismo/ pluralismo. Rawl s pi ensa que concuerda mejor con el sentido comn.
Pero la justicia como equi dad tiene sus propias dificultades en cuanto teoria.
Se han levantado cont ra el l a muchas crticas. Una de las ms corrientes
consiste en que la pri ori dad absoluta que se concede al principio primero
sobre el segundo si gni f i ca, en la prctica, que nunca se aplique el principio
dediferencia. Otros di cen que an el ms mnimo beneficio que se preten
diera para el menos f avoreci do justificara apropiarse de todo lo que tiene el
ms favorecido.
Tampoco la justicia como equidad es siempre coherente con el propio
Pensamiento intuitivo sobre la justicia. Slo mira al menos favorecido, sin
preocuparse de su participacin en las decisiones relativas a su suerte,
aspecto que considero muy deseable. La crtica lgica ms importante para
aValuacin de programas pblicos consiste en que el bien colectivo no
Puede derivarse de las pretensiones individuales del modo que pretende
,Awls. El bien individual no equivale al colectivo, idea que desarrollar en
siguiente apartado.
c J* ^stante>estoy convencido de que la justicia como equidad es, en
ste t0Orâ ^ justicia, superior al utilitarismo, lo que no significa que
mor f arezca de valor- La justicia como equidad muestra una sensibilidad
la a .ms profunda. Yo prefiero una concepcin intuicionista pluralista de
a ambas, pero slo aquella en la que se especifiquen de antemano
Evaluacin, ti ca y p0deJ
Quedaba otra injusticia adicional. Dentro del sistema educativo, los costes]
de la integracin recayeron ms sobre los menos favorecidos: los nios yl
sobre todo, los nios negros que quedaron a merced de las fechoras del
los racistas. Incluso en los trminos en los que se plante, qued demostrada
que el estudio original era inadecuado, pues, en donde se llev a cabo f j
integracin, fas puntuaciones en los tests no se elevaron necesariamente!
( C o l e m a n , 1975). Parece ser que se excluyeron del anlisis causal factorel
importantes. Por ltimo, y sobre todo, el enfoque mantuvo el control fuera]
de) alcance de las bases.
Un enfoque pluralista/intuicionista del problema habra recogido los puntos!
de vista de todos los implicados. No habra establecido unos fines predeteiij
minados ni eliminado posibles causas alternativas sin examen previo. Adejl
ms, un enfoque de justicia como equidad se asegurara de que los punto
de vista de los menos favorecidos tuvieran prioridad respecto a los dem
Examinado el problema desde la perspectiva de los menos favorecidos, lafl
prioridad pasara a quienes ocupaban el segundo lugar entre los menos!
favorecidos: los grupos blancos no anglosajones, en este caso.
La utilizacin de las teoras de la justicia
Ninguna de estas teoras predominantes de la justicia son completamente!
satisfactorias como fundamento de la evaluacin. El utilitarismo se sita
muy cerca de la filosofa oficial del gobierno. Siempre que es posible, losl
funcionarios gubernamentales tratan de reducir todo a medidas monetariasl
comunes. El anlisis de coste/ producto constituye el mximo hito de est j
enfoque, y la preocupacin por el dinero es con frecuencia un indicio del
que el evaluador adopta esta teora de la justicia. Hay mucho que decir al
favor del utilitarismo. Proporciona un criterio bien fundamentado para adopta*
y justificar las decisiones pblicas. Su principal debilidad estriba en que!
tiende a favorecer a las clases superiores en detrimento de las inferiores yl
conduce a juicios que no siempre concuerdan con la propia sensibilidad
moral. El empleo de medidas utilitaristas lleva a menudo a una excesiva
simplificacin de los resultados, como ocurre en la evaluacin Follom
Through.
La teora pluralista/ intuicionista de la justicia es ms coherente con lasf
deas cotidianas, de sentido comn, de la justicia. La mayora de la gentel
utiliza principios mltiples para emitir juicios y los equilibra de forma intuitiva!
Los principios utilizados varan de una persona a otra y de una a otra sita!
cin. Los empleados para juzgar la justicia de las polticas fiscales no tie!
nen por qu ser los mismos que los utilizados para juzgar la justicia de lasl
tablas salariales, Esta situacin concuerda con los usos cotidianos y dflj
sentido comn, pero, es suficiente para la evaluacin de los programas!
pblicos?
Nos daramos por satisfechos sabiendo que un evaluador utiliza un con!
junt de principios y otro emplea un conjunto diferente para evaluar un]
> Morata S, L
rminado programa, sobre todo si ese programa fuese nuestro? La autrv
^ni edr a de toque de la justicia es la idea de consistencia, que implica
* EL casos similares se tratan de forma semejante. Este enfoque parece
^ nazar la consistencia. En un extremo aparece la amenaza del relativismo
orincipos utilizados por uno son tan buenos como los empleados por
{l fliauier ot ro). En consecuencia, cualquier juicio es tan bueno como el que
Esto parece que sera el fin de la evaluacin. Sobre los enfoques
^Lamente pluralistas que utilizan los juicios de los grupos involucrados
conio crit eri os ltimos de evaluacin, se cierne la amenaza de esta posibi-
lidaj:n el otro extremo de los enfoques pluralistas/intuicionistas, es difcil
los principios totalmente derivados de los profesionales consigan la
Siena aceptacin del pblico. La idea que una profesora tenga del trato
iustodispensado a los alumnos quiz no coincida con la de los padres.
Cul emplear el evaluador? Pocas personas estaran dispuestas a dejar
Jue quienes dirigen los ferrocarriles tengan el control exclusivo de lo que
sehaga. Del mismo modo, los enfoques profesionales de la evaluacin, en
losque unos expertos evalan a otros, sean profesores, cirujanos o inge
nieros, han ido perdiendo credibilidad durante la pasada dcada. El pblico
haperdido confianza en los profesionales que se regulan a s mismos. Da
lasensacin de que la gente no est dispuesta a dejar en manos de otros
losjuicios sobre la justicia, que esencialmente son decisiones respecto ala
distribucin.
En la teora ms moderna sobre la justicia, Rawl s presenta una ms
igualitaria que el utilitarismo y ms absoluta y determinada que el intuicio-
nismo/pluralismo. Rawls piensa que concuerda mejor con el sentido comn.
Pero la justicia como equidad tiene sus propias dificultades en cuanto teora.
Se han levantado contra ella muchas crticas. Una de las ms corrientes
consiste en que la prioridad absoluta que se concede al principio primero
sobre el segundo significa, en la prctica, que nunca se aplique el principio
dediferencia.'Otros dicen que an el ms mnimo beneficio que se preten
diera para t renos favorecido justificara apropiarse de todo lo que tiene el
ros favorecido.
Tampoco la justicia como equidad es siempre coherente con el propio
pensamiento intuitivo sobre la justicia. Slo mira al menos favorecido, sin
Preocuparse de su participacin en las decisiones relativas a su suerte,
?sPecto que considero muy deseable. La crtica lgica ms importante para
&evaluacin de programas pblicos consiste en que el bien colectivo no
Puede derivarse de las pretensiones individuales del modo que pretende
wl s. El bien individual no equivale al colectivo, idea que desarrollar en
siguiente apartado,
ciian? ks*an*e* estoy convencido de que la justicia como equidad es, en
ste *eor,a *a justicia, superior al utilitarismo, lo que no significa que
ifl0r ?arzca valor. La justicia como equidad muestra una sensibilidad
laUsti s Profunda. Yo prefiero una concepcin intuicionista pluralista de
a a ambas, pero slo aquella en la que se especifiquen de antemano
?26 Evaluacin, ti ca y pod|
determinados valores. En el siguiente apartado defender que una teorj
adecuada de ia justicia ha de tener en cuenta tos vaores de gual da!
moral, autonoma moral, imparcialidad y reciprocidad, as como el principia
sumatrvo de utilidad.
Este juicio no constituye una denuncia universal de todo el pensami entJ
utilitarista en ia evaluacin. En muchos casos, este pensamiento es adecuad!
sin que nos lleve por mal camino. Por ejemplo, la eval uacin de un plan
destinado a lograr la mejor utilizacin de las camas hospitalarias puedj
girar en tomo a la idea de eficacia, con exclusin de la mayora de l a]
consideraciones adicionales. El pensamiento utilitarista comi enza a ser i na
decuado cuando entran en juego otras consideraciones apremiantes.
Por regla general, como indicaba al comienzo de este captulo, la teora
de la justicia que podamos mantener no determina el tipo de eval uaci n
que efectuemos. Hay otros muchos factores que influyen en ella. La t eora
propia acta de manera subrepticia y sutil. Si el evaluador es utilitarista
volver una y otra vez sobre las condiciones monetarias y de utilidad. Si esa
pluralista poltico, reflejar las opiniones de los distintos grupos en rel acin
con el programa. Si es rawlsiano, considerar los derechos de los i ndi vi duo
y los intereses de los menos favorecidos. Si es neomarxista, pondr de]
manifiesto las desigualdades sociales y econmicas de la situacin. A largo!
plazo, la propia concepcin implcita de la justicia resulta significativa.
Sospecho que la concepcin que cada persona tenga de la justicia sera
mucho ms variada, idiosincrsica, dependiente de la situacin e i ncoherente
que la mayor parte de las grandes teoras aqu expuestas. Sl o muy pocas
personas tienen la capacidad de articular una teora coherente de la justicies
sus nombres figuran en las portadas de los libros. El eval uador no necesi t a
alinearse con ninguna de las grandes teoras (todas las cuales son def icit aj
ras) u organizar la suya propia. El evaluador s es profesionalmente res*
ponsable de utilizar estas teoras como mojones que nos i ndican dndel
estamos y adonde queremos llegar. Sirven como orientaciones para nuestra
rumbo.
T e r c e r a p a r t e
Los principios de la evaluacin
Por tanto, wespetar al otro como persona moral supone tratar dei
comprender sus Aspiraciones e Intereses desde su punto de vistay
presentarl^Bksideraciones que le hagan posible aceptar as limita
ciones de su Spnducta.
John Rawls.
A Theory of J ustice, 1971, pg. 338.
determinados valores. En el siguiente apartado defender que una t eorf t f l
adecuada de la justicia ha de tener en cuenta los valores de i gual dad!
moral, autonoma moral, imparcialidad y reciprocidad, as como el pri nci pi o*
sumativo de utilidad.
Este juicio no constituye una denuncia universal de todo el pensami ent o!
utilitarista en la evaluacin. En muchos casos, este pensamiento es adecuadM
sin que nos lleve por mal camino. Por ejemplo, la evaluacin de un pl arf l
destinado a lograr la mejor utilizacin de las camas hospitalarias puede!
girar en torno a la idea de eficacia, con exclusin de la mayora de l a s !
consideraciones adicionales. El pensamiento utilitarista comi enza a ser i na<9
Por regla general, como indicaba al comienzo de este captulo, la t eora!
de la justicia que podamos mantener no determina el tipo de eval uaci l j !
que efectuemos. Hay otros muchos factores que influyen en ella. La t eora!
propia acta de manera subrepticia y sutil. Si el eval uador es util itarista!!
volver una y otra vez sobre las condiciones monetarias y de utilidad. Si e s !
pluralista poltico, reflejar las opiniones de ios distintos grupos en rel aci n!
con el programa. Si es rawlsiano, considerar los derechos de los i ndi vi duos!
y los intereses de los menos favorecidos. Si es neomarxista, pondr d e !
manifiesto las desigualdades sociales y econmicas de ia situacin. A largo I
Sospecho que la concepcin que cada persona tenga de la justicia ser !
mucho ms variada, idiosincrsica, dependiente de la situacin e i ncoherent e!
que la mayor parte de las grandes teoras aqu expuestas. Slo muy p o c a
personas tienen la capacidad de articular una teora coherente de la j ust i ci a;^!
sus nombres figuran en las portadas de los libros. El eval uador no necesita
alinearse con ninguna de las grandes teoras (todas las cual es son def icital
rias) u organizar la suya propia El evaluador s es profesionalmente resl
ponsable de utilizar estas teoras como mojones que nos i ndican dndei
estamos y adonde queremos llegar. Sirven como orientaciones para nuestra
rumbo.
128 Eval uaci n, ti ca y podg^H
Por tantourespetar a l otro como persona moral supone tratar de 1
comprender SLMîspiraciones e intereses desde su punto de vista y
presentarl^mosideraciones que le hagan posible aceptar las limita
ciones de simonducta.
l
John Rawls.
A Theory of Justice, 1971, pg. 338.
Eval uaci n, tica y poder]
determinados valores. En el siguiente apartado defender que una teorfd
adecuada de la justicia ha de tener en cuenta los valores de igualdad
moral, autonoma moral, Imparcialidad y reciprocidad, as como el principio]
sumatlvo de utilidad.
Este Juicio no constituye una denuncia universal de todo el pensamiento
utilitarista en la evaluacin. En muchos casos, este pensamiento es adecuada
sin que nos lleve por mal camino. Por ejemplo, la evaluacin de un plan]
destinado a lograr la mejor utilizacin de las camas hospitalarias pueda!
girar en torno a la idea de eficacia, con exclusin de la mayora de las]
consideraciones adicionales. El pensamiento utilitarista comienza a ser ina!
Por regla general, como indicaba al comienzo de este captulo, la teora!
de la justicia que podamos mantener no determina el tipo de eval uaci n
que efectuemos. Hay otros muchos factores que influyen en ella. La t eora
propia acta de manera subrepticia y sutil. Si el evaluador es utilitarista!
volver una y otra vez sobre las condiciones monetarias y de utilidad. Si es!
pluralista poltico, reflejar las opiniones de los distintos grupos en rel aci n
con el programa. Si es rawlsiano, considerar los derechos de los individuos!
y los intereses de los menos favorecidos. Si es neomarxista, pondr de!
manifiesto las desigualdades sociales y econmicas de la situacin. A largo !
Sospecho que la concepcin que cada persona tenga de la justicia ser!
mucho ms variada, idiosincrsica, dependiente de la situacin e i ncoherente
que la mayor parte de las grandes teoras aqu expuestas. Slo muy pocfl
personas tienen la capacidad de articular una teora coherente de la j ust i ci al
sus nombres figuran en las portadas de los libros. El evaluador no necesita!
alinearse con ninguna de las grandes teoras (todas las cuales son deficitaS
rias) u organizar la suya propia. El evaluador s es profesionalmente r es
ponsable de utilizar estas teoras como mojones que nos indican dnde!
estamos y adnde queremos llegar. Sirven como orientaciones para nuestro!
rumbo.
m \
Por tanto, fespetar al otro como persona moral supone tratar de
comprender sus aspiraciones e intereses desde su punto de vista y
presentarle consideraciones que le hagan posible aceptarlas limita
ciones de smSpnducta.
John Rawl s.
A Theory ofJustice, 1971, pg. 338.
c a p t u l o Vi l
La democrat i zaci n de la evaluacin
La poltica de la eleccin
Desde el punto de vista histrico, en los pases occidentales, el estado
liberal ha precedido al gobierno democrtico. La sociedad liberal qued
conceptuada corno un mercado competitivo en el que el individuo gozaba
de libertad para hacer la mejor adquisicin para s mismo en casi cualquier
materia. La idea liberal fundamental era que el sistema social se organiza
segn el principio de la libertad de eleccin. La democracia liberal consiste
en la poltica de la eleccin (Ma c p h e r s o n , 1965, pg. 33).
La esencia del liberalismo... es la visin de una sociedad constituida por
unidades independientes y autnomas que slo cooperan cuando las bases de
colaboracin favorecen los fines de las partes. Las relaciones de mercado cons
tituyen el paradigma de esa cooperacin, recogido con precisin en la idea de
que el paso del feudalismo a la era liberal de mediados del siglo xj x fue el
cambio de la categora social al contrato y que los desarrollos posteriores
invirtieron el proceso una vez ms. El contrato constituye incluso el modelo de
relaciones pocp prometedoras como las polticas, en las que las leyes benefician
a unos a expensas de otros. Se dice que el sistema en su conjunto beneficia a
todos, de -nanera que todos estarn de antemano de acuerdo con su existencia.
(Bar r y, 1973, pg. 16&
En realidad, el liberalismo fue liberador. Desde el siglo xvii hasta e xix
l'ber a las personas de las costumbres y la autoridad. Sustituy las rete'
ciones basadas en la categora social por las del contrato impersonal y de
êrcado. Aunque el proceso liberador trajo, como subproducto, grandes
desigualdades de riqueza, stas se consideraban como un paso Inevitabte
Vrazonable, Las desigualdades no eran nuevas.
En estas sociedades liberales, incluso el gobierno tuvo que hacerse
Evaluacin, tica y pod0r;
ms responsable al quedar en una situacin de mercado. Se le conceba
como proveedor de bienes polticos de entre los cuales los consumidores
seleccionaban sus preferencias. Diversos partidos polticos se hicieron res,
ponsables ante sus votantes mediante el procedimiento de las el ecci ones,]
De este modo, el gobierno tuvo que responder a los Intereses del electorado j
aunque ste no era en absoluto democrtico. Al principio, estaba const it uido!
por una reducida ellte de varones ricos y de clase alta. La opcin de l
gobierno slo se ofreca a esta elte y el gobierno responda a los intereses 1
de la misma.
La democracia surgi con vacilaciones. A travs de los mecani smos de 1
libre expresin y reunin, las clases inferiores exigieron el derecho al voto. l
Sobre la base de la igualdad de derechos individuales y de oport uni dades, I
reclamaron derechos y libertades semejantes a las alcanzadas por las I
clases superiores. Dentro de la lgica del liberalismo, les pareca injusto!
carecer de opcin de gobierno y, por tanto, de representacin de sus propios I
intereses. Una vez franqueadas las barreras, las clases inferiores no utilizaron I
el voto para derrocar a las clases superiores, sino para adoptar una postura j
competitiva en beneficio de sus propios intereses.
La forma liberal de democracia difera notablemente de las no liberales I
surgidas ms tarde en los pases comunistas y en vas de desarrollo. Tanto j
unos como otros se oponan a la idea de la sociedad de mercado. Las I
sociedades comunistas consideraban la democracia como un tipo de go- j
bierno por o para las personas corrientes. El proletariado fijara las reglas
hasta llegar a una sociedad sin clases. En tal marco, no caban las libertades ]
liberales.
En cambio, las sociedades en vas de desarrollo se oponan a menudo 1
tanto a la idea de mercado como a la de clases, considerando la democracia 1
como el gobierno segn la "voluntad general" de todas las personas de un |
pas. Con frecuencia, un nico partido poltico, en vez del triunfador en unas 1
elecciones, dominaba el gobierno para llevar a efecto la voluntad general, 1
sin que fuese posible la competicin entre partidos polticos en una sociedad j
tradicional y no mercantil. El significado de la eleccin, en estos tres tipos 1
de sociedades polticas, es diferente.
Asf, la igualdad era una idea fundamental pero, en las democraci as J
liberales, se combinaba con las ideas de eleccin, competicin y soci edad I
de mercado. Aunque las ideas liberales se democratizaron ms, ampl i ando I
su vigencia a grupos diversos y extendiendo el mbito de las deci si ones I
pblicas, el principio de eleccin sigui siendo fundamental. Propongo, como 9
fundamento orientador de las evaluaciones en estas democracias l iberal es, 1
el principio de igualdad de eleccin, premisa que combina la i gual dad y 'a I
eleccin.
Aunque coherente con las dos ideas fundamentales de la demo- 1
erada liberal, la igualdad de eleccin difiere significativamente de la Pu,a J
postura liberal de la que se deriva, de manera tcita, una gran parte de las I
polticas y evaluaciones actuales. El principio liberal estricto d e e le c ci n
exigira que se favoreciese al mximo ia eleccin con i ndependenci a de s J
# EdnttnM Morabi, S. I
l i m n de la'eval uaci n
tribucin. El principio democrtico liberal de igualdad de eleccin no slo
Qui ere Que 80 maxi mi ce ,a el ecci n, si no que se distribuya por igual. La
Ifmocracia liberal pasa a ser no sl o la poltica de favorecer ai mximo ia
eleccin, sino tambin la poltica de distribuirla.
valuacin democrtica liberal
El concepto de un procedimiento de evaluacin formal y pblico para
ayudar a elegir polticas y programas pblicos se deriva en s de la idea
libara! de eleccin. En la medida en que hace referencia a las clases
inferiores o a todos los ciudadanos, tambin es democrtica Con frecuencia,
laeleccin de programas y polticas se hace sobre la base de las preferen
cias e intereses privados. Nada en la evaluacin liberal (que favorece la
eleccin al mximo) impide que se utilice para fines privados.
Tan fcil es evaluar para un rey como para el pblico y no hay nada en
las ideas liberales que lo impida. En realidad, habra que estimular la eva
luacin en beneficio de los intereses privados. En su forma ms extrema, el
evaluador actuara en beneficio de los intereses de quien pagara la eva
luacin. La liberal se juzgara segn la utilidad que tuviera para sus destina
tarios, con independencia de quines fueran. Pero la evaluacin de un
programa pblico transforma la opcin en una decisin pblica deliberada
El servicio a los intereses privados no puede constituir el criterio ltimo de
la evaluacin. La utilidad no puede ser el valor primordial. La evaluacin
democrtica liberal tiene que considerar el inters social y pblico por
encima de los intereses privados de los individuos.
Los principales enfoques modernos de la evaluacin dan por supuesta
la libertad de eleccin. Tambin presuponen una metodologa individualista,
una orientacin emprica y un mercado de ideas libre, en el que los consu
midores comprarn las mejores. Todos son liberales en la medida en que
se basan en el concepto de la sociedad de mercado, competitiva e indivi
dualista. Sin embargo, difieren considerablemente respecto a las elecciones
Que se hagan, a quin se elija y al fundamento en el que se base la
eleccin. En otras palabras, difieren en cuanto a sus tendencias democr
ticas.
En la prctica, la evaluacin puede democratizarse an ms ampliando
opciones evaluativas a todos los grupos y extendiendo la evaluacin
Pblica a todas las opciones pblicas. Esto puede lograrse expandiendo el
P de datos que se recojan, centrando la evaluacin en los niveles ms
altos de decisin, ampliando el mbito de destinatarios y grupos de referencia.
V extendiendo las opciones hasta incluir el mismo mtodo de evaluacin.
sts cambios estaran orientados a ampliar el mbito de aplicacin del
Pnncipio de igualdad de eleccin en la evaluacin, del mismo modo que la
baldad de oportunidades ha ampliado su mbito en la sociedad en general
La idea fundamental de igualdad consiste en tomar a cada uno (o a!
ruPo designado) como nico grupo de referencia. Si las personas red-
132
Evaluacin, t i ca y pcxjeJ
ms responsable al quedar en una situacin de mercado. Se le conceba
como proveedor de bienes polticos de entre los cuales los consumidores
seleccionaban sus preferencias. Diversos partidos polticos se hicieron res
ponsables ante sus votantes mediante el procedimiento de las elecciones.!
De este modo, el gobierno tuvo que responder a los intereses del electorado
aunque ste no era en absoluto democrtico. Al principio, estaba constituido)
por una reducida elite de varones ricos y de clase alta. La opcin de
gobierno slo se ofreca a esta elite y el gobierno responda a los intereses i
de la misma
La democracia surgi con vacilaciones. A travs de los mecanismos del
libre expresin y reunin, las clases inferiores exigieron el derecho al voto.]
Sobre la base de la igualdad de derechos individuales y de oportunidades, I
reclamaron derechos y libertades semejantes a las alcanzadas por las]
clases superiores. Dentro de la lgica del liberalismo, les pareca injusto]
carecer de opcin de gobierno y, por tanto, de representacin de sus propios I
intereses. Una vez franqueadas las barreras, las clases inferiores no utilizaron ]
el voto para derrocar a las clases superiores, sino para adoptar una postura ]
La forma liberal de democracia difera notablemente de las no liberales i
surgidas ms tarde en los pases comunistas y en vas de desarrollo. Tanto I
sociedades comunistas consideraban la democracia como un tipo de go-1
bierno por o para las personas corrientes. El proletariado fijara las reglas!
hasta llegar a una sociedad sin clases. En tal marco, no caban las libertades I
liberales.
En cambio, las sociedades en vas de desarrollo se oponan a menudo i
tanto a la idea de mercado como a la de clases, considerando la democracia 1
como el gobierno segn la voluntad general de todas las personas de un
pas. Con frecuencia, un nico partido poltico, en vez del triunfador en unas I
elecciones, dominaba el gobierno para llevar a efecto la voluntad general, I
sin que fuese posible la competicin entre partidos polticos en una sociedad I
tradicional y no mercantil. El significado de la eleccin, en estos tres tipos I
As, la igualdad era una idea fundamental pero, en las democracias fl
liberales, se combinaba con las deas de eleccin, competicin y sociedad I
de mercado. Aunque las ideas liberales se democratizaron ms, ampliando I
su vigencia a grupos diversos y extendiendo el mbito de las decisiones I
pblicas, el principio de eleccin sigui siendo fundamental Propongo, como I
fundamento orientador de las evaluaciones en estas democracias liberales, I
el principio de igualdad de eleccin, premisa que combina la igualdad y Ia I
eleccin.
Aunque coherente con las dos ideas fundamentales de la demo-1
cracia liberal, la igualdad de eleccin difiere significativamente de la Pura I
postura liberal de la que se deriva, de manera tcita, una gran parte de l#j
polticas y evaluaciones actuales. El principio liberal estricto de eleccin i
exigira que se favoreciese ai mximo la eleccin con independencia de s i
$ Edkwn*t Morata, 8. L
bucin. El principio democrtico liberal de igualdad de eleccin no slo
di iere que se maximice la eleccin, sino que se distribuya por igual. La
remocracia liberal pasa a ser no slo la poltica de favorecer al mximo la
leccin, sino tambin la poltica de distribuirla.
valuacin'democrtica liberal
eral de eleccin. En la medida en que hace referencia a las clases
inferiores o a todos los ciudadanos, tambin es democrtica. Con frecuencia,
laeleccin de programas y polticas se hace sobre la base de las preferen
laevaluacin. La utilidad no puede ser el valor primordial. La evaluacin
encima de los Intereses privados de los individuos.
se basan en e| eoncepto de la sociedad de mercado, competitiva e indivi
que se hagan, a quin se elija y al fundamento en el que se base la
ticas. <
En la prctica, la evaluacin puede democratizarse an ms ampliando
,as opciones evaluativas a todos los grupos y extendiendo la evaluacin
pblica a todas las opciones pblicas. Esto puede lograrse expandiendo el
Pde datos que se recojan, centrando la evaluacin en los niveles ms
altos de decisin, ampliando el mbito de destinatarios y grupos de referencia.
Vextendiendo las opciones hasta incluir el mismo mtodo de evaluacin,
stos cambios estaran orientados a ampliar el mbito de aplicacin del
Pnncipio de igualdad de eleccin en la evaluacin, del mismo modo que la
yualdad de oportunidades ha ampliado su mbito en la sociedad en general,
qru ûnc*amental de igualdad consiste en tomar a cada uno (o a<
Po designado) como nico grupo de referencia. Si las personas reci-
de la aval uaci n____________________ ______________________ 133
Eval uaci n, tica v
Tpt 7v:y ................
ma responsable al quedar en una situacin de mercado. Se le conceba
como proveedor de bienes polticos de entre los cuales los consumidore!
seleccionaban sus preferencias. Diversos partidos polticos se hicieron res!
ponsables ante sus votantes medante el procedimiento de las lecciones
De este modo, el gobierno tuvo que responder a los intereses del electorado
aunque ste no era en absoluto democrtico. Al principio, estaba constituido
por una reducida ellte de varones ricos y de clase alta. La opcin de
gobierno slo se ofreca a esta ellte y el gobierno responda a los intereses
de la misma.
La democracia surgi con vacilaciones. A travs de los mecanismos de I
libre expresin y reunin, las clases inferiores exigieron el derecho al voto. I
Sobre la base de la igualdad de derechos individuales y de oportunidades, I
reclamaron derechos y libertades semejantes a las al canzadas por las I
clases superiores. Dentro de la lgica del liberalismo, les pareca injusto I
carecer do opcin de gobierno y, por tanto, de representacin de sus propios 1
Intereses, Una vez franqueadas las barreras, las clases inferiores no utilizaron I
el voto para derrocar a las clases superiores, sino para adoptar una postura I
La orma liberal de democracia difera notablemente de las no liberales I
surgidas ms tarde en los pases comunistas y en vas de desarrollo. Tanto I
sociedades comunistas consideraban la democracia como un tipo de go-1
bierno por o para las personas corrientes. El proletariado fijara las reglas I
hasta llegar a una sociedad sin clases. En tal marco, no caban las libertades I
liberales.
En cambio, las sociedades en vas de desarrollo se oponan a menudo 1
tanto a la idea de mercado como a la de clases, considerando la democracia I
como el gobierno segn la "voluntad general" de todas las personas de un I
pas. Con frecuencia, un nico partido poltico, en vez del triunfador en unas I
elecciones, dominaba el gobierno para llevar a efecto la voluntad general, I
sin que fuese posible la competicin entre partidos polticos en una sociedad I
tradicional y no mercantil. El significado de la eleccin, en estos tres tipos 1
As, la igualdad era una idea fundamental pero, en las democracias I
liberales, se combinaba con las ideas de eleccin, competicin y sociedad 1
de mercado. Aunque las ideas liberales se democratizaron ms, ampliando I
su vigencia a grupos diversos y extendiendo el mbito de las decisiones I
publicas, el principio de eleccin sigui siendo fundamental. Propongo, como I
fundamento orientador de las evaluaciones en estas democracias liberales, I
el principio de igualdad de eleccin, premisa que combina la igualdad y Ia I I
leccin.
Aunque coherente con las dos ideas fundamentales de la demo- I
cracia liberal, la igualdad de eleccin difiere significativamente de la Pura I
postura liberal de la que se deriva, de manera tcita, una gran parte de |aSI
polticas y evaluaciones actuales. El principio liberal estricto de eleccin I
exigira que se favoreciese al mximo la eleccin con independencia de su |
# niflniHH tiflnr fl 1
^âzacin de la evaluacin
distribucin. El principio democrtico liberal de igualdad de eleccin no slo
eouiere que se maximice la eleccin, sino que se distribuya por igual. La
democracia liberal pasa a ser no slo la poltica de favorecer al mximo la
eleccin, si no tambin la poltica de distribuida
valuacin democrtica liberal
liberal de eleccin. En la medida en que hace referencia a las clases
inferiores o a todos los ciudadanos, tambin es democrtica Con frecuencia
la eleccin de programas y polticas se hace sobre la base de las preferen
la evaluacin. La utilidad no puede ser el valor primordial. La evaluacin
encima de los intereses privados de los individuos.
se basan en el concepto de la sociedad de mercado, competitiva e indivi
que se hagan, a quin se elija y al fundamento en el que se base la
ticas.
En (a prctica, la evaluacin puede democratizarse an ms ampliando
les opciones evaluativas a todos los grupos y extendiendo la evaluacin
pblica a todas las opciones pblicas. Esto puede lograrse expandiendo el
tipo de datos que se recojan, centrando la evaluacin en los niveles ms
altos de decisin, ampliando el mbito de destinatarios y grupos de referencia
y extendiendo las opciones hasta incluir el mismo mtodo de evaluacin.
Estos cambios estaran orientados a ampliar el mbito de aplicacin de*
principio de igualdad de eleccin en la evaluacin, del mismo modo que la
baldad de oportunidades ha ampliado su mbito en la sociedad en general
La idea fundamental de igualdad consiste en tomar a cada uno (o ai
9rupo designado) como nico grupo de referencia Si las personas reo
134 Evaluacin, ti ca y P0(^ i
ben un tratamiento diferente, hemos de justificar esto con principios o razo
nes de peso (Barry, 1965). La evaluacin se desarrolla necesariamente a
partir de un punto de vista que incluye algn grupo concreto de referencia!
Este grupo est constituido por el conjunto de personas que el evaluador!
tiene en cuenta al realizar su evaluacin. De modo ms preciso, el grupo de
referencia es el conjunto de personas cuyos intereses no pueden pasarse
por alto.
El grupo de referencia debe identificarse con anterioridad a la evaluacin!
Puede o no coincidir con los destinatarios de la misma. Por ejemplo, el]
evaluador puede dirigir la evaluacin a un responsable clave de las deci-J
siones gubernamentales, aunque el grupo de referencia aqul cuyos inte-]
reses se consideranno sea independiente. ste no tiene por qu tener]
noticia del programa de evaluacin llevado a cabo en su beneficio.
Dicho grupo pueden ser muy pequeo uno mismo o la propia familia,1
como cuando compramos un coche, o muy grande los consumidores y ]
usuarios, como en algunas evaluaciones de programas pblicos. Aunque!
la idea fundamental de igualdad llevara a tomar a cada persona como!
grupo de referencia, esto planteara un grave problema en cada evaluacin.!
Creo que el grupo de referencia adecuado para una evaluacin debe estar!
constituido por los afectados por el programa o poltica en cuestin. En el !
terreno prctico, esto reduce el mbito sometido a consideracin y permite!
prestar especial atencin a los grupos afectados especialmente por un!
programa o poltica.
Intereses
La evaluacin moderna no constituye de por s un procedimiento de
decisin social, sino que forma parte de uno para la asignacin de recur
sos. Prev algn tipo de situacin en la que se toman decisiones soci al es.
En este proceso, el papel de la evaluacin se limita a la persuasin racional
sobre la base de principios y valores comunes.
La evaluacin lleva consigo la manipulacin de hechos y argument os]
con el fin de valorar o determinar la conveniencia de algo. Un conj unt o de
principios o valores sirve de fundamento para juzgar. Los criterios usados
pueden limitarse a uno, como el utilitarista de elevar al mximo la uti li dad, o
una mezcla de criterios sin prioridades determinadas de antemano, comol
en la postura pluralista.
Al hacer juicios polticos en una democracia liberal, hay dos t i pos de
principios o consideraciones: premisas relacionadas con la pret ensi n y *
premisas relativas a los ideales. Las primeras dan por sentados los deseos]
o pretensiones de las personas e indican cmo se satisfarn o se di st ri bui r]
la satisfaccin de los mismos, sin juzgarlos en s. Por otra parte, las premisas.
relativas a los ideales especifican que algunas pretensiones son mej ores
que otras y la accin pblica debe estimularlas. Por ejemplo, la pret ensi n!
a favor de las artes puede considerarse ms importante que la rel at i va a ls j
# fjUaonn Mor ata, 8. L
.0c or i o que deber proporcionarse apoyo pblico a la primera
< Tl 9 6 5 ) .
* iin caracterstica del liberalismo es que las decisiones pblicas se
n sobre todo teniendo en cuenta las premisas referidas a las preten
des A efectos pblicos, stas se toman tal como se plantean, sin juzgar
na es ms conveniente que otra. En el plano pblico, slo se hacen
SI-rios respecto a las pretensiones. Por supuesto, los individuos tienen
tenalibertad para actuar en sus vidas privadas segn sus ideales.
El liberalismo slo considera legtimas las pretensiones que surgen fuera
, I mbito de influencia del Estado. Como no puede considerarse que
nadietenga mejor gusto ni juicio que cualquier otro, la opinin de uno vale
tantocomo la de cualquier otro a efectos polticos. El nico criterio de bon
dadse convierte en la satisfaccin de los deseos (Bar r y, 1965). En cambio,
lasposturas no liberales juzgan que determinadas pretensiones son ms
importantes y dignas del apoyo pblico que otras. Un perfeccionista o un
marxistacree que hay que dar cumplimiento a ciertas pretensiones humanas
perono a otras. Los ideales para juzgar se introducen desde el primer
momento. A veces, se cuestiona la misma autenticidad de las pretensiones
expresadas, lo que indica la posibilidad de la evaluacin no liberal.
En la tradicin liberal, sin embargo, las pretensiones se toman tal como
seexpresan y la cuestin se plantea en trminos de agregar en bruto la
satisfaccin de la pretensin o distribuirla. Los principios de agregacin en
brutose aplican a la consecucin de la mxima satisfaccin de las preten
siones, cuya idea clave consiste en el logro de los propios intereses. Los
principios distributivos suponen conceptos como el de justicia, equidad,
igualdad y libertad.
El principio bsico de agregacin es el de la mxima satisfaccin de las
pretensiones. Decir de alguien que est incluido en el grupo de referencia
deuna evaluacin es decir que en ella se tienen en cuenta sus "intereses".
Un programa o poltica forma parte de los intereses de una persona cuando
aumenta su oportunidad de conseguir lo que pretende. En otras palabras,
losintereses representan medios generalizados para cualquier finque
pueda plantearse una persona. Es posible que podamos proteger o incre
mentar los intereses de una persona, p. ej., su riqueza o poder, sin conocer
sn qu consisten sus fines ltimos (Ba r r y , 1965).
Segn esto, las personas tambin pueden equivocarse respecto a sus
propios intereses. Pueden querer un programa o poltica que no produzca,
encalidad, el resultado previsto, situacin en la que la evaluacin puede
^sultar especialmente til; o pueden elegir deliberadamente un programa o
Polticaopuesto a sus propios intereses. En general, el concepto de intere-
es sirve de orientacin til respecto a la magnitud y distribucin de la
isfaccin de las pretensiones y, por tanto, constituye un ndice utilizable
a evaluacin. Con frecuencia, se emplea implcitamente de este modo.
Polf ConcePto de intereses tambin es comparativo. Un programa o
con3 sl forma Parte de los intereses de alguien cuando se compara
otro programa o poltica o con el status quo. Las personas pueden
_______________________________________i *
134
ben un tratamiento diferente, hemos de justificar esto con pri nci pi os o ra?
nes de peso (Barry, 1965). La evaluacin se desarrolla necesari ament e 1
partir de un punto de vista que incluye algn grupo concreto de referencia*
Este grupo est constituido por el conjunto de personas que el evaluado i
tiene en cuenta al realizar su evaluacin. De modo ms preci so, el grupo de
referencia es el conjunto de personas cuyos intereses no pueden pasarse
por alto.
El grupo de referencia debe identificarse con anterioridad a la evaluacin j
Puede o no coincidir con los destinatarios de la misma. Por ejemplo, e|]
evaluador puede dirigir la evaluacin a un responsable clave de las deciJ
siones gubernamentales, aunque el grupo de referencia aqul cuyos inte-1
reses se consideran no sea independiente. ste no tiene por qu tener]
noticia del programa de evaluacin llevado a cabo en su beneficio.
Dicho grupo pueden ser muy pequeo uno mismo o la propia familiaI
como cuando compramos un coche, o muy grande los consumidores y j
usuarios, como en algunas evaluaciones de programas pblicos. Aunque!
la idea fundamental de igualdad llevara a tomar a cada persona comol
grupo de referencia, esto planteara un grave problema en cada evaluacin.!
Creo que el grupo de referencia adecuado para una evaluacin debe estar!
constituido por los afectados por el programa o poltica en cuestin. En el 1
terreno prctico, esto reduce el mbito sometido a consideracin y permite!
prestar especial atencin a los grupos afectados especialmente por un!
programa o poltica.
Intereses
La evaluacin moderna no constituye de por s un procedimiento de
decisin social, sino que forma parte de uno para la asignacin de recur
sos. Prev algn tipo de situacin en la que se toman decisiones sociales.
En este proceso, el papel de la evaluacin se limita a la persuasin racional'
sobre la base de principios y valores comunes.
La evaluacin lleva consigo la manipulacin de hechos y argumentos
con el fin de valorar o determinar la conveniencia de algo. Un conjunto de
principios o valores sirve de fundamento para juzgar. Los criterios usados
pueden limitarse a uno, como el utilitarista de elevar al mximo la utilidad, o i
una mezcla de criterios sin prioridades determinadas de antemano, como i
en la postura pluralista.
Al hacer juicios polticos en una democracia liberal, hay dos t i pos de
principios o consideraciones: premisas relacionadas con la pret ensi n y
premisas relativas a los ideales. Las primeras dan por sentados los deseos
o pretensiones de las personas e indican cmo se satisfarn o se di st ri bui r
la satisfaccin de los mismos, sin juzgarlos en s. Por otra parte, las premi sas j
relativas a los ideales especifican que algunas pretensiones son mej ores
que otras y la accin pblica debe estimularlas. Por ejemplo, la pret ensi n
a favor de las artes puede considerarse ms importante que la relativa a los
& Edi ci n# Morirta, 8 L.
ortes, Por lo que deber proporcionarse apoyo pblico a la primera
_rY 1965).
( l i n a caract erst i ca del liberalismo es que las decisiones pblicas se
an sobre t odo teniendo en cuenta las premisas referidas a las preten
d e s A ef ect os pblicos, stas se toman tai como se plantean, sin juzgar
Slijna es ms conveniente que otra. En el plano pblico, slo se hacen
sl. os respect o a las pretensiones. Por supuesto, los individuos tienen
*i na li bertad para actuar en sus vidas privadas segn sus ideales.
P l i beral i smo slo considera legtimas las pretensiones que surgen fuera
. I mbito de influencia del Estado. Como no puede considerarse que
adi t enga mej or gusto ni juicio que cualquier otro, la opinin de uno vale
tanto como l a de cualquier otro a efectos polticos. El nico criterio de bon
dad se convi ert e en la satisfaccin de los deseos (Bar r y, 1965). En cambio,
las posturas no liberales juzgan que determinadas pretensiones son ms
importantes y dignas del apoyo pblico que otras. Un perfeccionista o un
marxista cree que hay que dar cumplimiento a ciertas pretensiones humanas
pero no a ot ras. Los ideales para juzgar se introducen desde el primer
momento. A veces, se cuestiona la misma autenticidad de las pretensiones
expresadas, l o que indica la posibilidad de la evaluacin no liberal.
En la tradicin liberal, sin embargo, las pretensiones se toman tal como
se expresan y la cuestin se plantea en trminos de agregar en bruto la
satisfaccin de la pretensin o distribuirla. Los principios de agregacin en
bruto se aplican a la consecucin de la mxima satisfaccin de las preten
siones, cuya idea clave consiste en el logro de los propios intereses. Los
principios distributivos suponen conceptos como el de justicia, equidad,
igualdad y libertad.
El principio bsico de agregacin es el de la mxima satisfaccin de las
pretensiones. Decir de alguien que est incluido en el grupo de referencia
de una evaluacin es decir que en ella se tienen en cuenta sus intereses".
Un programa o poltica forma parte de los intereses de una persona cuando
aumenta su oportunidad de conseguir lo que pretende. En otras palabras,
los intereses! representan medios generalizados para cualquier fin que
pueda plantearse una persona. Es posible que podamos proteger o incre
mentar los intereses de una persona, p. ej., su riqueza o poder, sin conocer
en qu consisten sus fines ltimos (Bar r y, 1965).
Segn est o, l as personas tambin pueden equivocarse respecto a sus
propios i nt ereses. Pueden querer un programa o poltica que no produzca,
en realidad, el resultado previsto, situacin en la que la evaluacin puede
resultar especi al ment e til; o pueden elegir deliberadamente un programa o
Poltica opuest o a sus propios intereses. En general, el concepto de intere
ses si rve de orientacin til respecto a la magnitud y distribucin de la
satisfaccin de l as pretensiones y, por tanto, constituye un ndice utilizable
en la evaluaci n* Con frecuencia, se emplea implcitamente de este moda
Dnrt concePto de intereses tambin es comparativo. Un programa o
co s<^ f orma parte de los intereses de alguien cuando se compara
n tro programa o poltica o con el status quo. Las personas pueden
_______ -____________ ______
&)****$Man* $ i.
136 eval uaci n, ti ca v
ijêr
estar de acuerdo con ios resultados de determinado programa o poltica v
no respecto a que forme parte de los intereses de un grupo concreto. Corno
las personas pueden comparar deliberada o inconscientemente el programa
con otros competidores, la norma o clase de comparacin cambia y |0s
juicios ltimos sobre el xito del programa pueden variar.
Gran parte de las disputas en el campo de la evaluacin versa sobre ia
clase de comparacin respecto al programa o poltica, y no sobre los resul
tados empricos concretos. (Vase en el Apndice A la disputa entre Gl ass
y Scriven sobre la utilidad de ciertas grabaciones magnetofnicas educativas.)
El que un programa o poltica forme parte de los intereses del grupo de i
referencia depende de las opciones de una comparacin, eleccin que, con j
frecuencia, encubren las discusiones sobre la metodologa.
Muchos toricos importantes de la evaluacin presuponen implcitamente |
que el propsito de la evaluacin consiste en ayudar a los responsables de
las decisiones o a los mismos grupos de referencia a determinar los intereses
pertinentes de los diversos grupos (Cr o n b a c h , 1979). Para que la evaluacin
pueda hacerlo, es preciso que los intereses del grupo de referencia estn
representados de alguna manera en la evaluacin. El principio general
consiste en que en ella deben estar incluidos los intereses de todos los ]
afectados por el programa o poltica, aunque la forma de hacerlo sea una]
cuestin abierta.
En una evaluacin liberal pura, las pretensiones se dan por sentadas,
contando cada una como candidata a la satisfaccin. No se presta atencin j
a las derivaciones que de estas pretensiones hagan determinados grupos o
clases sociales. As, tenemos el aparato de las evaluaciones de necesida- j
des", que suelen ser conjuntos de pretensiones. En la medida en que
requieren que las personas juzguen directamente los programas, exigen
juicios inmediatos de intereses. Estas encuestas presentan casi siempre
sesgos de clase, a causa del muestreo de quienes responden y de su
metodologa. Solicitan informacin sobre la base de instrumentos que con
tienen categoras propias de profesionales de clase media (Ho u s e , 1973).
En cambio, las evaluaciones no liberales se basan en juicios respecto a
determinadas pretensiones e intereses. La desviacin ms comn es la de j
los profesionales que albergan fuertes sentimientos en relacin con lo que
debera ser una persona educada en sentido ideal. A veces, este ideal entra
en conflicto con las pretensiones manifestadas pblicamente sobre la edu
cacin. Muchos de los juicios de profesionales relacionados con los ideales
pueden incorporarse a la evaluacin; o el evaluador puede guiarse de
forma exclusiva por la idea de los sentimientos pblicos. Por supuesto, en
muchas cuestiones el juicio de profesionales puede ser superior al del
pblico.
Otra posibilidad en relacin con los ideales consiste en promover los
intereses de determinadas clases, como, por ejemplo, las inferiores. una
evaluacin de este tipo se basara en una concepcin ideal explcita de lo
que debera ser la sociedad y en la evaluacin se integraran val ores y
criterios derivados de este especial punto de vista sobre la soci edad. D
a n t e m a n o , se consideraran importantes ciertos aspectos. Los enfoques no
,iheral es, relacionados con i deal es, no tienen por qu promover la eleccin
11 | punt o de vi st a al que hemos dado preferencia aqu es el de la igualdad
a&el ecci n. Las personas deben tener la oportunidad de elegir, de manera
ue no les det er mi nen desde f uera las opciones, aunque favorezcan sus
oropios i nt ereses, pero las el ecciones deberan distribuirse de modo que
todos los gr upos y clases soci al es tuvieran las mismas oportunidades para
elegir- Habra que facilitar a los grupos sociales inferiores la oportunidad de
determi nar las opciones que ms les favorezcan.
0 inters pblico en la evaluacin
Cuando nos ocupamos de los intereses de una persona o de un grupo
reduci do, st os son privados. Aunque nada se opone a que la evaluacin
slo represent e intereses privados, es difcil que la evaluacin de progranas
y pol ti cas pbl i cos pueda restringirse de ese modo.
Casi siempre, los programas y polticas pblicos tienen que ver con los
intereses de un gran grupo de personas, como el de los minusvlidos,
los menos favorecidos o los superdotados. A nivel local, puede tratarse
de los de una determinada escuela o de un grupo concreto de alumnos de
una ciudad. Son intereses especiales. Aunque muchos programas guber
namentales se ocupen de grupos de inters especial, son ms los programas
o polticas que afectan a los intereses de dos o ms grupos a la vez. Un
programa para los minusvlidos no slo afecta a los estudiantes, sino tambin
a sus padres, profesores y patronos. Podemos decir que estos grupos
tienen intereses comunes . En una democracia liberal, la mayor parte de
los programas gubernamentales gozan del apoyo de grupos de intereses
especiales, pero son el resultado de la coalicin de intereses comunes. Los
evaluadores suelen tener que ocuparse de un programa o poltica que
refleja diversos intereses.
La evaluacin en s puede concebirse como una poltica resultante de
un inters comn. Las partes implicadas en ella estn de acuerdo en que
todas saldrn ganando con la evaluacin ya que determinar si el programa
en cuestin cumple ciertos criterios. Aunque los resultados de la evaluacin
no satisfagan a una de las partes y sea posible que, en realidad, daen sus
intereses, an podemos decir que en su conjunto sirve al bien comn.
Por l t i mo, tenemos el inters pblico. Se trata del que tienen en co
mn las personas, en cuanto miembros del pblico, entendiendo por publico'
una cant i dad indefinida de individuos no identificares y no unas personas
concretas (Ba r r y, 1965). El inters pblico puede o no ser ms fuerte o
digno de at enci n que el privado, especial o comn, pero se comparte (te
forma di f erent e.
. Supongamos dos intereses especiales, p. ej., los fabricantes de autom*
viles y l os sindicatos llegan, en beneficio mutuo, a un acuerdo que exige la
subida de precio de los coches. Qu ocurre con los intereses de las
la evaluacin_______________________ ^
Evaluacin, tica v *
IBP11 JLSêr
estar de acuerdo con los resultados de determinado programa o pol t ica w
no respecto a que forme parte de los Intereses de un grupo concret o. Como
las personas pueden comparar deliberada o Inconscientemente el programa
con otros competidores, la norma o clase de comparacin cambi a y |0jj
Gran parte de las disputas en el campo de la evaluacin versa sobre |a
clase de comparacin respecto al programa o poltica, y no sobre los resui.
tados empricos concretos. (Vase en el Apndice A la disputa ent re Gl ass
y Scwiven sobre la utilidad de ciertas grabaciones magnetofnicas educativas.) I
El que un programa o poltica forme parte de los intereses del grupo de
referencia depende de las opciones de una comparacin, el ecci n que, con
Muchos toricos importantes de la evaluacin presuponen Implcitamente
que el propsito de la evaluacin consiste en ayudar a los responsables de
las decisiones o a los mismos grupos de referencia a determinar los intereses
pertinentes de los diversos grupos (Cr o nba c h, 1979). Para que la evaluacin
pueda hacerlo, es preciso que los intereses del grupo de referencia estn
consiste en que en ella deben estar incluidos los intereses de todos los;
afectados por el programa o poltica, aunque la forma de hacerlo sea una
cuestin abierta.
En una evaluacin liberal pura, las pretensiones se dan por sentadas,
contando cada una como candidata a la satisfaccin. No se presta atencin !
clases sociales. As, tenemos el aparato de las evaluaciones de necesida
requieren que las personas juzguen directamente los programas, exigen i
juicios inmediatos de intereses. Estas encuestas presentan casi siempre
En cambio, las evaluaciones no liberales se basan en juicios respect o a
determinadas pretensiones e intereses. La desviacin ms comn es la de
deberla ser una persona educada en sentido ideal. A veces, este ideal entra
en conflicto con las pretensiones manifestadas pblicamente sobre la edu
cacin. Muchos de los juicios de profesionales relacionados con los i deal es
pueden incorporarse a la evaluacin; o el evaluador puede gui arse de
forma exclusiva por la idea de los sentimientos pblicos. Por supuest o, en
pblica
Otra posibilidad en relacin con los ideales consiste en pr omover los
intereses de determinadas clases, como, por ejemplo, las i nf eri ores. Un
evaluacin de este tipo se basarla en una concepcin ideal explcita de lo
que debera ser la sociedad y en la evaluacin se integraran val ores y
crtenos derivados de este especial punto de vista sobre la s o c i e d a d . De
ntemano, se consideraran importantes ciertos aspectos. Los enfoques no
f eral es, rel aci onados con i deal es, no tienen por qu promover la eleccin.
1 El punto de vista al que hemos dado preferencia aqu es el de la igualdad
ao eleccin. Las personas deben tener la oportunidad de elegir, de manera
ue no les determinen desde f uera las opciones, aunque favorezcan sus
Soplos intereses, pero las el ecci ones deberan distribuirse de modo que
todos los grupos y clases soci al es tuvieran las mismas oportunidades para
elegir. Habra que facilitar a l os grupos sociales inferiores la oportunidad de
determi nar las opciones que ms les favorezcan.
0 inters pblico en la evaluacin
reducido, stos son privados. Aunque nada se opone a que la evaluacin
slo represente intereses pri vados, es difcil que la evaluacin de programas
y polticas pblicos pueda restri ngi rse de ese modo.
los menos favorecidos o l os superdotados. A nivel local, puede tratarse
de los de una determinada escuel a o de un grupo concreto de alumnos de
una ciudad. Son Intereses especi al es . Aunque muchos programas guber
o polticas que afectan a l os i ntereses de dos o ms grupos a la vez. Un
programa para los mi nusvl i dos no slo afecta a los estudiantes, sino tambin
a sus padres, prof esores y patronos. Podemos decir que estos grupos
tienen intereses comunes. En una democracia liberal, la mayor parte de
los programas gubernament al es gozan del apoyo de grupos de intereses
especiales, pero son el resul t ado de la coalicin de intereses comunes. Los
evaluadores suelen t ener que ocuparse de un programa o poltica que
refleja diversos intereses.
un inters comn. Las part es implicadas en ella estn de acuerdo en que
todas saldrff-ganando con l a evaluacin ya que determinar si el programa
en cuestin cumple ciertos crit eri os. Aunque los resultados de la evaluacin
no satisfagan a una de las part es y sea posible que, en realidad, daen sus
intereses, an podemos deci r que en su conjunto sirve al bien comn.
Por ltimo, tenemos el i nt ers pblico. Se trata del que tienen en co
mn las personas, en cuanto miembros del pblico, entendiendo por pblico"
una cantidad indefinida de i ndi vi duos no identificares y no unas personas
concretas (Barry, 1965). El i nt ers pblico puede o no ser ms fuerte o
j%no de atencin que el pri vado, especial o comn, pero se comparte de
forma diferente.
Supongamos dos intereses especiales, p. ej., los fabricantes de autom
viles y ios sindicatos llegan, en beneficio mutuo, a un acuerdo que exige la
Subida de precio de los coches. Qu ocurre con los intereses de las
136 Eval uaci n, tica y po^,.
estar de acuerdo con los resultados de determinado programa o pol t i ca y
no respecto a que forme parte de los intereses de un grupo concret o. Como
las personas pueden comparar deliberada o inconscientemente el programa
con otros competidores, la norma o clase de comparacin cambi a y |0s
Gran parte de las disputas en el campo de la evaluacin versa sobre la
clase de comparacin respecto al programa o poltica, y no sobre l os resul
t ados empricos concretos. (Vase en el Apndice A la disputa ent re Gl ass
y Sc r i v en sobre la utilidad de ciertas grabaciones magnetofnicas educat i vas.)
El que un programa o poltica forme parte de los intereses del grupo de
referencia depende de las opciones de una comparacin, el ecci n que, con
Muchos toricos importantes de la evaluacin presuponen i mpl ci t ament e
que el propsito de la evaluacin consiste en ayudar a los responsabl es de
las decisiones o a los mismos grupos de referencia a determinar los i nt ereses
pertinentes de los diversos grupos (Cr o n b a c h , 1979). Para que la eval uaci n
pueda hacerlo, es preciso que los intereses del grupo de ref erenci a est n
consiste en que en ella deben estar incluidos los intereses de t odos los
afectados por el programa o poltica, aunque la forma de hacerl o sea una
cuestin abierta.
En una evaluacin liberal pura, las pretensiones se dan por sent adas,
contando cada una como candidata a la satisfaccin. No se prest a at enci n
clases sociales. As, tenemos el aparato de las evaluaciones de necesi da
requieren que las personas juzguen directamente los programas, exi gen
juicios inmediatos de intereses. Estas encuestas presentan casi si empre
En cambio, las evaluaciones no liberales se basan en j ui ci os respect o a
determinadas pretensiones e intereses. La desviacin ms comn es l a de
debera ser una persona educada en sentido ideal. A veces, est e i deal entra
en conflicto con las pretensiones manifestadas pblicamente sobre l a edu
cacin. Muchos de los juicios de profesionales relacionados con l os ideales
pueden incorporarse a la evaluacin; o el evaluador puede gui arse de
forma exclusiva por la idea de los sentimientos pblicos. Por supuest o, en
pblico.
Otra posibilidad en relacin con los ideales consiste en promover los
i ntereses de determinadas clases, como, por ejemplo, l as i nf eri ores. Una
evaluacin de este tipo se basara en una concepcin ideal expl ci t a de lo
que deberla ser la sociedad y en la evaluacin se i nt egraran val ores y
criterios derivados de este especial punto de vista sobre la soci edad. De
% Mgkmm Mor ata, 8 i
mano, s e c o n s i d e r a r a n importantes ciertos aspectos. Los enfoques no
aflte ,eS r e l a c i o n a d o s con ideales, no tienen por qu promover la eleccin.
|t,0ci ounto de v sta al que hemos dado preferencia aqu es el de la igualdad
l ecci n. La s p e r s o n a s deben tener la oportunidad de elegir, de manera
$ no les d e t e r m i n e n desde fuera las opciones, aunque favorezcan sus
^ ni0S intereses, p e r o las elecciones deberan distribuirse de modo que
P5L ios grupos y c l a s e s sociales tuvieran las mismas oportunidades para
i rir Habra 9ue fac^ ar a is 9ruPos sociales inferiores la oportunidad de
germinar las o p c i o n e s que ms les favorezcan.
g inters pblico en la evaluacin
Cuando nos o c u p a m o s de los intereses de una persona o de un grupo
reduci do, stos son pri vados . Aunque nada se opone a que la evaluacin
slo represente in t e r e s e s privados, es difcil que la evaluacin de programas
y polticas pbl icos p u e d a restringirse de ese modo.
Casi s i e mp re , los programas y polticas pblicos tienen que ver con los
intereses d e un g r a n grupo de personas, como el de los minusvlidos,
los menos f a v o r e c i d o s o los superdotados. A nivel local, puede tratarse
de los de u n a d e t e r m i n a d a escuela o de un grupo concreto de alumnos de
una ciudad. S o n in t e r e s e s especiales. Aunque muchos programas guber
namentales se o c u p e n d e grupos de inters especial, son ms los programas
o polticas q u e a f e c t a n a los intereses de dos o ms grupos a la vez. Un
programa pa ra los minusvlidos no slo afecta a los estudiantes, sino tambin
a sus padres, p r o f e s o r e s y patronos. Podemos decir que estos grupos
tienen inte rese s comunes . En una democracia liberal, la mayor parte de
los programas gubernamentales gozan del apoyo de grupos de intereses
especiales, p e ro so n el resultado de la coalicin de intereses comunes. Los
evaluadores s u e l e n tener que ocuparse de un programa o poltica que
refleja diversos in t e r e s e s .
La e v alu aci n en s puede concebirse como una poltica resultante de
un inters c o m n . Las par t es implicadas en ella estn de acuerdo en que
en cuestin cumpl e ci ert os criterios. Aunque los resultados de la evaluacin
no satisfagan a una de l as partes y sea posible que, en realidad, daen sus
intereses, an podemo s deci r que en su conjunto sirve al bien comn.
Por ltimo, t e n e m o s el inters pblico. Se trata del que tienen en co
mn las personas, en cuanto miembros del pblico, entendiendo por pblico
una cantidad in d e fin id a de individuos no identificables y no unas personas
concretas (Barrv, 1965). El inters pblico puede o no ser ms fuerte o
di9no de ate n ci n que el privado, especial o comn, pero se comparte de
forma diferente.
Supongamos dos intereses especiales, p. ej., los fabricantes de autom-
v'les y ios sindicatos llegan, en beneficio mutuo, a un acuerdo que exige la
subda de preci o de los coches. Qu ocurre con los intereses de las
de H avaluacin___________________
j tf zacin
130 Evaluacin, tica y pod8r fl
estar de acuerdo con los resultados de determinado programa o poltica y 1
no respecto a que forme parte de los intereses de un grupo concreto. Como I
las personas pueden comparar deliberada o inconscientemente el programa I
con otros competidores, la norma o clase de comparacin cambia y i0s 1
Gran parte de las disputas en el campo de la evaluacin versa sobre la 1
clase de comparacin respecto al programa o poltica, y no sobre los resul- I
tados empricos concretos. (Vase en el Apndice A la disputa entre Gl ass 1
y Sc r iven sobre la utilidad de ciertas grabaciones magnetofnicas educativas.) 1
El que un programa o poltica forme parte de los intereses del grupo de i
referencia depende de las opciones de una comparacin, eleccin que, con 1
Muchos toricos importantes de la evaluacin presuponen implcitamente 1
que el propsito de la evaluacin consiste en ayudar a los responsables de 1
las decisiones o a los mismos grupos de referencia a determinar los intereses 1
pertinentes de los diversos grupos (Cr o nba c h, 1979). Para que la evaluacin 1
pueda hacerlo, es preciso que los intereses del grupo de referencia estn 1
representados de alguna manera en la evaluacin. El principio general I
consiste en que en ella deben estar incluidos los intereses de todos los 1
afectados por el programa o poltica, aunque la forma de hacerlo sea una 1
cuestin abierta.
En una evaluacin liberal pura, las pretensiones se dan por sentadas, 1
contando cada una como candidata a la satisfaccin. No se presta atencin 1
a las derivaciones que de estas pretensiones hagan determinados grupos o |
clases sociales. As, tenemos el aparato de las evaluaciones de necesida- 1
des", que suelen ser conjuntos de pretensiones. En la medida en que 1
requieren que las personas juzguen directamente los programas, exigen I
juicios inmediatos de intereses. Estas encuestas presentan casi siempre I
sesgos de clase, a causa del muestreo de quienes responden y de su 1
metodologa. Solicitan informacin sobre la base de instrumentos que con- 1
tienen categoras propias de profesionales de clase media (Ho use, 1973).
En cambio, las evaluaciones no liberales se basan en juicios respecto a
determinadas pretensiones e intereses. La desviacin ms comn es la de I
los profesionales que albergan fuertes sentimientos en relacin con lo que I
debera ser una persona educada en sentido ideal. A veces, este ideal entra fl
en conflicto con las pretensiones manifestadas pblicamente sobre la edu- 1
cacin. Muchos de los juicios de profesionales relacionados con los ideales fl
pueden incorporarse a la evaluacin; o el evaluador puede guiarse de fl
forma exclusiva por la idea de los sentimientos pblicos. Por supuesto, en fl
muchas cuestiones el juicio de profesionales puede ser superior al del 1
pblico.
Otra posibilidad en relacin con los ideales consiste en promover los fl
intereses de determinadas clases, como, por ejemplo, las inferiores. Una i
evaluacin de este tipo se basara en una concepcin ideal explcita de lo fl
que debera ser la sociedad y en la evaluacin se integraran valores y
criterios derivados de este especial punto de vista sobre la sociedad. De f l
# Etacww Moma, & l
1
mano, se consideraran importantes ciertos aspectos. Los enfoques no
aflt6rflles, rel acionados con ideales, no tienen por qu promover la eleccin,
li^pi punto de vista al que hemos dado preferencia aqu es el de la igualdad
l ecci n. Las personas deben tener la oportunidad de elegir, de manera
de no les determi nen desde fuera las opciones, aunque favorezcan sus
qUeD0s intereses, pero las el ecciones deberan distribuirse de modo que
Pf jL ios grupos y cl ases soci ales tuvieran las mismas oportunidades para
, nir Habra que f acilitar a los grupos sociales inferiores la oportunidad de
det ermi nar las opci ones que ms les favorezcan.
0inters pblico en la evaluacin
reducido, stos son pri vados . Aunque nada se opone a que la evaluacin
slo represente intereses privados, es difcil que la evaluacin de programas
polticas pblicos pueda restringirse de ese modo.
los menos f avoreci dos o los superdotados. A nivel local, puede tratarse
de los de una det ermi nada escuela o de un grupo concreto de alumnos de
una ciudad. Son i nt ereses especiales. Aunque muchos programas guber
o polticas que af ectan a los intereses de dos o ms grupos a la vez Un
programa para los minusvli dos no slo afecta a los estudiantes, sino tambin
a sus padres, prof esores y patronos. Podemos decir que estos grupos
tienen "intereses comunes . En una democracia liberal, la mayor parte de
los programas gubernament al es gozan del apoyo de grupos de intereses
especiales, pero son el resultado de la coalicin de intereses comunes. Los
evaluadores suelen tener que ocuparse de un programa o poltica que
refleja diversos i nt ereses.
un inters comn; Las partes implicadas en ella estn de acuerdo en que
en cuestin cumple ciert os criterios. Aunque los resultados de la evaluacin
no satisfagan a una de las partes y sea posible que, en realidad, daen sus
intereses, an podemos deci r que en su conjunto sirve al bien comn.
Por ltimo, t enemos el inters pblico. Se trata del que tienen en co
mn las personas, en cuanto miembros del pblico, entendiendo por pblico
una cantidad Indef ini da de individuos no identificares" y no unas personas
concretas {Ba r r y , 1965). El inters pblico puede o no ser ms fuerte o
digno de at enci n que el privado, especial o comn, pero se comparte de
forma diferente.
Supongamos dos i ntereses especiales, p. ej., los fabricantes de autom-
V|les y ios sindicatos l legan, en beneficio mutuo, a un acuerdo que exige la
subida de precio de ios coches. Qu ocurre con los intereses de las
_____________________________ 137
Eval uaci n, ti ca y pocjg.
personas que no participan del contrato, o sea, los consumidores? El inters
pblico abarca los intereses de estos miembros no identificados del p b l i c o
a quienes afectar aquella iniciativa. En este sentido, la pertenencia aj
pblico no se establece de antemano, sino que vara segn la cuestin y ej
contexto. Con frecuencia, se identifica el pblico con los consumidores,
quienes, por regla general, quieren ms y mejores bienes a menor precio' I
Sin embargo, no es difcil imaginar problemas en los cuales los consumidores j
puedan entrar en conflicto con otros segmentos del pblico, como los eco-1
legistas.
Siendo as, cmo podemos definir el inters pblico? La solucin no es 1
tan sencilla como cuando un individuo sopesa y decide su propio inters, 1
pues estn involucrados individuos diferentes. En este caso, el inters pblico i
se define a menudo como la suma de todos los intereses involucrados, lo l
que equivale a conseguir el mximo de satisfaccin sin contar con la distri-1
bucin de la misma. Una alternativa consiste en contemplar slo los intereses ]
que todas las personas tienen en comn (cuando existen intereses compar-1
tidos) y dejar de lado los divergentes.
Los distintos enfoques de la evaluacin reflejan de diversos modos los 1
intereses. Ya antes clasifiqu los ocho principales enfoques de la evaluacin 1
en dos grupos: los utilitaristas y los pluralistas/ intuicionistas. Los primeros I
tratan de llegar a un juicio general sobre la utilidad social, basado en un
nico principio o criterio dominante, que es el de agregacin de la mxima 1
satisfaccin bruta de las pretensiones.
El grupo utilitarista se subdivide en un subgrupo de gestin, que considera m
a los directivos como sus primordiales destinatarios, grupo de referencia o 1
ambas cosas, y un subgrupo que considera a los consumidores y usuarios I
como destinatarios, grupo de referencia o ambos. En el subgrupo de gestin, 1
el enfoque del anlisis de sistemas establece indicadores sociales, como las I
puntuaciones normalizadas de los tests, en calidad de medidas vicarias de 1
utilidad social, que se equiparan al inters pblico. Se supone que la satis- 1
faccin de los intereses de cualquier grupo social aumenta cuando se incre- 1
mentan sus puntuaciones. Cuando los intereses se oponen, se suman todos I
ellos. Es posible que la mayor elevacin de las puntuaciones en los tests Ja
maximice la satisfaccin de las pretensiones. Es ms, el inters pblico se 1
estructura en torno al mximo incremento en las puntuaciones por la mnima 1
cantidad de dinero. El "mejor programa ser el que consiga esto mismo, i
El enfoque por objetivos conductuales representa los intereses en su 1
definicin de objetivos. Si stos se cumplen al mximo, o se logran los m- ja
mmos establecidos, se satisfar el inters pblico. El evaluador mide los |
objetivos. En el enfoque de decisin, se presume que la postura oficial |
del responsable de la decisin representa el inters pblico. El cometido del f l
evaluador consiste en proporcionar al destinatario informacin que le permita
perfeccionar sus decisiones. Todos estos enfoques identifican el inters 1
pblico, ya se traduzca en ndices sociales, en objetivos formulados de I
manera pblica o en decisiones de funcionarios pblicos, con la e s t r u c t u r a I
oficial de gestin.
| | j ayaj uacj bn
naciones basadas en estos enfoques difieren entre s segn
ia$^directivos como destinatarios o tambin como grupo de referen
di rect i vos constituyen el grupo de referencia, la evaluacin ir en
SloS, . |0S intereses de stos ms que del pblico. Por desgracia, esto
e(\eW 0n demasiada frecuencia. Las evaluaciones se llevan a cabo
& facer intereses de gestin (especiales), lo que resulta inaceptable
para i marco de la teora de estos enfoques.
# enLrUpo de usuarios considera que el pblico est dividido entre
$ consumidores o usuarios. Sus destinatarios pueden ser tanto
Pr - o s como usuarios, pero el grupo de referencia estar constituido por
pi evaluador refleja los intereses del consumidor. El paradigma de
^'Jst ura es la Consumers Union. De nuevo, el inters pblico se identifica
esta con ej mejor producto al mnimo coste,
agrupo pluralista/intuicionista evala sobre la base de muy diversos
d o s sin especificar las prioridades entre los mismos. Se divide en un
prlharupoprofesional y otro participativo. Los profesionales creen que quienes
^conocimientos tienen y mejor informados estn sobre un campo concreto
oh ios que ms pueden decir al respecto. El inters pblico se satisfar
mejor si deciden los expertos. En cierto sentido, el juicio de decisin se
delega en el saber superior de ese grupo.
En la medida en que los subgrupos profesionales consideran que ellos
hacen avanzar los medios para conseguir fines pblicamente definidos, no
tienepor qu producirse un conflicto. Pero, por supuesto, los profesionales
poseen sus propios ideales muy caracterizados acerca de cmo debe ser
unapersona educada. Como las normas de evaluacin son con frecuencia
profesionales, esas normas pueden diferir de las pblicas. En este sentido,
lasevaluaciones profesionales pueden desviarse, para bien o para mal, de
losprincipios estrictos de satisfaccin de pretensiones, al emplear las con
sideraciones de los profesionales sobre los ideales. Adems, es difcil desligar
estas normas de los propios intereses profesionales. No hace mucho, se
han producido diversos intentos, desde los programas de tests de compe
tencia hasta los tribunales mdicos de revisin, para reafirmar las demandas
pblicas en estas evaluaciones.
Por ltimo, el grupo participativo cree que la mejor manera de contribuir
al inters pblico consiste en que las personas participen en algn grado
la evaluacin. Los enfoques cuasijudiciales solicitan las opiniones de
quienes estn involucrados en el programa, incorporndolas, incluso al pie
la letra, alinforme. Los enfoques cuasijudiciales facilitan la participacin
aciendo que las partes afectadas presenten pruebas y argumentos en
Procedimientos cuasijudiciales. Estos enfoques no son pluralistas en la me-
cam8n Ûe se u^ ' zan diversos criterios para juzgar, pero s lo son polti-
nteren*e Qn tanto en cuanto en la evaluacin estn representados distintos
140 Eval uaci n, tica y pocjer
Concentracin de poder frente a difusin de poder
Es instructivo comparar dos enfoques de evaluacin que son extremada- 1
mente distintos en cuanto a la definicin del inters pblico; el primero, de I
concentracin de poder, y el segundo, de difusin del mismo. El paradig. 1
ma del enfoque de la concentracin de poder es la poltica de evaluacin 8
de la U.S. Office ofEducation durante la pasada dcada (Mc La u g h l i n , 1975; I
Ho u s e, 1978b). Implica que el gobierno central puede definir mejor el inters 1
pblico. Los representantes son elegidos y ellos nombran una burocracia. 1
Esta define la poltica y toma determinaciones autorizadas. Puede trabajar 1
con un grupo de expertos que ayude en esta tarea (Ba r r y , 1965).
En realidad, el gobierno federal acta a menudo como si decidiera qu 1
programas sociales son mejores, utilizando una variante del enfoque del 1
anlisis de sistemas para evaluar programas pblicos. Los indicadores so- I
ciales en educacin, puntuaciones obtenidas en tests normalizados, casi 1
siempre se utilizan como ndice del inters pblico. El poder y las decisio- 1
nes se concentran en los funcionarios, evaluadores e ndices del gobierno j
central
Por otra parte, la idea de la difusin de poder se remonta, al menos, I
hasta Hume, que deca: debe suponerse que todo hombre es un bellaco, j
sin otro fin, en todas sus acciones, que el inters privado. Segn esta tesis, 1
a nadie debe confiarse tal poder. Debe haber comprobaciones y equilibrios, i
tal como aparece en la Constitucin de los Estados Unidos. En educacin, I
la mejor representacin de la tesis de la difusin de poder quiz sea la 1
evaluacin democrtica, de MacDonal d, el enfoque ms explcitamente 1
democrtico de ios participativos.
En la evaluacin democrtica", el evaluador recoge ci t as de los partid- I
paes en el programa y, en su informe, redactado como estudio de casos, 1
refleja con fidelidad sus puntos de vista El evaluador es un intermediario 1
en los intercambios de informacin accesible a los no especialistas. Repre- I
senta un conjunto de intereses y no es posible que haga un mal uso de la I
informacin (MacDonal d, 1974). El evaluador no hace recomendaciones, 1
sino que presenta la informacin a los destinatarios para que la utilicen 1
como crean conveniente. En teora, el evaluador present a el informe de 1
evaluacin a las personas de las que ha recabado los datos, permitindoles 1
vetar la informacin que no deseen se incluya.
La evaluacin de Ma c Do n a l d parece tener present e una situacin de 1
decisin similar a la democracia directa, en la que l os ci udadanos discuten 1
cara a cara los problemas y deciden sobre ellos. A su vez, est o se basa en I
el punto de vsta clsico del liberalismo, en el que los i ndi vi duos se asocian 1
directamente para conseguir sus fines individuales, si n recurri r a las institu- I
ciones o al gobierno. Se facilita ai mximo la el ecci n del individuo. El 1
gobierno y, en este caso, el evaluador, slo es rbitro.
La comparacin de esta visin de la evaluacin con el enfoque del I
gobierno federal, sobre una base poltica y moral, resulta favorable a la I
primera Yo he criticado con severidad la poltica federal de evaluacin por 9
& Ettoonm Mor ala &. L
____
r intereses divergentes, por su tratamiento injusto y por deficiencias
i * a s e n su ej ecuci n ( H o u s e y cois., 1978). Incluso desarrollada ade-
m e n t e , la suposi ci n d e que los indicadores sociales representan en
cuad^ e) inters pbl i co es dudosa. Es ms frecuente que las evaluaciones
f0a enten intereses especiales. Tampoco las acciones del gobierno, uro-
rPre^ c v a menudo arbitrarias, refuerzan la calidad moral de las evala-
lateral
^ e n f o q u e de evaluacin de MacDonal o incluye de forma intencionada
reses diversos, permite q u e las personas reflejen los suyos propios y se
a en la idea del consentimiento mutuo. El concepto de democracia de
S o n a l d s0 aCerca mu c h o al de gobierno con el consentimiento del
bernado" o, en es t e caso, del evaluado. Por supuesto, hay otros conceptos
He democracia, s o bre todo los que tienen que ver con la distribucin de
bienes entre c l a s e s sociales. En comparacin con la poltica federal, con su
forma de imponer acciones sin autorizacin ni consulta, un enfoque basado
en el consentimiento tiene considerable atractivo.
Por otra parte, un e n fo q u e d e difusin de poder (porque la necesidad del
consent i mi ent o difunde el poder) no carece de problemas. Es bastarte
dudoso que la d e mo cra cia directa sea posible en una sociedad industrializada
y de masas, compuesta por grupos fragmentados. Las decisiones suelen
tomarse a nivel central o d e grupo, lo que puede requerir informacin dife
rente. Por supuesto, p u e d e afirmarse que las decisiones no deberan tomarse
en esos niveles, que s e traduc en en malos resultados de las mismas.
Tambin podemos p l a n t e a r si solicitar el consentimiento de cada persona
respecto de los resultados d e la evaluacin no llevar a un inters comn a
los participantes en el progra ma, pero dejando de lado el inters pblico.
Quedara excluida informacin valiosa? Presentara la evaluacin un sesgo
que favoreciese el s ta tu s q u o y no el comienzo de acciones?
En la prctica, garantizar el consentimiento de cada participante plantea
unos costes d e negociacin muy elevados. Efectuar sta con cada persona
puede exigir enormes cantidades de tiempo y energa De hecho, a causa
de esta dificultad, varias ev alu a c i o n e s de este tipo se han retrasado o no se
han terminado (Simons, 1 9 7 7 ) . Si los costes de negociacin son demasiado
altos, las personas se niegan a participar y dejan sin examinar el trabajo. La
negociacin sobre los resultados introduce tambin la posibilidad de que
personas poco escrupulosas hagan mal uso de la informacin (Eluott
1977). Una forma de reducir los costes de negociacin consiste en llevar a
cabo sta con representantes aunque, por supuesto, stos vuelven a con
centrar el poder.
Una dificultad final de estos procedimientos consiste en el cosle de t i
informacin ( B a r r y , 1 965). Al recoger y transmitir datos desde tos grupos
naca los responsables de las decisiones, pueden tener ms ventees tos
Pequeos grupos organizados. P a r a los grandes, carentes de t a m a desor
ganizados, como e l pblico en general o las clases mfenones ser muy
costoso formular sus puntos d e vista. Por tanto, aunque se muerr a w * te
onnacn total disponible a efectos de tomar decisiones, esa ljnwecdn
142 Eval uaci n, tica y pocjQr
puede Inclinar a favorecer intereses particulares y no a los del pbl i co en
general. En realidad, la difusin de poder puede facilitar la i nf l uenci a de
intereses especiales (Ba r r y , 1965).
Es obvio que todos los enfoques de evaluacin presentan di f icul tades.
Insisto en estos problemas para demostrar que no existe una panacea,
siquiera en una evaluacin concebida democrticamente. La eval uaci n
democrtica de Ma c Do n a l d no es lo bastante potente como para ref lejar
de forma adecuada los intereses de clase social, pero i nt roduce en la
evaluacin una idea moral extremadamente importante: la del consent i mi ent o
mutuo. ste se manifiesta en la eleccin. No obstante, yo pref eri ra que el
consentimiento se ejerciera en el acuerdo de evaluacin ms que en los
resultados.
Principios distributivos
Es inevitable que las pretensiones e intereses de las personas se opongan 1
entre s y es preciso que estos conflictos se resuelvan de al gn modo. 1
; Mientras los principios de agregacin slo tienen en cuenta la cant i dad 1
bruta de satisfaccin para un determinado grupo de referencia, l os pri nci pi os 1
distributivos, como la igualdad, la justicia y la equidad, se empl ean para 1
juzgar la forma de distribuir la satisfaccin de las pretensiones ent re los 1
miembros del grupo de referencia (Ba r r y , 1965). O, expresado de modo 1
ms preciso, los principios se utilizan para juzgar los procedimientos medi ante 1
los que se toman las decisiones de asignacin.
I
En una sociedad liberal, los procedimientos de deci si n soci al para la 1
resolucin de los conflictos son crticos. En el liberalismo hay pocas cues- 1
tiones esenciales en las que todo el mundo est de acuerdo, de manera 1
que no puede esperarse que las decisiones se tomen sobre la base de los I
resultados o de algn modelo ideal de distribucin, p. ej., medi ant e una 1
equidad absoluta. En cambio, deben justificarse sobre la base de l os proced- 1
mientos utilizados, entre los que se cuenta la evaluacin pbl i ca. Los pri nci -
pios distributivos suelen aplicarse a los mtodos de decisin ms que a las 1
decisiones mismas. Concibo la evaluacin como un procedi mi ent o de des- I
cubrimiento de hechos o descubrimiento de valores, preparat ori o de otro 1
referido a la asignacin real. Slo es un procedimiento de deci si n en la 1
medida en que determina pblicamente un estado de cosas sobre el que I
pueden basarse otras decisiones.
La idea fundamental de igualdad especifica que se consi dere que todas
las personas pertenecen a un nico grupo de referencia. Suponiendo que I
se haya definido ste de modo amplio o estricto, cmo han de distribuirse 1
las cosas entre ellas? La igualdad distributiva constituye una cuestin ms fl
contundente. La interpretacin fuerte especifica que un bi en ha de dividirse I
por igual, con independencia de cualesquiera caractersticas personales de i
los individuos del grupo de referencia. La interpretacin dbi l consiste en 1
que slo han de ser iguales las oportunidades para satisfacer l as pr et nsi o- 1
<8> EdknorttMoraia. S. L
rratiza c i n ^ ____________________________________143
d2S-
c\ ideal que abrazan las sociedades liberales consiste en la forma
pe5: favor de la i gualdad de oportunidades ms que del reparto efectivo.
tanto es m^s defender clue se Ocluyan en la evaluacin los
Pr de todos los grupos pertinentes que mantener que aquellos se
intefaaan por igual. Sl o se facilita la oportunidad.
La desigualdad de oportunidades surge a partir de la injusticia de los
edi mi ent os o de las condiciones de origen. Cuando no se siguen
p mt odos adecuados o cuando factores no pertinentes, como la raza o la
IC!se social, influyen en las decisiones, el procedimiento es injusto. Es
c bie que procedimientos y condiciones de origen justos llevasen a la
Ll dad de oportunidades.
En las evaluaciones, l os grupos no sol o se quejan con razn de que sus
ntereses no quedan ref l ej ados en el l as, sino tambin de los sesgos depen
dientes de instrumentos y anl i si s inadecuados, etc. La justicia de los pro
cedimi entos y de las si t uaci ones de origen cobra extrema importancia en
una situacin social en l a que el individuo tiene la oportunidad de participar
en una competicin par a l a sat i sf acci n de pretensiones, en la que hay que
luchar frente a otros i nt ereses para ganar.
La aplicacin de los pri nci pi os di stri buti vos depende de los procedimientos
concret os de decisin soci al que se utilicen. Bar r y (1965) identifica siete
tipos puros de procedimientos de decisin social: concurso de mritos,
combate, suerte, votacin, regat eo, competicin y determinacin de autoridad.
Las distintas eval uaciones anticipan tipos diferentes de procedimientos de
decisin social.
No es fcil ver cmo puede llevar la evaluacin a un procedimiento de
decisin como el combate. Podemos imaginar ste como una metfora
de la maniobra y el regateo pol t i cos, pero sera raro que se diese el autntico
combate (la imposicin de l a vol unt ad de un contendiente por la fuerza). Por
regla general, se convierte en regateo o competicin. De igual modo, es
raro que se d la suerte como procedimiento de determinacin. Podemos
imaginar la votacin, pero no suel e utilizarse. Quedan el regateo, el concurso
de mritos, la competicin y l a determinacin de autoridad.
Tanto el regateo como el concurso de mritos pueden formar parte de
las negociaciones; pero, en sent i do estricto, el regateo es una situacin en
laque una parte ofrece un benef i ci o o desventaja a la otra a cambio de que
sta lleve a cabo al guna acci n. Gran parte de las decisiones sociales
dependen del regateo, per o se no es el papel de la evaluacin. Podemos
maginar que sta se ut i l i ce como amenaza en una situacin de regateo,
pero es difcil pensar en al gn fundamento moral de la evaluacin que
utilice la amenaza y los i ncent i vos materiales en su diseo. El papel de la
evaluacin debe limitarse a l a persuasin en el proceso de decisin social,
ts una cuestin crtica que marca l os lmites entre la poltica y la moralt-
ad, sobre la cual volveremos. Para que la evaluacin tenga alguna autoridad
Jôral, no puede concebirse como regateo. Sus resultados no pueden Dte
nse mediante amenazas o i ncent i vos.
Todo ello hace que nuest ra discusin se centre en: el concurso de
E*akmato\ ca y p p ^
puede i ncli nar a f avorecer i ntereses parti cul ares y no a i os del pbl i co en
general. En reai (dad, la di fusi n de poder puede f acilitar l a i nf l uenci a de
i ntereses especi al es (8 a r r y , 1965).
Es obvio que todos los enf oques de eval uaci n present an di f i cult ades.
Insisto en estos probl emas para demost rar que no existe una panacea,
si qui era en una eval uaci n concebi da democrt i cament e. La eval uaci n
"democrtica" de MacDonal o no es lo bast ant e pot ent e como para ref l ejar
de f orma adecuada los i ntereses de cl ase soci al , pero i nt roduce en la
evaluacin una idea moral extremadament e importante: la del consent i mi ent o
mutuo. ste se manif iesta en la el ecci n. No obst ant e, yo pref eri ra que el
consenti miento se ej erci era en el acuerdo de eval uaci n ms que en los
resultad os.
Es inevitable que las pretensiones e intereses de las personas se opongan
entre s y es preciso que estos conflictos se resuelvan de algn modo.
Mientras los principios de agregacin slo tienen en cuenta la cantidad
bruta de satisfaccin para un determinado grupo de referencia, los principios
distributivos, como la igualdad, la justicia y la equidad, se emplean para
juzgar la forma de distribuir la satisfaccin de las pretensiones entre los
miembros del grupo de referencia (Barry, 1965). O, expresado de modo
ms preciso, los principios se utilizan para juzgar los procedimientos mediante
En una sociedad liberal, los procedimientos de decisin social para la
resolucin de los conflictos son crticos. En el liberalismo hay pocas cues
tiones esenciales en las que todo el mundo est de acuerdo, de manera
que no puede esperarse que las decisiones se tomen sobre la base de los
resultados o de algn modelo ideal de distribucin, p. ej., mediante una
equidad absoluta. En cambio, deben justificarse sobre la base de ios procedi
mientos utilizados, entre los que se cuenta la evaluacin pblica. Los princi
pios distributivos suelen aplicarse a los mtodos de decisin ms que a las
decisiones mismas. Concibo la evaluacin como un procedimiento de des
cubrimiento de hechos o "descubrimiento de valores, preparatorio de otro
referido a la asignacin real. Slo es un procedimiento de decisin en la
medida en que determina pblicamente un estado de cosas sobre el que
La idea fundamental de igualdad especifica que se considere que todas
las personas pertenecen a un nico grupo de referencia. Suponiendo que
se haya definido ste de modo amplio o estricto, cmo han de distribuirse
las cosas entre ellas? La igualdad distributiva constituye una cuestin ms
contundente. La interpretacin "fuerte especifica que un bien ha de dividirse
por igual, con independencia de cualesquiera caractersticas personales de
los individuos del grupo de referencia. La interpretacin dbil consiste en
que slo han de ser iguales las oportunidades para satisfacer las pret ensi o-
$> Edtotoo Mor ata $. L
de terafcaor__________
^ -------------------------------------________^*3
g i deal que abr azan l as soci edades liberales consiste en la forma
a f avor de l a i gual dad de oport uni dades ms que del reparto etectwo.
Sa r r i o , es ms f ci l def ender que se incluyan en la evaluacin los
Lfvses de t odos l os grupos pert inent es que mantener que aquellos se
sfagan por i gual . Sl o se f aci li t a l a oportunidad.
l a desi gual dad d oport uni dades surge a partir de la i nj ust a de los
nf0cedi mi ent os o de l as condi ci ones de origen. Cuando no se siguen
j5mt odos adecuados o cuando f act ores no pertinentes, como la raza o la
clase social , i nf l uyen en l as deci si ones, el procedimiento es injusto. Es
oosible que procedi mi ent os y condi ci ones de origen justos llevasen a la
jqualdad de oport uni dades.
En las evaluaciones, los grupos no slo se quejan con razn de que sus
intereses no quedan reflejados en ellas, sino tambin de los sesgos depen
dientes de instrumentos y anlisis inadecuados, etc. La justicia de los pro
cedimientos y de las situaciones de origen cobra extrema importancia en
u n a situacin social en la que el individuo tiene la oportunidad de participar
en una competicin para la satisfaccin de pretensiones, en la que hay que
luchar frente a otros intereses para ganar.
La aplicacin de l os pri nci pi os distributivos depende de los procedimientos
concretos de decisin soci al que se utilicen. Bar r y (1965) identifica siete
tipos "puros de procedi mi ent os de decisin social: concurso de mritos,
combate, suerte^ vot aci n, regateo, competicin y determinacin de autoridad.
Las distintas eval uaci ones anticipan tipos diferentes de procedimientos de
decisin social.
No es fcil ver cmo puede llevar la evaluacin a un procedimiento de
decisin como el combat e. Podemos imaginar ste como una metfora
de la maniobra y el regat eo polticos, pero sera raro que se diese el autntico
combate (la imposicin de l a voluntad de un contendiente por la fuerza). Por
regla general, se convi er t e en regateo o competicin. De igual modo, es
raro que se d la* suert e como procedimiento de determinacin. Podemos
imaginar la votacin, per o no suele utilizarse. Quedan el regateo, el concurso
de mritos, la compet i ci n y la determinacin de autoridad.
Tanto f regat eo como el concurso de mritos pueden formar parte de
las negociaciones; pero, en sentido estricto, el regateo es una situacin en
laque una parte of rece un beneficio o desventaja a la otra a cambio de que
asta lleve a cabo al guna accin. Gran parte de las decisiones sociales
dependen del regat eo, pero se no es el papel de la evaluacin. Podemos
Paginar que st a se utilice como amenaza en una situacin de regateo,
pero es difcil pensar en algn fundamento moral de la evaluacin que
Slice la amenaza y l os incentivos materiales en su diseo. El papel de la
avaluacin debe l i mi t arse a la persuasin en el proceso de decisin social.
s una cuestin crt i ca que marca los lmites entre la poltica y la morali-
ad, sobre la cual Sol veremos. Para que la evaluacin tenga alguna autoridad
nora|. no puede concebi r se como regateo. Sus resultados no pueden oto-
erse mediante amenazas o incentivos.
'odo ello?hace que nuestra discusin se centre en: el concurso de
puede inclinar a favorecer intereses particulares y no a los del pblico en
general. En realidad, la difusin de poder puede facilitar la influencia de
intereses especiales (Ba r r y , 1965).
Es obvio que todos los enfoques de evaluacin presentan dificultades.
Insisto en estos problemas para demostrar que no existe una panacea,
siquiera en una evaluacin concebida democrticamente. La evaluacin
democrtica de Ma c Do n a l d no es lo bastante potente como para reflejar
de forma adecuada los intereses de clase social, pero introduce en la
evaluacin una idea moral extremadamente importante: la del consentimiento
mutuo. ste se manifiesta en la eleccin. No obstante, yo preferira que el
consentimiento se ejerciera en el acuerdo de evaluacin ms que en los
resultados.
Es inevitable que las pretensiones e intereses de las personas se opongan 1
entre s y es preciso que estos conflictos se resuelvan de al gn modo. 1
Mientras l os principios de agregacin slo tienen en cuenta l a cant i dad 1
bruta de satisfaccin para un determinado grupo de referencia, l os pri nci pi os 1
distributivos, como la igualdad, la justicia y la equidad, se empl ean para 8
juzgar la forma de distribuir la satisfaccin de las pretensiones ent re los 1
miembros del grupo de referencia (Ba r r y , 1965). O, expresado de modo 1
ms preciso, los principios se utilizan para juzgar los procedimientos medi ant e 1
En una sociedad liberal, los procedimientos de decisin soci al para la 1
resolucin de los conflictos son crticos. En el liberalismo hay pocas cues- 1
tiones esenciales en las que todo el mundo est de acuerdo, de manera i
que no puede esperarse que las decisiones se tomen sobre l a base de los I
resultados o de algn modelo ideal de distribucin, p. ej., medi ant e una 1
equidad absoluta En cambio, deben justificarse sobre la base de l os proced- 1
mientos utilizados, entre los que se cuenta la evaluacin pbl i ca. Los pri nci - 9
pos distributivos suelen aplicarse a los mtodos de decisin ms que a las 1
decisiones mismas. Concibo la evaluacin como un procedimiento de des- 8
cubrimiento de hechos o descubrimiento de valores , preparatorio de otro I
referido a la asignacin real. Slo es un procedimiento de deci si n en la a
medida en que determina pblicamente un estado de cosas sobre el que 8
La idea fundamental de igualdad especifica que se consi dere que todas 8
las personas pertenecen a un nico grupo de referencia. Suponiendo que 8
se haya definido ste de modo amplio o estricto, cmo han de distribuirse fl
las cosas entre ellas? La igualdad distributiva constituye una cuestin ms 8
contundente. La interpretacin fuerte especifica que un bien ha de dividirse 8
por igual, con independencia de cualesquiera caractersticas personales de 8
tos individuos del grupo de referencia. La interpretacin dbi l consiste en 8
que slo han de ser iguales las oportunidades para satisfacer l as pretensio- 8
Edct one* Mor ata $;
. p a c i n de !a:Pvaluacin
ac 0 ideal que ab ra za n las sociedades liberales consiste en la forma
bl a favor de la igualdad de oportunidades ms que del reparto efectivo.
ont tanto, es m s fcil defender que se incluyan en la evaluacin los
tereses de todos los grupos pertinentes que mantener que aquellos se
tisfagan por igual. Slo se facilita la oportunidad.
s3 La desigualdad d e oportunidades surge a partir de la injusticia de los
rocedimientos o d e las condiciones de origen. Cuando no se siguen
los mtodos a d ecu ados o cuando factores no pertinentes, como la raza o la
clase social, influyen en las decisiones, el procedimiento es injusto. Es
-osjble que procedimientos y condiciones de origen justos llevasen a la
qualdad de oportunidades.
En las evaluaci ones, los grupos no slo se quejan con razn de que sus
intereses no que dan reflejados en ellas, sino tambin de los sesgos depen
dientes de instrumentos y anlisis inadecuados, etc. La justicia de los pro
cedimientos y d e las situaciones de origen cobra extrema importancia en
una situacin social en la que el individuo tiene la oportunidad de participar
en una competicin p a ra la satisfaccin de pretensiones, en la que hay que
luchar frente a otros intereses para ganar.
La aplicacin d e los principios distributivos depende de los procedimientos
concretos de decisin social que se utilicen. Barby (1965) identifica siete
tipos puros d e procedimientos de decisi n social: concurso de mritos,
combate, suerte^ votacin, regateo, competi ci n y determinacin de autoridad
Las distintas e v a l u a c i o n e s anticipan t ipos diferentes de procedimientos de
decisin social.
No es fcil v e r c m o puede l l evar la evaluacin a un procedimiento de
decisin como e l co mb a te . Podemos imaginar ste como una metfora
de la maniobra y el regateo pol t i cos, pero sera raro que se diese el autentico
combate (la imposicin d e l a vol unt ad de un contendiente por la fuerza). Por
regla general, s e c o n v i e r te en regat eo o competicin. De igual modo, es
raro que se d la s u e r t e como procedi mient o de determinacin. Podemos
imaginar la votacin, pe ro no suel e utilizarse. Quedan el regateo, ei concurso
de mritos, la c o mpeti cin y l a det ermi naci n de autoridad.
Tanto el re g a t e o c o m o el concurso de mritos pueden formar parte de
las negociaciones; pero, e n sentido estricto, el regateo es una situacin en
la que una pa rte o f r e c e un beneficio o desventaja a la otra a cambio de que
sta lleve a c a b o a l g u n a accin. Gran parte de las decisiones soches
dependen del r e g a t e o , p e ro s e no es el papel de la evaluacin. Podernos
Paginar que s t a s e utilice como amenaza en una situacin de regatea
Pero es difcil p e n s a r en algn fundamento moral de la
utilice la a m e n a z a y los incentivos materiales en su diseo. B pape!
evaluacin d e b e limitars e a la persuasin en el proceso de
una cuestin c r ti ca q u e marca los lmites entre la P ^ a y
dad, sobre la cu al Solveremos. Para que la evaluacin tenga alguna^
moral. no p u e d e c o n c e b i r s e como regateo. Sus resultados no pu
nerse media nte a m e n a z a s o incentivos. concurso &
Todo el lo h a c e q u e nuestra discusin se centre en
Evaluacin, t i ca y
mritos, la competicin y la determinacin de autoridad como procedimientos I
legtimos de decisin que la evaluacin podra anticipar. El concurso de I
mritos aspira a alcanzar un acuerdo sobre la divisin de los bi enes moral, I
mente correcta. El acuerdo se logra sobre la base de lo que f avorece e| I
inters pblico, lo que produzca la mxima satisfaccin de pretensi ones I
etc. No hay amenazas ni incentivos. Si se llega al acuerdo, las partes I
habrn cambiado su forma de pensar sobre lo que pretenden. Incl uso si I
una parte tiene poder para modificar las cosas, no debe pretenderl o. E~n
cambio, en el regateo, cada parte trata de conseguir todo lo que pueda en I
virtud de su poder. Mediante el concurso de mritos, cada parte se convence I
de que la solucin adoptada es la correcta. Parece, pues, que es el proce- I
dimiento ideal de decisin social para la evaluacin.
A veces, el concurso de mritos depender de la cuestin de quin es I
mejor para algo. Para solucionar el problema, conviene sustituir la cuestin 1
original por una competicin, como puede ser una oposicin. La citada I
cuestin original sobre el mrito no queda saldada, sino que se reempl aza 1
por la competicin, que puede solventarse de un modo ms f ci l y, quiz, I
ms objetivo. Las evaluaciones que emplean experimentos comparat i vos y I
variaciones planificadas constituyen estas competiciones. Como la resolucin I
depende del rendimiento comparativo, todas las partes deben saber de I
antemano cul es el criterio de rendimiento y, por supuesto, para que sea I
justo, el resultado debe constituir un ndice preciso de la calidad que se I
supone mide la competicin (Ba r r y , 1965). Los evaluadores denomi nan a I
esto validez. Por ejemplo, en la evaluacin Follow Through, pl anteada I
como competicin, se suscitaban considerables dudas sobre si la competi ci n I
meda la calidad que se esperaba. En este sentido, era injusta (House y I
cois., 1978).
Por ltimo, est la determinacin de autoridad. Cuando las part es no I
pueden ponerse de acuerdo, pueden llamar a alguien para que resuel va la 1
situacin, alguien a quien todas las partes reconozcan como legtimo j uez. 1
Las partes nombran un rbitro. En la determinacin de autoridad, el rbitro 1
influy en el resultado basndose en el mrito de los candidatos, mientras 1
que en la competicin, los mismos contendientes deciden la cuestin sobre I
la base de las destrezas y competencias en litigio. El procedimiento de a
determinacin necesita un rbitro que decida el resultado, mientras l a com- I
peticin precisa de un rbitro que compruebe que se respetan las reglas 1
del juego. De nuevo, en Follow Through, el gobierno federal actu pri mero 1
como legislador, determinando las reglas y como rbitro despus, decl arando 1
al vencedor. Son papeles incongruentes.
Aunque la mayora de los evaluadores sostendra que el concurso de 1
mritos, en el que todas las partes llegan a un acuerdo sobre la base de los 1
resultados, constituye el procedimiento ideal de decisin social, es probabl e 1
que la mayora de las evaluaciones implique la determinacin de autori dad. 1
El evaluador, los funcionarios gubernativos o un grupo de prof esi onal es I
declara las decisiones. Es evidente que, aun en estas situaciones, el concurso i
# Edioorm Mor ata, S. L
^ ________ _ _ _ _ _ _ _ _ _______ *
f r i t o s s u e l e preceder a tal declaracin, aunque sea llevado a cabo oor
de s e l e c t o de participantes.
U1f as e v a l u a c i o n e s contradictorias, que incorporan un jurado o juez, se
t f i i c t u r a n , n realidad, por s mismas, tras desarrollar procedimientos de
t e r m i n a c i n de autoridad legal, que obligan, por tanto, a la resolucin
e v a l u a c i o n e s , como algunos de los enfoques de estudios de casos
tan d e p r o l o n g a r y ampliar el concurso de mritos, prohibiendo la deter-
tf? n a c i n d e a u t o r i d a d a cargo de los evaluadores. Otras estimulan al eva-
a l o r p a r a q u e introduzca su interpretacin explcita de los hechos en el
r n c e d i m i e n t o de decisin social. Los procedimientos reales de decisin
pn c o m b i n a c i o n e s de estos tipos puros.
s0 p a r a q u e se tomen como legtimos y establezcan la igualdad de oportu
n i d a d e s , e s t o s procedimientos de decisin social han de considerarse justos.
y n m t o d o de decisin justo refuerza la igualdad de oportunidades. Una
e v a l u a c i n j u s t a refuerza la igualdad de eleccin. La equidad es un principio
c o m p a r a t i v o (confrontando las oportunidades de uno con las de otros), que
se a p l i c a a l o s mismos procedimientos de decisin.
La equidad de procedimiento exige que se cumplan de hecho las forma
lidades prescritas. En un concurso de mritos equitativo no suelen darse
tales formalidades (aunque puedan existir reglas de discusin), salvo la
inexistencia de coercin o de incentivos. De no ser as, el procedimiento
degenera en regateo. En una competicin equitativa deben seguirse las
reglas, cualesquiera sean, y la determinacin de autoridad debe seguir los
procedimientos establecidos para la misma La equidad de origen constituye
un perfeccionamiento de la equidad de procedimiento y exige que las partes
involucradas partan de una posicin inicial correcta. En la determinacin de
autoridad est tambin la consideracin de que el rbitro aplique de forma
correcta las reglas pertinentes. La aplicacin correcta de una regla conduce
a la consistencia, requisito bsico de la justicia.
Todas estas consideraciones sobre la equidad llevan al resultado justo
del procedimiento de decisin. En conjunto, constituyen la igualdad de opor
tunidades. En general, la equidad del procedimiento de decisin es critica
en una sociedad liberal porque las personas se ponen de acuerdo sobre
los procedimientos y no sobre los resultados. Es ms, cuando alguien est
de acuerdo en tal procedimiento y acepta los beneficios que se deriven de
l, slo cabe en justicia seguir aceptando dicho mtodo aun en circunstancias
que no resulten personalmente beneficiosas (Rawl s, 1971).
La avaluacin como procedimiento de decisin moral
La evaluacin puede estructurarse como procedimiento de decisin social
j^nque me pa re c e ms exacto decir que forma parte de una combinacin
ompieja de procedimientos de decisin. Esta combinacin vana de un
" I * * social a otro. La evaluacin no suele decidir, en realidad, cuestiones
la'6s, aunque pueda hacerlo. Con mayor frecuencia suministra datos a
146
Evaluacin, tica y podQ
otro procedimiento de decisin en el que se lleva a cabo la asignacin
efectiva de bienes. Es importante cmo ve el evaluador este procedimiento
final de decisin. 0
Como el descubrimiento de hechos y el descubrimiento de valores
forman parte de una cadena de procedimientos de decisin, la evala,
cin prev y adopta caractersticas de estos procedimientos. En la medida
en que se estructure como un concurso de mritos, una competicin o un
determinacin de autoridad, est sometida a consideraciones semejar
tes de equidad. La preocupacin extrema por la metodologa, por el proceso
debido, refleja el carcter crtico de la creencia en los adecuados procedi
mientos de decisin.
Gran parte de la definicin concreta de la metodologa adecuada se
deriva de las comunidades profesionales y tcnicas. Mediante sus metodo
logas, los tcnicos tratan de eliminar los sesgos, es decir, de garantizar la
capacidad de reproduccin de los resultados, la cual, sin embargo, tiene
poco que ver con la garanta de que la evaluacin sea democrtica o
moralmente aceptable.
Los resultados reproducibles pueden ser discutibles desde el punto de
vista democrtico o moral. La metodologa positivista, basada en la ciencia!
fsica reestructurada, confunde aqu al evaluador. Es posible que el funcionario !
gubernativo, previendo una severa oposicin a sus decisiones de autoridad,
exija al evaluador que emplee sus mtodos ms duros y ms cientfi- ;
eos, para respaldar la autoridad del gobierno. Pero el evaluador compromet- j
do descubrir, quiz tarde, que la reproducibilidad es inadecuada en este i
mbito.
La teora democrtica sostiene que, para ser aceptable, una poltica]
debe reflejar y responder a los intereses de los miembros de la comunidad j
(Car e, 1978). Los procedimientos democrticos de decisin estn diseados
para recoger y organizar esos intereses. Como mtodo de decisin en una
sociedad democrtica, as debe ser la evaluacin. Pero an esto puede ser
inadecuado. Un procedimiento que asignara a cada persona un reparto ]
igual o proporcionara, de forma automtica, muchos ms recursos a las j
clases inferiores, podra considerarse equitativo? Creo que no; al menos, \
no en una sociedad liberal; aunque podemos imaginar una sociedad en la i
que tales procedimientos fuesen justos.
No todos los procedimientos o polticas que reflejen los intereses de los]
miembros tienen por qu ser morales ( C a r e , 1978). Tal es p r o c e d i m i e n t o s o
polticas pueden ser el resultado de regateos o compromisos en los que se
utilizaran incentivos o amenazas. Esto no es moralmente aceptable en una
evaluacin que pretenda proporcionar el fundamento de un concurso de
mritos. As, pues, cmo habr que estructurar un procedimiento de eva- j
luacin para que sea justo o moralmente aceptable?
De nuevo, la respuest a se ori ent a a l a el ecci n, en que las partes
t engan al go que deci r en la mi sma eval uaci n. La participacin en el di seo
del procedi mi ent o de eval uaci n of rece un modo de establecer la a c e p t a b a ;
fdad moral (Care, 1978). Creo que st a se rel aci ona ntimamente con la
la eval uaci n
n0ma moral y el consentimiento. No podemos imponer la propia voluntad
hre nadie. Ent i endo que el acuerdo voluntario sobre un procedimiento de
ri si n vi ncul a a quien lo acepta, aunque quiz no le gusten los resulta
dos del procedi mi ent o. No obstante, no todo acuerdo es moralmente vincu-
lanCARE (1978) presenta la idea de aceptabilidad moral de los proced-
lentos, de manera que la participacin en un acuerdo haga moralmente
Rentables los resultados del mismo. Cuando las personas que participan
n el acuerdo alcanzan ciertos niveles y cumplen determinadas condiciones,
L resultados son moralmente aceptables, como cuando se siguen las
eq|as de un juego. De acuerdo con Care, he planteado las condiciones
necesarias para que un acuerdo de evaluacin sea equitativo (vase el Ca
ptulo VIII).
En otras palabras, las partes implicadas en una evaluacin han de llegar
de antemano a un acuerdo sobre lo que constituir la evaluacin, o bien a
la comprensin de la misma. Este acuerdo sirve de fundamento para juz
gar la justicia de la evaluacin, del mismo modo que la aceptacin de las
reglas de un juego hacen que su desarrollo sea equitativo. Pero no sirve
cualquier tipo de acuerdo, pues puede tratarse slo de un regateo. Con el
fin de conferirle aceptabilidad moral, el acuerdo debe alcanzarse en deter
minadas condiciones que garanticen que los participantes sean capaces de
identificar sus intereses reales en la cuestin. Para que un acuerdo de eva
luacin sea equitativo es preciso que se cumplan doce condiciones.
Una interesante cuestin prctica consiste en si siempre ser posible
cumplir estas condiciones. En todo caso, constituyen un ideal moral en
relacin con el cual puede valorarse una evaluacin. En la medida en que
el acuerdo de evaluacin no cumpla estas condiciones, no podr decirse
que sea equitativo ni moralmente vinculante. Por tanto, se hace sospechoso
como modelo de equidad de la evaluacin misma.
En consecuencia, un acuerdo equitativo de evaluacin constituye una
forma posi bl e de garantizar la igualdad de eleccin. El acuerdo puede ser
totalmente informal y no escrito, aunque participa de la idea de "contrato .
En una soci edad concebida como conjunto de individuos independientes y
autnomos, que slo cooperan en beneficio de sus propios fines la esencia
del l i beral i smo, el contrato constituye un medio por el que los individuos
se obl i guen voluntariamente. El contrato social es la base moral ms frme
que puede ofrecer el liberalismo.
atizacin de
CAP TULO VIII
Un cont r at o de eval uaci n equi t at i vo
Hace unos aos, Daniel St u f f l eb ea m, Wendell Ri v er s y yo contratamos
con la Michigan Education Association y con la National Education / 4sso-
ciation la realizacin de una evaluacin del Michigan Department o f EducationM
Accountability System (Ho u s e y cois., 1974). Como grupo de evaluadores
sabamos que nuestra tarea sera polticamente muy difcil, con independencia I
de cules fueran nuestras conclusiones. Era fcil que una u otra partea
quedase insatisfecha y quiz ambas.
En dos das de negociacin con representantes de las asociaciones,
tratamos de protegernos lo mejor que pudimos llegando a un acuerdo
explcito con ellos. Nos preocupaba especialmente el grado de libertad quef l
tendramos para desarrollar nuestra evaluacin, y tambin que nuestro trabajo,!
no fuera sometido a la censura de las asociaciones, en el caso de que susS
resultados parecieran oponerse a sus intereses.
Cuando discutimos entre nosotros la tarea, St uf f l ebeam se mostr a
favor de establecer un contrato por escrito en el que figurasen nuestras*
preocupaciones, en vez de dejarlas inespecificadas y ambiguas. A m no
me estusiasmaba redactar un documento en ese momento, dado que pen-
saba que hara lo que creyera adecuado, con o sin documento. S t u f f l e b e a m
demostr que, a este respecto, tena toda la razn. l redact el contrato*
que ms tarde firmamos y nos demostr su valor no slo para definir
nuestras relaciones con nuestros patrocinadores, sino tambin para ponerlas
de manifiesto ante terceros. (El Apndice C es copia del mismo.)
He llegado a la conclusin de que este tipo de contratos es f u n d a m e n t a l
en una evaluacin y que influyen en grado importante en lo que s u c e d a
NOTA DEL AUTOR: Este capitulo se public como: Ernest R. House y Norman S. CARl M
(1979): Fair Evaluation Agreement, E d u c a t i o n a l T h e o r y , Vol. 29, n. 3, verano 1979. Reimpreso |
con autorizacin.
Bcciorm Morata, 9, L
^ ^ d e e v a l u l t n g u g v o
te la eval uaci n. St a k e (1976) ha ordenado las opiniones de diversos
dârto8 acerca d e lo que hay que tener presente en la negociacin de
cont rat os d e evaluacin. La cuestin que pretendo tratar en este
eSttulo es: en qu consiste un contrato de evaluacin equitativo?, o sea,
G ndo un cont rat o de evaluacin es equitativo en relacin con las partes
tadas por l a e valuaci n y con los evaluadores mismos?
la caracterizacin de la equidad
Es obvi o que, en s, la equidad constituye un tema de gran inters para
todos los que t i enen q u e ve r con prcticas, sistemas e instituciones. Enel
contexto de est a exposicin, hemos de considerar la equidad en relacin
con las obl i gaci ones que surgen de ciertas expectativas, como las que se
derivan de regl as o reglamentos, sean explcitos o implcitos. El principio de
equidadsost i ene q u e u n a persona est obligada a cumplir su parte, segn
queda def i ni da por determinadas reglas institucionales, cuando ha aceptado
voluntariamente l os beneficios que se deriven de un acuerdo, o ha sacado
algn benef i ci o de las oportunidades que se le ofrecen de promover sus
intereses (Rawl s, 1971). La idea bsica consiste en que, cuando una serie
depersonas se pomprometen en una tarea que les depara mutuos beneficios
de acuerdo con unas reglas y ellas mismas se limitan con el fin de que
todas se benef i ci en, quienes se someten a esas limitaciones tienen derecho
aun trato semej ant e por parte de quienes se han beneficiado. Nadie debe
beneficiarse de Iqss esfuerzos de otros sin hacer nada a cambio. Las trans
gresiones de est e principio se consideran no equitativas.
Raw l s (1971) pl ant ea dos restricciones respecto a las obligaciones que
surgen de l a equi dad as entendida. En primer lugar, las instituciones de
base t ambi n t i enen que ser justas. Aqu no me ocupar de esta restriccin,
pero podemos i l ust rar su fuerza de este modo: si un esclavo no entrega los
bienes apal abrados a su amo, cuando (digmoslo as) han acordado que
as se hi ci ese, no t enemos por qu considerar no equitativo al esclavo res
pecto al amo, dado q u e la institucin general a cuyo amparo se estableci
el acuerdo es cl arament e injusta. Desde este punto de vista, no podemos
estar vi ncul ados i n s t i t u c i o n e s injustas. La segunda restriccin, segn Rawls,
consiste en que l as obligaciones surgen de actos voluntarios, como prome
sas y acuerdos, aunque tales actos voluntarios sean implcitos o tcitos, co
mo en el caso de l a aceptacin de los beneficios que se derivan de un
contrato.
I~as obl i gaci ones en cuestin pueden distinguirse de las obligaciones
atral es que son independientes de las instituciones y de las reglas so
ciales. Por ej empl o, tene mos la obligacin natural de ayudar a otros que se
ncuentren en pel i gro, con independencia de cualesquiera contratos o ins
cci ones antecedentes. Si no proporcionamos esa ayuda, la gente no dir
cuLn somos equitativos. Quiz antinaturales sea un trmino mas acte-
* l -as obl i gaci ones naturales tienen preferencia sobre el tipo de ob&~
$ EcfcaorttsMeato. S. L
ISO Eval uaci n, ticaj ^, 1
gaciones a las que me refiero. A veces, los evaluadores tienen que reorn
nizar sus conciencias ms que sus contratos. ri
Aunque las obligaciones pueden surgir a partir de actos voluntario,,
como promesas y acuerdos, estos ltimos pueden ser tcitos. Por ejempi^
un tipo de acuerdo tcito implicara ciertas expectativas materiales a cambio
de la realizacin del trabajo. Si desarrollamos la tarea teniendo presente
determinadas expectativas y no recibimos la remuneracin adecuada, nos
sentiremos tratados de manera poco equitativa. Los contenidos de las obli
gaciones estn definidos por las reglas o promesas que especifican lo qUe
tenemos que hacer. Las obligaciones se refieren a individuos concretos
que cooperan en el trabajo en cuestin.
En la evaluacin de programas educativos hay muchas posibilidades de
malentendidos, por lo que conviene concretar al mximo todas las cuestiones
en los contratos de evaluacin, aunque no sea posible la completa especia
ficacin de todos los aspectos. St ake (1976) seala cinco reas fundamen
tales de inters para la negociacin: los fines de la evaluacin; sus destina
tarios; los mtodos de investigacin, en los que se incluyen los procedimientos
de tratamiento de la informacin; la confidencialidad, y las opciones pad
continuar las negociaciones. Presenta una lista de comprobacin de trecd
puntos respecto a los temas que se deben tratar en la negociacin de un
contrato.
No obstante, sigue siendo posible que el contrato de evaluacin celebrado>
no sea equitativo para todas las partes interesadas, con independencia de
la mayor o menor organizacin o especificacin del mismo. El contrato
puede resultar no equitativo para algn grupo participante en la negociacin!
o afectado por el proceso mismo de evaluacin. El hecho de que se llegue
a un acuerdo no es, de por s, condicin suficiente de su equidad. Por tanto,
podemos preguntarnos: en qu condiciones se garantiza o, al menos, se
contribuye a la equidad en los contratos de evaluacin?
Algunas condiciones para un contrato equitativo
Norman S. Care (1978) ha estudiado las condiciones en las que, pofj
regla general, son moralmente aceptables los contratos normativos cele
brados entre personas; y su investigacin, sin pretender que s e a completa,
nos presenta un conjunto de doce condiciones que deben cumplirse para
que un contrato sea equitativo. stas se hallan clasificadas d e forma un
tanto arbitraria, de manera que algunas se aplican a las personas QLie
llevan a cabo el contrato, otras al contrato mismo y otras a los p r o c e d i m i e n t o s
empleados para alcanzar el acuerdo. A continuacin explicar b r e v e m e n t e '
estas condiciones, haciendo algunas observaciones relativas a su cump11'
miento en nuestro contrato de evaluacin de Michigan antes m e n c i o n a d o , y
har algunos comentarios en general sobre el cumplimiento de las mism?
en el contexto de los contratos de evaluacin para la revisin y valorad ,
de programas educativos. De nuevo, pretendo facilitar la mejor comprensi
$ dtoMMt Moran, L
UD<
||tr^ ri a eval uaci n equitativo
lo que si gni f i ca que un contrato de evaluacin posea la dimensin moral
t la e q u i d a d . Es obvio que en estos contratos estn en juego otras dimen-
ones (o valores), en especial la ef iciencia y la eficacia, pero en esta
Exposicin nos ocuparemos slo del valor de la equidad.
1% Ausenci a de coercin. En primer lugar, por tanto, la equidad exige
flUe os part i ci pant es interesados en llegar al acuerdo no estn sujetos a
oresiones coerci t i vas. O sea, ni nguno de los participantes debe estar sometido
al control o i nf l uenci a especial de ningn otro. Hay que sealar que esta
caracterstica cont rast a claramente con los acuerdos de negociacin colectiva
en los que l a coerci n de cada parte sobre la otra constituye un elemento
integrante de l as negociaciones mi smas. Pero, en general, desde el punto
de vista de Car e, los resultados de las negociaciones basadas en el regateo
no tienen por qu ser acuerdos equitativos, aunque resulten aceptables
para las part es implicadas.
En el informe general de Car e se reconocen tres tipos de coercin:
primero, los participantes no deben sentirse coartados por otros individuos
que tengan algn poder especial sobre ellos; segundo, no deben formarse
entre los participantes grupos y facciones con el fin de ejercer presiones;
p o r ltimo, los participantes no deben sentirse coartados por las circunstan
cias en las que ellos mismos se encuentran. Es obvio que cualquiera puede
verse tentado a todo tipo de pactos cuando se encuentra en circunstancias
desesperadas o de tensin, incluso. Pero, en general, la existencia de tales
circunstancias nos lleva a dudar de la equidad de los acuerdos alcanzados
en ellas.
Creo que se puede afirmar, sin temor a equivocarnos, que el contrato de
Michigan no estuvo sometido a ninguna presin de este tipo. Ni los portavo
ces de las asociaciones ni los evaluadores sufrieron presiones para llegar a
acuerdos, aunque todas las partes se beneficiaban de ello. No hubo coercin
de ningn individuo sobre otro; ni por parte de grupos sobre individuos, ni
las circunstancias de ninguna de las partes eran desesperadas. Ambos
grupos podan haber abandonado el proyecto sin grave lesin de sus inte
reses. Las asociaciones no necesitaban que se hiciera el trabajo ni, desde
êgo, que lo realizara este grupo concreto y los evaluadores no tenan
necesidad imperiosa de trabajo.
Y, qu decir de la situacin ms habitual, en la que un organismo
9ubernamental patrocinador pide que se realice una evaluacin? Es esto
coercitivo? En la mayora de los casos, creo que no. Aunque el organismo
gubernamental pida una evaluacin, esa peticin suele formar parte de un
contrato previo de financiacin entre el organismo y el beneficiario de los
ndos. En realidad, la misma equidad exige que se lleve a cabo la evaluacin
Sl spide en virtud d$l contrato de financiacin original.
La situacin se hace menos obvia cuando el organismo gubernamental
specifica el contenido del contrato de evaluacin y designa quin se har
nar9o de la misma. Es posible que el beneficiario tenga poco margen para
e9ciar en relacin con sus propios intereses. No obstante, si la peticin
$ Scteoortts Morata, & L
de ia evaluacin se hace al amparo del contrato original de financiacin y ej I
beneficiario lo entiende de forma adecuada, la peticin ser equitativa, sa| ,l
yo que el mismo contrato de financiacin no sea equitativo. En este ltimo!
caso, las circunstancias crean un marco apto para la coercin y, por tanto 3
para contratos no equitativos.
Supongamos, por ejemplo, que un laboratorio educativo regional necesita!
fondos desesperadamente. Quiz su misma existencia dependa de la con- i
secucin de un contrato importante con el gobierno. En tales circunstancias 3
es mucho ms fcil que se llegue a un acuerdo que tanto sus signatarios*
como terceros consideraran no equitativo. En el marco de la evaluacin, I I
esta situacin se refleja de un modo caracterstico en cientos de pequeas
firmas privadas de consultara que llevan a cabo gran cantidad de eval a-
ciones para organismos gubernamentales. Muchas de estas empresas tienen
necesidades acuciantes de dinero, por lo que son mucho ms susceptibles
a la coercin en los contratos que las instituciones ms estables.
De hecho, a veces las evaluaciones que realizan estas empresas son
escandalosas y su desenmascaramiento slo depende de que algn perio* !
dista investigador disponga de tiempo libre. La poltica deliberada del gobiernos
durante la administracin Nixon, que gast varias decenas de millones de I
dlares en financiar pequeas firmas privadas de consultora, se basaba en f l
la idea de que estas firmas responderan mejor a los organismos guber-H
namentales. En el mejor de los casos, esta capacidad de respuesta si gni f i -l
caba la disposicin para negociar cuestiones relevantes de la eval uacin,!
una idea importante y vlida; en el peor, significaba la vulnerabilidad a la
coercin gubernamental, es decir, la disposicin para preparar el tipo d e !
estudio y producir la clase de logros pretendidos por un organismo concreto.fl
Me temo que los resultados hablan por s mismos. Los contratos no equita-H
tivos y firmados bajo coercin producen resultados no equitativos y sesj
gados.
2. Racionalidad. La segunda condicin de la equidad consiste e n l
I
que los participantes sean racionales. No quiere decir esto que deban l l evar!
a cabo raras proezas mentales, sino que sean capaces de discurrir de una I
proposicin a otra, presentar pruebas que avalen sus puntos de vista y I
estimar las consecuencias de sus acciones (y que las tengan en cuent a)!
Parece obvio que las personas son racionales en distintos grados, pero,
como especula Care, no es preciso que los participantes sean igualmente
racionales para que un acuerdo sea equitativo.
Creo que, en general, la racionalidad de los participantes no supone un
problema para llegar a acuerdos de evaluacin. Puede que las personas
sean racionales de modos algo diferentes. Por ejemplo, los e v a l u a d o r e s
suelen estar ms a favor del razonamiento de medios a fines y de l os
argumentos pragmticos. Quiz a otros participantes en el contrato este j
tipo de razonamiento no les parezca tan persuasivo como a los e v a l u a d o r e s
pero creo que, en la mayora de los casos, no habr d i f e r e n c i a significativas 1
15? >: Eval uaci n, tica y Dt ^ l
Edicin Morata, S. L
rea. (Va se un anlisis de los tipos de razonamiento utilizados por
c o n o c i d o s , las Roberts Rules of Order o, en otros contextos, quiz las
l i mi t aci ones mutuamente aceptadas del debate informal. En general,
nto mayor sea la dificultad que planteen los trminos en los que discurre
d e s f u e r z o para alcanzar el acuerdo por ejemplo, cuanto ms nos sintamos
rtificialmente limitados o comprometidos por ellos, menos equitativo pa
recer el acuerdo al que se llegue. Podemos, por ejemplo, imaginar casos
enlos que los eval uadores sientan que en absoluto tendran que negociar
el conteni do de la evaluacin con los clientes. En otros casos, las partes
pueden estar dispuestas a negociar determinados objetivos de la evaluacin,
pero no l os mtodos. En la evaluacin de Michigan, creo que sus trminos
y procedi mi ent os resultaron aceptables para ambas partes.
4. Acuerdo conjunto. Otra condicin de la equidad es que el contrato
sea "conjunto . Es difcil formular con claridad esta cuestin pero intuitiva
mente, podemos decir que la equidad requiere que el acuerdo se considere
como algo ms que una coincidencia entre opciones individuales. Los par
ticipantes han de ser conscientes de que la consecucin del resultado
requiere el acuerdo de los dems y que el resultado ha de constituir un
objeto de compromiso respecto al cual se espera la aquiescencia de todos
los miembros del grupo que establece el contrato. En otras palabras, no
podemos fijar sin ms nuestra postura y esperar que los dems se compro
metan. Ha de quedar claro que el contrato constituye el objeto del esfuerzo
degrupo, alcanzado por los miembros del grupo que lo establece, y no
como algo que se acepta dependiendo del estado de nimo del momento.
La estructuracin de un contrato verdaderamente conjunto de este modo
convierte las negociaciones en un proceso serio y difcil en vez de quedar
como un asunt casual y sencillo. De nuevo, el cumplimiento de esta condi-
c|on es cuestin de grado.
Creo que, en general, en el caso de Michigan esta condicin se satisfizo,
fique quiz en menor grado que algunas otras. Algunos evaluadores (en
peciai y0 rnismo) dudaban a veces entre actuar de acuerdo con sus
P'OS Dri nci ni oc 8 r ' nmnr nmot or co an un rnnt rat n finnilintY En realidad
iado por establecer un contrato escrito era que yo pensaba que
154 Evaluacin, t i ca u J
^
Por supuesto, aunque se llegue a un acuerdo conjunto, conviene aw 1
que an podemos imaginar situaciones en las que el cumplimiento de | Jr i
condiciones de equidad sea menos importante que la aplicacin de alg^8
otro principio. Por ejemplo, puede que sea menos importante conseguir una I
evaluacin equitativa (basada en las previsiones contractuales) que llevar 3
cabo una que sea justa, p. ej., una evaluacin que no lesione a los miembros !
menos favorecidos de la sociedad o que no sea Incoherente con el vai0r
fundamental de la igualdad. Se plantea aqu una importante cuestin filosfica 1
respecto a si un contrato que satisfaga estas condiciones de procedimiento^
relativas a la equidad, como las expuestas en este captulo, podra incumpl J
algunos principios independientes y esenciales de la justicia, de aplicacin
ms general y profunda, como los que acabamos de mencionar. Planteamos 1
aqu la cuestin y volveremos sobre ella ms adelante, aunque no se resol
ver en este captulo.
5. Desinters. Esta condicin es una de las primeras que surgen!
cuando reflexionamos sobre la equidad, aunque quiz sea la ms difcil del
cumplir en la prctica. Para llegar a un acuerdo, no tenemos que prest ar!
excesiva atencin a nuestros propios intereses. Podemos mani festarl os y I
hacer un trato o llegar a un compromiso con otros, pero el trato no tendr 1
por qu ser un contrato equitativo. No quiere decir esto que debamos dejara
completamente de lado nuestros intereses. Debemos procurar, ms bien, lo I
que solemos llamar imparcialidad cuando tratamos de alcanzar un acuerdo. 1
Existen diversas formas de organizacin que pretenden ayudar a conseguir i
la imparcialidad en el juicio, no hace mucho expuestas por Scri ven (1976a, I
1976b). En todo caso, esta condicin de desinters admite di versos grados 1
de cumplimiento.
6. Universalidad. ntimamente relacionada con la condi ci n de des J
inters est la de universalidad Pretendemos establecer una normat i va que I
afecte a todos por igual, incluidos nosotros mismos. Podemos entender!
esto en el sentido de que, si la normativa exige que se trate a l as personas 1
de distintos modos, estaramos dispuestos a ocupar cualquiera de las dife-1
rentes situaciones en las que se aplique esta poltica. De nuevo, la capacidad 1
y disposicin para discernir y procurar dar soluciones, en est e sentido 1
universales, parece cuestin de grado.
7. Inters comuni t ari o. Aunque debemos evitar la preocupaci n ex- i
cesiva por los intereses individuales, qui enes procuran l l egar a un acuerdo i
deben optar por una poltica que sea mejor para todos el l os, en cuant a!
miembros del grupo a quienes se va a aplicar la normativa. La e q u id a d j
permite que Jas personas se interesen por ell as mismas como mi embros 1
def grupo (y, quiz, en distintas situaciones dentro del mismo), sobre qui enes 1
tendr alguna influencia lo acordado. En la eval uaci n, esto debe i ncl ui r a j
l a personas evaluadas, aunque por cual quier causa no estn de hecho i
> fifSponMc Mcwata, $, L
valuacin equitativo
atadas en la negociacin entre los patrocinadores de la evaluacin
rPr e e v a l u a d o r e s . Tambin han de tenerse en cuenta sus intereses,
y -a S tres ltimas condiciones de equidad estn muy relacionadas entre
n jiz en su conjunto desinters individual, universalidad e inters
si ,n j t a r i o constituyan una representacin del valor moral de la impar-
co?dad. qare (1978) afirma que deliberar de un modo imparcial supone
jj1ytJarar sin prestar excesiva atencin a los propios intereses, considerar
slo
s o l u c i o n e s universales y optar de acuerdo con los propios intereses en
uanto m i e m b r o del grupo afectado por el contrato.
He di cho antes que la imparcialidad es una condicin necesaria para
evaluacin equitativa y que la objetividad es una condicin insuficiente
raotulo IV). Si la objetividad supone un procedimiento exteriorizado, pblico
Irrepetible, es muy posible que tal procedimiento objetivo se incline a favor
de determinados programas. Por ejemplo, un test basado en un curriculum
ouede resultar sesgado cuando se aplica a otro currculumdiferente, aunque
siga siendo objetivo en el sentido mencionado (vase Walker y Schaffarzick,
1974).
Aunque la objetividad indica una carencia de actitud o una actitud neutral,
la imparcialidad se refiere a la capacidad de equilibrar (de forma justificada)
distintas actitudes en relacin con el objeto que se juzga. Las personas a
quienes se juzga no esperan que sus evaluadores se despreocupen, sino
que sean capaces de reconocer sus preocupaciones y de equilibrarlas
entre s. Por ejemplo, ante un tribunal de justicia, no querramos que nos
juzgase un juez perteneciente a otra cultura que fuera perfectamente objetivo
aplicando criterios sin importancia, sino otro de nuestra misma cultura que,
siendo imparcial, utilizase criterios pertinentes. Las tres condiciones de Care,
sobre todo la de inters comunitario, reflejan esta caracterstica de los
procedimientos para establecer contratos equitativos.
Cmo era el contrato de Michigan a este respecto? Cmo se cum
plieron estas condiciones que Ca r e asocia con la imparcialidad? Una de
las ms sonadas!-protestas del Michigan Department of Education se referia
a que la evaluacin era sesgada (Kear n ey y cois., 1974). Respecto a la
condicin de desinters, creo que el contrato era equitativo. Ninguna de las
partes se excedi promoviendo sus propios intereses. Los representan
tes de las asociaciones no controlaron en absoluto el proceso de evaluacin
ni los posibles resultados negativos. En la medida en que yo puedo detec-
arlos, los intereses de los evaluadores no aparecan reflejados en exceso.
La remuneracin financiera era bastante modesta y, de hecho, los evalua
r es saban que podan imponerse determinadas sanciones si los resultados
negativos para el organismo estatal. La evaluacin supuso
una pu
blicidad personal d considerable magnitud, pero que habra sido la misma
resultados hubieran sido diferentes,
cin h ârece>tambin, que se cumpli en una medida razonable la cond^
pron unversalidad. Habramos evaluado del mismo modo cualquier oto
Posma semSjante y nos hubiera gustado que evaluasen nuestros pro-
Programas de igual manera. Buena prueba de ello es que pudimos
1S6
Eval uaci n, tica _ I
~ -------- -L--ZPod^
justificar ante nuestros colegas del campo de la evaluacin nuestros proo I
dimientos y resultados con notable xito. e'
Ms problemtica es la tercera condicin de la equidad (inters com I
nitario), en la medida en que se relaciona con la imparcialidad. Es ci eri S
que los representantes de las asociaciones escogieron a los evaluado
res que quisieron y que, a juzgar por sus trabajos precedentes, mej0\ i
podan representar sus intereses de grupo, de la misma forma que |0 r 1
organismos gubernamentales suelen tener libertad para escoger a los eva?
luadores de sus programas. No obstante, tras reflexionar sobre la experiencia
en general, no estoy seguro de que los intereses del Michigan Department m
of Education estuvieran suficientemente reflejados en el contrato, aunque
de ningn modo se hallaran ausentes en nuestras deliberaciones. Por ej em-I
po, no permitamos que un miembro de una asociacin estuviera presente
cuando recibamos testimonios a menos que tambin se invitara a un funci.
nario del departamento1.
La situacin se hizo ms compleja por el hecho de que nuestra evaluacin!
se centrara sobre el sistema de rendicin de cuentas de Michigan que, y a l
de por s, es un esquema de evaluacin en el que (a nuestro modo de ver
no estn bien representados los intereses ms importantes de los profesores!
y alumnos de Michigan. Una de nuestras crticas principales consisti en!
que ese esquema de evaluacin no era equitativo en relacin con algunas 1
de las condiciones que expongo aqu. No obstante, si se critica nuestro!
contrato por su parcialidad, creo que es ms vulnerable a la acusacin de l
la falta de representacin de los intereses de una de las partes ms afectadas !
por la evaluacin, es decir, el Michigan Department of Education. El fallo
consistente en la insuficiente representacin de los intereses de quienes se I
ven afectados por la evaluacin es uno de los ms corrientes en estos!
procesos, sobre todo cuando los afectados no participan en el contrato.
8. Informacin igual y completa. Otra condicin de la equidad con!
siste en que los participantes reciban informacin sobre los hechos perti-1
nentes y que sta se distribuya por igual. Se pretende que unos participantes!
no puedan disponer de informacin pertinente de la que carezcan los dems.
Creo que es caracterstico que esta condicin no se cumpla del todo. Si el i
evaluador sabe que pocos programas son capaces de provocar la elevacin
de las puntuaciones de los tests normalizados en condiciones de control
1 St uf f l eb eam manifiesta que, antes de que firmramos el contrato de eval uaci n, l acudi !
al Michigan Department of Education en compaa de su decano, para i nf ormar al departamento
de lo que se estaba preparando, pedir su cooperacin y soli ci t ar su punt o de vista. Lsj
funcionarios de Michigan se incomodaron a causa de la eval uaci n que se i ba a hacer, Pr0l
dijeron que cooperaran y se alegraron de que St uf f l ebeam part icipara en ella. Philip Kearnev,]
a la sazn Inspector General Adjunto de Michigan, advirti que podan ve rs e afectadas laS 1
relaciones de St uf f l ebeam con el Departamento de Estado, dependi endo de cmo se desar[ 7
liase la evaluacin. As fue. Al menos en este sentido, los intereses del Michigan Department o ,
Education estuvieron representados en la evaluacin (correspondenci a pri vada).
@ Ediciones Mor ata, S. L
- ^ l u a c i p I P a t i v o ________________________________ 157
1 ----
so se consi dera equitativo que, en las negociaciones, se informe al
[ rT,inUCl de tal ext remo, suponiendo, claro est, que constituya una informacin
i cle^ nte Del mi smo modo, el cliente o patrocinador no debe ocultar al
I pert,irlf d0r hechos importantes. La negoci aci n respecto a un diseo multi-
I no con un gr upo no versado en el tema lo sita en una posicin
I va moda pues sus miembros slo tendrn una idea vaga de lo que suponen
I in rocedi mi ent os multivariados. Cuant o ms tcnico sea el diseo de la
I loSi l aci n, ms difcil ser para qui enes no sean evaluadores llegar a un
I eaui t at i vo, desde su punt o de vista, pues los introduce en el mbito
9< Si n ri esgos. Car e dice tambin que el contrato debe plantearse
f Aemanera que los participantes no teman las consecuencias de la imple-
mentacin del programa, porque si ellos, que prestan su aquiescencia al
orograma en cuestin, no creen que merezca la pena implementarlo, no es
[ fcil que adquieran una conciencia clara de su papel, como participantes
I enun esfuerzo conjunto para resolver un problema previo acuerdo. Esta
I condicin plantea especiales dificultades para establecer un contrato en
relacin con una evaluacin porque, en general, sta siempre encierra
ciertos riesgos, sobre todo para las personas sometidas a la misma. Pero,
j por otra parte, uno de los propsitos de un contrato de evaluacin consiste
enreducir los riesgos que pudiera suponer para quienes se someten a ella,
j dndoles voz en la evaluacin y fijando ciertos lmites a la misma. Por
! ejemplo, Scr i ven (1976a) propone que los evaluados tengan derecho a
i examinar un primer borrador del informe de evaluacin antes de que se
entregue al cliente, as como el derecho a incluir en dicho informe puntos
I devista contrarios a los expuestos en el cuerpo del mismo.
Algunos de los trabajos ms interesantes de teora de la evaluacin
; estn dedicados a proteger al evaluado de evaluaciones incompetentes y
arbitrarias. Aunque el riesgo que supone para el evaluado pueda reducirse,
no parece posible eliminarlo por completo. En la evaluacin del sistema de
i rendicin de cuentas de Michigan, por ejemplo, todas las partes implicadas
corrieron riesgos definidos; no conozco forma alguna de equipararlos.
10. Pos ibili dad. Otra condicin del contrato consiste en que sea
I posible llevarla a cabo. Por desconcertante que parezca, tratndose de una
condicin trivial, los evaluadores suelen pasarla por alto. Tambin es de-
I wasiado habitual que los evaluadores prometan actividades y oportunidades
fantsticas por poco dinero que luego no pueden proporcionar. No s qu
Porcentaje de ev aluaciones entran en esta categora, pero es muy elevado.
n Parte, esta incapacidad est relacionada con ia inexperiencia en la
evaluacin y con un desmedido inters por conseguir el contrata Tampo-
? ,s raro que la otra parte no cumpla sus promesas, sobre todo la de
acitar el acceso a las fuentes de datos. Cuando es imposible cumplir el
intrato, ste no es equitativo. En estos casos, la informalidad de una parte
ace ciue la otra v e a incumplidas sus expectativas, a pesar del compromiso.
evaluacin, tica u . 1
igpji ------
En la evaluacin de Michigan, ambos grupos cumplieron lo que haba*]
prometido.
11. Contar con todas las opiniones. Para que el contrato sea equj
tatrvo, las partes deben tener la oportunidad de hacer constar lo que crean]
conveniente en la etapa final del proceso de preparacin del acuerdo. |\j0
obstante, teniendo presentes aquellos contextos en los que prima una justicia?
de compensacin. Cabe seala que, para que el contrato sea equitati vo, no
hay por qu equiparar la opinin de todo el mundo.
12. Participacin. La condicin final del contrato es que todas las:
parles puedan participar. Todo el mundo debe tener voz, de acuerdo con
lo estipulado en los procedimientos. En la evaluacin de Michigan, se cum
plieron estos dos ltimos criterios en relacin con los procedimientos. Todas!
las paites signatarias del contrato tuvieron oportunidad de participar y de
hacer or su "voz.
Reflexiones sobre las condiciones de equidad
Como dice Care, es interesante sealar que slo algunas de las docell
condiciones necesarias para un contrato equitativo lo sean, a su vez, de (osll
procedimientos para llegar al acuerdo. La inmensa mayora de las condicio-ll
nes aqu expuestas corresponden a ios mismos participantes. Esto resulta j l
un tanlo sorprendente porque la mayora de nosotros tiende a pensar que lo 3I
que garantiza o justifica la equidad de una evaluacin es la adecuada] I
seleccin de ios procedimientos. Solemos creer que, si los utilizados sonjl
correctos, el contrato ser satisfactorio. Pero si es cierto lo que comentamos, 11
es patente que muchas de las condiciones que influyen en la equidad
escapan del control de los procedimientos, en sentido estricto, del mismo] I
modo que el gobierno de la mayora no garantiza la justicia en una demo-
cracsa. Cuestiones tales como el grado de coercin, el desinters, etc., del
tes participantes constituyen importantes influencias en la justicia de losll
contratos a ios que se llegue y de la consiguiente evaluacin. Es obvio que
esto no sign$ca que los procedimientos no tengan nada que ver . Si sel
empiean ios adecuados y se cumplen las dems condiciones, el contrato!
ser equitativo. Es ms, hay distintos procedimientos diseados para reduci r
la parcialidad, la coercin, ele*, y satisfacer las dems condiciones. La
cuestin importante es que los procedimientos solos no garantizan el cufln
pf ei ei i o de aquejas condiciones ni que l contrato de evaluacin sea
equitativo.
Una segunda caracterstica de estas condiciones es que, en la mayora
de los casos, su cumplimiento parece una cuestin de grado. Un contrata
puede ser ms o menos equitativo, dependiendo del grado en el que s
curoptan diversas condiciones. Es probable que los contratos no sean df j
todo equitativos ni parciales, aunque cuanto mayor sea el grado d e cump"i
riff v aluacin equitativo
Sm '
de las condici ones, m s fcil ser que el contrato se aproxime ai
i S H equidad.
ms, siempre existir una incertidumbre bsica respecto a la eoudad
n contato. C o m o indi ca C a r e , es imposible asegurar que tos dems,
d* jus0 uno mismo, c u mpla n plenamente muchas de estas condiciones
e ,nC desinters, a u s e n c i a d e coercin). Scf hven dice que, aunque nunca
Lfimos eliminar por completo los sesgos, el objetivo de la evaluacin
W ser reducirlos a proporciones manejables. De igual manera aunque
nca podamos garantizar que seamos completamente equitativos, el obe&vo
consiste
en serlo lo m s posible.
Qu podemos o b s e r v a r en el contrato mismo? En la monografe de
St/e (1976), diversos e v alu adore s y administradores que han realizado
evaluaciones a s es oran so bre el contenido de un contrato de evaluacin.
Algunos aspectos d e e s t e contenido (p. ej., los propsitos de la evalua
cin, la posi bi l i dad d e l le va rl a a cabo, la participacin, la comunicacin de
la inf ormacin, la co nfidencialidad, la informacin proporcionada por una
parte a otra) corre spond en a las condiciones necesarias para la equidad
Otros consej os no s e refieren a la equidad del contrato. En genera: e
contrato de evaluaci n slo proporciona indicios limitados acerca de su
equidad.
Por ejemplo, en el contrato de Michigan (que aparece en ei Apndh
ce C). es evidente q u e hubo u n a negociacin y que se Neg a un acuerdo
mutuo respecto a los destinatarios y las cuestiones sometidas a rvesgaccn
Los evaluadores hicieron v a l e r su derecho a emitir el informe y los reore-
senantes de las a s o c i a c i o n e s el suyo de aceptarlo o no. Hubo acuerdo
respecto a los recursos, al si stema de distribucin de los mismos y ai
acceso a los datos. Por ltimo, los procedimientos de evaluacin propiamente
dichos quedaron ba jo e l control d e los evaluadores, aunque ios proce-
mientos esenciales s e de finieron d e mutuo acuerdo.
Por tanto, a partir d e l contrato, podemos suponer razonablemefie. s
no inferir, en sentido estricto, que las condiciones de raaonataac. acep-
Iacn de los trminos, a c u e r d o conjunto, posibilidad y partpacon se nar
cumplido. Sin embargo, t e s n d o n o s slo en el documento, poco jweoe
Rerse sobre las co ndici ones d e falta de coercin, desinters uwersataac.
comunitario I n f o r m a c i n igual y completa ausencia de nesgos y
* * d e todos los parti cipantes. B hecho de que los evauaooreslengar
^ e h o a emitir s u informe sin censura es importante, pof^je ayuda a
s 'minar el problema de l inters propio de los representarles oe tas asocs
?***> si tuvieran la posibili dad d e censurarla En esie casa ese procea
reduce, a u n q u e no elimina, la posibilidad de inctaagoneyenoe^
sesgos p u e d e n introducirse por otro lado, conj
q ^ e v a l u a d o r e s P o r supuesto, tambin podemos busd
3a ^ , ,as ten d e n c ia s e n el informe final y en los mismd
V a l u a c i n .
Eval uaci n, f i c a y ^ j
Hasta qu punto es vinculante el contrato?
Se trata de una cuestin difcil y nos recuerda el probl ema, en el mbj y
de la jurisprudencia, de si ios ci udadanos ti enen o no obl i gaci n (moran I
absoluta, prima facie, de obedecer las leyes de su comuni dad estableci da
de forma regular. Pero la mayora de los eval uadores reconoce que hay UfJ
momento en el que incluso un contrato equi tati vo debe resci ndi rse. p0r
ejemplo, en situaciones difciles, como las que i ndi can hechos del i ct i vo^
cuando se plantea el dilema entre resci ndi r un cont rat o o segui r la prop
conciencia, St u f f l eb ea m di ce:
Creo que el evaluador no debe ser el ni co responsabl e de l as decisiones $1
ha aceptado de antemano limitar su Inf orme a ci ert os dest inatarios definidos. Ef tl
cambio, pienso que debe reemprender la negoci aci n del cont rat o y tratar de I
llegar a acuerdos con las otras partes respecto a la publ i ci dad de la informaci3
y cumplirlos en consecuenci a. Por supuest o, h a y ocasi ones en las que sel
suscitan cuestiones de moralidad f undamental , como l as surgi das en el conflicto :
del Watergate. En estos casos, creo que el eval uador debe hacer lo que crea en 1
conciencia que se deba en beneficio de la soci edad y t eni endo en cuenta p| j
intereses de las personas a quienes af ecte la publ i ci dad que se d a la infor
macin.
(St a ke, 1976). |
Creo que la postura de St uf f l ebeam ref leja el consenso mayori t ari o del
los expertos en eval uacin, aunque no t odos est n de acuerdo. RalpH
Ty l er dice: No debe consi derarse vl i da conciencia individual al guna. Lai
manera de tratar la inf ormaci n ha de f i gurar en el contrato (St ak e, 1976)J
El punto de vista filosfico, represent ado por Car e (1978), consi st e et i l
que, si se han cumpl i do las condi ci ones de equi dad en l a mayor medi da!
posible", tendremos buenas razones para acept ar los resultados del acuerdo!
No obstante, podemos concebi r el caso de que el rechazo de l os mis
mos sea racional y correct o , cuando se cuest i one el cumpl i mi ent o del
las condi ciones antes expuestas. En la medi da en que nos f i emos menos |
del total cumpli miento de las condi ci ones, ms j ust i f i cada estar la reser*
va del derecho a rechazar los resul t ados del acuerdo. En todo caso, la i
oposicin a los mi smos consti tuye una cuest i n muy seri a, que no puede
tomarse a la ligera ni pasarse por alto si n causa suf i ci ent e. Est en j uego la
equidad.
Mi propia interpretacin del derecho a resci ndi r un contrato equi t at i va
concuerda con las opini ones hast a aqu expuest as. Es caracterstico que
surja la cuesti n de la equi dad en el cont ext o de contratos vol unt ari o^
estableci dos en benef ici o mutuo. Pero cuando ent ran en conflicto las pet 'J
ci ones a f avor de la equidad y l as que se ref i eren a l a justicia, esta ltima
tiene prioridad. Por ej emplo, si el cumpl i mi ent o de un contrato equitativo
significa que t engamos que comet er un act o i nj ust o, hemos de romper ej
contrato. Del mi smo modo, las recl amaci ones a f avor de la equidad tienen i
% Bdtoon$ Mrate, 8. L
_________ ___________ w
ACter secundari o ant e l as peti ci ones que defienden una obbgactn
j n como l a de ayudar a una persona que se encuentre en peligro,
f'^cc ^vi dent e que no t odo el mundo est de acuerdo sobre determinados
nios especf i cos de j ust i ci a. Como he indicado en otra parte, en el
princ*Pcarpp0 de l a eval uaci n hay diversas opiniones al respecto. Segn
' i n c e p c i n rawl si ana, el pri nci pi o de equidad se sita dentro de tos
la Ctc marcados por dos pri nci pi os de justicia. Como estos principios estn
11 Sos de manera muy ampl i a, yo no esperara que tos detalles concretos
n contrato de eval uaci n estuviesen determinados por ellos. No obstante,
^ ten posibles reas de conf l i ct o. Por ejemplo, si el contrato exigiera que
6 e v a l u a d o r vi ol ara l a aut oest i ma de alguien sometido a evaluacin, estara
At oado a act uar de f orma no equit at i va respecto al cumplimiento de los
-Vminos cont ract ual es ant es de actuar de manera injusta, pues la autoesti
maconstituye un bi en pri mari o en la concepcin rawlsiana de justicia. En la
c o n c e p c i n ut i l i t ari a de l a j ust i ci a, no podramos transgredir el principio de
I elevar a l mxi mo l as sat i sf acci ones netas de la sociedad.
I En resumen, l a equidad es una i dea que aparece por todas partes en la
I evaluacin, casi si empre en un ni vel intuitivo de conciencia Aqu nos hemos
I ocupado de conocer las condi ci ones que ha de cumplir un contrato de
I evaluacin para que pueda consi derarse equitativo. Entre esas condiciones
I estn: la ausenci a de coerci n, l a racionalidad, la aceptacin de los trminos,
I el acuerdo conj unt o, el desi nt ers, l a universalidad, el inters comunitario, la
I informacin i gual y compl et a, l a f alta de riesgos, la posibilidad, la voz de
I todos los part i ci pant es y la part i ci paci n. El contrato equitativo es vinculante
I salvo que se oponga a nuest ros deberes naturales o a principios morales
I ms i mport ant es como l os de j ust i ci a.
CAPTULO IX
Poder y del i beraci n
Las debilidades dei liberalismo
La cuestin sobre cmo quedan representados en una evaluacin eli
inters pblico y los de todas las partes interesadas es fundamental. Losl
enfoques utilitaristas asumen que los ndices de bienestar reflejan el inters!
pblico y que los gobiernos deben emprender acciones claras sobre la ba l
se de estas decisiones. Los liberales modernos del bienestar creen en la
concentracin del poder en el gobierno, poder ejercido en nombre del i
inters pblico o de los intereses de grupos especiales a quienes el gobierno I
trate de ayudar, como los ms desfavorecidos.
Como el utilitarismo permite el beneficio de las clases superiores al
costa de las pretensiones de las inferiores, al constituir el criterio la cantidad 1
total de satisfaccin de aspiraciones, este enfoque puede resultar antide-1
mocrtico, sobre todo por no representar los intereses de quienes se en-|
cuerrtran en peor posicin. No tiene por qu ser as, pero al buscar la]
mxima satisfaccin bruta de aspiraciones, la poltica federal no se ha
ocupado bastante de la distribucin de aqulla. Se ha preferido la eficiencia I
a la justicia.
Los enfoques ms democrticos de la evaluacin, los participativos, soni
pluralistas en dos sentidos. En el primero, se basan en una combinacin de l
diversos principios o valores y no en un solo criterio, como ocurre en un]
enfoque utilitarista estricto. En el segundo, representan diversos intereses]
distintos; tericamente, los intereses de todos los afectados por el programa!
o poltica En la medida en que respondan a los intereses de los miembros]
de la comunidad, podemos considerarlos democrticos (Car e, 1978). 1
Sin embargo, incluso los enfoques pluralistas pueden criticarse en la
misma medida en que puede serlo el pluralismo poltico. El pluralismo ha
recibido ataques por discriminar ciertas clases de problemas. Slo se t i enen
en cuenta los planteados por grupos legitimados para ello. Si un pr obl ema
ste especial inters para un grupo social legitimado, suele dejarse de
m 'Es difcil plantear probl emas rel ativos al bien comn, referidos al toe-
|ad r de toda la sociedad, porque no hay ningn grupo concreto al que le
n se plantear tales probl emas. En realidad, la percepcin de la socie-
Jadelo la suma de i ndi vi duos o grupos dificulta la identificacin del bien
00fiTla versin arbi t ral del plural i smo, el gobierno acta como rbitro,
que los individuos resuel van sus propios problemas, aunque ase
rr n d o s e de que se cumpl an l as reglas. Es un papel semejante al del
%*i.iadoir democrtico de MacDonal d, que hace de intermediario entre
d i v i d u o s , facilitando el i nt ercambi o de informacin entre ellos, aunqu no
se interfiere de f orma di rect a ni hace recomendaciones de su propi co
secha
se ha criticado l a versi n arbitral del pluralismo por favorecer a los
individuos ms fuertes en perj ui ci o de los dbiles y por consolidar el poder
de aqullos en las posi ci ones de mayor importancia (Wolff, 1968^ Por
ejemplo, cuando desempean est e papel organismos reguladores del go
bierno, los neutrales sl o se ocupan de los lderes de los distintos gru
pos de intereses y no de l os mi embros de base de tales organizaciones. En
consecuencia, a menudo l os i nt ereses representados corresponden a los
ejecutivos, los di ri gent es si ndi cal es, los agricultores ms influyentes, etc.
Las acciones arbi t ral es emprendi das para responder a los ms fuertes
contribuyen a la consol i daci n de las posiciones ocupadas por los lderes,
desempeando, por t ant o, un papel ms conservador que neutral. Aunque
el fundamento del enf oque consi st e en que queden representados los in
tereses de cada uno de l os i ndi viduos, la interaccin libre entre fuerzas
opuestas conduce a l a domi naci n de los ms fuertes (al menos, eso dicen
las crticas).
La versin del vect or suma del pluralismo recibe una crtica semejante.
Concibe los grupos, y no l os i ndi vi duos, como unidades bsicas. La repre
sentacin de los? i nt ereses del i ndi vi duo se hace a travs de su grupo.
Diversos grupos t rat an de consegui r que el gobierno acte en su nombre.
El papel d# gobierno consi st e en responder a esos intereses de grupo. Las
posteriores acciones y ori ent aci ones del gobierno vendrn determinadas
Por el vector suma de t al es presi ones de los grupos.
Ese papel es semej ant e al que desempea el evaluador responsivo
6 Stake. El eval uador act a en respuesta a los grupos que participan en el
Programa y tienen rel aci n con el mismo, configurndose la evaluacin de
^cuerdo con esas presi ones cambiantes. En el desarrollo de la evaluacin
QruVa'UaC^0r resPnc*e a l os i nt ereses, opiniones, preocupaciones, ele., del
le P0, Cmo en la versi n arbitral del pluralismo, la del vector suma considera
,lrT1as | as peticiones ri val es, pero no se define con respecto a eWas.
ons? tCr^ ca clue se hace cont ra la versin del vector suma del pluralismo
(Wolf 6n ûe no se *'enen en cuenta los intereses de todos los grupos
y no jf 168). La di st i nci n entre grupos legtimos e ilegtimos es muy ciara
aVobligacin de responder a los ilegtimos". Por regla general, se
14 i ' evaluacin, tica* ~ . A
1~............ ........ ..........".... -----1..... ........................ . 1
admite que los grupos organizados son legtimos, a diferencia de los n
organizados. Estn mejor representados los que disponen de recursos
tcnicas de organizacin, lo que tambin favorece a los grupos ms pe.|
quefios, que pueden reunirse con mayor facilidad. De este modo, en ya
prctica salen beneficiados los grupos establecidos, en perjuicio de los (jf I
reciente formacin. Los perjudicados, que tienen intereses pero poca fuerza I
no son admitidos. En la accin de gobierno, esta versin acta a menuclol
como un freno para el cambio social (al menos, eso dicen las crticas). 1
En resumen, los enfoques participativos de la evaluacin son significatj.J
vamente ms democrticos que otros muchos enfoques liberales. Ofrecen!
ms opciones sobre una cantidad mayor de cuestiones a un pblico ms J
amplio. Reflejan los intereses de muchos grupos. No obstante, tambin sonl
deficientes. No se libran del todo de algunas dificultades del liberalismo en I
general y del pluralismo en particular.
Tampoco excluyo de esta crtica mi propia propuesta de contrato para I
una evaluacin equitativa (Ho u s e y Ca r e, 1979). Aunque, en teora, r e s u l t a !
ms aceptable a los participantes, desde el punto de vista moral, es muy H
probable que ese contrato se celebre, en la prctica, entre el evaluador y el I
patrocinador. Una de las condiciones de un contrato equitativo es que las H
partes que establezcan un acuerdo tengan en cuenta los intereses de todos m
los afectados por el mismo, pero sta constituye slo una cautela, no una I
garanta.
Poder e intereses
La mayor parte de las crticas que se dirigen contra el liberalismo se 1
refieren a que no estn representados por igual todos los intereses porque, I
en general, un cierto desequilibrio a favor del poder impide que ello se lleve 1
a cabo. Lukes (1974) codifica estas objeciones. El liberalismo diceI
toma a los hombres como son y aplica a lo que ellos prefieren unos principios
relativos a sus pretensiones. Sus preferencias polticas se manifiestan me- a
diante la participacin poltica (como en los enfoques participativos de la .1
evaluacin).
Los pluralistas asumen que los intereses pueden entenderse como ;
preferencias polticas concretas. Un conflicto de intereses equivale a uno 9
de preferencias. Los liberales se oponen a la idea de que los intereses de 1
grupo puedan no estar articulados, ser inobservables o que las personas a
puedan no ser conscientes de sus propios intereses. Tal como los conci ben i
ios liberales, los intereses son intereses subjetivos, tal como los ven las 9
partes.
En correspondencia con esta concepcin de los intereses est el pun- 1
to de vista liberal sobre el poder, que se centra en la conducta individual
al tomar decisiones acerca de cuestiones en las que existe un conf l i ct o I
observable entre intereses subjetivos. stos deben expresarse como pref - I
rencias polticas que se ponen de manifiesto en la participacin pol t i ca f
1974). Es obvio que en los enfoques utilitaristas de la evaluacin, la
(U#3 acin
s e limita a la valoracin de las necesidades, disenada para
Pa pr las pretensi ones. En los enfoques pluralistas, la entrevista es capaz
r0C tectar pref erencias polticas complejas.
de ntra c o n c e p c i n es la d e los reformistas, que dicen que nunca llegan a
Mearse muchos conflicto s y problemas a causa de desequilibrios de
P!!?pr Hay muchos p r o b l e m a s que nunca alcanzan el nivel de las decisio-
P D o r q u e s e oponen a los intereses y valores de los responsables de las
neSmas Por tanto, se su primen . Existe un conflicto entre Jos intereses de
!1 r e s p o n s ab l e s de las de cis iones y aquellos cuyos intereses se excluyen
2 proceso d e deci si n.
Desde el punto d e v i s t a reformista, el poder supone la capacidad de
definir l os probl emas y e n te r r a r conflictos, y no slo de decidir los conflictos
ando surgen. A n se c o ncibe n los intereses como subjetivos, que pueden
arti cul arse y observarse. Sencillamente, algunos intereses nunca tienen la
oport uni dad de llegar a la superficie. En consecuencia, los reformistas tienen
un concepto m s a m p l i o d e los intereses que los pluralistas. Aqullos no
slo consideran i n t e r e s e s legtimos las preferencias polticas de quienes
parti ci pan en el s i s t e m a poltico, sino tambin las de los parcial o totalmente
excluidos del mi smo.
El tercer punto d e v i sta sobre el poder es el de los radicales. Dicen que
la perspectiva r e f o r m i s t a tambin es individualista, desde la perspectiva
metodolgica. El p o d e r consiste en fuerzas colectivas de frmulas sociales,
as como en los i ndi vidu os q u e llevan a cabo sus pretensiones frente a la
oposicin d e los otros. El conflicto que en realidad se observa no es el
nico indicio de l p o d e r , puesto que ste puede ejercerse de manera que
determine lo q u e d e s e e u n a persona. El conflicto puede no ser observable.
En realidad, el s i s t e m a so cia l configura las pretensiones de la persona, y
esas pretensiones p u e den oponerse a sus mejores intereses. Los que percibe
de forma subjetiva la p e rs o n a pueden no ser los verdaderamente suyos.
En c o nse cuen cia , p u e d e n existir conflictos latentes entre los intereses
de quienes e j e r c e n el p o d e r y los reales de quienes estn excluidos de L
Existira un conflicto e n tr e pretensiones o preferencias si los sometidos al
poder fueran c o n s c i e n t e s d e sus propios intereses. Desde el punto de vista
de los radicales, s u p o n e r que la ausencia de quejas refleja un autntico
consenso es d a r c a r t a d e naturaleza a la posibilidad de un consenso falso
o manipulado.
En general, l ib erale s, reformistas y radicales estn de acuerdo en que el
poder no d e b e im p e d i r q u e salgan a la luz los intereses, conflictos y proble
mas. Se muestran e n d e s a c u e r d o respecto a la medida en que la estructura
social actual p e rm ite el surgimiento de los mismos. Tanto reformistas como
radicales se a l a n q u e hay intereses que nunca suelen tenerse en cuenta
8n ?s ev aluaci ones liberales.
En contra d e la idea liberal, sostienen que muchos intereses se excluyen
se as v a l u a c i o n e s , sobre todo los de quienes carecen de poder. stos no
0n capaces d e a rtic ula r sus intereses porque carecen de igualdad de
* * _____________Eval uaci n, tica y
5 S
oportunidades. Se dejan de lado las quejas encubiertas. Adems, las cj0.
siones reales nunca se someten a evaluacin pblica. Slo se permite n?'
ios evaluadores valoren lo que quieren los responsables de las decisioiwj
siempre concordantes con los propios intereses de esos mismos responso
bles. Si el ideal consiste en que se reflejen los intereses de todos |qS
afectados por el programa, no es habitual que se alcance, ni de lejos, es!
ideal.
Desde el punto de vista emprico, hay considerables pruebas que res.
paldan estas afirmaciones. Pocas evaluaciones reflejan l os intereses de
nadie que no sean los patrocinadores ni los grupos ms organizados y
articulados. Con frecuencia, los problemas se definen de ant emano, impidien
do as que surjan otras cuestiones en el estudio, de manera que los proJ
blemas que aparecen en el desarrollo del mismo suelen surgi r de conflictos
manifiestos. Incluso cuando los evaluadores tratan consci ent ement e de hacer
valer los intereses de grupos menos favorecidos, a menudo no son capaces
de llevar esto a cabo. Por ejemplo, en una evaluacin que i ncl ua un pro-
grama bilinge, nunca conseguimos que algunos padres de origen latino se
reunieran con nosotros para expresar sus puntos de vi st a. No tuvimos
problema aiguno al pedir a los padres de clase medi a y habl a inglesa que
nos manifestaran sus perspectivas (Amarel y coi s., 1979). En el supuesto
de que el evaluador conozca sus intereses, los t rat a de f orma paternalista.]
La adopcin e implementacin de la postura radical es problemtica.
Requiere que el evaluador reconozca que los intereses y pretensiones que
las personas perciben de manera subjetiva no concuerdan con sus intereses
reales. La definicin de stos constituye una dificultad muy importante.!
Una definicin es que los intereses reales consisten en lo que las personas
querran y preferiran, si fueran capaces de elegir. Dicho con mayor precisin,]
la poltica X favorece ms los intereses de A que la poltica Y, si A, habiendo;
experimentado los resultados de ambas polticas X e Y, escogiera X en vez
de Y (Lukes, 1974, pg. 34). Con frecuencia, los intereses reales se relacionan
con la eleccin en condiciones de autonoma.
Ahora bien, sucede que una persona puede pretender, errneamente,^
una poltica que lesione sus propios intereses. En realidad, la evaluacin
constituye un mtodo para decidir si un programa o poltica tiene determiH
nados resultados. Por regla general, queremos los resultados de un programa
o poltica ms que la poltica misma en cuestin (Ba r r y , 1965). Por tanto, es
posible que otros juzguen los intereses de alguien mejor de lo que lo hara;
el interesado mismo. Por supuesto, esto tambin puede constituir un derrotero?
peligroso.
El hecho de que otros juzguen los intereses de alguien puede promover
una poltica que ei interesado rechazara desde otro punto de vista. Adems,;
la persona puede escoger deliberadamente una poltica que sabe no favorece
sus intereses por una simple cuestin de principio. Sin embargo, i ncl uso el
juzgar los intereses de alguien sobre la base de lo que querra si supi era
los resultados no neutraliza la crtica radical. Los mismos deseos pueden
ser sospechosos. En consecuencia, es difcil descubrir siquiera una definicin
6 fftCtonM Mor ata & L
a * * * * 6 - ..................... ......................~ ............. - ------------------------ =
1(J identifique cules son los intereses "reales", aunque podamos
cal |0S intereses aparentes sean equivocados.
V iarfctas dificultades, la solucin liberal clsica consiste en acertar'
An *<Tes y as Prensiones percibidos tal como aparecen. Mi postura
ios int?i en que ,os intereses rea,es pueden descubrirse mediante una
c0fl5 noda forma de participacin, que permita la eleccin del individuo
deteHiciones de autonoma (Care, 1978; House y Care, 1979). Esta postura
0(1 rea a la definicin de los intereses reales" o a lo que el individuo
seaCra de forma autnoma -postura radical-, aunque manteniendo la
eSnindividual. El individuo puede descubrir sus intereses autnticos a
opc5 de su participacin con otros para decidir la evaluacin. Los intereses
nticos son aquellos a los que se llega en este proceso. Esto no supone
^ identificacin infalible de las pretensiones reales, pero, al menos pro-
Unfciona un mtodo de cuestionar las percibidas. Es de esperar que ambos
Converjan.
poder y autoridsd
Hay diversas def i ni ci ones de poder. Esencialmente, A tiene poder sobre
Bcuando A af ecta a B de alguna forma significativa (Lukes, 1974). La
definicin de poder util izada en el apartado anterior consista en que Atena
poder sobre B cuando A af ectaba a B en contra de los propios intereses de
B. Otras definiciones vi ncul aran por completo el poder con la autoridad y el
consenso, disoci ndol o, por tanto, de los conflictos de intereses. En tal
caso, el poder se ej ercera con autoridad legtima.
No obstante, la def inicin de poder que empleamos aqu lo distingue de
laautoridad. El poder puede suponer la imposicin de la propia voluntad
sobre alguien sin que se acepte como legtimo. La autoridad supone que B
acata a A porque tanto el contenido del mandato de A como el procedimiento
utilizado por A para emitirlo son legtimos. La Figura 3 ilustra estas diferencias.
En consecuencia, el poder constituye o no una forma de influencia, depen
diendo de que se utilicen o no sanciones, mientras que la autoridad pue
de constituir o no una f orma de poder, dependiendo de la presencia o no de
conflictos de intereses (Lu k e s , 1974).
Segn esta concepci n, el poder se opone a la influencia B poder
sur9e cuando existe un conflicto de intereses. Si se utilizan sanciones, el
Pder se convierte en coercin (amenaza de privacin) y en fuerza (ausen
ta de eleccin) y no se f unda en la autoridad. Uno se impone contra la
o untad del otro. Si no existen sanciones, el poder puede ser una forma de
uencia, es decir, se ejerce dentro de los lmites reconocidos de la autoridad
Se t ata a ^ Prclue A es razonable, aunque exista un conflicto de intereses.
ata del ejercicio legtimo del poder.
El :n ernbargoi desde el punto de vista radical, existe un problema,
y con !?* i nt ereses puede estar latente. B puede apoyar una potoca
s*derarla legtima por creer errneamente que le beneficia. En
^ ___________________________ 6 Eciows Mawn S i
Figura 3: Mapa conceptual del poder
Nota: Tomado de Steven Lukes (1974): Power: A Radical View. Londres: Macmillan. Reinw
preso con autorizacin de A. D. Peters & Co. Ltd.
esto consiste el poder ejercido en forma de manipulacin. B no se da
cuenta de lo que est haciendo. Para los radicales, esto; constituye ur
punto de partida importante. B est confundido respecto a sus pretensiones
e intereses reales. Los liberales toman la aceptacin de B tal como se
manifiesta. Aqu se clasifica como influencia no basada en la autoridad.
Por ltimo, cuando no existe conflicto de intereses, A se limita a ej ercer
influencia sobre B. Se trata de una autoridad legtima por consenso ej erci da
en los trminos de los propios valores de B. La influencia adopta la f orma
de induccin, estimulacin o persuasin. Sin embargo, el evaluador slo:
puede utilizar la persuasin.
La nica forma de influencia o poder que utiliza legtimamente l a eva
luacin es la persuasin (Captulo IV). A causara que B actuara o pensara
de cierto modo porque B acepta las razones de A. B considerara aut ori za
das las proposiciones de A porque su contenido sera legtimo y r azonabl e
en relacin con los valores de B o porque se ha llegado a ellas medi ant e un
procedimiento legtimo. La fuerza, la coercin, la manipulacin y las i nduc
ciones quedan proscritas.
En el sentido de que A causa que B haga o piense algo que, en otro*
caso no hara ni pensara, la persuasin racional es una forma de pode^
wydeHberaci n^
r0 en el sent i do de que B acepta de forma autnoma las razones de A
a actuar de ese modo, cambiando su forma de pensar, no va en corta
5 la voluntad de B. Por tanto, no se trata de poder. La persuasin racional
f encuentra ent re l a definicin de poder basada en la causalidad, por una
arte y ,a clue se basa en la razn y la autonoma<Por otra (Lukes, 1974).
p podemos suponer que los radicales estaran dispuestos a ejercer e)
oder sobre al gui en a favor de su propio inters real, asumiendo el conflicto
Entre las pref erenci as de A y de B. En el otro extremo, podramos suponer
' cual qui era o l a mayora de las formas de control de A sobre Bson
Lanas, dando una prioridad absoluta a la autonoma de B. En el primer
caso, la eval uaci n se desarrollara a partir de la identificacin de los intereses
reales de B y l os programas y polticas que puedan favorecerlos, sin la
cooperacin de B. Esta forma de actuar se acerca al paternalismo, pero as
se desarrollan muchas evaluaciones gubernamentales. De nuevo, podemos
suponer que l os radicales seleccionaran unas medidas de los intereses
reales di f erent es de las escogidas por los evaluadores gubernamentales,
pero sus enf oques y tcnicas, p. ej., el anlisis de sistemas, serian seme
jantes. En el ot ro extremo, los evaluadores no haran recomendaciones y
procuraran que su influencia fuera mnima. Esto supone la amenaza de la
anarqua y hay muy pocos enfoques de evaluacin que defiendan esta
lnea de act uaci n. La mayor parte de las evaluaciones se sitan entre
ambos ext remos de influencia y poder, aunque la mayora tiende al polo
paternalista.
La perspectiva radical sugiere que los evaluadores deberan preocuparse
ms por la estructura institucional global en la que opera el programa o
poltica de que se trate, y del contexto social general en el que se desarrolla
laevaluacin. El evaluador no puede basarse slo en la definicin del
problema y de la situacin que le presenta el patrocinador o el responsable
de las decisiones. Si lo hace as, refuerza el status quo, una postura de
valor tan tangible y arbitraria como cualquier otra y, quiz, prime los intereses
del patrocinador o responsable de las decisiones sobre las de otros. Tal
postura en el evaluador no podra considerarse democrtica ni moral, pues
convierte la evaluacin en una forma de fuerza, coercin o manipulacin.
Deliberacin
La esencia de las crticas reformistas y radicales contra los enfoques
berales consiste en que las relaciones de poder determinan, en realidad
decisiones que se adopten. Una forma de comprobar estas proposiciones
comparar la deliberacin que se lleva a cabo en la evaluacin concha
JjOn la forma en que debera producirse. La mayora de las personas estaa
6 acuerdo en que quienes tienen el poder mximo no debenan determinar
racuestiones de la evaluacin. Si stas se deciden con arreglo a las
iu?t fnes Poc*er>Poca falta hara una evaluacin salvo como medio de
''car decisiones tomadas desde el poder. Algunos dinan que la nica
I
168 Eval uaci n, tica y p o d e r i
Figura 3: Mapa conceptual del poder
Nota: Tomado de Steven Lukes (1974): Power. A Radical View. Londres: Macmillan. ReinM
preso con autorizacin de A. D. Peters & Co. Ud.
esto consiste el poder ejercido en forma de manipulacin. B no se da i
cuenta de lo que est haciendo. Para los radicales, esto constituye unj
punto de partida importante. B est confundido respecto a sus pretensiones
e intereses reales. Los liberales toman la aceptacin de B tal como se
manifiesta. Aqu se clasifica como influencia no basada en la autoridad.
Por ltimo, cuando no existe conflicto de intereses, A se limita a ejercer
influencia sobre B. Se trata de una autoridad legtima por consenso ejercida
en los trminos de los propios valores de B. La influencia adopta la formal
de induccin, estimulacin o persuasin. Sin embargo, el evaluador slo]
puede utilizar la persuasin.
La nica forma de influencia o poder que utiliza legtimamente l a eva-*j
luacin es la persuasin (Captulo IV). A causara que B actuara o pensara
de cierto modo porque B acepta las razones de A. B considerara autorizad
das las proposiciones de A porque su contenido sera legtimo y razonabl e
en relacin con los valores de B o porque se ha llegado a ellas medi ant e urv
procedimiento legtimo. La fuerza, la coercin, la manipulacin y las inducl
ciones quedan proscritas.
En el sentido de que A causa que B haga o piense algo que, en ot ro
caso no hara ni pensara, la persuasin racional es una forma de poder.
$ BduormMorata, 8. L
el sentido d e q u e B a c e p t a de forma autnoma las razones de A
pgfOe1 ar |e e s e m o d o , c a m b i a n d o su forma de pensar, no va en contra
> a ,untad d e B. P o r ta n t o , no se trata de poder. La persuasin raciona!
j e la v0lpntra en tr e l a d e fi n i c i n d e poder basada en la causalidad, por una
$e e la que s e b a s a e n l a ra z n y la autonoma, por otra (Luk es, 1974).
parte*Y' s u p o n e r q u e los radi cal es estaran dispuestos a ejercer el
sobre al guie n a f a v o r d e su propio inters real, asumiendo el conflicto
poder pref e r e n c i a s d e A y d e B. En el otro extremo, podramos suponer
cualquiera o l a m a y o r a d e las formas de control de A sobre B son
^rtimas dando u n a p r i o r i d a d absoluta a la autonoma de B. En el primer
' la evaluacin s e d e s a rroll ara a partir de la identificacin de los intereses
caS|es de B y los p r o g r a m a s y polticas que puedan favorecerlos, sin la
r noeracin d e B. E s t a f o r m a d e actuar se acerca al paternalismo, pero as
desarrollan m u c h a s e v a l u a c i o n e s gubernamentales. De nuevo, podemos
^noner que los r a d i c a l e s s e lec cio nara n unas medidas de los intereses
reales diferentes d e l a s e s c o g i d a s por los evaluadores gubernamentales,
ero sus enfoques y t c n i c a s , p. ej., el anlisis de sistemas, seran seme-
fentes. En el otro e x t r e m o , los evalu adore s no haran recomendaciones y
procuraran q u e su i n f l u e n c i a f u e r a mnima. Esto supone la amenaza de la
anarqua y ha y m u y p o c o s en fo q u e s de evaluacin que defiendan esta
lnea de actuacin. L a m a y o r parte de las evaluaciones se sitan entre
ambos extremos d e i n f l u e n c i a y poder, aunque la mayora tiende al polo
paternalista.
La perspectiva ra d i c a l s u g i e r e q ue los evaluadores deberan preocuparse
ms por la e s t r u c t u r a instituci onal global en la que opera el programa o
poltica de que s e tr a t e , y d e l contexto social general en el que se desarrolla
la evaluacin. El e v a l u a d o r no pue de basarse slo en la definicin del
problema y de la s i t u a c i n q u e le presenta el patrocinador o el responsable
de las decisiones. S i lo h a c e as, refuerza el status quo, una postura de
valor tan tangible y ar b i tra r ia c o m o cualquier otra y, quiz, prime los intereses
del patrocinador o r e s p o n s a b l e d e las decisiones sobre las de otros. Tal
postura en el e v a l u a d o r no po d r a considerarse democrtica ni moral, pues
convierte la e v a l u a c i n e n u n a forma de fuerza, coercin o manipulacin.
Deliberacin
La esencia d e l a s c r t i c a s reformistas y radicales contra los enfoques
ferales consiste e n q u e la s r ela cio nes de poder determinan, en realidad,
as ^cisiones q u e s e a d opten. U n a forma de comprobar estas proposiciones
comparar ja d e l i b e r a c i n q u e s e lleva a cabo en la evaluacin concreta
n la forma en q u e d e b e r a producirse. La mayora de las personas estara
acuerdo en q u e q u i e n e s t ie nen el poder mximo no deberan determinar
relac UeS*Ones ,a e v a *u a c , n- Si stas se deciden con arreglo a las
jUst J ones d e poder, p o c a fa l ta har a una evaluacin salvo como medio de
Car de cisiones t o m a d a s d e s d e e l poder. Algunos diran que la nica
110 Eval uaci n, ti ca y p o ^ i
funcin que desempea la evaluacin es sa, la legitimadora, pero pocoJ
sostendran que se fuera el papel que debera desempear.
Todos los enfoques de la evaluacin dan por supuesto el significativa
papel que la evaluacin desempea en el proceso de decisin. Sin embargo !
cada uno de ellos parte de una situacin de decisin algo distinta y ese!
punto de partida diverso explica algunas de las diferencias que se registrar!
entre los enfoques. Por ejemplo, los enfoques de gestin suponen la exis- j
tencia de unos pocos responsables clave de las decisiones que toman lo s i
resultados de la evaluacin y, de acuerdo con sus partidarios, adoptan!
decisiones que afectan a muchas personas en un gran radio de acci nl
como sucede con los programas federales. Las tcnicas de evaluacin del
gestin estn pensadas para que proporcionen una agregacin y resumen!
de datos que faciliten la decisin de los responsables. Aunque las relacio-1
nes de poder no carezcan completamente de inters, no se prev que I
dominen la evaluacin.
En el extremo opuesto del espectro de la concentracin de poder, losl
enfoques participativos consideran una situacin de decisin en la quel
los participantes en el programa reciben los resultados de la evaluacin y]
se renen para dialogar sobre ellos y dilucidar, quiz frente a frente, qul
decisiones han de adoptarse. La informacin de la evaluacin debe serl
comprensible para un grupo de este estilo, demanda muy diferente de l al
que plantea el estilo de gestin.
Desde el punto de vista de gestin, el problema fundamental consiste enl
conseguir que los resultados de la evaluacin sean crebles para destinatarios!
muy distantes, tanto fsica como psicolgicamente, lo que se consigue me-l
diante la objetivacin de los datos, convirtindolos en nmeros reproducibles 1
gracias a la autoridad de la que goza la metodologa de las ciencias sociales.1
En los enfoques relacionados con la difusin del poder, la credibilidad!
constituye un problema muy distinto. Para aquellos que conocen de cereal
el programa, los resultados de la evaluacin sern crebles si no se oponen*
a su experiencia del programa. El problema estriba en hacer que la evalua-1
cin sea lo bastante comprensible para que los participantes la entiendan y 1
tan pertinente que les permita actuar sobre la base de la misma. De nuevo,!
se da por hecho que las relaciones de poder no descartarn los resultados!
de la evaluacin ni los deformarn para otros fines.
Otros enfoques de la evaluacin imaginan deliberaciones cuasi j udi ci al es j
en las que los elementos contradictorios estn igualados en poder, delibe-1
raciones en donde los profesionales discuten entre s o los usuari os i ndi vi -1
duales actan en situaciones de mercado. Cada una de estas si t uaci ones j
previstas de antemano impone distintas exigencias a la evaluacin, pero
todas ellas dan por supuesto que el poder no la invalidar.
Qu clase de situacin de decisin debe prever el evaluador? P r i m e r o ,
en la evaluacin de programas pblicos, debe prever una decisin colectiva
y no una meramente individual, privada Aunque haya un responsable mxim
de las decisiones, slo emprender acciones tras un proceso de d e l i b e r a c i n
con otros y sobre la base de consideraciones p b l i c a m e n t e justificables.
-Ag nevarse a cabo una evaluacin en relacin con intereses indvi-
p privados, como ante la adquisicin de un coche. Hasta cierto punto,
daleeso de eval uaci n es igual pero, cuando la evaluacin pblica se
el Pr^ ura como l a meramente individual, se comete un error fundamental.
e val uaci n pblica supone criterios y valores pblicos. Debe prever
ia psos de deci si n colectiva. Un proceso de decisin colectiva no es
p i al de sopesar y equilibrar criterios de manera individual en beneficio
' nio La const rucci n de los procedimientos de decisin pblica como si
Ptratase de procedimientos individuales ampliados constituye un defecto
f ndamental del utilitarismo. La seleccin de ios mejores medios para con-
auir det ermi nado conjunto de fines para un individuo no puede coinci-
2 con el proceso encaminado hacia fines plurales. Este ltimo necesita
Z proceso de decisin colectiva y, para la evaluacin, esto significa un
procedimiento de discusin sobre mritos.
En torno a esas deliberaciones colectivas, se polarizan dos escuelas de
pensamiento (Ba r r y , 1973). Una de ellas sostiene que, en esas deliberaciones
colectivas, hay que participar de una manera que nos permita defender
nuestros propios intereses. Despus de todo, cada uno es el que los conoce
mejor y debe plantearlos. En consecuencia, la deliberacin consiste en la
suma y consideracin de todos los intereses del grupo.
La otra escuela sostiene que una deliberacin tal con el fin de tomar
decisiones sociales es catastrfica. Si cada persona trata de conseguir sus
propios intereses, es imposible llegar a una decisin justa. La discusin de
los mritos degenerar, convirtindose en un vulgar regateo respecto a lo
que conseguir cada uno. Los compromisos se basaran en la coercin y el
poder y no sobre lo que debe hacerse. En esas condiciones, la deliberacin
degenera hasta convertirse en un compromiso entre intereses (Rawls, 1971).
Esta escuela sostiene que la base de la discusin debe consistir en un
dilogo sobre los mritos, en el que participe cada persona, pues todas
tienen contribuciones importantes que hacer. La discusin se perfecciona al
presentarse puntos de vista alternativos. En esa deliberacin, la discusin
se funda en principios o premisas comunes a todos. Cada participante debe
adoptar un punto de vista amplio y ser completamente desinteresado. El
intercambio de opiniones conjura la parcialidad. Para que puedan tomarse
decisiones justas, los deliberantes deben asumir un papel totalmente desin
teresado. Tal es la visin de las deliberaciones en la accin.
No cabe duda de que los intereses egostas deben limitarse para po-
er llegar a una deliberacin racional en la que desempeen algn papel
os Multados de la evaluacin. Pero este procedimiento de deliberacin
jra dista tanto de las situaciones en las que las personas emprenden
dones que parece imposible alcanzarlo. En relacin con el contrato equ-
^ evaluacin, previo a la evaluacin misma, hemos sugerido ciertas
nociones que deben imponerse a los intereses, pero no su eliminacin,
ac Hna deliberacin sobre los resultados de la evaluacin con vistas a la
do t . Parece poco prctico y quiz imprudente excluir la consideracin
las per sonas
Eval uaci n, tica y podep
Una postura intermedia entre ambos extremos consiste en que quienes
comparten el poder sean capaces de desarrollar argumentos y deliberaciones
basados en principios que ellos mismos consideren como objetos de deo>
alones (Bar r y , 1973). Pero, si se excluye del poder a otros grupos co^
intereses caractersticos, tambin es probable que se excluyan sus intere*|
ses del mbito de los principios utilizados por los grupos con poder. Parai
que las relaciones de poder no determinen los resultados, es preciso equjj
parar la participacin en el poder.
En otras palabras, los participantes pueden representar intereses sin
que ello impida discutir una decisin racional sobre la base de principios!
habida cuenta de la existencia de cierto equilibrio de poder entre los grupos
o individuos participantes. Al mismo tiempo, los intereses de los excluidos
no estarn bien representados. Cuanto mayor sea la igualdad de poderes a i
la que se llegue, mayor ser la igualdad de consideracin otorgada a los ]
intereses (Barry, 1973).
Propongo que esta postura modificada se utilice como norma para la
deliberacin sobre los resultados de la evaluacin, en vez de una postura I
pura en la que se d por supuesto que los deliberantes sean iguales en j
poder y carezcan de intereses, es decir, sean desinteresados. Propongo I
que el evaluador prevea una posterior deliberacin sobre los resultados de
la evaluacin en la que las cuestiones se decidan mediante la discusin ]
racional sobre principios comunes, aunque no determinados por las rea-1
dones de poder.
Ser entonces obligacin del evaluador reflejar todos los intereses perti-1
nentes en la evaluacin. En general, los intereses peor representados sern
los de los menos poderosos. Para que el evaluador no favorezca los intereses
dominantes del poder de manera parcial, aunque sea inconsciente, debe
asegurarse de que todos los intereses estn reflejados en la evaluacin. La
postura modificada, de imparcialidad y no de desinters, permite tambin
que las minoras especialmente afectadas cuenten ms en un programa o
poltica, con mayor influencia en la decisin, dado que dichas minoras
podrn representar sus intereses tanto en la evaluacin como en la delibe
racin. Esto reviste particular importancia porque muchos programas y pol
ticas afectan a las personas de formas muy diferentes. El proceso de deln
beracin pura no permite estas especiales consideraciones, dado que no
da lugar a la representacin de intereses: todos los participantes son desin-1
teresados.
Por tanto, el evaluador debe defender una evaluacin en l a que se
reflejen todos los intereses y prever una deliberacin sobre los resul tados
de la evaluacin en la que todos los intereses se hallen represent ados y no
est determinada por las relaciones de poder. Una evaluacin desi nt eresada,
no comprometida, tiene la triste cualidad de carecer de relieve al no repre
guntar los intereses de los ms afectados. Lo que en realidad desean las
personas es una evaluacin imparcial, en la que se reflejen los i nt ereses de
grupo, en la que los grupos reciban un tratamiento equitativo y en la que
avaluador no favorezca en exceso sus propios intereses (vase el Captu*
9 IdteMnwt Mentt. $>I
\/lll) En es*e sentido, oomo f undament o de la evaluacin, la objetividad
eSA h o r a bien, es obvio que las relaciones de poder existen y desempean
oapei en todas las decisiones. El evaluador no puede esperar que su
duacin determine completamente las decisiones concretas. Hay otros
uchos factores legtimos que surgen en la posterior situacin de delibera
ban Quienes han de emprender las acciones deben sopesar y equilibrar
las consecuencias a la luz de sus propios intereses. El papel de la evaluacin
elimita a informar y persuadir a l os participantes del estado de la cuestin.
El evaluador debe prever una situacin de deliberacin que no est
determinada por el poder. Qu ocurre si la evaluacin suministra informes
^parciales que reflejan todos los intereses, y algunos de stos se pasan
por alto reiteradamente? Y si las decisiones se toman, por regla general,
sobre la base del poder y no sobre la deliberacin de consenso? Ental
caso, las crticas radicales del liberalismo estn en lo cierto: en realidad, el
poder decide las cuestiones y la evaluacin es puro ornamento.
Determinacin colectiva de las opciones
En la idea de deliberacin, quiz est implcita la de determinacin
colectiva de las opciones. La citada determinacin es posible o al menos
imaginable sin recurrir a la deliberacin. Podemos imaginar a cada individuo
hacindose su propia idea y votando sobre una cuestin sin entablar dilo
go alguno con sus compaeros. La simple suma de decisiones individuales
decide la cuestin. No tiene por qu producirse una deliberacin. Sin em
bargo, este procedimiento encierra un defecto fundamental; en realidad, es
antinatural. Para justificar algo, si no para persuadir de algo, es necesario el
dilogo.
En la teora del liberalismo no hay nada que impida el desarrollo de un
procedimiento sin que medie la deliberacin. La suma de preferencias indi
viduales y de intereses privados no exige el dilogo. Los intereses privados
pueden expresarse a travs de mecanismos de mercado. Sin embargo, llega
un momento en que parece necesario descubrir el inters comn mediante
a determinacin colectiva. Qui z el defecto fundamental del liberalismo sea
j}ue los individuos no son, en realidad, tomos independientes que slo, o de
0rma primordial, cooperan entre s por el propio inters de cada una Son
êmbros y productos de la sociedad en la que viven. Siempre estn incluidos
nuna comunidad e implicados en relaciones recprocas.
I sde el punto de vista metodolgico, el liberalismo es individualista en
onr?^9 en 9ue reduce todos los valores a estados de conciencia de uno
Dart indivic| uos Independientes. Los valores son o bien simples, formando
cann 6stado de conciencia de una persona, o bien compuestos, mpit-
luaa ^ âôs independientes de conciencia de diversas personas. No hay
entrl âra valores recprocos, que supongan una reciprocidad de conoenoas
6 dos o ms personas. Los valores recprocos estn implicados en ta
--------------------------------------------------------------------------------- ---------------------------
174 Eval uaci n, t i ca y p o ^
opcin colectiva, en el mantenimiento de una comunidad de personas y en I
la participacin en la misma.
Wo l f f (1968) denomina comunidad racional a est a deliberacin co-B
lectiva sobre objetivos. Es una actividad en la que di versos agentes raci o-1
nales, iguales desde el punto de vista poltico, se renen para deliberar con I
el fin de ponerse de acuerdo sobre objetivos y acciones colectivas. Esto se I
logra mediante el dilogo. La comunidad constituye l a met f ora orientadora I
subyacente.
Todo dilogo supone la reciprocidad de conciencias ent re l os part i chB
pantes, pero la reciprocidad puede darse entre el amo y su escl avo o entre *
un jefe y sus sbditos. Estas relaciones son recprocas, pero desi gual es. La I
consecucin de la comunidad racional no slo requiere el di l ogo, si no que I
ste sea entre iguales. El dilogo libre exige la rplica si n cort api sas. Las I
relaciones de poder deforman el dilogo. Cada participante en una comuni -5^B
dad racional debe reconocer a sus compaeros como agent es moral es y f l
sus derechos a la igualdad recproca en el dilogo (Wo l f f , 1968).
La comunidad racional requiere la reciprocidad de conci enci a de par t i d-B
pacin. Cuando las personas se renen y experimentan una conci enci a*
recproca, tienen la sensacin de comunidad, lo que contrasta con la clsica
visin liberal de los individuos que slo cooperan de forma i nst rument al e n ^ !
beneficio de sus propios fines. La comunidad y la reci proci dad no son 9
valores fundamentales del liberalismo. ste trata de establecer obl i gaci onesI
recprocas por medio de la idea del contrato social.
Esta concepcin de deliberacin para la accin es si mi l ar a ot ras, como
la de Haber mas (1973), que piensa en una deliberacin para l a acci n en la I
que quienes emprenden la accin participan en un di l ogo prct i co, cons-1
cientes de sus intereses comunes y conocedores de l as ci rcunst anci as y I
posibles consecuencias de su accin. El objetivo de ese di l ogo es ponerse I
de acuerdo sobre lo que deben hacer.
La teora o el conocimiento cientfico entra en ese di l ogo prct i co, pero 9 1
nunca es suficiente para determinar lo que deban hacer l os parti ci pantes. 9 1
Slo ellos pueden sopesar los riesgos y consecuencias de su acci n. Con I
palabras de Haber mas, ni la teora ni la ilustracin deben j usti f i car la I
accin. Esto slo puede hacerse mediante el dilogo prct i co.
Del mismo modo, la concepcin de la deliberacin que present amos I
aqu contempla a los destinatarios de la evaluacin i nf ormados por los 9
resultados de la misma, pero no obligados por ella ni por las r e c o m e n d a d o - 9
nes del evaluador, en caso de que las haya. Quienes han de act uar sobre 9
la base de los resultados deben deliberar juntos sobre lo que haya de I
hacerse. Las relaciones de poder estn excluidas de esta del i beraci n, 9
pero los participantes son conscientes de sus intereses. El eval uador debe
prever estas circunstancias. No debe prever que los participantes acten f l
sobre la base exclusiva de sus resultados sin deliberacin ni l a i nt ervenci n 9
de una figura de poder que utilice los resultados en su benef i ci o. Los 9
resultados han de utilizarse en el dilogo prctico y el evaluador desempea
su iabor io mejor posible para lograrlo.
0fundamento moral de la evaluacin
en r e s u m e n , propongo cuatro valores como fundamento moral de la
/ f l l u a c i n : igualdad moral , autonoma moral, imparcialidad y reciprocidad
? f n o c i n fundamental de igualdad consiste en que hay que considerar a
Sas las personas como miembros del mismo grupo de referencia y en
^ s e c u e n c i a , han de ser tratadas por igual.
primero, la i gual dad moral i ndi ca que cualquier persona tiene el mismo
derecho para procurar l a sat i sf acci n de sus propios intereses.
Segundo, la autonoma moral supone que nadie debe imponer su voluntad
a ios dems mediante l a f uerza, la coerci n u otros medios ilegtimos. Y a
nadie debe imponrsele nada en contra de su voluntad. Este valor est
ntimamente ligado al concept o de eleccin, un principio liberal bsico.
Podemos suponer que no se ha vi ol ado la autonoma moral en la medida
en que el individuo deci de l o que ha de hacer (aunque algunos consideran
insuficiente este criterio). La aut onoma moral que se manifiesta en la opcin
se fundamenta en el i ndi vi dual i smo metodolgico del liberalismo, en la
primaca del individuo y en l a t radi ci n del contrato social.
Tercero, los conf l i ct os ent re pretensiones e intereses han de zanjarse
con imparcialidad, o sea, estando representados todos los intereses y sin
que ningn procedimiento de decisin que se emplee favorezca a ninguno.
La imparcialidad, propi ament e dicha, es un valor moral. A veces, sobretodo
en la evaluacin, se conf unde imparcialidad con objetividad, siendo respon
sables de esta conf usi n las presiones a favor de la justificacin de la
evaluacin. La obj et i vi dad es ms fcil de demostrar y puede ser una forma
de indicar i mparci al i dad, pero un procedimiento objetivo puede ser muy
parcial respecto a un i nt ers particular. Es decir, podemos tener un procedi
miento objetivo (reproduci bl e) que muestre un pronunciado sesgo. Un resul
tado reproducible no bast a para demostrar la imparcialidad.
El cuarto valor que propongo para constituir el fundamento moral de la
evaluacin en una democr aci a liberal no se relaciona tan ntima ni necesa
riamente con el l i beral i smo como los tres primeros. Quiz en ello resida la
Mayor deficiencia moral del liberalismo. Se trata del valor de la reciprocidad,
del que depende el sent i do de comunidad. Podemos afirmar que tanto la
reciprocidad como l a comuni dad estn y deben estar implcitas en las
csas humanas.
0liberalismo consi der a l a soci edad como una coleccin de individuos
interesados, en el l os mi smos, cada uno de los cuales busca cumplir sus
Propios fines. Ent re el l os no exi st en relaciones necesarias ni obligatorias.
*!no aquellas vol unt ari as que se establezcan con fines instrumentales, Las
^Posiciones cont ract ual es si rven para constituir el fundamento de las obb-
3?c'nes mutuas. Sobr e l a base de la igualdad, la autonoma y la imparcia-
soh ac*a Persona puede pl ant ear sus propios intereses, sin
, Dfe los dems y pudi endo uni rse a otros para zanjar de forma
DJ i ctos de i nt ereses. Pero, qu les ocurre a los
__(|( lu ni intnitivanvnU' '\ \ vs -__
t7** Evaluacin, ti ca y pod
opcin colectiva, en el mantenimiento de una comunidad de personas y en
ia participacin en la misma.
Wolff (1968) denomina comunidad racional a esta deliberacin c o J
lectiva sobre objetivos. Es una actividad en la que diversos agentes r aci oj
nales, iguales desde el punto de vista poltico, se renen para deliberar con*
el fin de ponerse de acuerdo sobre objetivos y acciones colectivas. Esto sel
logra mediante el dilogo. La comunidad constituye la metfora orientadora!
subyacente.
Todo dilogo supone la reciprocidad de conciencias entre los partici-JM
paes, pero la reciprocidad puede darse entre el amo y su esclavo o entre
un efe y sus sbditos. Estas relaciones son recprocas, pero desiguales. Lal
consecucin de la comunidad racional no slo requiere el dilogo, sino que!
ste sea entre iguales. El dilogo libre exige la rplica sin cortapisas. Lasl
relaciones de poder deforman el dilogo. Cada participante en una comuni>9
dad racional debe reconocer a sus compaeros como agentes morales y f l
sus derechos a la igualdad recproca en el dilogo (Wo l f f , 1968).
La comunidad racional requiere la reciprocidad de conciencia de particNM
pacin. Cuando las personas se renen y experimentan una conciencian
recproca, tienen la sensacin de comunidad, lo que contrasta con la clsi caf l
visin liberal de los individuos que slo cooperan de forma instrumental e r
beneficio de sus propios fines. La comunidad y la reciprocidad no son 1
valores fundamentales del liberalismo. ste trata de establecer obligaciones
recprocas por medio de la idea del contrato social.
Esta concepcin de deliberacin para la accin es si mi l ar a ot ras, como B
la de Habermas (1973), que piensa en una deliberacin para la acci n en la B
que quienes emprenden la accin participan en un dilogo prct i co, cons-H
cientes de sus intereses comunes y conocedores de las ci rcunst anci as y
posibles consecuencias de su accin. El objetivo de ese di l ogo es ponersem
de acuerdo sobre lo que deben hacer.
La teoria o el conocimiento cientfico entra en ese dilogo prct i co, pero H
nunca es suficiente para determinar lo que deban hacer los partici pantes. H
Slo ellos pueden sopesar los riesgos y consecuencias de su acci n. Con H
palabras de Haber mas, ni la teora ni la ilustracin deben j ustif icar Ja
accin. Esto slo puede hacerse mediante el dilogo prctico.
Del mismo modo, la concepcin de la deliberacin que present amos f l
aqu contempla a los destinatarios de la evaluacin informados por los 9
resultados de la misma, pero no obligados por ella ni por las recomendado- m
nes del evaluador, en caso de que las haya. Quienes han de act uar sobre j |
ia base de los resultados deben deliberar juntos sobre lo que haya de i
hacerse. Las relaciones de poder estn excluidas de esta del i beraci n, 1
pero ios participantes son conscientes de sus intereses. El eval uador debe i
prever estas circunstancias. No debe prever que los participantes act en f l
sobre la base exclusiva de sus resultados sin deliberacin ni la i nt ervenci n 9
de una figura de poder que utilice los resultados en su benef i ci o. Los M
resultados han de utilizarse en el dilogo prctico y el evaluador desempea J
su labor lo mejor posible para lograrlo.
6 Ecf i aonet Morada, S. L
0#
t)d&
ment
moral de la evaluacin
H E t pr opongo cuatro valores como fundamento moral de
Sun j mer cal c m t n n n m p mn r a l i mnar r i al i HoH u
re. i nual dad moral , autonoma moral , imparcialidad y reciprocidad.
. .rn* ' InnolHorl a U.._______: J________
ilegtimos, y a
iste valor
un principio liberal bsico.
pva|uaCi f undament al de igualdad consiste en que hay que considerar a
I i an0 nersonas como miembros del mismo grupo de referencia y, en
todasias pcja han de ser tratadas por igual.
c0nsecue ^ iguaj(j ad moral indica que cualquier persona tiene el mismo
^Toara procurar la satisfaccin de sus propios intereses.
e^cpnundo la aut onoma moral supone que nadie debe imponer su voluntad
Hems medi ant e la fuerza, la coercin u otros medios ilegtimos. Y a
al debe i mponrsel e nada en contra de
^mmente l i gado al concepto de eleccin
Sernos suponer que no se ha violado la autonoma moral en la medida
aue el i ndi vi duo decide lo que ha de hacer (aunque algunos consideran
^suficiente est e cri t eri o). La autonoma moral que se manifiesta en la opcin
le fundamenta en el individualismo metodolgico del liberalismo, en la
j âca del i ndi vi duo y en la tradicin del contrato social.
| ^ Tercero, los conflictos entre pretensiones e intereses han de zanjarse
conimparcialidad, o sea, estando representados todos los intereses y sin
I que ningn procedimiento de decisin que se emplee favorezca a ninguno.
I Laimparcialidad, propiamente dicha, es un valor moral. A veces, sobre todo
enlaevaluacin, se confunde imparcialidad con objetividad, siendo respon
sables de esta confusin las presiones a favor de la justificacin de la
evaluacin. La objetividad es ms fcil de demostrar y puede ser una forma
deindicar imparcialidad, pero un procedimiento objetivo puede ser muy
parcial respecto a un inters particular. Es decir, podemos tener un procedi
miento objetivo (reproducible) que muestre un pronunciado sesgo. Un resul
tadoreproducible no basta para demostrar la imparcialidad.
El cuarto valor que propongo para constituir el fundamento moral de la
evaluacin en una democracia liberal no se relaciona tan ntima ni necesa
riamente con el liberalismo como los tres primeros. Quiz en ello resida la
roayor deficiencia moral del liberalismo. Se trata del valor de la reciprocidad,
del que depende el sentido de comunidad. Podemos afirmar que tanto la
reciprocidad como la comunidad estn y deben estar implcitas en las
tosas humanas.
El liberalismo considera la sociedad como una coleccin de individuos
fresados, en ellos mismos, cada uno de los cuales busca cumplir sus
spios fines. Entre ellos no existen relaciones necesarias ni obligatorias.
d) a9ueâs voluntarias que se establezcan con fines instrumentales Las
9acinIOnes C0ntractuaes sirven para constituir el fundamento de las ofc-
idacjnemutuas- Sobre la base de la igualdad, la autonoma y la imparoa-
sobri 3Persona puede plantear sus propios intereses, sin imposiciones
ls c dems y pudiendo unirse a otros para zanjar de forma impacial
Proced - S ,n*ereses- Pero, qu les ocurre a los perdedores en tales
lentos? Nos sentimos intuitivamente incmodos. Los tres primeros
valores permiten que cada uno mantenga una actitud completamente desinJf
teresada y despreocupada. Cada cual puede plantear sus propios nt eres
para conseguir un reparto imparcial sin otra responsabilidad que la derivada
del cumplimiento de los procedimientos acordados. Un trato es un trato. Loti
ganadores no tienen responsabilidad alguna respecto a los perdedores^*
Nuestra intuicin moral se rebela contra esta concepcin. De hecho,:,
con frecuencia en las democracias liberales las personas tienen una fuerte j
sensacin de incomodidad respecto a los perdedores sociales. Su pr esenf
resulta molesta. Una forma de sobrellevar tal sentimiento de culpabilidad
consiste en el altruismo, la tendencia a ir ms all de la obligacin. Esto se
refleja en las importantes donaciones voluntaras a obras de caridad que
tienen lugar en los pases ms liberales, como Estados Unidos. Aunque ^|
liberalismo dispone ciertas prestaciones mnimas y timoratas para los per!
dedores, las personas sienten a menudo de manera intuitiva que son de
algn modo responsables. Instintivamente, la mayora percibe que es miembw
de una comunidad. Del correcto cumplimiento de las reglas slo puedle
surgir un sentido muy dbil de comunidad.
La idea de reciprocidad es antigua y se basa en la tica humanitari
Haz a los otros... La tica humanista exige que no haya posiciones privile
giadas entre fas personas. La reciprocidad indica que las relaciones entre
las personas son simtricas, que tratamos a los otros como querramos sed
tratados. En parte, esto refleja la negativa a aprovecharse de los dems!
aunque se tenga la oportunidad de hacerlo. Mientras que la igualdad s Iq
nos permite participar en la carrera haca la satisfaccin de nuestros propio!
intereses en condiciones equitativas, aun suponiendo que la vida consista
en esa competicin, la reciprocidad hace a los ganadores parcialmente
responsables de los perdedores. Hay un equilibrio recproco entre nuestra^-
peticiones y las de los dems, entre el inters egosta y el altruismo.
A menudo, los argumentos basados en el principio de reciprocidad se
derivan de trasposiciones de puntos de vista. A veces, esos argumento!
adoptan la perspectiva de un tercero imparcial (p. ej., un evaluador), con e
fin de eliminar consideraciones como la categora social y la riqueza, qu^
podran ocultar las relaciones simtricas (Perelman y Ol b r e c h t s -Ty t ^ I
c a , 1969). Hacia esa relacin deben orientar sus esfuerzos los evaluadores!
Por tanto, respetar a otro como persona moral es tratar de comprender su| .
aspiraciones e intereses desde su punto de vista y proponerle consi deraci ones
que le permitan aceptar las limitaciones de su conducta.
(Raw l s , 1971, pg. 338). I
La concepcin subyacente de justicia
En su forma ms abstracta, la regla de justicia requiere ot orgar i dnt i co
tratamiento a los seres o situaciones de la misma clase" (Per el man y Ol -
s b ec h t s -Ty t e c a , 1969, pg. 218). Esto impone un requisito de j ust i ci a pa-
i r Avaluacin, tica v j a
fMaorm Mor la, 3. L
herencia de la accin, pero no especifica cules son las categoras
p i l o n a s , t rat ami ent os y situaciones. El concepto de uSdebe
J las Per en |a concepcin de estas relaciones.
0 * 5 los an t i g u o s , Pl a t n pensaba quej a justicia consista en dar a
& n lo debido (Di g g s , 1974). La sociedad estaba formada por clases
<# Pnnas (campesinos, artesanos, guerreros, gobernantes, etc.) y todos
deAment os deban estar en armona Cada uno deba recibir lodebido
^ cmo modo que los elementos est aban en armona dentro de los
del JL g por su parte, Ar i s t t e l e s pensaba que una constitucin era
in cuand0 favoreca el inters COmn y no los intereses de los gober-
na0Sn embargo, las concepciones modernas de la justicia se iniciaron con
. Kpralismo de Ho b b e s . A diferencia de los filsofos antiguos y cristianos,
Tes conceba a los seres humanos como animales egocntricos que
Sban su inteligencia para satisfacer sus propios fines egostas. Influido
laciencia natural de Ga l i l e o , Hobbes crea que ia conducta humana
Sla explicarse mediante principios mecnicos, de manera que cada per*
na se orientara de forma mecni ca haci a la bsqueda de su propia
satisfaccin (Di ggs, 1 9 7 4 ) . Hobbes el abor una epistemologa mecanicista
dlos sentidos para explicar esa conduct a.
Dado que la sociedad era una coleccin de individuos interesados, era
necesario un soberano fuerte que pusiera coto a tan potentes tendencias.
Cadaindividuo vera como una ley natural que todos se unieran para pro
teger sus vidas. Esto se debera a los intereses individuales de cada cual.
0 inters comn sera la suma de los individuales. El Estado era un instru
mentopara la satisfaccin egosta de cada uno. La justicia consista en
obedecer las leyes del soberano. La perspectiva de Hobbes constituye una
completa expresin del individualismo metodolgico. El individuo era anterior
alasociedad.
Siguiendo a Hobbes, Lo c k e reinterpret la "ley natural de manera que
incluyera la libertad de cada persona para hacer lo que quisiera, en la
medida en que no estuviera especficamente prohibido por la ley y en tanto
noafectara a la vida o la voluntad de otra persona. Llegaron a conocerse
estaslibertades como libertades naturales". Cada persona tena un derecho
moral igual a la libertad, derecho que se estructuraba de forma negativa
cmoausencia de sometimiento a la voluntad de otros. Las nicas obli
gaciones morales se referan a la ley natural y a la razn. Incluso las leyes
de'i *en*an WI sep-morales. El gobierno se derivaba del consentimiento
n s 9bernados. El Estado mismo exista para proteger las libertades. La
pnsista en la infraccin de las libertades naturales. Locke trans-
individu |'ncl'v'c*ual*smo basado en el inters de Hobbes, en la autonoma
perocf *ia^ ^ c*erivar ,a moralidad de la observacin y la experiencia.
hechos I] 7 c*e era imposible. Estableci la distincin primordial entre
^derivar res- Como la moralidad era prctica, deba incluir la motivacin
Se de los valores, mientras que la razn slo puede determinar
Ediciones Mortt, S. L.
176 Eval uaci n, ti ca y
valores permiten que cada uno mantenga una actitud completamente desim
teresada y despreocupada. Cada cual puede plantear sus propios interese
para conseguir un reparto imparcial sin otra responsabilidad que la derivada
del cumplimiento de los procedimientos acordados. Un trato es un trato. Los
ganadores no tienen responsabilidad alguna respecto a los perdedores.^
Nuestra intuicin moral se rebela contra esta concepcin. De hecha*
con frecuencia en las democracias liberales las personas tienen una fuerte
sensacin de incomodidad respecto a los perdedores sociales. Su presencia
resulta molesta. Una forma de sobrellevar tal sentimiento de culpabilidad
consiste en el altruismo, la tendencia a ir ms all de la obligacin. Esto se
refleja en las importantes donaciones voluntarias a obras de caridad que
tienen lugar en los pases ms liberales, como Estados Unidos. Aunque el
liberalismo dispone ciertas prestaciones mnimas y timoratas para los per$
dedores, las personas sienten a menudo de manera intuitiva que son de
algn modo responsables. Instintivamente, la mayora percibe que es miembros
de una comunidad. Del correcto cumplimiento de las reglas slo puede
surgir un sentido muy dbil de comunidad.
La idea de reciprocidad es antigua y se basa en la tica humanitarias
Haz a los otros... La tica humanista exige que no haya posiciones privile
giadas entre las personas. La reciprocidad indica que las relaciones entrgj
las personas son simtricas, que tratamos a los otros como querramos ser
tratados. En parte, esto refleja la negativa a aprovecharse de los dems,
aunque se tenga la oportunidad de hacerlo. Mientras que la igualdad sl$l
nos permite participar en la carrera hacia la satisfaccin de nuestros propios
intereses en condiciones equitativas, aun suponiendo que la vida consista
en esa competicin, la reciprocidad hace a ios ganadores parcialmente
responsables de los perdedores. Hay un equilibrio recproco entre nuestras
peticiones y las de los dems, entre el inters egosta y el altruismo.
A menudo, los argumentos basados en el principio de reciprocidad se
derivan de trasposiciones de puntos de vista. A veces, esos argumentos!
adoptan la perspectiva de un tercero imparcial (p. ej., un evaluador), con el
fin de eliminar consideraciones como la categora social y la riqueza, que
podran ocultar las relaciones simtricas (Pe r e l ma n y O l b r e c h t s - Ty t i
ca, 1969). Hacia esa relacin deben orientar sus esfuerzos los evaluadores!
Por tanto, respetar a otro como persona moral es tratar de comprender sus|
aspiraciones e intereses desde su punto de vista y proponerle consideraciones
que le permitan aceptar las limitaciones de su conducta.
(Raw l s , 1971, pg. 338)-
La concepcin subyacente de justicia
En su forma ms abstracta, la regla de justicia requiere otorgar idnticos
tratamiento a los seres o situaciones de la misma clase (P e r e l m a n y Oi l
sbecht s-Tyt eca, 1969, pg. 218). Esto impone un requisito de justicia pal
$ id&orm Morada, S. L
(1j 5 - ----------------------------------- ------------------------ ---------
rancia de la accin, pero no especifica cules son las categoras
sonas, tratamientos y situaciones. El concepto de justicia debe
se en l a co n cepci n de estas relaciones.
l[oS ant i guos, Pl a t n pensaba que la justicia consista en "dar a
no lo debi do (Di ggs , 1974). La sociedad estaba formada por clases
onas (campesi nos, artesanos, guerreros, gobernantes, etc.) y todos
deP ament os deban estar en armona. Cada uno deba recibir "lo debido,
estos m0cj0 que |0S elementos estaban en armona dentro de los
dl ^ os por su par t e, Ar i s t t e l e s pensaba que una constitucin era
cuando f avor eca el inters comn y no los intereses de los gober-
justa
embargo, las concepciones modernas de la justicia se iniciaron con
i heralismo de Hobbes. A diferencia de los filsofos antiguos y cristianos,
0BESconceba a los seres humanos como animales egocntricos que
izaban su inteligencia para satisfacer sus propios fines egostas. Influido
no laciencia natural de Ga l i l e o , Hobbes crea que la conducta humana
oodaexplicarse mediante principios mecnicos, de manera que cada per
sonase orientara de f orma mecnica hacia la bsqueda de su propia
satisfaccin (Diggs, 1974). Hobbes elabor una epistemologa mecanicista
delos sentidos para explicar esa conducta.
Dado que la sociedad era una coleccin de individuos interesados, era
necesario un soberano fuerte que pusiera coto a tan potentes tendencias.
Cadaindividuo vera como una ley natural que todos se unieran para pro
teger sus vidas. Esto se debera a los intereses individuales de cada cual.
El inters comn sera la suma de los individuales. El Estado era un instru
mentopara la satisfaccin egosta de cada uno. La justicia consista en
obedecer las leyes del soberano. La perspectiva de Hobbes constituye una
completaexpresin del individualismo metodolgico. El individuo era anterior
ala sociedad.
Siguiendo a Hobbes, L o c k e reinterpret la ley natural de manera que
incluyera la libertad de cada persona para hacer lo que quisiera, en la
medidaen que no estuviera especficamente prohibido por la ley y en tanto
noafectara a la vida o la voluntad de otra persona. Llegaron a conocerse
staslibertades como libertades naturales". Cada persona tena un derecho
moral igual a la i libertad, derecho que se estructuraba de forma negativa
Esencia de sometimiento a la voluntad de otros. Las nicas obli-
c ?nes l7lorales se .referan a la ley natural y a la razn. Incluso las leyes
es tenan que ser morales. El gobierno se derivaba del consentimiento
niufif ?obernads. El Estado mismo exista para proteger las libertades. La
forrJ c|a cnsista en la infraccin de las libertades naturales. Locke trans-
îvidu ,ndividualismo basado en el inters de Hobbes, en la autonoma
Pero^ el derivar la moralidad de la observacin y la experiencia,
h e c h o clue era imposible. Estableci la distincin primordial entre
ydesval Va*ores- Como la moralidad era prctica, deba incluir la motivacin
Se de los valores, mientras que la razn slo puede determinar
hechos a partir de observaciones. Segn Hume, l a justicia consista en
de acuerdo con convenciones sociales que slo eran convenciones an VN
promovan los intereses privados y comunes. %
Por otra parte Rousseau ampli en gran medida la idea de auton
individual de Locke (Di ggs, 1974). La l egi t i mi dad moral no puede deriva11
de la fuerza ni de la coercin. Las personas son lo que su gobierno | 1
hace y la libertad moral consiste en seguir las leyes que uno se prescrih I
s mismo. La libertad consiste en la participacin, en hacer y cumplir r e l
mente las leyes y no slo en ser libre respecto de la voluntad de otro i 1
participacin de todos los ciudadanos se traduce en la formacin dei
"voluntad general", que expresa el inters comn. Cuando los nteres I
especiales entran en conflicto, el comn prima sobre ellos. La peor injJSI
cia es la violacin de la propia autonoma. El punto de vista de Roussea,I
constituye la mxima expresin de la autonoma moral. u j
Todas estas teoras de la justicia exigan que el bien comn primara frentel
a los intereses especiales (Di ggs, 1974). En general, el bien comn significaba I
el conjunto de beneficios compartidos, frente a los que slo favorecen a unI
individuo. El objetivo del gobierno consista en el bien comn y el gobierno!
que slo favoreciera intereses especiales sera injusto (Di ggs, 1974). 1
En la idea de servicio al bien comn estaba implcita la de imparcialidad. I
En concreto, la justicia exiga la administracin imparcial del derecho. Nadie!
deba resultar beneficiado. Todas las teoras requeran la imparcialidad (acatar!
las leyes e instituciones justas existentes). Todas las personas deban recibir !
el mismo trato cuando no existieran diferencias de relieve. As, los valo-|
res de igualdad, autonoma e imparcialidad subyacan a estas teoras liberales!
de la justicia
Sin embargo, Di ggs (1974) pone en evidencia la tendencia conservadora!
de estas teoras. Ari st t el es haba hecho la distincin entre j ust i ci a distri-1
butiva y justicia conmutativa. La primera se refera a la distribucin de lai
riqueza y de otros bienes entre las personas. La justicia conmut at i va se 1
refera a las transacciones entre las personas, en especial a la recti f icaci n!
del mal trato dispensado por una persona a otra, como en el caso de una!
compraventa o de un robo. Hobbes rechaz por completo la j ust i ci a distri* !
butiva, de modo que se identific con el cumplimiento de los compromisos, 1
con la justicia conmutativa Los filsofos que continuaron est a tradicin I
siguieron haciendo caso omiso de la justicia distributiva. 1
En el siglo xix, ante la creciente acumulacin de riquezas industriales, |
las consideraciones relativas a la igualdad de derechos parecan inac*clJ?" I
das. La justicia distributiva pas a primer plano. En cuanto t eora de I
justicia, el cumplimiento de la ley o de las convenciones resultaba conse i
vadora. Se hizo ms apremiante prestar atencin a la promocin de |
intereses de todos. ,el|
Estas teoras se desarrollaron en dos direcciones; una segn la cu i
Estado estaba llamado a poner coto a los intereses dominantes y, o d!
la que todos los intereses tenan que ser escuchados (Di ggs, 1 9 Li a j
contraste con las liberales, que asignaban al Estado un papel mni m
dad, las teoras organicistas, sobre t odo la de Hegel , segui do por
sO ^ cnsi deraban la sociedad como un organi smo natural y las
i l i ci ones como encarnaciones obj et i vadas de la razn humana Era
^posi bl e def i ni r l a naturaleza humana con i ndependenci a de la soci edad
en
coi
ia que viva el individuo, como haba hecho Hobbes. El orden social
nf i auraba su vida. Se conceba la soci edad como un organi smo del que
' s _a . mI Mrll ifrl i i a H n K n i n n o r p A a l Arran *
<maba parte el individuo. Deba j uzgarse el orden soci al segn su contri
bucin a la libertad, es decir, a la aut odet ermi naci n natural. A Marx, por su
no le entusiasmaban las consi deraci ones de la justicia distributiva
DiGGS, 1974), sino que tenda a equi parar l a j usti cia con el bien comn.
Pretenda un orden social en el que l as personas fueran libres para desarrollar
sus potencialidades.
Estos tericos reafirmaron los lazos entre los humanos y su comunidad,
as como el papel del Estado en la configuracin de los individuos. Podemos
descubrir aqu las deas de comunidad y reciprocidad. Ms adelante, estas
deas sirvieron de fundamento a las crticas radicales de las ideas liberales.
El orden social configuraba las pretensiones e intereses de los individuos.
En realidad, el Estado tena la responsabilidad de realizarlo, de hacer mejores
alos hombres.
Por otra parte, los utilitaristas, como Bentham y Mill, continuaron la
tradicin liberal del individualismo metodolgico. Siguiendo a Hume, pensaban
que las instituciones eran meras costumbres y la encamacin de la sinrazn.
Deban someterse a la razn. Como la conducta racional del individuo
consista en seleccionar la accin que promoviera la consecucin de ios
objetivos individuales de modo ms eficiente, la conducta racional de la so
ciedad consista en seleccionar la accin que mejor promoviera la con
secucin de los objetivos sociales (Diggs, 1974). El individualismo metodo
lgico de los utilitaristas les llev a equiparar la decisin colectiva con la
f individual.
Basndose en la presunta motivacin del inters egosta para conse-
I guir el placer y evitar el dolor, los utilitaristas concluyeron que el objetivo
; social consista en proporcionar el mximo placer o felicidad para el ma-
f yor nmero de personas. Toda accin que cumpliera este objetivo era justa
La justicia consista en elevar al mximo la felicidad o la satisfaccin de las
pretensiones. Esta forma de pensar se convirti en la filosofa social liberal
Predominante en el siglo xx.
La concepcin liberal ms reciente de la justicia es la de Rawls (1971).
Utiliz el instrumento del contrato social para preguntarse en qu principios
de justicia estaran de acuerdo personas libres, iguales y racionales, en
condiciones de un contrato equitativo respecto a sus propios intereses
Desde el punto de vista teortico, toda persona tendra libertad para presentar
ûs Peticiones y para aceptar o rechazar los principios, o sea, tendna
autonoma. Es ms, como en la posicin original de Rawls nadie conoce
con exactitud cul es su situacin social, nadie puede inclinar los resultados
favor de sus intereses. Todas las personas ocupan una posicin negocia-
wa semejante.
A partir de esta situacin hipottica, Ra w l s deriva l gi cament e dos -1
cipios de justicia en ios que todos estamos de acuerdo. El pri mer prn?ln'
garantiza unos derechos y libertades iguales para t odos, en el sentvi
lockeano. El segundo garantiza la justa igualdad de oport uni dades. En
sentido ms original, el segundo principio est abl ece que l as desi gual dad^
slo pueden existir si benefician a las personas menos f avoreci das de I
sociedad. Me parece que el principio de diferencia const i t uye un intentS
de introduccin del valor de la reciprocidad en la est ruct ura soci al , una idm
que no aparece en el utilitarismo. a
En efecto, el segundo principio hace, en parte, responsables de 10s
miembros menos favorecidos de la sociedad al resto de los ciudadano!
algo que el utilitarismo slo hace en forma, un tanto gratuita, de altruismo
La postura de Rawl s es individualista, desde el punto de vista metodolj
gico, en la medida en que deriva sus principios de justicia de deduccij
nes a prior respecto de lo que desearan los individuos. A partir de consil
deraciones individuales, se extraen conclusiones sobre el bien colectiva
Como en el caso de Hobbes, los individuos interesados constituyen el punto
de partida.
La teora de Rawl s ha recibido muchas crticas, pero una de l as ml
interesantes consiste en que el bien colectivo no puede derivarse de eses
modo a partir de las pretensiones individuales. Con el fin de decidir qu
principios deben aplicarse a la sociedad, debemos considerarla en su t ot al
lidad. El bien individual no equivale al bien colectivo (B a r r y , 1974). Por
ejemplo, todos pueden querer un coche, pero eso no significa que una
sociedad con coches sea la mejor. Tenemos que considerarla en su totalidad
y no slo (as pretensiones individuales.
La t eora de Rawl s const i t uye un perf ecci onami ent o del utilitarismo en la]
medi da en que es caract erst i cament e ms i gual i t ari a. Presenta el valor del
la reci proci dad, aunque de f orma un t ant o i ndi rect a. No obstante, plantel
muchos probl emas l gi cos y t i ende al pat ernal i smo. Ninguna teora de la:
j ust i ci a parece t otal ment e adecuada como f undament o de la evaluacin, i
Una teora adecuada de la justicia tendra en cuent a l os val ores dej
igualdad moral, autonoma moral, imparcialidad y reci proci dad, aunque sea
difcil decir cmo habran de equilibrarse entre s. Ra w l s (1971) denomi na
teora pluralista/ intuicionista de la justicia a l a que cuent a con di versoi
principios en competencia, sin establecer un orden de pri ori dad ent re ellos.
Hay una familia irreductible de primeros principios que han de sopesarsl
entre s sin reglas explcitas para hacerlo. La accin de sopesar es intuitiva*
aunque podamos describir cmo la hayamos ef ect uado en una si t uado
concreta
En (a concepcin de justicia que propongo como fundamento moral
la evaluacin, los cuatro valores, o principios basados en los valores (coj
mo la eleccin), sirven como consideraciones primarias que deben sopesarsjl
y equilibrarse entre s en una situacin determinada. Slo cuando entran
conflicto en una situacin concreta es posible decidir que uno tenga mayQ|
importancia que otro (Bar r y, 1965). Ninguno goza de prioridad absoi u j
j ptt
i0s dems. Pueden primarse unos en detrimento de los otros. No
entre ellos ningn principio i ndi scut i bl e. El ms importante slo puede
i inrse mediante opcin en l os casos en los que no entran en conflicto
1 9 6 5 ) .
de admitir que el presente resumen de lo que debera incluir una
'subyacente de la justicia es incompleto e impreciso. En una teora
l^ r a deberan aparecer otros valores reconocidos con mayor generali
z o la eficiencia, pero los valores morales son los que con mayor
flau ncia se pasan por alto. Para que la evaluacin de los programas
fr'blicos sea vlida, debe contribuir a la j usti cia en la sociedad en general.
@ Ediciones Morata, S. l~
C u a r t a parte
M e t v a tu a c k m
debemos reconocer eue sa ijn&rA m
j ^ ^ ^ ^ R b t e r condencia de tes **w*&**sei *
0mm 0 0 aceptar tcitamente y pje&r vs*W2& * %~*
vxw
0 . ?rs * Bestem
^ H P K c '"^ of Socta ary? PrMo T'&ry if7 2%
R H '
A P '
i CM>*
La objetividad, equidad y justicia
de la poltica federal de evaluacin
| La poltica federal de evaluacin
En 1965, el senador Robert Kennedy hizo hincapi en que se aadiese al
I TtuloI (educacin compensatoria) de la Elementary and Secondary Education
Act una clusula adicional relativa a la evaluacin. Pensaba que las escue-
I laseran, en parte, culpables del bajo nivel de rendimiento de los alumnos, y
i que la nueva financiacin federal no se utilizaba con provecho. El propsi-
I toque persegua la obligacin de elaborar informes era dar noticia a los pa-
I dres, sobre todo a los padres pobres, de cmo trabajaban sus escuelas. Los
educadores seran responsables ante sus usuarios. Ms adelante, la evalua-
I cinobligatoria se extendi a casi todos los programas sociales federales,
i En el mismo ao, el presidente Johnson introdujo en el gobierno federal
el Planning, Programming and Budgeting System(PPBS), ya entonces utili-
I zado de forma generalizada en el Pentgono. El secretario del departamen-
I tode Salud, Educacin y Bienestar, John Gardner, cre un nuevo organis-
I modenominado Assistant Secretary for Program Evaluation (ASPE). Al frente
i dedicho organismo puso a William Gorham, que contaba con gran expe-
| riencia en el departamento de Defensa. Sus subsecretarios eran Robert
f Grosse y Alice Rivlin. El objetivo consista en elaborar programas que
I Puedan enunciarse, medirse y evaluarse en trminos de coste/beneficio.
I U excelente historia de la evaluacin del Ttulo I de McLaughun (1975)
| cnsigna estos hechos.
I J TA AUTOR: Este captulo fue publicado como: The Objectivity, Fairness, and
I * ^ eral Evaluation Policy as Reflected in the Follow Through Evaluation, E d u c a t i o n a l
I c m U a ^ 0 f l a n d P o l i c y A n a l y s i s , vol. 1, n., 1979, pgs. 28-42. Copyright 1979: A m e r i c a n E d k h
Elisahf ^ e s e a r c h A s s o c i a t i o n , Washington, D.C. Reimpreso con autorizacin. Gene Cuss,
traba ^ UTCH,NS I Rochelle Mayer me hicieron valiosos comentarios al respecto, Este
| aJo fue pat roci nado por la F o r d F o u n d a t i o n .
<) Ediciones MorM, S. L
La objetividad, equidad y justicia
de la poltica federal de evaluacin
La poltica federal de evaluacin
En 1965, el senador Robert Kennedy hizo hincapi en que se aadiese al
Ttulo I (educacin compensatoria) de la Elementary and Secondary Education
Act una clusula adicional relativa a la evaluacin. Pensaba que las escue
las eran, en parte, culpables del bajo nivel de rendimiento de los alumnos, y
que la nueva financiacin federal no se utilizaba con provecho. El propsi
to que persegua la obligacin de elaborar informes era dar noticia a los pa
dres, sobre todo a los padres pobres, de cmo trabajaban sus escuelas. Los
educadores seran responsables ante sus usuarios. Ms adelante, la evalua
cin obligatoria se extendi a casi todos los programas sociales federales.
En el mismo ao, el presidente Johnson introdujo en el gobierno federal
el Planning, Programming and Budgeting System(PPBS), ya entonces utili
zado de forma generalizada en el Pentgono. El secretario del departamen
to de Salud, Educacin y Bienestar, John Gardner, cre un nuevo organis
mo denominado Assistant Secretary for Program Evaluation (ASPE). Al frente
ejedicho organismo puso a William Gorham, que contaba con gran expe
riencia en el departamento de Defensa. Sus subsecretarios eran Robert
Grosse y Alice Rivlin El objetivo consista en elaborar programas que
Puedan enunciarse, medirse y evaluarse en trminos de coste/beneficio '.
La excelente historia de la evaluacin del Ttulo I de McLaughun (1975)
consigna estos hechos.
NOTA DEL AUTOR- Est e captulo fue publicado como: The Objectivity, Faimess. and
Jstice of Federal Evaluat ion Pol icy as Reflected in the Follow Through Evaluation, Ejcstonal
âluation and Policy Analysis, vol. 1, n, 1979, pgs. 28-42. Copyright 1979: Amanean Ecbh
National Research Association, Washington, D.C. Reimpreso con autorizacin. Gene Ciass,
E|isabeth Hu t c h in s y Rochell e Ma y e r me hicieron valiosos comentarios al respecto. Este
trabajo fue patrocinado por la Ford Foundation.
_________________________________
Mientras K e n n e d y e s t a b a preocup| do ^ M a res^nsiyidad de ,a
c u e l a s h a c i a l o s p o b r e s , e l g r u p o ASPE pretenda descubro los enS >
ms eficientes p a r a e d u c a r a l o s n i o s menos f avoreci dos. Operando >
l a p e r s p e c t i v a d e l "anlisis de sistemas el ASPE tratarte de dent i f ef "
r r . __w manara me a asinnanin Ha r o n ,____ ____ ,uori
[programas m s e f i c a c e s d e m a n e r a q u e la asignacin de recursos res.,*''*
m s e f i c i e n t e . E l e n f o q u e d e l A S P E supona que poda definirse una %Sjf
d e p r o d u c c i n d e l a e d u c a c i n , o sea, definir^de manera preci sa cmo
conjunto de entradas, como dinero o determinados programas, estara
donado con un conjunto de resultados, como las puntuaciones de ti
Definida la funcin, podra decidirse que slo se utilizaran los enfoa
educativos ms eficientes.
Los primeros aos de la evaluacin segn el Ttulo I no satisficieron
ASPE. Las evaluaciones se llevaron a cabo a nivel local y los resultad91
fueron positivos casi de un modo uniforme. Es ms, a falta de una medv8
comn de resultados para todos los programas, era imposible efectuar
anlisis coste/beneficio para determinar qu programas eran ms eficient
En parte con este fin y en parte para contrarrestar los efectos negativos di
informe Coleman, R i v u n y Whol ey, del ASPE, prepararon el estudio TEMPn
llevado a cabo por una divisin de General Electric. El objetivo era aver
guar la cantidad de recursos que producan un determinado incremento d
las puntuaciones en un test concreto. Los resultados fueron desalentado
res. El estudio no pudo descubrir incremento alguno en las puntuaciones
An peor, Moynihan, a la sazn en el gabinete de Nixon, utiliz los resulta
dos del estudio para oponerse a mayores incrementos en la ayuda a las
escuelas. j{ , 1B H M H f l
Dnde estaba el error? El personal del ASPE sostena que su enfoque
era absolutamente correcto, pero los datos facilitados por los distritos esco
lares no eran fiables. Optaron por centralizar el control de las actividades
de evaluacin. As recogeran sus propios datos para asegurar la fiabilidad.
A consecuencia de ello, se iniciaron las encuestas nacionales con arreglo
al Ttulo I. Adems, decidieron transformar el programa Follow Through que,
en principio, era de servicios y continuaba la educacin de los nios acogidos
al programa Head Start, convirtindolo en un experimento con variaciones
planificadas.
Las encuestas nacionales se llevaron a cabo en 1968 y 1969. Los re
sultados de la correspondiente a 1968 fueron tan decepcionantes como el
estudio TEMPO: no se observaron incrementos en las puntuaciones de los
tests. Los resultados de la encuesta de 1969 no llegaron a publicarse. Todo
ello le llev a decir al secretario Finch, del departamento de Salud, Educacin
y Bienestar, que los educadores no saban cmo educar. El presidente
Nixon utiliz los resultados como pretexto para impedir el incremento de la
financiacin correspondiente al Ttulo I. . . *3 'wjk t , 1
El grupo del ASPE estaba decepcionado, pero no dispuesto a abandonar-
Alice Rivun sostena que el problema consista en que los servicios socisi
no estaban organizados de forma adecuada para responder a las cuestioi
planteadas por el ASPE relativas a ia eficacia y la eficiencia. Los R9ra
Ediciones Mor ata, S. L
M
ns sociales deban organizarse de manera que pueran responder
$0^cl gtiones del evaluador. La solucin de Rivun con&sta en gue $
\g>c c0ntrolara ms las variables de iniciales del programa y su iHofio
%ern ia evaluacin. Los programas sociales tenan que plantearse como
tc tos con variaciones planificadas.
0xperirrl rama Follow Through se organiz de manera que pudiese re*
0 p las cuestiones del ASPE, a modo de experimento masivo. Las
ponderde( Follow Through tenan grupos de control con los que se compa-
claf eSge introdujo la idea de las variaciones planificadas. Si tos dtsfcnos
jaran- ^ podan disear programas lo bastante innovadores como {ara
loa e puntuaciones ms elevadas en los tests, se utilizaran programas
dales para introducir las variaciones planificadas en la educacin. No
Consi deraba que los cambios naturales fuesen lo bastante adecuados.
f el programa Follow Through se acudi a colaboradores con mooeios
oeciales de prctica claramente distintos de los de las escuelas pblicas
mpiementar nuevos programas. Las variaciones naturales fueron sus-
Lidas por las planificadas.
Aunque, segn Rivlin, a los efectos del ASPE, el programa FoHow
Through no era perfecto, s era el nico que se acercaba a los requisitos
propuestos por el ASPE. A pesar de sus defectos de diseo experimental,
el Follow Through es significativo como la primera tentativa importante del
gobierno federal para ensayar distintos enfoques educativos de manera
razonablemente sistemtica (Rivlin, 1971).
La poltica federal de evaluaci n, tal como aparece en Systemafc Tfmking
for Social Action, de Ri vl i n, adopt la siguiente forma: en los servicios
sociales, las decisiones cl ave deben tomarse en los niveles superiores de
gobierno federal. Los servi ci os sociales no estaban organizados de modo
eficiente y no se conoca bi en lo que producan dichos servicios. B nico
conocimiento autntico que pueda tenerse de ellos es una funcin de pro
duccin que especifique las relaciones estables entre las variables iniciates
y los resultados, y el nico medi o para adquirir ese conocimiento consiste
en los mtodos experi ment al es y las tcnicas estadsticas. 'Es imposfcie
obtener de otro modo la i nf ormacin necesaria para mejorar la eficacia de
los servicios sociales (Ri vl i n, 1971, pg. 108). Utilizando esas tcnicas, es
posible ponerse de acuerdo sobre los objetivos y sobre algunas medidas
de resultados, como las puntuaciones de los tests. El fin de la evakjaesor
consiste en la ef i ci enci a de la produccin de servicios sociales.
Segn la filosofa de Rivl in, existe un paralelismo entre la produccin de
servicios sociales y la de productos manufacturados. Se aplican tcneas
semejantes de anlisis y los programas sociales deben organizarse para
Proporcionar datos para ese anlisis. Los analistas federales descubrirn
era l ms correcto. No era necesario tener experiencia en tos programas
contacto con los mismos para poder evaluarlos. Es ms, ponern marcha
de|8 oclue de eval uaci n era cuestin de direccin estrela y de dominio
tare^roceso- Slo un gobi erno muy centralizado podra N H | cabo esta
ui dad y j ust i ci a de la poltica federal de evaluacin 10
Evaluacin, f ca ^ o *
Esta filosofade la evaluacin predomin en el gobierno federal de |0* '
Estados Unidos durante la pasada dcada. Para descubrir cmo oper en
laprctica, podemos examinar la evaluacin Follow Through.
Los comienzos de Follow Through
FollowThroughcomenz como un programa para proporcionar servicios
educativos a los alumnos menos favorecidos en los primeros aos de ^
escolarizacin. En 1967, a causa de dificultades financieras, el programa
slorecibi quince millones de dlares, en vez de los ciento cincuenta
millones previstos. En el departamento de Salud, Educacin y Bienestar, el I
grupodel ASPEvio ah la oportunidad para convertir el Follow Throughen
unexperimento de variaciones planificadas para descubrir qu funcionaba
mejor". Haney (1977) y Elmore (1976) han documentado estos hechos.
En 1967, WilliamGorham, a la sazn subsecretario de Planificacin y
Evaluacin (ASPE) del Departamento de Salud, Educacin y Bienestar,
organiz la White House Task Forc on Child Development (Grupo de
trabajosobre desarrollo infantil de la Casa Blanca). El grupo de trabajo
estabaconstituido por miembros del grupo de Gorham, del que formaba
parteAlice Rivun (El mor e, 1976, pg. 159). Este grupo llev a cabo su tarea
enunambiente de rgido control presupuestario impuesto por la Administra
cin. Por ello, el mximo inters se centr en la investigacin y el desarrollo,
ms baratos que los costosos programas de servicios.
El grupo de trabajo hizo veinte recomendaciones. Una abogaba por
lautilizacinde fondos federales para descubrir cmo hacer ms eficaz la
educacin. Otra sugera que el Follow Through se utilizase para evaluar las
variaciones ms destacadas que se registraran en la educacin compensa
toria El informe del grupo de trabajo conclua que el nico hecho patente-
es nuestra faltade conocimiento de formas eficaces de elevar el aprove
chamiento educativo de los estudiantes (El mor e, 1976). El Follow Through
servirapara solucionar ese problema de desconocimiento.
Con laplena cooperacin de la administracin del Follow Through, la
Oficinade Presupuestos y el ASPE, el Follow Through se convirti en un
experimento de variaciones planificadas. Sin embargo, ante el Congreso y
loslugares en los que ya estaba funcionando, el Follow Through sigui
definindosecomo accin comunitaria y programa de servicios sociales,
as como ante los padres de los alumnos.
Para quienes elaboraban los modelos de buena prctica durante la
primerainfancia, los colaboradores, el Follow Through constitua un pro*
grama de desarrollo. Uno de los colaboradores originales se quejaba de
que laideageneral de las variaciones planificadas mistificaba a los mismo
patrocinadores. "La reunin de los futuros colaboradores, cel ebr ada
Washington para presentar sus diversas orientaciones sobre el curriculu
laideadeque laevaluacin podra estar a cargo de un tercer organismo- y
los supuestos de que cada patrocinador dispusiera de un conjunto comp
li cia de la poltica federal de evaluacin 189
gsentar, provocaron una sensacin de desconcierto y hast a de l ocura
Sart VBanet, 1975). Pocos eran, si es que exista alguno, los modelos
K a la primera infancia completamente elaborados y dispuestos para
molementacin, premisa de la idea de las variaciones planificadas. Por
psidad, para quienes fueron seleccionados como colaboradores, el pro-
a se transform en uno de desarrollo.
^Durante los aos siguientes, fueron aadindose, de forma un tanto
rtunista, nuevos colaboradores y nuevos lugares para proporcionar res
aldo poltico al frgil programa. Los alcaldes de las grandes ciudades
ueran que se sumaran nuevos centros de accin en sus municipios,
consiguindolo, en consecuencia. El estado de California quera convertirse
L patrocinador, por lo que fue designado. Esta estrategia tuvo un xito
admirable para garantizar el respaldo poltico. A mediados de los setenta, el
presupuesto anual del Follow Through haba ascendido hasta los sesenta
millones de dlares. Pero esto llev consigo importantes desajustes de la
correspondencia entre los grupos de comparacin que en el diseo experi
mental se haban escogido para la evaluacin. No obstante, esto no preo
cupaba en exceso a los administradores de la Oficina de Educacin, pues
crean que la elevacin de las puntuaciones de los tests derivada de los
modelos de actuacin en la primera infancia sera tan grande que el desajuste
de los grupos de control no provocara grandes diferencias (Eg ber t , 1977).
La evaluacin tuvo un comienzo vacilante con el contrato firmado con la
University of Pittsburgh, en 1967. Por alguna razn el informe final del grupo
de Pittsburgh slo presentaba las puntuaciones del pretest. La evaluacin
se reanud en 1968 con un importante contrato con el Stanford Research
Institute(SRI). Podemos dividir el transcurso de la evaluacin en tres fases,
que denominaremos con el apellido del funcionario responsable de la Office
ofEducation y el grupo contratante que ms caracterizara la evaluacin en
el perodo correspondiente. Las tres fases mencionadas son: la Eg b er t / SRI,
entre 1968 y 1971; la McDANiELS/ Huron Institute, entre 1972 y 1973, y la
Evans/Abt Associates, entre 1974 y 1977.
La fase EGBERT/Stanford Research Institute: 1968-1971
Esta fase de la evaluacin fue configurada sobre todo por Robert Eg b er t ,
director del Follow Through, Richard Sn y d er , director de la evaluacin, y el
SRI. Se caracteriz por una idea relativamente expansiva de lo que debera
ser la evaluacin, marcado por intentos, por regla general fracasados, de
esPonder a las crticas sobre diversos aspectos.
En febrero de 1968, en Kansas City, se asignaron noventa y una plazas
l0s colaboradores, en gran medida de forma voluntaria. En junio, el SRI
e 8 ^compensado de manera un tanto apresurada con un gran contrato de
6s u,acn posteriormente criticado por la General Accounting (Mee. En
asn Pca a* menos en teora, la evaluacin abarcaba gran cantidad de
Pectos. La relacin oficial de criterios de evaluacin era muy amplia (U.S.
.dad,equi dadyj usi
Edtctones Morata, S. L
190
Evaluacin, etica v n
~-5?er
O f f i c e o f E d u c a t i o n , 1969), incluyendo comparaciones relativas al desarroii
cognitivo y a f e c t i v o , comparaciones entre nios que haban estado en ,
H e a d S t a r t ; grado d e participacin de los padres; efectos sobre sus actitud*
g r a d o de atencin mdica, odontolgica, psicolgica y social; pruebas ?
cambios en los programas escolares y responsividad ante padres y ni?
con ingresos reducidos; pruebas de cambios de actitud de los participante
y de su comunidad, y pruebas de la coordinacin de los servicios comu
nitarios.
Los planes del SRI reconocan con toda claridad esta amplia responsa
bilidad. El objetivo general de esta evaluacin consiste en valorar el impacto
del F o l l o w T h r o u g h sobre los alumnos, padres, personal de las escuelas
miembros d e la comunidad y en la escuela, como institucin social, en los
ambientes en los que se han inaugurado los programas F o l l o w Through"
[ S t a n f o r d R e s e a r c h I n s t i t u t e , 1972, pg. 2). El SRI tambin consider como
objetivo primordial la descripcin de los programas que se iban a evaluar
Sin embargo, al final, el SRI acab administrando slo tests cognitivos en
cuarenta y siete lugares.
En octubre de 1968, en Atlanta, el congreso anual de F o l l o w Through
estallen protestas, sobre todo de los grupos minoritarios. Acusaban a los
evaluadores del SRI de tener una visin sesgada del programa y de ser
insensibles a los aspectos relativos a la participacin de los padres y comu
nidades" (Haney, 1977, pg. 27). La violencia de las protestas sorprendi a
los administradores del Follow Through. Se financiaron nuevos colaboradores
de los grupos minoritarios, convirtindose el cambio institucional en un
objetivo primordial de la evaluacin del SRI.
En consecuencia, el SRI emprendi diversos estudios de casos de co
munidades, pero no marcharon bien (Kr ul ee, 1973, pgs. 246-251). El per
sonal dedicado a estos menesteres qued aislado del resto del SRI, cuya
formacin bsica era de psicologa y no entenda bien el enfoque del estudio
de casos. Poco a poco, estos estudios se tradujeron a un nivel ms realista"
(Kr ul ee, 1973, pg. 248). Ms tarde, se publicaron algunos estudios de
casos, pero no influyeron en absoluto en la evaluacin global. Segn el SRI,
cada comunidad pareca diferente, por lo que era difcil efectuar generali
zaciones con fines normativos. Hacia 1971 (tras manifestaciones tan fuertes
como las del congreso de Atlanta), se abandon sin grandes alharacas la
evaluacin del cambio institucional.
A partir de los estudios de comunidades, surgieron, como estudio inde
pendiente, las entrevistas con los padres, subcontratadas como activida
autnoma con el National Opinin Research Center. Se l l evaron a ca
sesenta mil entrevistas. Esta actividad se prolong durante v a r i o s ne .
pero no tuvo efecto alguno en los resultados finales de l a eval uaci n. Mlen
tanto, el SRI continu con los tests cognitivos. 8 SS
En abril de 1969, en una reunin celebrada en Pajaro D u n e s (CaWO n >
los mismos colaboradores atacaron los trabajos de eval uaci n
Pensaban que la evaluacin estaba gravemente sesgada por su ex ^
confianza en las medidas cognitivas, dado que muchos col aborado
Ediciones Moria, 8. L
I I
varaban como objetivo primordial la elevacin de las puntuaciones en
K cnSImedi das. En concreto, exista la impresin de que las circunstancias
I ^han por la confianza depositada en las medidas de cambio cogntvo, a
I eS e los colaboradores de orientacin conductual (o sea, cognitiva) y en
I ^tra de t odos l os dems (Krulee, 1973, pg. 219). El resentimiento haba
I rreci endo con el tiempo e incluso los conductistas estaban de acuerdo.
I nuevo, los colaboradores insistieron en los objetivos de cambio insto-
I ^ nal El SRI reconoci pblicamente la validez de las crticas y prometi
I Suar en consecuencia.
I Tres meses ms tarde, en Palo Alto, los colaboradores volvieron a acusar
I con virulencia al SRI por su inexplicable lentitud para desarrollar medidas
I nocognitivas, estudios de comunidades, entrevistas con padres y con pro-
I fesores, y observaciones en las aulas. El personal del SRI estaba dividido al
I respecto. Unos pensaban que los estudios de comunidades no eran lo
I bastante neutrales para que se utilizaran como informacin. No obstante,
I ios colaboradores presionaron al SRI para que actuase en esta direccin.
Como es habitual, la cuestin que suscitaba ms pasin era que la
I evaluacin se centraba demasiado en medidas cognitivas convencionales,
I de las que, segn los colaboradores, se desprenderan juicios no muy
I equitativos respecto a ellos mismos. Las intenciones puestas de manifiesto
I por el SRI acerca de la ampliacin del mbito de la evaluacin, restablecie-
I ron hasta cierto punto la calma, aunque ellos todava mostraron su preocu-
I pacin por los juicios que pudieran derivarse de las medidas que en ese
I momento se estaban realizando. En parte como compensacin, los colabo-
I radores recibieron algunos fondos para que evaluaran sus propios programas.
I Esta pauta, consistente en fuertes crticas seguidas de promesas, aunque
I no de cambios importantes, fue caracterstica en las tres fases de la eva-
I luacin.
El SRI trat de elaborar medidas no normalizadas que reflejaran mejor
I algunos objetivos de los colaboradores. El SRI solicit de los colaboradores
I tems de tests cognitivos, recibiendo 1.500 tems. La estrategia consista en
K elaborar un banco de tems que reflejara los objetivos comunes a todos los
K colaboradores. Estos tems se redujeron a 600, disponindose, junto con
II u|Ja batera de tests normalizados, en 22 formas de 8 tests (Haney, 1977,
I Pag. 182). La administracin de los tests plante muy pronto problemas de
I ogstica y costes al SRI. De manera semejante, el SRI trat de elaborar
I frumentos no cognitivos pero, efectuadas pruebas de campo, las rechazo
1 hK'Ser demasiado poco fiables, El personal del SRI admiti que no se
I tan percatado de las limitaciones de los tests existentes ni de las dfficu*-
I lo , Para e,abrar otros nuevos (Haney, 1977, pg. 195). En consecuencia,
I 0k andonaron los esfuerzos para elaborar instrumentos sensibles a tos
I Jetivos propios de los colaboradores.
I efe t 1970, ,os resultados de la primera recogida de datos no mostraron
I tribi . Pos*ivos del F o l l o w T h r o u g h y no se publicaron. En mayo, un
I frac *a O f f i c e o f E d u c a t i o n revis la evaluacin y critic al SRI por su
aso en la comparacin de los modelos y en su evaluacin respecto a
h equidad y j ust ici a de la poltica federal de evaluacin ^
MniHh 11
192
Eyal uaci Mtj,
objetivos especficos. Se llev a cabo una serie de estudios complementar
ninguno de los cuales produjo efecto alguno en los resultados finales 8
En febrero de 1971, la Office ofEducation reafirm de nuevo sus I
dades para la evaluacin. Richard F a i r l e y , Director de Educacin Como
satoria, visit el Sfl y se quej de que los resultados no normalizados7
Sfl, relativos al aprovechamiento de los alumnos, no pudieran representar
en equivalentes graduados. El plan de F a i r l e y consista en descubrir a J-
mejores colaboradores y obligar a utilizar sus modelos en las accin*
derivadas del Ttulo I. Este plan requera una medida normalizada.
Durante 1971, la General Accounting Office, el departamento de Salud
Educacin y Bienestar e, incluso, los Naders Raiders* efectuaron invest
gaciones sobre la evaluacin del Follow Through. En el verano, tanto Egbert
como Snyder dimitieron de sus cargos. En noviembre, Garry McDaniels fue
nombrado director de evaluacin del Follow Through. Durante los cuatro
aos de contrato, la Office ofEducation gast doce millones de dlares en
ia evaluacin.
La fase McDANiELS/Huron Institute: 1972-1973
Bajo ladireccin de McDaniels, la Office ofEducation mantuvo un control
ms directo de la evaluacin. Cuatro meses antes, Laurence Lynn, director
del ASPE, haba recomendado al Secretario de Salud, Educacin y Bienestar,
Richardson, anonadado por el coste de la evaluacin, que el progra
ma debera volver ai rigor experimental. Michael Timpane y Joan Bissell,
del ASPE(Elmore, 1976, pgs. 291 -292), redactaron la recomendacin,
McDaniels concluy que haba que frenar el desarrollo de nuevos instru
mentos. Firm un contrato en exclusiva con el Hurn Institute, dirigido por
David Cohn y Marshall Smith. En un informe, Smith recomienda que
McDaniels consiga en la Office of Education un acuerdo sobre los objeti
vos a largo plazo de la evaluacin y formule un diseo que se ajuste al
mximo a los objetivos (Haney, 1977, pg. 45).
Jane David, del Hurn Institute, dise un plan de muestreo para "elevar
al mximo el potencial de comparaciones vlidas entre los colaboradores
y entreclases integradas en Follow Through y las no integradas en0
programa, as como para determinar la eficacia del Follow Through. t
fundamento del muestreo de Dav id exiga separar los efectos del tratarnien
de los colaboradores de los efectos propios de los lugares de aplica^
Esto podra conseguirse incluyendo varios lugares por cada patrocina
"Si se incluye una serie amplia de proyectos diferentes correspondiera ^
unmismo patrocinador, tendremos fundamento suficiente para corro-
RalphNader se hizo famoso por sus acciones en beneficio de los con^!<^$fs
usuarios norteamericanos durante los aos sesenta y setenta. Sus agentes son
Raiders". (N. del T.) - - :
Ediciones Mrala, S. L
equidad y just ici a de la poltica federal de evaluacin
sesgos restantes no sean muy fuertes. La confusin entre los efec-
[ Pri vados del modelo y del lugar de aplicacin se disipara. Al final, pre-
f ioS I ra est e diseo.
a nueva peticin de propuest as de McDani el s se refera a una evaiua-
del i mpact o sobre una porci n rest ringi da de los objetivos originales. Al
Ir que hacer frente a cost es y escndal os cada vez mayores, limit
Si ca me n t e el mbito de l a eval uaci n, que Haney (1977) denomin efecto
nbudo . El nuevo contrato para el anl i si s de datos se concedi a Abt
Associates, quienes estaban seguros de poder emplear nuevas tcnicas
estadsticas para manejar l os desordenados y complej os datos recogidos
encondi ci ones cuestionables. El obj et ivo bsi co consista en determinar
"deentre un conjunto de enf oques, cul y en qu condiciones es ms
l a z . La recogida de datos cont i nu ef ectundola el SRI.
El trabajo con los colaboradores para especificar sus objetivos y modelos
[dej de formar parte de la evaluacin. En la reorganizacin, McDaniels
[ reparti tareas entre distintos grupos. El Huron Institute prepar la muestra,
el SRI se encarg de recoger los datos, Abt Associates los analiz y un
tribunal nombrado por la Office of Education seleccion los instrumentos.
Aunque M c D a n i e l s ofreci dinero a los colaboradores para que trabajaran
sobre sus propios instrumentos, se le di la mnima prioridad al desarrollo
de los mismos. Esto suaviz considerablemente el golpe para los colabo
radores.
McDan i e l s convoc un tribunal de la Office of Education para determinar
| conjunto de medidas comunes respecto a las cuales se compararan los
modelos. Se escogi el Metropolitan Achievement Test porque a efectos
de comparacin, pareca deseable contar con un nico instrumento que
pudiera utilizarse en varios niveles (EPPS, s/f). El MATpresentaba tambin
propiedades psicomtricas adecuadas. Se seleccion el test de matices
progresivas en color de Ra v en porque el MAT era demasiado limitado y
porque no resulta fcil preparar un entrenamiento previo para realizar el de
Raven, por lo que los colaboradores no podran enserselo a sus alumnos.
El tribunal expres sus reservas en relacin con ambos tests.
Se manifestaron reservas sobre los dos tests no cognitivos, la Intellectual
Achievement Responsibility Scale y el Coopersmith Self-Esteem Inventory.
El tribunal crea que en real i dad, no exi sten medidas adecuadas en estas
reas (EPPS, s/ f).
De nuevo, pronto volvi a surgir el descontento. En el congreso anual
del Follow Through, celebrado en Denver, en octubre de 1972, tos padres
encabezaron las protestas; decan que no haban desempeado papel real
plguno en las decisiones, en la planificacin ni en la evaluacin, a pesar de
las apariencias (H a n e y , 1 9 7 7 , pgs. 60-61). Insistan en que se encargara a
lQs padres la evaluacin anual de los colaboradores. En el documento que
Presentaron se dice: Estamos cansados de que otros decidan cuancio un
programa es o no bueno para nosotros, basndose en su concepto de
datos y en su concepto de lo que es errneo para nuestros hijos y qu
"ay que hacer para corregir esos errores. Y contina: "Los expertos
194
deberan dedicarse a medir el tipo de programa que queremos, en ve? h
disear un programa que saben cmo medir . Pedan que los padres na*
cipasen en la interpretacin y recogida de datos (Steermg Committee
Los colaboradores redactaron un documento apoyando las reivind r
ciones de los padres y mostrando sus simpatas hacia ellas. Aunque ,
estallido fue semejante al que se produjo en el anterior congreso de Atlant
ste ocasion cambios inmediatos, aunque pasajeros. En esta ocasin !
siquiera se trat de estudiar las crticas. Ha n ey seala que la evaluacin
haba quedado, en realidad, aislada de la poltica dominante de la poca
De hecho, ste fue el ltimo congreso general anual del Follow Through de
manera que no pudieron producirse alborotos de este tipo. No obstante y
colaboradores siguieron reunindose peridicamente.
En 1973, se publicaron dos estudios auxiliares iniciados con anterioridad
Estudiando las clases, So ar (1973) descubri que los modelos no tenan
una gran coherencia interna. El estudio de St a l l i n g (1973) fue el nico que
tratde describir, desde el punto de vista emprico, cmo eran algunos
modelos, uno de los objetivos iniciales de la evaluacin. Aunque hall algunas
diferencias sistemticas entre clases incluidas en Follow Through y otras
no pertenecientes al programa, tambin descubri que los modelos no
constituan tratamientos unitarios. Estos estudios auxiliares no influyeron en
absoluto en la evaluacin final.
Aunque la fase Mc Dan i el s/ Hurn Institute slo dur un par de aos,
supuso modificaciones espectaculares en la evaluacin. La Office ofEdu-
cationadopt un control firme, reduciendo el mbito de la evaluacin a
unas pocas medidas normalizadas de resultados y transformando la eva
luacin de operacin poltica en actuacin tcnica. El Hurn Institute prest
su dominio tcnico de la cuestin y la justificacin racional de esos cambios.
La fase Evans/Abt Associates: 1974-1977
La ltima fase supuso la ejecucin tcnica del diseo de evaluacin a
cargo de Abt Associates y el completo dominio de la Office of Education en
laevaluacin. Eugene T uc ker sustituy a Garry M c D a n i e l s , transfirindose
toda la evaluacin del Bureau of Eiementary and Secondary Education a la
Office of Planning, Budgeting, and Evaluation (OPBE) en enero de 1974.
John Evans, director de la OPBE, fue el responsable efectivo de las deci
siones.
Cuando estaba en la Office of Economic Opportunity, Ev a n s fue el res
ponsable principal de la evaluacin Westinghouse/ Ohio del programa Hea^
StarL En muchos aspectos, la primitiva evaluacin de Head Starter seme
jante a la del Follow Through. El trabajo Head Start fue un estudio a
"impacto, concentrndose en la elevacin de las puntuaciones de
nios en los tests, aunque no era ste el aspecto planeado de la^variacio ^
El Head Start Research Council se manifest en contra del diseo de
estudio, realizando las mismas crticas que ms tarde se le haran, cua
T
mi n ( D a t t a , 1976). Las quejas en contra se referan a la insensibl-
$ete^ i seo, la dificultad de encontrar grupos de control y de supervi-
desde el punto de vista estadstico, los sesgos, la falta de medidas
sar>uaC|as de desarrollo personal y social, la falta de conocimiento de los
^ amas concretos, etctera. El grupo de Evans deca que la informacin
^ n e c e s a r i a para poder tomar decisiones y que los sesgos se anularan
efiLamente. El estudio se llev a cabo y no mostr diferencias entre las
^ eSpertenecientes al programa Head Starty las no incluidas en l. Los
cuitados fueron muy controvertidos, utilizndolos Nixon para impedir la
re cesi n de mayor cantidad de fondos para el programa.
para centralizar las operaciones de evaluacin en la Office of Education,
james Albert, vicesubsecretario del departamento de Salud, Educacin y
Bienestar para la Evaluacin y Supervisin, llev a Evans a la Office of
Education. Tanto Albert como Evans crean en la evaluacin del impacto, es
decir que los efectos de un programa se juzgaran por su repercusin en
las puntuaciones que los nios obtuvieran en los tests (McLaughun, 1975,
pgina 110). ' p J H B B M
Evans no perdi el tiempo enfrentndose a los colaboradores. En una
reunin celebrada en octubre de 1974 en Clinton (Michigan), respondiendo
aun patrocinador partidario de medir el cambio institucional, dijo:
La evaluacin es una carrera de caballos; una evaluacin comparativa de la
eficacia relativa de diversos enfoques... Decir que todos los modelos han realizado
avances importantes, es una poltica sentimentaloide, as que elijan ustedes".
Estamos de acuerdo en que los efectos ltimos del Follow Throughdeben
consistir en que, al cabo de diez aos, sus graduados tengan un estilode vida
diferente, siendo menor entre ellos el nmero de drogadictos o presidiarios. Pero
el problema es: cmo pueden ocuparse de esto los investigadores?Utiliza
mos las pruebas que tenemos como aproximacin a aquellos efectos a largo
plazo.
Las decisiones, incluso las de mayor peso poltico, pueden verse influidas
por las pruebas. Con frecuencia, el Congreso acta de forma irresponsable al no
hacer frente a los problemas. Responde a los padres desde las gradas del
Capitolio. Pero las pruebas an tienen fuerza. Sin embargo, si padres y nios se
muestran entusiastas, pero las pruebas son anecdticas y no persuasivas, seria
una irresponsabilidad de nuestra parte decir a otras comunidades que tuvieran
en cuenta el modelo. Los juicios que se hagan respecto a la cualidad irresistible
de las pruebas tendrn que ser arbitrarios. El problema consiste en el reparto de
recursos escasos.
(Informe de la Fourth Annual Follow Through Working Conference, 1974.)
r n ^ reunn de Clinton, algunos colaboradores sugirieron que la Ofqe
Education considerase algunos enfoques alternativos de la evaluacin,
PJl los antropolgicos. Sobre esto, Evans se mostr firme: No estoy de
ûerdo. La otra metodologa es de baja categora en relacin con la calidad
sus pruebas. Las ciencias sociales tienden hacia un mayor rigor. No
Ptaremos voluntariamente enfoques inferiores . Una vez ms, los cola-
y justicia de la poltica federal de evaluacin 195
196 ^valuacin, ti,^..
boradores alegaron que las medidas no servan por su carcter restrin

y su invalidez. 9ldo
Mientras tanto, Abt Associates llevaba a cabo el anlisis de los dat
Los dos primeros informes de Abt Associates se publicaron en 1974
1975. Los resultados no complacieron a los funcionarios de la Office ^
Education. Los informes mostraban que los efectos de cada modelo difer f
de modo espectacular de un sitio a otro. Esto haca imposible decir quS
modelo era mejor. Es ms, Cune y sus colegas de Abt Associates informaron
de que, al diferir entre s las muestras de los colaboradores de todas las
formas posibles, no podemos comparar los efectos entre los distintos cola!
boradores" (Haney, 1977, pg. 212).
La respuesta de la Office of Education ante estas noticias fue inequvoca
Se prepar una nueva propuesta de anlisis de datos y la primera cuestin
de la misma consisti en comparar directamente entre s a los colaboradores
Abt Associates reemplaz a Cune como director del proyecto, diciendo que
ellos podan comparar a los colaboradores. Participaron en la correspondiente
licitacin y consiguieron por segunda vez el contrato para hacer lo que
dijeron que no podan hacer en la primera ocasin. Las principales decisiones
del anlisis slo pudieron realizarse de acuerdo con la Office of Education.
Del nuevo plan de anlisis se elimin la comparacin global entre el Follow
Through y el sistema no perteneciente al mismo. La Office of Education
decidi que no quera que se hiciera tal comparacin que, en realidad, no
mostrara diferencias, centrndose nicamente en las comparaciones entre
modelos.
En mayo de 1975, se concedi un contrato de anlisis de costes a
Resource Management Corporation para valorar los correspondientes a ca
da modelo. Cuando la evaluacin principal determinara los incrementos
comparados de las puntuaciones obtenidos por cada modelo, los costes
serviran para designar el modelo ms barato, de mejor relacin coste/pro
ducto. Este anlisis se frustr porque cada patrocinador recibi la misma
cantidad de dinero por nio, mientras la financiacin local a cada centro de
aplicacin variaba en gran medida.
Cuando se mostr a los colaboradores los resultados del tercer informe
de Abt Associates (aunque no el captulo en el que se comparaban los
modelos entre s), una vez ms se molestaron por el carcter restringido de
la evaluacin, as como por las descripciones que Abt Associates hizo de
sus modelos. Organizaron una reunin de protesta en Washington, en 0
de 1976, y presentaron a Abt Associates y a la Office of Education un
larga lista de crticas en contra de la validez de la evaluacin. Como er
habitual, Abt Associates prometi efectuar ms anlisis estadsticos.
El cuarto, ltimo y principal informe de Abt Associates fue acept ad0 P
la Office of Education en abril de 1977. En l se comparaban de form
explcita cada modelo de atencin a la primera infancia con los dems,
colaboradores lo condenaron rotundamente. Las enormes variaciones a
distintos lugares de aplicacin obligaron a los analistas de Abt Associs ^
ser ms cautos en relacin con sus descubrimientos. Los resul t ado
EtiOfm Moral 1
modelos eran buenos en unos sitios y malos en otros. En realidad,
t# s !cn dentro de cada modelo era tan grande que los analistas se
lavarl n a decir que un modelo fuese mejor que otro, aunque podan apre-
p#rcL diferencias en los diagramas. Los analistas dijeron que los llamados
0 f L de destrezas bsicas eran mejores.
^ r u a n d o un periodista le pregunt acerca del importante hallazgo de la
esi onant e var i aci n que mostraba cada modelo segn su lugar de
irnf caci n, John Ev a n s dijo que la variacin era frustrante, pero indic
e no se t rat aba de que el mundo est loco o que los lugares fuesen
totalmente diferentes, sino que los modelos no se haban implementado
de manera uniforme. Cuando se paga a un patrocinador para que ponga
en prct ica un modelo dijo los lugares de aplicacin deben ser relativa
mente homogneos . La Office of Education se ocupara de hacer un esfuerzo
para compr ender las amplias variaciones entre los diversos lugares
[ E d u c a t i o n Daily, 10 de agosto de 1977). La idea de que el mismo modelo
obtuviera resultados diferentes en distintos lugares no pareca una conclusin
aceptable.
udad v j usticia de la poltica federal de evaluacin
La lgica de la evaluacin
Toda evaluacin tiene una lgica propia cuyas posibilidades he sealado
enotra parte. La lgica de la evaluacin del Foilow Through estaba configu
rada, en definitiva, por el enfoque del anlisis de sistemas, que ha dominado
lapoltica federal durante una dcada. Este paradigma busca el programa
ms eficaz y requiere que se comparen de manera bastante precisa tanto
losresultados como los costes. Esto supone utilizar unas cuantas medidas
cuantitativas con respecto a las cuales puedan compararse los modelos
entres.
El Foilow Through comenz con un amplio conjunto de objetivos sociales
quedeba cumplir. Los colaboradores y los padres trataron de mantener
estos objetivos de la evaluacin, pero los evaluadores y la Office of Education
consiguieron reducir los resultados a unas pocas medidas comunes sobre
s que efectuar comparaciones de grado. Por ejemplo, an despus de
el programa se redefiniese como experimento, en teora, la evaluacin
Podra haber examinado las consecuencias de cada modelo en una amplia
fnsf a.y en cada una de las nueve reas de impacto, incluido el cambio
stitucional. Esto podra haberse llevado a cabo mediante un razonamiento
Pragmtico, juzgando un modelo por sus muchos efectos,
nue eml:}ar90>no fue se el razonamiento que orient la evaluacin. De
^ V0, Ia CL*estin dominante fue: qu modelo funciona mejor?, procurando
VnoTnar C*U mode, produjo el mximo efecto con un coste determinada
qUe -*os Rectos globales. La determinacin del modelo mejor oWig a
i w Valuacin se desarrollase segn el razonamiento de medios a fines.
Sse r fines Previstos, qu modelo los cumple mejor o al menor coste?
modelo sera el mejor.
kfiaorws Mortft, S. L
Esto suele denominarse racionalidad tcnica y es la predominant
economa. En el mbito del gobierno federal, fiiie defendido por el ASPp6n
OPBEy la Office of Management and Budget, todos involucrados e la
evaluacin del Follow Through. Parte de la base de que la racionaliri ^
consiste en comparar alternativas claramente definidas y escoger em
ellas segn sus efectos sobre el objetivo concreto en el que se piensa i
idea de las variaciones planificadas constituye de por s una manifestar
de esta idea. Hay que dar por supuesta la existencia tanto de unos med n
y fines definidos con claridad como una relacin de causa a efecto entr
ellos. La evaluacin oblig a que el programa Follow Through siguiera e
paradigma tcnico.
Era necesario especificar cules eran los medios y los fines. La varia*
cin planificada supona la existencia de medios claramente definibles, es
decir, los modelos. Los patrocionadores, as como los estudios de Soar
y de St al ung, mostraron que no era as, pero la evaluacin parta de la
base de que era de ese modo, pasando por alto esta evidencia conflictiva
Los modelos se establecieron por definicin, nombrndolos.
La descripcin de los fines era an ms problemtica. El programa se
justificaba sobre la base de que trataba de cumplir gran nmero de fines
sociales. Pero la comparacin directa sera imposible o, al menos, confusa,
si se utilizaba gran nmero de indicadores. El paradigma parte de la simpli
cidad. Las comparaciones slo podran hacerse a partir de medidas comu
nes y cuantas menos, mejor. El SRI comenz con tests cognitivos norma
lizados y, como reaccin a las protestas de los colaboradores, trat de
elaborar un conjunto de tems de test comunes a todos y sensibles a los
modelos de los colaboradores. Estos tests especiales no proporcionaban
equivalentes de grados normalizados, resultando impracticables, tanto desde
el punto de vista logstico como financiero. En realidad, los colaboradores
no tenan en comn unos pocos objetivos sencillos.
Con la llegada de McDani el s, la Office ofEducation resolvi el problema
por imposicin. Prescribi un conjunto de fines comunes y cuatro medidas
respecto a los resultados. El fundamento de la utilizacin del M e t r o p o l i t a n
Achievement Test consista en su posibilidad de utilizacin a efectos com
parativos. En su reunin con los colaboradores, Evans reconoci que, en
ltimo trmino, se trataba de mejorar las oportunidades de los nios menos
favorecidos, pero afirmaba que los tests constituan la mejor aproximacin a
lamedida del xito. La elevacin de las puntuaciones en los tests cognitiyos
constituy el fin principal que los evaluadores tenan presente al principio y
sigui sindolo hasta el final. - -n
Habida cuenta de la necesidad de comparar los modelos entre s, tami
era preciso utilizar medidas cuantitativas, como son las puntuaciones en
tests. La cuantificacin permite escalar los efectos de los modelos, ag
zando las diferencias entre ellos y facilitando las comparaciones o, al rTie
hacindolas ms justificables. !^ h HR
Las clases participantes en el programa Follow Through se col^^fu0 e
con clases locales de control mediante anlisis de covarianza. El hecr
198 Evaluacin rn
--------------------- ----------------------------- ------------ -------------^^VPoder
F/rjnnae lijvata O i
r
j quidad y justicia de la poltica federal de evaluacin
t e anlisis no se adaptase demasiado bien a la realidad del programa
queeS,TDr0blemas, sobre todo para quienes conocan bien los modelos,
Pl a p di eron cuenta de que el ajuste entre las tcnicas cuantitativas y las
que sf reaies no era bueno. No obstante, se emplearon para facilitar las
duraciones previstas. La preocupacin por agudizar al mximo las dife
r as mediante las tcnicas cuantitativas era patente en el fundamento en
J que David basaba la muestra y en el aportado por Evans para las tcnicas
de la evaluacin, tanto los fines como los medios se restri
ieron drsticamente para poder efectuar las comparaciones. Los mismos
Colaboradores elaboraron ms de sesenta instrumentos para medir sus
modelos. Esos instrumentos aparecen reseados en un volumen de la
Office of Education. Pero, en el informe final de Abt Associates se compara
bantrece modelos respecto a cuatro tests que daban once puntuaciones.
An esto resultaba demasiado complejo para efectuar comparaciones sen
cillas. Los modelos se redujeron entonces a tres tipos y las medidas de
resultados a tres ndices.
La aplicacin de tcnicas estadsticas deja a los analistas un conjun
tode resultados de difcil interpretacin. Adems, los resultados no se obte
nan de forma clara. Aparecan lugares de aplicacin que arrojaban malos
resultados, aun con modelos buenos. Sin embargo, en virtud del contrato,
los analistas tenan que comparar modelos. Su solucin consisti en definir
unconjunto de tipos de modelo y prorratear las medidas de resultados
entre estos tipos. Mediante la denominacin de los modelos como de
destrezas bsicas, cognitivo/ conceptual" y afectivo/cognitivo", crearon
unconjunto de tipos que, de forma correcta o incorrecta, lagente poda
interpretar con facilidad.
Pero las medidas de resultados se inclinaban con toda claridad a favor
de los llamados modelos de destrezas bsicas. Qu se poda hacer?
Los analistas denominaron tambin las medidas de resultados como de
destrezas bsicas, cognitivas y afectivas, dando a entender que las medidas
se ajustaban a los tipos pertinentes. En realidad, algunas de ellas se ajustaban
bien a los modelos de destrezas bsicas, pero las dems no se adapta
ban a los otros tipos equivalentes. Esta clasificacin ex post factoconstitua
un modo de interpretar los resultados de acuerdo con categoras fciles de
reconocer, aunque fuesen errneas, y disimulaban el sesgo de las medidas
a avor de determinados modelos.
La clasificacin de stos se efectu por definicin, con poco fundamento
emprico. La primitiva clasificacin haba definido los modelos de forma muy
'^rita (por el grado de estructuracin, por la importancia que concedan a
tareas para casa, por la orientacin del programa, etc.). Se oblig a los
oiaboradores a que utilizaran las nuevas categoras. La denominacin
rgada a los modelos que hacan hincapi en la mecnica de la lectora y
, as matemticas como de destrezas bsicas proporcion a esa categona
- ' I aceptacin pblica. Pero las denominaciones eran desorientados
r Ejemplo, la lectura no se inclua como medida de destreza bsica
$ Ecfcson M*&. $, l
Oponerse al razonamiento del estilo medios-fines atacando la estrs
de miras, los instrumentos de medida, las tcnicas estadsticas, la definir ?
y clasificacin de modelos y medidas y la interpretacin de los resultan
era oponerse a la misma lgica de la evaluacin. Tanto los colaborador
como otros lo hicieron de manera reiterada. Tras el informe final de
A s s o c i a t e s , un tribunal de evaluadores independientes critic la evaluaciJ
encontrando en ella tan graves defectos, en relacin con los aspee?11,
mencionados, que hacan invlidas muchas de sus conclusiones (Housp
cois., 1978). Ey
Para algunos defensores de la evaluacin, la variacin hallada ent
distintos lugares de aplicacin del mismo modelo tambin resultaba incmoda
No tena por qu. La Office of Education decidi borrarla del mapa antepI
primer informe de Abt Associates, al financiar un nuevo anlisis de datos
Hay que decir, a favor de los analistas de Abt Associates, que ellos l
reconocieron como el descubrimiento primordial en su informe final En
otras palabras, los modelos no producan efectos uniformes en todas partes
Esto molest a Ev an s . Si cada lugar fuese tan diferente de los dems
que los mismos modelos produjeran un impacto distinto en cada sitio, esta
ramos en un mundo loco. l atribuy esta variacin al error de implemen-
tacindel patrocinador. En caso contrario, a la Office of Education le habra
sido ms difcil prescribir determinados programas o decidir la distribucin
de recursos escasos.
Objetividad
La evaluacin se defiende, en ltimo extremo, por su objetividad y por la
necesidad de tomar iniciativas. Como es necesario decidir, es mejor hacerlo
sobre labase de datos objetivos que sobre informacin subjetiva, aunque la
evaluacin no sea buena. Este razonamiento se basa en la presunta objeti
vidad de los instrumentos, la muestra y los procedimientos estadsticos. Es
una definicin de objetividad muy especial.
Con frecuencia, se equipara la objetividad con el acuerdo entre obser
vadores. Se llega a ese acuerdo mediante procedimientos de observacin
externos y especificados de antemano. Segn esta definicin, la objetividad
se consigue cuando se dispone de observadores que estn de acuerdo en
loque ven (repeticin de observaciones). Se acepta l o que acuerda un
conjunto de personas. Todo lo que no se observe a menudo, se presume
que es meramente subjetivo. sta es la idea cuantitativa de obj et i vi dad, que
se identifica con la epistemologa objetivista del anlisis de sistemas, y
constitua un concepto orientador de la evaluacin del pr ogr ama Folio
Through.
En diversas fases de la evaluacin, distintas medidas de *5es^ ea
fueron rechazadas como poco fiables. La fiabilidad es casi equivalle
laidea cuantitativa de objetividad, basndose en repeticiones de las,0 ^
vaciones. Y esto se acerca mucho a lo que Ev a n s l l amaba rigor
jda(J equi dad y j ust i ci a de la pol ti ca federal de evaluacin___________________________201
I
.ei rt n con los patrocinadores. La fiabilidad puede representarse tambin
^nforrna matemtica.
e El SRI abandon las medidas no cognitivas y, hasta cierto punto, el
tudio de casos de cambio institucional a causa de su poca fiabilidad. Abt
fssociates el i mi n su escala de implementacin por la misma razn. 0
Hurn Institute extrajo una muestra con varios lugares de aplicacin por
cada patrocinador basndose en que los sesgos se eliminaran si se repetan
las observaciones. La Office of Education seleccion la batera normalizada
detests dando por supuesto que cumpla los requisitos psicomtricos de
fiabilidad. Un requisito del enfoque consista en que los resultados se redu
jeran con el f i n de efectuar comparaciones; la fiabilidad constitua una forma
fundamental de tomar decisiones.
(Es interesante sealar que Abt Associates abandon tambin el nmero
de das de ausencia, un indicador muy fiable, sobre la base de que factores
ambientales de la comunidad podran haber determinado la ausencia. Por
lamisma razn, refrendada por los propios resultados obtenidos, podran
haberse eliminado los tests. ste es el criterio de validez, no de fiabilidad.
Es decir, decan que la ausencia no era un buen indicador de los efectos de
los modelos, del mismo modo que los colaboradores afirmaban que los
tests tampoco lo eran.)
En su forma extrema, la idea cuantitativa de objetividad, denominada
intersubjetivismo, se convierte en operacionalismo: para que algo se consi
dere "cierto ha de ser visto y especificado de manera conjunta Scr iven
(1972) hace hincapi en que esta nocin de objetividad constituye un error
filosfico fundamental. Confunde el mtodo de verificacin con la verdad".
Sostiene Scr i ven que hay otra nocin de objetividad que depende ms de
lacalidad de la idea que de la cantidad de personas que la defienden.
Llama a esto sentido cualitativo de la objetividad. En este sentido, ser
objetivo significa ausencia de sesgos o deformaciones.
Menciona Scr i ven el incidente del evaluador de receptores de televisin
que acopla un instrumento mecnico al televisor para medir la ganancia en
pecibelios, aunque el aumento de stos no correlacione demasiado con la
palidad de imagen. A simple vista, se podra juzgar mejor la calidad de
Imagen. El tcnico hace esto porque se llega a un acuerdo mayor entre
Observadores sobre la lectura de un instrumento, aunque tambin se consiga
la fiabilidad a simple vista, en un nivel ms bajo. En otras palabras, la
fiabilidad suplanta la validez. Se utilizan instrumentos ms fiables aunque
sean menos vlidos.
Lo mismo podemos decir de la evaluacin del FollowThrough. Se defiende
la objetividad de la evaluacin porque utiliza instrumentos fiables, aunque
puiz no fuesen vlidos para los fines planteados. En otras palabras, la eva-
luacin era objetiva en el sentido cuantitativo de que sus hallazgos podan
repetirse (eran estables, utilizando el trmino empleado por los analistas de
Abt Associates), pero la evaluacin se inclinaba a favor de los modelos
beneficiados por los tests. Por ejemplo, el MATmide de manera fiable el
empleo de los signos de puntuacin y pone de manifiesto que el modelo de
Edtonss Mora* S. L
-i ^ 2 | n , tca.
"instruccin directa, cuyos materiales estn pensados en relacin r
puntuacin, resuelve mejor esta parte del test. Este resultado es renotlla
pero ello no implica necesariamente que el modelo de instruccin dir -
sea el mejor. '
El segundo sentido en el que se dice que la evaluacin es ob'
consiste en que emplea un procedimiento estadstico que puede desarro|0tVa
con mayor o menor correccin. La validez de las matemticas se pre?6
lainspeccin pblica. Esto hace que la evaluacin parezca objetiva aUn
se suscite la cuestin de si la tcnica matemtica adecuada que se d e
emplear ha de ser sta. Se cuestionan tanto la formulacin como la nt
pretacin de los resultados, aunque la tcnica matemtica sea impecaH
En esta evaluacin son discutibles la formulacin, la interpretacin v i
matemticas (House y cois., 1978). . : , ,, yias
Portante, la ltima defensa de la evaluacin es su objetividad, pero st
desaparece cuando se somete a examen. Las medidas son fiables, peros
validez es discutible (algunas tampoco son fiables). La estadstica es ms o
menos correcta pero, a veces, resulta inadecuada y la interpretacin es
discutible. La evaluacin es replicable, fiable y no vlida.
La identificacin de la objetividad con procedimientos especificados de
forma externa tiene otro efecto. Inclina al evaluador a desentenderse de su
responsabilidad respecto de los hallazgos. stos son el resultado de sus
instrumentos y procedimientos objetivos. Cmo puede responsabilizrsele
de ellos? En esto consiste el llamado objetivismo (Pol anyi , 1958). No
puede sorprender a nadie que los analistas de Abt Associates, al enfrentarse
con las paradojas de su tarea, se viesen tentados a veces a negar su
responsabilidad. De hecho, la parcelacin de tareas especficas impuesta
por la Office of Education redujo la responsabilidad que cualquiera de los
grupos pudiera sentir en relacin con la evaluacin.
Nada de esto pretende que se deje de lado el concepto de fiabilidad. En
efecto, se trata de un concepto til, pero no debe emplearse para excluir la
validez. Por ejemplo, la evaluacin podra haber contado con psiclogos
que entrevistaran a los nios sobre su salud mental general, obteniendo m j
formacin ms vlida en el terreno afectivo. La objetividad (en sentido cuan
titativo) es una justificacin insuficiente. Una evaluacin puede ser objetiva
y, sin embargo, sesgada.
Equidad
La evaluacin del Foiiow Through no era equitativa en dos sentidos. En
primer lugar, por la forma en que las medidas de resultados primaban
ciertos modelos sobre otros. La clasificacin de modelos y medidas
resultados en las categoras de destrezas bsicas, cognitivos/ conw
tuales y afectivos, y la correspondencia entre medidas y modelos so
esta base, da slo una apariencia de equidad. En realidad, era mucino
fcil para los modelos de destrezas bsicas obtener buenas puntuaci
d equi dad y justicia de la poltica federal de evaluacin
l _ _ H medidas que para los dems. Por ejemplo, el tribunal de la Office
enB L ton seleccion el test de Raven porque era imposible ensear a
f o bien, pero ningn modelo puntu mejor en l que los grupos de
ha racin. Ahora bien, como estaba incluido entre las medidas cognitivas,
00 la que los modelos cognitivos tendran que favorecer especficamente
p buena puntuacin en dicho test.
e\ segundo sentido en el que la evaluacin no era equitativa se refiere a
dea que tenan los colaboradores de los evaluadores y de la Office of
Education. Se hizo creer reiteradamente a los colaboradores que la evalua-
n respondera a determinados objetivos que pretendan conseguir. La
rsta original de criterios de evaluacin era lo bastante amplia como para
L e tuviesen cabida las pretensiones de los colaboradores y sobre esa
base se prestaron a cooperar. Pero ya en abril de 1969, en Pajaro Dunes,
comenzaron a protestar por la excesiva confianza depositada en las medidas
cognitivas normalizadas. El SRI prometi elaborar nuevas medidas cognitivas
y no cognitivas. Trat de hacerlo, pero fracas.
Si alguien llega a un acuerdo con otro, sea tcito o explcito, y cumple
sus promesas, pero la otra parte no, se sentir tratado de manera injusta.
Los colaboradores protestaron de forma reiterada y se les prometieron los
cambios pertinentes, pero, al final, la evaluacin se bas sobre todo en
medidas cognitivas convencionales. Esta sensacin de trato injusto y desigual
explica las protestas contra la evaluacin expresadas por tantos colabora
dores. Se sintieron traicionados.
Para que se considere equitativo, un contrato o acuerdo de evaluacin
debe cumplir ciertas condiciones. En el Captulo VIII, seal trece condiciones
de este tipo, como la ausencia de coercin, informacin completa y un
inters particular no excesivo. Una de esas condiciones es la de posibilidad:
que el contrato no se base en algo que una parte no pueda llevar a cabo.
Es obvio que el SRI acept un contrato sobre algo que no poda hacer. En
este sentido, el contrato original no era equitativo y as lo consideraron los
colaboradores.
Cuando se produjo la redefinicin de la evaluacin, en la poca de
Mc Da n i el s , qued claro lo que sta hara. Las acciones de este autor, y
muchas otras posteriores de la Office of Education, se tomaron de modo
unilateral, sin mediar una negociacin seria. La Office of Education rechaz
el acuerdo anterior y ni siquiera consider deseable establecer otro. Podan
hacer lo que quisieran, slo sometidos a las restricciones polticas.
Los colaboradores no estn del todo libres de culpa en esta cuestin.
Desde 1973, estuvo claro lo que llevara consigo la evaluacin final, aunque
no las conclusiones a las que llegara. Ellos siguieron cooperando y aceptando
grandes cantidades de dinero del gobierno. Por otra parte, en esa poca
haban invertido ya grandes sumas en el desarrollo de sus modelos. Algunos
iniciaron un trabajo de desarrollo de cinco aos, por lo que no caba aban
donarlo. Siguieron protestando y esperando que mejorase la situacin.
En realidad, las circunstancias a las que tenan que hacer frente los
colaboradores se aproximaban mucho a la coercin. Si el gobierno hubiera
<> Ediciones Morete, S. L
y ______________________________
negociado el tipo de evaluacin que llevara a cabo en relacin con ai
trato original, y esta evaluacin hubiera sido conocida y aceptada e n t n'
sus trminos por los colaboradores, el contrato de evaluacin hubies 0{
equitativo. Sin embargo, los cambios de orientacin habidos en pleno nr(> c
cuando los patrocinadores haban realizado ya inversiones, produjeron 0|
situacin muy diferente. Como mnimo, debera haberse renegociad a
idea de la evaluacin. 0k
La equidad tambin se puso en peligro de otra forma: por la
imparcialidad. Deliberar con imparcialidad es deliberar sin prestar excs*
atencin a los propios intereses, considerar slo soluciones universal
escoger de acuerdo con el propio inters como miembro del grupo afect h
por el contrato. Aunque la Office of Education cumpli las dos prime
condiciones, no as la tercera (actuar de acuerdo con los intereses de i
afectados). No atendi de forma adecuada las quejas de los colaborador
Por tanto, la evaluacin careci de imparcialidad. es<
No basta con que una evaluacin sea objetiva, sino que debe ser imna
e l tambin. Los procedimientos externos, repetibles, pueden estar sesgados
Aunque la objetividad sugiere una actitud desprendida o neutral, caracterstica
que s presentaba la evaluacin, las personas sometidas a evaluacin s
esperan que se les juzgue con imparcialidad, una preocupacin expresada
en juicios equilibrados sobre los intereses del programa que se juzga. Los
patrocinadores percibieron correctamente ambas ausencias: de inters y
deimparcialidad Si la primera parte de la evaluacin adoleci de falta de
posibilidad, en la ltima no se produjo la imparcialidad. Y no slo la evaluacin
fue poco equitativa y desigual, sino que el mismo contrato de evaluacin no
era equitativo.
Justicia
La evaluacin del Follow Through concuerda bastante bien con la filosofa
utilitarista de la justicia, de la que se derivaba en parte. La justicia utilitarista
pretende conseguir el mayor equilibrio neto de satisfaccin en la sociedad,
mediante la suma de la satisfaccin de todos los individuos. El utilitarismo
exige una medida comn de satisfaccin que permita efectuar el clculo de
la utilidad. En educacin, esta medida se estructura en torno a las puntua
ciones obtenidas en tests normalizados, que sirven como pronsticos res
pecto a otros fines, como indicaron Rivlin y Evans.
En el utilitarismo, todo lo que procure el mximo bien, es decir,ja
puntuaciones de los tests, en este caso, est bien hecho. As, el mo
correcto de atencin a la primera infancia es el que consiga las puntuaos ^
ms elevadas en los tests. No procurar la mxima cantidad de bien _
moral. La misma racionalidad se estructura como la seleccin de ^
alternativa entre un conjunto de ellas. El diseo experimental, la insi
tecin y la estadstica son mtodos para determinar la mejor a
i nt enci n, el experimento de variaciones planificadas del Follow
porla ' c0nst t ua una esplndida manifestacin de la tica utilitarista
obstante, el utilitarismo plantea ciertos problemas. Para lograr la
na sat i sf acci n total, es permisible reducir las satisfacciones de unos
^ a u me n t a r las de otros. En la prctica, los as privados suelen ser los
Para_s poderosos, las clases inferiores. Asimismo, alguien debe encargarse
âcer est as valoraciones de la satisfaccin. A menudo, se ocupa de ello
gf gobierno o un administrador. En la prctica, el utilitarismo suele ser
naternal i st a.
Estos elementos estaban presentes en la evaluacin del FollowThrough.
Pn ltimo trmino, la Office of Education decida las cuestiones que tratar y
ias indicaciones que atender. Los grupos menos favorecidos protestaban
cuando vean que la evaluacin iba en contra de sus propios intereses. La
primera protesta procedi de los grupos minoritarios en Atlanta. Los miembros
de las minoras se quejaron de que los evaluadores se mostraban insensibles
respecto a la participacin de los padres y de la comunidad. Como respuesta
a esta protesta, recibieron ayudas financieras varios colaboradores perte
necientes a las minoras y el SRI comenz los estudios de casos comunitarios
de cambio institucional. Al cabo de unos pocos aos, se abandonaron los
estudios de casos. No hubo investigaciones que se ocuparan de la comuni
dad en general. En la reduccin de datos de la segunda fase, no se incluy
a la mayora de los colaboradores de grupos minoritarios, aun siendo pocos.
Las entrevistas con los padres surgieron como un estudio independiente,
siendo subcontratado con el National Opinin Research Center. Se llevaron
a cabo sesenta mil entrevistas en el transcurso de varios aos, pero nadie
pareca conocer el objetivo exacto. Es posible que consistiera en recoger
actitudes de los padres en relacin con el programa y en proporcionar
informacin demogrfica. Nadie pareca capaz de decir qu hacer con los
datos ni cmo interpretarlos. Cuando los analistas de Abt Associates trataron
de incluir parte de la informacin en su tercer informe, uno de los colabora
dores dijo que era demasiado personalista (Han ey, 1977, pg. 269). En el
informe final de Abt Associates no se mencionan los datos recabados de
los padres. Ha n e y (1977, pg. 270) dice que estos datos eran mucho ms
elogiosos del Follow Through.
En el diseo original del Follow Through, se pensaba que los padres
desempearan un papel relevante en la toma de decisiones y en otros
importantes aspectos del programa. Excepto en los pocos modelos que
hacan hincapi en su participacin, en realidad, fueron excluidos del pro
grama, salvo de forma muy simblica, lo que tambin es cierto respecto a la
evaluacin. Su ltima protesta importante se produjo en el congreso de
Denver, en 1972, en donde se quejaron de haber sido excluidos y pidieron
evaluar a los colaboradores. Decan que estaban cansados de que otros
decidieran lo que era malo para sus hijos y cules eran los modelos buenos
0 malos. Estaban hartos de que los expertos slo midieran lo que saban
cmo medir. Su protesta no consigui nada, a pesar de que eran tos n~
eos que podan representar con propiedad los intereses de sus hijos.
j usticia de la poltica federal de evaluacin 205
ridad . e q u ^ y
Ecfcciones Morata. $. l
Los dems grupos carentes de poder excluidos de la evaluaci
los profesores. En unos pocos estudios auxiliares, como el de Soar fuern
Stalungs, se observ a los profesores, pero a la mayora se S f f 61de
cuestionario por correo. Una vez ms, como no se les acept como Uf1
pantes de pleno derecho, ninguno saba con exactitud para q u 11'0'*
cuestionario. En una ocasin, se propuso que los datos de los profe^ e|
se utilizaran como datos demogrficos que mostraran las condicion 88
implementacin. De nuevo, los colaboradores se quejaron de la utilizaSde
de la implementacin como medida. Despus, nada se hizo con la fl<5n
macin. Inr'
Visto en retrospectiva, los participantes menos poderosos del proara
-minoras, padres y profesores fueron, en realidad, excluidos de la H
luacin. En la primera fase, las cuestiones se decidieron mediante la c'
operacin entre la Office ofEducation, los evaluadores y los colaboradora'
En la segunda fase, la Office of Education y los evaluadores decidieron las
cuestiones. En la tercera fase, slo la Office of Education decidi las cues-
tiones crticas.
En el marco utilitarista, esta situacin es justa porque, una vez determinado
e implementado el modelo que produce el incremento mximo de las pun
tuaciones en los tests, aumentar la satisfaccin total en la sociedad. Si se
sacrifican los intereses de los excluidos, ser se el precio que se pagar
en aras del progreso. Hay que ser fuerte y tomar decisiones duras.
Por otra parte, hay quienes se oponen al utilitarismo y dicen que los
intereses de todos los afectados por la evaluacin deben tener voz en ella y
deben estar representados de forma directa. Hay incluso quienes afirman
que los intereses de los menos favorecidos deben constituir una preocupacin
fundamental. El hecho de que Follow Through fuese un programa diseado
para ayudar a los menos afortunados refuerza an ms esta cuestin.
Desde estas perspectivas, la evaluacin fue injusta.
* 5 ------------------- ---------------- ----------------------------------------------------------------------- -------
Una revisin de la poltica federal de evaluacin
La evaluacin de Follow Through fue la culminacin de una dcada
caracterizada por una poltica peculiar y quiz estuvo muy cerca de incor
porarla a s misma. Dado el hecho de que la evaluacin fuera sesgada,
carente de equidad e injusta (adems de costar cincuenta millones de
dlares), ya es hora de cuestionar en serio esa poltica.
La poltica federal de evaluacin se ha basado en el enfoque del anlisis
de sistemas. Sus principales destinatarios son directivos y economistas. Da
por supuesto el consenso respecto a los objetivos, a causas y efectos
conocidos y a unas pocas variables cuantificadas de resultados. S u meto
dologa est constituida por la experimentacin de variaciones plani ficada
Vel anlisis de coste/ beneficio. Su fin es la eficiencia y se ^plantea
siguiente cuestin: cules son los programas ms eficientes? p.
Como la articularon sus pri ncipales def ensores, como Rwun y
Ediciones Mor ata, 8. L
y j ust i ci a de la poltica federal de evaluacin <sn
la existencia de un paralelismo directo entre la produccin de serv-
| supncjaies y la manufactura. Se aplican las mismas tcnicas de anlisis.
I co? L conocimiento verdadero es una funcin de produccin que especifica
^clones estables entre entradas (inputsl y salidas outputsj. La nica
ma de adquirir ese conocimiento pasa por los mtodos experimentales y
[ f jnicas estadsticas. Es posible ponerse de acuerdo sobre unas pocas
; Adidas de resultados. El problema est constituido por la asignacin efi-
I nte de recursos.
Las decisiones clave procedern de las ms altas instancias guberna
mentales y la tarea puede llevarse a cabo mediante una gestin estricta. La
justificacin final es utilitarista: conseguir la mxima satisfaccin en la so-
ciedad. Para llegar a ese mximo, es preciso conocer cules son los pro
gramas ms eficientes. Esto slo puede hacerse comparando alternativas,
por lo que hace falta una medida comn de resultados. Es un trabajo de
expertos.
Hay lugares en los que este enfoque puede aplicarse de manera satis
factoria, pero los Estados Unidos, en conjunto, no es uno de ellos. El enfoque
puede llevarse a cabo sin problemas cuando los objetivos y las medidas de
resultados sean pocos. Y es probable que suceda esto cuando los destina
tarios de la evaluacin constituyan un grupo muy estrictamente definido y
se pongan de acuerdo sobre unos pocos criterios de comparacin. Asimis
mo, es til cuando los criterios pueden representarse mediante un indicador
cuantitativo razonablemente vlido. [Pueden verse aplicaciones satisfactorias
de esta tcnica en la evaluacin de una grabacin de entrenamiento para
investigadores educativos, de Glass (1972), o en la evaluacin de un curri
culum elemental de matemticas para el National Institute ofEducation, de
H e r b e r t (1975).]
En un programa social de base amplia en una sociedad pluralista, como
los Estados Unidos, no es aplicable casi ninguno de los supuestos de par
tida del enfoque del anlisis de sistemas. Preguntar: "qu modelo de edu
cacin de la primera infancia es mejor para los nios menos favorecidos en
todos los lugares de los Estados Unidos? slo conduce a evaluaciones
errneas. En pocas palabras, no es cierto que existieran escasos objetivos o
medias de resultados aceptados en relacin con el FollowThrough. El
consenso se logr por imposicin del gobierno. No es cierto que existieran
alternativas distintas ni que causas y efectos fuesen conocidos o fciles de
determinar. Los modelos slo explicaban una pequea fraccin mucho
menor del 10% de la varianza de las medidas seleccionadas por el
gobierno.
No es cierto que haya una funcin estable de produccin que relacione
entradas (inputsj y salidas (outputs/. En un lugar, un modelo ira muy bien y
en otro, muy mal. No es cierto que las puntuaciones obtenidas en los tests
sean datos puros y duros, como el nmero de botellas producidas por
hora. Los efectos desaparecen a los pocos aos. Los modelos no producen
efectos uniformes en todas partes. Esto hace sospechar de las prescripciones
ridadlequidad
$ Ecfctcws Si.
208
M u a c t a f c ^
obligatorias de modelos dictadas por el gobierno. Tampoco es fcil ni fnu,
latransferencia de los modelos de unos lugares a otros. at)|e
No es cierto que la produccin de servicios sociales sea como la man
factura de bienes. sta produce artefactos fsicos; aqulla no. No es cle
que la nica forma de conocer pase por la experimentacin y la estadista
Hay muchas formas de conocimiento. No es cierto que no se sepa na?
sobre la educacin. Los profesionales saben mucho, aunque su conocimiento
pueda ser tcito. ^ 0
No es cierto que la recogida de cantidades muy grandes y costosas de
datos elimine los sesgos. Tampoco es cierto que los directivos y economistas
sean los nicos destinatarios de las evaluaciones. Ante cada evaluacin de
este tipo, los peridicos toman los resultados y los interpretan de manera
muy distinta de la de los expertos.
En programas sociales a gran escala, habr muchos grupos que traten
de satisfacer intereses muy divergentes. La evaluacin del programa debe
reflejar de alguna manera los intereses de estos grupos divergentes. Es
probable que esto suponga mltiples criterios y mtodos de recogida de
datos. Significa que la informacin no puede resumirse por completo en
una simple escala cuantitativa. Significar, en cambio, que el programa
producir resultados y satisfacciones diferentes para distintos grupos. Estos
grupos tendrn que estar representados en la evaluacin y hay diversas
formas de hacerlo. Existen, al menos, otros ocho enfoques de la evaluacin,
Quiz el principal error del enfoque del anlisis de sistemas consista en
laconfusin entre objetividad e imparcialidad. Como seala El mo r e:
En su formulacin primitiva e ingenua, el PPBS coloca al personal experto
muy especial del brazo del responsable de la poltica (el presidente, el jefe de
gabinete, el director del organismo). Su consejo debe ser objetivo y desapasionado,
basado en el anlisis estricto e incontaminado por intereses burocrticos estre
chos. Por su objetividad, los responsables polticos debern considerarlo superior
a otros tipos de consejos y, por tanto, desempear un papel determinante enla
elaboracin de la poltica.
(El mo r e, 1976, pg. 23.)
Los analistas pensaban que la objetividad era suficiente para asegurar
lasuperioridad y la influencia. Con mayor frecuencia, supone falta de relieve.
La objetividad trata los intereses excluyndolos del mapa. Hace faltala
imparcialidad, que cuenta con los intereses, los incluye y los equilibra.
r
^ oxi
Crtica de los enfoques
A lo largo de este libro, he expuesto y criticado diversos enfoques de la
evaluacin. Este captulo es un breve resumen de las ventajas e inconve
nientes de cada enfoque. Cualquiera de ellos puede ser adecuado o inade
cuado, dependiendo de las circunstancias de su aplicacin y de la corres
pondiente validez de las premisas en las que se base. Aunque un enfoque
sea adecuado, la evaluacin concreta puede ser buena o mala, exacta o
inexacta, coherente o incoherente, equitativa o no, democrtica o antidemo
crtica, justa o injusta, til o intil, eficiente o ineficiente. Si determinado
enfoque se aplica a una situacin para la que resulta inadecuado, se multi
plican las posibilidades de una evaluacin incorrecta.
Una forma de desarrollar el resumen consistira en hacer una lista de las
normas y principios expuestos en el libro y juzgar cada modelo en relacin
con cada uno de los criterios. Sin embargo, este procedimiento sera dema
siado tedioso, adems de poder inducir a error. En realidad, slo puede
someterse a juicio una evaluacin concreta llevada a cabo en circunstancias
determinadas. En s, los enfoques bsicos slo muestran ciertas tendencias.
Por ejemplo, el anlisis de sistemas tiende a pasar por alto los intereses de
algunos participantes en el programa, pero no tiene por qu hacerlo. En
consecuencia, criticar el enfoque del anlisis de sistemas como esencial
mente antidemocrtico es excesivo, aunque muestra cierta debilidad en el
sentido citado. Si disponemos de un mapa que realce o deforme, incluso,
algunas caractersticas a expensas de otras no tenemos por qu perdemos
necesariamente. El hecho de que un enfoque de evaluacin haga hincapi
en la fiabilidad de los datos en detrimento de la representatividad de intereses
Pertinentes no tiene por qu traducirse en la realizacin de una evaluacin
antidemocrtica.
La estructura de este captulo es ms relajada, parecindose ms a una
discusin casual sobre los puntos fuertes y las debilidades de cada enfo
gue, segn convenga. Yo mismo he utilizado o criticado por completo cada
Eftcions Morata S 1.
uno de los tipos y pondr estos ejemplos personales para lustrar ms
ticas. Cr^
Anlisis de sistemas
Ningn enfoque de evaluacin ha recibido en este libro crticas
severas que el anlisis de sistemas, sobre todo en el captulo dedicado^8
poltica federal, a causa de que el anlisis de sistemas constituye el enV9
que dominante, sancionado de forma oficial, y porque sus defensores h
cen gran hincapi en que es el nico enfoque cientfico. Estas prote?t
de cientificidad se tornan un tanto embarazosas porque, desde el punto ?
vista epistemolgico, son ingenuas e inocentes (vestigios de un positivism
desacreditado). Por supuesto, no todos defienden el enfoque de modo a
extravagante. / J H H H H
No es preciso que nos extendamos sobre las falacias y limitaciones dpi
anlisis de sistemas. El enfoque en cuestin, tal como lo presentan terico*
como Ri vl in (1971) y Rossi y cois. (1979), asume el punto de vista de
dirigentes gubernamentales y economistas. Debe obtenerse informacin
sobre la planificacin, supervisin, impacto y costes de un programa a
efectos de gestin. En cierto sentido, se trata de un punto de vista realista
dado que la mayor parte de las evaluaciones corresponden a programas
gubernamentales pero, por desgracia, con demasiada frecuencia, este en
foque es dificitario desde las perspectivas poltica y moral. Excluye los
intereses y preocupaciones de los participantes en el programa, sobre todo
de quienes estn situados en los niveles inferiores de la jerarqua social. La
evaluacin del programa Follow Through constituye un ejemplo excelente
de esta postura de pasar por alto los intereses de los pobres, los padres y
los profesores.
En el peor de ios casos, el enfoque de anlisis de sistemas lleva al
cientifismo (punto de vista que sostiene que el nico modo de acceder ala
verdad pasa por el uso de determinadas metodologas). La objetividad se
equipara a la fiabilidad, producindose informacin a partir de ciertos tipos
de instrumentos exclusivamente. Se sacrifican la imparcialidad y la validez.
Al reducir todo a algunos indicadores, de manera que se pueda: demostrar
lafiabilidad, efectuar anlisis de coste/ beneficio y descubrir cules son los
programas ms eficientes (consiguiendo, de esto modo, la mxima utilidad),
los resultados de programas sociales complejos se restringen a u n a s pocas
medidas cuantitativas. En general, la aplicacin del enfoque del anlisis ae
sistemas supera con mucho el mbito para el que resulta adecuado.
No obstante, a veces, el enfoque del anlisis de sistemas es adecua
como cuando las medidas pueden reducirse razonablemente a una po
posibilidades y a relaciones sencillas de causa a efecto. Por ejempl.^
referimos al nmero de camas hospitalarias de una comunidao, P j
adecuado un indicador cuantitativo. Sin embargo, no se nos ocurriri ^ |
esto como nica medida de la atencin prestada a la salud. O d
y
y nico objetivo del programa consiste en elevar las puntuaciones
Pr0^ Sf i st udi ant es en los t est s, tiene sentido utilizar stas como medida del
^ 10riel mismo. (Vase una exposicin en profundidad sobre los tests y su
xt0n con l a evaluacin y la poltica en Baker y Quel l mal z, 1979.)
f0*aun modo de reforzar el enfoque de anlisis de sistemas consiste en
nijar el nmero y los tipos de indicadores utilizados. Por ejemplo, para
araluar el impacto de un nuevo programa de matemticas, Her ber t (1975)
labor varias docenas de escalas especiales que medan capacidades
ai\elos matemticos creen indican un pensamiento de alto nivel, en vez de
tems de tests normalizados. En un diseo clsico con grupo control, se
admi ni st raron tanto los tests especiales como los normalizados para de
mostrar que el programa obtena mejores resultados que los materiales
t radi ci onales en los tests especiales y no peores en los normalizados. Sin
los t ests especiales, habra estado justificada la protesta de los autores del
programa acerca de la falta de validez de la evaluacin. Her ber t llev a
cabo t ambi n una serie de estudios colaterales para eliminar la posibilidad
de que otros factores, como el determinado por mejores profesores, infleran
en los resultados. He aqu un estudio bien razonado. Por desgracia, muchos
estudios de anlisis de sistemas son poco ingeniosos, quedndose en meras
apl i caci ones mecnicas de mtodos al uso. Se han efectuado buenos estu
dios de anlisis de sistemas, coincidentes en el buen razonamiento que los
gua y en no tratar de hacer pasar elefantes por el ojo de una aguja
Objetivos conductuales
El enfoque de la evaluacin por objetivos conductuales es el ms cono
cido y, si se votase al respecto, quiz fuese el ms utilizado por los evaluado
res profesionales. Respecto a cualquier evaluacin, es el enfoque que con
mayor frecuencia se plantea. Tambin son muchas las crticas que sostienen
que la especificacin de objetivos no es, en realidad, til para la enseanza
ni para el desarrollo curricular (At k i n , 1968; St a k e, 1973). Estas crticas han
ido aumentando, pero el enfoque por objetivos sigue siendo popular.
Este enfoque se basa en la premisa de que la educacin, o cualquier
actividad social, constituye, en realidad, una tecnologa, un conjunto de
tcnicas que conduce a fines especificados de antemano. Wa k s (1975)
seala que este modelo se funda en dos doctrinas: la doctrina de la
planificacin y evaluacin tcnicas y la doctrina de la especificacin con-
ductual. La primera sostiene que si se confunden los fines u objetivos, no
es posible aplicar las tcnicas de manera adecuada Los objetivos deben
ser precisos y exhaustivos. Para especificar la accin correcta, el espacio
de evaluacin ha de quedar clausurado por un completo conjunto de
objetivos que determinen con exactitud los resultados. La segunda doctrina
se refiere a la especificacin conductual, de donde toma su nombre ei
enfoque. Segn ella, los objetivos de comportamiento han de estar especifi
cados conductualmente, o sea deben ser mensurables. En conjunto, ambas
$ Edtooiws MotMfc, $. 4.
doctrinas llevan a una evaluacin que define el xito en trminos de k-
especificados de antemano y mensurables, y no respecto a los valn ivs i
en realidad se han conseguido. res %
La crtica bsica de W aks consiste en que actuar con un proo<Vt
equivale a poner los medios para llegar a un fin determinado Cu i n 1
actividad social, como la enseanza, puede ser coherente y eficaz t- ^ 1
dose en las tradiciones culturales, la preparacin, la experiencia y ^ 1
lizacin de los profesores. Ninguna de estas caractersticas requerScia' 1
especificacin de objetivos en forma conductual. Segn Waks, el DrnfUna 1
participa de una forma completa de vida y de una manera de actuar v 1
sar. Como los profesores disponen de mitos, historia, tradiciones y costumh^' 1
en las que basarse, no necesitan un flujo de objetivos que den sentid I
orientacin. Adems, al descontextualizar los objetivos respecto de su tr U i
fondo de prctica y de conocimientos compartidos en los que se tilb i
los defensores de los objetivos conductuales introducen un elemento arti?! 1
en la situacin de enseanza. Las listas de objetivos, fuera de conteS 1
hacen que las conductas de los profesores parezcan carentes de senff 1
La sustitucin de la conducta contextualizada por objetivos artificiales 1
puede deformar gravemente las acciones. - 1
Otras crticas del enfoque por objetivos son ms prcticas. Quin define 1
en realidad, los objetivos? Qu intereses reflejan? Constituyen los objetivos 1
un conjunto completo de las conductas previstas? Cmo pueden reducirse I
y medirse los objetivos? Quin lo hace? La especificacin antecedente i
de los objetivos deja de lado resultados importantes?
Si nos detenemos a examinar la definicin y especificacin de los obje- I
tivos, a menudo descubriremos que han sido elegidos y especificados de I
forma arbitraria. Las listas de objetivos no suelen ser exhaustivas y los m- 1
todos para seleccionar los ms importantes resultan sospechosos. La dfi- I
nicin de los resultados previstos de un programa social es mucho ms 1
difcil de lo que parece.
Por ejemplo, en el Michigan Accountability system una tentativa com- I
pleja y con fuerte respaldo financiero de definicin de objetivos y de eabo- I
racin de tests basados en ellos y relacionados con los distintos grados I
escolares del estado de Michigan la especificacin de objetivo,s siempre I
fue de algn modo arbitraria. Para el cuarto grado de matemticas se I
identificaron cuatrocientos objetivos. Sin embargo, la administracin de tests
que abarcasen todos esos objetivos habra consumido varias semanas de I
tiempo de los alumnos, as como cientos de miles de dlares para el desa
rrollo y administracin de las pruebas. La lista de objetivos se redujo a
treinta y cinco, ms o menos, pero la seleccin fue arbitraria ( H o u s e y H j
1974). g i | 3
En Michigan, las primeras pruebas de tipo test se efectuaron con tesjj
referidos a una norma, elaborados por editoriales importantes, pero, c
no se correspondan bien con los objetivos estatales, se elaboraron ;
referidos a los objetivos. Se realizaron cinco tems de test para m K t .
objetivo. Respecto a estos tipos de medida existe na gran contro
----------------------- ----------------------------------------------------------------------------------
@bknm Mor ata, 3. j
T
di cen qt i e l os t est s basados en objetivos son superiores mientras
0 o6?0 que no son vl i dos (Popham y Ebel , 1978).
vc su haber, los enfoques objetivos de evaluacin gozan de gran validez
nnst ruct o. Acaso un programa social no debe responder de aquello
; decgfjrrna hacer? Despus de todo, en ello se basa la financiacin pblica
^f o t o g r a m a . La evaluacin tiene una legitimidad evidente cuando parte de
obj eti vos y metas declarados de un programa. Esto resuelve el dilema
2 evaluador de la forma ms directa. A fin de cuentas, eso es lo que
i o n que haran. Esta afirmacin relativa a lo enunciado resulta muy
acti va para los mismos responsables del desarrollo de un programa,
sobre t odo al principio del mismo, cuando tienen grandes aspiraciones en
relacin con sus trabajos.
Otra ventaja del enfoque por objetivos consiste en la gran facilidad de
definicin de su tecnologa. Primero, el evaluador hace esto, despus esto
otro y as sucesivamente. Las fases de la realizacin se establecen con
todo detalle (M o r r i s y cois., 1978). Esta caracterstica atrae al gran nme
ro de novatos que cada ao lleva a cabo evaluaciones. Ningn otro enfoque
de evaluacin dispone de una tecnologa tan elaborada. Por regla general,
como los analistas de sistemas, los objetivistas conductuales siguen proce
dimientos cientficos, aunque no insistan en ello tanto como los analistas
de sistemas.
Teniendo en cuenta todo, en una sociedad tecnolgica, el enfoque por
objetivos de la evaluacin resulta muy atractivo, como pone en evidencia
su omni presenci a. Se deriva, en realidad, de la tradicin del anlisis de
tareas de la psicologa industrial. Como ocurre con gran parte de la tecnologa,
sus dificultades radican tanto en sus dimensiones filosficas como en las
prcticas. Cuando pensamos seriamente sobre l o tratamos de aplicarlo,
surgen ciertos defectos.
deios enf oquf L------------------------------------------------------------------------------------------------------------------------------ !
I
Decisin
Una gran ventaja del enfoque de decisin consiste en que se centra en
la evaluacin, importante cuestin prctica para el evaluador. En cualquier
proceso de evaluacin, podramos recoger razonablemente una enorme
masa de informacin, por lo que es preciso efectuar algn tipo de seleccin.
El enfoque de decisin lo hace usando el criterio de utilidad. Qu informa
cin ser ms til? La respuesta del terico de la decisin ser que la in
formacin que resulte ms til para el responsable de las decisiones. Han
de presentarse las alternativas de decisin, por lo que habr que recoger la
informacin pertinente al respecto.
Por ejemplo, en la evaluacin del Illinois Gifted Program, el programa
constaba de cinco partes (centros de prueba, centros de reinsercin, pro
gramas de entrenamiento, proyectos de investigacin y apoyo administrativo).
Los centros de prueba y de reinsercin absorban ms de cuatro millones
de dlares anuales del presupuesto, desconocindose los efectos de estos
% Ediciones Moral*. & L
214 Eval uaci n, tica v
î Poder
proyectos, aunque se crea que los centros de prueba eran eficaces v
de reinsercin no. Como ayuda para las decisiones previstas por la ad 8
nistracin del Estado, el consejo asesor estatal y el legislativo del
centramos nuestra evaluacin en las reas en las que ms se inverta
ms desconocidas, descubriendo que los centros de prueba eran menV
eficaces y los centros de reinsercin ms de lo que se pensaba. s
Esta informacin se tradujo en una reestructuracin de los centros d
prueba y en la aportacin suplementaria de un milln de dlares a la p a ! f
de reinsercin del programa estatal. En la evaluacin, se previ que los tres
grupos responsables tomaran decisiones respecto a una reorganizacin
reasignacin presupuestaria y financiacin bsica. A los tres grupos prnc
pales se les entregaron versiones diferentes de la informacin de evaluacin
preparndose una cuarta versin destinada al pblico en general. No se
recab informacin sobre los proyectos de investigacin (que se crean
ineficaces y se modificaban sin datos) ni sobre los programas de entrena
miento (sobre los que se dispona de otras inf ormaciones, como las clases
magistrales), como tampoco se trat informacin sobre las operaciones del
personal estatal, dado que no veamos cmo utilizar de forma razonable
esa informacin (House y cois., 1971).
Por supuesto, diversas preguntas surgen de inmediato. Por qu hade
darse tanta preferencia al responsable de las decisiones, que suele ser el
administrador del programa? Acaso esto no pone al evaluador al servicio
de la alta direccin, convirtindolo en el brazo armado de la direccin del
programa? No hace esto que la evaluacin sea en potencia desigual e,
incluso, antidemocrtica? La respuesta es que stas son debilidades poten
ciales del enfoque de decisin.
El terico de la decisin podra responder a estas crticas diciendo que
el responsable de las decisiones es el nico que, en realidad, puede modificar
las cosas, empleando de nuevo la idea bsica de la utilidad de la informacin.
A largo plazo, hemos de admitir que, aunque esta utilidad sea un criterio
importante de la evaluacin, no puede ser el nico. No querramos una
evaluacin til si fuese tambin incierta o desigual. La utilidad debe equili
brarse en relacin con otras consideraciones.
Como cuestin prctica, hay diversas formas de prevenir que los poderes
decisorios utilicen la evaluacin de manera poco tica. Una de ellas consiste
en definir de modo ms amplio los grupos decisorios. Otra es proteger a los
informadores de las represalias o acciones de las autoridades superiores.
An hay otra, consistente en proporcionar la misma informacin a grupos
que no formen parte de los crculos decisorios. No obstante, el probl ema
sigue siendo que la informacin proporcionada a los responsables de Jas
decisiones imprime a la evaluacin un fuerte sesgo a favor de la direccin.
No puede sorprender que este enfoque sea el ms popular entre los admi
nistradores.
Por ejemplo, en la Illinois Gifted Evaluation, los responsables superi ores
de las decisiones quedaron muy satisfechos de la evaluacin. No obst an -
podramos preguntarnos por los participantes en los programas y las persona
, g en ios distritos escolares. Quedaron bien reflejados sus intereses
i s ocupaciones? No ex iste una respuesta automtica a esta pregunta Es
i y examinar la evaluacin concreta y sus circunstancias. Pero la si-
I Pl'eCAn del evaluador, del brazo del responsable de las decisiones, siempre
I sBi l P perPlejs-
I otro conjunto de cuestiones surge cuando el evaluador trata de definir
I e deci si ones especficas a las que contribuir. Las decisiones no suelen
| laL esarse mediante alternativas claras y, de hecho, sucede a menudo que
1 f as decisi ones para las que se utiliza la evaluacin no surgen hasta despus
I de ef ect uada. Asimismo, las decisiones cambian de forma espectacular con
[ el tiempo. Con frecuencia, las que determinan la suerte de un programa no
I son las previ st as por el evaluador. En otras palabras, especificar y prever
I las deci si ones que dependan de la evaluacin es mucho ms difcil de lo
1 que parece.
[ por ejemplo, el enfoque de Gu t t e n t a g -Ed w ar d s utiliza un complejo
I procedimiento de escala para llegar a un conjunto de preferencias del res-
I ponsable de las decisiones, pero el procedimiento depende en gran medida
I de cmo definan las alternativas los evaluadores. En el sondeo de prefe-
I rencias slo se incluyen los responsables mximos de las decisiones. Po-
I dramos preguntarnos por qu hay que otorgar tal peso a las preferencias
I subjetivas del responsable de las decisiones. El enfoque de Pa t t o n restringe
I labsqueda del usuario ms probable de la informacin y se plantea cules
I son las preguntas correctas para ese usuario. (Los datos deberan reco-
I gerse de acuerdo con esas preguntas; para ellas debe haber ms de una
I respuesta; los responsables de las decisiones deben creer que las pueden
I emplear y deben poder especificar su forma de utilizacin.) Todos stos
I son criterios de utilidad.
A pesar de estas dificultades, el enfoque de decisin proporciona una
I valiosa visin de la evaluacin. Hace hincapi en la importancia de la uti-
I lidad de la informacin. Supone que se emplear la informacin de la
I evaluacin. La conexin entre la evaluacin y la decisin subraya el objetivo
1 de la primera. Tambin es til, desde el punto de vista prctico, configurar
! laevaluacin de acuerdo con consideraciones concretas de decisin. Aunque
i no podamos definir de manera precisa las alternativas de decisin, podemos
eliminar una serie de lneas de investigacin por carecer de relieve. Esta
i tarea constituye una disciplina beneficiosa para quienes la abordan desde
[ una perspectiva de investigacin. En otras palabras, el enfoque de decisin
| subestima la evaluacin como actividad prctica. El peligro estriba en con
vertirse en instrumento del responsable de la decisin.
Independencia de los objetivos del programa
El enfoque de independencia de los objetivos es uno de los que ms se
habla y menos se utiliza en la evaluacin de programas sociales. Su propsito
consiste en reducir los sesgos, sobre todo los que aparecen a causa del
.......................... - ............ ---------------------------------------------------I

conocimiento que el evaluador tenga sobre los objetivos del programa
su relacin con el personal que lo desarrolla. Es obvio que el sesgo an y
merced al contacto social. El evaluador debe comprobar todos los r e S rce
es habitual que este enfoque se utilice en programas sociales. 90
La primera dificultad consiste en la falta de una tecnologa especfin
. . . i _____ r ~ _ . U O . . t i j J o l o " n t n n A l A n n I ____ " C Q |
meruvu a i oui uawi w ------------------------- ) US ^ -v,
del programa y no slo los pretendidos por el personal que lo lleva a -
La Consumers Union evala con regularidad productos de consum '
[tener en cuenta los objetivos e intenciones del fabricante, sin embaro sit1
es. 9c
_J la evaluacin. En cierto sentido, la atencin a todos los resultados^
opone a un enfoque programado. Scr i ven considera al evaluador comnSe
cazador, un detective, un investigador armado con diversas tcnicas nUf1
no con una tecnologa de paso fijo, como la que ofrece el enfoque
objetivos conductuales. Pr
El autntico razonamiento empleado en la evaluacin que prescinde h
los objetivos del programa resulta un tanto extrao a los evaluadores En
mayora, estn entrenados en una lgica de medios a fines: He aqu ijf
objetivos. Se han cumplido? El razonamiento que prescinde de los objetivos
es ms pragmtico: He aqu el programa. Cules son sus efectos?" La
idea tradicional de objetividad de los evaluadores formados en las ciencias
sociales es cuantitativa. Para ellos, la objetividad significa emplear medidas
repetibles, o sea, que tengan una fiabilidad elevada. La idea de objetividad
cuando no se tienen en cuenta los objetivos, es cualitativa: independencia
de las diversas influencias que pueden sesgar el propio juicio.
Hasta cierto punto, Scr i ven ha tratado de responder a la demanda
de una metodologa construyendo listas de comprobacin de lo que ha de
cumplir un programa Los crticos replican que se limita a sustituir los objetivos
del programa por sus propios criterios, sus propios objetivos ocultos, cosa
que l niega. Para entender su razonamiento, conviene pensar en la eva
luacin de un producto fsico, como un coche. Para evaluarlo, pode
mos especificar las funciones que debe llevar a cabo y valorar el coche
de acuerdo con esas caractersticas. Debe ser barato, de bajo consumo de
combustible, sin demasiadas necesidades de reparacin, etctera. La com
probacin fsica de estas cualidades no tiene nada de arbitrario ni subjetivo,
y el evaluador no necesita conocer las intenciones del fabricante para
evaluar el coche. Podemos aplicar el mismo razonamiento a los programas
sociales. Sin embargo, acaso un programa social es igual que un producto
fsico? Pueden determinarse sus funciones sin referencia a las intenciones
del programa? En cierto modo s y en cierto modo no. (Hogben y Simpson,
1978, mantienen una postura que se opone a la de Sc r i v en y presenta
como alternativa la evaluacin basada en la teora.) , / l i p
Estas dificultades se reflejan en las evaluaciones concretas. Wel c h p
utiliz un tribunal externo para juzgar unos materiales didcticos elabor^
en un proyecto de desarrollo curricular. Los criterios utilizados *ueron ^tos,
de producto. El proyecto fue juzgado segn la calidad de sus pr fe
pero los creadores no estaban contentos con la evaluacin p q ^
reflejaba los procesos del mismo ni el progreso y desarrollo efec
SctonM Morata, S L
de losenfoques
217
rticipantes en el proyecto y por la institucin. Los cambios que se pro-
losP en el personal del centro y en los participantes que desarrollaron
mat er i al es no se reflejaban en la calidad de los productos. Tanto los
âlijadores como los participantes en el programa estaban en desacuerdo
6nn l a metodologa. No se tenan en cuenta los mltiples destinatarios de la
Valuacin ni la posibilidad de que algunos de ellos valoraran de forma
di sti nta los productos.
La segunda dificultad, aparte de la metodologa, est constituida por la
i nt eracci n social. Los resultados de los programas de accin social y, en
consecuenci a, su conducta, son muy ambiguos y estn sometidos a inter
pret aci ones m u y diversas. En la vida diaria, cuando tratamos de interpretar
y compr ender los actos ambiguos de otros caso habitual y necesario,
lo hacemos por medio del concepto de persona que subyace a esas accio
nes. Su p o n e m o s que existe una estructura estable que denominamos per
sona y esa estructura sirve de contexto para la interpretacin de las accio
nes. Sa b e m o s lo que significa un acto concreto porque lo interpretamos
como derivado de la persona que conocemos (Perel man y Ol br echt s-
Ty t e c a , 1 9 6 9 ) .
Una caracterstica primordial de la persona es su intencin. Interpretamos
un acto sobre todo a travs de las intenciones que suponemos tiene una
persona. El mismo acto puede estructurarse de forma diferente, segn sea
nuestra presuncin de esas intenciones. Los juicios morales se basan en
las intenciones y moralidad del agente, frente a la moralidad del acto. Co
mo las intenciones se suponen, slo podemos escuchar las expresadas por
el agente y observar los actos correspondientes. De hecho, algunos filsofos
creen que la ambigedad de la conducta, interpretada por necesidad de
acuerdo con la intenciones, es lo que distingue las ciencias humanas de las
ciencias naturales.
La importancia de la evaluacin que prescinde de los objetivos del
programa consiste en que: impide que el personal que participa en el
mismo manifieste sus intenciones a los evaluadores. Esto supone que los
evaluadores juzguen las acciones con independencia del contexto y de las
intenciones de la persona. Adems, el personal del programa desconoce
los intereses del evaluador, que es en todo momento un personaje enigm
tico. La ruptura de este contrato social tanto por parte del evaluador como
del personal del programa acaba con la posibilidad de la evaluacin. Slo
las personalidades ms seguras pueden aguantar esta tensin.
As, aunque el argumento a favor de la evaluacin que prescinde de los
objetivos del programa pueda tener sentido, el evaluador tiene ante si una
metodologa desconocida y una situacin de valoracin ambigua, y los
evaluados se enfrentan a la perspectiva de una evaluacin no amistosa a
cargo de un extrao con quien no pueden comunicarse. Pocas evaluaciones
independientes de los objetivos del programa que se evala se han llevado
a cabo. Es significativo que en la nica que yo he realizado, la persona que
contrat la evaluacin y la puso en marcha desde dentro era un buen
amigo mo con quien haba trabajado durante aos. An asi, yo estaba
&con*s Monto. S. L.
preocupado sobre cmo proceder y el personal que participaba en el pron, 1
m se mostraba inquieto por mi desconocimiento de sus intenciones 1
Teniendo en cuenta todos los aspectos, no se equivoca Sc r iven rosne 1
al sesgo que supone estar informado sobre las intenciones del programa c 1
sesgo es ms profundo de lo que parece. Sin embargo, puede qu!' f1 1
confraternizacin sea necesaria, desde el punto de vista social, para Ql 9 i
una evaluacin pueda siquiera llevarse a cabo. Mis tentativas posterior 1
de realizar evaluaciones independientes de los objetivos han sido rechazad i
por los posibles clientes. ^ as I
Antes de que puedan llevarse a cabo evaluaciones independientes d i
los objetivos de los programas que evaluar, han de cumplirse ciertas con? i
ciones. 0 bien se establece de antemano una relacin de confianza o la 1
relaciones de autoridad son tales que el personal del programa no puedp 1
impedir la evaluacin. Esto puede ocurrir si los evaluadores y el personal 1
del programa permanecen alejados entre s, como la Consumers Union v 1
General Motors; o si ambos estn sometidos a una autoridad superior En i
otro caso, las tcticas dirigidas a establecer unas relaciones de confianza 1
pueden llevar consigo la utilizacin de otros enfoques junto con la evaluacin 1
independiente de los objetivos. En este libro, la evaluacin se estructura 1
como proceso social y la evaluacin independiente de los objetivos pone 1
demanifiesto hasta qu punto es cierto.
Crtica de arte
Merece la pena considerar en serio este enfoque como forma de eva
luacin. La idea bsica es atrevida e imaginativa. Hacen falta otros mtodos
de evaluacin que complementen la evaluacin cientfica de los programas
sociales, y las largas tradiciones crticas que han favorecido las artes parecen
constituir un rico manantial de ideas. Sin embargo, las dificultades que se
plantean para el establecimiento de la crtica educativa como forma legtima
de evaluacin son formidables.
Sus virtudes consisten en que el evaluador puede basarse en su propia
experiencia y en su razonamiento intuitivo para j uzgar lo que ocurre y
manifestar estos juicios en un lenguaje y con unos conceptos inteligibles
para los no versados. Las dificultades se plantean a la hora de justificar
estos juicios y controlar los posibles sesgos que surjan en la evaluacin.
Segn la concepcin de Eisner (1979), la crtica incrementar la con
ciencia y la apreciacin y consta de tres aspectos: descriptivo, i nterpretativo
y evaluativo. En el primero, se da cuenta de las cualidades pertinentes o
lavida educativa. En el segundo, se explican los hechos y sus cons
1 Este apartado se basa en Ernest R. House y Rochelle S. Mayer: A Cri tiqu of
Educational Imagination in Evaluation: J ournal of Aesthetic Education, julio, 1980. -
Ediciones Morata. S. L
.............................. ......................... B
I crl^^
or medio de las teoras de las ciencias sociales. En el tercero, se
I cU0nCaios procesos educativos de acuerdo con criterios educativos. Este
I ^di sti ngue, segn Eisner , al crtico del cientfico social.
I uri osa l a mezcl a de concept os y teoras de las ciencias sociales en
ma crt i ca de eval uaci n. Es fcil darse cuenta de cmo puede el
I lan exponer el ambi ent e de cl ase mediante categoras artsticas, as
cr!o eval uarl o, pero l a f orma de i ntroducir los conceptos de las ciencias
I nales const i t uye un aut nt i co rompecabezas. Los ejemplos de critica
I S5ucativa que bri nda el l i bro de Ei s ner no sirven al efecto porque las
I ategoras eval uat i vas son muy personal es en vez de cientficas.
I l o s dos procedimientos para determinar la validez son: la medida en
I nue la crt i ca configura una totalidad coherente y persuasiva y la compro-
I pacin empr i ca de la crtica respecto al fenmeno. Otra idea interesante
I -l a autntica cuestin no consiste en que sea verdadera, sino tils-
I ibqueda apuntada, pero no se estudia. No es difcil imaginar una crtica
I til que no cumpla criterio alguno de validez. Teniendo en cuenta todos
I los aspect os, la discusin de la validez es incompleta y debe revisarse. No
I obstante, para hacer justicia a Ei sner , hay que decir que la validez constituye
I un probl ema primordial en todos los enfoques de evaluacin.
Ei s n er reconoce las limitaciones de la analoga entre la crtica de arte
I y la evaluacin cuando indica que podemos examinar una escultura o
I una pintura para ver lo que ve el crtico, dado que la obra de arte no cambia
i con el tiempo. Sin embargo, una clase s cambia. La conclusin de Ei sner
I es que sta no cambiar en cuanto a sus caractersticas clave. Quiz la
postura del evaluador fuese algo distinta si el paradigma artstico utilizado
I fuera el teatro, la msica o la literatura en vez de las artes visuales.
Hay tambin una diferencia entre la evaluacin de un aula y lo que
suele hacer un evaluador. Por regla general, ste valora un programa com
pleto en vez de una nica clase. Quiz hubiera que establecer la analoga
I con la revisin de una exposicin de arte en vez de con una nica pintura.
Adems, a pesar del argumento de Ei s n er sobre la estabilidad de la clase
(cuestin en la que est en lo cierto), el evaluador de programas se ocupa
ms de los cambios que de la estabilidad.
La cuestin de la validez nos lleva a preguntas ms profundas de la
evaluacin. Qu criterios emplea el evaluador? En qu valores se fundan?
Cmo se justifican? E i s n e r sostiene que el evaluador-crtico debe aplicar
criterios educativos, pero no especifica en qu consisten. Indica que los
criterios provienen de un examen de la historia y la filosofa de la educacin,
as como de la experiencia prctica. l plantea dos preguntas: se ayuda a
los nios?, adquieren hbitos que conduzcan a posteriores desarrollos?
Son, en efecto, dos buenas preguntas y las respuestas dependern en gran
medida de la propia teora de la educacin y de las preferencias personales.
Ei sner aborda el problema de forma directa: Sin una visin de lo que sea
fa educacin, nadie est en condiciones de hacer juicios sobre la calidad
educativa del proceso de enseanza o de sus consecuencias (Ei s ner ,
EcKckxws Morata. S l .
2 --------------- ----------------------------------------------
1979, pg. 44). Es evidente que el mismo Ei s n er piensa en la educa
como desarrollo (Ko h l ber g y Ma y er , 1972). acin
Qu ocurre con quienes no tienen una visin semejante de la edi
cin? Estarn sometidos a los valores del evaluador? En cuanto crtir
experto, tiene el evaluador autoridad para emitir juicios basndose en y
dominio de la cuestin? Si es as, pone de manifiesto los fundamentos ?
sus juicios de valor? Ei s n er se muestra ambivalente respecto a estos d
blemas, pero su resolucin es fundamental en relacin con la forma *
actuar del crtico. En nuestra propia evaluacin, parece que resultam
personalmente crebles a los administradores del programa, tras unas hofS
de entrevista. Acaso el patrocinador tenga que encontrar un crtico com
patible? Y qu ocurre con las personas evaluadas?
Los tres ejemplos de crtica educativa que aparecen en el libro de
Eisner nos invitan a detenernos en ellos. Los llevan a cabo sus alumnos v
revisten un carcter marcadamente judicial. El primero comienza de este
modo: ' ' ]
Esta dase es casi una caricatura de la sociedad
El currculumest servido como los Big Macs. Lectura, matemticas, lengua
incluso laeducacin fsica y afectiva estn precocinadas, preenvasadas, con
sabor artificial. ' 1
(Pg. 229.)
El segundo ejemplo asume la forma narrativa en primera persona de un
alumno de elemental, pero la narracin est muy marcada por los valores
del crtico. El tercero llega a la conclusin de que el profesor va a abando
nar la enseanza a causa de las presiones ejercidas por los padres respecto
a la estructura del curriculum, aunque no queda claro si se han estudiado
explicaciones alternativas. Los tres ejemplos proponen los intereses de los
estudiantes en contra de los presuntos valores de eficiencia de los padres y
de la sociedad.
No es raro que un crtico de arte presente puntos de vista controvertidos
(el lector puede optar por dejarlos de lado). De hecho, el lector puede
escoger slo las crticas con las que est de acuerdo. Sin embargo, una
evaluacin pblica de un programa educativo no puede desestimarse con
tanta facilidad. Es preciso justificar de alguna manera al crtico, los principios
de ste o la crtica misma. Las exigencias de equidad y justicia son ms
rigurosas en la evaluacin de programas pblicos.
El problema final del enfoque crtico de la evaluacin es el siguiente,
quin es el destinatario de la crtica? Leemos la crtica de una exposicin
o de una obra para decidir si vamos a verla o no. Leemos la crtica de una
obra de arte para aumentar nuestros conocimientos y apreciaciones. En
caso que nos ocupa, de quin es la apreciacin que se mej ora-
respuesta directa de Eisner consiste en que la crtica se dirige a los Pr
sores a quienes puede resultarles til ese feedback sobre su ejer
0nfoques_
islo obstante, los ejemplos que propone suscitan dudas respecto a
* e tipo de crticas resulte aceptable a los profesores. Por supuesto, las
que eS efectuadas para su presentacin en tesis doctorales pueden diferir
criticablemente de las llevadas a cabo en situaciones reales de eva-
|apresumen, la idea de la evaluacin como crtica es fructfera y merece
se estudie y, en potencia, es importante. El libro de Eisner constituye el
qUnto de partida lgico de tal ejercicio. Desde un punto de vista prctico,
Postra propia crtica educativa se desarroll bien. Aunque haya que tratar
on mayor detenimiento las difciles cuestiones relativas a la validez, los
val ores y la justificacin, no son insuperables. Habr que ir ms all de es
tas formulaciones iniciales.
Revisin profesional
A medida que se profesionalizan ms ocupaciones laborales, los proce-
| dimientos de revisin cobran mayor importancia. En el seno de las profesio-
[ nes se mantiene la idea de que slo quienes pertenecen a la misma estn
[ cualificados para juzgar las actividades de sus iguales. Fuera de cada una
| de ellas, casi nadie est de acuerdo con tal afirmacin, aunque s se defienda
respecto de la propia.
Desde hace algn tiempo, se observa en el pblico en general la ten
dencia a negar a los profesionales el derecho a controlar sus propios
asuntos. Los usuarios demandan un puesto en los consejos directivos de
los centros de salud, en los consejos asesores y en los rganos de direccin
de las escuelas. Existe la creencia de que los profesionales no vigilan sus
propias operaciones con suficiente atencin. Suele creerse que los mdicos
ni se oponen en privado ni testifican en pblico contra otros mdicos.
La desconfianza pblica ante las evaluaciones controladas por los propios
profesionales se refleja en la disminucin de la credibilidad de los organismos
encargados de la acreditacin profesional. En otras pocas, bastaba que
una institucin recibiera la correspondiente acreditacin del organismo com
petente para que el pblico considerase garantizada su calidad, pero ya no.
Los padres no siempre estn convencidos de que el programa escolar sea
de gran calidad porque est reconocido por la North Central Association.
Adems, el control poltico de las actividades de reconocimiento y acreditacin
va pasando a manos de los gobiernos estatales. Las revisiones no profesio
nales, como las de Na d er , son cada vez ms frecuentes, aunque presenten
sus propios problemas.
En efecto, el pblico tiene razn cuando cuestiona algunos procedimientos
de evaluacin. Las visitas de los equipos de revisin para la concesin de
la acreditacin son muy variables y su rigor depende de los miembros del
equipo. Con frecuencia, son escogidos por la institucin que va a ser eva
luada. Los propios organismos consideran a veces la visita como una intru
sin no deseada e incluso ilegtima en sus asuntos y, en ocasiones, utilizan
<> Ediciones Morsta. S l .
S H _________________________ ._____ :_____
la situacin con fines de relaciones pblicas ms que como una n
dad de efectuar una autntica revisin interna. Si la evaluacin no* M*
en serio, el organismo acreditador tendr muy poco poder sobro 8 Sa
tucin. ^8tf*;
Por otra parte, a consecuencia de la presin pblica a favo
rendicin de cuentas, est aumentando el nmero de revisiones profes de 19
Muchos departamentos estatales de educacin y organismos estataâl6Si
educacin superior estn llevando a cabo sus propias visitas de insn
en vez de dejarlas en manos de instituciones privadas. Aunque los DrnCCn
mientos de revisin suelen ser semejantes a los de instituciones Driv '
de acreditacin, la amenaza de la desaprobacin oficial y |a consnn?da8
Proced.
w Piadas
consiQuiaw
supresin de ayudas financieras se toman ms en serio.
Otro ejemplo es la popularidad de los sistemas de revisin profesi
interna en las universidades y centros de enseanza superior. Las unive^1
dadessiempre han evaluado a los individuos a efectos de promocin ode
__
marcha para soslayar la intervencin directa de los organismos de la en
ejercicio, pero los nuevos sistemas evalan programas, departamentos
unidades administrativas. Muchos sistemas de este tipo se pusieron
seanza superior, as como para tomar decisiones internas y reasiqna*
fondos en tiempos difciles. La actitud generalizada consiste en pensar que !
es mejor que la misma institucin efecte eval uaciones de sus unidades v I
no que las lleve a cabo un organismo externo. Muchas autoridades de la
enseanza superior utilizan procedimientos de revisin profesional. j
No obstante, podemos suponer que los criterios utilizados por los profe
sionales en el seno de una institucin diferirn sustancialmente de los
empleados por organismos pblicos de supervisin, como los de la educacin
superior. A veces, se cuestionan tanto el contenido como el rigor de la eva-
luacin. Por ejemplo, el Council on Program Evaluation (COPE) de la Univer
sidad de Illinois, en la que permanec durante tres aos, utilizaba como
criterios para evaluar los departamentos la calidad de los programas de
enseanza, la investigacin, el sen/ icio, la cooperacin con otras unidades,
el valor respecto al Estado y la sociedad y las previsiones futuras.
Sin embargo, en las deliberaciones concretas del Council la calidad de
la investigacin, puesta de manifiesto en las clasif icaciones nacionales y
similares, sola primar sobre los dems criterios cuando se evaluaba un de
partamento de la universidad. Sospecho que esto mismo sucedera en
todas las principales universidades de investigacin. Aunque se tuviesen
en cuenta los indicadores de los dems criterios, nada poda compensar un
programa endeble de investigacin y nada se opondra a uno importante,
desde el punto de vista del Council. p
Podramos pensar que un organismo estatal de supervisin de enseanza
superior, ai ser responsable de la asignacin de f ondos a las universidad
estatales, estara relativamente ms interesado por los costes y la producci
de crditos que por la calidad de la investigacin. Aunque ambos grup
utilizaran los mismos criterios, los pesos relativos a ellos asignados difer
de modo espectacular en los juicios finales. No es difcil imaginar cmo
$ Ediciones Morata R I
c se consideraran a s mismos como los mejores jueces de la
n(ofeSr?te los departamentos, mientras que el organismo supervisor se
ari a garante de los intereses pblicos.
cnSdMso ent re los profesores existen grandes discrepancias respecto a
1 debe y puede emitir juicios. En el mbito de actuacin del COPE,
qrn departamentos, como el de fsica, pensaban que los profesores
^Pertenecan a otros distintos carecan de competencia para juzgar el
#e ^ Acunas de las ms duras batallas polticas se libraron en relacin
s^y0: competencia del Council para juzgar a otros departamentos. Los
of ensores de los procedimientos del COPE sostenan que se trataba de
tividades, criterios y competencias comunes a todos los profesores en
a nto t al es. Aunque las personas no pertenecientes a un departamento
udieran no estar capacitadas para juzgar el contenido de la investigacin,
H membros del Council tenan competencia para juzgar cmo consideraban
lacalidad de la investigacin otros profesores de fsica de diversas partes
del pas. Tambin eran competentes, como docentes, para juzgar la calidad
de la enseanza, etctera. La evaluacin interdisciplinar de los departamentos
sigui adelante, aunque se llevara a cabo a veces tras largas y extensas
negoci aci ones, y por la insistencia en ello de la administracin superior de
launi versi dad.
En la realizacin de revisiones profesionales, tienen gran importancia
los procedimientos concretos que se utilicen. Por su medio, se determina si
laevaluacin es equitativa. Por ejemplo, en los primeros tiempos del sistema
del COPE, se revisaron docenas de departamentos sin que se hicieran
recomendaciones relativas a la disolucin de ninguna unidad. De repente
- o as les pareci a los afectados, el Council recomend la eliminacin
del College of Communication, asignando algunos de sus componentes a
unidades distintas y disolviendo otras.
Esta accin despert un enorme furor. El rector recibi ms correspon
dencia que en ninguna otra ocasin desde que se elimin la separacin de
sexos en la residencia universitaria. Durante el perodo de matricula, quie
nes se oponan a la medida recogieron diez mil firmas de estudiantes en
contra de la misma. Lo que una a los opositores no era tanto el fondo del
informe de evaluacin como el tratamiento injusto deparado a la unidad en
cuestin. Otras unidades haban recibido con anterioridad informes negativos,
pero niguna haba sido amenazada de disolucin. No haba precedentes ni
advertencias al respecto, ni tampoco se le haba dado oportunidad a la
unidad amenazada para defenderse antes de efectuarse la recomendacin.
Tanto en el enfoque de revisin profesional como en el cuasijudicial de la
evaluacin, las bases de la equidad vienen dadas por el procedimiento
adecuado y el proceso debido. El College of Communication an sigue all.
La confidencialidad plantea otro problema. Para infundir confianza e
'^formar pblicamente, debe emitirse un comunicado pblico tambin. Sin
embargo, los profesionales son reacios a que sus actividades salgan por
completo a la luz pblica. Por regla general, como en el caso del COPE, se
redactan dos informes, uno interno, de carcter confidencial, en el que
Evaluacin. h~
se ponen de manifiesto las miserias y defectos el informe real>y
pblico, maquillado" de alguna manera. Parece que esta duplicidad
informes es necesaria para la cooperacin profesional, pero es obvio qu
hace que el pblico desconfe. i H6
El sistema de evaluacin de una universidad del oeste, que evaluah
los departamentos y publicaba los informes correspondientes de forma I I
mejante a un peridico estudiantil, pone de relieve este aspecto de maner'
espectacular. Era previsible que este sistema crease un malestar considerable
entre los profesores. Lleg el momento de elegir un nuevo rector de dicha
universidad. El principal tema de discusin durante las entrevistas de m
profesores con los candidatos a rector consisti en las actitudes de los mis
mos respecto al sistema de evaluacin. El mtodo desapareci. Por req|a'
general, tanto en el plano profesional como en el personal, aceptamos la cr
tica pblica denosostros mismos mucho menos de lo que pensamos.
Cuasijudicial
La fuerza del enfoque cuasijudicial de la evaluacin reside en que incorpo
ra los mecanismos y la autoridad de la ley. Su debilidad est en que tam-
bin hace suyos algunos de sus inconvenientes. En cierto sentido, la
correspondencia entre los procedimientos judiciales reales y los cuasijdi- J
ciales no es buena. Por ejemplo, no existe cuerpo legal que permita decidir I
en terrenos como el educativo. Sin embargo, los procedimientos cuasijudi- j
ciales han demostrado su valor para dilucidar cuestiones pblicas contro- I
vertidas.
Los procedimientos cuasijudiciales de evaluacin estn constituidos por j
los tribunales de expertos en los certmenes, la mayor parte de los proced- I
mientos de audiencia y los simulacros de juicios. Una importantsima ventaja 1
consiste en que los problemas pblicos candentes pueden tratarse con i
rapidez mediante el nombramiento de una comisin o tribunal. Las personas I
involucradas en el asunto de forma ms significativa pueden ser llamadas a I
declarar y presentar sus puntos de vista. La participacin puede ser muy 1
amplia, incluyendo grupos que quedaran excluidos en la mayora de los 1
dems enfoques. Un atractivo fundamental del cuasijudicial es su potencial
apertura a opiniones diversas.
Por ejemplo, en el tribunal de audiencia patrocinado por la National
Education Association para evaluar el Michigan Accountability System, de
clararon ms de veinte grupos, desde la League of Women Voters hasta la
asociacin de profesores de artes. Para tomar declaracin se siguieron
procedimientos acordados de antemano (Ho u s e y cois., 1974). La audiencia
adopt las formas de los procedimientos judiciales: el tribunal se acomoda
ba tras una mesa frente a los testigos, las declaraciones se grababan e
cinta magnetofnica, los documentos escritos se anotaban y clasificaba
etctera. En estas audiencias, los smbolos desempean un papel no o
preciable.
$ Ediciones Morata, 8. L
ios enf oque!.--------------------------------------------------------- ---------------------------------------------_ J 5
elemento crtico es la constitucin de la comisin, tribunal o jurado.

0tr aso de Michigan, el tribunal estaba compuesto por tres conocidos
, aCj0res. Sin embargo, estos componentes del tribunal fueron eleg-
or la N a t i o n a l Education Association, que, en cierto sentido, era parte
dSe| caso. En la investigacin sobre evaluacin de tests de la Florida
e moetency (Ty l e r y cois., 1978), se sigui un procedimiento de selec-
semejante. En ambos casos, se suscit el problema de la credibili-
a d La identidad del tribunal y sus procedimientos se equilibra con el modo
aq seleccionarlo y lo que pueda suponer de ganancia o prdida, es decir,
enestos temas, su imparcialidad. La cuestin de la imparcialidad no tiene
ue ver con que los miembros del tribunal hayan expresado opiniones
previas sobre cuestiones similares. Si son expertos, seguro que lo habrn
echo. El problema estriba en si sus propios intereses entrn en juego y en
cmo est constituido el tribunal en su totalidad. En los juicios simulados,
los j urados han estado constituidos hasta ahora por profesionales que, de
algn modo, participan con el pblico.
Al gunos evaluadores (Po p h am y Car l s o n , 1977) han criticado mu
cho los mismos juicios simulados, o procedimientos contradictorios, como
se los denomi na a veces. La evaluacin contradictoria se basa en la idea
de que dos defensores presenten las versiones opuestas sobre la cuestin.
Los crt i cos achacan que es muy raro que ambos defensores tengan igual
habilidad, por lo que el caso lo ganarn los ms dotados, con independencia
de los mritos intrnsecos de cada opcin.
Otra crtica se refiere a que los jueces son falibles en extremo. Sin
embargo, en educacin y en otros campos sociales, no existen tribunales
de apelacin que puedan corregir los errores de procedimiento. Una tercera
crtica alude a que el modelo contradictorio no es eficaz para esclarecer la
verdad respecto a una cuestin. Aunque pueda resolver conflictos, su po
tencial ilustrador es limitado. Ramsey Clark, antiguo fiscal general, lo dijo
con la mxima claridad: Si hay algn procedimiento peor para llegar a la
verdad, no s cul es.
Otra crtica se refiere a que los problemas sociales no permiten el tipo
de formulaciones de s o no que requiere el modelo judicial. Los problemas
son demasiado complejos y suponen gradaciones ms matizadas de los
juicios. Asimismo, responsables de decisiones poco escrupulosos pueden
hacer uso del enfoque para confirmar y justificar lo que ya hubieran decidido.
Pueden dejarse persuadir por los argumentos de menor peso en un juicio
simulado. Por ltimo, los crticos dicen que los procedimientos contradictorios
son extremadamente caros, exigiendo a menudo los gastos correspondientes
a la recogida de datos y al juicio.
En defensa de los procedimientos contradictorios (recordando que no
todos los enfoques cuasijudiciales son de carcter contradictorio), Th u r s t o n
(1978) dice que el juicio con jurado tiene tres ventajas principales: la publi
cidad del juicio pone de manifiesto el problema de que se trate; al menos,
pueden defenderse dos aspectos de un problema, y puede presentarse
cualquier tipo de prueba, debiendo hacerse de manera comprensible. Dice
Ediciones Mcnata. S . L
Evaluacin, f caypp(te|
Thurston que se ha exagerado la diferencia de habilidades de los conten.
dientes y la falibilidad de los jueces. En todo caso, cualquier evaluador qUe
utilce algn enfoque es falible. Tambin pueden utilizarse mal otros puntos
de vsta y costar demasiado. Adems, los mtodos estadsticos de evaluacin
no son ms adecuados para llegar a la verdad que los enfoques contra,
dicterios.
Afirma Thur st on que, en los procedimientos contradictorios la definicin
de los problemas y la utilizacin del jurado constituyen problemas ms
graves. En terrenos sociales, como la educacin, no hay tradiciones ni
precedentes de contextualizacin de problemas ni hay acuerdo sobre las
normas, como ocurre con las jurdicas. En un caso judicial concreto, los
abogados conocen las normas. Sin embargo, ante los tribunales de justicia
no todas las cuestiones son blancas o negras. Pueden ser ms complejas
Segn Thur st on, otro dilema importante radica en el carcter y pape
del jurado. Los jurados educativos pueden desenvolverse mejor si sus miem
bros son individuos que dominan el tema y se les permite deliberar sobre
pruebas ajenas al juicio, prcticas que las normas judiciales no permiten.
Tenindolo todo en cuenta, desde su punto de vista como jurista e investi
gador educativo a la vez, Thur st o n reconoce ciertas dificultades de los
procedimientos contradictorios, pero manifiesta que pueden paliarse si se
toman como modelos los tribunales de apelacin o los procedimientos
administrativos en vez de los ms conocidos juicios ante los tribunales de
justicia.
En resumen, podemos decir que los procedimientos cuasijudiciales, como
las audiencias y tribunales, constituyen formas tiles de efectuar evaluaciones,
dependiendo de la naturaleza del problema de que se trate. Las cuestiones
pblicas controvertidas que deben tratarse con rapidez y que requieren el
juicio entre diversas opciones reclaman la actuacin de tribunales constituidos
por personas, que sean o no profesionales, que escuchen a todas las
partes antes de resolver la cuestin (en la medida en que una controver
sia de este tipo pueda resolverse). La actuacin de estos tribunales es
rpida y da una sensacin de atencin y de resolucin. Por supuesto, como
los miembros de los tribunales suelen escogerse entre personas de renombre
en el asunto de que se trate, las conclusiones suelen reflejar la postura del
estamento dirigente.
Por ejemplo, el jurado que evalu el Michigan Accountability System
suscit un inters considerable y atrajo la atencin pblica sobre las carac
tersticas de ese sistema. Como consecuencia de las audiencias pblicas y
de la amplia difusin del informe del jurado, se modificaron diversas carac
tersticas del sistema de Michigan. Asimismo, otros muchos estados que
estudiaban programas similares, revisaron en consecuencia sus propios
planes. Los resultados de la evaluacin del tribunal recibieron el apoyo a
lamisma comunidad profesional de evaluadores. Por tanto, las repercusi n
de dichas audiencias, sobre el pblico en general y sobre el estamos
profesional, fueron muy grandes. Es probable que ningn otro enf oque
btese suscitado tanta publicidad ni inters.
# JrtOMI Eforata. I . L_______________________________________________________________
T
por otra parte, la eficacia de los juicios de este tipo se presenta como
s cuestionable. Parece que adolecen de graves problemas, aunque quiz
tantos como afirman muchos crticos. Es probable que los juicios a gran
nscala sean relativamente caros y exijan una preparacin larga, aunque k)
mismo ocurre con otras evaluaciones. Los juicios (y dems procedimientos
cuasi j udci al es) permiten la participacin abierta de todos los individuos del
pblico. Si n embargo, no hay garanta de que se participe, aunque se d la
I ocasin para ello. Muchos procedimientos de este tipo se desarrollan para
grupos reducidos de destinatarios. Quiz los juicios a gran escala debieran
limitarse an a casos deliberadamente experimentales. De momento, parecen
I [ ms ef i ci ent es otros procedimientos cuasijudiciales.
I -----------------------------------------------------------------=
Estudio de casos
El enfoque del estudio de casos se est haciendo cada vez ms popular,
aunque, como los dems enfoques subjetivos, es difcil establecer su credi
bilidad en una comunidad predominantemente cientfica. Algunos tericos
dicen que, en realidad, es cientfico, pero los estudiosos de casos ms
serios niegan que dos trabajos distintos lleguen a descubrir lo mismo.
Por ejemplo, en un estudio de casos de un sistema de enseanza
basado en ordenador, Gj er d e y yo hicimos hincapi en las caractersticas
tcnicas y polticas (Ho u s e , 1974). No cabe duda de que esas peculiaridades
estaban presentes, pero unos evaluadores distintos podran haber seleccio
nado otras igualmente pertinentes, dando al estudio de casos una perspectiva
muy diferente. La mayora de los problemas en relacin con el estudio de
casos se refiere ms a la importancia que se otorgue a unas u otras cues
tiones que a la verdad o falsedad de algo. Distintos observadores referirn
hechos diferentes. Aunque estas cuestiones se hayan discutido a menu
do, los principales problemas que ataen a la credibilidad de los estudios
de casos son los relativos a la consistencia metodolgica y a la interpre
tacin.
En su haber, el estudio de casos proporciona informacin rica y persua
siva que no facilitan otros enfoques. Pueden reflejarse todos los aspectos,
desde las personalidades de los participantes hasta las perspectivas de
otros sujetos muy alejados del programa. Esto confiere fuerza y utilidad a la
informacin. Nuestro estudio de casos pas con toda rapidez de mano en
mano de los administradores de la oficina central, tomndose decisiones
acerca de los sistemas de enseanza basados en los ordenadores.
La presentacin de los hechos de manera tan personal suscita tambin
problemas de confidencialidad, equidad y justicia. Es difcil desdibujar a
individuos y personalidades de forma que sea imposible su identificacin.
Como nunca llegamos a tener una imagen completa de los participantes,
tambin es difcil representarlos con exactitud. Todo estudio de casos plantea
esos problemas, que nunca son tan graves en formas de evaluacin ms
impersonales.
> 6v1k xyw <s Mo n Ml S . L
Un aspecto muy positivo del estudio de casos consiste en que permt.
la ^presentacin de distintos puntos de vis a y de intereses diferentes,
ib sentido puede que sea uno de los enfoques ms democrticos Do
Adiendo d la destreza y del esfuerzo del evaluador, la evaluacin pUe^
ser extremadamente democrtica en cuanto a la representacin de \Ql
intereses de las partes implicadas, en contraste con el enfoque del anlisis
desistemas, que tiende a excluir los distintos puntos de vista e intereses. Si
llevamos a cabo un trabajo razonablemente decente para localizar y entre
vistar a los diversos grupos que participan en un programa, se reflejar la'
mayor parte de los intereses. Como he sealado en otro lugar de este libro
quienes con mayor frecuencia quedarn fuera de este enfoque pluralista
sernlos menos favorecidos y menos poderosos. Por supuesto, el evaluador
puedeexcluir distintos intereses. El enfoque del anlisis de sistemas exige
unesfuerzo deliberado para no hacerlo as.
Larepresentacin de la diversidad de intereses conduce a otro formidable
problema: cmo puede el evaluador equilibrar y resolver la divergencia de
intereses? Los tericos del estudio de casos no se ponen de acuerdo al
respecto. Unos creen que los evaluadores deben equilibrar los intereses de
acuerdo con su propio sentido de justicia. En particular, los antroplogos
tienenuna larga tradicin de hacerse indgenas, de situarse entre los
desheredados. Sin embargo, esto hace que se cuestione la imparcialidad
dela evaluacin. Por regla general, los evaluadores no apelan a principios,
sinoque se basan en sus juicios intuitivos.
Otra postura sostiene que el evaluador debe permanecer al margen de
los intereses. No debe favorecer ningn inters concreto en la evaluacin,
sino tratar todos por igual. Desde este punto de vista, el evaluador representa
y refleja con neutralidad, dejando que el lector sopese y equilibre los diversos
intereses a su juicio. El evaluador no lo hace. Un exponente cualificado de
esta postura dira que la informacin contenida en el estudio de casos debe
ser de igual utilidad para todos los intereses. Un acceso igual al conocimiento
dar a los destinatarios iguales oportunidades para influir en la prctica
educativa En consecuencia, el evaluador debe ser neutral, de oficio, con
respecto a los distintos destinatarios (El l i o t t , 1979). No obstante, esto supone
que las personas pueden hacer uso real de la informacin. Podra razonar
se que los ms poderosos tienen ms probabilidades de hacerlo que
los que ostentan menos poder. En otras palabras, esta postura neutraliza al
evaluador, pero no las relaciones de poder vigentes. En la prctica, el
desinters favorece al poderoso.
Una cuestin relacionada con la anterior es si el evaluador debe plantear
recomendaciones explcitas a partir del estudio o si esto debe dejrsele a
ector, o sea, si el evaluador debe sacar conclusiones por su cuenta. M
parece que ambas posturas son aceptables y que la opcin depender o
los destinatarios. Es cierto, como afirman quienes sostienen esta post
Que el evaluador quiz no conozca bastante las circunstancias del pr9ra
para poder extraer conclusiones acertadas. Slo en el caso de que
alternativas evaluadas sean idnticas a las recomendaciones comprenoe
_________ ______________
$ frfcwwMorata.fi i
He los enfoquf!____________________________________________ ._________________ 73

i -----------
te el evaluador las circunstancias concretas. Por otra parte, no creo
I j recomendaciones del evaluador intimiden a los lectores s no son
I vida moderna, se dan muchas circunstancias en las que estaramos
s dispuestos a leer y aceptar las recomendaciones que a leer toda la
aluacin y extraer nuestras propias recomendaciones. Por ejemplo, yo
6stoy dispuesto a aceptar los consejos de la Consumers Union sobre
I muchos productos de consumo sin leer todas las evaluaciones de batidoras
I e|ctricas o de aparatos de radio de onda corta. Si tuviramos que leer
I cada evaluacin en la que se funda cada una de las recomendaciones
I sobre cuya base actuamos en la vida moderna, emplearamos en ello de-
I rnasiado tiempo, an en el caso de que pudiramos comprender la evalua-
I cin y extraer nuestras propias recomendaciones. Obligar al lector a que
[ saque sus propias conclusiones y recomendaciones en cada una de las
I reas en las que tiene que actuar es una idea interesante y democrtica,
I pero muy poco prctica si la aplicamos a todos los campos especializados
I de la sociedad moderna. En sta, parece inevitable cierta especializacin a
I la hora de decidir. Me parece que el estudio de casos debe presentar al
i lector la informacin que le permita juzgar el fundamento de las conclusiones
y recomendaciones, si desea hacerlo.
En relacin con esta cuestin est la afirmacin que la mayora de sus
I exponentes hacen respecto de los estudios de casos. Afirman que stos
I son ms tiles que otros tipos de evaluacin. Y creo que, en cuanto al ti
po de informacin que proporciona un estudio de casos, la cual nos permite
conocer mejor las interioridades de un programa, algo tiene de verdad.
Pero la afirmacin de que los estudios de casos son ms tiles en todas las
situaciones es muy exagerada. Dichos estudios siempre son largos y estn
muy inmersos en la situacin correspondiente. El lector no tiene tiempo de
leer un estudio para preparar cada decisin. Es preciso aceptar ciertas
transacciones en aras de la eficiencia; y la creencia de que los estudios de
casos son ms tiles, por regla general, es ms un artculo de fe que un
hecho emprico.
Otro problema: no todo el mundo puede dedicarse a hacer estudios de
casos. Su redaccin constituye una tarea difcil y slo algunas personas
tienen el talento suficiente para hacerla. Parece fcil, igual que parece fcil
escribir una novela, y muchos estn tentados de emprenderlos cuando no
les atraen otros enfoques. Por desgracia, la falta de orientaciones, crticas y
procedimientos conducen a menudo a un trabajo de baja calidad. Y un
estudio de casos malo es, en efecto, malo. La capacidad de centrarse en
las cuestiones pertinentes y de ponerlas en perspectiva de modo que no
sea una exposicin escrita de las opiniones personales no son cualidades
universales. Quienes se dedican a hacer estudios de casos necesitan una
Preparacin ms rigurosa de la que ahora reciben. Por supuesto, otros
enfoques tambin son susceptibles de aplicaciones de mala calidad,
A pesar de estas advertencias y reservas, el enfoque del estudio de
casos es uno de los ms prometedores y dignos de desarrollo. A igualdad
Eckxv*>s Moran*. & i
Eval uaci n, tica v
VPPd^l
n f recUenci a pref i ero est e enf oque. Si es crebl e para
de circunstancias, c djri un estudio de casos bi en estructura* ,
los destinatarios a quen e Tiene ,a posibilidad de ser persuasil
c o n s titu y e la eva uac o ^ cugnt0 representacion de diversos puntos d!
p r e c i s o , coherente y JmmD| otra part e, no es ninguna panana 6
coherente y j ust o, en cuaruu 1^ 1^ . . ^ . , . v, u..v,,o UO puntos
situaciones complejas. Por otra parte, no es ninguna panacea
je por si un conjunto de problemas caractersticos. Ni su teorl
- - - JrrvllaHn nnr mmDletO_ a
vista en ___
CAP
TU L O XII
La realizacin de evaluaciones vlidas
En este libro, el concepto de validez es clave. En sentido amplio, entiendo
por validez algo as como: cualidad de merecer el reconocimiento. La
definicin del diccionario es: la cualidad de estar bien fundado en los
hechos o basado en principios slidos y completamente aplicables al caso
o circunstancias; solidez y fuerza (de razonamiento, prueba, autoridad, etc.)
(Oxford E.D.)*. El concepto de validez que he aplicado a la evaluacin es
mucho ms amplio que la idea tradicional de validez como previsin, aunque
la incluye.
La prctica moderna de la evaluacin se considera, con razn, como un
procedimiento de decisin social. En el Captulo Primero de este libro,
delineamos tres situaciones bsicas de evaluacin: personal, interpersonai
y pblica. En la situacin personal, el evaluador y el destinatario de la eva
luacin coinciden. Como mnima exigencia de validez, preveramos que la
evaluacin fuese veraz. Existen diferentes ideas y mtodos para llegar a
la verdad.
En la situacin interpersonal, el evaluador trabaja al servicio de los
destinatarios, pero tanto l como aqullos son personas o entidades privadas,
como en las evaluaciones de la Consumers Union. En este caso, no slo
pediramos que la evaluacin fuese veraz, sino tambin creble para los
destinatarios. stos deben confiar en ella. Hay varias formas de demostrar
la credibilidad y hacerla digna de confianza.
En la tercera situacin bsica, el evaluador valora un programa pblico
para unos destinatarios externos. En este caso, no basta con que la evalua-
En espaol, validez se define como la calidad de vlido". A su vez, VNdcf (o
"vlida) se define como "firme, que vale legalmente, y en segunda acepcin: "robusto, ktetie
o esforzado. Podemos decir, por tanto, que, en lneas generales denota lo mismo que el
trmino ingls validlty". En sentido estadstico, la validez se refiere a la correspondencia de
la medida o apreciacin con la magnitud real que se mide o aprecia. (N. del TJ
i Unr*S* I
232
Eval uaci n, tica v ^
LPodf
cin sea veraz y creble; tambin debe ser correcta, desde el punto de
normativo, pues ahora la evaluacin ha pasado de ser un asunto privan^9
un hecho pblico. El tercer caso es el nico al que se enfrenta la mav a
de los evaluadores. Ellos tienen que hacer frente a la triple exigencia!!9
validez que requiere que la evaluacin sea veraz, creble y ajustada a h
recho. De nuevo, hay varias formas de establecer la correccin normati
de la evaluacin. La tarea a la que se enfrenta el evaluador es formidabi9
porque un fallo en cualquiera de los tres aspectos invalida la evaluacin
Cada uno de los ochos enfoques de la evaluacin hace una reivindica
cin de validez, afirma ser merecedora de reconocimiento. En cada afr
macin de validez se revela, como en taquigrafa, el haber y el debe de
cada enfoque. El enfoque del anlisis de sistemas afirma que es cientfico
que, de acuerdo con procedimientos explcitos, produce informacin fiable
datos puros y duros. Al centrarse de forma tan exclusiva en el aspecto de
veracidad de la validez, con frecuencia estas evaluaciones no son crebles
para los evaluados y, en ocasiones, resultan antidemocrticas, desiguales o
incorrectas, desde el punto de vista normativo.
El enfoque por objetivos conductuales afirma su validez de otra manera
basndose en la dea de la tcnica. Trata de determinar la evaluacin es
pecificando los resultados que se pretenden y definiendo, a continuacin,
los medios para alcanzar esos fines. Los mtodos son especificaciones dei
campo y de la conducta que hay que observar. La validez se deriva de que
el programa d cuenta de sus objetivos especificados de antemano. El en
foque no contempla mtodos para juzgar la correccin de los objetivos.
El enfoque de decisin reclama su validez en virtud de su utilidad para
los responsables de las decisiones. La utilidad de los datos recogidos cons
tituye la consideracin primaria, de manera que la credibilidad de la evalua
cin ante sus destinatarios sea alta. Debemos preguntarnos, una vez ms,
si el servicio prestado al responsable de las decisiones es suficiente para
asegurar su correccin normativa. El evaluador que prescinde de los objeti
vos del programa que evala sostiene la validez de su evaluacin por su
falta de sesgos. La proteccin respecto de influencias inadecuadas lo erige
en juez objetivo de las consecuencias del programa. No obstante, con
frecuencia se cuestiona su credibilidad porque los destinatarios externos
y quienes son evaluados se preguntan a menudo si en realidad aprecia lo
que hace el programa.
En el Captulo III, denomin objetivistas a estos cuatro enfoques por su
epistemologa. En mayor o menor grado, todos basan su protesta de validez
en mtodos explcitos. El mtodo primordial de recogida de datos es la
observacin. La rplica constituye un criterio clave y se consigue mediante
procedimientos exteriorizados y explicitadores, de modo que diversos ob
servadores puedan atestiguar los mismos hechos. Se valora mucho la t p *
lidad de la medida. La validez suele evaluarse por la rplica o por1
concordancia entre instrumentos. Su fuerza est en el rigor del
que estos enfoques prestan gran atencin. Se valora mucho la posibino
de comprobar las hiptesis. Su debilidad estriba en que se centran en
$ Ediciones Mor ata, S. L
^ ^ s n de eval uaci ones vlidas 233
cto de veracidad de la validez, pasando por alto la base normativa de
aSL hacen. Si esto constituye una debilidad en el desarrollo de la ciencia,
10 | a eval uaci n es un defecto f atal.
e En general, los enfoques objetivistas de la evaluacin se derivan de la
tradicin t eri ca emprica de las ciencias sociales. La evaluacin se considera
como una ciencia social aplicada. Los defensores de la teora emprica
sosti enen que las ciencias sociales se diferencian slo en grado, pero no
en cuant o clase, de las ciencias naturales. Slo existen dos modelos de co
noci mi ento justificado: las ciencias naturales y las disciplinas formales, como
la l gi ca y las matemticas. Todo lo que no cumpla las normas de co
noci mi ent o fijadas por estas disciplinas es sospechoso (Bernst ei n, 1978).
Un punto de vista muy extendido y simplificado consiste en que la base
de todo conocimiento emprico es el mbito de los hechos puros y duros,
no interpretados. Las afirmaciones empricas se justifican en virtud de esos
hechos. Por tanto, la ciencia consiste en recoger datos y efectuar generali
zaciones a partir de ellos. Podemos suponer que el evaluador de este tipo
investigar los efectos de los programas, utilizando los mtodos de las
ciencias sociales para garantizar la objetividad y, en consecuencia, la validez
de la evaluacin; la validez se basa en la utilizacin de la metodologa
prescrita.
En esta perspectiva, es fundamental la distincin categrica entre teora
y prctica. El cientfico o el evaluador descubre relaciones empricas y este
conocimiento se aplica en la prctica. La metodologa explcita conduce a
un conocimiento explcito, validado. La accin es la aplicacin tcnica de
este conocimiento validado. En consecuencia, el papel adecuado del inves
tigador, como el del cientfico natural, se caracteriza por el desinters. Es
neutral, desde el punto de vista axiolgico. Por medio de su metodologa,
descubre los hechos, pero no los critica ni los traduce a la prctica. Corres
ponde a otros, en especial a los responsables de las decisiones, extraer
consecuencias para la accin. En cierto sentido, la idea de mercado libre
de las ideas y la de que cada uno saque sus propias conclusiones y
derivaciones son intrnsecas a la filosofa del liberalismo.
Son muchos los crticos de esta epistemologa objetivista. Los que aqu
hace al caso es que se centra en el aspecto de veracidad de la validez, de
jando de lado la credibilidad y los aspectos normativos. Supone la validez
por su metodologa y slo resulta creble a quienes abogan por esa meto
dologa. Con frecuencia, no es creble para los evaluados, a menos que
crean en la ciencia como fuerza legitimadora. Por ejemplo, en la evaluacin
del Follow Through, las personas evaluadas pensaban que sta no exa
minaba resultados pertinentes, aunque se haba llevado a cabo con todo
rigor.
La segunda crtica consiste en que el enfoque objetivista encubre valores
implcitos de los que no tienen conciencia los investigadores. Por ejemplo,
los tests normalizados de rendimiento no son apolgicamente neutrales,
sino que se basan en ciertas premisas de valor, como la de elevar ai
mximo las diferencias individuales. Los conceptos, categoras y tcnicas.
Ekftctorws Me**, S. L
como la categorizacin de destrezas bsicas de la evaluacin FoH0w
Through, se inclinan a favor de ciertos valores. El hecho de que los evaluado-
res objetivistas no sean conscientes a menudo de los sesgos de sus tcnicas
y supongan la neutralidad axiolgica de las mismas convierte esas evaluaci0.
nes en potencialmente peligrosas. En realidad, el empleo de esas tcnicas
presupone ciertos axiomas de base, como un sistema tico y un sistema de
justicia que indica cmo han de determinarse las pretensiones e intereses
Estas cuestiones se dan por supuestas. Se parte de la base de que a
informacin del investigador se transfiere al presunt o si st ema de decisin
social como, por ejemplo, a individuos que utilizan la i nf ormaci n para
satisfacer sus propias aspiraciones.
Una idea de objetividad ms compleja que la de correspondenci a de la
teoracon un campo de hechos no i nterpret ados es la de normas intersub-
jetivas de racionalidad o normas de i ndagaci n medi ant e las que se trata
de eliminar diversas formas de sesgos y def ormaci ones (Bernstein, 19731
Hasta cierto punto, la evaluacin de Scri ven que presci nde de los objetivos
del programa evaluado utiliza una idea ampliada de obj et i vi dad y constituye
una excepcin respecto a la crtica general de l os enf oques objetivistas. En
realidad, vamucho ms all y sostiene que el eval uador puede determinar
"necesidades objetivas que existen con i ndependenci a de l as preferencias
de los destinatarios. Por tanto, su post ura es obj et i vi st a en la medi da en que
el evaluador no slo determina de manera obj et i va l a i nf ormaci n derivada
del proceso, sino posiblemente t ambi n l as mi smas normas de evaluacin.
Los valores son hechos y el evaluador tiene derecho a emitir juicios de
valor sobre el programa. Por regla general, ni evaluadores ni filsofos com
parten este punto de vista.
Los otros cuatro enfoques el que sigue el estilo de la crtica de arte, la
revisin profesional, el cuasijudicial y el estudio de casos son subjetivistas
porque fundan su presunta validez en la apelacin a la experiencia y no al
mtodo cientfico. Suponen que el saber es en gran medida tcito ms que
explcito. En el enfoque de estilo crtico artstico, el fundamento consiste en
la experiencia del profesionnal. Tienen gran importancia su preparacin y
sus credenciales. La validez de la evaluacin depende de sus percepciones.
La enseanza y la misma actividad social se consideran artes en las que
los fines se realizan en los medios, sin separarlos como sucede en la
tcnica (El l iot t , 1979). El mtodo del crtico consiste en la percepcin
holstica. Establece la relacin entre las partes y el conjunto de forma inte
grada, elaborando de este modo sus juicios. La clave de la validez reside
en su habilidad para hacerlo. El punto dbil de este enfoque est en que es
fcil que distintos crticos lleguen a crticas del programa muy diferentes.
El enfoque de revisin profesional se funda en la experiencia colectiva,
tradicional de la profesin. El juicio profesional, basado en las normas pro*
fesionales, hace que la evaluacin merezca la atencin de los destinatario
El trabajo manual y no el arte ni la tcnica constituye el modelo de
profesin. Existen reglas, conocimientos y paradigmas interiorizados media
ios cuales puede juzgarse el ejercicio profesional. Por tanto, la va
234____________________________ - _______________________________________ ^ ! uaclnJ te*y p o ^
H eval uaci ones vlidas_______________________________ 235
^
del acatamiento de tales reglas de competencia aceptadas de
cjepen?ntersubjetiva, aunque tcita. Slo el profesional que haya participado
forma 'H a profesional puede haber adquirido este conocimiento y ser un
dela ^ptente. Conviene sealar que los enfoques de crtica de arte y de
juef ^n profesional gozan de gran credibilidad entre los destinatarios en
revis 0CUrre lo mismo con los cientficos positivistas, que consideran
^ e\ mtodo cientfico invalida las reglas de la prctica, y entre el gran
^blico, que teme ûe *os fuertes intereses profesionales pesen ms que el
vJters general.
B enfoque cuasijudicial se fundamenta en la experiencia de la profesin
urdica, adoptando procedimientos procesales desarrollados en el mbi
to j urdi co ingls. El grado de adaptacin de la evaluacin a los proce
dimientos adecuados constituye una medida de su validez. La clave consiste
en la equidad del procedimiento. El fundamento de la validez es la experiencia
judicial, tal como se estructura en la tradicin jurdica. Si los procedimientos
son equitativos, con independencia de los resultados, la evaluacin ser
vlida.
Por ltimo, el enfoque del estudio de casos se basa en la experiencia de
los participantes y de los destinatarios. Un aspecto primordial que se debe
tener en cuenta es la comprensin por parte de los receptores. El evaluador
consigna la experiencia de los participantes de manera que los destinatarios
puedan entenderla. La validez depende de la correspondencia entre la
evaluacin y las experiencias de los participantes y de los destinatarios.
Es obvio que los subjetivistas tambin afirman que sus evaluaciones
son veraces, pero tratan de conseguir una visin perspicaz en el marco de
referencia de los destinatarios y de los mismos participantes. Es importante
la significacin. La evaluacin ha de ser comprensible. Los subjetivistas
asumen que cada investigador y cada lector son capaces de establecer
conclusiones de forma individual. Estos enfoques tienen a su favor la ca
racterstica de comunicar con frecuencia perspectivas importantes. En su
contra tienen que sus conclusiones son muy variables e incluso contradic
torias y que no es fcil reconciliarlas. Lo que es vlido para una persona
puede no serlo para otra.
La epistemologa subjetivista y, en especial, el enfoque del estudio de
casos, estn ntimamente relacionados con la visin fenomenolgica del
hombre. En contraste con el punto de vista de que slo la ciencia es la
medida de la realidad y la norma del conocimiento justificado, los fenome-
nlogos sostienen que es ms fundamental la propia visin cotidiana del
mundo, centrada en las personas y en su conducta. Sobre todo si pensamos
en la acin humana, debemos hacerlo en trminos de intenciones y de las
Personas que orientan su conducta de acuerdo con principios y normas
basados en los valores comunitarios. Es el dominio de la razn prctica
ms que de la terica (Ber nst ei n, 1978).
De modo similar, los enfoques subjetivistas de la evaluacin apelan a
aexperiencia en la situacin concreta en cuanto fundamento de validez. La
experiencia puede manifestarse en el experto, en una profesin, en la
Ed>Con$ Mwilfc, S- L
Eval uaci n, tica y ^
cin que acoge puntos de vista encontrados o en los participantes y desti,
natarios concretos de la evaluacin. La exactitud de la descripcin de
situacin y la utilidad para los destinatarios son conceptos clave. Es decir
laevaluacin ser "adecuada si es comprensible para el actor y refleja |a
realidad social en la que vive.
Los crticos de la epistemologa fenomenolgica sealan que con fr.
cuencia surge la confusin respecto a qu percepciones de sentido comn
han de constituir el fundamento de la comprensin. Es ms, si tomamos
como base de indagacin el conocimiento cotidiano, no nos limitaremos a
reconstruir cualesquiera ideologas, sesgos y falsas creencias ya existentes?
Cmo podemos distinguir los determinantes causales y las regularidades
-los puntos fuertes de la epistemologa positivista de las creencias per
cibidas? Cmo podemos evaluar las interpretaciones opuestas? La fe
nomenologa no proporciona medio alguno para hacerlo; tiene algo de adi
vinanza, pues lo que tomamos como determinantes causales de la accin
social depende de nuestras propias teoras relevantes. Por tanto, la inter
pretacin depende, en parte, de nuestro mismo anlisis causal (Berns-
TEIN, 1978).
Por ltimo, tanto para los fenomenlogos como para los positivistas, el
papel ideal del investigador es desinteresado y alejado de los intereses
del mundo cotidiano. Los positivistas establecen sus regularidades empricas
y los fenomenlogos dilucidan estructuras subjetivas fundamentales, para
llegar a la pura descripcin. Si puede acusarse a los positivistas de reflejar
de modo encubierto los sesgos institucionales, a los fenomenlogos puede
achacrseles que reflejan los sesgos de quienes describen. En ambos
casos, al menos a los efectos de la evaluacin, el papel del evaluador
"desinteresado", alejado de todos los problemas prcticos, es defectuoso,
desde el punto de vista moral.
El evaluador debe ser imparcial. Esto no es lo mismo que ser indiferente
ante los intereses que se reflejen o estar fuera del mundo real. El evaluador
est comprometido con el mundo. Su trabajo afecta de forma directa a lo
que cada uno pueda conseguir. Por naturaleza, participa de su funcin
social. La evaluacin debe ser imparcial en el sentido de que estn repre
sentados todos los intereses pertinentes. Esto debe constituir una preocu
pacin permanente del evaluador, que no cumplira con sus obligaciones
morales si se aislara de los intereses externos. En la ciencia liberal existe
una tradicin que sostiene que el aislamiento de las influencias del mundo
garantiza laveracidad y la equidad, pero no cabe duda de que esto es
errneo. La indiferencia ante los intereses que afloren no es lo mismo que
representar los intereses de todos.
En resumen, la validez de una evaluacin depende de que sea veraz,
creble y correcta, desde el punto de vista normativo. Todos los enf oques
de laevaluacin aseguran su validez a su modo respectivo, pero la utiliza-
cin de un enfoque concreto no la garantiza. Cuanto ms se corresponda la
situacin de evaluacin con las premisas de un enfoque det ermi nado, ms
probable ser su validez. En la mayora de los casos, sta se i dent i f i ca con
' 1
cn ^ v a l u a c i o n e s vl i das_________________________________________________________237
I ~~
a c i d a d , per no basta para evaluar un programa social. Como de-
la e| contraste entre las situaciones personal, interpersonal y pblica,
rTlU l u a d o r tiene obligaciones adicionales.
e l cape duda de que una evaluacin no veraz no sera vlida, y la
H a d puede establecerse de muchos modos. La postura positivista equipara
eracidad con la rplica y la prediccin. Si conocemos la causa de algo,
13demos observarlo y preverlo con exactitud. Sin embargo, la veracidad
rea mucho ms de lo que reconoce la concepcin positivista Los criterios
% v e r d a d dependen del acuerdo intersubjetivo de la comunidad intere-
ada y cambian con el tiempo. En la situacin individual, personal, pode
mos imaginar la bsqueda de la verdad como empeo individual, aunque
I no sea as. f
En la situacin interpersonal, descubrir los hechos no es suficiente. Es
I preciso comunicarlos a un pblico determinado. La evaluacin ha de ser
I creble, de manera que inspire la confianza del pblico. La credibilidad es
I funcin tanto del evaluador como de la evaluacin. La credibilidad del eva-
I luador se refuerza cuando no entran en juego sus propios intereses. Por
ejemplo, dudaramos de una evaluacin de automviles si la General Motors
pagase al evaluador, con independencia de la calidad de su trabajo. La
evaluacin ha de ser autntica, en el sentido de que merezca la aceptacin
o la confianza por su concordancia con los hechos o la experiencia conoci-
I dos. Los objetivistas hacen hincapi en la concordancia con los hechos y
los subjetivistas insisten en la concordancia con la experiencia En ambos
casos, la evaluacin debe suscitar la confianza
Por regla general, si el pblico comprende y cree las intenciones del
evaluador, se reforzar la confianza en ste. La manifestacin de las inten-
| ciones sirve como signo de sinceridad. Con frecuencia, sta se juzga por la
coherencia de las acciones del evaluador. En el mismo informe de evaluacin,
la coherencia, el tono y otros elementos estticos analizados en el Cap-
: tulo V influyen en la credibilidad y autenticidad. Por encima de todo, el
evaluador debe dar pruebas de que es digno de confianza
Sin embargo, todo esto no es suficiente en la evaluacin de programas
pblicos. Con total exactitud y sinceridad, podemos favorecer el bienestar
de un grupo, daando gravemente el bienestar pblico. El criterio definitivo
no puede consistir en el servicio o la utilidad a un grupo concreto. Una
evaluacin pblica debe ser correcta, desde el punto de vista normativa
Junto a la verdad y la belleza debe ir la justicia, aunque, de nuevo, esto se
conciba de formas diferentes. En la Tercera Parte, he tratado de indicar
cules deben ser estas consideraciones normativas. La evaluacin pbNca
debe ser democrtica, equitativa y, en ltimo trmino, basada en los valores
morales de equidad, autonoma, imparcialidad y reciprocidad. No obstante,
sta slo es una formulacin inicial de tales consideraciones.
Ningn enfoque de la evaluacin, ningn mtodo garantizar de antemano
,a validez. Tenemos que mirar hacia atrs y examinar la evaluacin concrete
i n su situacin para ver si es vlida. En la mayora de los casos, rssuftarn
I adecuados diversos enfoques de evaluacin y el evaluador puede escoger
Bchcxviss Mora**. -S. L
236 Eval uaci n, ti cav
cin que acoge puntos de vista encontrados o en los participantes y desti
natarios concretos de la evaluacin. La exactitud de la descripcin de f
situacin y la utilidad para los destinatarios son conceptos clave. Es deci?
la evaluacin ser adecuada si es comprensible para el actor y refleja la
realidad social en la que vive.
Los crticos de la epistemologa fenomenolgica sealan que con fre
cuencia surge la confusin respecto a qu percepciones de sentido comn
han de constituir el fundamento de la comprensin. Es ms, si tomamos
como base de indagacin el conocimiento cotidiano, no nos limitaremos a
reconstruir cualesquiera ideologas, sesgos y falsas creencias ya existentes?
Cmo podemos distinguir los determinantes causales y las regularidades
los puntos fuertes de la epistemologa positivista de las creencias per-
cibidas? Cmo podemos evaluar las interpretaciones opuestas? La fe
nomenologa no proporciona medio alguno para hacerlo; tiene algo de adi
vinanza, pues lo que tomamos como determinantes causales de la accin
social depende de nuestras propias teoras relevantes. Por tanto, la inter
pretacin depende, en parte, de nuestro mismo anlisis causal (Be r n s -
TEIN, 1978).
Por ltimo, tanto para los fenomenlogos como para los positivistas, el
papel ideal del investigador es desinteresado y alejado de los intereses
del mundo cotidiano. Los positivistas establecen sus regularidades empricas
y los fenomenlogos dilucidan estructuras subjetivas fundamentales, para
llegar a la pura descripcin. Si puede acusarse a los positivistas de reflejar
de modo encubierto los sesgos institucionales, a los fenomenlogos puede
achacrseles que reflejan los sesgos de quienes describen. En ambos
casos, al menos a los efectos de la evaluacin, el papel del evaluador
"desinteresado", alejado de todos los problemas prcticos, es defectuoso,
desde el punto de vista moral.
El evaluador debe ser imparcial. Esto no es lo mismo que ser indiferente
ante los intereses que se reflejen o estar fuera del mundo real. El evaluador
est comprometido con el mundo. Su trabajo afecta de forma directa a lo
que cada uno pueda conseguir. Por naturaleza, participa de su funcin
social. La evaluacin debe ser imparcial en el sentido de que estn repre
sentados todos los intereses pertinentes. Esto debe constituir una preocu
pacin permanente del evaluador, que no cumplira con sus obligaciones
morales si se aislara de los intereses externos. En la ciencia liberal existe
una tradicin que sostiene que el aislamiento de las influencias del mundo
garantiza la veracidad y la equidad, pero no cabe duda de que esto es
errneo. La indiferencia ante los intereses que afloren no es lo mismo que
representar los intereses de todos.
En resumen, la validez de una evaluacin depende de que sea veraz,
creble y correcta, desde el punto de vista normativo. Todos los enfoques
de la evaluacin aseguran su validez a su modo respectivo, pero la utiliza
cin de un enfoque concreto no la garantiza. Cuanto ms se corresponda ia
situacin de evaluacin con las premisas de un enfoque det ermi nado, n&a
probable ser su validez. En la mayora de los casos, sta se i denti f ica co
.. ^ An de evaluaciones vlidas 237
I | ------
raci dad, pero no basta para evaluar un programa social. Como de-
la estra el contraste entre las situaciones personal, interpersonal y pblica,
? e v a l u a d o r tiene obligaciones adicionales,
isiocabe duda de que una evaluacin no veraz no sera vlida, y ia
rdad puede establecerse de muchos modos. La postura positivista equipara
la veraci dad con la rplica y la prediccin. Si conocemos la causa de algo,
[ ' pernos observarlo y preverlo con exactitud. Sin embargo, la veracidad
| abarca mucho ms de lo que reconoce la concepcin positivista. Los criterios
[ de verdad dependen del acuerdo intersubjetivo de la comunidad intere
sada y cambian con el tiempo. En la situacin individual, personal, pode
mos i magi nar la bsqueda de la verdad como empeo individual, aunque
no sea as.
En la situacin interpersonal, descubrir los hechos no es suficiente. Es
preciso comunicarlos a un pblico determinado. La evaluacin ha de ser
creble, de manera que inspire la confianza del pblico. La credibilidad es
funcin tanto del evaluador como de la evaluacin. La credibilidad del eva
luador se refuerza cuando no entran en juego sus propios intereses. Por
ejemplo, dudaramos de una evaluacin de automviles si la General Motors
pagase al evaluador, con independencia de la calidad de su trabajo. La
evaluacin ha de ser autntica, en el sentido de que merezca la aceptacin
o la confianza por su concordancia con los hechos o la experiencia conoci
dos. Los objetivistas hacen hincapi en la concordancia con los hechos y
los subjetivistas insisten en la concordancia con la experiencia. En ambos
casos, la evaluacin debe suscitar la confianza.
Por regla general, si el pblico comprende y cree las intenciones del
evaluador, se reforzar la confianza en ste. La manifestacin de las inten
ciones sirve como signo de sinceridad. Con frecuencia, sta se juzga por la
coherencia de las acciones del evaluador. En el mismo informe de evaluacin,
la coherencia, el tono y otros elementos estticos analizados en el Cap
tulo V influyen en la credibilidad y autenticidad. Por encima de todo, el
evaluador debe dar pruebas de que es digno de confianza.
Sin embargo, todo esto no es suficiente en la evaluacin de programas
pblicos. Con total exactitud y sinceridad, podemos favorecer el bienestar
de un grupo, daando gravemente el bienestar pblico. El criterio definitivo
no puede consistir en el servicio o la utilidad a un grupo concreto. Una
evaluacin pblica debe ser correcta, desde el punto de vista normativo.
Junto a la verdad y la belleza debe ir la justicia, aunque, de nuevo, esto se
conciba de formas diferentes. En la Tercera Parte, he tratado de indicar
cules deben ser estas consideraciones normativas. La evaluacin pblica
debe ser democrtica, equitativa y, en ltimo trmino, basada en los valores
morales de equidad, autonoma, imparcialidad y reciprocidad. No obstante,
sta slo es una formulacin inicial de tales consideraciones.
Ningn enfoque de la evaluacin, ningn mtodo garantizar de antemano
evalidez. Tenemos que mirar hacia atrs y examinar la evaluacin concrea
en su situacin para ver si es vlida. En la mayora de los casos, resudarn
adecuados diversos enfoques de evaluacin y el evaluador puede escoger
$ EyftsOffcs, Wowlfc. S. 1
238
Eval uaci n, ticav r ^
uno sobre la base de sus propias pref erenci as o l as de su cli ente. Muchas
evaluaciones sern mezclas de vari os enf oques. Teri cament e, el evaluador
debe estar preparado para utilizar vari os enf oques y no apl i car de forma
mecnica el que haya aprendido. Debe conocer l os punt os dbi les de sus
enfoques preferidos con el fin de evi tar aquel l o que ponga en peligro su
validez.
Una forma de hacer patentes los intereses del cliente y de las partes
afectadas consiste en el acuerdo de evaluacin equitativa. Constituye una
salvaguardia contra la conducta autocrtica del evaluador o del cliente.
Puede llegarse a un enfoque o combinacin de enfoques de evaluacin de
manera moralmente aceptable. Por desgracia, la idea contractual implcita
en el acuerdo de evaluacin equitativa no siempre protege en grado suficiente
los intereses de quienes no participan en el establecimiento del acuerdo.
El defecto ms frecuente en las evaluaciones es de orden moral. Una
sociedad liberal se ve a s misma compuesta por unidades independientes
y autnomas que slo cooperan cuando se favorecen los fines de las
partes. En una sociedad de este tipo, es fcil que se conciba la evaluacin
como una cuestin privada o interpersonal, como un acuerdo entre dos
partes en beneficio mutuo, sin tener en cuenta a los dems. A menudo se
pasan por alto las obligaciones con respecto a la sociedad en general. La
evaluacin de un programa pblico constituye una situacin en la que
existen tales obligaciones y el concepto de validez debe ampliarse de
manera que pueda aplicarse a esta significativa prctica social.
apndice a
Un anlisis de la lgica de una eval uaci n
Formas de razonamiento
En este apartado, analizaremos la estructura argumentativa de un informe
de evaluacin. El informe Educational Product Evaluation, de Gl a s s (1972)
corresponde a la evaluacin de unas grabaciones magnetofnicas elaboradas
por Michael Sc r i v en . Tras estudiar el informe, analizamos tambin la es
tructura lgica de la respuesta de Sc r i v en (1972) a dicha evaluacin. No
obstante, en primer lugar es preciso establecer las categoras de anlisis,
las formas de razonamiento que emplean ambos evaluadores.
No hay duda de que, en ciertas circunstancias de la evaluacin, es
aplicable la lgica formal. Por ejemplo, la lgica deductiva es apropiada
para determinar la coherencia interna de los modelos matemticos y la
lgica inductiva est indicada en los problemas de inferencia estadstica En
las circunstancias apropiadas, este razonamiento puede ser aplicado. Sin
embargo, la mayora de los evaluadores han de basarse en modelos de
razonamiento no formales. Enumerar algunas tcnicas de argumentacin
basadas en el tratado de Per el man y Ol br ec h t s-Ty t ec a (1969) sobre este
tema. La relacin no es en absoluto exhaustiva de los poderes de razona
miento informal del hombre. En el apartado siguiente, mostrar el uso de
estas argumentaciones mediante el anlisis de un estudio de evaluacin
que goza de gran aceptacin.
Las tcnicas de argumentacin que presentamos aqu se dividen en tres
clases: argumentos cuasilgicos, argumentos basados en la estructura de
a realidad y argumentos que establecen la estructura de la realidad La
primera clase, la de los argumentos cuasilgicos, deriva su credibilidad de
su semejanza con el razonamiento lgico formal o matemtica No obstante,
el argumento cuasilgico slo parece formal por reduccin. Este argumento
es esencialmente ms informal que formal y, en ltimo extremo, se sostiene
recurriendo a otras formas de argumentacin.
Ectaorws Moa* * , S. L.
238
Eval uaci n, ti cay ^
uno sobre la base de sus propias preferencias o las de s u cliente. Muchas
evaluaciones sern mezclas de varios enfoques. Tericamente, el evaluador
debe estar preparado para utilizar varios enfoques y no a p l i c a r de forma
mecnica el que haya aprendido. Debe c o n o c e r los puntos dbiles de sus
enfoques preferidos con el fin de evitar aquello que ponga en peligro su
validez.
Una forma de hacer patentes los intereses del cliente y de las partes
afectadas consiste en el acuerdo de evaluacin equitativa. Constituye una
salvaguardia contra la conducta autocrtica del evaluador o del cliente.
Puede llegarse a un enfoque o combinacin de enfoques de evaluacin de
manera moralmente aceptable. Por desgracia, la dea contractual implcita
en el acuerdo de evaluacin equitativa no siempre protege en grado suficiente
los intereses de quienes no participan en el establecimiento del acuerdo.
El defecto ms frecuente en las evaluaciones es de orden moral. Una
sociedad liberal se ve a s misma compuesta por unidades independientes
y autnomas que slo cooperan cuando se favorecen los fines de las
partes. En una sociedad de este tipo, es fcil que se conciba la evaluacin
como una cuestin privada o interpersonal, como un acuerdo entre dos
partes en beneficio mutuo, sin tener en cuenta a los dems. A menudo se
pasan por alto las obligaciones con respecto a la sociedad en general. La
evaluacin de un programa pblico constituye una situacin en la que
existen tales obligaciones y el concepto de validez debe ampliarse de
manera que pueda aplicarse a esta significativa prctica social.
$ dctoftM Morata, $,l.
apndice a
Un anlisis de la lgica de una evaluacin
Formas de razonamiento
En este apart ado, anal i zaremos la estructura argumentativa de un informe
d e eval uaci n. El i nf orme Educational Product Evaluation", de G l a s s ( 1 9 7 2 )
corresponde a la eval uacin de unas grabaciones magnetofnicas elaboradas
por Mi chael Scriven. Tras estudi ar el informe, analizamos tambin la es
tructura l gi ca de la respuest a de Scriven ( 1 9 7 2 ) a dicha evaluacin. No
obstante, en pri mer l ugar es preciso establecer las categoras de anlisis,
las f ormas de razonami ent o que emplean ambos evaluadores.
No hay duda de que, en ciertas circunstancias de la evaluacin, es
apl icabl e la l gi ca f ormal . Por ejemplo, la lgica deductiva es apropiada
para det ermi nar la coherenci a interna de los modelos matemticos y la
lgi ca i nduct i va est i ndi cada en los problemas de inferencia estadstica En
las ci rcunst anci as apropi adas, este razonamiento puede ser aplicado. Sin
embargo, la mayora de los evaluadores han de basarse en modelos de
razonami ent o no f ormal es. Enumerar algunas tcnicas de argumentacin
basadas en el tratado de Perelman y Olbrechts-Tyteca (1969) sobre este
tema. La rel aci n no es en absoluto exhaustiva de los poderes de razona
miento i nf ormal del hombre. En el apartado siguiente, mostrar el uso de
estas argument aci ones medi ante el anlisis de un estudio de evaluacin
que goza de gran aceptacin.
Las t cni cas de argumentacin que presentamos aqu se dividen en tres
clases: argument os cuasi lgi cos, argumentos basados en la estructura de
la reali dad y argument os que establecen la estructura de la realidad La
pri mera cl ase, la de los argumentos cuasilgicos, deriva su credibilidad de
su semej anza con el razonamiento lgico formal o matemtico. No obstante.
l argument o cuasi l gi co sl o parece formal por reduccin. Este argumento
es esenci al ment e ms informal que formal y, en ltimo extremo, se sostiene
recurri endo a otras f ormas de argumentacin.
< EcKc io iw s MiVtt* , S. L
240
Eval uacin, ti ca
El orimer tipo de argument aci n depende de su s e menj anza con |as
relaciones lgicas. Estas rel aci ones son l as de cont r adi cci n e i ncompat b.
lidad identidad y definicin, t ransi t i vi dad y r eci pr oci dad. El ot ro grupo de
faumentos cuasilgicos depende de su s emej anza con el razonami ent o
matemtico, cuyas relaciones son l as de i ncl usi n de l a par t e en l a total i dad
divisin de la totalidad en partes, comparaci n y r azo nami ent os de probaba
lidad.
Incompatibilidad. En un sistema lgico, dos tesis en contradiccin
mutua demuestran que el sistema es lgicamente inconsistente. El anlogo
cuasilgico es la incompatibilidad, en la que nos vemos obligados a escoger
entre dos tesis que son incompatibles desde el punto de vista prctico,
aunque no desde el lgico, a causa de las circunstancias. En casos extremos!
el mantenimiento de tesis incompatibles puede caer en el ridculo, equivalente
argumental del absurdo lgico. Por ejemplo, en una evaluacin, el director
del proyecto puede presentar una determinada visin del mismo, mientras
que un profesor que trabaja en l presenta otra perspectiva muy diferente.
Ambos puntos de vista lgicamente no son contradictorios, pues pueden
ser ciertos considerados desde circunstancias diferentes. Sin embargo, la
incompatibilidad puede constituir una cuestin importante en el conjunto de
la evaluacin. De hecho, el director cuyo punto de vista es incompatible con
los de otros participantes en el proyecto empieza a parecer ridculo.
Identidad total y definicin. En la medida en que las definiciones se
enuncien de forma inequvoca y carentes de ambigedad, pertenecen a
sistemas de lgica formal. Tan pronto se aplican a problemas del mundo
real, las definiciones se convierten en cuasilgicas. Tenemos que escoger
entre muchos significados posibles. Slo los sistemas exclusivamente con
vencionales pueden evitar estos problemas de identidad. Por ejemplo, la
validez se define de cinco formas, al menos, desde una justificacin general
hasta la capacidad de prever un hecho a partir de otro. Podemos utilizar
cualquiera de las definiciones, pero, si se discute, hemos de defenderla
como adecuada y aplicable.
Identidad parcial. La "regla de justicia formal requiere que se otorgue
idntico tratamiento a seres o situaciones del mismo tipo. Esto proporciona
coherencia a la accin, fundamento de la justicia formal. La reciprocidad"
dela conducta se basa en la definicin de situaciones simtricas. Estos
argumentos exigen reducciones parciales, como en relacin con el prestigio
y la categora de las partes implicadas, que dependen de las posturas
discutidas. Por ejemplo: "Era realmente equitativo que la profesora propor
cionase una ayuda especial al nio, pues ya haba prestado ayuda extraor
dinaria a otros. Ms discutible sera: Merecan notas iguales, pues haban
realizado el mismo esfuerzo, aunque con resultados muy distintos. Estos
enunciados se basan en definiciones de identidades parciales.
nisis de l a l gi ca de una eval uaci n
U n --------------------------------
241
Trans ti vidad. A es mayor que B y B, mayor que C; por tanto A es
mayor que C (pero el fundamento de mayor que es discutible). Por ejemplo:
El programa A es mejor que el B porque las puntuaciones en el test son
ms al t as. A debe ser mejor que C porque los resultados de B en el test
son mejores que los de C. Por supuesto, los criterios de comparacin son
di scut i bl es, como tambin la transitividad de la relacin. Aunque la primera
rel aci n se mantenga, el programa A puede no ser mejor que el C.
Los argument os basados en la semej anza con el razonamiento mate
mt i co son l os si gui ent es:
I ncl usi n de l a part e en l a t ot al i dad. La totalidad es mayor que cada
una de las partes. Por ejemplo: Obtener una puntuacin total superior en el
test es mejor que una puntuacin elevada en una de las partes, porque la
puntuacin total incluye las parciales.
Divisin de la totalidad en partes. La divisin exhaustiva en partes
conduce a la conclusin de que la parte que queda es de algn modo
necesaria. Har una relacin de los sesgos a favor y en contra del estudio.
En ambos casos tenemos un error de Tipo I o un error de Tipo II.
Comparacin. La comparacin directa de objetos se basa en la idea
de medida, pero toda norma de medida es defectuosa. A menudo, se men
cionan criterios. La eleccin supone siempre comparacin. El razonamiento
del sacrificio es una forma de comparacin: qu sacrificio estaramos
dispuestos a hacer para conseguir determinado fin? Quiz toda evaluacin
sea bsicamente comparativa.
Probabilidades. El argumento de probabilidad y variabilidad suele llevar
consigo una reduccin de los datos a valores monistas y homogneos, y a
elementos mediante los cuales compararlos. Pero suele ser un argumento
potente porque infunde un carcter emprico, aun cuando no sea cuantitativo
(p. ej., la teora de la decisin, que requiere que sta se reduzca a un
modelo concreto de decisin).
Una clase de argumentos totalmente distinta se basa en la estructura
de la realidad. Se parte de una concordancia suficiente respecto a la
realidad, como los hechos y verdades, y de su carcter indiscutido, de
modo que tratamos de establecer una conexin entre las ideas aceptadas y
las que promovemos. Estos razonamientos pueden clasificarse con ms
detalle bien como relaciones de sucesin, que vinculan un fenmeno con
sus causas o consecuencias, bien como relaciones de coexistencia, que
enlazan una esencia con sus manifestaciones, p. ej., una persona con
sus acciones. Entre las relaciones de sucesin, en las que el tiempo cons
tituye un factor principal, estn las siguientes:
Causalidad. La demostracin de relaciones causales puede basarse
en mtodos muy diferentes y, como es obvio, desempean un papel esencial
242
Eval uaci n, ti ca
en la argumentacin evaluativa. Al tratar de establecer una relacin causal
hay que relacionar dos hechos sucesivos, razonando desde un hecho dado
hacia su presunta causa o proyectando una consecuencia causal a partir
de un hecho. En todo caso, el enunciado causal requiere ciertos juicios de
valor (vase Ennis, 1973).
Pragmatismo. Un hecho se evala por sus consecuencias. El valor
de stas se transfiere a la causa. O se acepta el valor de las consecuencias
o har falta recurrir a otros argumentos para establecerlo.
Fines y medios. La determinacin de los medios mejores depende de
la definicin precisa del fin que se busca y del acuerdo respecto al mismo.
Slo es probable que se discutan los valores relacionados con el fin. En
una sociedad de orientacin tecnolgica, los razonamientos fines-medios
tienen una fuerza especial. Por ejemplo, los programas por objetivos con
ducales son buenos si consiguen los fines previstos. La separacin analtica
de medios y fines facilita una concordancia mxima, aunque es dudoso que
unos medios determinados produzcan un nico efecto. En la prctica, los
medios y los fines estn mucho ms relacionados entre s.
Prdida. Dado el esfuerzo realizado hasta cierto momento, interrumpirlo
ahora constituira una prdida. Sera una lstima no reanalizar estos datos,
teniendo en cuenta lo que ha costado reunirlos. Desarrollad al mximo el
talento del nio.
Direccin. Si cedemos en este momento, qu es lo que esto ocasio
nar? La teora del domin. El saber puede incrementarse de forma indefi
nida. El aprendizaje no tiene lmites.
Desarrollo ilimitado. Ms es mejor y puede lograrse.
Aunque las relaciones de sucesin estn en el mismo nivel fenomenol-
gico, las relaciones de coexistencia conectan dos objetos o hechos de los
que uno es ms bsico y explicativo que el otro. El orden de los hechos
tiene una importancia secundaria. Estos hechos son los siguientes:
La persona y sus actos. Las acciones de una persona suelen influir
en nuestro concepto de ella, aunque, por regla general, no se equiparen
como en el conductismo. En los estudios de evaluacin, la interpretacin de
un hecho adscribindolo a la personalidad es prctica corriente. La forma
de tratar las "intenciones de la persona resulta especialmente crtica. Con
frecuencia, la intencin se infiere por la correspondencia entre acciones,
pero siempre existe ambigedad. La mayora de las atribuciones de motiva
cin constituyen un ejemplo de este tipo de razonamiento.
Autoridad. Aunque se excl uye por compl et o de l as demost raci ones
l gicas, pues la l gi ca debe sost enerse por s mi sma, en l a argument aci n
Un
mlisis de la l gi ca de una evaluacin_________________________ ___________________________243
i mport ant e el prestigio de la persona que hace una afirmacin. En el ra
z o n a m i e n t o judicial es esencial. Slo si un pblico universal acepta la afir
macin, considerndose, por tanto, como un hecho, supera el dominio de
la autoridad.
La objetividad se logra a menudo separando a la persona de su acto,
p ej., retirando el nombre del autor de las propuestas antes de juzgarlas.
Sin embargo, la persona puede ser el mejor elemento de prediccin del
xito del proyecto. La imparcialidad puede conseguirse mediante tcnicas
de reduccin de los sesgos mejor que por la escisin completa del agente
de su acto (Sc r i v en , 1975). En la argumentacin y en la evaluacin, la
relacin entre la persona y su afirmacin es importante.
Persona y grupo. Hizo eso porque es conductista. En esta categora
se incluyen los argumentos que expresan la preocupacin por mantener o
establecer relaciones con otros. En la evaluacin, la caracterizacin de una
persona por su pertenencia a un grupo es mucho ms corriente de lo que
parece. No slo se llevan a cabo estudios cuantitativos para poner de
manifiesto diferencias entre grupos; a menudo, las evaluaciones cualitativas
interpretan el sistema social que se estudia como un conjunto de grupos in
teractivos. Adems, con frecuencia el evaluador se ve en apuros para de
mostrar su preocupacin, imparcialidad o ambas poniendo de manifiesto a
qu grupos pertenece o no.
Act o y esencia. En qu consiste ser un buen director? Un buen
director es el que se ajusta al ideal del director. Si no existe esa correspon
dencia, se produce una deficiencia. La esencia de un objeto sometido a
evaluacin se define a menudo mediante un conjunto de criterios intuitivos
que parecen aplicables al caso. Por ejemplo, se espera que un buen
director de proyectos sea de cierto modo y haga determinadas cosas. El
evaluador puede hacer explcito este conjunto de criterios, implcito por
regla general, con el fin de juzgar al director. Lo mismo puede hacerse en
relacin con un buen programa, un buen libro de texto, etc. La lista de
criterios nunca es inclusiva y siempre discutible. Sin embargo, con frecuencia
la lista es eficaz para persuadir a los destinatarios de la calidad. Ejemplo:
los informes de la Consumers Union sobre productos manufacturados.
Relacin simblica. Slo los miembros de un grupo concreto creen
en la relacin mgica entre el smbolo y la cosa, como la bandera nacional.
Las relaciones simblicas son importantes para describir ciertos aspectos
de los sistemas y categoras sociales. Estas relaciones son algo diferentes
porque no pueden justificarse ante otros. Los educadores vinculan con
frecuencia significados especiales de este tipo con determinadas facetas
de su programa y con ciertos lderes carismticos dentro de! misma Personas
y cosas se convierten en objetos de fe en s mismos y por s mismos. Esta
situacin constituye un rompecabezas habitual para el evaluador, que puede
tratar de buscar en vano ms relaciones materiales subyacentes a la fe.
244
La tercera clase de argumentos asume el menor nmero de prenv
Estas argumentaciones no se basan en la semejanza con la lgica f o 8'
ni se desarrollan a partir de acuerdos previos sobre la estructura d al
realidad. En cambio, tratan de establecer la realidad. El ejemplo y las T
traciones lo hacen recurriendo a casos concretos, las analogas y las m,
foras poniendo de manifiesto ante los destinatarios relaciones conceptual
nuevas. La evaluacin "naturalista se funda en gran medida en esta for
de argumentacin. a
Ejemplo. El recurso al ejemplo supone la falta de unanimidad respect
a una regla concreta, aunque, en principio, se est de acuerdo en pode
llegar al entendimiento. Una serie de ejemplos invita a la generalizacin a
veces, el razonamiento procede de lo particular a lo particular, sin establecer
regla alguna. Los ejemplos operan de forma implcita. La tcnica del "caso
cerrado" y del precedente" legal se funda en esta frmula. Esta argumen
tacin valora lo concreto y lo habitual. Para que el ejemplo sea eficaz, ha
de aceptarse su verosimilitud.
Ilustracin. Mientras que el ejemplo se utiliza para establecer una
regla, la ilustracin se emplea para aclararla y fortalecer la adhesin a ella.
Facilita la comprensin. Las ilustraciones de las formas de razonamiento de
este apartado tratan de aclarar las categoras, pero stas no dependen de
las ilustraciones.
Analoga. La analoga establece una relacin entre dos esferas hasta
entonces no relacionadas y, en consecuencia, es esencial en la invencin y
la imaginacin. Desarrolla y ampla el pensamiento.
Metfora. La afirmacin metafrica abre nuevos campos de pensa
miento pasando de lo conocido a lo desconocido y ayudando a sealar
cosas inespecificables en el lenguaje corriente. En la mayora de los casos,
la afirmacin metafrica se utiliza en conjuncin con los ejemplos y las
ilustraciones. En la parte dedicada a la evaluacin naturalista expondremos
cmo acta ampliando las ideas de los destinatarios.
Esta relacin de tcnicas de argumentacin no es exhaustiva y no pre
tende ser una lista de tcnicas a partir de las cuales se construyan evalua
ciones. Intenta, en cambio, ilustrar el tipo de razonamiento utilizado, en la
prctica, en las evaluaciones.
Anlisis de la Educational Product Evaluation de Gl ass
He elegido "Educational Product Evaluation: A Prototype Format Appl ^
de Gl ass (1972), para analizarlo en relacin con los argument os enum
rados en la seccin anterior. He seleccionado esta evaluacin porque
%Edckmw Morata, 8. L
g^j i si s de la lgi ca de una evaluacin 245
uy accesible, es sucinta, la autoridad del autor es incuestionable, mues
tra diversos y complejos argumentos evaluativos y me parece muy persua
siva ...
La t cni ca que utilizo consiste en parafrasear la obra de Gl ass e indicar
ent re parntesis los argumentos a medida que aparezcan. No digo que ha
ya encontrado todos los argumentos en el trabajo de Glass, que los que
he reseado no pudieran categorizarse de otra manera, ni que los tipos de
argumentaciones enumerados en el apartado anterior sean exhaustivos.
Sera imposible hacer una lista de todos los argumentos o sus tipos, o
clasificarlos sin ambigedad. Slo pretendo ilustrar, a partir de un trabajo
muy bueno, que estas argumentaciones desempean un papel crtico en el
razonamiento evaluativo. La lgica general del trabajo de Glass es algo
ms compleja que las argumentaciones expuestas y prescindir de ella
hasta haber estudiado las argumentaciones particulares.
Gl a s s empieza con una breve introduccin que plantea el carcter pro
visional de las tcnicas de evaluacin y describe lo que pretende hacer. El
cuerpo del escrito se divide en diez partes.
La Parte I es una descripcin de la grabacin del AERA que pretende
evaluar. En s, constituye un estudio de la evaluacin de Michael Sc r i v en .
La Parte II menciona los tres objetivos del producto y los evala. Preparar
a evaluadores es bueno, dado que hacen falta destrezas de evaluacin a
causa de la legislacin que ordena efectuar evaluaciones (causa y efecto).
La produccin de una cassette que pueda utilizarse mientras se va a trabajar
puede o no ser deseable, puesto que invade el tiempo de una persona
dedicado a s misma de improviso (argumento pragmtico: se valora un
hecho por sus consecuencias). La experimentacin con nuevos medios es
recomendable si no es un mero pasatiempo tcnico (la persona y sus
acciones: intencin del actor). La prueba consistir en la adecuada evaluacin
de la cassette (intencin inferida a partir de la coherencia de las acciones:
la persona y sus acciones).
La Parte III describe el estado de la cuestin cuando entra en escena el
evaluador. Ya estaban decididas previo acuerdo las siguientes cuestiones:
el director, los temas de la grabacin, el profesor, la materia y las copias
iniciales. Todava no se haban decidido la venta de las cassettes, la seleccin
de los materiales y los planes de promocin y venta. Esto delimita dnde
t i ene sentido que Gl a s s centre su atencin. Est aqu implcito el argumento
de que sera una prdida de tiempo y esfuerzo del evaluador y de los
destinatarios ocuparse de cuestiones ya decididas (argumento de prdida).
La Parte IV se titula alternativas y constituye una forma brillante de dar
la vuelta a la argumentacin general. Gl ass enumera lo que podria adquirirse
con los recursos empleados en la produccin de la cassette: una sesin de
preparacin de una jornada para cien investigadores, la impresin de veinte
mil ejemplares de materiales escritos, una gratificacin semestral para un
investigador en formacin o cuatro becas para las sesiones de enfrenamiento
para investigadores procedentes de minoras tnicas. stas serian las alter
nativas para el patrocinador, la U.S. Office of Educatton Asimismo, se rea-
Moral . S. L
donan alternativas par a l o s dems destinatarios principales: el director, | |
AERA y el usuario.
El razonamiento comienza planteando lo que se dejara a cambio de la
adopcin del enfoque basado en la cassette (argumento de sacrificio). Esta
blece la equivalencia de las alternativas en relacin con lo que podra
comprarse con los recursos dedicados al plan de produccin de la cassette
(argumento de identidad). Las alternativas tambin son equivalentes porque
todas ellas son coherentes con la intencin del productor. Sin poner de
manifiesto las razones, Gl ass escoge la alternativa del texto mecanografiado
por ser la que cuenta con mayores ventajas (argumento de comparacin)
Por qu escoge la alternativa de mayor peso para proseguir las compara
ciones? En el razonamiento est implcita la idea de que se debe optar por
la tcnica que cumpla mejoreI fin que pretende el productor (argumento de
fines y medios).
Seleccionado el competidor ms fuerte, Gl as s , en la Parte l/del estudio
ampla al mximo la comparacin de costes entre el proyecto de produccin
de la cassette y el del texto escrito (argumentos de comparacin y sacrificio).
Estudiando las comparaciones de costes, afirma que el coste sera aceptable
para grupos de entre diez y quince personas; que la grabacin es demasiado
cara [paraello, menciona como autoridad el departamento de enseanza
audiovisual de Colorado (argumento de autoridad)]; que los textos escritos
seran ms fciles de almacenar, y que el coste del texto escrito podra
reducirse ms. Todos estos argumentos son variaciones basadas en com
paraciones entre los dos enfoques y en lo que podra costar cada uno ante
diversas contingencias.
La Parte VIconstituye la evaluacin intrnseca, que el evaluador califica
como secundaria. Es una evaluacin de la calidad tcnica, contenido y
utilizacin del carcter exclusivo del medio. Esta serie de argumentos se
ocupa de cuestiones que son secundarias respecto a la comparacin com
pleta entre el enfoque mediante la cassette y el del texto escrito, aunque
puedan ser importantes para un usuario potencial que desee adquirir las
cassettes.
La evaluacin de la calidad tcnica y del contenido se basan en el ideal
de lo que debieran ser la calidad tcnica y el contenido [las desviacio
nes de estos ideales son deficiencias (argumento del acto y la esencia)]. El
evaluador elabora una relacin de los criterios que considera pertinentes y
sobre los que suele haber acuerdo, dado que no trata de justificarlos. La
calidad tcnica engloba la calidad de la cinta magntica, de la fidelidad de
la grabacin, la calidad esttica, el montaje y la envoltura externa. Cada
criterio va acompaado por un juicio y algunas notas que mencionan obser
vaciones en las que se funda el juicio. Similares criterios a posteriori" se
aplican al contenido.
La segunda parte de la evaluacin intrnseca versa sobre la utilizacin
del carcter exclusivo del medio utilizado (cassette). Se trata, de nuevo, de
un argumento basado sobre todo en la esencia de la cassette (acto y
esencia). Se estudian dos afirmaciones del productor. El evaluador refuta
$ Ediciones Mor ata, S L
(Sis de l a l gi ca de una evaluaci n
jnanaiw_>__-------
247
sunci n de la ventaja que para el usuario suponga la posibilidad de
f t ener l a grabacin contando el nmero de detenciones. La segunda afir-
aci n, acerca de que un nmero significativo de personas tiene un mag
netf ono de cassette y tiempo durante el que escuchar las grabaciones se
n nf j rma mediante una encuesta por correo dirigida a cien miembros del
AERA (argumento de probabilidad). Sabiendo que se dirige a un pblico
constituido por investigadores educativos, Gl ass indica los intervalos de
confianza en una nota a pie de pgina. Durante la segunda parte, la com
paraci n latente con el texto escrito se utiliza para refutar las afirmaciones
del productor acerca de que la lectura del texto escrito no permite hacer las
mi smas cosas. El razonamiento de Gl ass se opone a la afirmacin del
product or respecto a las caractersticas exclusivas del enfoque basado
en la cassette (argumento de acto y esencia).
La Parte VII es la evaluacin de resultados, que el evaluador califica de
"primaria . La comparacin entre la cassette y el texto escrito se establece
en trminos de resultados. Dice que, aun cuando el medio auditivo fuera tan
eficaz en la transimisin de informacin, es ms lento. Esta comparacin
supone la medida. Es una comparacin basada en consecuencias pragmticas
(argumento de comparacin; argumento pragmtico). El acceso a la informa
cin tambin es mucho ms lento con la cassette (argumento de sacrificio).
Gl ass cita una revisin de estudios experimentales de comparacin
entre el medio auditivo y el visual, diciendo que no es concluyente porque
la eficacia relativa de cada uno depende de diversas contingencias. Esto no
favorece su agumentacin, salvo para aumentar la credibilidad del evaluador,
pero permite a Gl ass describir con detalle un estudio concreto que demuestra
la superioridad del aprendizaje visual (argumento de ilustracin).
La Parte VIII es un resumen de conclusiones y una serie independiente
de recomendaciones para cada uno de los conjuntos de destinatarios. Las
recomendaciones son muy directas, explcitas y especficas en cuanto a su
orientacin. De hecho, establecen una jerarqua de acciones que cada
destinatario puede adoptar, dependiendo de las contingencias.
La Parte IX muestra una relacin de aquellos destinatarios concretos a
quienes podra beneficiar el enfoque basado en la cassette. Los argumentos
consisten en que las cassettes benefician a los estudiantes invidentes y a
los grupos grandes, Reverse Luddites. Todos los argumentos de las Par
tes VIII y IX son variaciones de los de coste/ beneficio (argumentos de fines
y medios; argumentos pragmticos).
La Parte X es rara por su reflexividad. Se titula: Evaluating the Evaluator'
(Evaluacin del evaluador) y estudia los propios sesgos del evaluador.
por supuesto, el simple hecho de emprender esta labor refuerza la credibi-
idad del evaluador. Gl a s s indica que las evaluaciones suponen un coste,
sobre todo cuando destruyen la sensacin de comunidad (argumentos de
Persona y grupo). En este caso, l emprendi el estudio porque se lo pi di
el autor del producto (persona y acto). Demuestra su credibilidad mani festando
que llev a cabo acciones contrarias a sus propios intereses, poni endo de
Manifiesto su imparcialidad.
Edetones Mora* . & L
Evaluacin, tica y poder
Gl a s s divide sus motivos en las categoras excl usi vas de moti vos para
una evaluacin favorable" y "motivos para una eval uaci n desf avorabl e
(argumento de divisin de la totalidad en partes). Los sesgos a f avor de una
revisin positiva se derivan del hecho de que Gl ass es mi embro del comit
ejecutivo del AERA, los benefactores; y del hecho de que l os productores
son colegas directos suyos (argumento de persona y su grupo).
Los motivos a favor de una revisin negativa son que l mismo se neg
aparticipar, basndose en que el proyecto de la cassette no es rentable en
cuanto a la relacin coste/eficacia, y en el hecho de que, en cierta ocasin
el director del proyecto le venci en un partido de tenis de mesa. Estos
argumentos dependen del constructo de la persona que subyace a sus
actos (argumento de persona y actos). Concluye la evaluacin indicando
que no ha recogido datos relativos a las actitudes ante el producto ni sobre
su eficacia. Deja que los destinatarios saquen sus propias conclusiones
sobre la proporcin entre los sesgos y sobre la credibilidad global.
Merece la pena examinar la estructura general del estudio. Consiste en
una forma compleja de razonamiento denominada argumentacin de je
rarqua doble (Per el man y Ol br ec ht s-Ty t ec a, 1969). La argumentacin de
jerarqua doble consiste en dos jerarquas de valores u objetos que suelen
estar conectadas por relaciones a partir de la estructura de la realidad. Por
ejemplo, el enunciado de Leibniz de que dado que [Dios] cuida de los
gorriones, no se olvidar de las criaturas racionales que le son mucho ms
queridas" se basa en las jerarquas implcitas de las criaturas y de las
atenciones de Dios, conectadas por la causa y el efecto implicados. Las
argumentaciones de jerarqua doble adoptan con frecuencia la forma de
enunciados condicionales si... entonces y, por regla general, estn impl
citas.
La estructura lgica general de la evaluacin de Gl a s s parece ser la de
una argumentacin de jerarqua doble. Una jerarqua es la jerarqua de cos
tes. La otra es la de beneficios. Ambas estn conectadas por la relacin
entre medios y fines. De hecho, todo el estudio se basa en el establecimien
tode esta estructura lgica y de organizar las argumentaciones subordinadas
dentro del gran diseo general.
Por ejemplo, despus de definir el contexto del estudio por la descripcin
del producto, tos objetivos del productor y el punto en el que entra en
accin el evaluador, Glass establece una jerarqua de alternativas en la
Parte IV. En la Parte V, selecciona el competidor ms fuerte, estableciendo
la jerarqua de comparacin de costes entre los dos enfoques. En la Par
teVII elabora lajerarqua de beneficios, basada de nuevo en comparaciones
entre los dos enfoques. La relacin medios-fines conecta ambas jerarquas.
Bo exige escoger los mejores medios para conseguir los fines establecidos.
Las contingencias que aparecen en las Partes VIII y IX son estudios de lo
que ocurrira si nos desplazramos hacia arriba o hacia abajo en cualquiera
de las jerarquas de costes y beneficios. .
De este modo, Glass ha efectuado un anlisis coste/ beneficio sin hacer
Wfluna medida precisa de costes ni de beneficios. Adems, es persuasivo.
. ,ss de la lgi ca de una evaluacin
Un ana___- - .
240
rre0 que resulta tan irresistible a causa de la integracin de argumentos,
rodas las argumentaciones operan de manera econmica dentro de la
estructura general. Existen muy pocos movimientos extraos. Slo la intro
d u c c i n y la seccin final sobre la credibilidad del evaluador no contribuyen
e forma directa a la lnea argumental. Desde el punto de vista esttico,
estos dos apartados estn situados adecuadamente al principio y al final,
sjos inclinamos a pensar, con Po l an y i , que la prueba definitiva de veracidad
c o n s i s t e en la coherencia y en la belleza de la estructura
La parte ms difcil de manejar en el contexto del diseo general es la
VI, que versa sobre la calidad de la cassette. En realidad, a Gl as s le
pidieron que evaluase la cassette en s. Supongo que el problema bsico
de incompatibilidad intelectual del que surgi la evaluacin consista en que
la cassette en s era buena, pero Gl as s no consideraba justificada la inver
sin. l redefini el problema de manera que la evaluacin se refiriese al
enfoque mediante la cassette y no slo sobre sta. No obstante, no poda
evaluar el producto sin una evaluacin directa de la grabacin. Asimismo,
uno de los grupos destinatarios estaba constituido por los posibles usuarios
que compraran la grabacin y no slo los miembros de la ejecutiva del
AERA, que queran saber si la actividad en su conjunto estaba justificada B
consider secundaria la evaluacin de la cassette, frente a la evaluacin
primaria de resultados. Desde el punto de vista esttico, tambin le rest
Importancia situando la evaluacin intrnseca en medio de la presentacin
general.
Adems de la coherencia lgica de la evaluacin, tambin es persuasiva
porque las premisas del acuerdo haban sido bien seleccionadas en relacin
con los destinatarios. Las proporciones coste/beneficio constituyen valores
poderosos para los destinatarios y es raro que las personas versadas en la
tica utilitarista cuestionen las relaciones medios-fines. Gl as s lleva a los
destinatarios desde valores con los que comulgan hasta conclusiones que
quiz no aceptaran en principio. Conoce a la perfeccin a sus destinatarios,
dirigindose, incluso, directamente a cada sector y dndoles recomenda
ciones especficas para cada uno. No obstante, sospechamos que esgs
argumentaciones no resultan igualmente persuasivas para todos. Es probable
que algunos grupos tengan en cuenta valores y condiciones que la evalua
cin no contempla. Sin embargo, resuelve con elegancia, tanto lgica como
estticamente, el problema de los grupos complejos de destinatarios con
preocupaciones diferentes.
Cmo rechazar una evaluacin de este tipo? Podramos atacar la es
tructura argumental bsica negando la equivalencia de las alternativas y
cuestionando la seleccin del competidor ms fuerte, rechazando, en con
secuencia, la relacin medios-fines. Podramos atacar los costes y negar
los beneficios comparativos que se derivan del enfoque del texto escri ta Un
ataque dirigido contra la evaluacin secundaria de la calidad de la grabacin
no significa mucho porque no afecta a la lgica general del estudio, Gl ass
podra hacer ah algunas concesiones y llegar an a conclusi ones negativas.
Asimismo, podramos decir que el evaluador se halla excesivamente sesgado.
248
Evaluacin, tica y ppc)0r
Glass divide sus motivos en las cat egoras excl usi vas de mot i vos para
una evaluacin favorable" y "motivos para una evaluacin desf avorabl e
(argumento de divisin de la totalidad en partes). Los sesgos a f avor de una
revisin positiva se derivan del hecho de que Gl a s s es mi embro del comi t
ejecutivo del AERA, los benef actores; y del hecho de que l os product ores
son colegas directos suyos (argumento de persona y su grupo).
Los motivos a favor de una revisin negativa son que l mismo se neg
a participar, basndose en que el proyecto de la cassette no es rentable en
cuanto a la relacin coste/eficacia, y en el hecho de que, en cierta ocasin,
el director del proyecto le venci en un partido de t eni s de mesa. Estos
argumentos dependen del constructo de la persona que subyace a sus
actos (argumento de persona y actos). Concluye la evaluacin indicando
que no ha recogido datos relativos a las actitudes ante el producto ni sobre
su eficacia. Deja que los destinatarios saquen sus propias conclusiones
sobre la proporcin entre los sesgos y sobre la credibilidad global.
Merece la pena examinar la est ruct ura g e n e r a l del estudio. Consiste en
una forma compleja de razonamiento denominada argumentacin de je
rarqua doble" (Per el man y Ol b r ec h t s -Ty t e c a , 1969). La argumentacin de
jerarqua doble consiste en dos jerarquas de valores u objetos que suelen
estar conectadas por relaci ones a partir de la estructura de la realidad. Por
ejemplo, el enunciado de Lei bni z de que dado que [Dios] cuida de los
gorriones, no se olvidar de las criaturas racionales que le son mucho ms
queridas" se basa en las jerarquas implcitas de las criaturas y de las
atenciones de Dios, conectadas por la causa y el efecto implicados. Las
argumentaciones de jerarqua doble adoptan con frecuencia la forma de
enunciados condicionales si... entonces y, por regla general, estn impl
citas.
La estructura lgica general de la evaluacin de Gl a s s parece ser la de
una argumentacin de jerarqua doble. Una jerarqua es la jerarqua de cos
tes. La otra es la de beneficios. Ambas estn conectadas por la relacin
entre medios y fines. De hecho, todo el estudio se basa en el establecimien
to de esta estructura lgica y de organizar las argumentaciones subordinadas
dentro del gran diseo general.
Por ejemplo, despus de definir el contexto del estudio por la descripcin
del producto, los objetivos del productor y el punto en el que entra en
accin el evaluador, Glass establece una jerarqua de alternativas en la
Parte IV. En la Parte V, selecciona el competidor ms fuerte, estableciendo
la jerarqua de comparacin de costes entre los dos enfoques. En la Par
te VII elabora la jerarqua de beneficios, basada de nuevo en comparaciones
entre los dos enfoques. La relacin medios-fines conecta ambas jerarquas.
Ello exige escoger los mejores medios para conseguir los fines establecidos.
Las contingencias que aparecen en las Partes VIII y IX son estudios de lo
que ocurrira si nos desplazramos hacia arriba o hacia abajo en cualquiera
de las jerarquas de costes y beneficios.
De este modo, Glass ha efectuado un anlisis coste/beneficio sin hacer
ninguna medida precisa de costes ni de beneficios. Adems, es persuasivo.
$ Ediciones Morata, 8. L
anlisis de la lgica de una evaluacin
249
creo que resulta tan irresistible a causa de la integracin de argumentos,
rodas las argumentaciones operan de manera econmica dentro de la
estructura general. Existen muy pocos movimientos extraos. Slo la intro
d u c c i n y la seccin final sobre la credibilidad del evaluador no contribuyen
(je forma directa a la lnea argumental. Desde el punto de vista esttico,
estos dos apartados estn situados adecuadamente al principio y al final,
jsjos inclinamos a pensar, con Polanyi, que la prueba definitiva de veracidad
c o n s i s t e en la coherencia y en la belleza de la estructura
La parte ms difcil de manejar en el contexto del diseo general es la
VI, que versa sobre la calidad de la cassette. En realidad, a Gl ass le
pidieron que evaluase la cassette en s. Supongo que el problema bsico
de incompatibilidad intelectual del que surgi la evaluacin consista en que
la cassette en s era buena, pero Gl ass no consideraba justificada la inver
sin. l redefini el problema de manera que la evaluacin se refiriese al
enfoque medi ant e la cassette y no slo sobre sta. No obstante, no poda
evaluar el producto sin una evaluacin directa de la grabacin. Asimismo,
uno de los grupos destinatarios estaba constituido por los posibles usuarios
que compraran la grabacin y no slo los miembros de la ejecutiva del
AERA, que queran saber si la actividad en su conjunto estaba justificada l
consider secundaria la evaluacin de la cassette, frente a la evaluacin
primaria de resultados. Desde el punto de vista esttico, tambin le rest
importancia situando la evaluacin intrnseca en medio de la presentacin
general.
Adems de la coherencia lgica de la evaluacin, tambin es persuasiva
porque las premisas del acuerdo haban sido bien seleccionadas en relacin
con los destinatarios. Las proporciones coste/beneficio constituyen valores
poderosos para los destinatarios y es raro que las personas versadas en la
tica utilitarista cuestionen las relaciones medios-fines. Gl ass lleva a los
destinatarios desde valores con los que comulgan hasta conclusiones que
quiz no aceptaran en principio. Conoce a la perfeccin a sus destinatarios,
dirigindose, incluso, directamente a cada sector y dndoles recomenda
ciones especficas para cada uno. No obstante, sospechamos que estis
argumentaciones no resultan igualmente persuasivas para todos. Es probable
que algunos grupos tengan en cuenta valores y condiciones que la evalua
cin no contempla. Sin embargo, resuelve con elegancia, tanto lgica como
estticamente, el problema de los grupos complejos de destinatarios coi
preocupaciones diferentes.
Cmo rechazar una evaluacin de este tipo? Podramos atacar la es
tructura argumental bsica negando la equivalencia de las alternativas y
cuestionando la seleccin del competidor ms fuerte, rechazando, en con
secuencia, la relacin medios-fines. Podramos atacar los costes y negar
los beneficios comparativos que se derivan del enfoque del texto escrito. Un
ataque dirigido contra la evaluacin secundaria de la calidad de la grabacin
no significa mucho porque no afecta a la lgica general del estudio. Gl ass
podra hacer ah algunas concesiones y llegar an a conclusiones negativas.
Asimismo, podramos decir que el evaluador se halla excesivamente sesgado.
() Eritcionfts Monto. L
atacando, en consecuencia, la credibilidad del estudio, aunque la exposicin
que hace Glass de sus propias inclinaciones hace difcil abordarlo de ese
modo. Toda evaluacin es discutible, aunque sea muy persuasiva.
Hemos de hacer notar que, en esta magistral evaluacin, Gl ass ha
utilizado la mayora de los tipos argumntales antes mencionados. Se basa
especialmente en argumentaciones a partir de la estructura de la realidad
sobre todo en relaciones de sucesin que vinculan fenmenos con conse
cuencias, como los argumentos de medios y fines, y los cuasilgicos, como
las comparaciones. Presenta muy pocas argumentaciones que traten de
establecer laestructura de la realidad, como ejemplos y metforas.
Los procedimientos formales de recogida de datos slo se utilizan de
manera moderada y, cuando se emplean, no son fundamentales respecto a
laimportancia de laevaluacin. La mayora de los datos consiste en hechos"
ya aceptados. Los procedimientos formales de recogida de datos no son
esenciales para laevaluacin; la argumentacin s lo es.
Anlisis de la respuesta de Sc r iven a Ia evaluacin de Gl as s
Escrib este apartado cinco meses despus que el resto del texto por
que no conoca la respuesta de Scr i ven a la evaluacin de Gl ass has
taque este ltimo me habl de ella. La escala temporal es importante
porque Scr iven atac la evaluacin de Gl ass precisamente del modo que
habra que hacerlo, segn indicamos en el anterior apartado. Hace falta
negar laequivalencia de las alternativas y cuestionar la seleccin del com
petidor ms fuerte, rechazando de este modo la relacin entre medios y
fines, as como atacar los costes, negando los beneficios comparativos de
la alternativa del texto escrito. Esto es lo que hace Sc r i v en y resulta intere
sante lacomparacin de su razonamiento con el de Gl as s .
Scr iven (1972) comienza diciendo que le han invitado a responder a la
evaluacin de su cassette llevada a cabo por Gl ass (intenciones del actor:
argumento que relaciona a una persona con sus actos). Esquematiza las
condiciones bsicas que rodean su decisin de rehacer todo el segundo
ciclo en vez de revisar el primer producto. El argumento se presenta de
forma racional como una eleccin entre tres alternativas (argumento prag
mtico). Sin embargo, Scr i ven dedica tanto espacio a desarrollar el contexto
de su accin que resulta obvio que pretende que sus destinatarios com
prendan sus motivaciones (argumento de relacin de una persona con sus
actos).
Por otra parte, el problema de Scr i ven en relacin con los sesgos es
mucho mayor que el afrontado por Gl ass, pues Sc r i v en responde a una
evaluacin de un producto suyo, por lo que de inmediato se hace sospe
choso. Es interesante su actuacin al respecto: afirma que la direccin del
sesgo es tan evidente que no puede resultar lesiva (argumento pragmtico)-
Este argumento trata de romper la relacin entre el acto de contraargumen
tacin y la motivacin (sesgo) del actor (argumento de relacin de una
$ Ediciones Mor ata, 8. L
.jis de la lgi ca de una evaluacin
jn anliai --------- - ---------- 1
251
ersona con sus actos). Es una tentativa de reducir el sesgo que se percibe
en el actor. Sc r iv en refuerza su imparcialidad demostrando su capacidad
de distinguir entre excusas y crticas (en s, un argumento de divisin de
ia totalidad en partes). Aunque en las dos primeras partes de su respuesta
aparecen varios tipos de argumentos, Sc r iven los organiza con el fin de
quedar disociado del sesgo.
En la tercera parte, Sc r iv en pasa a considerar las conclusiones sobre
los aspectos materiales de la grabacin. Acepta la mayora de las crticas
de Gl as s (reforzando su credibilidad) pero desestima la conveniencia de
cintas magnetofnicas baratas porque su comportamiento es peor (argumento
pragmtico) debido a los efectos de calentamiento y de friccin (causa y
efecto). Asimismo, niega la deformacin del sonido si las cassettes se re
producen en magnetfonos adecuados. La mencin de los aparatos Advent
y Macintosh atrae de inmediato la atencin de los destinatarios aficionados
a los equipos de reproduccin de sonido y pone de manifiesto que Sc r iven
conoce el tema (argumento de autoridad). Queda claro, pues, por qu em
pieza por el anlisis de un aspecto de poca importancia relativa como es la
materialidad de la grabacin: Sc r iv en conoce mejor que Gl as s estos as
pectos. Constituye tambin un ataque al anlisis de costes de Gl as s en
relacin con la magnitud de la audiencia a la que podra llegarse y del
coste de las cintas magnetofnicas.
Poco hay que decir respecto a la calidad de la grabacin, pues la
evaluacin que Glass hace de la cinta de Sc r iven es un rosario de ala
banzas. Sc r iv en desestima la crtica de que la falta de citas constituya un
dficit, basndose en la informacin recibida procedente del campo (argu
mento de probabilidad).
A continuacin, llega el ataque fundamental de Sc r iven contra la lgica
de la evaluacin de Gl as s . Sc r iv en concede que el procedimiento gene
ral de efectuar en concreto estimaciones comparativas de coste/ eficacia
me parece absolutamente correcto y, en realidad, es el mtodo que debe
elegirse en toda evaluacin educativa. Pero no est de acuerdo con la
valoracin que hace Gl as s de los costes y de los beneficios y, sobre todo,
con la forma utilizada por l para relacionarlos. El alegato fundamental de
Sc r iv en consiste en que Gl as s ha seleccionado para la comparacin un
competidor errneo (el texto escrito).
Sostiene Sc r iv en que la cassette pretende fines diferentes de los propios
del texto escrito; es ms til que escuchar la radio en el coche y puede
constituir un sustituto barato de un profesor visitante en un curso (estos dos
objetivos exclusivos se establecen por definicin). Estas argumentaciones
niegan la equivalencia de resultados establecida por Gl as s (argumento de
identidad). Las cassettes cumplen fines diferentes y, por tanto, las alternativas
no son equivalentes. La cassette constituye un elemento motivador en lugares
en los que el material escrito no lo es (argumento pragmtico). Por otra
parte, los costes son similares a los de las cintas magnetofnicas comeraates
(comparacin con la norma).
Sc r iv en admite las ventajas del texto escrito en cuanto a coste, velocidad
$ Ediciones Morete, & i .
252
Eval uaci n, ti ca y poder
y repeticin, pero lacassette introduce un nuevo elemento del que carece
el material escrito. Scriven da varias razones para utilizar la cassette en
clase: permite escuchar en directo a la autoridad; son preferibles varias
voces a una sola, y lagrabacin proporciona variedad (argumento pragmtico,
de latotalidad superior a las partes y de desarrollo ilimitado). Aunque en
general no sea superior, s ensancha el repertorio . Ntese que, sobre
todo, Scriven se manifiesta a favor del carcter excl usivo de la cassette,
mientras que Glass afirma que el texto escrito cumplimenta mayor cantidad
de los objetivos comunes (cualitativo frente a cuantitativo).
Scr iven considera problemticas las alternativas de costes. Quiz el
dinero para laproduccin de las cassettes no estuviera disponible para
ninguna otracosa en las circunstancias concretas (argumento de prdida?).
Aunque si lo estuviera, el AERA debera experimentar (acto y esencia: la
experimentacin", criterio implcito del AERA); y ste es un experimento
razonable, habida cuenta de otros intentos (argumento de comparacin con
lanorma). Por otraparte, es mejor probarlo en educacin para poder utilizarlo
en ella (identidadparcial?).
Pero la principal objecin de Scriven en contra de la evaluacin de Glass
se refiereal objeto de comparacin: Por tanto, mi principal crtica de la
evaluacin de Glass se refiere a la eleccin de la principal comparacin
fundamental. No debera haber sido el texto escrito, sino el mejor contenido
y envoltorio ms barato de cassette. El desacuerdo no slo tiene que ver
con lacomparacin, versa tambin sobre si la conexin de costes y benefi
cios debe hacerse por medio de un argumento medios-fines, que seale el
mejor competidor (el texto escrito) o mediante un argumento pragmtico,
que apunte al competidor menor.
Scr iven insisteen el carcter exclusivo del medio. Aunque Gl as s refuta
el argumento de dicho carcter contando el nmero de veces que Sc r iv en
detiene lacinta, ste dice que no le persuade la refutacin porque Gl as s no
ofrece algo que suponga una utilizacin exclusiva. Sc r i v e n apunta como
factor nico la comprehensibilidad, admitiendo que el nmero de deten
ciones de lacassette es mal indicador de ese criterio (argumento de acto y
esencia).
En laltima parte de su respuesta, Scriven indica que la categora
Reverse Luddites" de posibles audiencias, que seala Glass, est concebida
de forma demasiado restringida y que hay muchas personas normales que
sacaran provecho de la cassette porque hay gente que prefiere escuchar a
leer (argumento de frecuencia). En realidad, todo el mundo lo hace en algn
momento del da (causa y efecto). Scriven respalda estas argumentaciones
preguntndole a su mujer (argumento de ilustracin), del mismo modo que
Glass utilizaun estudio de uno de sus alumnos graduados. Por ltimo,
Scriven dice que tambin debemos tener en cuenta los beneficios adicionales
correspondientes a loaprendido por la poblacin intermediaria (l mismo y
el productor) (argumento pragmtico). Todos estos argumentos incrementan
los beneficios, haciendo ms aceptable la proporcin coste/ beneficio.
La lgica general de la evaluacin origi nal de Gl a s s consi st e en un
doom Morata, 8. L
Aiicis de l a l gi ca de una evaluaci n
jnanansjjL__------ -----------
253
faumento de jerarqua doble de costes y beneficios conectada por una
elacin medios-fines. Scri ven percibe con toda claridad esta estructura y
r cepta Ia comparacin bsica de costes y beneficios como mtodo preferible
en toda evaluacin. Trata de demostrar que los costes no son extravagantes
poco razonables y que Gl a s s ha subestimado de forma significativa los
beneficios de la cassette. Pero la crtica principal consiste en rechazar el
argumento medios-fines de Gl a s s , reemplazndolo, como enlace entre costes
y beneficios por un argumento pragmtico. El argumento medios-fines re
quiere la comparacin de la cassette con la mejor alternativa disponible. El
argumento pragmtico de Scri ven slo requiere que la cassette sea la me
jor en relacin con todas las dems cassettes existentes. La estrategia de
Scriven consiste en sostener las caractersticas exclusivas de la cassette,
de manera que no tenga que entrar en una competicin frontal y en todos
los aspectos con el texto escrito. Scriven defiende un terreno de comparacin
cualitativamente diferente.
En su forma elemental, el argumento pragmtico consiste en evaluar un
hecho en relacin con sus consecuencias. El argumento de medios a fines,
por su parte, depende del acuerdo sobre estos ltimos. La determinacin
de los mejores medios para conseguir los fines depende de la definicin
exacta de los resultados que se pretenden. No se tienen en cuenta los
valores no relacionados con los fines. Si stos estn definidos con precisin
y se est de acuerdo en ellos, la determinacin de los medios mejores se
convierte en un problema tcnico. Este razonamiento, adecuado para las
disciplinas tcnicas, es muy diferente del cotidiano.
Hablando en general, el trabajo de Gl ass en conjunto tiende a centrarse
en el razonamiento de medios a fines y a orientarse en un sentido ms
tcnico, mientras que el de Scr i ven tiende a basarse ms en la argumenta
cin pragmtica. De hecho, la evaluacin independiente de los objetivos del
programa evaluado de Scr i ven puede considerarse como la expresin ltima
del argumento pragmtico. No nos preocupamos en absoluto de los fines
manifiestos sino slo de las consecuencias del objeto sometido a evaluacin.
En general, la concepcin de un problema de evaluacin segn la lgica de
medios-fines tiende a devaluar los medios en relacin con los fines, mien
tras que la concepcin del mismo problema segn la lgica de hecho-con
secuencias tiende a dar mayor importancia relativa al hecho. La oposicin
de Sc r i v en a Gl ass culmina en una discusin sobre los fines del proyec
to de la cassette.
En un nivel ms abstracto, la disputa se plantea entre dos principios de
opcin racional: el principio de los medios eficaces y el principio de inclusi-
vidad (Rawl s, 1971). El principio de los medios eficaces estipula que, dado
un objetivo, hay que conseguirlo con el menor gasto posible de medios o,
dados los medios, ha de cumplirse el objetivo en la mayor medida posible.
En otras palabras, han de adoptarse las mejores alternativas.
El principio de inclusividad estipula que ha de preferirse un plan a otro
alternativo si, adems de los objetivos del segundo, cumple otros adicionales
Al defender el enfoque de la cassette como modo de ampliacin dei reper
254 Eval uaci n, t i cav n ^
torio, pero no como sustituto total del texto escrito, Sc r i v en se expresa del
modo antes citado.
Las pocas diferencias entre Gl ass y Sc r i v en no deben ocultar las muchas
semejanzas de sus argumentos evaluativos. Ambos aceptan la comparacin
de costes y beneficios como mtodo preferible. Ambos se basan especial
mente en argumentos de estructura de la realidad, fundndose algo ms
Gl ass en las relaciones de coexistencia, p. ej., las existentes entre una per
sona y sus actos y entre una persona y su grupo. Sc r i v en se basa algo
ms en argumentos de relaciones de sucesin, sobre todo en los pragmti
cos. A pesar de los argumentos de estructura de la realidad, se recaba
poca informacin procedente de terceros. Ambos evaluadores se basan en
sus propias observaciones personales para extraer los datos primarios.
De forma secundaria, ambos utilizan argumentos cuasilgicos, aunque
slo son la mitad de frecuentes que los argumentos antes mencionados.
Ambos utilizan en una sola ocasin argumentaciones que tratan de establecer
la estructura de la realidad, p. ej., ejemplos, analogas, etc. Un tipo de eva
luacin completamente distinto habra consistido en una utilizacin de campo
de las cassettes, recogiendo ancdotas respecto a la forma de utilizarlas.
Tanto Gl ass como Scr i ven utilizan en sus respectivos artculos ms de
veinticinco argumentos, aunque el de Gl a s s ocupa el doble que el de Scr i -
ven. La elevada densidad argumental de Sc r i v en refleja su estilo general:
tiene la habilidad de presentar una serie de razones respecto a un juicio
determinado, una tras otra, de manera profusa y lineal. Tanto aqu como en
otros casos, Gl ass presenta menos razones, pero estn articuladas entre s
de manera ms cuidadosa, basndose minuciosamente unos argumentos
en otros.
En parte por eso, el trabajo de Gl as s es ms 9oherente y agradable,
desde el punto de vista esttico, que el de Sc r i v en . ste tiene la desventaja
de estar respondiendo al artculo de Gl a s s , en vez de crear una argumen
tacin propia, plenamente estructurada, como hizo, por ejemplo, en su artculo
sobre la evaluacin independiente de los objetivos (Sc r i v en , 1973). El flujo
algo irregular que se aprecia en el artculo de Sc r i v en cuando responde a
diversas cuestiones del de Gl ass resta algo de la persuasividad global de
sus argumentos. Es una grave desventaja a la que tienen que hacer frente
quienes responden a otro documento.
Por ltimo, hay que sealar que este intercambio de opiniones entre dos
de los principales tericos de la evaluacin no se refiere sobre todo a los
datos. La disputa se plantea en torno a la comparacin ms adecuada al
objeto sometido a evaluacin, que puede llevarse hasta la forma argumental
preferida y a los destinatarios a quienes se dirige. Algunos piensan que
todas las disputas pueden resolverse acudiendo a los datos, pero no es as.
A menudo, lo que se discute es la lgica de la evaluacin.
$ Ediciones Morata, 8, L
^pNDl CE B
La evaluacin naturalista
Cuando leemos una novela o un poema, aprendemos algo. Si alguien
nos preguntase qu hemos aprendido, nos resultara difcil decirlo. A menudo,
el conocimiento adquirido mediante este tipo de lectura no reviste forma
proposicional. Sin embargo, al leer estas obras, la experiencia de la novela
o del poema queda cartografiada en la mente del lector. Se ha dado en
llamar naturalistas (St ak e, 1976) o espontneas (Per el man y Ol br ec ht s -
Ty t e c a , 1969) a los tipos de generalizaciones que el lector consigue. La
generalizacin naturalista utiliza un tipo especial de argumentacin cuali
tativa.
Los argumentos que tratan de establecer la estructura de la realidad y
suponen el mnimo acuerdo previo entre el autor y su pblico son los ms
utilizados en la evaluacin naturalista. Entre ellos se cuentan el ejemplo,
la ilustracin, la analoga y la metfora. Yo considero naturalista una
evaluacin que procure que sus destinatarios lleguen a generalizaciones
naturalistas; que se dirija a destinatarios no tcnicos, como los maestros o
el pblico en general; que utilice el lenguaje ordinario; que se base en el
razonamiento informal cotidiano, y que utilice de forma generalizada argu
mentos que traten de establecer la estructura de la realidad. En esta categona
incluyo la mayor parte de las evaluaciones mediante el estudio de casos,
as como las que emplean procedimientos de tipo judicial.
Denzi n (1971) describe el enfoque naturalista en sociologa. Trata de
mezclar las caractersticas encubiertas e ntimas del acto social con sus
homlogas pblicas y observables, en sentido conductual. De este modo,
va adelante y atrs entre la palabra y la accin, la definicin y el acto. El
observador forma parte del acto de investigacin y las reflexiones sobre s
mismo pueden constituir datos importantes. La investigacin comienza con
cuestiones preocupantes y admite cualesquiera datos ticos pertinentes.
La atencin se centra en la complejidad de la vida diaria y el naturalismo
trata de comprender el mundo cotidiano segn la experiencia de quienes lo
Ecftciones Morate, S C
Evaluacin, tl cav n ^
viven. El naturalista demuestra un profundo respeto haca el mundo empfrCo
Los participantes constituyen fuentes constantes de i deas y elementos de
verificacin de stas que elabora el naturalista. Para represent ar la totalidad
del cuadro, son esenciales las perspectivas mltiples. Cuando trata de ex
plicar los acontecimientos, el naturalista desarrol l a di l ogos encubiertos'
consigo mismo e, incluso, es probable que t ome not a de ell os.
Como las diversas interacciones constituyen el cent ro de atencin, el
naturalista ha de seguir el desarrollo de los acont eci mi ent os en el tiempo
Busca explicaciones ms que previsiones, y las expl i caci ones se basan
por regla general, en las razones ret rospectivas que dan las personas so
bre sus propias conductas y las de otros. Est o hace necesari a la inmersin
en la cultura y en la forma de expresin de los part i ci pant es. Las acciones
conjuntas constituyen aspectos f undamentales a l os que prest ar atencin
debiendo tenerse en cuenta en perspecti va hi stri ca.
La validez se deriva de la comprobaci n cruzada de i nf ormaciones
procedentes de distintas fuentes de datos y de la comprobaci n de las
percepciones del evaluador respecto a las de los part i ci pant es. Los proble
mas y cuestiones surgen de las personas y si t uaci ones que se someten
a estudio ms que de las preconcepciones del i nvest i gador. Los conceptos
y los indicadores "se derivan del mundo de si gni f i cados y acci ones del
sujeto". Al estructurar sus explicaciones, el naturali sta busca la convergencia
de sus fuentes de datos y elabora expl i caci ones en f ases sucesi vas que
parten de la base de que ningn acont eci mi ent o depende de una nica
causa. Un procedimiento habitual consiste en buscar l os orgenes de los
acontecimientos importantes. La i ntrospecci n const i t uye una interesante
fuente de datos.
Por supuesto, el socilogo pretende elaborar una teora generalizable. El
evaluador naturalista slo se preocupa por el caso que evala. El socilogo
tratar de justificar sus conclusiones ante un pblico universal. El evaluador
naturalista debe ajustar su trabajo a un pblico concreto, que puede estar
constituido por los participantes en el programa sometido a evaluacin. Al
presentar sus estudios, ambos han de fundarse de modo especial en ejem
plos e ilustraciones extrados del campo. El evaluador puede sacar o no
conclusiones especficas a partir de los ejemplos. Si stos estn recogidos
y presentados de forma sistemtica, su lgica se parecer a la del razona
miento inductivo. Sin embargo, en la evaluacin naturalista, los destinatarios
siempre tienen la opcin de interpretar los descubrimientos y asignarles la
credibilidad que les corresponda.
Cada vez son ms corrientes las evaluaciones que utilizan ej empl os e
ilustraciones de forma generalizada e, incluso, que consisten por completo
en un nico ejemplo ampliado. Tienen especial importancia cuando se
dirigen a destinatarios no tcnicos que no estn acostumbrados a l as formas
ms secretas de argumento cuantitativo, y a destinatarios de qui enes fl
evaluador no puede presuponer las bases sobre las que llegar a un acuerdo-
Los profesionales de la escuela se encuadran en ambas cat egoras,
peligroso suponer de antemano que ellos parten de los mismos val ores y
6 EdcionM Morata, 8. L
.valuacin naturalista 257
vgp, la realidad del mismo modo que los evaluadores o los funcionarios del
gobierno.
Las anal ogas y metf oras no suelen utilizarse en evaluacin porque a
menudo se perci ben como meras figuras literarias y, por tanto, como datos
poco fiables. No obstante, s son formas importantes de llegar a establecer
generalizaciones naturalistas. Petrie (1976) dice que los paradigmas de
Kuhn t ransmi ten categoras cognitivas esenciales para la iniciacin en la
comprensin de las teoras cientficas. Ortony (1975a, 1975b) expone de
qu f orma operan las metf oras para ampliar el marco de pensamiento.
Ortony sosti ene que las palabras no transmiten con precisin el flujo de
experi enci a tal como se presenta a la mente humana. La experiencia es
continua y no di screta, y aunque las palabras no tengan significados exclu
sivos como los smbol os de los sistemas lgicos, tampoco reflejan con
exactitud t odas las f ormas de experiencia. Mediante la particularizacin,
las metf oras ayudan a salvar la distancia entre el lenguaje y la experiencia
La part iculari zaci n transmite i mgenes mentales a la mente del lector. Una
expresin como guerrero audaz evoca su significado de forma ms sucinta
y compact a que una larga descripcin. Adems, las metforas pueden
recoger di st i nci ones i nexpresables de otra forma.
Segn Ortony, otra caracterstica de las metforas es su vivacidad.
Estn muy prximas a la experiencia y transmiten significados emocionales,
tanto como cogni t ivos y sensoriales. Esta imaginabilidad se asocia con su
f acilidad de aprendi zaj e. Las metforas facilitan la perspicacia y la com
prensi n personal pasando de lo conocido a lo menos conocido. Facilitan
la generali zacin naturalista de los destinatarios. Sin embargo, es fundamen
tal que el autor comprenda a su audiencia con el fin de saber si una afir
maci n metaf ri ca ampli ar la comprensin o dejar en suspenso a los
destinatari os.
Ortony extiende tambi n esta concepcin del lenguaje a la situacin de
enseanza-aprendi zaj e. Basndose en la idea del conocimiento tcito
de Polanyi, sostiene que el profesor debe saber siempre mucho ms que lo
que pueda expresar en f orma proposicional. Este conocimiento tcito que,
en parte, es de apli cacin contextual, constituye la comprensin profunda
de un campo o disciplina. Con el fin de comunicar el saber a un alumno, el
prof esor debe selecci onar aspectos de su conocimiento tcito y procurar
representarl o en f orma proposicional. Esta forma siempre se aleja algo de
la plena comprensi n tcita.
En pri ncipi o, el estudiante slo ve proposiciones. Es como aprender a
montar en bi ci cleta leyendo una serie de instrucciones. La conducta del
pri ncipi ante est controlada por el conocimiento proposicional explcito, que
resulta i nadecuado. Aqu es donde el profesor puede ayudar al alumno por
medi o de ej empl os, metforas y expresiones no literales.
Los cientficos que tratan de aprender su disciplina encuentran problemas
semej ant es. Segn crticos importantes, sera imposible aprender una disci
pli na cientf ica li mitndose slo a seguir un conjunto de reglas (Polanyi,
1958; Kuhn, 1970). Segn Kuhn, un cientfico aprende su disciplina por
Ediciones Monte, & L.
Evaluacin, tica y poder
medio de un conjunto de paradigmas (problemas concret os que permiten
soluciones que hacen posible que el novato est abl ezca comparaci ones con
otros problemas diferentes). El significado compartido se transf iere por medio
de estas experiencias y no slo mediante reglas.
La semejanza entre las generalizaciones naturali stas en la evaluacin,
mediante el uso de ejemplos y metforas y otros argument os que tratan de
establecer la estructura de la realidad, es obvia. Aun a falta de proposiciones
cientficamente verificadas en el sentido de la lgica f ormal , se facilita la
comprensin y el conocimiento de los destinatarios. Aunque las premisas
epistemolgicas y psicolgicas en las que se basa sean di f erentes de las
de otros tipos de evaluacin, la evaluacin naturali sta si gue si endo una
forma de argumentacin.
$ ic&m Monta, $, i.
ApNDICE C
Un contrato de evaluacin
(Prot ocol o de contrat o entre el equi po
de eval uacin y MEA/ NE)
1. Cometido
El jurado de evaluacin externa compuesto por el Dr. Wendell River s, el
Dr. Ernest Ho u s e y el Dr. Daniel St uf f l ebeam ha sido encargado por la
Michigan Education Association y por la National Education Association
para evaluar la validez y utilidad educativas en Michigan del Michigan
Accountability Model, ocupndose de modo especial del componente de
evaluacin.
2. Destinatarios (en orden de prioridad)
NEA/ MEA.
Responsables de decisiones del sistema educativo de Michigan (State
Board of Education y State Department of Education).
Los medios de comunicacin (el pblico).
Los usuarios (padres, PTA, pblico en general, etc.).
Personal tcnico (sobre todo del rea de la medicin educativa).
3. informe y publicacin del mismo
El tribunal slo es responsable de la realizacin de la evaluacin y de
su informe final. La NEA y la MEA pueden redactar y divulgar documentos
independientes (como puntualizaciones, impugnaciones, comentarios o do
cumentos de carcter descriptivo). Se conviene que el informe del equipo
sea lo ms reducido y directo posible y que ha de estar elaborado para
comunicarlo a los destinatarios previstos del informe.
Ediciones Monto, S. fc
Evaluacin, tica v n ^ nr
4. Divulgacin
El tribunal externo tiene derecho a facilitar su informe a cualesquiera
miembros de los grupos destinatarios o a otras personas tras su elaboracin.
La entrega del informe no supone el respaldo de la MEA o de la NEA
Ambas instituciones pueden optar por refrendar o no el informe, dependiendo
de su juicio sobre la calidad y adecuacin del informe. La MEA y la NEA
decidirn, en su caso, la publicacin de sus propios documentos que des
criban el informe, bien entendido que tales documentos se identificarn
como propios y no como del equipo de evaluacin. nicamente el informe
final, tal como lo prepare este equipo, ser divulgado de manera que figuren
en l los nombres de los componentes de dicho equipo.
5. Formato del informe
Se considera deseable que en el informe final del equipo de evaluacin
figuren los siguientes items:
a) mencin de los acuerdos entre el equipo de revisin y NEA/MEA;
b) presentacin de los principales descubrimientos;
c) presentacin de las opiniones minoritarias, si las hubiera.
6. Cuestiones que se deben tratar en el informe
Se tratarn fas siguientes cuestiones especf i cas:
a) validez y fiabilidad de los tests ref eri dos a crit eri o;
b) utilizacin de los tests para eval uar al prof esorado;
c) importancia de los objetivos en los que se basa l a eval uaci n de
Michigan;
d) participacin de los profesores en la el aboraci n de di chos objetivos
y de los tests;
e) recomendaciones del equipo de eval uaci n rel at i vas a posi bl es cam
bios y posteriores estudios;
f) comentarios sobre el equilibrio entre el esf uerzo del Est ado y Ia
conveniencia de ampliar el mbito de la eval uaci n, habi da cuent a,
sobre todo, de los factores de coste asoci ados con l os proyect os
para mejorar o ampliar la evaluacin de Mi chi gan; * SLy f
g) calidad de la planificacin en el Michigan Accountability Program,
h) proyecciones de coste/ beneficio respect o al programa; ' m
i) valor de los resultados e informes de eval uaci n para los distint
niveles de destinatarios de Michi gan;
jj problemas de sesgo en el Michigan Accountability Program;
de evaluacin (Protocolo de contrato entre el equipo evaluacin y MEA/ NEA)
261
contrato
7 Recursos (presupuesto) del programa
La MEA y la NEA aportarn al equipo externo de evaluacin: recursos
eficientes para cubrir ocho das de trabajo de cada miembro de dicho
equipo en el programa, el apoyo administrativo que fuera necesario y cua
l esqui era requisitos de materiales y equipos, por ejemplo, magnetfonos,
cintas magnet of ni cas, etc., para las audiencias que se desarrollen en Lan
sing. Si cualquiera de los miembros del equipo tuviera que efectuar llamadas
telef nicas interurbanas para solicitar a personas que trabajan en Michigan
sus opi ni ones sobre el programa, tales gastos les sern reembolsados,
si empre que presenten un informe exacto y completo sobre el objetivo de la
llamada, indicando la persona con la que se contact.
8. Calendario de entrega
El tribunal de evaluacin ha de entregar su informe final el 1 de marzo o
tan pronto como fuera posible a partir de esa fecha.
9. Acceso a datos
El Michigan Department of Education pondr a disposicin del tribunal
de evaluacin cuantos datos e informes solicitara ste para realizar su
trabajo. Esta disponibilidad se limita, como es obvio, a los datos e informes
de los que dispone en la actualidad el Michigan Department of Education
respecto a los datos contabilizados en Michigan.
10. Procedimientos
De acuerdo con las condiciones anteriores, el tribunal externo de tres
personas tendr pleno control del proceso de evaluacin que debe poner
en prctica para cumplimentar responsablemente el trabajo a l encomen
dado y que acepta desarrollar. En consonancia, el tribunal acuerda imple-
mentar el siguiente procedimiento general:
Celebrar entrevistas exclusivamente con representantes del Michigan
Department of Education, representantes de la NEA y la MEA, y de grupos
seleccionados (profesores, administradores, consejeros de direccin y gru
pos de accin educativa). Asimismo, el tribunal revisar los documentos
que pongan a su disposicin la NEA, la MEA y el Michigan Department of
Education. Por ltimo, conceder audiencias para recabar informacin adi
cional sobre las cuestiones que considere de relieve en el transcurso de las
entrevistas con diversos grupos interesados y al estudiar los distintos docu
mentos.
UNIVERSI DAO NAI
SANCRISTOBAL DE
i
A
# Edoortss Morata, & L
Bibliografa
Alkin, M. C., R. Dai llak, y P. Whi t e (1979). Using Evaluations. Beverly Hills: Sage
Publications.
-------y F. S. El l et t (1979). The importance of category systems in evaluation
theory: a personal viewpoint. CEDR Quarterly 12 (Otoo), pgs. 3-5.
Amarel, M., E. R. House, D. Langmeyer, D. Lort i e, R. Mayer, L. McLean, y L. Seal ey
(1979). Reform, Response, and Renegotiation Transitions in a School Change
Project Nueva York, Ford Foundation.
Apple, M., (1979). Ideology and Curriculum. Londres, Routledge & Kegan Paul. (Trad,
cast: Ideologa y currlculo. Madrid, Akal, 1986.)
At ki n, J. M. (1968). Behavioral objectives in curriculum design: a cautionary note.
Science Teacher 35 (Mayo), pgs. 27-30.
Baker, E. L y E. S. Quel l mal z (eds.) (1980). Educational Testing and Evaluation:
Design, Analysis, and Policy. Beverly Hills, Sage Publications.
Barnes, R. E. y A. L Gi nsburg (1979). Relevance of the RMC models for Title I
policy concerns. Educational Evaluation and Policy Analysis 1 (Marzo-Abril),
pgs. 7-14.
Bar r y, B. (1973). The Liberal Theory of J ustice. Londres. Oxford Univ. Press.
------- (1965). Political Argument Londres, Routledge & Kegan Paul.
Bear dsl ey, M. (1958). Aesthetics. Nueva York, Harcourt Brace Jovanovich.
Ber ger , P. L (1974). Policy and the calculus of meaning, en Pyramids of Sacrifice.
Nueva York: Basic Books.
Bernstein, R. J. (1978). The Restructuring of Social and Political Theory. Filadelfia,
Univ. Of Pennsylvania Press. .
Beyer, L. E. (1977). "Schools, aesthetic meanings, and social change. Educational
Theory 27 (Otoo), pgs. 274-282.
------- (1974). Objectivity, autonomy, and aesthetic evaluation. Journal of Aesthetic
Education 8 (Julio), pgs. 107-118. .*
Bloom, B. S. (1956). Taxonomy of Educational Objectives. Nueva York, McKay.
(Trad, cast: Taxonoma de los objetivos de la educacin. Tomo j: mbito de
conocimiento, Alcoy, Marfil, 1975,2.aed.)
A Mfifm Murala. 8. L
o 0 M, B. S., J- T. Ha s t i n g s , y G. Mad aus (1971). Handbook on Formative and
Summative Evaluation of Student Learning. Nueva York, McGraw-Hill.
b o u l d i n g , K. (1956). The Image. Ann Arbor, Univ. of Michigan Press.
B o w l e s , Sv y H. Gi n t i s (1972-1973). I.Q. in the U.S. class structure. Social Policy 3
(Noviembre-Diciembre, Enero-Febrero), pgs. 65-96. (Trad, cast: La meritocracia
y el coeficiente de inteligencia: una nueva falacia del capitalismo. El I.Q. en la
estructura de clases de los Estados Unidos. Barcelona, Anagrama, 1976.)
B r o n o w s k i , J. (1956). Science and Human Values. Nueva York, Harper & Row.
B r o u d y , H. (1972). Enlightened Cherishing. Urbana, Univ. of Illinois Press.
B u r k e , K. (1945). A Grammar of Motives. Nueva York; Random House.
C a l l a h a n , R. E. (1962). Education and the Cult of Efficiency. Chicago, Univ. of Chicago
Press.
C a m p b e l l , D. T. (1975a). Assessing the impact of planned social change, en G. M.
Lyons (ed.) Social Research and Public Policies. Dartmouth College, NH: Public
Affairs Center.
------ (1975b). Degrees of freedom and the case study. Comparative Political
Studies 8, 2.
---------- (1974). Qualitative knowing in action research. Presentado a the American
Psychological Association. Nueva Orleans.
---------- (1966). Pattern matching as an essential in distal knowing, en K. R. Hammond
(ed.) The Psychology of Egon Brunswick. Nueva York: Holt, Rinehart & Winston.
---------- y J. St a n e l y (1966). Experimental and Quasi-Experimental Design for Re
search. Chicago, Rand McNally.
Ca r e, N. S. (1978). Participation and policy. Ethics 88 (Julio), pags. 316-337.
Co l ema n , J. S. (1975). Racial segregation in the schools: new research with new
policy implementations. Phi Delta Kappan 57 (Octubre), pags. 75-78.
-------y cols (1966). Equality of Educational Opportunity. Washington, DC: U.S.
Government Printing Office.
Co o l e y , W. W. y P. R. Lo h n es (1976). Evaluation Research in Education. Nueva
York: Irvington.
Cr o n b a c h , L. J. (1979). Design of Evaluations. Stanford: Stanford Evaluation Con
sortium.
-----------(1974). Beyond the two disciplines of scientific psychology. Presentado a
the American Psychological Association, Nueva Orleans.
-----------(1971). j e s t validation, en R. L. Thorndike (ed.). Educational Measurement
Washington, DC, American Council on Education.
Da t t a , L-E. (1976). The impact of the Westinghouse/Ohio evaluation on the deve
lopment of Project Head Start: an examination of the immediate and longer-term
effects and how they came about, en C. C. Abt (ed.) The Evaluation of Social
ProgramsBever\y Hills, Sage Publications.
Den z i n , N. K. (1971). The logic of naturalistic inquiry. Social Forces 50,2.
Di c k i e, G. (1971). Aesthetics, Indianapolis, Bobbs-Merrill.
Di g g s , B. J. (1974). The State, Justice, and the Common Good. Glenview, II, Scott,
Foresman.
Eg b e r t , R. (1977). Interview conducted at the Center for Instructional Research and
Curriculum Evaluation, University of Illinois, urbana, IL, Abril 28.
Ei s n er , E. (1979). The Educational Imagination. Nueva York, Macmillan.
El l i o t t , J. (1977). Democratic evaluation as social criticism: or putting the judgment
back into evaluation, en N. Norris (ed.) Theory in Practice. University of East
Anglia. Centre for Applied Research in Education, Norwich, England.
@ FHi ri nnas Morat a. S. L
Eval uaci n, t ica y r w^ r
Ejott, J. (1979). "Educational accountability and the evaluation of teaching", en
K Lewy (ed.) Evaluation Roles. '
El mor e, R. F. (1976). Follow Through: decision making in a large-scale social
experiment . Tesis Doctoral indita. School of Education, Harvard University.
Ennis, R. H. (1975). Equality of educational opportunity. Urbana; College of Education
University of Illinois. (Trabajo multicopiado.)
____(1973). On causality". Educational Researcher 2, 6.
Epps, E. G. (s.f.). Memorandum to Debbie K. Walker-Re., Test battery for national
FollowThrough evaluation.
Franke-Wikberg, S. (1979). The LONG project: an example of educational evaluation
given fromSweden. Umea University. (Trabajo multicopiado.)
Garoner, J. (1978). On Moral Fiction. Nueva York, Basic Books.
Gardner! m. (1976). Mathematical games. Scientific American 234, 3.
Glass, G. V. (1972). Educational product evaluation: a prototype format applied.
Educational Researcher 9,1.
Gottshalk, D. W. (1962). Art and the Social Order. Nueva York, Dover.
Guba, E. G. (1978). Toward a Metodology of Naturalistic Inquiry in Educational Eva
luation. Los Angeles, Center for the Study of Evaluation, UCLA.
Gusfield, J. (1976). The literary rhetoric of science. American Sociological Review
41(Febrero), pgs. 11-33.
Guttentag, M. (1973). Subjectivity and its use in evaluation research. Evaluation 1,
2, pgs. 60-65.
-------y k. Snapper (1974). Plans, evaluations, and decisions. Evaluation 1, 2,
pgs. 58-74.
Habermas, J. (1973). Theory and Practice. Boston, Beacon. (Trad, cast.: Teora y
praxis. Estudios de filosofa social. Madrid, Tecnos, 1987.)
Hamilton, D. (1977). Making sense of curriculum evaluation, en L. Shulman (ed.)
Review of Research in Education. Vol. 5. Itasca, IL, F. E. Peacock.
-------(1976). A science of the singular? University of Illinois. (Trabajo multicopiado.).
Haney, W. (1977). The Follow Through Evaluation: A technical History. Cambridge,
MA, Huron Institute.
Harrington, P. y J. R. Sanders (1979). Guidelines for goal-free evaluation. Evaluation
Center, Western Michigan University. (Trabajo multicopiado.)
Hubert, M. (1975). Extended Pilot Trials of the Comprehensive School Mathematics
Program. St Louis, CEMREL, Inc.
Hqgben, D. y K. Simpson (1978). Evaluator authority and responsibility: a delimitation.
Flinders University of South Australia. (Trabajo multicopiado.)
House. E R, (1979). The role of theories of justice in evaluation-justice on strike.
Educational Theory 29,4.
-------(1978a). Assumptions underlying evaluation models. Educational Resear
cher 7 (Marzo), pgs. 4-12.
-------(1978b). Evaluation as scientific management in United States school reform.
Comparative Education Review 22,3, pgs. 388-401.
-------(1977). The Logic of Evaluative Argument. Los ngeles; Center for the Study
of Evaluation, UCLA.
-------(1976). Justice in evaluation. en G. V. Glass (ed.) Evaluation Studies Annual
Review Vol. I. Beverly Hills, Sage Publications.
1974). The Politics of Educational Innovation. Berkeley, McCutchan.
- (1973), The conscience of educational evaluation, en E. R. House (ed.)
School Evaluation. Berkeley, McCutchan.
u s e E. R. y N. S. Ca r e (1979). Fair evaluation agreement". Educational Theo-
ry 29, 3.
_____ g . V. Gl a s s , L. D. Mc Lean y D. Wal k er (1978). No simple answer, critique
of the Follow Through evaluation. Harvard Educational Review 48 (Mayo), pgs.
128-160.
_______y D. Ho g b e n (1974). A goal-free evaluation for Me and My Environment,
Formative Evaluation Informe n. 3, Biological Sciences Curriculum Study, pgi
nas 14-16.
_____ y R. S. Ma y er (1980). A critique of the educational imagination in evaluation.
Journal of Aesthetic Education (Julio).
_______ J. St eel e, y C. T. Ker i n s (1971). The Gifted Classroom. Center for Instructional
Research and Curriculum Evaluation, University of Illinois, Urbana.
----------- W. Ri v er s , y D. St u f f l eb ea m (1974). An assessment of the Michigan ac
countability system. Phi Delta Kappan 55 (Junio), pgs. 663-669.
It t el s o n , W. y H. Ca n t r i l (1954). Perception: A transactional Approach. Garden City,
NY: Doubleday.
Jenkins, D. y B. OTo o l e (1978). Curriculum evaluation, literary criticism, and the
paracurri cul um , en G. Willis (ed.) Qualitative Evaluation. Berkeley, McCutchan.
Ka l l o s , D. (1978). Notes on schooling, curriculum, and teaching, en G. Willis (ed.)
Qualitative Evaluation. Berkeley, McCutchan.
Kar ier , C. J. (1973). Testing for control and order in the corporate state, en C. J.
Karier, P. Violas, y J. Spring (eds.) Roots of Crisis: American Educatbn in the
Twentieth Century. Chicago, Rand McNally.
Kearney, C. P., D. L. Do n o v a n , y T. H. Fi sher (1974). In defense of Michigans
accountability program. Phi Delta Kappan 51 (Septiembre).
Kel l y, E. F. (1978). Curriculum criticism and literary criticism: comments on the
anthology, en G. Willis (ed.) Qualitative Evaluation. Berkeley, McCutchan.
Kel l y , E. G. (1980). Evaluation as persuasion. Educational Evaluation and Policy
Analysis 2, 5.
Kemmi s , S. (1976). Evaluation and evolution in knowledge about educational pro
grams. Tesis Doctoral indita. University of Illinois.
Ko g a n , M. y T. Pa c k w o o d (1974). Advisory Councils and Committees in Education.
Londres, Routledge & Kegan Paul.
Kohl ber g, L , y R. S. Ma y er (1972). Development as the aim of education. Harvard
Educational Review 42, pgs. 449-496.
Krul ee, G. K. (1973). An Organizational Analysis of Project Follow Through Evanston,
IL, Northwestern University.
Ku h n , T. (1970). The Structure of Scientific Revolutions. Chicago, Univ. of Chicago
Press. (Trad, cast.: La estructura de las revoluciones cientficas. Madrid, Fondo
de Cultura Econmica, 1980, 5.areimpr.)
La n g er , S. K. (1942). Philosophy in a New Key Nueva York: Mentor.
Lev i n , H. M. (1972). The social science objectivity gap. Saturday Review (Noviem
bre 11), pgs. 44-51.
Lu k e s , S. (1974). Power. Londres, Macmillan. (Trad, cast.: El poder. Un enfoque
radical. Madrid, Siglo XXI, 1985.)
Lu n d g r e n , U. P. (1977). Model Analysis of Pedagogical Processes. Estocolmo, Stock
holm Institute of Education.
MacDoNALD, B. (1977). A political classification of evaluation studies ', en D. Hamflton.
D. Jenkins, C. King, B. MacDonald, y M. Parlett (eds.) Beyond She Numbers
Game. Londres, Macmillan.
Edi ci ones Morat a, S. L.
MacDoNALD, B. (1974). Evaluation and the Control of Education. Norwi ch, Inqlaterr
Centre for Applied Research in Educati on. (Trad, cast .: La evol uci n y el contr
de la educacin, en J. Gimeno Sacristn y A. Prez Gmez: La enseanza *
teora y su prctica. Madrid, Akal, 1983, pgs. 467-478.) ' su
--------y r . wal ker (1974). Case-study and t he soci al phi l osophy of educational
research." University of East Anglia, Norwi ch, Ingl at erra. ai
Macpher son, C. B. (1966). The Real World of Democracy. Oxf ord, Ingl at erra, Oxford
Univ. Press.
Mager , R. F. (1972). Goal Analysis. Belmont, CA, Fearon.
------(1962). Preparing Objectives for Programmed Instruction. San Francisco
Fearon.
Mar cuse, H. (1978). The Aesthetic Dimension. Bost on, Beacon.
McCut cheon, G. (1978). Of solar systems, responsi bi l i t y and basi cs: an educational
criticismof Mr. Clements fourth grade , en G. Wi l l i s (ed.) Qualitative Evaluation.
Berkeley, McCutchan.
McLaughl in, M. W. (1975). Evaluation and Reform. Cambri dge. MA: Bal l i nger.
Mil l , J. S. (1893). A System of Logic. Nueva York, Harper. (Tr ad, cast .: El utilitarismo.
Madrid, Alianza, 1984.)
--------(1861). Utilitarianism. Indianapolis, Bobbs-Merri l l .
Mor gan, T. (1976). The good life (along the San Andreas Faul t ) . New York Times
Magazine(Julio 4).
Morris, L, C. Fitz-Gibbon, y M. Henerson (1978). Program Evaluation Kit Beverly
Hills, Sage Publications.
National Study of Secondary School Evaluation (1969). Evaluative Criteria Washi ngton,
DC, Author.
National Study of School Evaluation (1978). Evaluative Criteria. Arl i ngt on, VA, Author.
Novak, M. (1971). Ascent of the Mountain, flight of the Dove. Nueva York, Harper &
Row.
OConnor , J. J. (1976). Wisemans latest film is anot her real i t y f i ct i on . New York
Times (Noviembre 7).
Or t ony, A. (1975a). Knowledge, language and t eachi ng. Uni versi t y of Illi noi s. (Trabajo
multicopiado.)
--------(1975b). "Why metaphors are necessary and not j ust ni ce". Educational
Theory(Invierno).
Owens, T. R. (1973). Educational evaluati on by adversary proceedi ng , en E. R.
House (ed.) School Evaluation. Berkeley, McCut chan.
Parker, J. H. (1960). The problem of esthetic f orm , en M. Rader (ed.). A Modern
Book of Esthetics. Nueva York: Holt, Rhi nehart & Wi nst on.
Parlett, M. y D. Hamilton (1977). Evaluation as i l l umi nat i on: a new approach to the
study of innovatory programmes , en D. Hami l t on y col s, (eds.) Beyond the
Numbers Game, Londres, Macmillan. (Trad, cast .: La eval uaci n como ilumina
cin, en J. Gimeno Sacristn y A. Prez Gmez: La enseanza: su teora y su
prctica. Madrid, Akal, 1983, pgs. 450-466.)
Patton, M. Q. (1978). Utilization-Focused Evaluation. Beverl y Hi l l s, Sage Publications.
Paulston, R. G. (En prensa) Paradigm conf lict i n t he assessment of educational
reform: evaluation as social critique . Educational Evaluation and Policy Analysis.
Perelman, C. y L Ol brecht s-Tyt eca. (1969). The New Rhetoric: A Treatise on
Argumentation. Notre Dame. IN, Uni v. Dame Press.
Pet rk, H. G. (1979). "COPE begi ns second eval uat i on c y c l e . Illini Week 1 (Oct u
bre 12), pg. 5.
2 6 6 __________________________________________________ Eval uaci n, ti ca y
$ EAcKme* Mor ata, S. L
gibiiogra^
267
H. G. (1976). Metaphorical models of mastery: or, how to learn to do the
problems at the end of the chapter of the physics textbook. University of Illinois.
(Trabajo multicopiado.)
pol anyi. M. (1958). Personal Knowledge. Chicago, Univ. of Chicago Press.
^____ y h. Prosch (1975). Meaning. Chicago: Univ. of Chicago Press.
Popham, W. J. (1975). Educational Evaluation. Englewood Cliffs, NJ, Prentice-Hall.
________y D. C a r l s o n (1 9 7 7 ). Deep dark deficits of the adversary evaluation model.
Educational Researcher 6 (Junio), pgs. 3-6.
Popham, W. J. y R. L. Ebel (1978). Annual meeting presidential debate. Educational
Researcher 7, 11, pg. 3.
rawl s, J. (1971). A theory of Justice. Cambri dge, MA: Harvard Univ. Press. Informe
de the Fourth Annual Fol low Through Working Conference (1974). High Scope
Educat ional Research Foundation. (Trad, cast : Teora de la justicia. Madrid,
Fondo de Cul t ura Econmi ca, 1979.)
Education Dai l y (1977). Results of Follow Through evaluation disappointing but
useful, OE says. Agosto 10.
Rivlin, A. M. (1971). Systematic Thinking for Social Action. Washington, DC, Brookings
Institution.
Rossi, P. H., H. E. Freeman, y S. R. Wright (1979). Evaluation: A Systematic Approach.
Beverl y Hills, Sage Publications.
Schn, D. (1979). Generati ve metaphor: a perspective of problem-setting in social
pol i cy , en A. Ort ony (ed.) Metaphor and Thought. Nueva York: Cambridge Univ.
Press.
Scriven, M. (1976). Bi as control systems in evaluation. Trabajo presentado a The
annual meet ing of the Ameri can Educational Research Association, San Fran
ci sco.
-----------(1976a). Evaluation bias and its control, en G. V. Glass (ed.). Evaluation
Studies Review Annual, Vol. 1. Beverl y Hills, Sage Publications.
(1976b). Maxi mizi ng the process of causal investigations: the modus operandi
met hod , en G. V. Gl ass (ed.). Evaluation Studies Review Annual, Vol. I, Beverly
Hills, Sage Publi cati ons.
---------- (1973), Goal f ree evaluati on, en E. R. House (ed.). School Evaluation.
Berkel ey, McCut chan.
r (1972a). Educati onal product re-evaluation. Educational Researcher 1,5.
-----------(1972b), Objectivity and subjectivity in educational research, en L G. Thomas
(ed.). Philosophical Redirection of Educational Research. National Society for
the St udy of Educati on.
Sh a p l ey , D. (1976). Earthquakes: Los Angel es prediction suggests faults in federal
pol i cy. Science 192 (mayo).
Si mo n s , H. (1977). Bui ldi ng a social contract: negotiation and participation in con
densed f ield research , en N. Norris (ed.) Theory in Practice. University of East
Anglia. Cent re for Appl i ed Research in Education, Norwich, Inglaterra.
Smith, L. M. y P. A. Pohland (1974). Education, technology, and the rural highlands' ,
en D. Sj ogren (ed.). Four Evaluation Examples: Anthropological, Economic, Na
rrati ve, and Portrayal. AERA Col eccin Monografas. Curriculum Evaluation,
No 7. Chi cago, Rand McNall y.
Smith, M L., R. Gabriel, J. Schott, y W. L. Podia (1976). Evaluation of the effects of
out ward bound , en G. V. Gl ass (ed.). Evaluation Studies Review Artm/sL Vol. 1,
Beverl y Hills, Sage Publi cati ons.
Edici ones Morata, S. L.
Eval uaci n, ti ca y p ^ a.
Snyder, W. P. (1967). Case Studies in Military Systems Analysis. Washington, DC
Industrial College of the armed Forces.
Soar , R. S. (1973). Informe final: Follow Through Classroom Process Measurement
and Pupil Growth (1970-1971). Gainesville, FL, Institute for Development of
Human Resources.
Sont ag, S. (1977). On Photography. Nueva York: Farrer, Straus & Giroux. (Trad
cast: Sobre la fotografla. Barcelona, Edhasa, 1989, 3.aed.)
Stake, R. E. (1978). The case study method in social inquiry". Educational Resear
cher 7 (Febrero), pags. 5-8.
--------(1976). Evaluating Educational Programmes: The Need and the Response
Washington DC, OECD Publications Center.
--------(1975a). Evaluating the Arts in Education: A Responsive Approach. Columbus
OH, Merrill. , C*
--------(1975b). Some alternative presumptions. Center for Instructional Research
and CurriculumEvaluation, University of Illinois. (Trabajo multicopiado.)
--------(1973). Measuring what learners learn, en E. R. House (ed.) School Evalua
tion. Berkeley, McCutchan.
--------y J. Easl ey (1978). Case studies in science education. Cent er f or Instructi onal
Research and Curriculum Evaluation, University of Illinois.
St al un g s , J. A. (1973). Follow Through classroom observation evaluation 1971-72.
Menlo Park, CA, Stanford Research Institute.
Stanford Research Institute (1972). Summary of plans for longitudinal evaluation of
the national Follow Through program. 1969-1970. (Trabajo multicopiado.)
Steering Committee for a National Follow Through Parent Advisory Council (1972).
Parent Resolution. Asamblea de Denver, Noviembre 1. (Trabajo multicopiado.)
St en zel , N. (1979). Committee Hearings as an evaluation format. Portland, OR,
Northwest Regional Educational Laboratory.
St r auc h, R. E. (1976). A critical look at quantitative methodology. Policy Analy
sis 2, 1.
St r i k e, K. (1979). The role of theories of j ustice in eval uat i on why a house is not a
home." Educational Theory 29,3.
St uf f l ebeam, D. L (1973). An introduction to the PDK book, en B. Worthen y J. R.
Sanders (eds.). Educational Evaluation: Theory and Practice. Worthington, OH,
Charles A. Jones.
--------(1969). Evaluation as enlightenment for decision-making, en Beatty (ed.)
Improving Educational Assessment and an Inventory of Affective Behaviors.
Washington, DC, Association for Supervision and Curriculum Development, NEA.
Su c h man , E. A. (1967). Evaluative Research. Nueva York, Russell Sage Foundation.
Su l l iv an , E. V. (1977). Kohlbergs Structuralism. Ontario, Ontario Institute for Studies
in Education.
Tay l o r , P. W. (1961). Normative Discourse. Englewood Cliffs, NJ, Prentice-Hall.
Tempun, P. S. (1978). Photography: can it provide program portrayal? Presentado a
American Education Research Association, Toronto, Marzo.
Thurst on, P. (1978). Revitalizing adversary evaluation: deep dark deficits or muddled
mistaken musings. Educational Research 7 (Julio-Agosto), pags. 3-8.
To l s t o y (1960). "The communication of Emotion, en M. Rader (ed.) A modern Book
of Esthetics. Nueva York: Holt, Rinehart & Winston.
Turner, T. (1973). "Piaget's structuralism. American Anthropologist 75, pags. 351-
m .
T/ l er R. W. (1950). Basic Principles of Curriculum and Instruction. Chicago, Univ. ot
EiScjotm Morata, S. L
Bib!oQraâ
269
Chi cago Press. (Trad, cast .: Principios bsicos del currfculo. Buenos Aires,
Troquel , 1977, 2.a ed.)
Ty l er , R. S., La p a n , J. Mo o r e , C. W. Ri v er s , y D. Skibo (1978). Impact of minimun
compet ence t est i ng in Florida. Todays Education 67 (Septiembre-Octubre),
pgs. 30-38.
U.S. Of f i ce of Educat i on (1969). Follow Through Program Manual. Washington, DC:
Depart ment of Heal t h, Educat i on and Welfare.
Va l l a n c e, E. (1978). Scanning horizons and looking at weeks: a critical description
of The Great Plains Experience, en G. Willis (ed.) Qualitative Evaluation. Ber
kel ey: McCutchan.
Wa k s , L. J. (1975). Educational objectives and existential heros, en R. A. Smith
(ed.). Regaining Educational Leadership. Nueva York; John Wiley.
Wa l k er , D. R. y J. Sc h a f f a r z i c k (1974). Comparing curricula. Review of Educational
Research 44 (Invierno).
Wal l er , J. J. (1967). Identification of problem drinkers among drunken drivers.
J ournal of the American Medical Association, pgs. 124-130.
Wei k a r t , D. P. y B. A. Banet (1975). Model design problems in Follow Through, en
A. M. Rivlin y P. M. Timpane (eds.) Planned Variation in Education. Washington,
DC, Brookings Institution.
We i z en b a m, J. (1976). Computer Power and Human Reason. San Francisco, W. H.
Freeman. (Trad, cast : La frontera entre el ordenador y la mente. Madrid, Pirmi
de, 1977.)
Wel c h , W. (1978). Goal-free formative evaluation-an example. Presentado a The
American Education Research Association. Toronto, Marzo.
Wi l l i s, G. (ed.) (1978). Qualitative Evaluation. Berkeley: McCutchan.
Wi r t z , W. (1977). On Further Examination. Nueva York: College Entrance Examination
Board.
Wo l c o t t , H. F. (1977). Teachers vs. Technocrats. Eugene. OR, Center for Educational
Policy and Management, University of Oregon.
Wo l f , R. L, (1974). The use of judicial evaluation methods in the formulation of
educational policy. Educational Evaluation and Policy Analysis 1 (mayo-Junio),
pgs. 19-28.
, (1975). Trial by jury: the process. Phi Delta Kappan 57 (Noviembre), pgs.
185-187,
Wo l f f , R. P. (1968). The Poverty of Liberalism. Boston, Beacon.
Wo o d w a r d , B. y C. Ber n s t ei n (1976). The Final Days. Nueva York, Simon &
Schuster.
Wo r t h e N, B. R. y J. R. Sa n d er s (1973). Educational Evaluation: Theory and Practice.
Worthington, OH: Charles A. Jones.
Edi ci ones Morat a, S. L.
Otras obras de Ediciones Morata de *4
n i , s
Adorno, Th.: Educacin para la emancipacin, 1998.
Aftken, J. y Mills, G.: Tecnologa creativa, (4.a ed.), 1998.
Apple, M. W.: Poltica cultural y educacin, 1996.
----------y Beane, J. A.: Escuelas democrticas, (2.a ed.), 1999.
Astington, J. W.: El descubrimiento de la mente, 1998.
Ball, S.: Foucaultyla educacin, (3.a ed.), 1997.
Baudelot, Ch. y Establet, R.: El nivel educativo sube, (2.a ed.), 1998.
Beltrn, F. y San Martn A.: Disearla coherencia escolar, 2000.
Bemstein, B.: La estructura del discurso pedaggico, (3.a ed.), 1997.
---------- Pedagoga, control simblico e identidad, 1998.
Browne, N. y France, P.: Hacia una educacin infantil no sexista, 1988.
Bruner, J.: Desarrollo cognitivo y educacin, (3.a ed.), 1998.
Carr, W.: Una teora para la educacin, (2.a ed.), 1999.
Col, M.: Psicologa cultural, 1999.
Connell, R. W.: Escuelas y justicia social, (2.a ed.), 1999.
Contreras, J.: La autonoma del profesorado, (2.a ed.), 1999.
Cook, T. D. y Reichardt, Ch.: Mtodos cualitativos y cuantitativos en investigacin evaluativa
(3.a ed.), 1997
Decroly, 0.: El juego educativo, (3.a ed.), 1998.
Delval, J.: Aprender en la vida y en la escuela, 2000.
Dewey, J.: Democracia y educacin, (3.a ed.), 1998.
Donaldson, M.: La mente de los nios, (4.a ed.), 1997.
Driver, R., Guesne, E. y Tiberghien, A.: Ideas cientficas en la infancia y la adolescencia,
(4.aed.), 1999.
Egan, K.: Fantasa e imaginacin: su poder en la enseanza, (2.a ed.), 1999.
Elsenberg, N.: Alfabetizacin temprana, 1999.
Elliott, J.: La nvestigacin-accin en educacin, (3.a ed.), 1997.
---------- El cambio educativo desde la investigacin-accin, (3.a ed.), 2 000. -v
Escuelas infantiles de Reggio Emilia: La inteligencia se construye usndola, (2.a ed.), 1999.
Fernndez Prez, M.: Evaluacin y cambio educativo: el fracaso escolar, (4.a ed.), 1995.
Freinet, C.: La escuela moderna francesa..., (2.a ed.), 1996.
Gartner, A.; Greer, C. y Riessman, F. (Comps.): Nuevo ataque contra la igualdad de opo
dades, 1999. . i j
Gimeno Sacristn, J.: El curriculum: una reflexin sobre la prctica, (7.a ed.), 1998.
---------- Educacin obligatoria: su sentido educativo y social, 200 0.
-----------Poderes inestables en educacin, (2.a ed.), 1999.
-----------La pedagoga por objetivos: obsesin por la eficiencia, ( 9 . a ed.), 1997.
Ediciones Morata, S. L.
Otras obras de Edi ci ones Morat a de i nt ers 271
_______La transicin a la educacin secundaria, (2.aed.), 1997.
_____ y Prez Gmez, A. I.: Comprender y transformarla enseanza, (8.aed.), 1999.
Goetz, J. P. y LeCompte, M. D.: Etnografa y diseo cualitativo en investigacin educativa, 1988.
Goldschmied, E. y Jackson, S.: La educacin infantilde0a3aos, 2000.
Gore, J.: Controversias entre las pedagogas, 1996.
Graves, D. H.: Didctica de la escritura, (2.a ed.), 1997.
Grundy, S.: Producto o praxis del curriculum, (3.aed.), 1998.
Hal l i day, J.: Educacin, gerencialismo y mercado, 1995.
Hargreaves, A.: Profesorado, cultura y postmodernidad, (3.aed.), 1999.
Hegarty, S.: Aprender juntos: la integracin escolar, (3.aed.), 1998.
Hicks, D.: Educacin para la paz, (2.aed.), 1998.
Inhelder, B.: Aprendizaje y estructuras del conocimiento, (2.aed.), 1996.
Jackson, Ph. W.: La vida en las aulas, (5.aed.), 1998.
Kemmis, S.: El curriculum: ms all de la teora de la reproduccin, (3.aed.), 1998.
Listn, D. P. y Zeichner, K. M.: Formacin del profesorado y condiciones sociales de la escoia-
rizacin, (2.aed.), 1997.
Loughlin, C. E. y Suina, J. H.: El ambiente de aprendizaje: diseo y organizacin, (4.aed.), 1997.
Lundgren, U. P.: Teora del curriculum y escolarizacin, (2.aed.), 1997.
McCarthy, C.: Racismo y curriculum, 1994.
McKernan, J.: Investigacin-accin y curriculum, 1999.
McLane, J. B. y McNamee, G. D.: Infancia y conductas de ayuda, 1999.
Moyles, J. R.: El juego en la educacin infantil y primaria, (2.aed.), 1999.
Olweus, D.: Conductas de acoso y amenaza entre escolares, 1998.
Prez Gmez, A. I.: La cultura escolaren la sociedad neoliberal, (2.aed.), 1999.
Perrenoud, Ph.: La construccin del xito y del fracaso escolar, (2.aed.), 1996.
Piaget, J.: Psicologa del nio, (15.aed.), 2000.
-------------La representacin del mundo en el nio, (8.aed.), 1997.
Popkewitz, Th. S.: Sociologa poltica de las reformas educativas, (3.aed.), 2000.
Pozo, J. I.: Teoras cognitivas del aprendizaje, (6.aed.), 1999.
Santos Guerra, M. A.: La escuela que aprende, 2000.
Saunders, R. y Bingham-Newman, A. M.: Perspectivas piagetianas en la educacin infantil,
(2.aed.), 2000.
Selmi, L. y Turrini, A.: La escuela infantil a los tres aos, (4.aed.), 1999.
-------- y ------------- La escuela infantil a los cuatro aos, (3.aed.), 1997.
-------- y ------------- La escuela infantil a los cinco aos, (3.aed.), 1997.
Simons, H.: Evaluacin democrtica de instituciones escolares, 1999.
Squires, D. y McDougall, A.: Cmo elegir y utilizar software educativo, 1997.
Stake, R.: Investigacin con estudio de casos, (2.aed.), 1997.
Steinberg, Sh. y Kincheloe, J. L.: Cultura infantil y multinacionales, 2000.
Stenhouse, L.: Investigacin y desarrollo del curriculum, (4.aed.), 1998.
La investigacin como base de la enseanza, (4.aed.), 1998.
Tann, C. S.: Diseo y desarrollo de unidades didcticas en la escuela primaria, (2.a ed.), 1993.
Thornton, S.: La resolucin infantil de problemas, 1998.
Torres, J.: Globalizacin e interdisciplinaredad: el curriculum integrado, (3.aed.), 1998.
-------- E/ curriculum oculto, (6.aed.), 1998.
Turner, J.: Redescubrir el grupo social, 1990.
Tyler, J.: Organizacin escolar, (2.aed.), 1996.
Usher, R. y Bryant, I.: La educacin de adultos como teora, prctica e investigacin, B trian-
guio cautivo, (2.aed.), 1997.
VV.AA.: Volver a pensar la educacin (2 vols.), (2.aed.), 1999.
Walker, R.: Mtodos de investigacin para el profesorado, (2.aed.), 1997.
Whitty, G.; Power, S. y Haipin, D.: La escuela, el estado y el mercado, 1999.
Wray, D. y Lewis, M.: Aprender leer y escribir textos de informacin, 2000.
Zimmermann, D.: Observacin y comunicacin no verbal en la escuela infanta, (3* ed.). 1998.
Edi ci ones Morat a. S. t .
Morata
m
33
c/>
<D

House Evaluacion

Încărcat de

Informații document

Drepturi de autor

Formate disponibile

Partajați acest document

Partajați sau inserați document

Opțiuni de partajare

Vi se pare util acest document?

Este necorespunzător acest conținut?

Drepturi de autor:

Formate disponibile

House Evaluacion

Încărcat de

Drepturi de autor:

Formate disponibile

Col ecci n PEDAGOGIA

i H Eval uaci n, t i ca y p0c)e

boradores alegaron que las medidas no servan por su carcter restrin

elemento crtico es la constitucin de la comisin, tribunal o jurado.

He los enfoquf!____________________________ ._ 73

S-ar putea să vă placă și