.."....~-...-.,.....,.,...."'""l'-...-. ~..•.•."""":.""...~-..c;:".-:,7•.•••.•.

' _~-:7".....-:''''7J . ; ~ '""1.

; : ~~.~
..~:.'.':~~.
~;.~-t;-
~~,~:.

> "

b", ~~¡
... '&. ••

J/- -

': ,""~;;~:i,
.~
i:. ;' -,.' lo ~ ~

.. ". ~~: + ~

;;:.,
f . ,'~ •...
, J

: ..•.. ,.... .
::."
,,~ ~
...,'. ~ " ~ w- '"" ~ •

'';';;

• t~

.'.,'
~
l'
I
. ,

" ." ,'.

~ '
; ..•. ~ \:
,', : I~~ \~

...• .~
..
. ' I - ;
r !I."~- \~ ".
,i ( , 'j., ""
'. ". ,

;
.a.. 1,
o ~'('

1 •
.•• t

,,' ~ t

;.~ .~ '

..
~:.

...~. '. '-~,;, ,.,. . ",.1 ,~".i ~. 'il:-5-',

"
'o
(:
-c.
c.
'0
c'
e
.c'
o
"c!
o
e
e
e
c.
'c-
'oe
e
o
e
o
e
e
e)
o
c'
e,
c~
e
e
c.
'0
~C
f":0
 Daniel L. Stufflebeam
Anthony J. Shinkfield

Evaluación sistemática
Títulos publicados: Guía teórica y práctica
l. J. Campian, El niño en su contexto
2. P. Waods, La escuela por dentro
3. C. Saloman, Entomos del aprendizaje con ordenadores
4. D.L. Stufflebeam y A.J. Shinkfield, Evaluación sistemática
5. RS. Nickerson, D.N: Perkins y E.E. Smith, Enseñar a pensar
6. M'w. Apple, Educación y poder .
7. J. Caok-Gumperz, La construcción social de la aliabetización
8. T. Husén, Nuevo análisis de la sociedad del aprendizaje
9. D. Edwards y N. Mercer, El conocimiento oompartido
!O. N. Entwistle, La comprensión del aprendizaje en el aula
11. I. Selmes, La mejora de las habilidades para el estudio
12. S.J. BaH, La micropolítica de la escuela
13. P. Langford, El desarrollo del pensamiento conceptual en la
escuela primaria
14. G. Kirk, El currículum básico
15. M. Warnock, Unapolítica común de educación
16. P. Freire y D. Macedo, Alfabetización
17. M'w.Apple, Maestros y textos.
18. H.A..Giroux, Los profesores como intelectuales
19. P. Freire, La naturaleza política de la educación
20. P. Langford, El desarrollo del pensamiento conceptual en la
escuela secundaria
21. A. Garton y C. Pratt, Aprendizaje y proceso de alfabetización
22. L.B. Resnick y W.W. Ford, La enseñanza de las matemáticas
.y sus fundamentos psicológicos
23. C.a. Cazden, El discurso en el aula ',:1'. ".o',; I _' " '. t,':¡

24. C. Watkins y P. Wagner, La disciplina escolar :. 'J:'~1,:\L

: :';.~.;:~.-:.:
25. V. Lewis, Desarrollo y déficit
26. O.C.D.E., Escuelas y calidad de enseñanza
27. S.S. Stodolsky, La importancia del contenido de la enseñanza
28. D.A. Schiin, La formación de profesionales reflexivos
29. C. Rogers y P, Kutnick, Psicología social de la escuela primaria ~ Ediciones Paidós ~
30. J.D. Wilsan, Cómo valorar la calidad de la enseñanza Barcelona. Buenos Aires - México Ministerio de Educación Y Ciencia

I
_.~.'-_
..
 t)
.')
,j
Título original: Systematic eva1uation ')
SUMARIO
Publicado en inglés por Kluwer-Nijhoff Publishing, DordrechtlBoston
')
Traducción de Carlos Losilla
')
Supervisión de Nuria Pérez de Lara

Cubierta de Ferran Cartes

:J
')
,')
:)
e)
)
J
,:)
Guía del lector . 13 I:J
1. Introducción a la evaluación 17 O
Objetivos . 18 ()
2: reimpresión, 1993 ¿Qué es la evaluación? 19 ,:)
Métodos 25
Quedan rigurosamente prohibidas, sin la autorización escrita de los titulares del
'Copyright", bajo las sanciones establecidas en las leyes. la reproducción total o par- Normas 26 ':)
cial de esta obra po~cualquier medio o procedimiento, comprendidos la reprografía y
. el tratamiento informático. y la distribución de ejemplares de ella mediante alquiler o
J La historia 32 :)
. préstamo públicos. i
,,)

I
El período pre-tyleriano, 33
@ 19B5 by Kluwer-Nijhoff Publishing La época tyleriana, 34 .
@ de la presente edición: Centro de Publicaciones La época de la «inocencia», 35 ~)
del Ministerio de Educación y Ciencia La época del realismo, 36
. Ciudad Universitaria, s/n, Madrid y La época' del profesionalismo, 40 ~.

Ediciones Paidós Ibérica, S.A.,

Reparto de papeles en el trabajo e~aluativo 43 O
Mariano Cubí, 92 - 08021 Barcelona
Coeditan: Centro de Publicaciones del M.E.e.
Test de conocimientos sobre la UnIdad 1 53
59
O
y EdiCiones Paidós Ibérica, S.A. Ejercicio práctico.
Preguntas sin respuestas 60 o
ISBN 84-7509-445-7
Referencias bibliográficas 61 O
2. Un análisis de métodos alternativos de evaluación 65 ~
Depósito legal B-9.532/l993
N.I.P.O. 176-87-169-7 .
Objetivos. .. . 66 ::)
Conceptualizaciones' alternatIvas de la evaiuación 66
Impreso en Nova-Grafik, S.A., 67 ,.)
Pseudoevaluaciones
Puigcerda, 127 - 08019 Barcelona
Investigaciones encubiertas, ~8 . , . O
I Impreso en España - Printed in Spain Estudios basados en las relacIOnespublIcas, 69 :J
O

JL~..",~. .- ..-
~--,:-f._"""""
~
(1
\('
C.
e- 8 I Evaluación sistemática Sumario I 9

(" Cuasievaluaciones Propósitos y principios de la evaluación, 114

70
e Estudios basados en objetivos, 70
Estudios basados en la experimentación, 71
Los valores y el proceso evaluativo, 115
Las presuposiciones en los estudios evaluativos, 116
'f! Tipos de evaluación, 118

ee
....
"Las verdaderas eval~aciones 72
Categorías de la evaluación, 118 .
Los aspectos metodológicos de la evaluación 119
Estudios
Estudios
de orientación de la decisión 72
centrados en el cliente 74 ' J Evaluación contra investigación no evaluativa, 119
e Estudios
Estudios
políticos, 74 . ,
basados en el consumidor, 75
J
il
Aproximaciones metodolÓgicas a la evaluación, 120
Variaciones en el plan de investigación evaluativa, 121
( Principios de planificación de la investigación evaluativa, 122
e Conclusión .
Test de conocimientos sobre la unidad 2
76
78
La valoración de los efectos, 122

e Ejercicios prácticos
Preguntas 'sin respuesta
. 84
La evaluación y la administración del programa 124

( 88 La evaluación y la ciencia administrativa, 125

Referencias bibliográficas 88 Administración de los estudios evaluativos: algunas áreas pro-
'c 3. La evaluación orientada hacia los objetivos: la tradición tyleriana 91
blemáticas, 126 '
Acuerdos para solucionar los problemas administrativos, 127
(
Objetivos " 92 Test de conocimientos sobre la unidad 4.. 128
'.c La intención del m.étodo tyleriano 93 Preguntas sin respuesta 135
( Procedimiento de diseño evaluativo, 93 í Referencias bibliográficas 136
Ventajas del método tyleriano, 94 5, La planificación evaluativa según Cronbach: una sinopsis 137
.C Utilizacionés del modelo tyleriano, 95
«: AÍgunas limitaciones del método tyleriano 96
Objetivos .
Introducción a los problemas más importantes
138
139
c' La evaluación como proceso terminal 96 Una planificación previsora y flexible, 139
e Limitaciones técnicas 97 '
El rendimiento como' último criterio, 97 :~
La evaluación útil, 140
Enfoques evaluativos enfrentados, 142
( Tendenciosidad y falta de alcance de sus componentes evalua-
tivos, 98
l
,~
El consenso en los elementos de la planificación, 143
E} equilibrio en la planificación evaluati~a: resumen, 144
( !
í Los conceptos de Cronbach' acerca de los elementos de una
(. . Metfessel y Michael: una ampliación del método tyleriano 98
planificación evaluativa: Uto 145
(; El pro;ed!miento evaluativo de las ocho etapas, 99
Unidades, tratamientos y operaciones de observación, 145
El apendlce de las valoraciones basadas en múltiples crite-
UTOS: El dominio de la investigación, 146
(. rios, 100
Definiciones de los elementos de uto y UTO, 147
'c Test de conocimientos sobre la unidad 3 102 ¡-
*UTOS: El.dominio de aplicación, 149
La identificación de las cuestiones a investigar, 151
(, Ejercicios prácticos 106 1
La fase divergente, 152
Preguntas sin respuesta I
109
t: "
~-, Referencias bibliográficas 109
La fase convergente, 154
\ Planificación de la comunicación 156
(" 4. Edward A. Suchman y el método científico de evaluación 111
La utilidad de los resultados, 156
G.' Objetivos . . . . 112 La comunicación directa, 157
t;; Aspectos conceptuales de la evaluación 113 La extrapolación de los resultados, 158

(".

".
,,(,>,----,.,---,~"-------'~~-~,~~~~~~-~-"~~"-"<~,.~--------~~
 :) \
()
10 I Evaluación sistemática
Sumarlo I 11 'J
El propósito de la evaluación ()
159 Observaciones generales 265
Flexibilidad del diseño, 159 Test de conocimientos sobre la unidad 7 270 ()
Las evaluaciones y la política: limitaciones, 159 Ejercicios prácticos 285 '")
Otras consideraciones, 160 Preguntas sin respuesta 290
T:st ~~ conocimientos sobre la unidad 5 ReferenCias bibliográficas 290 ,,)
EJercIcIos prácticos . 162
168 8. T. R, Owens y R. L. Wolf: un método contrapuesto de eva- 1)
Preguntas sin respuesta
Referencias bibliográficas
171 luación 293 \)
172
6. Objetivos 294 \)
Stuf~ebeam: la evaluación orientada hacia el perfeccio~am~ent~ 295
175 Intención del modelo de contraposición
Objetivos. . ()
Un poco de histori; per~onaj
176 Los procedimientos de contraposición en su contexto legal, 296
176 La aplicabilidad en la evaluación educacional, 296 e')
El desarrollo del modelo CIPP .
177 Realizaciones prácticas, 297
La elaboración de la evaluación CIPP por del C " Dimensiones de los procedimientos de contraposición, 298
/)
de Estudios PDK parte omIte
El modelo CIPP . de. .'. '.' , , , , 181 '~)
t "compara o con otras reCIentes propuestas eva- Una forma del método de la contraposición: el modelo judicial
\ 1uatlvas de Wolf 299 ;)
J 186
El,'
'' e,.IPp como: estt~tegia pa'ra' el' per f eCClOnamIento
' " d'e los sis-
temas ,
La base lógica, 299 1)
190 Las cuatro etapas del modelo judicial, 300
Panorama de Ids ca~ego;ías del CIPP
193
()
-Los pros y los contras de la evaluación contrapuesta 301
Evaluación del contexto, 196 r)
Evaluación de entrada, 197 El argumento a favor, 301
Evaluación del proceso, 199 El argumento en contra, 302 1,)
, Evaluación del producto, 201
Test de conocimientos sobre lallnidad8 304 ()
Él diseÍi.o' de ev~luaciones . ' 308
204 Ejercicios prácticos \)
Metaevaluación y normas . 311
Conclusión 208 Preguntas sin respuesta
209 Referencias bibliográficas 311 ,)
T~st de conoci~ien¡os s~bre 'la u~idad 6
Ejercicios prácticos . ' 210 ,)
9, La evaluación iluminativa: el método holístico 313
Preguntas sin re'spuesta 222
231 315 ~)
Referencias bibliográficas - Objetivos .
232 La evaluación tradicional: semillas de duda 316 e)
7. Stake: el método evaluativo centrado en el cliente
235 La importancia del proceso de aprendizaje de la valoración, 316 e)
Objetivos , El paradigma agrícola-botánico, 317
240 ,)
La condición de la fig~ra de la evaluación Mac Donald y el método holístico, 318
241
La descripción, 241 ,)
El juicio, 242 El concepto de Stake de la evaluación como representación 319
La evaluación iluminativa: un paradigma socio-antropológieo 320 :)
Esquema para la recopilación .de .datos
Evaluación respondente' ,"'," '
243 El contexto de los programas educativos, 320 ,')
251
Evaluación preordenada cont. 1'., , ',' ,
la eva uaClOnresponden te 253
Estructura sustancial de la evaluación responden te, 260
Organización y métodos de la evaluación iluminativa 323 ~:>
Características principales de la evaluación iluminativa, 323 (.J
O
()
()
t
(
12 I Evaluación sistemática
f
f El informe y la toma de decisiones
325 GUIA DEL LECTOR
¿Quién recibe un informe?, 325
(
La co~unica.ción del espíritu del programa, 326
( Las dIferenCIas entre los informes, 326

( Problemas relacionados con la evaluación iluminativa 327

( Las reservas de Stenhouse, 327
La tendenciosidad experimental 328
( Estudios a gran escala, 328 '
.M'N':~-'f "::
( T~st ?~conocimientos sobre la unidad 9 329
UNIV~~:,,~~-,i:_,:
'jf j\ e lit r 1,;;) :.
EJerCICIos prácticos . .
( 334
Preguntas sin respuesta
338
( Referencias bibliográficas
339
( la. El método evaluativo de Scriven orientado hacia el consumidor 341
( Objetivos. . . . Unas palabras para el lector
343
La definición de evaluación .
( 343
Critica de otras tendencias Este libro está concebido para el uso de un amplio grupo de personas
344
( Evaluación formativa y sum~tiv~ : . . interesadas en la valoración, ratificación o perfeccionamiento de la calidad
345
Evaluac~~n ~ma:eul' contra evaluación profesi;nal de los programas. Es decir, para aficionados, especialistas en investigación,
( 346
EvaluaclOn mtnnseca y evaluación final administradores, profesores, evaluadores y estudiantes. Todos estos grupos
346
( La evaluación sin metas
347
pueden utilizar el libro para conocer un amplio panorama de métodos suscep-
Valoración de las necesidad~s . tibles de ser utilizados en programas de evaluación. No sólo obtendrán una
( 347
La lista de control de indicadores de la evaluación orientación general, sino que también podrán usarlo para desarrollar un nivel
348
( La metaevaluación básico de habilidad a 1a hora de aplicar uno o más de esos métodos. El libro
Ideologías evaluati~as' . .
352
puede estudiarse en el contexto de un grupo de trabajo o leerse independien-
( 352
temente. Puede seguirse de principio a fin, o utilizar selectivamente cada una
La ideología separatista 353
( de sus unidades como manuales en forma de capítulos. La información resul-
La !deología positivista: 354
La Ideología administrativa 354 tante es válida para programas de evaluación, para proyectos y para materiales
( sobre educación, salud y bienestar.
La ideología relativista, 356
( El libro contiene diez unidades. La primera y la segunda exponen, respec-
La profesionalización de la evaluación 356 tivamente, un panorama de la evaluación y un análisis de tres amplios campos
( Test de conocimientos sobre la unidad la 357 que tratan de explicarla. Las restantes unidades proporcionan exhaustivos estu-
Ejercicios prácticos . dios sobre ocho modelos escogidos de trabajo evaluativo.
( Preguntas sin respuesta
370
372 Nosotros le sugerimos que, al principio, estudie las dos primeras unidades.
( Referencias bibliográficas Este estudio le familiarizará con el tema de la evaluación, cada día más impor-
373
tante, en su perspectiva histórica. También le ayudará a apreciar la comple-
t Indice de autores
375 jidad y los problemas propios de este campo. Le informará sobre los métodos
Indice analítico
(. 377 alternativos que se han usado y recomendado. Y, con toda probabilidad, le
( ayudará a descubrir si su concepción presente de lo que se necesita para averi-
guar el valor de algo es totalmente limitada, anticuada, ilógica en algunos

,
( aspectos, no tan útil como otro posible método, o, por lo menos, si es opuesta
a otros puntos de vista.

t.
\
"\ ==-~~"~~~
..- .- ~.~----- ------------ •••• -- ---- 1II
 ')

')
14 I Evaluación sistemática Gula del lector I 15 ')

}
ficar los logros realizados en cada objetivo en una escala que vaya de ~inguno
Escoger sus propios objetivos a algunos, muchos o muchísimos. Pue~e c~talogar l~s preg~ntas qu~ ~un nece- ')
sitan respuesta y las técnicas y expenenc1as que aun preCIsa a~qulrlr. Puede )
Cuando haya terminado las dos primeras unidades, le recomendamos que hacer otra lista de los efectos inesperados que haya cr~ldo expen~entar en sus
se fije sus propios objetivos para el mejor uso y aprovechamiento del resto conocimientos, técnicas y actitudes, como consecuenCIa del ~studlO del ma:e: )
del texto. Primero, debería usted decidir qué es 10 que pretende conseguir del ial los cuales quizá sean positivos, al tratarse de nuevas 1deas, pero qUlza
resto del estudio. Quizá desee alcanzar un conocimiento más profundo ::¡cerca ')
~a~bién negativos, puesto que pueden haber contribu~do. a. aumenta; la. con-
de un método concreto que ya está empleando en la evaluación de un pro- fusión. Le sugerimos que intente elaborar algunos eJerC1C10Spor. Sl m1smo, )
grama determinado, ya sea para valorarlo más minuciosamente o para disponer con el fin de valorar los logros que, potencialmente, le haya podIdo prop~r-
de una ayuda adicional; o si usted o el grupo en el que está incluido aún no se )
cionar el estudio de las unidades. Si lo hace, por favor, mándenos. una copla,
han comprometido con ningún método en particular, quizá desee estudiar que, sin duda, puede sernas de utilidad en el futuro, cuando reVIsemos este )
varias alternativas para luego escoger o adaptar la que mejor se ajuste a su libro. Finalmente, le recomendemos que haga planes. ;oncretos con el fin de
situación. Para llegar a una buena elección, le sugerimos que revise cuidado- )
poner a prueba sus nuevas ideas acerca de la evaluaclOn, ya sea cr~ando eva-
samente el material que le proporciona la unidad 2, ya que se trata de un luaciones, evaluando evaluaciones o dirigiendo un grupo que reahce evalua- )
análisis comparativo de métodos alternativos.
ciones.
Cuando haya decidido si su objetivo inicial se centrará en muchas unida- )
des o sólo en una, le sugerimos que examine las páginas iniciales de cada una
)
de las unidades que, provisionalmente, haya decidido estudiar. En particular,
debería usted fijarse bien en la lista de los objetivos que persigue cada unidad. )
Después, ayudándose de su propio análisis y de los objetivos reseñados en la
)
unidad pertinente, le recomendamos que, para estudiar cada unidad, haga una
lista de sus propios objetivos en otra hoja de papel. Conservando esta hoja )
a mano mientras examina cada unidad en concreto, le será más fácil conducir
su estudio en la dirección que considere más conveniente, de acuerdo, a la
vez, con los objetivos fijados por cada unidad. \
~,~:?t~~. )
)
""".. :v""'~~~';l~s )
La evaluación de su propio trabajo I
1 )

Puede usted mismo comprobar que cada unidad contiene material desti- )
nado a ayudarle en la evaluación de su propio trabajo. Este material está )
estrechamente relacionado con los objetivos de la unidad e incluye preguntas
con respuestas alternativas cuya solución puede comprobar usted mismo, ejer- )
cicios prácticos con las respuestas correspondientes y preguntas destinadas a )
la discusión. Le animamos a trabajar con todo este material. Este esfuerzo
no sólo le proporcionará información adicional acerca del alcance de su do- )
minio del material leído, sino que también le ayudará a reforzar su compren- )
sión de los contenidos de la unidad y su capacidad de aplicar el método
correspondiente. )
Además de trabajar con los ejercicios de evaluación que le proporciona- )
mos, le sugerimos que también realice una cierta autovaloración comprobando
la consecución de los objetivos que previamente se había fijado. Puede hacer )
una lista de los avances que crea haber hecho en cada objetivo. Puede clasi- )
)

------ -_ _------~---
..
)
,J
 ('
.j
r .,.l~
r: •
,r .i~

1 INTRODUCCION A LA EVALUACION
e
:;,~ ;

.~
';';.

(!
e Iíjl

e 'j.

e
e £
,

e
e
e
(.
La evaluación es una de las actividades fundamentales de los serviCiOS
.,,(
profesionales más solventes. Los clientes de estos profesionales merecen una
( asistencia que satisfaga sus necesidades, que sea de una alta calidad, moderna
y eficiente. Para que los profesionales se responsabilicen de satisfacer estos
( niveles, la sociedad debe someter regularmente a evaluación a los propios
( servicios profesionales. Una parte del trabajo evaluativo, la que consiste en
la regulación y protección del interés público, debe, obviamente, ser dirigida
( por organismos independientes, como agencias gubernamentales y juntas acre-
( ditadas. Pero, fundamentalmente, las evaluaciones rnás importantes de los ser-
vicios profesionales están realizadas (o encargadas) por los propios profe-
e sionales.
, Para mantener sus servicios al día y asegurarse de que, efectivamente,
(
satisfacen las necesidades de sus clientes, los profesionales deben recabar con-
( tinuamente información oportuna sobre el trabajo evaluativo. Este proceso
incluye estudiar las necesidades de sus clientes, evaluar los métodos que pro-
(.
ponen o utilizan otros, seguir muy de cerca el desarrollo del servicio, valorar
(. los' resultados a corto y largo plazo y buscar modos de que los servicios sean
cada vez más eficientes y efectivos. La primera pregunta que todo grupo eva-
t
,
luativo exterior debe plantear es si el profesional realiza periódicamente un
(, programa de autoeva1uación que responde oportunamente, con las correspon-
dientes pruebas y evidencias, a estas cuestiones.
Desafortunadamente, el alcance de las evaluaciones que realizan los servi-
t cios profesionales -por medio de los propios profesionales y sus agentes
acreditados- ha sido, tradicionalmente, y en el mejor de los casos, desigual,
~ y, en general, pobre. Algunos distritos escolares grandes y agencias guberna-

"
mentales mantienen sistemas de evaluación competentes y realizados por un
personal adecuado, y los evaluadores de agencia han, sabido ayudar a las orga-
~/

\...
~.
~ ,__~'~-~~~,.~-ccr-=~~_~ __ ~ __, _
 ")

J
18 I Evaluación sistemática Introducción a la evaluación I 19
")

nizaciones centrales a ser responsables con todos los implicados y a obtener um'd d e identificar J
1. Definir la eva 1uaClOn,
., ta 1 como se presenta en esta
d £mi ióna ,
la capacidad de planificar y administrar sus servicios. Pero incluso el más 1 base lógica que se ha proporcionado para esta. e c . J
competente de estos sistemas evaluativos no puede asumir las responsabilida-
2. I~entificar varios métodos de evaluación alternatlvo:~a roaramar evalua- )
des evaluativas de todos los profesionales de la agencia. No debe olvidarse el
hecho de que la evaluación es una responsabilidad tanto personal como insti- 3. Identificar los dos princip~les. grlupos de n~~~:: ~orm~s del Joint Com-
ciones y caracterizar los pnnclpa es rasgos ')
tucional. Las oficinas de evaluación pueden cubrir las principales responsabili-
dades de una agencia y proporcionar preparación para el servicio y ayuda téc- mittee. b' 1 . períodos principales expuestos en esta I
4 Identificar y descri lr os cmco 1 " evalua-
nica al personal. Pero, a la larga, de todas maneras, cada profesional debe ser . 1 l'
unidad para caracterizar a evo UClon, d e la teoría y a practlca ')
responsable de evaluar su propio trabajo.
Este libro' ha sido escrito para ayudar a los educadores profesionales y a }
5. ~~~~~ar y definir doce funciones principales del trabajo evaluativo.
aquellos que desempeñen otros servicios profesionales, como servicios sociales )
o médicos, a consolidar sus conocimientos prácticos sobre la evaluación. Su
Como en todas las unidades, al final de ésta encontrará ~~as~;r~~sdp~e~;:~ )
intención primordial es la de un manual. Se puede consultar cada unidad, que . .. L . o que los haga y que campa
es independiente de las demás, para obtener información sobre un tema en guntas y eJerclclos. e sugenm s . d' ta con sus colegas
. ndientes Luego examme ) lSCU )
concreto. En ger,eral, los temas incluidos han sido escogidos para proporcionar con las so 1UClOnescorrespo . d 1 d s los objetivos estu-
. t Aunque pue a a canzar te o
información acerca de la naturaleza general de la evaluación, para facilitar un las preguntas sm respues a. . nidad le recomendamos )
diando sólo el material que se proporClOna en esta u t diados consultando la
amplio análisis comparativo de ciertos métodos de evaluación alternativos y que amplíe sus conocimientos sobre los conc~ptos es u )
para exponer un profundo estudio de ocho modelos o planes alternativos para bibliografía que se facilita al final de cada umdad.
realizar evaluaciones. Cada unidad ha sido escrita como una guía autosuficiente )
que incluye objetivos de aprendizaje, información expositiva, preguntas y ejer-
)
cicios que puede calificar usted mismo y unas pocas preguntas destinadas a
la discusión. ¿Qué es la evaluación?
)
Esta primera unidad, concebida como un panorama de la evaluación, pro- S han dado muchas respuestas a la pregunta. . (q . ué es la evaluación?
. )
porciona una amplia definición de este concepto y pasa revista al desarrollo e , '1 en aspectos menores, otras mantlenen
de la evaluación, especialmente desde 1930. Muestra cómo ha evolucionado Mientras algunas ~e ellas var:an so o 1 d finiciones identifican esencial- )
el término evaluación, en lo que se refiere a la profundidad y amplitud de los diferencias sustanClales. Por ejemplo, a gunas el' . l'o'n o las encues-
., t como a mvestlgac
significados que se le han atribuido. Las muchas definiciones y funciones que mente la evaluaclOn con otros concep os . 'n de otras materias. Una )
se le han aplicado a la evaluación, dependiendo de los cambios en el contexto tas, mientras otros distinguen cla~ame~te ~a ~va~a~~ce mucho tiempo, afirma
)
político y social, también son descritas aquí. A la vez, se descubren ciertas definición importante, y que se Vlene .an. o es e ientras ue otras
novedades metodológicas clave y ciertas funciones que se han asociado con que la evaluación sup~ne ~?mpa~ar ob]e.tlvos Yl::~~lt:d~~, :tudio c~binado )
el trabajo evaluativo. Finalmente, se discuten los esfuerzos que se han reali- exigen u~a con~ePt~al;~ac~~o::s ~~~:~ ~~elas distintas definiciones formu- )
zado recientemente para profesionalizar el trabajo evaluativo, especialmente
a través del desarrollo de criterios profesionales. En general, la intención de ta~ad:rda~a~~3e_~1:0n
slAe~de~~s
dSi{:r~~~~:'d
m20~r~; .~~iO~:al~~c~:li~;se~ce:~apda~:t~: l~~ )
esta unidad es familiarizar al lector con la evaluación entendida como un um a es., 'l' . todo lo que
estos modelos y definiciones. Esencialmente, ese ana lSlS exa~ldnad o
)
campo de estudio y una práctica que puede diferenciarse de otros afines, tales d fi .. , damos en esta um a .
como la investigación, la planificación y la administración. se ha argumentado contra Ia e mClon lque d' omúnmente el diccionario )
Esta definición es consecuente con o 1 ue;ce cd l Joint Committee on
de una manera más específica, es la que a a opta o e " l l- )
Objetivos ~~andards for Educational Evaluation. La definición es ,l~ slgdUlente:b.ateva ua
. ,. d l
ción es el enjuiciamiento slstematlco e a va la
r o el mento e un o le o.
. r l evaluación
)
Esta definición se centra en el término valor e lmp lca .~ue a 'd )
Esta unidad se propone cinco objetivos de aprendizaje. Cuando haya estu- . .. D d 1 to en que la evaluaclOn, en un sentl o
diado a fondo el capítulo, usted debería ser capaz de realizar los siguientes siempre supone JU1C10. es e e m?~en inforfnación'segura )
objetivos: óptimo, emplea procedimientos ob]et1:?s para obtener una.,. 1 deni:r- es
e imparcial, ya está ligada a la valoraclOn. En efecto, su meta ese~cla o,, o",. )
1, o
)-
L;~' '\. ;.,)

¡ . ~- . J s.:;.: )
.. , __ l_"
_o_~~ __ .~ ~__ ":"===::-===========~~~ " 1
.t

I
¡
(
( 20 I Evaluación sistemática
I Introdúcclón a la evaluación I 21
(
minar el valor de algo que está siendo enjuiciado. De acuerdo con esta defi-
( nición, si un estudio no informa de cuán buena o mala es una cosa, no se trata d evaluaclOn ., S CRlVEN (1981) ya ha indicado dlas trascen- _
de una evaluación. nuestro concepto e . 11 1 importante papel que esempenan
( dentales diferencias q~e hay ent~e e d~s ~ ~. Por ejemplo, un programa pa.ra
Algunos autores se han mostrado contrarios a esta posición. Creen que a la hora de determmar. el ~a or drá groducir profesores que enseñen Hls-
( esta orientación valorativa conduce a interpretaciones radicales y subjetivas formar a profesores de Hlstona, ¿pod p e se pueda confiar en ellos?
que conceden un poder inmerecido a los evaluadores e impiden el progreso. toria a otros de un mo d o e f ec t"IVo y e manera qu debe hacer? Si lo hace, sera
,
( Afirman, por así decirlo, que «la belleza reside en los ojos del observadot>~ h 'b' 1 ue se supone que d
En general, ¿ ara len o q 'l'd Por eJ'emplo si la socieda ya no
y que las valoraciones de un grupo no deben tener precedencia sobre las de . d que no sea va I o. , d
f otro a la hora de determinar si algo es bueno o malo. También afirman que
meritono, pero pue e d H' i porque ya tiene más de los que pu~ e
necesita más profesores e Istor a y bueno _y quizá sea mejor
( la evaluación es, demasiado a menudo, una fuerza negativa y, en general, mala emplear, entonces aunque e.1 programa l'sea mu nivel de expanSlOn . , d e1 pro-
( psicología. Pero sus argumentos sólo nos convencen de que la mayoría de las 'd ontmuar con e mismo A
que otros parecI OS-, c . d tar sus escasos recursos. unque
evaluaciones no son determinantes y de que es difícil hacerlas bien; quizás . ,
grama qUlza no sea a 1 mejor manera e gas
{ ., 'l'd
ede no ser va I o, e d bemos indicar que un progra-
f
existen muchas evaluaciones distintas, y posiblemente contradictorias en apa- un programa mentono pu puede ser va'l'd
riencia, de un obreto dado, dependiendo de la posición valorativa que se adop- .. I o. P u ede que no sea bueno armar
( ma que no sea mentor~o n~ exista una gran escasez de ellos. .
ta. Pero, inevitablemente, la valoración debe desempeñar un papel. Y si sirve malos profesores de ~lstor.l~ aun~ue ué bases de valoración deben ser temdas
( al progreso y se utiliza para identificar los. puntos débiles y los fuertes, y para Hasta aquí, esta dlscuslon so re q . do tres importantes fuentes
( tender hacia una mejora, puede ser una fuerza positiva. Como puede verse, en c~enta a la hora de evaluar algo, ha proporClOna
la evaluación es una empresa compleja. de criterios:
( Creemos que este aspecto de la complejidad no debe ser interpretado en
el sentido de que estas evaluaciones sólo deben ser consideradas como procesos 1. Las distintas expectativas de los clientes. .,
(
mentales que se producen de un modo natural, conduciéndonos así hacia una 2. 1 . d 1 icio en cuesuon. .
El mérito o exce enclas e serv . ( d ir su validez potencial).
( gran variedad de interpretaciones sobre el valor de algo. Al contrario: signi- 3. Hasta qué punto el servicio es necesarzo es ec ,
( fica que hay que poner mucho cuidado no sólo cuando se recopile la infor-
mación, que debe ser de calidad, sino también cuando se clarifique y propor- ten an en cuenta los tres aspectos cuan-
En general, recomend~~os que s~eem~s necesario considerar dos aspect~s
( cione una base lógica que justifique las perspectivas de valoración utilizadas do se realice una evaluaclOn. Pero c .. pueda ser de mucha call-
para interpretar los resultados. . d 1 'd d Aunque un serVICIO
( más: la viabiltda .Y a equl a... de distintos grupos de clientes y se cen-
Como se puede ver, en la afirmación anterior incluimos la posibilidad dad atienda los dderentes obJeuvos. . , f lle en lo que se refiere a los
( de emplear muchas perspectivas de valoración. Consideramos que esta posi- tre 'en u n área que de verdad lo 'dnecesite,
d qUlza a
bilidad es fundamental para los evaluadores y profesionales en general. A me- valores de la viabilidad y la eqUl a., de los que necesita o pue-
( . d nsuma mas recursos 1
nudo, existen distintos públicos, que exigen o necesitan cosas distintas de un
Por ejemplo, pue e que ca l' . En cualquiera de los dos casos, e
( servicio profesional. Por ejemplo, a las familias acaudaladas quizá les importe de causar infinidad de problemas po Idu.cfios'den esas áreas para hacerlo más
más el hecho de que las escuelas públicas preparen a los estudiantes para en- . .. debe ser mo I ca o
( programa, en prmClplO, l" d 1 ervicio debería mencionar esto
trar en colegios de élite y en universidades, mientras que los nuevos inmi- viable. Obviamente, una buena eva u~:lOn re qSueel servicio sea más sencillo,
( grantes, que son pobres y hablan muy poco inglés, quizá rechacen las escuelas . r una so lUCl0n pa a .
y, en su caso, proporClOna d d más apropiado y sea políucamente
que no ofrecen una educación bilingüe, no atienden a los niños atrasados y no '1' l' los recursos e un mo o .. l' bl
( promueven la integración social. A la hora de evaluar un distrito escolar
uUlce
viable. eEsteuempo y
argumento en favor dI'e a vla bTd11 a
d es , en princlplO, ap lca e a
( en concreto, un evaluador competente debe tener en cuenta, según nuestra
todas las sociedades. encionar aquí la equidad, está
definición, entre otras cosas, estas dos perspectivas de valoración. De hecho, La última base valorativa que vamos ~ dmd democráticas. Se exigen las
( podríamos afirmar que las necesidades que unen o separan a los clientes de l. d con las SOClea es
predominantemente re aClOna a 1 d reclama la libertad para to-
( un determinado servicio son las que deben considerarse como base para deci- mismas oportunidades para todo e ~un.? Y/:de resultar incompleta si no

,
dir qué tipo de información se debe recopilar y a qué criterios recurrir para
( determinar la valía o el mérito de un servicio. dos. En los Estados Unidos, .u~a e~al~~cl~~be Uestar pensado y ser asequible
tiene en cuenta que un S~Vl~lO p~bd d Es importante indicar que nuestro
Los términos valía y mérito también deben ser definidos para enriquecer
para todos los miembros e la. so~e a. ficiente decir que los servicios pú-
concepto de equidad es comp eJo. o es su
(

'{-
 )
~
22 Evaluació.1] sistemática ')
Introducción a la evaluación I 23
)
blicos educativos deben poder ser requeridos y usados por todo el mundo.
or el contrario, la audiencia incluye promotores o consumidores que. ya están
Como ha dicho KELLAGHAN (1982), para que exista verdaderamente la igual- p 'd os con el"
1 desarrollo o el uso de un programa determInado, es ')
dad deben existir siete indicios de equidad: comprometl d 1
. la evaluación se centre intensamente en la evo UClon e programa
~m~ . 1 .
ara intentar mejorarlo. A veces sucede, sin embargo, mc u.so SI un grupo .es
'>
l. Los servicios públicos educativos de una sociedad deben estar pensados ~otalmente devoto de cierto servicio o producto, que, al conSIderar ot~as OPC,IO- ')
para toda la población.
nes, obtiene mejores resultados de su proveedor o encuentra una a ternatlva ')
2. Todos los sectores de la sociedad deben tener el mismo tipo de acceso a
los servicios. m~m . d ')
E~ general, creemos que la evaluación debe se~ ~omparatIva ant.es e que
3. Todos los grupos deben disfrutar de una participación equitativa en la
empif'ce el proceso o antes de suscribirse a un serVICIO,no compara~lVa duran
utilización de los servicios.
t el 'proceso (para que permita concentrarse en 10 que resulte mejor para e i ')

4. Los niveles de logro, por ejemplo, los años en el sistema educativo, no ")
d:sarrollo del servicio), y periódicamente comparativa d.espués del pr~~~so y/o
serán significativamente distintos para los diferentes grupos.
la utilización continuada, para que el camino quede abIerto ante POSI es ma- ')
5. Los conocimientos exigidos para alcanzar los objetivos del servicio no de-
ben ser sustancialmente diferentes para los distintos grupos. yores avances. ., • . o no de-
Hablando en general que una evaluacIOn deba Sé, comparatIva '1' )
6, Las aspiraciones vitales que se persiguen deben ser similares en todos los , consegUIr. de esa eva 1uaclOD,
. , en c.ua~to a su utI 1-
grupos sociales. de de 10 que se quiera ')
pe~ , r fiere Nosotros consideramos tres utilizaciones pnnCIpales: perfec-
7. El sistema del servicio deberá producir resultados similares en lo que se zaClOn se e . T ., fi re
cionamiento, recapitulación y ejemplificación. La primera. utI IzaCIon se r.e. e )
refiere a la mejora en el bienestar de todos los grupos sociales.
a la información que se proporciona para asegurar la calIdad de un terVlCIo ~ )
para mejorarla. Hay que prestar mucha atención a la naturaleza y as neceSI-
De la discusión anterior, se puede colegir que la definición de evaluación )
d des de los consumidores y a la relación existente entre el proceso y los
que hemos propuesto es engañosa en su aparente simplicidad. Cuando exami- a
resultados. En este punto, , los evalua d ores d eb enan
' estar mu y end contacto
d .. )
nemos seriamente el término base valor, debemos inevitablemente tomar en
con el personal del programa y servir com~ guías para ~as tomas e eCISIO-
consideración tanto las perspectivas de valoración como la información, la
nes. El plan de evaluación necesita ser f1exl~le y receptlv~. Cuando .ra meta )
combinación de ambas con el fin de conseguir averiguar el valor de algo y,
principal es mejorar algo, la evaluaci~n debena parecerse mas al estudIO de un
por último, la transformación de los resultados en conocimientos operativos )
caso que a un experimento comparativo. ., .
que se utilizarán para suministrar o no suministrar (o para comprar o no
La segunda' función más importante de la evaluacIOn :s hacer recapItula- )
comprar) ciertos servicios y para mejorar los que ya se están ofreciendo.
ciones o informes sumarios. Se trata de análisis retrospectIvos acerca d~ ~ro-
Antes de terminar con este tema de la definición de evaluación, debemos
yectos ya terminados, programas ya hechos o productos ya aca~ados. La In or-
)
considerar otros tres aspectos de la evaluación. El primero se refiere a si la
mación no va dirigida al personal encargado de su des.a;rollo, smo a l~s patro- )
evaluación necesita ser comparativa; el segundo, a las principales utilizaciones
cinadmes y consumidores. Debe incluir una valora.cIOn de la efica~la. de l~
de la evaluación; y el tercero se pregunta hasta qué punto los evaluadores
invertido siendo también importantes las comparaCIOnes con los mas lmpo -
)
necesitan cualificaciones especiales.
tantes c;mpetidores. La información que é:: deriva de estos profun~os .estu- )
Algunos autores (Stake, Scriven, Cronbach) han indicado que la eva-
dios y de las encuestas comparativas es ml.</ interesante para la audIenCIa en
luación puede centrarse en un solo producto o servicio, o compararlo con otras )
alternativas válidas. Por otra parte, han debatido los méritos de estas dos este tipo de situaciones. ,, 1
La tercera utilización es la ejemplificación. Básicame~te, la eva~uacIOn y a )
posturas, para acabar quedándose con una de ellas. Nosotros creemos que,
investigación son actividades distintas. La primera se dedIca a consl~erar todos
dependiendo de las circunstancias, una evaluación puede ser, legítimamente, )
tanto comparativa como no comparativa. los criterios que se utilizan en la determinaci~n de un. valor, mIe~tras que
la segunda se limita más bien al estudio de CIertas vanabl.es. que tienen ~n )
Algo que se debe tener muy en consideración es la naturaleza de la aud::n-
interés teórico. Las evaluaciones suelen utilizar métodos subJetIvo~ y no, est~n
cia y qué es lo que necesita saber acerca del objeto de la evaluación. Si la )
tan estrechamente controladas ni sujetas a manipulación como las mvest,IgacIO-
audiencia está compuesta por consumidores que desean escoger un producto
nes. No obstante, los resultados obtenidos, ~n un cierto perí~do .~e tlemp~~ ')
o servicio, la evaluación debe ser comparativa y ayudar a los consumidores a
evaluando servicios pueden facilitar informaCIón que luego sera utIhza~a pa
saber qué alternativas son convenientes y cómo compararlas críticamente. Si, )
crear y ensayar una teoría. Y, sin duda, los resultados de las evaluaCIOnes a
)
)

J
 t
f
( 24 I Evaluación sistemática Introducción a la evaluación I 25

( menudo deberían conducir d d h h

( ::cretas e ~nteresantes en :r
~~~e~~ede 1: in:~s~igaaCi~~~sp~~~~Uts:~~:sc:~~ Métodos
en ~~~~aes Importante (u~ los evaluadores, al planificar sus estudios, ;engan
( inve t' ,5'ue sus conc USlOnespueden ser utilizadas en el contexto de una Un aspecto que diferencia la evaluación sistemática de la evaluación infor-
( s IgaC,lOnque se proponga una comprensión más amplia de los fenóme mal es, sin lugar a dudas, el área metodológica, Cuando pasamos de las eva.
nos examIna os d en, la evaluación, Con una planificación más minuci .- luaciones realizadas con juicios rápidos e intuitivos a las que suponen una
( ~adosa, las evaluaclOnes pueden servir no sólo com ' d osa y CUI- rigurosa recopilación de resultados que deben ser considerados de un modo
tlvos d o gUla e programas opera-
( efectivo, debemos necesariamente enfrentarnos a las complejas áreas de la
tigacio~e~o:~:::~~~n cu:sSt~~n~~n~:~r~~~~~es;
sino también para ilustrar inves-
epistemología, las reglas empíricas, las ciencias informativas, los proyectos de
( ASI pues, parece claro que 1 l' , investigación, las valoraciones, las estadísticas, la comunicación, etc. Muchos
plicado. A la hora d 1 'fi a eVd~~~clOn es un concepto altamente com-
( e p aDl car o 1t1glr una 1 ., d b principios, instrumentos y estrategias de estas áreas son importantes para
cuenta una serie de cuestiones: eva uaClOn, e en tenerse en
la evaluación sistemática, El evaluador bien preparado debe dominar conve-
( nientemente todas las técnicas de estas áreas y mantenerse informado acerca
( ~QQu~va,lorc:s ddebbenser mencionados al juzgar los resultados? de los avances tecnológicos que puedan resuItarle útiles, Estos evaluadores,
e ue cntenos e en ser adoptad '1 d b que pueden convertirse en pioneros y contribuir al desarrollo de su profesión,
.La 1 " d b os y cua es e en tener preferencia?
( e eva uaClOn e e ser comparativa? suelen aumentar las críticas de los métodos ya existentes y la aparición de otros
- ¿La evaluación debe estar e p . d '
( bilizar a los profesionales or~ aclta a par~ gUIar el desarrollo, responsa- nuevos.
l A lo largo de los años, muchos evaluadores han escogido, e incluso defen-
ciones acerca de los fenóm' e~ar l~s dOPclOneso promover nuevas in tui-
( enos Imp lca os? dido, la utilización exclusiva de unas pocas técnicas, Algunos han equiparado
( la evaluación a sus métodos favoritos, como el diseño experimental, las prue-
Si se tienen en cuenta estas cuestiones c 1n d ' bas estandarizadas o las visitas personales, Otros han atacado duramente la
en los resultados y los utilice lId on de n e que la audIencia confíe
( , os eva ua ores eben m t ' '. estrechez de miras respecto de la adecuación de los métodos y, en algunos
o normas en su trabajOoC, an ener CIertos crltenos
' omo consecuenCla creemo 1 d' , , , casos, han abogado por sustituir su técnica favorita, como por ejemplo el estu-
( eva 1uaciones profesionales l' . f' s que a IstInCIOn entre
go, todo el mundo recurre Ya~va uaClo~es In ormales es importante, Desde lue- dio de un caso. Nosotros creemos que ambas posiciones son inencaces, inade-
( aceptar o comprar Cosas Peroasosegundas cu~nddo se trata de emplear, opinar, cuadas y, a veces, parciales,
. . curre emaSla o a menudo A cambio, recomendamos un método ecléctico. Así, creemos que los eva-
( 1uaClOnes resultan poco o n d' , , que nuestras eva.
. . , a a slstematlcas Y en mod 1 . luadores deberían conocer un amplio espectro de técnicas adecuadas y saber
Dl slqUlera para nosotros mis m E h o a guno convIncentes,
( os, n muc os casos pr f " cómo aplicarlas en los distintos c~ntextos evaluativos, De este modo, podrían
tras conclusiones tuvieran m' 1 '. ,e ennamos que nues-
. , as re evanCla ngor Y ob' t' 'd d E valorar, en cada situación, qué técnicas son potencialmente aplicables y cuáles
( sitos, SIn embargo, requerirían a menudo'" Je ,IVI a, stos requi-
pueden servir de un modo más encaz a los propósitos particulares de la evalua-

,
los que nosotros tenemos mas tIempo, dInero Y habilidad de
( ción en cuestión,
Así, en muchas ocasi~nes' las buenas 1 . Entre las áreas técnicas que, según creemos, deben conocer a fondo los
por un personal especializado 'Aun ue eva uaCl~~:s deben ser realizadas
ción es sistemática, muchas 've q. nudesdtradenDlClOn anrma que la evalua- evaluadores profesionales se encuentran las siguientes: las entrevistas, los
( proponer en este libro es un a
ces, SIn u a no lo es L
'd' ,o
.
que Intentamos informes preliminares, el análisis de contenidos, la observación, el análisis po-
clase de evaluación que tenem espeCIe e evaluación que sea justificable, La lítico, el análisis económico, el examen investigativo, los informes técnicos,
( os en mente requier f '
por parte de una o más p e un es uerzo sIstemático el estudio del caso, la evaluación sin metas, la escucha de opiniones contra-
( , , ersonas que posean en ' " puestas, las asociaciones de defensa, las listas de control, la elaboración de
mIDlmo en lo que se renere 1 " ,prInCIplO, un cierto nivel
a as tecDlcas evaluativa ' pruebas, el análisis estadístico, el diseño de la investigación, el análisis siste-
( casos, P ensamos que el concl' d d' . s que se eXIgen en estos
d 1 enzu o estu 10 que P l'b mático, la teorización y la administración del proyecto. Es recomendable con-
ayu ar a estudiante a alcanzar 1 ' 1 b' , ropone este l ro puede
( para llevar a buen término n te Dlve aSlCOde habilidad que se necesita sultar las fuentes de información general que, acerca de estas áreas técnicas,

,
ues ro concepto de evalu . , , , . pueden encontrarse en SCRIVEN(1974); ANDERsoN,BALL y MURPHY (1974);
( eva 1uar 1as evaluaciones reall' d aczon Ststematzca Y para
za as por otros, BRINKERHOFFy otros (1983) y SMITH (1981a y 1981b),

'-
:i __ ~ ••••••••••••••••• _ .. _.- __ •••• - __ Y.,.
 J
J
26 I Evaluación sistemática
1I Introducción a la evaluación I 27 J
J
1. Una evaluación debe ser útil. Debe estar dirigida a aquellas personas y
Normas grupos que estén relacionados con la tarea de realizar aquello que se está ')

evaluando o que sean sus más directos responsables. ~ebe ayudarles a

Una de las características de las prácticas profesionales es que sus miem- identificar y examinar lo bueno y lo malo de este objeto. ;oebe pon.er
J
bros deben cumplir exigentes normas referentes al trabajo y al servicio que muchísimo énfasis en plantearles las cuestiones de mayor lmportanCla. ')
realizan. Por 10 general, estas normas ya vienen formuladas por los miembros Debe proporcionarles informes claros de una manera o~rtuna. Y, en ge- ')
de la profesión, y, en algunos casos, por el gobierno. Ejemplos típicos de neral, debe facilitar no sólo informaciones acerca de vlrtudes y defectos,
ello son las normas existentes en las áreas de la ley, la medicina y la conta- sino también soluciones para mejorarlo todo. . ')
bilidad, con el fin de asesorar y valorar la práctica en cuestión, y, en algunos 2. Debe ser factible. Debe emplear procedimientos evaluatlvos ~ue p~~dan ")
casos, llegar a conclusiones acerca de ciertos procedimientos ilegales. Hasta ser utilizados sin demasiados problemas. Debe tomar en conslderaclOn y
muy recientemente, los evaluadores de programas no disponían de normas aplicar controles razonables sobre aquellas .f~erzas políticas q~e. ~uedan, "')
explícitas para la evaluación, pero esta situación está cambiando. de alguna manera, inmiscuirse en la evoluclOn. Y deben ser dmgldas de ")
Recientemente, se han publicado dos conjuntos de normas para las eva- un modo eficiente.
luaciones. Uno consiste en un grupo de treinta normas formuladas por el Joint 3. Debe ser ética. Debe estar basada en comprar: :sos explícitos que ase~ure? )
Committee on Standards for Educational Evaluation. El otro es una serie de la necesaria cooperación, la protección de los c:erechos de las par~es lmpli-
cincuenta y cinco normas formuladas por la Evaluation Research Society (ERS). cadas y la honradez de los resultados. Además, debe proporcl~nar un
)
Aquí vamos a centrarnos en el primero por unas razones determinadas. informe equitativo que revele todas las virtudes y d.efectos del obJet~., )
Cuidadosas comparaciones realizadas por investigadores independientes han 4. Debe ser exacta. Debe describir con claridad el objeto en su evoluclOn y
demostrado que casi todo lo que aparece en las normas de la ERS es exami- )
en su contexto. Debe revelar las virtudes y defectos del plan .de eval~a-
nado con mayor profundidad en las Normas del Joint Committee. Es más, la ción, de los procedimientos y de las conclu~iones. ?ebe estar l~bre de lil- )
primera serie ha sido elaborada por un comité cuyos diecisiete miembros han fluencias. Y debe proporcionar unas concluslOnes vahdas y fidedlgnas.
sido nombrados por doce organizaciones profesionales que abarcan un total )
de alrededor de dos millones de miembros, mientras que las normas de la ERS )
han sido elaboradas por un grupo de alrededor de dos mil miembros. Otra
diferencia clave es que las Normas del Joint Committee incluyen tanto al TABLA 1-1. Resumen del texto «Standards for Evaluations of Educational )
cliente como al que realiza los servicios evaluativos. Programs, Projects, and Materials» )
El texto Standards for Evaluations of Educational Programs, Projects, and
Material (Joint Committee, 1981) fue elaborado en un período de cinco años. )
Este comité está formado por alrededor de doscientas personas relacionadas A Normas de utilidad
)
con la práctica profesional de la evaluación, que realizan la labor de crear,
Las normas de utilidad están concebidas para asegurar que una evaluación
valorar y clarificar principios ampliamente compartidos con el fin de que sirvan )
proporcione las informaciones prácticas que necesita una audiencia deter-
como base para evaluaciones sobre programas educativos. El resultado son las
minada. Estas normas son: )
treinta normas resumidas en la tabla 1-1. Es particularmente notable el conti-
nuo proceso que llevan a cabo reexaminando y revisando las normas. En esen- Al Descripción de la audiencia )
cia, el Joint Committee concluye afirmando que las treinta normas son nece-
La audiencia relacionada con la evaluación o afectada por ella debe ser des-
)
sarias y suficientes para asegurar que las evaluaciones sean útiles, factibles,
precisas y válidas. Se aconseja al lector que estudie en profundidad ese libro crita con el fin de que todas sus necesidades puedan ser satisfechas. )
de Normas.
En general, las Normas del Joint Committee aconsejan que los evalu ¡dores A2 Credibilidad del evaluador )
y los clientes cooperen entre sí para que las evaluaciones puedan cumplir .)
estas cuatro condiciones principales: Las personas que dirigen la evaluación deben ser honradas y a la vez com-
petentes para poder llevarla a cabo, con el fin de que sus concluslOnes ( )
alcancen el máximo de credibilidad y aceptación.
)

)
)

1
 ('
e
c. 28 I Evaluación sistemática a la evaluación I 29

e
e A3 Alcance y selección de la información
B2
e La ~nformación recopilada debe tener el suficiente alcance y haber sido se- La evaluación debe ser planificada y dirigida conociendo las distintas pos-
e 17cclOnada de tal man7ra como para incluir en sí misma las cuestiones per-
~Inentes acerca ~el objeto de la evaluación y responder a las necesidades e
turas de los diferentes grupos de interés, con el fin de obtener su cooperá-
ción, y para qu~ cualquier posible intento, por parte de alguno de estos
e Intereses de audiencias concretas. grupos, de abrevia!' las operaciones evaluativas o de influir en los resulta-

e A4 Interpretación valorativa
dos o utilizarlos, pueda ser prevenido o contrarrestado.

e Las perspectivas, procedim~entos y bases lógicas utilizadas para interpretar

B3 Eficacia de los costes

:,C los resultados deben ser cUidadosamente descri_tas, con el fin de que queden La evaluación debe producir información 'con el valor suficiente como para

e cIaras las bases para el juicio valorativo. justificar lo que ha costado.

( A5 Claridad del informe

C Normas de honradez
( El informe de la evaluación debe describir el objeto que se está evaluando
Las normas de honradez están concebidas para asegurar que una evaluación
y su cont~~to, a la vez que los propósitos, procedimientos y resultados de
( sea realizada legal y éticamente, y, a la vez, con el debido respeto por el
la evaluaclOn, c~n el fin de que las audiencias comprendan en seguida qué
bienest'ar de todos los que intervienen en ella, así como de aquellos que
c se ha hecho, como se ha hecho, qué tipo de información se ha obtenido
qué conclusiones se han sacado y qué recomendaciones se hacen. '
están interesados en las conclusiones.
(\
A6 Difusión del informe Cl Obligación. formal
(
Los resultados de la evaluación deben ser dados a conocer a los clientes Las obligaciones de las partes formales de una evaluación (qué hay que
( y a otras audiencias interesadas o adecuadas, para que puedan valorar y hacer, cómo hacerlo, quién debe hacerlo y cuándo) deben ser plasmadas
en un compromiso escrito, con el fin de que estas partes estén obligadas a
( utilizar las conclusiones.
cumplir todas las condiciones del compromiso o a renegociarlo formalmente.
( Al Oportunidad del informe
C2 El conflicto de intereses
(
El conflicto de intereses, frecuentemente inevitable, debe ser afrontado
( abierta y honestamente, con el fin de que no interfiera en el proceso eva-
( luativo y sus resultados.

(. Las evaluaciones deben ser planificadas y dirigidas de manera que animen C3 Informes completos y claros
a la audiencia a continuar investigando por sí misma.
(.

,,
Los informes orales o escritos de una evaluación deben ser francos, directos
(. B Normas de viabilidad y honestos en la revelación de las conclusiones pertinentes, incluyendo las
limitaciones de la evaluación.
Las nor~as de viabilidad están concebidas para asegurar que una evaluación

,.
(..
Bl
sea realIsta, prudente, diplomática y moderada. Son éstas:'

Procedimientos prácticos
,
C4 El derecho del público a saber

Las partes formales de una evaluación deben respetar y asegurar el dere-

cho del público a saber, dentro de los límites de unos principios y estatutos
Los pr~c~dimientos evaluativos deben ser prácticos, para que los problemas determinados, como por ejemplo la seguridad del público y el derecho a
sean mInlmos y pueda obtenerse la información necesaria.
t., la in timidad.

~
~
1-0
30 Evaluación sistemátIca Introducción a la evaluación 31

C5 Los derechos humanos D4 Fuentes de informaci6n fiables

Las fuentes de informació)1 deben ser descritas con todo detalle, para que
Las evaluaciones deben ser preparadas y dirigidas de tal manera que sean
.pueda valorarse si la informaci6n es suficiente.
respetados y protegidos los derechos y el bienestar de los seres humanos.
D5 Determinar la validez
C6 Relaciones humanas
Los instrumentos y procedimientos para la recopilación de información
Los evaluadores deben respetar la dignidad y la integridad humanas en su deben ser escogidos o creados y luego utilizados de manera que aseguren
trato con otras personas relacionadas con la eva1uaci6n. que la interpretación final es válida para su uso.

C7 Información equilibrada D6 Determinar la exactitud

La evaluación debe ser completa y honrada en la presentaci6n de las virtu-
des y defectos del objeto de la investigaci6n, para que las virtudes puedan
ser mejoradas y los problemas solucionados.
, bidamente.
C8 Responsabilidad fiscal
D?
La cuota del evaluador y los gastos efectuados deben reflejar los procedi-
mientos econ6micos del trabajo y, por otra parte, ser prudentes y ética-
mente responsables.
Los instrumentos y procedimientos para la recopilación de informaci6n de-
ben ser escogidos o creados y luego utilizados de manera que aseguren que
la informaci6n obtenida es lo suficientemente exacta para ser utilizada de-
Control sistemático de los datos
Los datos recopilados, sistematizados y finalmente presentados. en una eva-
luaci6n deben ser revisados y corregidos, con el fin de que los resultados
de la evaluación no sean inexactos.

D Normas de precisi6n D8 Análisis de la información cuantitativa

Las normas de precisión están concebidas para asegurar que una eva1uaci6n La informaci6n cuantitativa de una evaluaci6n debe ser adecuada y siste-
revele y transmita una informaci6n técnicamente exacta acerca de las ca- máticamente analizada con el fin de asegurar que las interpretaciones sean
racterísticas del objeto que está siendo estudiado, para poder determinar fidedignas.
. su. valor. o su mérito. Estas normas son:
D9 Análisis de la informaci6n cualitativa
D1 Identificaci6n del objeto
La información cualitativa de una evaluación debe ser adecuada y sistemá-
.E1 objeto de la evaluación (programa, proyecto o material) debe ser exa. ticamente analizada con el fin de asegurar que las interpretaciones sean
minado en profundidad, de manera que su(s) estructura(s) pueda(n) ser fidedignas.
claramente identificada(s).
Dl0 Conclusiones justificadas
D2 AnáliSis del contexto
J Las conclusiones a las que se llegue en una evaluación deben ser explícita-
mente justificadas, para que las audiencias puedan valorarlas.,
El contexto en el que está incluido el programa, proyecto o material debe
ser examinado en su más mínimo detalle, con el fin de identificar sus po- Dll Objetividad del informe
sibles influencias' sobre el objeto.

D3 Descripción de intenciones y procedimientos

Los procedimientos de las evaluaciones deben proporcionar 1a~ garantías
suficientes para proteger los resultados y los informes de la evaluación con.
c)
tra la distorsión de los sentimientos e inclinaciones personales de cualquiera
,)
Las intenciones y los procedimientos de la eva1uaci6n deben ser concebi. de las partes formales.
dos y descritos con todo detalle, de manera que puedan ser identificados O
y valorados. FUENTE: The ]oint Comittee on Standards for Educational Evaluation, McGraw-Hill, 1981. !:J
o
O
~)
 (
(
{ 32 Evaluación sistemática
Introducción a la evaluación I 33

f Las Normas del Joint Committee pueden aplicarse en cualquier etapa del
contribuir a ella. Se dice a menudo que los que no conocen su propia historia
( proceso evaluativo: deben ser tenidas en cuenta, por ejemplo, a la hora de
están condenados a repetirla. Nosotros facilitaremos únicamente un breve es-
decidir si hay que realizar la evaluación o no, a la hora de planear la evalua-
( bozo histórico con el fin de informar al lector sobre los acontecimientos más
ción y llevarla a cabo, al presentar los resultados y al aplicar las conclusiones.
significativos ocurridos en el campo de la evaluación.
( Por lo tanto, la utilización de las Normas no sólo sirve para controlar la
Nuestro análisis histórico se basa en un trabajo clave de Ralph \'í/. Tyler
calidad de un informe ya terminado, sino también como asesoramiento duran-
( (véase unidad 3), que a menudo es considerado el padre de la evaluación edu-
te la realización de la evaluación. Un segundo punto que hay que tener en
cativa. Utilizando sus contribuciones iniciales como principal punto de refe-
cuenta es que las distintas normas son más o menos importantes en cada
( rencia, hemos establecido cinco períodos básicos: 1) el período pre-Tyler, que
etapa de la evaluación. Así, quienes utilicen las normas deben estudiarlas y
( abarca hasta 1930; 2) la época tyleriana, que va desde 1930 hasta 1945; 3) la
analizarlas comparativamente con el fin de poder aplicarlas juiciosamente en
época de la «inocencia», desde 1946 hasta 1957; 4) la época del realismo,
( cada una de las etapas de la evaluación. El resumen de las treinta normas
que cubre el período 1958-1972; y 5) la época del profesionalismo, que in-
presentado en la tabla 1-1 es un punto de partida, pero recomendamos al
cluye la evolución experimentada desde 1973 hasta el presente.
( lector que consiga y estudie el texto completo.
El trabajo erel Joint Committee se ha basado en dos premisas básicas: que
(
la evaluación es una actividad humana tan esencial como inevitable, y que la
El período pre-tyleriano
{ evaluación solvente debe proporcionar una comprensión más amplia y una
mejora de la educación. Además, el comité se guió por la creencia de que una
( La evaluación sistemática no era desconocida antes de 1930, pero tampoco
serie de normas concienzudamente elaboradas puede desempeñar un papel vital
era un movimiento reconocible. El hecho de evaluar individuos y programas
( a la hora de mejorar la práctica de la evaluación educativa. En otras palabras:
apareció, como mínimo, en el año 2000 a.c., cuando algunos oficiales chinos
un papel metaevaluativo.
( dirigieron unas investigaciones de los servicios civiles, y en el siglo v a.c.,
Otro punto trascendental con respecto a las Normas del Joint Committee
cuando Sócrates y otros maestros griegos utilizaron cuestionarios evaluativos
( es que se trata de un documento vivo. Un comité permanente, formado por
como parte de su metodología didáctica. En el siglo XIX, en Inglaterra, se
doce organizaciones y respaldado por el Centro de Evaluación de la Universi-
( utilizaron comisiones reales para evaluar los servicios públicos. En 1845, en
dad de Western Michigan, controla la utilización de las normas y carga con la
los Estados Unidos, Horace Mann dirigió una evaluación, basada en tests de
( responsabilidad de ponerlas al día y perfeccionarlas periódicamente. El comité
rendimiento, para saber si las escuelas de Bastan educaban bien a sus estu-
anima a los usuarios para que les proporcionen información basada en críticas
( diantes. Entre 1887 y 1898, Joseph Rice estudió los conocimientos en orto-
y, especialmente, en los usos más actuales de las normas.
grafía de 33 000 estudiantes de un amplio sector escolar y sacÓ la conclusión
( de que la gran insistencia en la enseñanza de la ortografía, que entonces estaba
( en boga, no había producido avances sustanciales en el aprendizaje. Este es-
La historia t
tudio está generalmente reconocido como la primera evaluación formal sobre
( un programa educativo realizado en América. También en los últimos años
Ninguna introducción a la evaluación entendida como una práctica profe-
( del siglo pasado, empezó a crearse el movimiento para la acreditación de insti-
sional estará completa si no se presta la debida atención a 'la evolución histó-
tuciones educativas y programas en los Estados Unidos; desde entonces, el
( rica del tema. Cualquier profesión, para poder satisfacer las necesidades de
proceso de acreditación se ha convertido en uno de los principales medios
sus clientes, debe evolucionar de acuerdo con los cambios de las necesidades
( para evaluar los servicios educativos. Una aproximación aún mayor a la eva-
sociales y teniendo en cuenta todos los avances teóricos y técnicos. A menos
luación se produjo, en los primeros años de este siglo, con la aparición de
( que los miembros de una profesión elaboren y sostengan una perspectiva
los tests estandarizados. Este acontecimiento formaba parte de un gran esfuer-
histórica sobre su trabajo, probablemente seguirán teniendo siempre una con-
( zo que pretendía que la educación fuera más eficiente para que un mayor
cepción limitada de su función social, sin poder estimular la innovación ni
número de estudiantes pudiera utilizar los recursos entonces disponibles en
( las escuelas.
( 1. Este apartado sobre la historia de la evaluación está basado en un análisis de . El breve resumen anterior viene a confirmar que la evaluación sistemática
George Madaus y Daniel Srufflebeam, que aparece resumido en George MADAUS, Michael tIene una larga historia. Mientras que sólo muy recientemente se ha llegado
( SCRIVEN y Daniel STUFFLEBEAM, Evaluation Models, Boston: Kluwer-Nijhoff, 1983,
a considerar la evaluación como una práctica profesional, buena parte del tra-
(
l
,-4
 ')
r
l'
!"""'
')

')

34 1 Evaluación sistemática Introducción a la evaluación I 35 ')

bajo evaluativo moderno continúa basándose en ideas y técnicas que ya se
aplicaban hace mucho tiempo, como por ejemplo las encuestas, las comisio-
nes, la acreditación y las comparaciones experimentales de varios programas.
La época tyleriana
En los primeros años de la década de los treinta, Ralph Tyler acuñó el
término evaluación educacional y publicó una amplia y renovadora visión del
currículo * y la evaluación. En un período de alrededor de quince años, desarro-
lló sus intuiciones hasta que conformaron un método que suponía una clara
alternativa a otras perspectivas.
La principal característica de su método era que se centraba en unos obje-
tivos claramente fijados. De hecho, definía la evaluación como algo que deter-
mina si han sido alcanzados ciertos objetivos. Como consecuencia de esta de-
finición, los evaluadores debían ayudar a quienes elaboraban currículos a cla-
rificar el rendimiento de los estudiantes, que había sido precisamente deter-
'l
que ayudó a Tyler a difundir, ensayar y demostrar su concepción de la eva-
luación educacional de una manera inmediata.
A través de este programa de ámbito nacional, Tyler pudo publicar lo que
.,
él veía como un método que tenía claras ventajas sobre los demás. Desde el ')
momento en que la evaluación tyleriana incluía comparaciones internas entre
')
los resultados y los objetivos, ya no necesitaba recurrir a costosas y problemá-
ticas comparaciones entre grupos de control y grupos experimentales. El mé- )
todo se centra en determinar el grado de éxito, por lo que se opone a métodos
)
indirectos que determinan factores como la calidad de la enseñanza, el número
de libros que hay en la biblioteca, los materiales y la participación de la comu- )
nidad. y además, las evaluaciones tvlerianas no se ven demasiado afectadas
')
por la fiabilidad de las diferencias e~tre las puntuaciones individuales de los
alumnos ya que generalmente cubren una franja más amplia de variables )
exógenas que las cubiertas por los test: tipificados. Todos estos argumentos
')
fueron bien recibidos por el sector de la educación americana, y a mediados
de los años 40 Ralph Tyler ya había conseguido la categoría suficiente como )
para ejercer una gran influencia sobre el panorama educacional en los próximos

I~
I
I
minado a través de la realización de un currículo. Los objetivos resultan-
tes, referidos al rendimiento, proporcionaban entonces la base para elaborar
un currículo y un test de desarrollo. La elaboración del currículo queda-
veinticinco años. •
)
)
I ba así influida tanto por los contenidos que debían aprenderse como por la La época de la «inocencia» )
evolución del rendimiento de los estudiantes. La tecnología de los tests de
)
desarrollo iba a servir de base para la elaboración de tests relacionados con los Para la sociedad americana, los últimos años 40 y la década de los 50
objetivos, y también a los relacionados con las diferencias individuales y con )
I las normas nacionales o del estado.
Durante la década de los treinta, los Estados Unidos, como el resto del
fue un tiempo para olvidar la guerra, dejar atrás la Depresión, crear y desa-
rrollar aptitudes, adquirir recursos, y lograr disfrutar de la «buena vida».
Podríamos haber calificado esta época como el período de expansión, pero hay
)
mundo, cayó en las profundidades de la Gran Depresión. Las escuelas, como )
que tener en cuenta que también existía una amplia complacencia a la hora
I otras instituciones públicas, se estancaron en una ausencia total de recursos y
de enjuiciar los graves problemas de aquella sociedad. Como consecuencia, )
optimismo. Justo cuando Roosevelt intentaba con su New Deal sacar de este creemos que es mejor referirnos a esta época como al Período de «inocencia»
abismo a la economía americana, John Dewey y algunos otros intentaron con- )
o incluso de la irresponsabilidad social.
tribuir a que la educación se convirtiera en un sistema dinámico e innovador,
Además de ser una época de plenitud, este período fue un tiempo de po- )
que a la vez se fuera renovando a sí mismo. Con el nombre de Educación
breza y desesperación en las c:udades del interior y en las áreas rurales, pero
Progresiva, este movimiento reflejó la filosofía del pragmatismo y empleó los )
al parecer casi nadie, excepto los afectados, se dio cuenta. Fue un período de
instrumentos de la psicología conductista. profundos prejuicios raciales y de segregación, pero gran parte de la población
Tyler se vio metido de lleno en este movimiento cuando le encargaron di- )
blanca parecía inconsciente de esta enfermedad. Fue un período de exorbi-
rigir la parte de investigación del hoy famoso Eight-Year Study (SMITH y )
tado consumo y de gran despilfarro de los recursos naturales, sin tener en
TYLER, 1942). Este estudio fue pensado para examinar la efectividad de cier-
cuenta que un día estos recursos iban a agotarse. Fue un período de un abru-
tos currículos renovadores y estrategias didácticas q :e se estaban empleando )
mador desarrollo de la industria y la capacidad militar, pero se tomaron muy
en treinta escuelas a lo largo de toda América. El eS[Jdio resulta notable por- )
pocas precau~iones contra los l?erjuicios que iban a sufrir el paisaje y las fu-
turas generaCIOnes.
* Dado el significado amplio que tiene la palabra «curriculum» en inglés, utilizada en )
general para designar todo aquello que gira en torno a la actividad docente y no sólo al Más que de la evaluación educacional, se trató de una expansión de las
plan de estudios, hemos preferido conservarla, una vez castellanizada, a 10 largo de toda of.~~t~seducacionales, del personal y de las facilidades. Se construyeron nuevos )
la obra. [T.] edlhcIOS. Aparecieron nuevos tipos de instituciones educativas, como los co- )
)
.)
\
(
( Introducción a la evaluación I 37
36 I Evaluación sistemática
(
legios comunitarios. Los pequeños distritos escolares se unieron a otros con el hacer las evaluaciones a su antojo, y que los futuros progresos de las metodo-
( fin de proporcionar un más amplio abanico de servicios educativos, como ya 10 logías evaluativas deberían estar relacionados con conceptos como utilidad y
hacían los sistemas escolares más grandes, incluyendo servicios para la salud relevancia. Su violento despertar, en este período, marcó el final de una era
( de complacencia y ayudó a emprender profundos cambios, guiados por el in-
mental y física, consejos escolares, comedores, enseñanzas musicales, amplios
( programas deportivos, educación comercial y técnica y educación social. S~ terés público y dependiendo del dinero de los contribuyentes para su financia-
incrementaron desmesuradamente las inscripciones en los programas educatl- ción, 10 cual condujo a que la evaluación se convirtiera en una industria y en
(
vos para maestros y, en general, las inscripciones en los colegios aumentaron una profesión.
( Como consecuencia del lanzamiento, por parte de la Unión Soviética, del
espectacu1armen te.
Este panorama general de la sociedad y la .educación se reflejó también en Sputnik 1 en 1957, el gobierno federal respondió promulgando la National
( Defense Education Act de 1958. Entre otras cosas, esta acta proporcionó nue-
la evaluación educacional. Mientras se producía esta gran expansión de la edu-
( cación, la sociedad no parecía tener un gran interés en formar profesores com- vos programas educativos en matemáticas, ciencias e idiomas, y creó servicios
petentes, en localizar y solucionar las necesidades de. los menos privilegiados asesores y programas de encuestas en los distritos escolares. Aparecieron, así,
( un cierto número de nuevos proyectos nacionales para el desarrollo de currícu-
o en identificar y solucionar los problemas del sistema educativo. Los educa-
( dores escribían sobre la evaluación y sobre la recopilación de los datos más los, especialmente en las áreas de ciencias y matemáticas. Finalmente, se asig-
importantes, pero, al parecer, no traducían estos esfuerzos en intentos de me- naron fondos para evaluar estos programas.
( Los cuatro métodos evaluativos expuestos hasta aquí estaban ya represen-
jorar los servicios 'educativos. Esta falta de objetivos provocó también el retra-
( so de los aspectos técnicos de la evaluación. Hubo un considerable desarrollo tados en las evaluaciones que se realizaron en este período. Primero, el mé-
de los instrumentos y estrategias aplicables a los distintos métodos evaluativos, todo Tyler fue usado para definir los objetivos de los nuevos currículos y
( para valorar el grado en que estos objetivos quedaban, más tarde, alcanzados.
como los tests, la «experimentación comparativa» y la «coincidencia entre re-
( sultados y objetivos». Como consecuencia, los educadores dispusieron de nue- Segundo, los nuevos tests estandarizados a nivel nacional sirvieron para refle-
vos servicios de tests y de nuevas maneras de calificarlos, de algoritmos para jar mejor los objetivos y los contenidos de los nuevos currículos. Tercero, el
( designar objetivos de comportamiento, de taxonomías de objetivos, de nuevos método del criterio profesional fue usado 'para valorar las propuestas y veri-
ficar periódicamente los resultados. Finalmente, muchos evaluadores se compro-
( modelos experimentales y de nuevos procedimientos estadísticos para analizar
los datos educativos. Pero estas contribuciones no se derivaban de un análisis metieron a evaluar los resultados del desarrollo del currículo a través de prue-
( de la información necesaria para valorar y perfeccionar la educación, ni repre- bas concretas.
A principios de los años 60, algunos de los más importantes evaluadores
( sentaban un desarrollo de la experiencia escolar.
Durante este período, las evaluaciones educacionales dependían, como ya 10 educacionales se dieron cuenta de que su trabajo y sus conclusiones no ayuda-
( habían hecho antes~ sobre todo, de los límites de los distritos escolares locales. ban demasiado a los que elaboraban currículos, y no respondían a las pregun-
Las escuelas, pues, dependían del interés y la habilidad locales para poder tas sobre los programas que planteaban aquellos que necesitaban comprobar
(
hacer o no una evaluación. Las agencias federales y estatales aún no estaban su grado de efectividad. La «flor y nata» de la comunidad evaluativa educacio-
{ demasiado introducidas en el campo de la evaluación de programas. Los fondos nal participó en estos esfuerzos para evaluar los nuevos currículos; estaban
destinados a las evaluaciones provenían de las arcas locales, de fundaciones adecuadamente financiados y aplicaban cuidadosamente la tecnología que había
(
o de organizaciones profesionales. Esta ausencia de ayudas exteriores y de ido desarrollándose durante la pasada década o incluso antes. A pesar de todo
( apoyos para la realización de evaluaciones en todos los niveles de la educación esto, empezaron a darse cuenta de que sus esfuerzos no tenían éxito.
iba a concluir con la llegada del próximo período de la historia de la evaluación. Esta valoración negativa quedó perfectamente reflejada en un histórico ar-
( tículo de CRONBACH (1963: véase unidad 5). Examinando los esfuerzos eva-
( luativos del pasado reciente, criticó duramente los conceptos en los que se
habían basado las evaluaciones por su falta de relevancia y utilidad, y acon~
( La época del realismo
sejó a los evaluadores que abandonaran sus inclinaciones de entonces y se
( La época de la inocencia en la evaluación tuvo un brusco final con el auge, dedicaran a hacer evaluaciones basadas en comparaciones de los resultados
a finales de los años 50 y principios de los 60, de las evaluaciones de proyectos obtenidos en tests tipificados, realizados por grupos experimentales y de con-
( trol. Cronbach recomendó a los evaluadores que reconceptualizaran la evalua-
de currículos a gran escala, financiadas por estamentos federales. Los educa-
( dores se encontraron, durante este período, con que ya no podían hacer o no ción no como si se tratara de una carrera de caballos entre programas compe-

{
(
.{
 ¡
")

38 I Evaluación sistemática
tidores, sino como un proceso consistente en recoger y formalizar información
que pueda ayudar a quienes elaboran los currículos. Cronbach argüía que el
análisis y la relación de los resultados de un test podrían ser, probablemente,
de más utilidad para los profesores que informarles sobre el promedio del
total de las calificaciones. Cuando fue publicado por primera vez, el consejo
de Cronbach y sus recomendaciones pasaron inadvertidos durante mucho
tiempo, exceptuando un pequeño círculo de especialistas en evaluaciones. De
cualquier manera, el artículo era básico y contenía hipótesis sobre la concep-
tualización y la dirección de evaluaciones que iban a considerarse totalmente
válidas al cabo de muy pocos años.
En 1965, conducida por la clarividencia del senador Hubert Humphrey, el
carismático liderazgo del presidente John Kennedy y la gran habilidad política
del presidente Lyndon Johnson, se desencadenó la Guerra contra la Pobreza.
Estos programas invirtieron billones de dólares en reformas que pretendían
igualar y aumentar las oportunidades para todos los ciudadanos de los Estados
Unidos a través de una amplia serie de servicios sanitarios, sociales y educa-
tivos. La expansión de la economía permitió que el gobierno federal finan-
ciara estos programas, y se consiguió un gran apoyo de toda la nación para
desarrollar 10 que el presidente J ohnson llamó la Gran Sociedad.
Junto a este esfuerzo masivo para ayudar a los necesitados, se produjo, en
ciertas regiones, una cierta preocupación por el posible despilfarro de las
inversiones si no se exigían algunos requisitos en la contabilidad. En respuesta
a estas preocupaciones, el senador Robert Kennedy y algunos de sus colegas
del congreso promulgaron el Acta de la Educación Elemental y Secundaria de
1965 que incluía requisitos específicos para la evaluación. Como resultado,
el primer artículo de esa acta (que aspiraba a proporcionar una educación com-
pensatoria a los niños menos favorecidos) exigía específicamente que cada dis-
trito escolar recibiera fondos, basándose en ese artículo, para que evaluara
anualmente hasta qué punto los proyectos que había realizado al amparo del
artículo 1 habían alcanzado sus objetivos, todo ello utilizando los datos de
tests debidamente estandarizados. Este requisito, con su referencia específica
a las encuestas y a la valoración de la congruencia entre resultados y objetivos,
refleja cómo se encontraba la evaluación educacional en aquella época. Y, 10
que es más importante, el requisito obligó a los educadores a que trasladaran
sus preocupaciones, en 10 que se refiere a la evaluación educacional, desde
el campo de la teoría y las suposiciones al de la práctica y el perfecciona-
miento.
Cuando los distritos escolares empezaron a responder a los requisitos eva-
luativos del artículo 1, comprobaron rápidamente qu: los instrumentos y estra-
tegias que empleaban entonces los evaluadores, resultaban totalmente inapro-
piados para aquel trabajo. Los tests estandarizados que se habían elaborado
Introducción a la evaluación I 39 )
)
dades y valorar los avances de los mnos menos favorecidos, cuyo desarrollo
educativo se encontraba muy por detrás del de sus compañeros de clase media. ')
Además, dichos tests eran relativamente inadecuados para discernir las dife-
)
rencias entre escuelas y/o programas, principalmente a causa de sus propie-
dades psicométricas y el alcance de sus contenidos. En lugar de determinar los )
resultados directamente relacionados con una escuela o un programa en con-
)
creto, estos tests determinaban, en el mejor de los casos, el grado de aprendi-
zaje, centrándose casi en los mismos rasgos que los tests de aptitudes (KELLA- ')
GHAN,MADAUSY AIRASIAN,1980).
')
La utilización de tests estandarizados planteó otro problema: un método
de evaluación como éste se oponía a los preceptos del método tyleriano. Desde ')
el momento en que Tyler reconocía y enfatizaba las diferencias entre los ob-
')
jetivos de un lugar u otro, a este modelo le resultaría difícil adaptar a todo
el ámbito nacional sus programas de tc:sts estandarizados. Para ser comercial- )
mente viables, estos programas regularizados debían olvidar ciertos objetivos
')
bastante extendidos e importantes para ciertos lugares, en favor de otros
que eran importantes para la mayoría de los distritos. Es más, había una )
escasez de información acerca de las necesidades y niveles de éxito de los
)
niños menos afortunados, 10 cual limitaba a los profesores a la hora de fijar
objetivos de comportamiento que fueran significativos para este grupo de )
alumnos.
Los intentos de aislar los efectos del artículo 1 a través de la utilización )
de planes establecidos por grupos de controlo experimentales fallaron, debido, )
principalmente, a la incapacidad de cumplir los requisitos de estos planes.
)
y las inspecciones in situ realizadas por expertos '-aunque fueron muy utili-
zadas por responsables gubernamentales- no resultaron aceptables como pri- )
mera estrategia evaluativa porque se consideró que este método estaba falto de
la «objetividad» y el «rigor» estip~lados en la legislación de la ESEA. Cuando )
se informaba de que no se había llegado a ninguna conclusión, 10 cual ocurría ,)
frecuentemente, se daba muy poca información acerca de los procedimientos
empleados y, a menudo, no se proporcionaban datos sobre cómo se habían )
llevado a cabo. Frecuenteme:te, el énfasis puesto en las puntuaciones de los )
tests desviaba la atención de~ examen de los procedimientos o de su ejecución.
Como resultado de la creciente inquietud producida por los esfuerzos rea- )
lizados en las evaluaciones con resultados siempre negativos, el Phi Delta
)
Kappa creó el National Study Committee on Evaluation (STUFFLEBEAM y otros,
1971). Tras examinar el panorama, este comité concluyó que la evaluación edu- )
cacional «era víctima de una grave enfermedad» y recomendó el desarrollo de t )
nuevas teorías y métodos de evaluación, así como nuevos programas para pre-
parar a los propios evaluadores. Al mismo tiempo, empezaron a aparecer nue- )
vas conceptualizaciones sobre la evaluación. PROVUS(1971), HAMMOND (1967), f )

con el fin de determinar el promedio del grado de conocimientos de los estu- ErsNER (1967) y METFESSEL Y MrcHAEL (1967) propusieron una reforma
diantes no sirvieron para casi nada cuando hubo que diagnosticar las necesi- del modelo Tyler. GLASER(1963), TYLER (1967) y POPHAM(1971) recomen- )
)
)
j
(
(
1
,
( 40 I Evaluación sistemática
f daron los tests basados en criterios como una alternativa a los tests basados en
( normas. COOK(1966) pidió la utilización del método de análisis sistemático
para la evaluación de programas. SCRIVEN(1967), STUFFLEBEAM(1967, 1971)
(
Y STAKE(1967) crearon nuevos modelos de evaluación que se alejaban radi-
( calmente de los métodos anteriores. Estas conceptualizaciones reconocían la
necesidad de evaluar las metas, examinar las inversiones, y analizar el perfec-
(
cionamiento y la prestación de los servicios, así como determinar los resultados
( que se desean (o no se desean) obtener del programa. También insistieron en
la necesidad de enjuiciar el mérito o el valor del objeto de la evaluación. Los
( últimos años de la década de los 60 y los primeros de la de los 70 vibraron
{ con las descripciones, discusiones y debates acerca de cómo debía ser conce-
bida la evaluación. Las unidades que siguen tratan en profundidad los métodos
( alternativos ql.!e empezaron a tomar forma en este período.
( de metodología evaluativa (distinguiéndola de la metodología investigativa).
( .La época del profesionalismo
( Western Michigan-
Aproximadamente en 1973, el campo de la evaluación empezó a cristalizar
( y a emerger como una profesión diferenciada de las demás, relacionada con
( (pero también distinta de) sus antecedentes de investigación y control. El
campo de la evaluación ha avanzado considerablemente como profesión, aun-
( que es instructivo considerar su desarrollo en el contexto del período anterior.
( En aquellos momentos, como ya hemos explicado, los evaluadores se en-
frentaban a una crisis de identidad. No sabían muy bien cuál era su papel,
( si debían ser investigadores, administradores de tests, profesores, organizado-
( res o filósofos. Cualquier calificación especial que se les pudiera dar no resul-
taría clara. No existían organizaciones profesionales dedicadas a la evaluación
( entendida como especialidad, ni tampoco publicaciones especializadas a través
( de las cuales los evaluadores pudieran intercambiar información acerca de su
trabajo. Esencialmente, no existía literatura acerca de la evaluación educacio-
( n~l, excepto u:~os inéditos que circulaban únic-amente entre círculos de es-
pecialistas. Había muy pocas oportunidades de prepararse para ejercer un
{
servicio evaluativo. Las normas claras para una buena práctica se veían con-
( finadas a las encuestas educacionales y psicológicas. El campo de la evaluación
era amorfo y fragmentado. Muchas evaluaciones estaban dirigidas por personal
(
sin preparación, otras por investigadores metodológicos que intentaban sin
( éxito adaptar sus métodos a las evaluaciones educativas (GUBA, 1966). Los
estudios evaluativos estaban cargados de confusión, ansiedad y hostilidad. La
l evaluación educacional como especialidad tenía poca talla y ninguna dimensión
( política.
Con este telón de fondo, el progreso realizado por los evaluadores educa-
(
cionales para profesionalizar su especialidad durante los años 70 es totalmen-
( te destacable. Algunas publicaciones, como Educational Evaluation and Policy
,(
l
.j
Introducción a la evaluación I 41
Analysis, Studies in Evaluation, CEDR Quarterly, Evaluation Review, New
Directions for Program Evaluation, Evaluation and Program Planning y Eva-
luation News, aparecieron en aquella época, y luego han demostrado ser ex-
celentes vehículos para recoger y.difundir información acerca de las diversas
facetas de la evaluación educacional. A diferencia de 10 que ocurría quince años
atrás, numerosos libros y monografías tratan ahora exclusivamente de la evalua-
ción. De hecho, el problema actual no es encontrar literatura sobre la eva-
luación, sino seguir el ritmo de lo que se publica. El grupo May 12, la Division
H de AERA, la Evaluation Network y la Eva1uation Research Society han pro-
porcionado excelentes oportunidades para que pueda establecerse un inter-
cambio profesional entre personas relacionadas con la evaluación y otros pro-
gramas.
Muchas universidades han empezado a ofrecer por lo menos un curso
Unas pocas -como la Universidad de I1linois, la Universidad de Stanford, el
Boston College, la UCLA, la Universidad de Minnesota y la Universidad de
han elaborado programas para graduarse en evaluación.
Durante siete años, la Oficina de Educación de los Estados Unidos patrocinó
un programa nacional de preparación para el servicio evaluativo destinado a
educadores especiales (BRINKERHOFFy otros, 1983), y otras organizaciones
profesionales han ofrecido talleres e institutos que tratan distintos temas rela-
cionados con la evaluación. Se han fundado centros para la investigación y el
desarrollo de la evaluación, entre los que se encuentran la unidad de evaluación
del Northwest Regional Educational Laboratory, el Center for the Study
of Evaluation de la UCLA, el Stanford Evaluation Consortium, el Cen-
ter for Instructional Research and Curriculum Evaluation de la Universidad
de I1linois, el Evaluation Center de la Universidad de Western Michigan y
el Center for the Study of Testing, Evaluation, and Educational Policy del
Bastan College. El estado de Louisiana ha establecido un sistema y un pro-
grama para la titulación de evaluadores, Massachusetts está trabajando actual-
mente en un programa evaluativo similar y Dick JOHNSON(1980) ha elabo-
rado un primer borrador de una guía telefónica de evaluadores y agencias de
evaluación.
De un modo creciente, la especialidad está considerando la metaevaluación
(SCRIVEN,1975; STUFFLEBEAM,1978) como un medio para asegurar y compro-
bar la calidad de las evaluaciones. Como ya se ha indicado, un comité (Joint
Committee, 1981), formado por doce organizaciones profesionales, ha publi-
cado una clarificadora serie de normas para juzgar las evaluaciones de los pro-
gramas educativos, proyectos y materiales, y ha establecido un mecanismo
(Joint Committee, 1981) para repasar y revisar las Normas y facilitar su uso.
Además, se han publicado muchos otros grupos de normas importantes para
la evaluación educacional (Evaluation News, mayo de 1981). Y han aparecido.
muchas técnicas nuevas, tal y como se describe a lo largo de este libro.
 ')

42 I Evaluación sistemática Introducción a la evaluación I 43 ')

")

Este considerable desarrollo profesional de la evaluación educacional ha

producido diversos resultados. Primero, al producirse un indudable aumento Reparto de papeles en el trabajo evaluativo )
y mejora de la comunicación en la especialidad, ha aparecido también una
)
enorme cantidad de «cháchara» (CRONBACH, 1980). Segundo, aunque la pre- Hasta aquí hemos presentado y discutido una definición básica. de la
paración y titulación de evaluadores ha mejorado con el fin de que las institu-
,
")

evaluación, descrito algunos de los métodos relacionados con el trabajO eva-

ciones puedan disponer de servicios realizados por personas cualificadas, al-
gunos lamentan que este desarrollo pueda reducirse a una especie de club
cerrado y exclusivista (STAKE, 1981). Tercero, la cooperación entre organiza-
ciones profesionales relacionadas con la evaluación educacional, promovida
por el Joint Committee on Standards for Educational Evaluation, es un pro-
metedor pero frágil compromiso para fomentar la ejecución y utilización de
trabajos evaluativos de alta calidad. Cuarto, mientras la creación de nuevas
organizaciones profesionales ha incrementado la comunicación y reducido la
fragmentación de la especialidad evaluativa, aún persiste una profunda divi-
sión entre la Division H de AERA, la Evaluation Network y la Evaluation
Research Society ..Finalmente, aunque se ha incrementado la comunicación entre
los partidarios de los métodos positivistas/cuantitativos y los que proponen
métodos fenomenológicos/cualitativos, existe, actualmente, el peligro de que
se produzca una polarización entre estos dos campos.
A pesar de la creciente búsqueda de métodos adecuados, del incremento
de la comunicación y el entendimiento entre los principales teóricos, y del desa-
rrollo de nuevas técnicas, la práctica actual de la evaluación ha cambiado muy
poco en la mayoría de los casos. Está claro que es necesario renovar los es-
fuerzos para educar a los evaluadores en las nuevas técnicas, para poner a
prueba e informar de los resultados conseguidos mediante estas nuevas téc-
nicas y para desarrollar técnicas adicionales. En todos estos esfuerzos, debe
ponerse el énfasis en conseguir que la metodología responda a las necesidades
de los profesionales y de aquellos a quienes sirven.
Hemos presentado la evaluación educacional como una profesión dinámi-
ca y aún en desarrollo. Aunque se trata de una profesión aún inmadura, no
hay duda de que poco a poco se va convirtiendo en una parte identificable del
amplio aparato profesional y gubernamental de educación, salud y bienestar.
La predicción que se solía hacer en los años 60, en el sentido de que la eva-
luación de programas formalizada era sólo una moda que pronto desaparecería,
ha demostrado ser falsa, y hay fuertes indicios de que esta especialidad con-
tinuará creciendo en importancia, complejidad y valor. Los logros alcanzados
desde el final de la década de los sesenta son importantes, pero aún existen
muchas deficiencias obvias y son necesarias una investigación y evolución
constantes.
luativo, señalado las normas de esta profesión y proporcionado un panorama
histórico. Hecho esto, concluiremos echando un vistazo a los papeles que se
desempeñan en una evaluación. . ')
Tanto si una evaluación es dirigida por una persona como sIlo es por
')
muchas deben desempeñarse unos cuantos papeles, y cuando se considera el
trabajo 'relacionado con apoyar y promover la evaluación como profesión, este ~ ')
abanico de papeles se convierte en mucho más amplio. Todos los que están
)
relacionados con la evaluación, ya sea en generala como especialistas, deben
tener una amplia visión de todos estos papeles con el fin de que su participa- )
ción y su colaboración se integren en la labor de equipo. Quizá nada sea tan
')
destructivo con respecto a la potencial contribución en una evaluación como
el hecho de pensar que esa evaluación es una investigación independiente reali- ~)
zada por un solo investigador. Por el contrario, la evaluación alcanza su mejor
momento cuando se desarrolla como un trabajo de equipo. )
Con la intención de proporcionar un amplio panorama del trabajo relacio- )
nado con las evaluaciones individuales y con la profesión evaluativa en ge-
neral, hemos descrito doce papeles básicos. Aunque otros autores describan )
un panorama distinto y le asignen funciones diferentes, nosotros creemos q.u.e )
nuestra clasificación de papeles abarca muchas, si no todas, de las responsablh-
dades laborales que los evaluadores pueden llevar a cabo. Es más, en nuestra )
experiencia, esos doce papeles se han asociado con la actual distribución del )
trabajo. Desde luego, no siempre. existe una correspondencia unívoca entre
papel y trabajo, pero creemos que esos doce papeles pueden resultar útiles )
para el lector, no sólo para que reflexione sobre la amplia serie de actividades , )
evaluativas existentes, sino también para que tenga en cuenta los posibles
estudios que se pueden realizar en torno a la evaluación. Lo que sigue, pues, f )
son unas breves definici( :les de los doce papeles básicos que pueden desempe- )
ñarse en una evaluación.
)
)
El cliente de la evaluacIón
.)
Cualquier evaluación de utilidad implica la plena participación de un
/)
cliente. Esto es cierto tanto si el estudio está dirigido por una persona para
servir a sus propios propósitos como si 10 está por muchas. El cliente es la )
persona o grupo que utilizará los resultados para algún propósito, como la 1)
selección o el perfeccionamiento de un programa. El grupo de los clientes
incluye tanto a quien haya encargado la evaluación, en primer lugar, como a )
)
.' )
í1
 (
(
( 44 I Evaluación sistemática
t
T Introducción a la evaluación 1 45

( todos aquellos que esperan los resultados para hacer uso de ellos. De una de otras evaluaciones o planes ya publicados. Por el contrario, el diseño típico
forma u otra, el tiempo y los recursos requeridos para una evaluación son pro- de una evaluación consiste en un continuo proceso conceptual. .
(
porcionados por el cliente o por una o más personas pertenecientes a un grupo Para diseñar una buena evaluación, se debe ser un obser,:,ador sensIble
( de clientes. Los clientes son, también, el origen crucial de las cuestiones plan- de los ambientes sociales, saber entrevistar y escuchar, y ~studlar con volun-
teadas y de los criterios empleados para interpretar los resultados; también capacidad lo esencial del programa que va a ser exammado. El evaluador
( ta d y . d' . .,
tienen la responsabilidad primordial de aplicar las conclusiones; y, a menudo, d b ser también experto en un ampho campo e teCnlcas comunlcaUvas y
( una evaluación no puede realizarse si el cliente no lo dispone todo con mucho d:. ;ncuestas, y capaz de reunir las distintas piezas de las premisas. y la infor-
cuidado y trata de asegurar de que existirá una plena cooperación entre todos mación en planes de trabajo que sean prácticos, coherentes y que sIrvan como
(
los que intervienen en el trabajo. guías racionales. ., ,
( Puede encontrarse una gran variedad de clientes en las organizaciones edu- Debemos considerar el papel del diseñador de la evaluaclOn como el mas
cativas, sociales y de la salud. Esto incluye, por ejemplo, inspectores de dis- importante del trabajo evaluativo, junto con el del cliente: Aquellos ~ue se
( convierten en expertos en diseño evaluativo, a menudo trabajan todo el uempo
tritos escolares, administradores hospitalarios y directores de agencias; direc-
( tores de colegios, presidentes de departamento y administradores de becas; y como evaluadores y están muy solicitados como asesores 'para ayud~r a los
maestros, psicólogos y médicos. Si la evaluación consiste en contribuir al máxi- lientes de una evaluación a planificar y encargar los estudlOs evaluatIvos.
( c Las conceptualizaciones generales sobre la evaluación presenta~as en las
mo a la hora de proporcionar servicios meritorios y válidos a la gente;deberán
( intervenir y aprovecharse toda esta serie de clientes. Además, creemos que unidades 3 a 10 proporcionan un importantísimo material de e:tudlO a todos
deben estar activamente comprometidos en el encargo y la planificación de las aquellos que deseen adquirir mayor facilidad para con~eptuahzar planes de
( evaluación. Además de estudiar las contribuciones creatIvas de otros, su~ra-
evaluaciones, con el fin de obtener la información que necesitan para hacer
( bien sus trabajos. Por lo tanto, para satisfacer estas expectativas, deben estar yamos que el desarrollo de la .c~pacidad para di~eñar. ;valuaciones reqUIere
adecuadamente preparados, tanto como todas aquellas personas que van a práctica: se necesita haber partlclpado en la ?lanlfi~acl0n d~ ~1UC~~Sevalua-
( ciones. Creemos que esta práctica debe inclUlr algun trabajo mdlvldual con
realizar los otros once papeles. Queremos subrayar que, quizá, la misión más
( importante de los programas de preparación para una evaluación -tanto para un cliente. Además, se puede aprender mucho colaborando con grupos encar-
antes del servicio como para su realización- es enseñar a los clientes de la gados del diseño de evaluaciones. Igualmente, el estudi~ de un gran número
( evaluación a cumplir con sus responsabilidades. Si no tienen un concepto só- de diseños evaluativos preparados por otros proporclOna muchos buenos
( l~do de la eval~ació?: probablemente no intervendrán en ella, se mostrarán pa- ejemplos e intuiciones acerca de esta compleja área de tra~ajo .. Cr~em~~ que
SIVOS,no sabran uultzarla para conseguir sus propósitos y/o considerarán que estos programas de preparación para evaluaciones deben mclulr e)erCIClOSy
( los resultados tienen poco interés. En cambio, los clientes entendidos pueden otras formas de guías prácticas para la planificación de evaluaciones.
( ayuda~ a asegur~r que la evaluación sea un instrumento útil y poderoso para
garantIzar la cahdad de los servicios profesionales.
( El coordinador de la evaluación
(
Muchas evaluaciones requieren los esfuerzos de varios participantes, y la
( El diseñador de la evaluación utilización de considerables recursos y servicios para múltiples clientes. Por
lo tanto, se hace necesario coordinar de un modo eficaz todo este trabajo. Esta
(
Uno de los aspectos más fascinantes del trabajo evaluativo es que se trata necesidad se amplía cuando una determinada agencia tiene en preparación
( de una empresa creativa. Diseñar una evaluación para satisfacer la demanda varios proyectos de evaluación distintos. No es sorprendente, por lo tanto,
de información de un cliente es algo más que un proceso mecánicamente ru- que la profesión incluya muchos trabajos evaluativos con nombres como ayu-
(
tinario. Entre otras responsabilidades, debe conceptualizar las cuestiones que dante del supervisor de la evaluación, coordinador de proyectos evaluativos,
( serán abordadas, examinar el panorama político, trazar una recopilación de director del departamento de evaluación o director de personal del proyecto
( datos y un plan de análisis, idear los informes y el proceso informativo, en- de evaluación.
cargarse del aspecto financiero y del personal y determinar cómo deben ser Este papel implica que las personas especializadas en evaluaciones deben
( empleadas las normas profesionales de la evaluación. Para solucionar todo también prepararse para funciones administrativas, y también que aquellos a
este complejo entramado de decisiones de planificación, no bastan modelos quienes se les asigne un trabajo administrativo relacionado con la evaluación
{
t
t
-.4
 ')

')
46 I Evaluación sistemátIca Introducción a la evaluación I 47 ')

deb~n posee: o adquirir conocimientos básicos sobre la planificación de eva- ')

l~aclOnes.. F1~almente, creemos que las más importantes instituciones educa-
t:vas, samtanas y sociales, deben a menudo dirigir sus esfuerzos hacia la crea-
ción de grupos administrativos competentes.
Asistentes de la evaluación
. Frecuentemente, uno.?e los papeles más importantes -a menudo indepen-
dle~;e:- de la eva~uaC1on es el del asistente. Este papel supone contactos
p.enodlcos con lo~ ~hentes, revisiones de los documentos del programa, inspec-
clO~es de la~ aCtlvldades del programa, hacer entrevistas y recoger otro tipo
de 1DfOrmaC1o.n~sacerca de las partes, redactar informes y asumir la princi-
pal responsaQlhdad a la hora de presentar los informes. A veces el asistente
es el encargado de realizar la planificación del estudio comple~o. En otro
ser necesario supervisar y anotar los resultados de unas entrevistas; crear, pro-
porcionar y utilizar instrumentos para una recopilación de datos estructurada; ')
analizar tanto la información cuantitativa como la cualitativa; y realizar pre-
')
sentaciones audiovisuales de los resultados.
En las evaluaciones a pequeña escala, un simple evaluador puede, a menu- ')
do, hacer todas estas tareas sin asistencia especializada. El agente evaluador
')
está obligado a coordinar y realizar todos los trabajos que sean necesarios, así
como a dominar todas las técnicas especializadas que se requieran. Este tipo ')
de agente necesita una amplia preparación que le introduzca en las más impor-
tantes de estas especialidades. A menudo, esta persona debe ser capaz de coor- ')
dinar la asistencia de los especialistas cualificados.
\ ')
De todas maneras, es inevitable que los estúdios a gran escala contraten
especialistas para llevar a cabo estas tareas con el fin de que los asistentes ")
puedan concentrar sus esfuerzos en su propio campo de trabajo: los clientes
y los respondentes. Este gnpo de expertos puede incluir especialistas en la
I )

casos, él o ella tiene una responsabilidad 'menor. Pero siempre estará encar~ elaboración de pruebas, especialistas en muestreos, especialistas en el proce- \ )
gado de c~labo~~r con el personal del programa y de cooperar en la realización samiento de datos, estadísticos, especialistas en el estudio de casos y redac-
de la plamficaclOn del estudio. )
tores técnicos.
Para deserr:peñar el papel de asistente se requieren tanto habilidad técni- )
ca como capaCIdad para las relaciones humanas. Además, las personas asigna-
~as a este puest~ deben poseer o ser capaces de desarrollar una gran credibi- )
Especialistas en información
lidad ante los chentes y ante todos aquellos que participan en la realización
)
del programa. Un papel técnico que hemos escogido para dedicarle una atención espe-
cial es el del especialista en información. Y 10 hemos hecho porque ese papel )
Responderites de la evaluación supone una continua necesidad de información relacionada con otras evalua- )
ciones y no con problemas técnicos determinados. El especialista en informa-
. Se tra~a de un papel al que demasiado a menudo no se le concede mucha ción es especialmente importante en las agencias que disponen de departamen- \ )
ImportanCIa. Son las personas que rellenan los formularios, responden a los tos de evaluación. Las evaluaciones dirigidas desde estos departamentos deben )
tests, contestan a las ent~evistas y permiten que les observen en su trabajo. tomar en consideración el panorama institucional. y su contexto histórico, exa-
minar los descubrimientos del pasado y de la actualidad para determinar las .)
En muchos casos, la cahdad de la información obtenida depende casi por
co~pleto de su bu~na .voluntad para cooperar y dar lo mejor de sí mismos. tendencias y evitar una innecesaria pluralidad de esfuerzos en 10 que se refiere I )

Es Improbable que reahcen cualesquiera de estas tareas si no están informados a la recopilación de datos. Es necesario, como mínimo, un buen sistema para
ordenar y archiva' los informes de manera que la información que contienen .)
acerc~ de s~ papel Y, convencidos de la importancia del estudio. Como conse-
cuen~la, qUIenes estan al frente de las evaluaciones deben hacer un esfuerzo pueda ser fácilmente consultada en futuras evaluaciones. Además, muchas agen- )
espeCial para asegurar que el estudio servirá de algo a estos colaboradores tal cias se beneficiarían de una recopilación regular de información que las ayuda-
ría a estar totalmente al corriente de entradas de datos, procesos y produc- )
Y como ocurre con ~os clientes. También deben cuidar que las actividades 'que
promuevan les motiven Y preparen para responder apropiadamente. ciones, así corno de la actitud de sus componentes hacia los servicios de la )
agencia.
El desempeño del papel de especialista en información requiere que el eva- ')
Especialistas en ayuda técnica luador, o uno o más miembros del equipo de evaluación, conozca bien las )
ciencias informativas. Eso supone conocimientos y técnicas en áreas como la
, ~a mayor pa~te de las evaluaciones suponen una cierta cantidad de trabajo . comunicación, los sistemas de información, el proceso de datos, la contabilidad
,)
tecDlCOque reqUIere la ayuda de expertos especializados. Por ejemplo, puede financiera y la planificación de gran alcance. Las personas que piensan espe- )
)
')
j'
'J.
t
(
(
48 I Evaluación sistemática
'J
) Introducción
( cializarse en evaluación deben adquirir un dominio general de las especiali-
dades de la información, mientras que un cierto tipo de trabajo correspondien-
{ te a esta área resulta importante incluso para las evaluaciones más sencillas.
{ Además, los departamentos de evaluación deben, a menudo, asignar una o más
personas para el cumplimiento de esta importante función.
( ecia1istas también desempeñan un importante papel a la hora de evaluar
( comunicando los resultados a sus clientes.
Especia/istas en comunicación
(
( La evaluación bien hecha es una comunicación efectiva acerca del mérito
y el valor de algún objeto. Esto quiere decir que los problemas de los clientes
( guían el trabajo de los evaluadores, y las conclusiones de éstos llegan hasta
( los clientes para informarlos. Ninguno de estos objetivos se hace posible sin
una comunicación efectiva entre el evaluador y el cliente.
( Ocurre demasiado a menudo, de todas formas, que la comunicación efec-
( tiva se pierde en el trabajo evaluativo. Los evaluadores y/o los clientes asumen
que los primeros conocen su oncio y, de algún modo, obtendrán y facilitarán
( las conclusiones adecuadas; en lugar de eso, los evaluadores a menudo se ocu-
( pan de las cuestiones equivocadas. Por otra parte, los evaluadores deben hacer
un buen trabajo consiguiendo que los clientes ayuden a centrar la evaluación
( y a recopilar una información que resulte sólida y potencialmente útil, para
( luego «pasarles la pelota» y que sean ellos los que, sin ayuda, interpreten y
apliquen la información. Desearíamos dejar totalmente claro que la evaluación
( efectiva supone no sólo recopilar y analizar la información apropiada, sino
( también asegurar, a través de una efectiva tecnología comunicativa, que la
información sea presentada de una forma útil y utilizada en consecuencia.
( Sabemos que los evaluadores no deben ser considerados responsables de todas
( las falsas interpretaciones y empleos erróneos que se han hecho de sus infor-
mes, pero sí, entre otras cosas, de asegurarse de que sus informes sean rele-
( vantes para los intereses de sus audiencias y de que puedan entenderlos.
Todo esto requiere que los evaluadores tengan conocimientos sobre tecno-
(
logías de la comunicación. Básicamente, deben ser capaces de preparar infor-
( mes escritos con claridad y que estén dirigidos a -y resulten comprensibles
para- la audiencia o audiencias que los han solicitado. También deben saber
(
cómo comunicar conclusiones a través de medios distintos del material im-
( preso: por ejemplo, deben saber cómo hablar en público, utilizar técnicas audio-
visuales y servirse de los medios públicos. Finalmente, queremos señalar que
l deben poseer conocimientos sobre el análisis político y la solución de conflic-
( tos, ya que, a menudo, las evaluaciones son objeto de controversia.
El papel del especialista en comunicación tiene considerables implicacio-
(
nes para la preparación de los evaluadores, su utilización de los especialistas
( y la elección de personal en los departamentos de evaluación. Sin duda, los
evaluadores deben adquirir preparación en una amplia serie de técnicas comu-
(
(
(
a la evaluación 1 49
. t'Ivas . En su práctica " deben como mínimo , someter los borradores
nlca . , de sus
. f rmes al juicio de los editores. Y los departamentos de eva1uaclOn, a me-
In o . l' . ., 1
deben emplear a espeCIa Istas en comUnlCaClOn para que asesoren a
nu d o, ., d 1 l' E
planificación de las evaluaciones y la presentaclOn e as conc USlOnes. stos
esp .' d 1"
y ayudar a mejorar el exhaustivo t~abaJo de un departamento e eva uaClOn,
.
El análisis de los papeles realizado hasta este punto ayuda a clanficar la
complejidad del trabajo evaluativo. Una. gran ag~n~ia, que deba somete~ con-
tinuamente a eva1uciones- a sus exhaustivos serVICIOS,puede que nece~lte un
personal completo de especialistas en evaluación. La figura. ~-1 es un eJemp~o
d e Cómo debe estar oruanizado el departamento de eva1uaclOn de una agenCIa
1 ., Ca
b
para que cumpla a la perfección las diversas funciones de una eva uaClOn. ~o
puede verse en ese esquema organizativo, el coordinador. de la evaluaCl~n
tiene la responsabilidad de satisfacer las necesidades evaluativas de la agenCl.a
y de sus componentes. Para ayudarle en el desempeñ~ ~e este pap~l,.el coordI-
nador de la evaluación dispone de los esfuerzos de dlstmtos espeClahstas. Que
los servicios del departamento sean técnicamente sólidos e influyentes,. depen-
de de hasta qué punto su trabajo esté coordinado de un modo efectivo. Al
mismo tiempo, queremos subrayar que la evaluación debe, a menudo, estar
realizada por un solo evaluador. Para hacer bien su trabajo, debe llegar a
desenvolverse bien en toda la amplia gama de papeles ya descritos. Probable-
mente, la mejor manera de encontrar y aprender el modo de ~onocer bien toda
la gama de papeles de una evaluación es dirigiendo evaluaCl.o~es de una ~ola
persona bajo la tutela de un experto en evaluaciones. PartiCIpar en eqUIpos
de evaluación también proporciona excelentes oportunidades de aprender. Los
evaluadores deben ser inventivos a la hora de utilizar la ayuda de los especia-
listas, que pueden resultar1es baratos e incluso no costarles nada. Hasta :1
Llanero Solitario consideraba necesario y beneficioso colaborar con un SoCIO
leal y capaz.
Llegados a este punto en el análisis de los papeles en una evaluación, sólo
hemos examinado aquellos que corresponden a una evaluación efectiva. Ahora
vamos a ver otros cuatro que actúan como papeles secundarios en la profesio-
nalización de la evaluación.
Preparador de /a evaluación
A lo largo del análisis precedente, nos hemos ido refiriendo a la necesidad
de una buena preparación por parte de aquellos que participan en una eva-
luación. Estas necesidades incluyen tanto la orientación hacia unos planes de
evaluación específicos como el desarrollo de unas técnicas y conocimientos
más generalizados, y, más concretamente, los conocimientos que se adquieren
 \~

Introducción a la evaluación I 51
50 \ Evaluación sistemática
diar las necesidades relacionadas con la profesiólJ. y los problemas de los
estu
. tes examinar sus prácticas a lId a uz e 1os conOCim1entos
. . . .,
y pnnClp10S de
cllen , b . h' ,.
1 disciplinas más relevantes, analizar su tra aJo en su contexto 1stonco,
Jefe de la
agencia
as izar sobre los servicios profesionales y hacer avanzar los conocimientos
--------- teor
sobre su especialidad a traves, d e un ana'l'1SlSestructura
. d o d e sus pnnClpa
., 1es
Clientes

Planificador Coordinador
---------
y responden tes
de la evaluación
,
I

,,
premisas e hipótesis.
Los programas de investigación más extensos se dan en las profeslOnes
más veteranas, como la medicina y el derecho, o los negocios y la industria.
.

En el primer caso, la investigación, bajo la influencia de la ética profesional,

j
J,
de la evaluación de la evaluación
,,
I I
")

se utiliza para rendir el mejor servicio posible. En el segundo, la principal mo-

r 1
Especialistas
Especialista Especialista
Asistentes en ayuda en información en comunicación
de la evaluación técnica
FIGURA 1-1. Esquema organizativo
examinando una práctica determinada. Además, la necesidad de una prepara-
ción corresponde tanto a los especialistas como a los clientes y a los res-
pondentes.
La evaluación, como cualquier otra profesión, debe asegurarse de que los
que participan en ella disfruten de una amplia gama de sólidas oportunidades
para prepararse bien. Esto incluye programas de preparación especializada que
culminan en una titulación; cursos auxiliares que están concebidos para aseso-
rar a todos aquellos que se estén preparando para una serie de funciones pro-
fesionales -como por ejemplo supervisores, asistentes sociales, profesores y
médicos- sobre la evaluación de sus propios servicios profesionales; continuas
oportunidades educativas para evaluadores y especialistas, y sesiones orienta-
tivas sobre estudios específicamente evaluativos destinados a clientes y respon-
dentes. Este tipo de preparación debe presentar un contenido actual que resulte
válido para los problemas concretos que deberán enfrentar los aprendices. Sin
duda, la preparación es un papel crucial para mantener y hacer progresar la
calidad de los servicios evaluativos.
Investigador evaluativo
La misión de cualquier profesión es servir a sus clientes de la mejor ma-
nera posible, y la realización de este imperativo se ve siempre limitada por el
estado actual de los conocimientos acerca de la especialidad. Por lo tanto, todas
las profesiones deben tener un carácter investigativo. Los profesionales deben
I tivación es la obtención de beneficios y la supervivencia en un mundo com-
)
l petitivo. Ambas áreas son ~uy conscientes de que un mejor ~ervici? y. la
competitividad dependen caS1 totalmente de un programa de mvesngac1ón ')
dinámico Y adecuado. )
Aunque la evaluación es tan antigua como la civilización, sólo desde hace
muy poco tiempo existe como práctica formal. Unicamente en las dos últimas )
décadas se han realizado serios esfuerzos para rec.opilar la historia de la espe-
)
cialidad, teorizar sobre la práctica evaluativa y planificar estudios que resulten
adecuadamente descriptivos y se basen en hipótesis apropiadas. Pero existe, y )
debe existir, una fuerte tendencia hacia el establecimiento y mantenimiento de
)
una base investigativa para la especialidad. Esta tendencia es especialmente
evidente en la gran cantidad de literatura aparecida sobre la especialidad eva- )
luativa, aunque gran parte de este material no puede calificarse como inves-
)
tigativo. En cualquier caso, queremos subrayar que la investigación evaluativa
es una función vital para asegurar que los evaluadores mejoren progresiva- )
mente sus servicios y sus resultados.
)
)
Promotor de la evaluación
)
Se trata de otro de los papeles vitales de la evaluación. Tiene como base )
la función de ayudar colectivamente a los evaluadores a alcanzar y mantener
el status de Ui ,a profesión. El significado de este papel puede encontrarse en )
la definición de un diccionario que afirma que una profesión es «un oficio que )
requiere un conocimiento especializado y, a menudo, una preparación larga
)
e intensiva, incluyendo el dominio de técnicas y métodos, así corno también
de las nociones científicas, históricas y eruditas en las que se basan estas téc-
)
nicas y métodos, manteniendo, mediante la organización o la coordinación
de conceptos, altos niveles de ejecución y éxito, y sometiendo a sus miembros )
a un estudio continuo y a una concepción del trabajo en la que lo que más
)
impOrta es el ofrecimiento de un servicio público».
La especialidad de la evaluación está empezando ya a presentar las carac- j
terísticas de una profesión, tal y como se promulgan en esta definición. Ya
)
)
)

EJ
( ,.-"".-
T
(
I ..•~ .•
f 52 Evaluación sistemática
f existen programas de preparación que terminan en doctorados y ma~ters, así
( como también una extensa y boyante literatura sobre el terna. La lIteratura
sobre evaluación recomienda contenidos y experiencias para ser incluidas en los
( programas de preparación, así corno análisis sobre cóm~ deben. elabo:arse
los programas a partir de disciplinas afines, corno la filosofla, la pSIcologla, la
( repaso de lo
sociología y la economía. Muchas organizaciones profesionales y dos amplios
{ conjuntos de normas profesionales ya están a disposición de los evaluadores.
( Y, desde luego, el gobierno, el público y las organizaciones de servicios con-
tinúan requiriendo evaluaciones de los servicios profesionales, así corno fondos
( que los financien. Mantener estos avances hacia la profesionalización de la
{ evaluación requiere iniciativas nacionales y estatales, además del apoyo de los
miembros de la profesión. Cada una de las personas que cobren por trabajar
( corno evaluadores están obligadas a apoyar los distintos esfuerzos que se están
haciendo para que la profesión siga adelante. Entre las funciones específicas
(
que pueden cumplirse se encuentran las de editor de una publicación sobre
( la evaluación, elaborador de normas, educador de evaluadores y especialistas
y funcionario de una sociedad evaluadora. Compartiendo las responsabilidades
(
de estas funciones, los evaluadores pueden contribuir a asegurar al público que
( los servicios profesionales que ellos ofrecen son modernos y de gran calidad.
(
( El metaevaluador
( El último papel que querernos subrayar, el del metaevaluador, requiere
( mucha astucia y penetración. Está relacionado con las funciones de evaluar
evaluaciones, pero también supone enjuiciar el valor y el mérito de todo lo que
( representa y hace la profesión: servicios de evaluación, utilización de las eva-
( luaciones, preparación de la evaluación, investigación evaluativa y desarrollo
organizativo. La metaevaluación utiliza las normas aceptadas de la profesión
( y trata de asegurar que son cumplidas. También se ocupa de examinar las pro-
{ pias normas con el fin de decidir en qué sentido deben ser revisadas.
De una manera u otra, la metaevaluación necesita incorporarse a cada una
( de las actividades de la profesión. A veces se trata de una actividad de auto-
asesoramiento, corno cuando los evaluadores, los preparadores, los investiga-
t
dores o los funcionarios de sociedades evaluativas examinan sus planes, la eje-
( cución de su trabajo o los resultados, comparándolos con las normas de la
( profesión. En otros casos supone contratar a un agente independiente para que
valore los servicios. El objetivo de la metaevaluación es asegurar la calidad de
{ los servicios evaluativos, evitar o enfrentarse a las prácticas ilegales o a los
servicios que no son de interés público, señalar el camino para el perfecciona-
<- miento de la profesión y promover una mayor comprensión de la empresa
( evaluativa. Desde luego, todos los evaluadores profesionales deben mantener
( al día sus conocimientos de las normas de la profesión, incorporarlas a su tra-
l
t
1_
Introducción a la evaluación I 53
. tar dispuestos a actuar corno metaevaluadores de los trabajos de otros
! b aJo, es h dI'
profesionales y actuar profesionalment?, a la ora e e~a uar e mtentar me-
"'
;,~ . las contribuciones que la evaluaclOn hace a la SOCIedad.
Jorar 1 l" .
Con este breve comentario sobre a metaeva uaClon~,termmamos nu.estro
s papeles que se desempeñan en una evaluaclOn. Hemos anahzado
"
minuciosamente, hasta cierto punto, la funcion del evaluador profe~lOnal y
h mos echado un vistazo a las divisiones que presenta. Creernos que, sm duda,
e ello ha contribuido a apoyar la idea de que la evaluación es a menudo
to dotrabajOo de equipo. Pero sacar la conclusión d e que 1as eva l'uaClOnes nece-
un , fl'
sitan de los esfuerzos de un equipo sena una a sa mterpretaclOn: por e
., 1
trario la evaluación debe ser una parte necesariamente integrante de las
can , f' {
funciones de todo profesional. Nuestra conclusión es que estas unClOnes o
papel) son tan difíciles corno importantes. Y la conclusión más obvia y. f.un-
damental es que todos los profesionales deben desarrollar sus responsabIlIda-
des evaluativas, puedan o no conseguir la ayuda de un equipo y aunque tengan
que desempeñar ellos solos todas las funciones de la evaluación.
Ya daríamos un gran paso en la dirección adecuada si consiguiéramos una
mayor facilidad para conceptualizar los problemas evaluativos y los métodos
adecuados para solucionarlos. El resto de este libro ha sido pensado para llevar
a cabo este proceso. Presenta y examina en profundidad varias conceptualiza-
ciones alternativas de la evaluación.
Test de conocimientos sobre la unidad 1
Puede comprobar que cada unidad finaliza con tres tipos distintos de cues-
tiones o ejercicios; cada uno de ellos, a su manera, pretende saber cuál es su
grado de comprensión de la unidad. Se encontrará con preguntas que presen-
tan múltiples respuestas para que escoja una, y con explicaciones que aclaran
cuáles de las respuestas alternativas son correctas y cuáles no. Tanto las pre-
guntas como las respuestas deben permitirle saber si usted ha alcanzado un
nivel satisfactorio en relación con los objetivos que se proponía la unidad en
lo que a conocimientos se refiere. En cada caso, rodee con un círculo la letra
que, según usted, representa la mejor respuesta y luego valore su elección
comparándola con la solución que le proporcionarnos y con la subsiguiente
interpretación de las respuestas alternativas.
Cuando haya respondido a todas las preguntas sobre conocimientos, se le
" pedirá que revise su trabajo y aumente su comprensión de la unidad, o bien
que continué con los otros ejercicios. Entonces deberá enfrentarse a algu-
 ')

!
54 I Evaluación sistemática Introducción a la evaluación I 55
")

nos ejercicios prácticos. La unidad concluye con unas «Preguntas sin respuesta» rrecta Debe usted haber señalado la «e». La evaluación com- I
Respuesta ca . . , . d'
y con la recomendación de unas lecturas complementarias. . . d 1 programa permite realizar comparacIones cnucas entre lS-

t11l
uva antes e
para 1
d 11
t' as' la evaluación no comparativa durante el esarro o permIte
. tas a terna IV ,
1 d 1 programa concentrarse en descubnr as mejoras maneras d e
. l'
.
"
I
PREGUNTA 1. ¿Cuál de las respuestas que vienen a continuación refleja lo
que esta unidad ha considerado como los fundamentos esenciales que deben
ser considerados para determinar el valor de un objeto que se está evaluando?
al Persona
a
.
vanzar; y a
.,
despejara e
1 e evaluación peno. 'd' lcamente comparaUva
d
1 camino para el logro e mayores progresos.
. 'd e1 progra ma
d espues

,
)

Respuestas incorrectas )
a) Aunque otros criterios también son importantes, los esenciales son el
")
mérito, la necesidad y la equidad. " Es incorrecta porque tant~ la fa~e. no comparativa como la fase compa-
b) Deben ser considerados todos los valores más apreciados por el personal a)
rativa postoperativa han sIdo om1tldas.. . . . 1
de la evaluación y sus clientes. '. b) . Es incorrecta porque la fase. no compa:~tlva ha sIdo o.m1tlda.
e) Los evaluadores son los que deben escoger los fundamentos, basándose E 'correcta porque cualqmer evaluaClon es comparauva, no compara- )
en su -propia filosofía. . d) ti:alUo ambas cosas, dependiendo de las necesidades informativas de los );
d) Las expectativas de los clientes, el mérito, la necesidad, la viabilidad y la clientes y/o la audiencia de la evaluación.
equidad son los criterios que deben determinar esos fundamentos. )
)
Respuesta correcta: Debe usted haber señalado la «d». Las distintas ex- PREGUNTA 3. ¿Cuál de las siguientes afirmaciones es más coherente con
pectativas de los clientes, el mérito del objeto (o servicio) en cuestión, la ne- lue se ha dicho en esta unidad respecto de los métodos que pueden ser apro- )
cesidad que se tenga de él, la viabilidad (incluso política) del objeto y la equi- p~adamente empleados en los estudios evaluativos? )
dad o igualdad de oportunidades para que todos puedan tener acceso al obje-
to, deben ser las normas por que se debe guiar el evaluador. ¡l) Evitar el trabajo descuidado, que a menudo es consecuencia de intentar )
utilizar muchos métodos; un evaluador debe especializarse en la utiliza-
)
Respuestas incorrectas ción de una sola técnica, como la planificación experimental o el estudio
.,c~,;:_ de un caso . )
a) Es incorrecta porque es incompleta. . :," b) En general, resulta apropiado seguir un enfoque ecléctico para la selec-
)
b) Es incorrecta porque la unidad identifica específicamente cinco funda-;~ ción de métodos, pero el evaluador debe evitar la utilización de métodos
mentas. "-~~£ poco científicos, como el estudio de casos o el análisis político. )
e) ...j.~.~
Es incorrecta porque la subjetividad del evaluador puede dar una incli- •...
:.L.~,.~..~.. e) El panorama actual de los métodos que pueden emplearse en una evalua-
)
nación inadecuada al estudio, mientras que si tóma como guía los crite- .•, ción es ya muy avanzado, y los evaluadores deben concentrarse no en
rios sugeridos no quedará ignorado ningún fundamento principal.

PREGUNTA 2.
'¡~l

En esta unidad se afirma que las evaluaciones, en general,

';.I~ d)
valorar los metodos existentes y desarrollar otros nuevos, sino en apren-
der y utilizar la metodología disponible, especialmente la que procede
de la investigación y la psicología educativas .
En general, los evaluadores necesitan ser capaces de utilizar una amplia
)
)
)

i
deben ser gama de técnicas de investigación, y los que se ocupan de elaborar mé-
todos de evaluación deben desarrollar nuevas técnicas. )
a) comparativas, cotejando las alternativas disponibles antes del desarrollo )
')f;t
del programa o del servicio. Respuesta correcta. Debe usted haberoseñalado la «d». Esta unidad reco-
b) comparativas tanto antes del comienzo del programa corno, periódicamen- '~i mienda, a la vez, el empleo de un acercamiento ecléctico a la evaluación y la )
te, después de su desarrollo. E:!t necesidad de nuevas estrategias e instrumentos evaluativos. )
e) comparativas antes de que el programa empiece, no comparativas durante Ji )
su desarrollo y ocasionalmente comparativas después. I
d) ni comparativas ni no comparativas.
\i )

t )
J
)
 t
(

f 56 I Evaluación sistemática Introducción a la evaluación I 57

( Respuestas incorrectas b) Las evaluaciones no parecían ocuparse demasiado de la exactitud de las

( diferencias existentes entre las calificaciones de cada estudiante.
a) Es incorrecta porque la unidad recomienda el uso de múltiples técnicas. e) Las agencias federales empezaron a sentir un gran interés por la evalua-
-( b) Es incorrecta porque la unidad fomenta la utilización de una amplia ción de programas.
( gama de técnicas, incluyendo el estudio de casos y el análisis político. d) Durante este tiempo, se crearon nuevos servicios de tests, algoritmos,
e) Es incorrecto porque esta unidad recomienda el empleo de una amplia planificaciones experimentales y procedimientos estadísticos, como res-
( gama de las metodologías existentes y, a la vez, el desarrollo de nuevos puesta a un análisis de las necesidades de la educación.
métodos.
{
Respuesta correcta. Debe usted haber señalado la «a». Esta afirmación
( refleja fielmente el desinterés de la evaluación por la responsabilidad o, lógi-
PREGUNTA 4. ¿Cuál de las siguientes afirmaciones caracteriza mejor la camente, por otras cosas, incluso aunque las disposiciones educativas estuvie-
{ época tyleriana? ran extendiéndose rápidamente.
(
(, a) Se introaujeron los tests estandarizados para conseguir que la educación Respuestas incorrectas
resultara más eficiente.
( b) El método tyleriano se distinguió por concentrarse en unos objetivos cla- b) Incorrecta; la concentración en las encuestas regularizadas condujo a una
ramente fijados y en su consecución. gran preocupación por la exactitud de las diferencias de calificaciones
( e) Los evaluadores aprendieron a ayudar a quienes elaboraban currículos a entre los estudiantes.
( clarificar el comportamiento de los estudiantes, que sale a la luz con la e) Es incorrecta, porque este hecho no se produjo hasta los años sesenta.
realización de un currículo. d) Es incorrecta, porque, lamentablemente, no fue éste el caso; procedi-
( d) Las comparaciones internas entre resultados y objetivos resultan cos- mientos como los mencionados se ocupaban poco o nada de las necesi-
( tosos. dades educativas, incluida la de su mejora.
( Respuesta correcta. Debe usted haber señalado la «b». Es lo más desta-
( cable de la filosofía de Tyler y del método práctico de evaluación. PREGUNTA 6. ¿Cuál de las siguientes afirmaciones se corresponde más
con el desarrollo de la evaluación durante la época del realismo (1958-1972)?
( Respuestas incorrectas
( a) Desde 1965, se invirtieron billones de dólares en programas cuyo obje-
a) Es incorrecta porque los tests estandarizados se desarrollaron en el pe- tivo era la igualdad y la mejora de las oportunidades en cuestiones de
( ríodo pre-tyleriano (a principios de este siglo). servicios sanitarios, sociales y educativos.
e) Aunque esto no es incorrecto, se trata de una descripción muy pobre de b) El artículo 1 del Acta de la Educación Elemental y Secundaria de 1965
(
la alternativa de Tyler a las concepciones más tempranas de la evaluación. tenía como objetivo proporcionar una educación compensatoria a los
e d) Incorrecta; de hecho, por el contrario, las evaluaciones internas han de- niños atrasados. Las adecuadas metodologías evolutivas utilizadas en es-
( mostrado ser menos costosas porque no requieren los servicios de un tos programas tuvieron, afortunadamente, éxito.
especialista en evaluación. e) El énfasis puesto en las puntuaciones de los tests hizo que la atención
( se dirigiera hacia los propios programas.
( d) Las duras críticas de CRONBACH (1963), que afirmaron que los métodos
PREGUNTA 5. ¿Qué afirmación se corresponde mejor con el período de f: 'aluativos de entonces carecían de relevancia, y que la evaluación debía
( la evolución de la evaluación denominado la época de la «inocencia» (1946- c;nvertirse en un proceso de recogida y elaboración de informaciones
1957)? que sirvieron como guía para la realización de un currículo, fueron muy
(
oportunas.
( a) Aunque se daba una gran expansión de la educación, la sociedad no tenía
un particular interés en formar evaluadores responsables.
t
'-
'f
'- °tt
 )
'1

58 I Evaluación sistemática
Introducción a la evaluación I 59
')

')
Respuesta correcta. Debe usted haber señalado la «d». Las críticas de Respuestas incorrectas
Cronbach contenidas en su artículo de 1963, constituyeron un gran paso )
adelante ~n el proceso de descubrir metodologías apropiadas para satisfacer b) Es incorrecta porque, contrariamente a las afirmaciones previas, acerca
las exigencias evaluativas de los años sesenta. )
de que la evaluación formalizada era una moda que pasaría pronto, la
especialidad ha empezado a adquirir las características de una profesión. !
Respuestas incorrectas e) Es incorrecta porque existe una profunda división entre aquellos que son ¡
partidarios de los métodos experimentales/cuantitativos y los que reco-
a) Es incorrecta, porque se trata de una afirmación acerca de un programa, miendan métodos naturalistas/cualitativos. ')
político y no estrictamente acerca de la evaluación, incluso aunque los d) Es incorrecta porque, a pesar de la creciente competencia de los evalua-
programas posteriores condujeran a un rápido desarrollo de las metodo- )
dores, la práctica evaluativa actual, según esta unidad, ha cambiado muy
logías evaluativas.
b) Es incorrecta, porque las metodologías evaluativas empleadas en esta
poco en la mayoría de los casos. i
época eran totalmente inadecuadas. )
INTERPRETACIÓNDEL TESTDE CONOCIMIENTOS. Cuando haya terminado el
e) Incorrecfa; la verdad está más cerca de todo 10 contrario, puesto que las test de conocimientos, le rogamos que examine cómo 10 ha hecho. Le reco- )
puntuaciones de los tests desviaron la 'atención de los programas en sí mendamos que revise>las partes más importantes del test, prestando más
y de su perfeccionamiento. atención a las preguntas en las que se ha equivocado o en las que ha dudado,
)
e incluso aquellas en las que se ha sentido un poco confuso ante nuestras )
respuestas y explicaciones.
PREGUNTA7. ¿Cuál de las afirmaciones siguientes caracteriza mejor, de .•, )
acuerdo con esta unidad, el estado de la evaluación en 1983?
)
Ejercicio práctico
a) Los evaluadores han realizado un significativo progreso hacia el estable- )
cimiento de la evaluación como práctica formal especializada. Este apartado consiste en un ejercicio que pretende ayudarle a valorar )
b) De un modo creciente, la evaluación se fue considerando sólo como una si ha comprendido bien cómo pueden aplicarse en la práctica los principales
aspirante a la categoría de profesión. Esta área laboral dejó de ser útil contenidos de la unidad. Le sugerimos que anote su respuesta en una hoja de )
en la década de los sesenta: el público la fue dejando a un lado y ya papel aparte y luego la compare con la respuesta-ejemplo que sigue.
no recibió más ayudas económicas.
)
e) En el área de la metodología, los evaluadores han llegado casi a un com- EJERCICIO 1. Suponga que el director del Departamento de Bienestar )
pleto acuerdo mediante el cual las evaluaciones deben emplear métodos de una gran ciudad le contrata para discutir los planes de evaluación de sus
naturalistas y evitar la utilización de métodos cuantitativos.
)
programas que le ha facilitado la agencia. Suponga además que el director de
d) En respuesta al mayor desarrollo metodológico de la pasada década, se la agencia ha asumido el concepto de «auto-evaluación», de acuerdo con el )
han realizado minuciosos cambios y reformas en la práctica evaluativa. cual todos los miembros del personal de la agencia son responsables de eva- )
luar su propio trabajo. El jefe advierte también que no se han utilizado los
Respuesta correcta. Debe usted haber señalado la «a». Los evidentes sín- servicios de un departamento de evaluación, ni los de unos especialistas (ya )
tomas de profesionalización de la evaluación que se dan en 1983 incluyen sea durante todo el trabajo o parte de él), ni se ha pagado de una manera
la aparición de publicaciones periódicas, de numerosos libros y monografías )
especial el trabajo evaluativo. En lugar de eso, ha recordado a los 95 miem-
sobre el tema, de organizaciones profesionales que se dedican a la evaluación, bros del personal que son responsables de evaluar su propio trabajo y les ha )
de normas profesionales para la práctica, de un programa concreto destinado enseñado un método evaluativo, con el fin de que sus esfuerzos lleguen a
a la titulación, y un accmento de la investigación y el desarrollo de temas )
buen puerto. El director cree que este tipo de actividad evaluativa puede ser
sobre evaluación. )
de utilidad para convencer a la legislatura estatal de que incremente sus ayu-
das a la agencia.
)

)
)
)
,)
f
f
f 60 I Evaluación sistemática Referencias bibliográficas I 61

f dar o refutar el enfoque ecléctico para la elección de métodos investi-

( Las respuestas al ejercicio 1 deben incluir convenientemente
los siguientes puntos:
( mittee deben ser tenidas en cuenta antes que otras, es decir, que el orden
( a) Cada profesional es totalmente responsable de la calidad y, por 10 tanto,
de la evaluación de sus contribuciones.
( b) Aunque los profesionales necesitan una cierta preparación sobre evalua-
ción, este trabajo es demasiado complejo como para suponer que cada
(
uno de los profesionales, actuando independientemente, puede hacer todo
( 10 que la evaluación necesita para solucionar los problemas que la legis-
lación estatal plantea a la agencia.
(
e) Indudablemente, una preparación metodológica apropiada puede ser un
( positivo paso adelante hacia la profesionalización del trabajo de la agen-
cia, pero entre la planificación de esa preparación y la decisión acerca
(
de cómo distribuir los recursos de la evaluación, el que toma las deci-
( siones en la agencia debe tener en cuenta una amplia gama de funciones
evaluativas.
(
d) Los papeles que se desempeñan en el trabajo evaluativo de una agencia
( son, más o menos, los siguientes: cliente de la evaluación, planificador
( de la evaluación, coordinador de los servicios evaluativos, evaluador
especializado, asesor técnico, especialista en información y especialista en
( comunicación.
(
( AMERICANPSYCHOLOGICAL
Preguntas sin respuestas
( ANDERSON, S.; BALL,S.; Y MURPHY, R. y colaboradores. 1974. Encyclopedia of
( Este apartado contiene preguntas destinadas a ayudarle a calibrar y pro-
fundizar su comprensión de los asuntos tratados en esta unidad. No se pro-
( porcionan respuestas a las preguntas. Le sugerimos que intente dar respuestas
( a estas preguntas siguiendo ciertos pasos, como revisar la unidad, consultar
las fuentes bibliográficas adecuadas, incluyendo las que se consignan al final
( de la unidad, y discutiendo las preguntas con sus alumnos o colegas.
( Kluwer-Nijhoff.
1. La definición de evaluación que hemos dado en esta unidad, ¿es igual-
( mente defendible desde el punto de vista de escuelas filosóficas distintas,
como el pragmatismo, el existencialismo o el positivismo lógico?
l 2. Teniendo en cuenta que esta unidad recomienda un enfoque ecléctico a
{ WEcNFELD,F. D.; Y YORK, R. 1. 1966. Equalty of educational opportunity.
la hora de escoger los métodos que se usarán en un trabajo evaluativo,
( ¿existe alguna investigación cuyas conclusiones se refieran a la convenien-
cia o inconveniencia de elegir eclécticamente métodos de especialidades
( afines --como la investigación educativa, la investigación psicológica, la
contabilidad y la planificación ciudadana-, contribuyendo así a recomen-
t
(
(
7
gativos?
3. Algunas personas han sugerido que algunas de las Normas del Joint Com-
de presentación y aplicación de cada una de las normas debe ser consi-
derado muy importante. ¿Está usted de acuerdo o no? Si 10 está, ¿cómo
ordenaría usted las Normas con el fin de aplicarlas para tomar una deci-
sión acerca de llevar a cabo o no una evaluación que le han propuesto?
Si cree que el orden en el que se estudien las Normas no es importante,
¿por qué piensa que no lo es?
4. Examine el repaso histórico de la teoría y la práctica evaluativas conte-
nido en esta unidad. ¿Cómo evaluaría el progreso, la regresión o el estan-
camiento de la especialidad en 10 que se refiere a la responsabilidad so-
cial, la erudición o la repercusión?
5. Teniendo en cuenta el alcance de la unidad y, especialmente, el análisis
de los papeles que se desempeñan en un trabajo evaluativo, ¿hasta qué
punto cree que la sociedad debe invertir en preparar y emplear a espe-
cialistas en lugar de simples evaluadores? ¿Dónde, cómo y hasta qué
punto debe proporcionárseles preparación a ambos tipos de evaluadores?
Referencias bibliográficas
AssocIATION. 1974. Standards for educational and
psychological tests, Washington, D.C., Autor.
educational evaluation, San Francisco, Jossey-Bass.
BLOOM,B. S.; ENGLEHART,M. D.r FURST,E. J.; HILL, W. H.; y KRATHWOHL,
D. R. 1956. Taxonomy of educational objectives. Handbook 1: The cognitive
domain, Nueva York, David McKay (trad. cast.: Clasificación de las metas edu-
cativas. Tomo 1: Taxonomía de los objetos, Alcoy, Marfil, 1979).
BRINKERHOFF,R.; BRETHOWER,D.; HLUCHYJ, T.; y NOWAKOWSKI, J. 1933.
Program evaluation: A practitioners' guide for trainers and educators, Bostan,
CAMPBELL, D. T. y STANLEY, J. C. 1963. Experimental and quasi-experimental de-
signs for research on teaching, en N. 1. Gage (comp.), Handbook of research
on teaching, Chicago, Rand McNally.
COLEMAN, J. S.; CAMPBELL,E. Q.; HOBSON,C. J.; MCPARTLAND, J.; MODD,A. M.;
Waohington, D.C. Oficina de Educación, Departamento de Salud, Educación y
Bienestar de los EE.UU.
COOK, D. 1. 1966. Program evaluation and review technique: Applications in Edu-
cation, Washington, D.C. Oficina de Imprenta del Gobierno.
-.1971. Educational project management, Columbus, Ohio, Charles E. Merrill.
 ')
T
1
1
")

I ')
62 I Evaluación sistemática Referencias bibliográficas 63
")
CRONBACH, L. J. 1963. Course improvement through evaluation, Teachers College -.1914. Scientific management in education, Nueva York, Hinds Noble and Eld-
redge. ')
Record, 64, págs. 672-683.
-.1980. Toward reform of program evaluation, San Francisco, Jossey-Bass. ROT~, J. 1977. Needs and the needs assessment process, Evaluation News, 5, á-
gmas 15-17. p ")
EISNER, E. W. «Educational objectives: Help or hindrance?» The School Review,
75 (1967), págs. 250-260. SCRIVEN, M. S,. 1967. The methodology of evaluation. En Perspectives of curricu-
')
-.1975. The perceptive eye: Toward the reformation of educational evaluation, lum evaluatlOn (AERA Monograph Series on Curriculum Evaluation, n. 1), Chi-
Stanford, California, Stanford Evaluation Consortium, diciembre. cago, Rand McNaliy. ')
GLASER, R. «lnstructional technology and the measurement of learning outcomes: -. 1;n4. P rose and cons about goal-free evaluation, Evaluation Comment, 3, pá-
Sorne questions», American Psychologist, 18 (1963), págs. 519-521. gmas 1-4 . )
GLASS, G. 1976. Primary secondary and meta analysis of research, Educational Re- -.1975. Evaluation bias and its control. Occasional Paper Series, n. 4, Universi-
dad de Western Michigan. Centro de Evaluación.
)
searcher, 5 (10), págs. 3-8.
GUBA, E. G. «A Study of Title III activities: Report ~n evaluation» (National lns- SMITH, E. R. Y TYLER, R. W. 1942. Appraising and,recording student progress ')
titute for the Study of Educational Change, Universidad de Indiana, octubre Nueva York, Harper. '
de 1966) (cic1ostilado). SMIT ~, N. 1. 1981a. Metaphors for evaluation: Sources of new methods, Beverl )
HI,lS, Sage. y
GUBA, E. G. y LINCOLN, Y. S. 1981. Effective evaluation, San Francisco, Wash- )
-. 198 lb. New techniques for evaluation, Beverly Hills, Sage.
ington, Londres, Jossey-Bass. .
HAMMOND, R. L. 1967. «Evaluation ar rhe locallevel». Conferencia para el Miller STAKE, R. E. 1967. The counrenance of educational evaluation Teachers College )
Record, 68, págs. 523-540. '
Committee for the National Study of ESEA Title IIl.
JOHNSON, R. 1980. Directory of evaluators and evaluation agencies, Nueva York, -.197.5. Program .eval~ation, particularly .re~ponsive evaluation. Occasional Paper )
Senes n. 5, UnIversIdad de Western Mlchlgan, Centro de Evaluación.
Exxon Corporation.
-.1:)78. 5T8he case-study method in social inquiry, Educational Researcher, 7, pá-
)
Joint Committee on Standard s for Educational Evaluation. 1981. Standards for
gmas -. )
evaluations of educational programs, projects, and materials, Nueva York, Mc-
-. «~etting standards fer educational evaluators», Evaluation News n. 2, 2 (1981)
Graw-Hill. pags. 148-152. ' )
KAPLAN, A. 1964. The conduct o/ inquiry, San Francisco, Chandler.
STUFFLEBEAM,D. 1. «The use and abuse of evaluation in Title IlI» Theory Into
KELLAGHAN, T. 1982. «Los sistemas escolares como objeto de evaluación». En )
Practice, 6 (1967), págs. 126-133. '
Daniel STUFFLEBEAM; Thomas KELLAGHAN; Y Benjamín ALVAREZ (comp.),
-. 1978. Metaevaluation: An overview, Evaluation and the Health Professions 1 )
La Evaluación Educativa, Bogotá, Pontificia Universidad Javeriana.
(2), págs. 146-163. '
KELLAGHAN, T.; MADAUS,G.; y AIRASIAN, P. 1982. The effects of standardized
testing, Hingham, Mass., Kluwer-Nijhoff Publishing.
STUFFLEBEAM,D. L., Y otros. 1971. Educational evaluation and decision making }
ltasca, lli., Peacock. '
KRATHWOHL, D. R.; BLOOM, B. S.; Y MASIA, B. B. 1964. Taxonomy of educatio- )
nal objectives: The classification of educational goals. Handbook II: Affective SUÁR~Z, T. 1980. N~eds assessments for technical assistance: A conceptual over-
domain, Nueva York, David McKay (trad. cast.: Taxonomía de los objetivos Vlew and companson of three strategies. Tesis doctoral inédita. Universidad de )
Western Michigan.
de la educación. Clasificación de las metas educativas, Alcoy, Marfil, 1979).
METFESSEL, N. S. y MICHAEL, W. B. «A paradigm involving múltiple criterion TYLER, R. W. 1967. Changing coneepts of educational evaluation. En R. E. Stake )
measures for the evaluation of the effectiveness of school programs». Educa- (comp.), Perspectives of curriculum evaluation (vol. 1), Nueva York, Rand
MeNaliy. )
tional and Psychological Measurement, 27 (1967), págs. 931-943.
PECK, H. «Report on' the certificar ion of evaluators in Louisiana». Texto presen- WEBS~ER,. W. J. 1975. The organization and functions of research and evaluation )
tado en el congreso de la Southern Educational Research Association, Lexing- umts m a large urban school district, The Dalias lndependent School District
Dalias. ' )
ton, Kentucky, Fali 1981.
POPHAM, W. J. 1971. Criterion-referenced measurement, Englewood Cliffs, N.J.; )
Educational Technology Publications (trad. cast.: Evaluación basada en crite-
rios, Magisterio ~spañol, 1983): )
PROVOS, M. 1969. Discrepancy evaluation model, Pittsburgh, Pennsylvania, Pitts-
)
burgh Public Schools.
REINHARD, D. 1972. Methodology developments for input evaluation using advo- )
cate and design teams. Tesis doctoral inédita, Universidad del Estado de Ohio.
RICE, J. M. 1897. The futiliry of the speliing grind, The Forum, 23, págs. 163-172. )

)
)
)
(
 2 UN ANALISIS DE METODOS ALTERNATIVOS
DE EVALUACION

A lo largo de esta unidad, se presentan los tres métodos más importantes

de evaluación de programas. El primero -la pseudoevaluación- intenta con-
ducir a conclusiones erróneas mediante una evaluación. El segundo -la cuasi-
evaluación- incluye estudios que se preocupan de dar respuestas a ciertas
cuestiones de interés, en lugar de determinar el valor de algo. El tercero
-la verdadera evaluación- comprende lo que nosotros consideramos esfuer-
zos globales para examinar el valor y el mérito de un objeto. Los tipos de
estudio particulares que están relacionados con cada método son analizados
con detalle y contrastados con otros. En total, esta unidad proporciona un .
panorama de doce modelos de estudios evaluativos.
Lo más frecuente es que los clientes deseen un estudio políticamente pro.
vechoso (pseudoevaluación), los evaluadores prefieran realizar un estudio ba-
sado en problemas concretos (cuasievaluación) y los consumidores tiendan
hacia estudios basados en valores (verdadera evaluación). Los evaluadores
deben prestar tanta atención a sus propósitos evaluativos como a los de los
clientes y consumidores.

Uno de los más importantes avances que se han producido en el campo

de la evaluación consiste en los diversos modos de conceptualizar la propia
evaluación. Esta unidad proporciona un panorama y un análisis de tres méto-.
dos generales que se han recomendado o empleado bajo la etiqueta de evalua-
ción sistemática. Estos métodos son únicos y comprenden la mayoría de for-
mas de evaluar servicios. Mientras dos de los métodos se usan, por lo general,
) como medios legítimos para calibrar el valor y el mérito, uno de ellos se
utiliza a menudo ilegítimamente para crear una falsa impresión acerca del
valor de un objeto. No debe sorprender que los distintos modelos de estudios
esbozados en las siguientes páginas sean aquellos que, según nuestra opinión,

~!
"¡
:~
.~
A7rs
 ')

'1

66 I Evaluación sistemática Métodos alternativos de evaluación I 67 )

encajan en las dos categorías legítimas de evaluación. Hemos incluid~ un
comentario sobre el otro método porque se emplea con mucha frecuenda y,
según creemos, debe ser expuesto como una práctica inadecuada. B.ajo el dis-
fraz de una evaluación sistemática, este método, a menudo, proporcIOna falsas
informaciones a las audiencias. Por lo general, el material contenido en esta
unidad está tomado de un estudio previo de STUFFLEBEAM y WEBSTER (1980).
Objetivos
Esta unidad está pensada para ayudarle a alcanzar los siguientes objetivos:
Con la definición de evaluación que proporciona la unidad y la serie de
1.
descripciones de estudios evaluativos, debe ser capaz de clarificar éstos
como pseudoevaluación, cuasievaluación o evaluación verdadera, e iden-
tificar el modelo de estudio con el que cada uno puede ser más fácilmen-
te asociado.
2. Con las denominaciones de dos o más de los modelos de estudio expuestos
en este capítulo, debe ser capaz de contrastarlos teniendo en cuenta orga-
nizadores previos, utilidad, cuestiones que plantean, tipos y origen de és-
tas, métodos que usa por lo general y principales representantes.
3. Con los nombres de los modelos de estudio seleccionados, debe ser capaz
de enumerar las principales virtudes y defectos de cada uno, teniendo en
cuenta la manera en que debe llevarse a cabo una evaluación, tal y como
se describe en este libro.
Cuando haya estudiado el núcleo de esta unidad, se encontrará con pre-
guntas y ejercicios que podrá calificar _usted mismo, incluyendo respuestas
que reflejen parcialmente los objetivos expuestos arriba. Le recomendamos que
realice estos ejercicios evaluativos para que pueda valorar su grado de cono-
cimiento respecto al material de esta unidad. Al nnal de ella aparecen tam-
bién unas «preguntas sin' respuesta» y ciertas lecturas recomendadas, que se
proponen servirle de guía en sus estudios posteriores acerca de los conceptos
tratados en la unidad.
Conceptualizaciones alternativas de "la evaluación
')
minada definición de evaluación. De acuerdo con lo expuesto en la unidad 1,
definimos la evaluación aquí como un estudio sistemático planificado, dirigido )
y realizado con el fin de ayudar a un grupo de clientes a juzgar y/o perfec- ')
cionar el valor y/o el mérito de algún objeto. Creemos que esta definición
es, por lo general, aceptable, puesto que concuerda con las definiciones que ')
aparecen en la mayoría de los diccionarios. De cualquier manera, el análisis
j
que sigue demuestra que muchos estudios realizados bajo la denominación de
evaluación sistemática o bien no se ajustan a esta definición, o bien se oponen )
claramente a ella.
)
Utilizando la definición propuesta, cada uno de los modelos de estudio
presentados en este libro son examinados para comprobar si se corresponde 'J
con uno (o quizá más) de los tres amplios, aunque distintos, grupos. El pri-
)
mer grupo incluye las evaluaciones políticamente orientadas, que son diri-
gidas o utilizadas subrepticiamente para provocar un punto de vista deter- , )
minado, positivo o negativo, sobre un objeto, independientemente de la valo-
ración objetiva de su valor o mérito. El segundo grupo incluye las evalua- )
ciones destinadas a dar soluciones a preguntas concretas, cuyas respuestas, a )
su vez, quizás incluyan, o quizá no, el enjuiciamiento del valor o el mérito
de un objeto. El tercer grupo incluye estudios pensados, ante todo, para enjui- )
ciar y/o perfeccionar el valor o el mérito de un objeto. Para que resulte más )
fácil referirse a cada uno de los tres grupos de métodos, han sido denomi-
nados, respectivamente, pseudoevaluación, cuasievaluación y verdadera eva- )
luación. )
Cada método y los modelos de estudio correspondientes son analizados
más adelante a la luz de estos siete aspectos: 1) organizadores previos, es )
decir, las principales indicaciones que siguen los evaluadores para realizar un )
estudio; 2) su principal utilidad; 3} el origen de las preguntas planteadas;
4) los problemas característicos de" cada método o modelo de estudio; 5) los )
métodos más frecuentemente utilizados; 6) las personas que conceptualizaron )
por primera vez cada método o modelo de estudio; y 7) otras personas que
han participado en el desarrollo y la utilización de cada método y modelo ')
de estudio. Además, se enjuicia, en términos generales, cada método y mode-
)
lo de estudio, comparándolos con las treinta normas del Joint Committee on
Standards for Educational Evaluation. :)
)
Pseudoevaluaciones )

Los modelos de estudio que se exponen aquí y a lo largo de este libro )

Se dice que los mentirosos imaginan cosas y que las imaginaciones mien-
fueron seleccionados para que representaran ampliamente los diversos puntos ten. Del mismo modo, los charlatanes y los manipuladores utilizan a menudo )
de vista y prácticas utilizados en la evaluación educacional, sobre todo, pero la evaluación de una manera inadecuada para lograr sus objetivos. Puede que
también en programas de salud y bienestar. Los distintos tipos de estudio )
tecopilen la información rigurosamente, pero no revelan las verdaderas con.
están clasificados teniendo en cuenta su grado de coincidencia con una deter- clusiones, o lo hacen de un modo selectivo, o incluso las falsifican, engañando )
.)
)

•.... )
~
(
f 68 I Evaluación sistemática
f tanto a la gente como a sí mismos. Pueden distinguirse dos tipos de pseudo-
( evaluación, que ahora pasamos a exponer.
(
{ Investigaciones encubiertas
f El primer tipo ha sido denominado «investigaclOn encubierta», aunque
( también hubiera podido llamarse evaluación políticamente controlada. Sus
organizadores previos son, implícita o explícitamente, una amena~a que. de~en
( afrontar los clientes. La intención del cliente al encargar una lllveStlgacI6n
( encubierta es conseguir asistencia para obtener, mantener o incrementar una
esfera de influencia, poder o dinero. Los problemas que plantea son los que
( interesan al cliente y a ciertos grupos que comparten sus intereses. En este
( ,1
tipo de evaluación se dan dos preguntas principales: ¿qué información puede
resultar provechosa en un conflicto potencial? y ¿qué datos pueden ser de
( utilidad en una confrontación? Los métodos típicos con los que se llevan
( a cabo las evaluaciones encubiertas incluyen el análisis de documentos, la vigi-
lancia de los implicados, los estudios simulados, las investigaciones privadas
( y los expedientes secretos. Por 10 general, el cliente quiere que la información
{ obtenida sea tan s6lida técnicamente como sea posible, pero también que se
le garantice la posibilidad de controlar la revelación de la información. Dado
( que la información puede ser revelada selectivamente para crear una ~alsa
( imagen del valor de un objeto, o incluso no revelada, para ocultar una SItua-
ción este método debe ser denominado «pseudoevaluación».
{ Aquí no mencionaremos a nadie que pueda ser reconocido por sus contri-
buciones a la creación o el desarrollo de las investigaciones encubiertas. Pero,
<. lamentablemente, mucho estudios actuales merecen que se los denomine así.
( Para contradecir a quienes puedan argumentar que la evaluación encu-
bierta es imaginaria, les invitamos a que consideren el siguiente ejemplo.
(
El director de uno de los más grandes distritos escolares de la nación confesó
( una vez que poseía una extensa información acerca de las escuelas de su dis-
trito. La información incluía el nivel de éxito de los estudiantes, las califi-
(
caciones de los profesores, la composición racial de profesores y estudiantes,
( cuánto costaba cada alumno, las características socioeconómicas de los estu-
diantes, cuánto duraban los profesores en su puesto y muchas más cosas.
(
Estos datos revelaban que se trataba de un distrito escolar muy segregado.
( Cuando se le preguntó por qué todo estaba anotado a lápiz, el director replicó
que era absolutamente esencial que se mantuviera informado acerca de la
( situación de cada escuela en todo momento. Sea como fuere, dijo, era también
( imprescindible que la comunidad en pleno, la junta de dirección y los grupos
que tenían intereses especiales en la comunidad, en particular, no tuvieran
(
acceso a la información, porque alguno de estos grupos podía utilizar la infor-
l mación para perjudicar a la comunidad y amenazar su posición. De esta ma-
••
{
~
Métodos alternativos de evaluación I 69
nera, un asesor especial mantenía al día todo 10 anotado; sólo existía una copia
y el director la guardaba bajo llave en su mesa de trabajo. El hecho es que la
continuada investigación encubierta y la revelación selectiva de información
llevadas a cabo por el director no eran, en absoluto, un caso de verdadera
evaluación, porque no incluían revelaciones totales y abiertas. Desde nuestro
punto de vista, se trataba de un ejemplo de pseudoevaluación.
Estudios basados en las relaciones públicas
Un caso similar de pseudoevaluación es el estudio planificado, realizado
y utilizado para satisfacer propósitos que tengan que ver con las relaciones
públicas. En este tipo de estudios, las necesidades informativas del propagan-
dista, son organizadores previos. La intención del estudio es ayudar al cliente
a crear una imagen positiva de una institución, un programa, un sistema y
similares. Los principales problemas de un estudio como éste se desprenden
de las concepciones de los especialistas en relaciones públicas y los adminis-
tradores, acerca de qué cuestiones resultarían más populares. En general, los
estudios basados en las relaciones públicas buscan información que pueda ser de
ayuda para asegurar el apoyo del público. Los. métodos que se usan más fre-
cuentemente en este tipo de estudios son las inspecciones, las pruebas y la uti-
lización de asesores «expertos». La principal característica de la utilización de
métodOS dudosos por parte de este tipo de evaluadores es su propensión a
crear una buena imagen del objeto de la evolución.
El caso de un distrito escolar urbano ilustrará este segundo tipo de pseu-
doevaluación. Un director, al solicitar una inspección de la comunidad en su
distrito, afirmó abiertamente que necesitaba un documento que proporcionara
un informe positivo sobre el funcionamiento del distrito escolar. Dijo que un
informe de aquel tipo era urgentemente necesario para que la comunidad
volviera a confiar en el distrito escolar. La petición del director, acerca de la
inspección (y del informe positivo), fue totalmente rechazada, pero el hecho
de que pensara que era tan necesaria quedó pronto aclarado. Algunas semanas
después de la inspección, fue repentinamente despedido.
Antes de plantear el grupo siguiente de modelos de estudio, queremos
hacer unos cuantos comentarios más acerca de las pseudoevaluaciones. Quizás
usted se pregunte por qué hemos hablado de estos dos modelos de estudio.
Sin duda, no recomendamos su utilización. Hemos tenido en cuenta estos dos
tipos de estudio porque son una parte importante del panorama evaluativo.
Aveces, los evaluadores y sus clientes conspiran juntos para llevar a cabo
estos dos primeros tipos de estudios. En otras ocasiones, los evaluadores, cre-
yendo que realizan una valoración objetiva, descubren que sus clientes tienen
otras intenciones. En el momento apropiado, el cliente interviene para mani-
pular el estudio y extraer de él la imagen que desea y le conviene. Los evalua-
 ) 1

70 I Evaluación sistemática Métodos alternativos de evaluación I 71 .,, "'\

dores tienen que estar alertas, más de lo que suelen estarlo, ante este tipo de cialmente la recopilación y el análisis de los datos sobre el trabajo en cuestión,

conflictos potenciales; de otra manera, pueden convertirse en cómplices incons-
cientes de un proceso de engaño a través de la evaluación.
Cuasievaluaciones
Los estudios cuasievaluativos aparecen especificados porque existe la evi-
dencia de que a veces pueden ser utilizados para enjuiciar el valor o el mérito
de un objeto, mientras que en otros casos su alcance es demasiado estrecho
o sólo tangencial a las cuestiones del mérito y el valor. Lo más importante es
que estos estudios empiezan con un problema concreto y luego buscan la meto-
dología apropiada para solucionar ese problema. Que la información obtenida
sea suficiente para apoyar un juicio sobre el valor de algo es, definitivamente,
una cuestión secundaria. Los estudios cuasievaluativos poseen otros usos muy
legítimos, aparte de su relación con la evaluación. Así, la principal cautela
que hay que adoptar ante estos tipos de estudios es no considerarlos equi-
valentes a la evaluación.
Dos unidades de este libro hablan de los modelos de estudio cuasievalua-
tivos: la unidad 3, sobre la tradición tyleriana, y la unidad 4, sobre el método
científico de Suchman. En esta unidad, analizaremos estas formas de cuasieva-
luación: la primera entra en la categoría de la cuasievaluación que hemos
denominado estudios basados en objetivos, mientras que la de Suchman se
basa sobre todo en la experimentación. Otros ejemplos de métodos cuasieva-
luativos, descritos por STUFFLEBEAMy WEBSTER (l980), son los estudios de
responsabilidad, los programas de pruebas y los sistemas de información admi-
nistrativa.
Estudios basados en objetivos
Como se ha visto en la unidad 1, los estudios basados en los objetivos
han .sido, quizá, :a princip~l fuerza que ha impulsado el movimiento para ,iste-
~atIzar el trabajO evaluatIvo. En este tipo de estudio, los organizadores pre-
VIOSse. suelen basar en algún informe sobre los objetivos. Estos pueden ser
det;:rmmados por los clientes, establecidos por las personas cuyo trabajo se
esta valorando, fo.r~ulados por el evaluador o fijados conjuntamente por todos
aquellos que partICIpan en la evaluación. El propósito más común es determi-
nar s; los objetivos han sido alcanzados y, de acuerdo con esto concluir si se
ha tenido éxito en el trabajo que se ha valorado. Las audienci;s más frecuen-
tes ~e. esto~ estudios son los creadores de programas, los patrocinadores, los
admmlstratlvos y los proveedores de servicios.
Los métodos utilizados en los estudios basados en objetivos incluyen esen-
,
relativas a objetivos específicos. Ralph Tyler es generalmente admitido como ')
pionero de este tipo de estudios. Muchos han ido más allá que Tyler al
desarrollar variaciones sobre su modelo evaluativo basado en los objetivos.
Mencionaremos unos pocos: BLOOMy otros (1956), HAMMOND (1972), MET-
')
FESSELy MICHAEL (1967), POPHAM (1967) y PROVUS(1971). En la unidad 3,
presentamos una ampliación del modelo tyleriano desarrollado por METFESSEL 1
y MICHAEL (1967).
Indudablemente, este tipo de estudio es el que más frecuentemente se
'\
utiliza con el nombre de evaluación. Tiene una apariencia bastante racional, )
los profesionales acumulan experiencia mediante su utilización y emplea las
tecnologías de los objetivos del comportamiento y de las encuestas regulari- J
zadas. Las principales críticas que se le hacen apuntan a que produce, prin- ")
cipalmente, una información que llega demasiado tarde para ser utilizada en
f )
el perfeccionamiento de los servicios, y que esta información es, a menudo,
de muy poco alcance como para constituir una base sólida a la hora de enjui- )
ciar el valor de un servicio.
)
)
Estudios basados en la experimentación
)
El modelo de estudio conocido como investigación experimental es muy )
importante en evaluación. Lo hemos clasificado como cuasievaluación porque
incluye cuestiones y metodologías a veces relacionadas, pero a veces no, con )
el juicio de valores. La investigación experimental trae a la memoria la adver- )
tencia de KAPLAN (1964) contra la llamada «ley del instrumento», según la
cual un método es equivalente a una investigación. Como consecuencia, el )
campo de estudio se reduce a los problemas que pueden ser solucionados
)
mediante un método determinado. FISHER (1951) ya había advertido especí-
ficamente que no se equipararan sus métodos experimentales con la ciencia. )
Los organizadores previos en los estudios experimentales son la exposición
)
de problemas, las hipótesis y el estudio de las cuestiones. El propósito más
común de un experimento es determinar o demostrar vínculos casuales entre )
ciertas variables dependientes e independientes, como por ejemplo un método , )
de enseñanza y una ejecución profesional y documentada, o un test con cali-
ncaciones. Es particularmente destacable que los problemas planteados proce- )
den de los investigadores, de quienes desarrollan los programas de educación
)
y de los editores de publicaciones, y no, por lo general, de los implicados, los
participantes o promotores financieros. )
La pregunta más frecuente que se plantea en un experimento es: ¿cuáles
son los efectos de una intervención determinada sobre las variables específicas )
resultantes? Los métodos más comúnmente utilizados son los planes experi- )
mentales y cuasiexperimentales. Los pioneros en el uso de la experimentación
)
1 )

)
.~
J.
 (
f
72 I Evaluación sistemática
1i
f I
'f para evaluar programas son LINQUIST(1953), CAMPBELLy STANLEY(1963),
SUCHMAM(1967) y CRONBACH y SNOW (1969). Otras personas que han
(
desarrollado la metodología de la experimentación, especialmente para utili.
( zarla en evaluación, son GLASSy MAGUIRE(l968) y WILEY y BocK (1967).
En la unidad 4, revisamos específicamente las contribuciones de Suchman y
( diantes, profesores, médicos, juntas políticas, votantes y cualquiera que decida
su aplicación de la experimentación a la evaluación de programas sociales.
f La principal ventaja de los estudios experimentales en el trabajo evalua-
tivo es que proporcionan métodos sólidos para la determinación de relaciones
t causales relativamente inequívocas entre el programa y los resultados. Los pro-
( blemas que plantea, no obstante, consisten en que el método, a menudo, no
resulta factible a la hora de señalar los límites de la especialidad y proporciona
( una información mucho más restringida de la que es necesaria para evaluar
( programas de educación, salud y bienestar. Además, los estudios experimenta-
les tienden -a proporcionar una información final que no resulta útil como guía
Métodos alternativos de evaluación I 73
estudios es proporcionar conocimientos y bases valorativas para tomar y justi-
ficar decisiones.
La procedencia de los problemas planteados en este tipo de estudios inclu-
ye a todos aquellos que toman decisiones: administradores, ciudadanos, estu-
cómo planificar, dirigir y utilizar servicios. Las principales cuestiones que plan-
tea son: ¿qué es lo que hay que conseguir? ¿Cuál debe ser la planificación de
una empresa determinada? ¿Cómo debe llevarse a cabo el plan? ¿Cuándo y
cómo debe ser modificada la empresa? Las respuestas a estas preguntas se basan
en perspectivas subyacentes de valoración, por ejemplo, en que las empresas
educativas deben sobresalir en el fomento del crecimiento y el desarrollo hu-
manos, mientras que deben ser cautas en la utilización de los recursos y sa-
tisfacer tanto los objetivos individuales como el bien común. Ha m~chos 000

( para el proceso de desarrollo. métodos adecuados para llevar a cabo este tipo de estudios: inspecciones, va-
( Antes de terminar nuestros comentarios sobre los métodos experimentales loración de las necesidades, estudios de casos, series de recomendaciones, ob-
y basados en objetivos, desearíamos subrayar que sólo se trata de dos de los servaciones estructurales y planificaciones cuasiexperimentales y experimentales.
( métodos que se podrían calificar como cuasievaluación. Nos hemos centrado CRONBACH(1963) fue el primero que introdujo a los evaluadores en la
en ellos porque las unidades que tratan de los trabajos de Tyler y Suchman idea de que la evaluación debía ser reorientada y que, de basarse en objetivos,
(
son ejemplificaciones de estos métodos. Como ya se ha mencionado previa- debía pasar a ser una ayuda para que los educadores tornaran decisiones más
( mente en esta unidad, los otros tipos de estudios calificados como cuasieva- acertadas acerca de cómo educar. Más tarde, STUFFLEBEAM (1966, 1967) intro-
luación son la comprobación de programas, los sistemas de información admi- dujo una conceptualización de la evaluación que se basaba en la idea de que
(
nistrativa y los estudios de responsabilidad. ésta debía ayudar a los educadores a tomar y justificar decisiones que pudieran
( satisfacer mejor las necesidades de los estudiantes. Muchos otros, desde enton-
ces, han contribuido al desarrollo de un concepto de la evaluación basado en
(
Las verdaderas evaluaciones decisiones. Entre ellos se encuentran ALKIN (1969), REINHARD(1972), TAYLOR
( (1974), GUBA {l978) y WEBSTER (1975), Las unidades 5 y 6 proporcionan
La mayoría de las unidades de este libro están dedicadas a estudiar mode- una amplia información acerca de las estrategias desarrolladas por Cronbach
( y Stufflebeam.
los que hemos denominado evaluaciones verdaderas. Oponiéndose a las pseu-
( doevaluaciones subrayan la necesidad de evitar los estudios tendenciosos, y, La principal ventaja de este tipo de estrategia es que anima a los grupos
en contraste con las cuasievaluaciones, recomiendan la realización de investi- de profesionales, así como a las organizaciones gubernamentales, a utilizar la
{ evaluación continua y sistemáticamente para planificar y lle-,'ar a cabo los ser-
gaciones de conjunto basadas en cuestiones de valor y mérito.
( vicios que satisfacen las necesidades de los clientes. Tambié.1 proporciona una
base lógica que ayuda a los profesionales a responder de las decisiones toma-
Estudios de orientación de la decisión das en el curso de un servicio.
.'( Su principal limitación es que la colaboración imprescindible entre el eva-
luador y el que toma las decisiones puede conducir a una distorsión de los
Empezamos nuestro análisis de las evaluaciones verdaderas o estudios
t basados en los valores con una panorámica sobre el enfoque de la decisión resultados. La metaevaluación externa (la evaluación de la evaluación) se em-
orientada. Este subraya que la evaluación debe ser utilizada tanto para el per- plea para contrarrestar estas posibles desviaciones.
feccionamiento de un programa, como para enjuiciar su valor. Las decisiones
a tomar -ya sea por un administrador, un consejo político, un personal de
programación o un electorado- proporcionan organizadores previos para
los estudios de orientación de la decisión. Básicamente la intención de estos

!
 )

74 I Evaluación sistemática
Métodos alternativos de evaluación I 75 "
')

Estudios centrados en el cliente
Mientras que el estudio de orientación de decisión está concebido casi siem-
pre para los niveles administrativos, más que para el personal de una organiza-
ción, ya que existe más autoridad decisoria en los niveles más altos, el mé-
todo que se base en el cliente se preocupa más de «dónde está la acción». Los
estudios relacionados con este enfoque se centran principalmente en ayudar
a aquellos que realizan un servicio cotidiano a valorar y perfeccionar sus con-
tribuciones. Los organizadores previos son las preocupaciones y problemas del
programa del servicio. El propósito del estudio es ayudar a la gente que forma
parte de un servicio local a comprender cómo funcionan las actividades de su
servicio y el grado en que estos servicios son respetados por los expertos y
valorados por los clientes.
Los problemas planteados por este tipo de estudios proceden de la comu-
nidad y de grupos locales, así como de expertos ajenos al caso. En general, los
grupos desean conocer la historia y la situación de un determinado programa
de servicios, así como la manera en que ha sido enjuiciado por distintos gru-
pos de clientes. Los métodos más frecuentemente utilizados en este tipo de
estudios son el estudio de casos, informes contrapuestos, sociodramas y lo que
STAKE(1975) llama «evaluación respondente».
STAKE{l967) es el pionero de este tipo de estudios, y su método ha sido
desarrollado por MACDoNALD (1975) en Inglaterra, RIPPEY (1973) y, más
~.
recientemente, GUBA (1978). En la unidad 7, realizamos un extenso repaso
y análisis de las propuestas de Stake para la conceptualización y la realización
de un trabajo evaluativo.
La mayor virtud de este método es que se trata de una investigación activa
en la que se ayuda a la gente que realiza programas a dirigir sus propias eva-
luaciones. Su principal defecto es su ausencia de credibilidad externa y la
posibilidad de ser manipulado por ciertos elementos locales que, en efecto,
ejercen un gran control sobre la evaluación.
Estudios políticos
Consideramos el estudio político como el tercer gran modelo de evalua-
ciÓn verdadera. Hemos clasificado así este método porque sirve para identi-
ficar y valorar los méritos de varias políticas que compiten en una sociedad
o segmento social. El organizador previo de un estudio político es una deter-
')
diversas p~líticas aplicables a una institución determinada o a la sociedad.
Los legIsladores, las asociaciones políticas y los grupos especialmente inte- ")
resados son los que, más a menudo, plantean las cuestiones en un estudio ')
p.olític~.. Una de sus, preguntas p:i~cipa1es es: ¿cuál de entre dos o más polí-
ticas dlstmtas lograra con mayor exlto resultados válidos a un coste razonable? ")
Los ~étodos utilizados en los estudios políticos incluyen la Delphi Technique
(de~cnta por AN~ERSO~,BALL, MURPHY y otros, 1973), la planificación ex-
I
penmental y cuaslexpenmenta1, los guiones, los pronósticos y los procedimien- )
tos judiciales.
)
]oseph R~CE (en ANDERSONy otros, 1973) puede ser considerado el pio-
neroen esta area, puesto que, alrededor de 1900, dirigió unos estudios a gran )
escala con el fin de que el sistema educativo determinara si era conveniente o
)
no continuar centrándose primordialmente en la ortografía. Otras personas
que colaboraron en la creación de una metodología para la realización de es- ( )
tudios políticos fueron COLEMAN,CAMPBELL,HOBsoN, McPARTLAND,MooR,
)
WEINFELD y YORK (1966); ]ENKS, SMITH, ADAND,BANE, COHEN, GINTIS,
HE~NESy MIKELSON(1~72); CLARK(.1965); OWENS(nota 1); WOLF (l973), )
. Y \XEISS (1972). La umdad 10 descnbe el modelo de estudio recomendado
por Owens y W 01£y lo que nosotros consideramos un método de estudio po- )
lítico. )
La principal ventaja de los estudios políticos es que resultan esenciales
)
como guía de las instituciones y de la sociedad. Su principal inconveniente
e.sque, una vez más, acaban corrompidos o subvertidos por el ambiente polí- )
tiCOen el que se desarrollan.
)
)
Estudios basados en el consumidor
)
~n este tipo de e.studios, el evaluador es el «inteligente sustituto del con- )
s~lmldor». Los ~r~amzadores previos son los valores y necesidades de la so-
CIedad. El.rroposltO de ~n estudio basado en el consumidor es juzgar los va- ')
lo~es relatIVOS de .tos bIenes y :"ervicios alternativos y, como consecuencia, )
a}uda~ a los cont~l~uyentes y clIentes a saber elegir en sus adquisiciones de
esos bIenes y serVICIOS. )
1 L~s problemas planteados por este tipo de estudios están relacionados con )
~ ~ocledad, con los que forman parte de los servicios institucionales y espe-
~~::ente con ~as premisas del evaluado~. Su principal pregunta es: ¿cuál de )
1 uc~os objetos de consumo alternatIvos es mejor comprar dado su coste
t nec~sldade~ del grupo consumidor y los valores de la sociedad en general?
)

mInada cuestión política, como por ejemplo, ¿cuál es el mejor o, al menos, el OSIm~t,odos mcluyen listas de control, la valoración de las necesidades la )
cva
1 uaCl0n
T' de los obJ'eti vos, 1a p 1am'ficaCIOn
. ,. expenmenta1 y cuasiexperimenta1
'
método más efectivo de satisfacer las directrices federales en lo que a igualdad- )
de oportunidades educativas se refiere? El propósito de un estudio político :é~~a lSISdel modus operandi y ~1 análisis de los costes (SCRIVEN)1974): Otr~
do popular para el consumIdor externo e independiente consiste en re- )
es, por 10 general, describir y valorar los costos y beneficios potenciales de
( )
~, )
;:;
'b ,)
"'f',
(
Métodos alternativos de evaluación I 77
76 I Evaluación sistemática
t" comendar la obtención de conclusiones a partir de estudios de programas fi-
alerta y resistencia ante los modelos que supongan algún tipo de subterfugio
( nanciados públicamente. (las pseudoevaluaciones).
Los evaluadores deben tener particularmente en cuenta que quizá se en-
SCRIVEN(l967) fue el primero en aplicar este tipo de estudio a la educa-
( cuentren con dificultades considerables si su concepción del estudio que están
ción, y existen grandes paralelismos entre su trabajo y el de Nader en el campo
llevando a cabo difiere de la de sus clientes o audiencias. Con frecuencia, los
( del consumismo. Glass ha desarrollado enérgicamente el trabajo de Scriven.
clLeptes desean un estudio políticamente ventajoso (pseudoevaluación), mien-
Una de las principales ventajas de este método es que se trata de un~
( valoración sólida e independiente concebida para proteger a los consumidores
tras que los evaluadores prefieren realizar estudios basados en cuestiones con-
cretas (cuasievaluación), puesto que ello les permite aplicar la metodología
( de productos y servicios de muy baja calidad. El método goza de una gran
para la que se han preparado. Además, los consumidores de los servicios que
credibilidad entre los grupos de consumidores. Su principal desventaja es que
( puede llegar a independizarse tanto de quienes lo practican que quizá no
se están valorando desean, por lo general, estudios basados en los valores
(verdadera evaluación), que les ayuden a determinar la valía relativa de los
( pueda ayudarles a la hora de servir mejor a los consumidores. Además, este
distintos bienes y servicios o juzgar el mérito y el valor de un programa u ob-
tipo de estudio requiere un experto que sea competente y en el que se pueda
( confiar, además de los recursos suficientes que le permitan realizar un estudio
jeto dados. Si los evaluadores ignoran este tipo de posibles conflictos, la eva-
luación, probablemente, estará condenada al fracaso desde el ?rincipio. La
( minucioso. A menudo, este método es demasiado costoso como para ser lle-
moral debe ser lo primero en un estudio, y los evaluadores deben atender
vado a cabo y da como resultado datos imperfectos y poco fiables.
{ tanto a lo que ellos piensan, como a lo que piensan los clientes y la audien-
cia. Es más, los evaluadores deben avisar a las partes implicadas de los po-
( sibles conflictos que pueden producirse en lo que se refiere a los propósitos
Conclusión
( y la realización del estudio, y llegar, desde un primer momento, a un acuerdo
común. Las alternativas presentadas pueden ser, perfectamente, tanto un estu-
( Esto completa nuestra revisión de los que consideramos los tres principa-
dio cuasievaluativo destinado a valorar cuestiones concretas, como una verda-
les acercamientos a la evaluación. Los diversos tipos de estudio descritos en
( dera evaluación destinada a buscar cualquier evidencia que pueda ayudar al
este libro están contenidos en el comentario de estos enfoques. Insistimos en
que ninguno de estos tres métodos se corresponde con la pseudoevaluación. cliente y a la audiencia a enjuiciar el valor de un objeto.
( De cualquier manera, no es creíble que los estudios inspirados y controla-
En resumen, las ideas y procedimientos evaluativos que TYLER (unidad 3) y
( dos políticamente sean apropiados para la evaluación de la salud, el bienestar
sus seguidores, METFESSELY MICHAEL (unidad 3), y HAMMOND y SUCHMAN
y la educación. Indudablemente, pueden ser necesarios en la administración
( (unidad 4), proponen más adelante, son ejemplos de cuasi evaluación. Los re-
comendados por CRONBACH(unidad 5), STUFFLEBEAM(unidad 6), STAKE y en las relaciones públicas, pero no deben ser confundidos con -o sustituidos
( (unidad 7), OWENS (unidad 8) y SCRIVEN (unidad 10) se corresponden con por- la evaluación. Finalmente, es imprescindible recordar que ningún tipo
nuestra descripción de la verdadera evaluación. Mud'lOS de los procedimientos de estudio es siempre el mejor a la hora de evaluar algo. Otra cuestión que
( se desprende del examen de los diversos tipos de estudio presentados en este
evaluativos recomendados por \'q eiss -particularmente los que se refieren a
( las relaciones políticas e interpersonales- coinciden casi totalmente con nues- libro es que tienen, a la vez, virtudes y defectos. En general, los defectos de
tro concepto de evaluación verdadera. En términos generales, creemos que los los estudios orientados políticamente es que son fácik; de manipular por per-
autores que recomiendan un método holístico de evaluación, como MAcDo- sonas sin escrúpulos; y esto puede contribuir a que la mdiencia llegue a falsas
NALDy STAKE(unidad 9), defienden también ejemplos de verdadera evaluación, conclusiones al desarrollar una opinión particular sobre el valor de un progra-
con tal que la ausencia de la credibilidad externa sea reconocida. ma que acaba siendo infundada y quizá falsa. El principal problema de los
( estudios basados en cuestiones concretas es que, a menudo, plantean pregun-
Como se afirma al principio de esta unidad, un análisis de estos modelos
tas de un alcance más limitado que el que en realidad sería necesario para un
t de estudio tiene importantes implicaciones tanto para el que los practica como
verdadero enjuiciamiento del valor. De todos modos, también resulta notable
.(,
para el que estudia la evaluación resultante. Ambos necesitan fortalece_o su
capacidad de valorar y aplicar planes de evaluación, modelos, etcétera,:¡ue que estos tipos de estudios sean frecuentemente superiores, en la eficiencia
aparecen en la literatura evaluativa. Este estudio no sólo debe describir planes de la metodología y la adecuación técnica de la información empleada, a 10s
alternativos que uno puede escoger o adoptar, sino que también debe incre- verdaderos estudios evaluativos. Finalmente, los estudios basados en valores
mentar la sensibilidad a la hora de localizar las virtudes, los defectos y las realizan una tarea muy ambiciosa. Por ello es virtualmente imposible enjuiciar
diferencias entre los diversos esquemas. y debe aumentar la capacidad de el verdadero valor de cualquier objeto. Un logro completo requeriría omnis-

pz Ai
 ')

'1
78 I Evaluación sistemática
Métodos alternativos de evaluación I 79 ")

ciencia, infalibilidad y una perspectiva de valoración singularmente perfecta. )

Sin embargo, no olvidarse nunca de las cuestiones referentes al valor es cierta- Respuestas incorrectas ')
mente esencial para el progreso de la sociedad.
Es incorrecta porque esta unidad subraya que la verdadera evaluación ')
a)
supone tanto servir a los clientes como hacer valoraciones de conjunto.
')
Es incorrecta por la misma razón proporcionada en la respuesta «a».
b)
Test de conocimientos sobre la unidad 2 Es incorrecta porque la definición de evaluación que se da en esta unidad )
e)
no excluye ningún tipo de información mientras incluya cuestiones acer-
)
ca del mérito y el valor del objeto de interés y pueda ser utilizada por el
Siguen ahora cuatro preguntas con respuestas a elegir y doce anrmaciones grupo de clientes. )
para cotejar que han sido concebidas para ayudarle a comprobar y consolidar
.}
su dominio de los contenidos de la unidad 2. Le rogamos que, en cada pre-
gunta, rodee con un círculo la letra que usted considere la mejor respuesta, PREGUNTA2. ¿Cuál de las siguientes características no corresponde a las )
y después compruebe su elección comparándola con las explicaciones de h3 pseudoevaluaciones? , }
respuestas correctas e incorrectas que siguen a cada pregunta. Las pregunta:;
a) Deben suponer el ocultamiento o la divulgación selectiva de los resultados. )
van seguidas de una tabla de puntuación.
Cuando haya respondido a todas las preguntas, se le darán instrucciones b) Deben incluir, a menudo, informes valorativos, públicos e independien-
tes, del mérito y el valor de la evaluación. )
para que revise (y, en su caso, perfeccione) el conjunto de su trabajo. Luego
deberá intentar realizar una serie de ejercicios prácticos. La unidad concluye e) A menudo inventa las conclusiones con el fin de ganarse el apoyo para , )
con varias «Preguntas sin respuesta» y una lista de lecturas recomendadas. un producto o servicio determinado.
d) Puede incluir la recopilación de una información fidedigna y de gran )
validez. )
PREGUNTA1. ¿Cuál de las siguientes características de la evaluación coin-
Respuesta correcta. Debe usted haber escogido la «b». Desde el momento )
cide mejor con el modo en que la hemos definido en esta unidad?
en que las pseudoevaluaciones, por definición, son utilizaciones inadecuadas de )
la evaluación realizadas por ciertas personas con el fin de alcanzar sus metas,
a) Las evaluaciones deben centrarse en determinar el valor o el mérito de un )
objeto, independientemente de los intereses o deseo~ de cualquier grupo. el trabajo evaluativo jamás se somete a un escrutinio público e independiente,
excepto en el caso de que quien haya realizado la pseudaevaluación no sólo
b) La responsabilidad principal y casi exclusiva de los evaluadores profesio- )
nales es responder a las preguntas planteadas por sus clientes. carezca de ética, sino también de inteligencia.
,)
e) Los evaluadores deben evitar plantear cuestiones que ya han sido el foco
de atención de otras evaluaciones, puesto que esta práctica no ayuda a Respuestas incorrectas , )
ampliar los conocimientos.
a) Es incorrecta porque ocultar o revelar parcialmente las conclusiones es )
d) Los evaluadores deben realizar tanto un amplio enjuiciamienD del valor
y el mérito de un objeto, como satisfacer las necesidades informativas de la característica esencial del tipo de estudio pseudoevaluativo conocido
con el nombre de investigación encubierta. J
sus clientes.
e) Es incorrecta porque el tipo de pseudoevaluación denominado estudio de )
relaciones públicas supone precisameritela utilización manipuladora de
Respuesta correcta. Debe usted haber escogido la «d». La definición de ,)
la evaluación con el fin de conseguir los propios objetivos.
evaluación que se da en la unidad 2 supone que el evaluador debe tener autori-
d) Es incorrecta porque, en las investigaciones encubiertas, la ofensa previa )
dad para valorar todo 10 que sea necesario a la hora de enjuiciar el valor o el mé-
que se realiza contra la utilización ética de la evaluación no concierne a
rito de un objeto, pero también insta al evaluador para que la evaluación des- ')
la calidad de los datos recopilados, sino a la presentación de las conclu-
taque la información que pueda prestar un mejor servicio al grupo de clientes.
clusiones, que tiende a desvirtuar su mensaje. ,)

J
)
Jz j
t
f
(
(
80 I Evaluación sistemática T
1
I
Métodos alternativos de evaluación I 81

! c) Mientras las cuasievaluaciones, a menudo, renuncian a la recopilación de

( PREGUNTA3. ¿Cuál de las siguientes características no se corresponde con
un estudio cuasievaluativo?
( verdaderas evaluaciones sacrifican a menudo un poco de rigor con el fin
a) Plantea una amplia gama de cuestiones acerca del valor y el mérito del
(
objeto de interés.
( b) Está pensado para responder algunas preguntas concretas planteadas antes
de empezar la búsqueda de información.
(
c) La información obtenida puede o no puede ser suficiente para apoyar con
( pruebas el presunto valor del objeto de interés.
d) Existen usos legítimos de los resultados de ciertos estudios.
(
( Respuesta correcta. Debe usted haber escogido la «a». De acuerdo con
esta unidad-, la información recogida de los estudios cuasievaluativos es, a
( menudo, demasiado restringida como para servir de apoyo a juicios de valor
( acerca del objeto de interés.
( Respuestas incorrectas
(
b) Es incorrecta (1a afirmación es característica de la cuasievaluación) porque
( las cuasievaluaciones empiezan comúnmente con una cuestión concreta, y
( luego emplean métodos que darán respuesta a la cuestión; sólo al final
del estudio el evaluador puede considerar si la información obtenida es
( suficiente para servir de apoyo a juicios sobre el valor y el mérito del
( objeto.
c) Es incorrecta porque mientras la información recopilada para responder
<. a cuestiones concretas es, a menudo, demasiado reducida como para servir
( de apoyo a amplios juicios de valor, a veces las cuestiones tienen el su-
ficiente alcance como para servir de guía para la recopilación de la amplia
( gama de información necesaria para servir de apoyo a juicios sobre el
una amplia gama de información en favor de la recogida de datos que
resulten de mucho interés para unas pocas cuestiones en concreto, las
de obtener una información que resulte relevante para los juicios sobre
el valor y el mérito.
El método más comúnmente utilizado en la verdadera evaluación es la
d)
verdadera experimentación.
Respuesta correcta. Debe usted haber seleccionado la «d». La experimen-
tación es un método utilizado a veces en la verdadera evaluación, pero por lo
general se utiliza junto con otras técnicas, como la revisión de documentos,
la inspección, el estudio de casos, las visitas y las audi:iones. La experimenta-
ción, ciertamente, no es la técnica más utilizada en las v.;:rdaderas evaluaciones.
Es ~ás, no hay ninguna técnica que se utilice más que otra en este método,
porque la elección de técnicas es casi siempre pragmática y ecléctica.
Respuestas incorrectas
a) Es incorrecta (esta afirmación es característica de la verdadera evaluación)
porque existe un acuerdo para asegurar que la verdadera evaluación sea
solvente, justa y útil.
b) Es incorrecta porque, por definición, las verdaderas evaluaciones son in-
tentos de obtener y presentar una gama lo suficientemente amplia de
información como para servir de apoyo a afirmaciones acerca del valor y
el mérito de un objeto de interés.
e) Es incorrecta porque siempre debe renunciarse a algo en el trabajo eva-
luativo, y porque quienes re~lizan cuasievaluaciones de alcance muy li-
mitado encuentran más fácil conseguir que sus resultados sean más exac-
tos, que aquellos que, pretendiendo realizar verdaderas evaluaciones,

,
(
d)
valor y el mérito.
Es incorrecta porque las cuasievaluaciones se utilizan legítimamente ayu-
dando a los dientes a responder a cuestiones que son importantes para
ellos, sea o no suficiente la información obtenida para servir de apoyo a
deben distribuir su tiempo y sus recurS03 entre las a menudo desagrade-
cidas tareas de recopilar toda la inforn~ación requerida para servir de
apoyo a amplios juicios de valor.
(
amplios juicios de valor.
( PREGUNTAS 5 a 16. De la lista de modelos de estudio que facilitamos más
\ abajo, seleccione la que mejor se puede aplicar a cada descripción proporcio-
PREGUNTA4. ¿Cuál de las siguientes afirmaciones no es caract.::rística de nada en los números 5-16. En el espacio que aparece a la izquierda de cada
( las verdaderas evaluaciones? descripción escriba la letra correspondiente al modelo de estudio seleccionado.

,
(
a)

b)
Su planificación induye garantías contra la recopilación y publicación de
resultados tendenciosos.
Generan consecuentemente una amplia gama de información.
Puede utilizar una respuesta más de una vez.

A.
B.
Investigación encubierta.
Estudio basado en las relaciones públicas.
(
(
(
1(
 )
'1
82 I Evaluación sistemática Métodos alternativos de evaluación I 83 "'l

C. Estudio basado en los objetivos. ")

el evaluador actuando como un avezado sustituto del consumidor,
D. Estudio basado en la experimentación. es precisamente lo que supone una evaluación orientada hacia el ")
E. Estudio basado en las decisiones.
consumidor.
F. Estudio centrado en el cliente. ")
A 7. Las investigaciones encubiertas deben manejar tanto una informa-
G. Estudio político. ción exacta como una selección de informaciones. ')
H. Estudio orientado hacia el consumidor.
e 8. El estudio basado en objetivos, recomendado por Tyler, ha sido
¡
la estrategia dominante para evaluar programas desde los años
5. Las cuestiones que sirven de guía están asociadas con las necesi-
dades que deben satisfacerse, los méritos relativos de cada uno de
cuarenta. 1
D 9. Los estudios orientados experimentalmente utilizan planificaciones
los modos en que las necesidades pueden ser expuestas, la idonei- )
que incluyen controles de laboratorio, que a menudo no pueden
dad del programa de realización y el alcance y calidad de los re- dedicarse a la creación de teorías porque ello interferiría en el
sultados. .)
rendimiento del servicio y que comúnmente se centran en sólo
6. Este modelo de estudio valora los productos y servicios desde el unas pocas y cuidadosamente definidas variables, dependientes e )
punto de vista de quienes van a beneficiarse de la utilización de independientes, lo cual proporciona una gama de información ver.
esos productos y servicios.
)
daderamente reducida.
7. Este modelo de estudio está pensado para ayudar a los clientes a 10. El método evaluativo de Stake, centrado en el cliente, consiste )
F
obtener una información exacta que puedan controlar y seleccio- primordialmente en un cuidadoso estudio del funcionamiento de
nar para alcanzar sus objetivos. \ )
un programa de operaciones y se dedica a proporcionar informa-
8. Este modelo de estudio ha monopolizado los esfuerzos realizados )
ción constante a los que están implicados e interesados en el pto-
para sistematizar la evaluación.
grama en cuestión. . )
9. Los principales problemas de este modelo de estudio consisten en El modelo de estudio inspirado en las relaciones públicas se dedIca
B 11.
que, a menudo, no es operativo a la hora de construir teorías y a recopilar evidencias y presentar informaciones que puedan servir )
en que ofrece una gama muy estrecha de información.
de apoyo al objeto; no intenta proporcionar un perfil veraz, sino )
-- 10. Este tipo de estudio se centra en donde se encuentra la «acción» una imagen positiva.
y en las cuestiones o problemas planteados por el producto o ser- G 12. Los estudios orientados políticamente calculan y valoran los cos- )
vicio que se evalúa, vistos desde la perspectiva de vatios clientes. tes relativos y los beneficios de dos o más propuestas políticas,
- 11. Este' modelo de estudio podría conocerse por «creación de imagen». )
como por ejemplo estrategias opcionales para proporcionar cuida-
12. Este modelo de estudio está ejemplificado por un estudio que ha )
dos sanitarios a los más necesitados.
sido pensado para identificar y valorar dos o más propuestas le- e 13. Ralph Tyler es la persona más mencionada en la literatura evalua-
gales referentes a la salud de los más necesitados. )
tiva como responsable de la concepción del trabajo evaluativo ba-
13. Este modelo de estudio fue básicamente desarrollado por Tyler. )
sado en objetivos cuidadosamente fijados.
14. Este modelo de estudio ha sido recomendado por Scriven y Nader. H 14. Los estudios orientados hacia el consumidor son coherentes con
15. Robert Stake es el principal representante d este tipo de estudio. )
la filosofía evaluativa defendida por Scriven y con la mayoría de
16. Cronbach y Stu££1ebeam han recomendado este modelo de estudio. j

Respuestas correctas. Debe usted haber respondido como sigue, por las ra-
.
¡
'

.t,
los productos y servicios que Ralph Nader y sus colaboradores
han dirigido .
)
)

F 15. El modelo centrado en el cliente es coherente con lo que se des-

zones expuestas: ,)
prende de la filosofía evaluativa de Robert Stake, más conocida
por «evaluación respondente».
E 5. Todo lo que se refiere a las necesidades, los planes alternativos, E 16. )
Tanto Cronbach como Stu££1ebeam han propuesto un método eva-
la realización de los planes y los resultados, configura las principa-
luativo que sirve como guía para la toma de decisiones. )
les categorías de información relacionadas con la conceptualización
orientada hacia la decisión evaluativa de Stu££1ebeam. )
CALIFICACIÓNDEL TEST DE CONOCIMIENTOS. Una vez terminado el test de
H 6. Las valoraciones hechas desde la perspectiva del consumidor, con conocimientos, le sugerimos que cuente el número de respuestas correctas. )

)
)

L)
 84 I Evaluación sistemática Métodos alternativos de evaluacIón 85

Así, evaluaremos su trabajo inicial tal como sigue: 15-16, excdente; 13-14, Estudios Estudios
muy bien; 10-12, bien; 7-9, regular; y 0-6, mal. Estudios orientados orientados Estudios
Cuando haya obtenido una estimación aproximada de su trabajo inicial, le Modelos basados en hacia las hacia el centrados en
de estudio los objetivos decisiones conStlmidor el cliente
recomendamos que dirija su atención hacia las cuestiones que ha errado. Le
sugerimos que relea cada una de estas cuestiones y su respuesta 'correcta, y es' juzgado por los
luego revise el material del te]fto con el fin de mejorar su comprensión de que, forlIlan parte
los conceptos que incluye. ' de él y por los
que son expertos
I../1' 'VI''v/(\... en e! área en la

EJercicios prácticos ;~;~~.~~:Tt.

':'," (1 .•.
'C)
que se incluye e!
programa?

Este apartado contiene ejercicios prácticos que han sido pensados para Métodos más .Comparación
ayudarle a saber si ha comprendido usted nuestra presentación y análisis de comunes de los datos de
trabajo con los
las conceptualizaciones alternativas de la evaluación. Cada una de las cuestiones objetivos
va seguida de una respuesta-muestra o' de una lista de puntos importantes
que usted ha debido incluir en su ,respuesta. La revisión de estas respuestas Pioneros Cronbach y
le ayudarán a valorar las suyas. ' Stufflebeam

EJERCICIO 1. La tabla de información, parcialmente completa, que va a Respuesta correcta al ejercicio 1. Su esquema informativo completo suele
continuación contrasta los modelos de estudio en seis puntos distintos. De- aproximarse al que aparece a continuación.
muestre su dominio de los parecidos y las diferencias esenciales entre estos
modelos añadiendo la información que falta. Estlldios
Estudios
Estudios orientados orientados Estudios
Estudios Estudios hacia las hacia centrados en
Modelos basados en
Estudios orientados orientados Estudio~ decisiones el consumidor el cliente
de estudio los objetivos
Modelos basados en hacia las hacia el centrados en
de estlldio los objetivos decisiones ~onsumidor el cliente Necesidades y Cuestiones y
Organizadores Objetivos Situaciones
previos decisivas valores sociales problemas
Organizadores Objetivos localizados
previos

Propósito Proporcionar los

conocimientos Propósito Relacionar los Proporcionar los Juzgar Facilitar la
suficientes y una resultados con cOl,ocimientos los méritos comprensión de
base valorativa los objetivos sukientes y una relativos de las actividades
para tomar y base valorativa bienes y y su valoración
justificar . para tomar y servicios ,en una teoría
decisiones justificar alternativos determinada y
decisiones desde distintas
Procedencia de La sociedad en perspectivas
las cuestiones general, los
consumidores
y e! evaluador Procedencia de . Planificadores Los que toman La sociedad La comunidad y
las cuestiones y directivos las decisiones, sus en general, los los grupos de
Cuestiones ¿Cuál es la de! programa ayudantes y los consumidores clientes en zonas
principales historia de un evaluadores y e! evaluador locales, y los
programa y cómo expertos

);1

11
;¡~------------------------------------------
 86 I Evaluación sistemática
Métodos alternativos de evaluación I 87
Estudios Estudios
Estudios orientados orientados Estudios
Modelos basados en hacia las hacia el centrados en b) Defectos.
de estudio los objetivos decisiones consumidor el cliente 1. No armoniza con las necesidades informativas de las audiencias.
Cuestiones ¿Qué ¿Como debe ser ¿Cuál de los ¿Cuál es la
2. No produce una información oportuna.
principales estudiantes planificada, diversos historia de u~ 3. Ofrece una visión reducida del valor de un objeto.
alcanzan sus ejecutada y objetos de programa y cómo 4. A menudo no documenta ni valora la realización de un programa.
objetivos? reciclada una consumo es juzgado por 5. A menudo se guía por planes de procedimientos poco prácticos.
empresa alternativos quienes están
determinada para representa la implicados en él
que promueva el mejor compra y por los que son
EJERCICIO 3. Haga una lista de los que usted considere como principales
crecimiento que' pueda expertos en el defectos y virtudes de la estrategia evaluativa centrada en el cliente.
humano yel hacerse, dados área en la que se
desarrollo a un sus costes, las incluye el Ejemplo de respuesta al ejercicio 3. De acuerdo con la posición adoptada
coste razonable? necesidades programa?
de los
en esta unidad, su respuesta debe ser aproximadamente como sigue:
consumidores
y los valores a) Virtudes.
de la sociedad 1. Proporciona información continua.
en general?
2. Sirve a múltiples audiencias.
Métodos más Comparación Inspecciones, Listas de Estudio de casos, 3. Es flexible y aguda.
comunes entre los datos valoración de las control, informes 4. Promueve la autoevaluación.
de trabajo y necesidades, valoración contrapuestos, 5. Facilita una efectiva comunicación de los resultados.
los objetivos grupos de de las sociodrama y 6. Toma en consideración el contexto.
recomendación, necesidades, evaluación
observaciones y evaluación respondente
7. Valora los procesos.
. planificación sin metas, 8. Valora los resultados propuestos y los conseguidos .
experimental planificación 9. Valora los efectos secundarios.
experimental 10. Proporciona una información de amplio alcance.
y análisis
11. Valora los defectos y las virtudes.
del coste
12. Ofrece juicios procedentes de distintas fuentes.
Pioneros Tyler Cronbach y Scriven Stake 13. Pone énfasis en la validez.
Stufflebeam 14. Pone énfasis en la descripción completa.
15. Pone énfasis en la comunicación clara.
16. Es aplicable a pequeñas instituciones.
EJERCIC~O2. Haga una lista de los que usted cree que son los principales
defectos y vIrtudes del método evaluativo experiment.tl.
h) Defectos.
1. Depende de la cooperación de las audiencias.
Ejemplo de respuesta al ejercicio 2. De acuerdo con la pOSlClon adoptada
en esta unidad, su respuesta debe ser aproximadamente como sigue: 2. Puede dejar de lado la evaluación completa.
3. No viene avalada por métodos completamente desarrollados y vá-
a) Virtudes. lidos.
1. Valora las relaciones causales. 4. A menudo produce información de exactitud cuestionable.
2. Proporciona una información exacta y objetiva. 5. La objetividad de la evaluación es a menudo dudosa.
3. Produce datos que pueden utilizarse en el análisis. 6. Permite la utilización de evaluadores tendenciosos o poco prepa-
4. Da. como resultado informes precisos y objetivos. rados.
5. EVIta la manipulación política. 7. A menudo condu.ce a resultados equívocos o contradictorios.
8. A veces es vulnerable a la manipulación política.
~

1
f
( 88 I Evaluación sistemática Referencias bibliográficas 89

f CRONBACH, L. ]. 1963. Course improvement through evaluation, Teachers College

Record, 64, págs. 672-683.
f Preguntas sin respuesta
CRONBACH, L. J. Y SNOW, R. E. Individual Differences in Learning Ability as a
( Function of Instructional Variables, Stanford, Calif., Stanford University Press,
Este apartado final incluye cuatro preguntas concebidas para ayudar a 1969.
{ reflexionar críticamente sobre los contenidos de esta unidad. No se proporcio- EBEL, R. L. 1965. Measuring educational achievement, Englewood Cliffs, N. J.,
nan las respuestas. En su lugar, le sugerimos que lea y piense cada una de Prentice-Hall.
( ellas y, si es posible, las discuta con sus alumnos o colegas. Además, puede FIsHER, R. L. 1951. The design o/ experiments (6.' ed.), Nueva York, Hafner.
( que estas 'preguntas le resulten útiles como guía para un futuro estudio de las GLASS, G. V. y MAQUIRE, T. O. 1968. Analysis of time-scires quasi-experiments.
lecturas propuestas al final de la unidad. (Informe n. 6-8329 de la Oficina de Educación de los EE.UU.) Boulder, CoL,
( Laboratorio de Investigación Educativa, Universidad de Colorado.
1. ¿Puede una. autoevaluacián interna aproximarse a los reqUISltOS de una GUBA, E. G. 1978.. Toward a methodology Of naturalis~ic inquiry in educational
( evaluation. CSE Monograph Series in Evaluation, Los Angeles, Calif., Center
verdadera evaluación? Si es así, ¿qué debe producirse para que cumpla
( for the Study of Evaluation.
esos requisitos?
HAMMOND,R. L. 1972. Evaluation ,'1' the local level (ciclostilado), Tucson, Ariz.,
( 2. La distInción que proporcionamos en esta unidad entre cuasievaluaciones EPIC Evaluation Center.
y verdaderas evaluaciones, ¿es artificial, especialmente si se considera que JENCKS, c.; SMITH, M.; AnAND, H.; B., MJ.; COHEN, D.; GINTIS, H.; HEYNES,
( la evaluación supone no un simple estudio, sino un programa de estudios? B.; Y MICHELSON, S. 1nequality: A reassessment of the effect of family and
( 3. ¿Existen cuestiones filosóficas fundamentales que distingan los estudios schooling in America, Nueva York, Basic Books, 1972.
orientados hacia el consumidor de los estudios centrados en el cliente? KAPLAN,A. 1964. The conduct o/ inquiry, San Francisco, Chandler.
( Si es así, ¿cuáles son? LESSINGER,L. M. 1970. Every kid a winner: Accountability in education, Nueva
York, Simon & Schuster.
4. ¿Es importante que los evaluadores distingan entre pseudoevaluación, cua-
( LINQUIST,E. F. 1953. Design and analysis o/ experiments in psychology and edu-
sievaluación y verdadera evaluación? Si es así, ¿por qué? Si no, ¿por
cation, Boston, Houghton Mifflin.
( qué no?
McDoNALD, B. 1975. Evaluation and the control of education. En D. TAWNEY
( (comp.), Evaluation: The state o/ the art, Londres, Schools Council.
METFESSEL, N. S. Y MICHAEL, \Yl. B. 1967. A paradigm involving multiple cri-
( terion measures for the evaluation of the effectiveness of school programs,
Referencias bibliográficas
( Educational and Psychological jvleasurement, 27, págs. 931-943.
OWENS, T. 1971. Application of adversary proceedings to educational evaluation
ALKIN, M. C. 1969. Evaluation theory development, Evaluation Comment, 2, pá-
( ginas 2-7. and decision making. Texto presentado en el congreso anual de la American
Educational Research Association, Nueva York.
( ANnERSON,S.; BALL, S.; MURPHY, R. y colaboradores. 1973. Encyclopedia o/ edu-
POPHAM, \Yl. ]. 1969. Objectives and instruction. En R. STAKE (comp.), 1nstruc-
cational evaluation, San Francisco, Jossey-Bass, pág. 142.
( tional objectives. AERA Monograph Series on Curriculum Evaluation (vol. 3).
BLooM, B. S.; ENGLEHART, M. D.; FURsT, E. J.; HILL, \Yl. H.; Y KRATHWOHL,
Chicago, Rand McNall:--
D. R. 1956. Taxonomy o/ educational objectives. Handbook 1: Cognitive do-
( main, Nueva York, David McKay (trad. cast.: Clasificación de las metas educa-
PROVUS,M. N. 1971. Disc.?pancy evaluation, Berkeley, McCutcheon.
REINH ARD, D. L. Methodology Development for Input Evaluation Using Input
( tivas. Tomo I: Taxonomía de los objetos, Alcoy, Marfil, 1979).
Evaluation Using Advocate and Design Teams. Tesis Doctoral de Filosofía, Uni-
CAMPBELL, D. T. Y STANLEY, J. C. 1963. Experimental and quasi-experimental
versidad del Estado de Ohio, 1972.
( designs for research on teaching. En N. L. GAGE (comp.), Handbook o/ research
on training, Chicago, Rand McNally. RIPPEY, R. M. (comp.). Studies in Transactional Evaluation, Berkeley, McCutcheon,
( CLARK, K. Dark ghetto, Nueva York, Harper and Row, 1963.
1973.

COLEMAN, ]. S.; CAMPBELL, E. Q.; HOBsoN, c.]. MCPARTLAND,J.; MOOK, A. SCRIVEN,M. S. 1967. The methodology of evaluation. En R. E. STAKE (comp.),
l M.; \YlEINFELD, F. D.; Y YORK, R. L. 1966. Equality o/ educational opportu-
Curriculum evaluation. AERA Monograph Series on Curriculum Evaluatiol1
( (vol. 1). Chicago, Rand McNally.
nity, \Ylashington, D.C. Oficina de Educación, Departamento de Salud, Educa-
ción y Bienestar de los EE.UU. STAKE, R. E. 1967. The countenance of educational evaluation, Teachers College
4 CoOK, D. L. 1966. Program evaluation and review techniques, applications in edu-
Record, 68, págs. 523-540.
cation, U. S. O//ice o/ Education Cooperative Monograph, 17 (OE-12024). STAKE, R. E. Program Evaluation, particularly Responsive Evaluation. Occasional
(

'-
(

~ bs
 I
I ")
I

II
90 Evaluación sistemática "')

Paper Series n. 5, Universidad de Western Michigan, Centro de Evaluación, ')

1975. 3 LA EVALUACION ORIENTADA HACIA
')
STUFFLEBEAM,D. L. 1966. A depth study of the evaluation requirement, Theory LOS OBJETIVOS: LA TRADICION TYLERIANA
into Practice, 5 (junio), págs. 121-134. ...
1 ')
-.1967. The use and abuse of evaluatioIi in Title III, Theory mto Practzce, 6 (Ju-
nio), págs. 126-133. ., .')
STUFFLEBEAM,D. L. Y WEBSTER, W. J. «An Analysls of Al.ternatlve Approach~s
')
to Evaluation». Educational Evaluation and Policy Analysls, n. 3.2 (mayo-JunIO
de 1980), págs. 5-19. Copyright «J 1980, American Educational Research As- '1
sociation, Washington, D.C. ,.._ 'l~ \ ~"

SUCHMANN, E. A. 1967. Evaluative research, Nueva York, Russell Sage Founda-

tion.
TAYLOR, J. P. 1974. An administrator's perspective of evaluation. Kalamazoo: Uni-
~\\(~1~
[Á.'- "
)
versidad de Western Michigan (publicación no periódica, 2). ')
THORNDIKE, R. L. 1971. Educational measurement (2.a ed.), Washington, D.C.,
American Council on Education, 1971. )
WEBSTER, W. J. «The Organization and Functions of Research and Evaluation in
Large Urban' School Districts». Texto presentado en el congreso anual de la )
American Educational Research Association, Washington, D.C., marzo de 1975. Ralph W. Tyler desarrolló el primer método sistemático de evaluación )
WEISS, C. Evaluation Research: Methods 01 Assessing Program Ellectiveness, En- educacional. Este surgió del trabajo que realizó, en los años treinta y a princi-
glewood Cliffs, N. J., Prentice-Hall, 1972. .. . . pios de los cuarenta, en el Eight-Year Study de la Universidad del Estado de )
\J(1ILEY,D. E. Y BOCK, R. D. «Quasi-experimentauon m .Educauonal Settmgs: Com- Ohio (SMITH y TYLER, 1942). A partir de entonces, el profesor Tyler ha
ment», The School Review, invierno de 1967,35, pags. 3-66. )
continuado desarrollando aspectos de la evaluación, principalmente a escala
WOLF, R. L. «How teachers feel toward evaluatiom>. En E. R. HOUSE (comp.), )
School evaluation: The Politics and Process, Berkeley, McCutcheon, 1973. nacional, siguiendo la evolución de los programas educativos federales. El
alcance del respeto que ha conseguido puede medirse, en parte, por el gran )
número de reputados evaluadores que han basado su metodología en las teorías
tylerianas. )
Antes de que Tyler publicara su modelo evaluativo en 1942, los estudios )
se centraban en el estudiante y en la valoración de los logros alcanzados por
el estudiante. La evaluación era, por lo tanto, virtualmente idéntica a la valo- )
f ración. Tyler procuró poner el énfasis en una amplia gama de objetos educa-
í )
i
1
tivos, como los currículos y las ayudas. También destacó la necesidad de
establecer, clasificar y definir los objetivos en términos de rendimiento, como )

.,i, una etapa inicial del estudio evaluativo. La evaluación, pues, se convirtió en
un proceso para determinar la congruencia entre estos objetivos y las ope-
)
1 raczones. )
El concepto tyleriano ha sido a menudo aplicado con una estrechez de
)
miras que Tyler nunca propugnó. Más significativamente, mientras Tyler ofre-
Off
cía medios prácticos para proporcionar información durante el curso de una )
l evaluación, la atención acabó fijándose en los datos (por lo general relacio-
)
nados con los logros del estudiante), que fueron considerados válidos sólo
1¡ cuando el programa había recorrido ya su ciclo completo. Apesar de las des- )
uentajas de la evaluación concebida como un proceso terminal y del estrecho
)
1 ClÍcanceasignado a los objetivos, el trabajo de Tyler permanece como uno de
j los grandes hitos en la historia de la evaluación concebida como ciencia. )
I ,)
t )
l
hn ,)
 , 'T
f
f 92 I Evaluación sistemática
La tradición tyleriana I 93
(' Ralph W. Tyler es generalmente considerado el padre ~e la ~valuación
3. Revisar una ampliación del método tyleriano, la realizada por Metfessel
educacional. Existen, posiblemente, dos razones para ello. Pnrr:~ra. propuso,
t describió y aplicó un método ya desarrollado para la evaluaClon, algo que
y Michael, teniendo en cuenta su procedimiento evaluativo de ocho etapas
y el apéndice (sobre valoraciones basadas en múltiples criterios).
( nadie había hecho antes. Y segunda: su metodología ~~ sido ta~ penetrante
como influyente. Destacados estudiosos de la evaluaclOn educ:aclOnal, ~omo
(
Nlichael y Metfessel, Provus y Hammond, han llevado m~s alla el trabajo de
La intención del método tyleriano
( Tyler, sin alejarse de su filosofía básica y de su tecnologla .. , .
En términos generales, Tyler consideraba que la evaluaClon debe deter:r;l-
( nar la congruencia entre trabajo y objetivos. TYLER llegó a esta c~ncluslOn
En su informe general sobre la evaluación publicado en 1942, Ralph Tyler
puso las bases de un estilo evaluativo «orientado hacia los objetivos». Con-
f tras su trabajo en los años treinta y principios de los cuarenta, en el Elght-Year
cluyó que las decisiones acerca de los' programas debían estar basadas nece-
Study de' la U~iversidad del Estado de Ohio. Algunos años más tarde (1950,
( pág. 69) resumió sus concepciones en estas palabras:
sariamente en la coincidencia entre los objetivos del programa y sus resultados
reales. Si se alcanzaban los objetivos, se tomarían las decisiones en una di-
( rección concreta. Si no se a1c:!nzaban, o sólo se alcanzaban parcialmente, debían
El proceso de la evaluación es esencialmente el proceso de determinar ~asta
( quÉ:punto los objetivos educativos han sido actualm~nte alcanzados mediante tomarse decisiones distintas. La principal recomendación de Tyler era que el
los programas de currículos y enseñanza. De cua.lqUlermanera,. desde el .mo- profesor, el administrador o el que realizara los currículos debía llegar a emitir
( juicios racionales' acerca de las áreas programáticas que fueran en su dirección.
mento en que los objetivos educativos son esenCl.al~ente cambios produCidos
( en los seres humanos, es decir, ya que los obJetlvos alcanzados pro~ucen
ciertos cambios deseables en los modelos de com?ortami~nto del estudiante,
( entonces la evaluación es el proceso que determ111ael nivel alcanzado real. Procedimiento de diseño evaluativo
( mente por esos cambios de comportamiento.
La ventaja de la definición de evaluación basada en la congruencia es que
( En esta unidad, presentamos los principales aspect~s del m~todo evalua- procede de una base lógica organizada a partir del desarrollo de un programa.
tivo tyleriano. También reseñamos brevemente el trabajO de Mlchael y. Met- Tyler consideraba que la evaluación debía ser una etapa esencial de este desa-
(
fessel, seguidores del modelo concebido por Tyler. Cuando h~y~ termll1ado rrollo. Además, consideraba que debían existir una serie de etapas lógicas que
( el núcleo de esta unidad, se le pedirá que haga un test de conoClmlent~s sobre afianzaran el proceso de evaluación real. De acuerdo con Tyler, el procedimien-
la tarea tyleriana, comparando sus respuestas con las que l~ propo.rclonamos to para evaluar un programa es el siguiente:
(
nosotros, y un ejercicio práctico, en el que deberá hacer 10 rr:1smo. ~I~al~ente,
( la unidad termina con la discusión de los temas (y sus pOSibles utIlizacIOnes) 1. Establecer las metas u objeti;os.
en las «Preguntas sin respuesta» y con una lista de lecturas recomendadas. 2. Ordenar los objetivos en amplias clasificaciones.
(
3. Definir los objetivos en términos de comportamiento.
( 4. Establecer situaciones y condiciones según las cuales puede ser demos-
Objetivos trada la consecución de los objetivos.
(
5. Explicar los pfJpÓSitos de la estrategia al personal más importante en
( Los objetivos de esta unidad son los siguientes: las situaciones más adecuadas.
6. Escoger o desarrollar las apropiadas medida~ técnicas.
( 1. Llegar a comprender la intención del método evaluativo tyleriano te~iendo
7. Recopilar los datos de trabajo (en el caso de los programas educativos,
en cuenta sus procedimientos de planificación evaluativa, las ventajas del
( deben referirse al trabajo de los estudiantes).
método y las utilizaciones del mode:o. . .
8. Comparar los datos con los objetivos de comportamiento.
l 2. Destacar algunas limitaciones del rr~todo tylenano. En particular, la eva-
luación como proceso terminal, sus limitaciones técnicas (ocultar el pro-
( Debe destacarse que la definición de evaluación de Tyler coincide mucho
ceso para la consecución de los objetivos y situar los objetivos ~n térr:lln~s
con estas etapas del procedimiento. Si el objetivo de un programa de currícu-
( de comportamiento), la consideración del rendimiento como último cnteno
los y enseñanza es producir un cambio en los modelos de comportamiento
y el estrecho alcance de la evaluación.
( de los que se benefician de él, entonces es necesario un método que mida el
(
(
L.... L
 J
J
94 I Evaluación sistemática La tradición tyleriana I 95 ')

alcance del cambio. Antes de que esto suceda deben ser determinadas con cla-
ridad y definidas las «metas y objetivos». Dicho en términos de comporta-
miento, deben comprobarse los objetivos después de que se hayan establecido
las condiciones apropiadas para su comprobación.
Tyler no diferenciaba entre metas y objetivos en su estrategia. De sus
escritos puede colegirse, de cualquier forma, que las metas de un programa
eran ideales por los que había que luchar, mientras que los objetivos eran
submetas que podían ser expresadas como entidades mensurables.
Ventajas del método tyleriano
Antes de que Tyler desarrollara su método, la evaluación educacional se
había centrado casi exclusivamente en el estudiante. Los logros de los estu-
diantes eran la base de la evaluación del programa. Los logros, o los méritos,
se basaban a veces enteramente en valoraciones como los tests y, ocasional-
mente, en una síntesis de varias valoraciones e impresiones subjetivas. En este
método orientado hacia la valoración para descubrir el mérito de un programa,
el estudiante era el principal foco de atención. Además, la evaluación se limi-
taba a aquellas variables que podían ser sometidas a valoración.
El método tyleriano, en teoría, desplazaba su atención hacia otros aspec-
tos del programa, aparte de los estudiantes. En concreto, deben tenerse muy
en cuenta el conocimiento de las intenciones del programa, sus metas y sus
objetivos de comportamiento, así como los procedimientos necesarios para
llevarlo a cabo con éxito. El hecho de que debieran ser definidos los objetivos
proporcionaba un buen punto de referencia para la evaluación y la toma de
decisiones. Las definiciones de los objetivos también implicaban criterios para
valorar su éxito. Cualquier evidencia válida acerca de los objetivos de compor-
tamiento debía ser concebida como un método válido de evaluación. Nunca
estuvo especialmente interesado en los métodos que no utilizaban papel-y-lápiz,
.)
Lo utilizaron otros, incluido Scriven (evaluación formativa) y Stufflebeam
(evaluación del proceso), para resaltar la gran importancia de la evaluación, 'l
útil tanto para juzgar el ptoceso de un programa como sus resultados finales.
'l
Tyler subrayó que un estudio evaluativo no necesariamente debía ser con-
siderado aislado de otros estudios similares. Creía que el valor real de la infor- ,'l
mación derivada de los estudios más tempranos debía ser utilizada para ayu-
')
dar a definir los objetivos, seleccionar las condiciones apropiadas para que pu-
dieran alcanzarse los objetivos propuestos y ayudar en la interpretación de )
los resultados que debían valorarse. Consideraba, por lo tanto, que un buen
, )
evaluador debía adquirir destreza para utilizar con habilidad los precedentes
adecuados a la hora de realizar estudios evaluativos o desarrollar técnicas de , ')
valoración.
Como se ha dicho al principio, Tyler puso las bases del primer método )
sistemático de evaluación. Fue lo que más tarde se convirtió en el método )
«dirigido por objetivos», para desarrollar y controlar organizaciones o ciertos
aspectos de las organizaciones. Uno de los aspectos más importantes de los , )
métodos sistemáticos es su apariencia racional. En educación, concretamente, )
resultan atrayentes los conceptos derivados de las etapas sistemáticas, como
formulación de objetivos, retrol!limentación, evaluación continua y reciclaje (ba- )
sado en la modificación de metas u objetivos). Además, el proceso parece )
ser útil para el profesor que desee tomar decisiones acerca del programa.
Rara vez son necesarios los agentes externos, aunque el Eight-Year Study )
es una excepción importante. )
)
Utilizaciones del modelo tyleriano )
I Tyler previó que su método evaluativo sería utilizado principalmente por
profesores y elaboradores de currículos. Tras la aparición de los programas
)
)
federales en los años sesenta, consideró igualmente que su método podía ser

I
como la observación, las entrevistas y la valoración de los trabajos manuales apropiado para evaluadores profesionales. . )
y ejercicios de los estudiantes. Aparte la modificación de currículos y la clasificación de objetivos, como
)
Tyler proporcionó medios prácticos para la retroalimentación (término que se ha subrayado más arriba, el método Tyler es muy útil en clase. De cual-
él introdujo en el lenguaje evaluativo). Así, Tyler veía la evaluación como un quier manera, depende mucho de la agudeza del profesor que el método sea )
proceso recurrente. La evaluación, según él, debía proporcionar un programa usado positivamente (la toma de decisiones para el perfeccionamiento de la
)
personal con información útil que pudiera permitir la reformulación o rede- educación debe continuar siendo la principal utilización de la evaluación, no
finición de los objetivos. Si se produce la modificación de los objetivos, debe importa cuál sea el alcance de la discrepancia existente entre los objetivos y )
realizarse la revisión correspondiente de los planes evaluativos. los resultados del trabajo).
)
La estrategia de Tyler también permitió que el evaluador con llllclatlva El método Tyler puede ser útil como guía de aprendizaje para el estu-
pudiera examinar los datos más relevantes del proceso mediante el cual se diante. Puede encargarse del diagnóstico y posterior tratamiento de los defec- )
desarrollaba el programa. De todas formas, como afirmamos más adelante, tos del proceso de aprendizaje, ya sea individual o por grupos. Puede también
)
este aspecto potencialmente valioso del programa evaluativo nunca fue pro- permitir que un profesor modifique los objetivos de aprendizaje para satis-
mulgado por Tyler ni puesto en práctica por sus inmediatos contemporáneos. facer tanto las posibilidades de ese aprendizaje como las necesidades del )
\ )
)
'Ft
(
( 96 I Evaluación sistemática
La tradición tyleriana I 97

( estudiante, Debemos destacar que Tyler nunca mencionó el curso en el que se

encontraba cada estudiante, ni 10 utilizó en su método evaluativo.
( Limitaciones técnicas
Tyler también creía que la evolución era útil para proporcionar a la direc.
( ción de una escuela información acerca de algunos de sus aspectos. En cierto
Para obtener un grupo operativo de objetivos que luego coincidan con
modo, preveía el uso de la evaluación con propósitos administrativos. De cual.
( los resultados, el evaluador debe seleccionar, y clarificar, los objetivos apro-
quier forma, le interesaba más el cambio positivo que podía producirse des-
iados. Más claramente, tampoco deben ser tenidos en cuenta en una evalua-
( pués de una evaluación que los argumentos que podía proporcionar a los pa-
~ión todos los objetivos posibles para un programa. Tyler sugiere, por 10 tan-
dres y a otros miembros de la comunidad para que los utilizaran contra el to, que se realice un proceso de criba inicial según una «filosofía y una psico-
(
personal de la escuela. «La información derivada de un proceso evaluativo logía» determinadas. Nunca especificó exactamente qué forma debía adoptar
( racional puede producir buenos efectos, esto es, un perfeccionamiento de la este proceso; las desventajas de este método impreciso son obvias. Los inten-
educación.»
( tos realizados por autores posteriores con el fin de interpretar este proceso
selectivO sólo han traído más confusión. Quizá sea suficiente decir que esta
( criba inicial debía exponer los aspectos más importantes de un programa
Algunas -limitaciones del método tyleriano
( desde puntos de vista como el contenido, el aprendizaje y el desarrollo de una
teoría, y que estos aspectos debían ser expresados en términos de rendimiento
( Tyler consideraba que el propósito de una evaluación era proporcionar o comportamiento.
un informe que dilucidara «si la planificación de experiencias de aprendizaje La principal contribución de los evaluadores fue reducir las metas ya selec-
( servía realmente de guía al profesor para alcanzar los resultados deseados». cionadas a objetivos de comportamiento valorables. Para la estrategia de tra.
( Esto suena a propósito desarrollista o formativo. En realidad, el método tyle. bajo tyleriano, los objetivos debían ser establecidos en términos operativos.
riano ha sido utilizado de muchas maneras. Esta es la crítica que más frecuen. La habilidad necesaria para realizar esta operación básica (por la que la tota-
( temente se le hace al modelo.
lidad de la evaluación podía seguir adelante o desmoronarse) demostró ser
( excesiva exigencia para algunos profesores. Como resultado, el criterio para
( la exposición de objetivos acabó siendo la facilidad con la que el informe po-
La evaluación como proceso terminal
dría ser utilizado directamente como test. Como consecuencia, los objetivos
( importantes, particularmente los relacionados con los aspectos menos con-
Es irónico que un procedimiento que tanto habló de la retroalimentación cretos del programa, como las actitudes que debían adoptarse, fueron a me.
<. y de su utilización en la mejora de la educación, haya sido utilizado casi nudo ignorados.
( exclusivamente para valorar el logro final. Con su amplia gama de posibili-
dades, nunca subrayadas por Tyler, el método orientado hacia los objetivos
( tiende, en la práctica, a convertir la evaluación en un acontecimiento termi. El rendimiento como último criterio
( nal, permitiendo únicamente juicios sobre el producto final. Cualquier pro-
ceso de recogida de datos no debe ser necesariamente estéril, puesto que En su definición de evaluación, Tyler puso un énfasis especial en los obje-
( pueden ser utilizados cuando ya se hayan alcanzado las metas. De cualquier tivos relacionados con el rendimiento, e, invariablemente, con el rendimiento
( manera, se pierde la oportunidad de utilizar estos datos para perfeccionar el de los estudiantes. Aunque, como hemos afirmado más arriba, el modelo tyIe-
programa durante su curso.
riano dio su promesa teórica de atender tanto a los procedimientos educativos
( Así, el concepto tyleriano de evaluación en términos de coincidencia, como a los estudiantes, los evaluadores se sintieron obligados a evaluarlo
( que relaciona los resultados con los objetivos, concede una atención predomi- todo atendiendo a los efectos producidos en los estudiantes. Esto ocurría
nante al proceso terminal que proporciona información sólo cuando se ha incluso cuando el objeto real de la evaluación era un diseño para un nuevo
l cumplido el ciclo completo del programa. Exi~te una pequeña duda acerca edificio o un procedimiento administrativo renovador. Todo tendía a ser con-

,,
( del modo en que Tyler conceptualizó su método evolutivo y la manera en que
esta conceptualización difiere de la práctica, demasiado a menudo en contra
de las grandes posibilidades del método tyleriano.
templado desde el punto de vista de los estudiantes y de sus cambios en el
tendimiento (el cual, si era positivo, se llamaba «logro»). Así, tomando el
ejemplo expuesto anteriormente, la cuestión que debía ser respondida era
si la estructura del nuevo edificio, o el procedimiento administrativo, iban

'l
l
 1
1
La tradición tyleriana I ')
98 I Evaluación sistemática 99

')
a ayudar al éxito del estudiante. El estrecho alcance del método evaluativo
técnico basado en la coincidencia centró demasiado la atención en el rendi_ El procedimiento evaluativo de las ocho etapas ")
miento como criterio último. ")
Metfessel y Michael desarrollaron un paradigma evaluativo de ocho etapas
con el propósito de ayudar al personal básico de las escuelas (profesores, I
Tendenciosidad Y falta de alcance de sus componentes evaluativos administradores y especialistas) a evaluar la consecución de los objetivos en ')
los programas escolares. El cuarto segmento de este paradigma utiliza las va-
Algunos críticos consideran que el método tyleriano falla en áreas como loraciones basadas en múltiples criterios a que nos hemos referido más arriba. ')
la selección de los objetivos más importantes, la evidencia de la tendencio- Las ocho etapas principales del proceso evaluativo son las siguientes: )
sidad de sus valores en esta selección y las normas básicas por las que las
discrepancias entre los objetivos y los resultados del trabajo son valorados. Implicar a todos los miembros de la comunidad escolar como participan- )
1.
Además, pueden surgir pequeñas dudas acerca de que el procedimiento tes o ayudantes de la evaluación. ')
que se centIa estrechamente, primero en la clase y luego en el profesor, sea
2. r::acer una lista coherente de todas las metas y objetivos específicos, cla-
el agente que el estudio verdaderamente necesita. Si la elección de objetivos slficados en un orden jerárquico, desde los resultados más específicamente )
es demasiado restrictiva, existen pocas oportunidades de que surja un estudio deseados hasta los más generales, a) poniendo primero las metas que
más realista y abierto. La evaluación estaba, en efecto, encerrada en el molde .)
más a~p~iamente abarcan las intenciones teóricas del programa; b) luego
de sus objetivos iniciales. Un resuhado probable y desafortunado era que el los obJetIVOS específicos en términos operacionales, para permitir una )
programa se desarrollara poniendo especial énfasis en los objetivos escogidos, valoración objetiva siempre que sea posible; y e) desarrollando finalmente
anulando así la creatividad del programa en favor de las demandas evalua- criterios de enjuiciamiento que permitan la definición de los resultados
)
tivas. más significantes y relevantes, el establecimiento de prioridades realistas )
Demasiado a menudo, la elección de objetivos queda restringida a los obje- en términos de necesidad social, de la facilidad del alumno, de la retroali-
tivos de rendimiento, que son más fáciles de cuantificar y especificar. Impor- mentación alumno-maestro y de la disponibilidad de personal y de recur-
)
tantes actividades que no se definen operacionalmente, como la apreciación, sos materiales. )
el juicio y la reflexión -más difíciles de cuantificar-, fueron rara vez inclui- 3. Traducir los objetivos específicos de rendimiento a una forma inteligible
das como objetivos específicos de la evaluación de un currículo. Era difícil que pueda ponerse en práctica para facilitar el aprendizaje en el ambiente
)
poner a los estudiantes en u'na situación en la que estas últimas actividades escolar. )
pudieran manifestarse de un modo valorable. Con esta dificultad a la hora de 4. Seleccionar o crear una variedad de instrumentos que suministren valores
especificar el rendimiento y precisar la cuantificación, dificultad que incluso de los que se pueda colegir la efectividad de los programas a la hora de )
podía ser imposibilidad, con la poca concreción que podía alcanzarse respecto conseguir los objetivos que se habían propuesto. )
a estos elementos del programa, la evaluación tendía a convertirse en algo
desequilibrado y, por 10 tanto, incompleto.
I 5. Llevar a cabo observaciones periódicas, a través de la utilización de ins-
)
! trumentos variados, para calibrar el alcance del cambio en el rendimiento
que resulta válido respecto a los objetivos seleccionados. )
6. Analizar los datos proporcionados por la valoración del cambio a través
Metfessel y Michael: una am.pliación del método tyleriano de la utilización de métodos estadísticos apropiados. )
7. Interpretar los datos relativos a los objetivos específicos según ciertas nor- )
METFESSELY MrcHAEL (1967) creían, al igual que Tyler, que la valora-
ción de los resultados podía hacer más perfectas las decisiones educativas.
1 mas ~e enjuiciamiento y ciertos valores que se consideren apropiados para
)
Como apéndice a una interesante publicación (1967), Metfessel y Michael I los n}veles a los que se desee llegar en el trabajo; de esta manera, se
podra llegar a conclusiones que proporcionen información acerca de la )
hicieron una lista de los múltiples criterios de valoración que podían ser utili-
zados para la evaluación de programas. Especificando toda la gama de posi-
bles criterios para la valoración de los resultados, Metfessel y Michael van
I dirección de la evolución, el progreso de los estudiantes y la efectividad
de todo el programa.
H. acer :ecomen daClones
.
)
8. que proporcionen una base para futuros perfec- )
bastante más allá que Tyler. Sin embargo, su paradigma evaluativo es básica- clO.na~Il1entos,modificaciones y revisiones de toda la gama de metas y
mente similar al método tyleriano. objetivos específicos con el propósito de mejorar el programa; proporcio- )
)
)
r'. (
( 100 I Evaluación sistemática
La tradición tyleriana I 101
,(
nar continua información, basada en recomendaciones, a todos los indi- , críticas representan una excelente contribución a la creación de instru-
( viduos implicados en el programa; y prepararse para cuando vuelva a clOnes .. . dI'
orque incluye una hsta de las dlVersas fuentes y tIpos e va oraClOnes
recomenzar el ciclo del proceso evaluativo, una vez que los resultados mentaS, P 1 d 1 d'
( l'as para alcanzar una comprensión acabada y comp eta e os 1versos
ya hayan sido presentados a las audiencias correspondientes, ~M
tos de un programa escolar. Dicho de otra manera, aunque Met f esse1 y
( ~rce~ael no fueran, en principio, más allá del método tyleriano, ampliaron el
El paradigma también proporciona detalles acerca de los individuos que
( deberían ser los principales responsables de la evaluación en cada una de las alcance de los juicios s~bre un ?rogra~a.. .. .
El apéndice proporclOnaba Clnco d1menslOnes prmc1pales (valoraclOnes. ba-
( etapas sucesivas del proceso, Estas responsabilidades, en forma de funciones
en criterios) para la evaluación de programas escolares. En cada eJem-
de asistente, vienen indicadas con la letra «L» para el personal no experto. sadas d' . d'
( ([ay persormel), la «P» para el personal profesional (professional stal! person- 1 aparecían valoraciones que, si se aplicaban a un programa, po 1an m 1car
si un aspecto del programa habla permanec1 o ta cua o a la cam b'lad o,
po, "d 1 1 h b'
( nel) y la «$» para los estudiantes (students), Cuando más de uno de estos
comparándolo con los objetivos ~specíficos pe~sados para el programa. Estos
grupos tiene alguna responsabilidad en alguna etapa del proceso evaluativo,
( cinco tipos de indicadores, con ejemplos sufiClentes para comprobar las valo-
deben designarse los que actuarán como agentes secundarios o indirectos.
1 raciones que se aplicaban a cada uno, eran presentados así:
,'( Por ejemplo, mientras los tres grupos se reparten la responsabilidad en la
primera etapa, sólo los profesionales están implicados en la sexta y estos mis-
( 1. Indicadores de inmovilidad o cambio en los comportamientos cognitivos
mos profesionales tienen la responsabilidad principal en la octava, donde los
y afectivos de los estudiantes según mediciones y esca!as norn:alizadas:
( no expertos y los estudiantes desempeñan papeles secundarios y de asistentes.
por ejemplo, tests de conocimiento estandarizados, autOl.n.ventanos. estan-
Metfessel y Michael también insistían en que las decisiones que supu-
( darizados, escalas de valor estandarizado y tests de hab1hdades pS1como-
sieran algún tipo de enjuiciamiento debían incluirse en todas las fases del pro-
trices estandarizados.
( ceso evaluativo, «puesto que los que participan en cada etapa deben estar
2, Indicadores de inmovilidad o cambio en los comportamientos cognitivos
preparados para reajustes en sus actividades según la cantidad y el carácter
( y afectivos de los estudiantes mediante instrumentos o .sistemas, i~for-
de la información que vayan recibiendo».
males o semiformales, realizados por el profesor: entrev1stas, cuestIona-
( Además, Metfessel y Michael afirmaban que los evaluadores debían saber
rios, autoexámenes acerca de los conceptos y tests de conocimientos y
que las valoraciones podían indicar falsos progresos o falsos retrasos relacio-
( escalas de valor realizados por el maestro.
nados con 10 siguiente:
3. Indicadores de inmovilidad o cambio en el comportamiento de los estu-
( 1. Experiencias dentro y fuera del ambiente escolar que caen fuera de las diantes que no pueden ser valorados mediante tests, inventario o escalas
( intenciones de los objetivos específicos de rendimiento. de observación, pero que están- relacionados con la tarea de evaluar los
2. Diferencias no identificadas, resultado de los efectos de profesores y de- objetivos de los programas escolares: por ejemplo, ausencias, apuntes
( más personal básico de la escuela (a menudo capaces de motivar por na- anecdóticos (críticas del comportamiento), tareas (número y carácter de
turaleza). las que ha realizado), libros (número y carácter de los que ha pedido, en la
(
3. Incorrecciones en diversos aspectos de la recopilación de datos y el aná- biblioteca), acciones disciplinarias que han debido ser adoptadas (tIpO y
( lisis. frecuencia), participación en los trabajos de equipo, referencias del profe-

e 4. Errores en la planificación investigativa y en la metodología estadística. sor al consejero y habilidades (demostración de sus nuevas aptitudes °
de las que ha perfeccionado).
( 4, Indicadores de inmovilidad o cambio en el comportamiento cognitivo o
Teniendo siempre presentes estos peligros, la prudencia y el buen juicio
del evaluador se hacen «particularmente útiles y necesarios» si se quieren afectivo de los profesores y demás personal de la escuela en relación con
(
extraer conclusiones honestas y significativas de los datos de la evaluación. la evaluación de los programas escolares: por ejemplo, la asistencia (fre-
( cuencia con la que asiste a las reuniones profesionales o a los cursos de
preparación), la participación, incluyendo los puestos de elección q~e .de-
( El apéndice de las valoraciones basadas en múltiples criterios sempeñan en organizaciones profesionales y comunitarias; y procedlm1en-
( tos informativos practicados por administradores, consejeros y profesores.
El apéndice de la publicación de 1967 contiene valoraciones basadas en 5. Indicadores del comportamiento de la comunidad con relación a la evalua-
( múltiples criterios para la evaluación de programas escolares. Estas valora- ción de programas escolares: por ejemplo, asistencia a las actividades
(
~
..
(. i'
 .)

J
')
102 I Evaluaci6n sistemática La tradicl6n tyleriana I 103
")
especiales de la escuela; conferencias (frecuencia de las reuniones entre
)
padres y profesores o entre padres y administradores promovidas por los Respuestas incorrectas
padres); respuesta de los padres a las cartas e informes, y llamadas tele- ")
fónicas de los padres, de la comunidad y del personal de los medios de b) Es incorrecta porque la información que se recoge en el método tyleriano
com unicación. debe estar relacionada con objetivos referentes al comportamiento o ren-
)
dimiento. )
El apéndice sugería que una amplia variedad de no expertos y de profe- e) Es incorrecta porque el método tyleriano ni describe los antecedentes ni
sionales, individualmente o en grupo, podía estar implicada en la evaluación, interpreta ninguna información, aparte la que está relacionada con los
)
definiendo las valoraciones y las audiencias para el informe final. Metfessel objetivos de comportamiento. )
y Michael subrayaron la necesidad de un modelo coherente que incluyera una d) Es incorrecta porque el método tyleriano se basa en una definición de
gran gama de metas y objetivos, así como también una serie de indicadores evaluación estrecha y poco flexible (como indica la respuesta correcta). \ )
del nivel que se había alcanzado con éxito. )

2. ¿ Cuál de las siguientes afirmaciones describe mejor la po-

PREGUNTA
)
sición de Tyler acerca de los tipos de evidencias admisibles en una evaluación \ )
educacional?
Test de conocimientos sobre la unidad 3 )
a) Sólo son admisibles los tests que pretenden ser válidos y exactos. )
b) Los tests son la evidencia más útil, pero deben ser adecuadamente com-
En esta seCClOnse proporcionan preguntas objetivas y sus correspondien- plementados con entrevistas y datos de observación. )
tes respuestas, correctas e incorrectas. El propósito de la sección es determi- c) Cualquier evidencia válida sobre el comportamiento o el rendimiento )
nar si ha alcanzado usted un dominio suficiente de los objetivos intelectuales proporciona un método evaluativo apropiado.
del método evaluativo tyleriano. El test puede hacerlo todo usted mismo; d) Ninguna. )
rodee con un círculo la letra que usted considere la mejor respuesta. Luego
)
compárela con las respuestas que vienen a continuación. Cuando haya termi- Respuesta correcta. Debe usted haber respondido «c». Tyler insiste en que
nado todas las preguntas, se le enseñará a valorar su trabajo. la recopilación de evidencias acerca de objetivos de comportamiento debe )
ser lo m.ás amplia posible. Esto incluye la utilización de tests objetivos y de
observaclOnes.
)
1. De acuerdo con Tyler, la evaluación es: )

I
PREGUNTA
Respuestas incorrectas
)

I
a) El proceso mediante el cual se determina hasta qué punto han sido alcan-
zadas las metas propuestas. a) Esta respuesta limita el alcance de las evidencias admisibles a los tests )
b) El proceso mediante el cual se definen, se obtiene y se proporciona infor- objetivos.
b) Esta respuesta posee un énfasis incorrecto, puesto que son las circuns- )
mación útil para juzgar decisiones alternativas.
c) El proceso mediante el cual se describen los antecedentes, se controla el tancias .las que d~ctan el tipo de evidencias admisibles que deben recopi- )
propio proceso, se valoran los resultados y se interpreta toda la infor- larse; SI esto es CIerto, deben utilizarse evidencias acerca de los objetivos. ,)
mación. d) La «c» es la respuesta correcta.
d) La valoración del mérito. )

Respuesta correcta. Debe usted haber señalado la «a». Esta afirmación )

. PREGUNTA 3. El método evaluativo tyleriano intenta disponer de ven-
incluye la definición esencial del método evaluativo tyleriano, a saber, la dis- taJas sobre otros métodos previos, ya que: )
crepancia entre el trabajo en contraste con las metas (u objetivos).
a) Se centra casi exclusivamente en el estudiante. )

t
J..• .)
)
,
(
La tradición tyleriana I 105
f 104 I Evaluación sistemática

(
(
(
b) Emite juicios acerca de los logros basándose enteramente

c)
. que proporClOnan los tests.
como las -s
en valoract'

Permanece libre de normas para la valoración de los objetivos alcanzad

Respuestas incorrectas

d) Tiene en cuenta el conocimiento de las intenciones del programa, toJs, Es incorrecta porque Tyler proporciona medios prácticos para la retroali.
sus metas y objetivos de comportamiento y los procedimientos que has b) mentación incluso si no es utilizada frecuentemente por los que usan
(
que poner en práctica para llevarlo a cabo con éxito. ay este método. . .. ,
( Es incorrecta porque esta afirmación es contrar1~ a. la 0pWlOn de Tyler
Respuesta correcta. Debe usted haber señalado la «d». Esta afirmación el según la cual esta clarificación de las metas (u obJeuvos) puede ser resul.
(
contiene las principales ventajas que tiene el método sobre otros procedimien_ tado de la retroalimentación. . .,
( tos anteriores de evaluación educacional, en los que la valoración de los logro d) Es incorrecta porque Tyler consideraba que, con la modlficaclOn de los
del estudiante era el centro de todo (lo cual quiere decir que la evaluación ~ objetivos, podía producirse la revisión correspondiente de los planes eva.
(
idéntica a la valoración). Con los objetivos definidos, se consigue unos firmes luativos.
( puntos de r~ferencia para la evaluación y la toma de decisiones.
,{ PREGUNTA5. ¿A cuál de las siguientes utilizaciones no puede aplicarse
Respuestas incorrectas
( el modelo tyleriano?
( a) Aunque en la práctica el método Tyler tiende a centrarse en el estudian-
te, en teoría cualquier aspecto de la educación puede ser el tema de a) La evaluación de muchos programas federales.
( estudio. b) La clarificación y modificación de los propósitos de un currículo.
b) Incorrecta: vea la respuesta correcta. e) Servir de guía para el aprendizaje de los estudiantes, incluyendo el diag-
( nóstico y el tratamiento correspondiente de sus puntos débiles.
e) Es incorrecta porque la definición de los objetivos también implica cri.
( terios para valorar los resultados alcanzados. d) La presentación de un informe equilibrado sobre los pros y los contras
de introducir un nuevo programa en una clase.
(
( PREGUNTA4. ¿Cuál de las siguientes afirmaciones caracteriza mejor la Respuesta correcta. Debe usted haber señalado la «d». Tyler, y todos los
opinión de Tyler acerca de la retroalimentación? que están de acuerdo con su método, no disponen de ninguna estrategia para
( evaluar el mérito de las metas y objetivos seleccionados.
( a) Tyler ve la evaluación como un proceso recurrente.
b) Dado que puede establecerse la coincidencia entre los objetivos y el tra. Respuestas incorrectas
(
bajo, el proceso intermedio es de poca importancia.
(. e) La retroalimentación conduce casi inevitablemente a la confusión acerca de a) Es incorrecta porque Ty ler consideraba que su método era útil para que

, los objetivos de comportamiento, que son la base de la evaluación. el personal profesional pudiera evaluar programas federales.
( d) A pesar de la reformulación de objetivos que sigue a cada nueva infor- b) Es incorrecta porque la revisión de metas y objetivos es una utilización
mación, los planes evaluativos no deben variar si el estudio quiere con. posible del método tyleriano.
servar su credibilidad. e) Es incorrecto porque la guía y el apoyo del aprendizaje escolar era una
( de las principales utilizaciones a las que Tyler deseaba aplicar su mo-
( Respuesta correcta. Debe usted haber respondido «a». Tyler consideraba delo.
que la evaluación debe proporcionar un programa personal con información
l continua y útil que pueda conducirle a la reformulación o redefinición de los
PREGUNTA6. ¿Cuál de las siguientes afirmaciones describe mejor la se-
( objetivos.
rie de etapas sugeridas por Metfessel y Michael para una buena ejecución de
( un estudio evaluativo?
(
l
l
 -').
¡~

106
I ')

~:;;;:y';~,;;~;':~;:~:ni~~:m~~t~:
:~;~o~~ ~:~,u~:d::o~~;::
La tradición tyleriana 107

a)
...~¡l a valorar su trabajo. Obtendrá una más completa valoración de su trabajo ~

I
")

releyendo la parte o partes más relevantes de esta unidad.

de datos; recopila, analiza e interpreta los datos; y formula recomenda_
)
ciones. EJERCICIO 1. Seleccione un objeto o programa educativo, ya sea real o
b) Define el problema y acciones de respuesta alternativas al problema; defi- hipotético, para evaluarlo. Imagine que intenta llevar a cabo el estudio utili- " ')
ne y opera con múltiples criterios; recopila información crítica acerca de zando el método y la filosofía evaluativos de Tyler. Escriba un ensayo expo-
cada problema; y juzga los méritos relativos de cada alternativa. 1 niendo los procedimientos que piensa utilizar. Su respuesta debe contener dos
)
e) Modela el programa para que sea evaluado; especifica los objetivos; de- ,¡ elementos principales: a) comentarios de naturaleza general acerca de la filo- )
termina los requisitos informativos; especifica valoraciones basadas en I sofía de Tyler sobre las utilizaciones de la evolución; y b) estar de acuerdo
')
múltiples criterios; y recopila, analiza y presenta los datos. t con el modelo tyleriano.
d) Describe los antecedentes elel programa; identifica y valora los objetivos ,}
del programa; modifica los objetivos; selecciona instrumentos basados en
múltiples criterios; recopila datos del proceso y su producto; y utiliza los La respuesta al ejercicio 1 debe incluir los siguientes puntos: ')
datos- para modificar el programa. )

I
a) Respecto a las utilizaciones de la evaluación:
Respuesta correcta. Debe usted haber señalado la «a». Esta afirmación , )
representa una breve pero acertada síntesis de las etapas progresivas de la eva- 1. Debe destacarse el deseo general de perfeccionar el currículo u obje- )
luación propuestas por Metfessel y Michael. to como resultado de la evaluación.
2. En la evaluación de currículos, el perfeccionamiento del aprendizaje )
Respuestas incorrectas f del estudiante (que incluye el tratamiento de sus puntos más débi. )
b) Es incorrecta a causa del énfasis que pone sobre la evaluación como estra- f les) es un resultado importante, relacionado con la modificación de
los objetivos de aprendizaje. )
tegia para la solución de un programa, antes que como evaluación de un 3. La revisión de las metas y objetivos puede ser resultado de la retroali- )
programa u objeto determinados. mentación; Tyler veía la evaluación como un proceso recurrente.
e) Es incorrecta porque las tres primeras etapas son marcadamente distintas 4. El estudio puede proporcionar información útil para los directivos )
d)
a las que propugnan Metfessel y Michael.
Es in~orrecta porque esta serie de etapas difiere casi por completo de la
de la institución educacional a la que corresponde el programa o
proyecto.
.)
sugenda por Metfessel y Michael. )
b) Respecto al modelo tyleriano, a las etapas que deben cumplirse en el orden
.)
INTERPRETACIÓN DEL TEST DE CONOCIMIENTOS.Cuando haya completado especificado por Tyler (el énfasis variará según el área que se esté inves-
el test de conocimientos sobre el método tyleriano, revise aquellas cuestiones tigando): I )

que ha errado y las que le han dejado alguna duda a pesar de haber escogido
la respuesta correcta. Le sugerimos que revise las pertinentes secciones de la 1. El establecimiento de amplias metas y objetivos específicos.
.)
unidad para afianzar el dominio de sus contenidos. 2. Una amplia clasificación de los objetivos. )
3. La definición de los objetivos en términos de comportamiento oren.
dimiento. )
4. El establecimiento de las condiciones adecuadas para que pueda pro- ,)
Ejercicios prácticos
ducirse la consecución de los objetivos.
.)
5. La planificación de las explicaciones de los propósitos del estudio
Este apartado incluye un ejercicio práctico destinado a determinár su como dirigidas al personal básico en las situaciones adecuadas (véase más )
pre~sión del modelo tyleriano y un ejercicio referente a la parte de la unidad arriba).
f)
dedIcada a Metfessel y Michael. Después de cada ejercicio hay una lista de 6. Ll selección de las valoraciones técnicas apropiadas.
puntos que usted deberá haber incluido en su respuesta. Su revisión le ayudará 7. La recopilación y análisis de los datos de trabajo. )
¡)

)
1)
b
 f
'f
108 I Evaluación sistemática
8.
La comparación de los datos analizados con los objetivos de compor.
tamiento definidos.
,- :'l"'/
........•........
......• ..'•..'

;-:~'"

í
-------.
Referencias bibliográficas I 109

e) Frecuencia de la asistencia a actividades relacionadas con la escuela; entre-

,!
~~ vistas con el personal de la escuela, requeridas por los padres o por inicia-
'( EJERCICIO 2. Suponga que antes de empezar la evaluación del progra. tiva del propio personal; frecuencia de la demanda de información y de
ma u objetivo seleccionado en el ejercicio 1, decide investigar valoraciones las respuestas de los padres a las cartas o informes.
:( basadas en múltiples criterios que pueden utilizarse como ayuda en la evalua.
ción. Seleccione dos o tres de estos criterios (que sean apropiados para su
e tema de evaluación) según cada una de las siguientes áreas de clasificación Preguntas sin respuesta
( sugeridas por Metfessel y Michael.

,( a)
Indicadores de inmovilidad o cambio en los comportamientos cognitivos
I En este apartado se proporcionan cuatro preguntas a las que no se da nin-
guna respuesta. Las preguntas p~ed~n. ser utilizadas como temas para una
( y afectivos de los estudiantes expresados en valoraciones y escalas regu. discusión de grupo o para tareas IndIVIduales. Cada pregunta puede ser res-
larizadas.
'( b) pondida en dos niveles: primero, respecto al material contenido en es~a unida~,
Indicadores de inmovilidad o cambio en los comportamientos cognitivos y segundo, respecto a referencias más amplias relacionadas con la 11sta de 11-
( y -afectivos según los instrumentos o sistemas, informales o semiforma. bros y artículos que cierra la unidad.
les, creados por los profesores.
( c)
Indicadores de inmovilidad o cambio en el comportamiento o rendimien. 1. ¿Cuáles fueron las más útiles contribuciones de Tyler al estado de la eva-
to de los estudiantes que no puedan ser valorados mediante tests, inven. luación?
1< tarios y escalas de observación, en relación con la tarea de evaluar obje- 2. Tyler afirmaba que una evaluación es el proceso mediante el cual se deter-
( tivos de los programas escolares.
d) mina hasta qué punto los objetivos educativos han sido realmente alcan-
:( Indicadores de inmovilidad o cambio en los comportamientos cognitivos zados mediante el programa de currículos y enseñanza_ ¿Qué deficiencias
y afectivos de los profesores y demás personal de la escuela con relación a percibe usted en un método como éste? ¿Qué sugiere para perfeccionarlo?
( la evaluación de los programas escolares.
e) 3. El apéndice de Metfessel y Michael, ¿resulta válido como guía para la
( Indicadores del comportamiento de la comunidad con relación a la eva- valoración de técnicas? Discuta los procedimientos que pueden adoptarse
luación de los programas -escolares.
para utilizar ciertas valoraciones críticas en cada una de las cinco cate-
(
gorías, con el fin de servir de ayuda a la evaluación del logro de los obje-
( tivos del programa.
Las respuestas al ejercicio 2 pueden incluir puntos como los siguientes, 4. Tyler proponía que cada profesor utilizara su propio método para la eva-
( de acuerdo con' las áreas de clasificación expuestas más arriba:
luación de currículos. ¿Piensa usted también así? (En su respuesta, puede
( usted citar puntos en los que el profesor puede necesitar Ia ayuda de
a) Tests estandarizados de rendimiento y de aptitudes; autoinventarios es- otros.)
( tandarizados que proporcionen medidas de las actitudes; escalas de valor

,
{
b)
estandarizadas para juzgar la calidad de los productos.
Técnica de las frases incompletas; cuestionarios; valoraciones de la per-
cepción del autoconcepto (diferencial semántico, por ejemplo); valoracio-
nes autoevaluativas.
Referencias bibliográficas
(
c) Apuntes anecdóticos; asistencia; historias de casos; actividades extraaca. KRATHWOHL, D. R. 1965. Stating objectives appropriately for program, for cur-
( démicas; media de las calificaciones; referencias del maestro al consejero;
demostración de habilidades.
I riculum, and for instructional materials development, Journal o/ Teacher Edu-
cation, 12, págs. 83-92.
( j
d) Asistencia a l~s reuniones profesionales; puestos de elección en diversas METFESSEL, N. S. y MrcHAEL, W. B. 1967. A paradigm involving multiple crite-
( rion measures for the evaluation of the effectiveness of school programs, Educa-
organizaciones; escalas de valor referentes a actitudes, eficiencia en el 1 tional and Psychological Measurement, 27, págs. 931-943.
( trabajo y opiniones de los diversos miembros de toda la comunidad es-
colar. I MICHAEL, W. B. y METFESSEL, N. S. 1967. A paradigm for developing valid mea-

I
surable objectives in the evaluarion of educational programs in colleges and
,( universities, Educational and Psychological Measurement, 27, págs. 373-383.
(
I
1
l !
r-P ~L
 '--,~

1')
110 t Evaluación sistemática
'.)
SMITH, E. R. Y TYLER, R. W. 1942. Appraising and recording student progress, .")
Nueva York, Harper & Row.
4 EDW ARD A. SUCHMAN y EL METODO
STUFFLEBEAM,D. L.; FOLEY, W. J.; GEPHART, W. J.; GUBA, E. G.; HAMMoND, ')
R. L.; MERRIMAN, H. O. y PROVUS, M. M. 1971. Educational evaluation and CIENTIFICO DE EVALUACION
decision making in education, Itasca, IlI., Peacock. ,<)
.•.
TYLER, 1. 1. Y KLEIN, M. F. 1967. Recommendatíons for currículum and instrue-
tional materials, Los Angeles, Universidad de California, Los Angeles (ciclosti-
')
lado). . ,)
TYLER, R. W. Í942. General statement on evaluation, Joumal o/ Educational Re-
search, 35, págs. 492-501. ')
-. 1950. Basic principles o/ curriculum and instruction, Chicago, University of
Chicago Press.
')
-. 1953. Sorne persistent questions on the defining of objectives. En C. M. LIND- ,)
VALL (comp.), De/ining educational objectives, Pittsburgh, University of Pitts-
burgh Press. ',,")
-.1956. The objeetives and plans for a national assessment of educational pro-
gress, ]oumal o/ Educational Measurement, 3, págs. 1-10. :)
TYLER, R.; GAGNE, R; y SCRIVEN, M. 1967. Perspectives of curriculum evalua-
. tion, Chieago, 'Rand MeNally. J
WORTHEN, B.R. y SANDERS,]. R. 1973. Educational evaluation: Theory and prac- Edward Such111-an,científico investigador que, creía firmemente en la nece- ~)
tice, Worthington; Ohio, Charles A. Jones. sidad de basar principalmente las conclusiones en evidencias científicas, consi- .)
deraba que la evaluación debía disponer de la lógica del método científico.
Su trabajo y sus obras) que se deSarrollaron en la década de los sesenta, insis- t)
tían, de cualquier forma, en la necesidad de mejorar los programas con relación
a su práctica. Por esta razón) sugería criterios específicos para perfeccionar el
/J
éxito de los programas. Sus estudios en el campo de las ciencias sociales, par- )
ticularmente los referidos a la salud pública) le hicieron reconocer que la eva-
luación científica tiene algunas limitaciones prácticas. Además) afirmaba que
,)
los investigadores eváluativos) al exponer las consecuencias cleseadas y las no l)
deseadas) debían tener en cuenta algunos v~lores rélevantes) espe~ialmenle los
que estaban en. conflicto. . ,)
La contribución de Suchman a la especialidad, Evaluative Research: Prin- .)
cipIes and Practice in Public Service and Social Action Programs (1967), de-
jaba claro que él consideraba que un evaluador debe utilizar todo tipo de téc- f)
nicas investigativas que sean útiles y apropiadas a las circunstancias y necesi- (J
dades de un estudio evaluativo determinado.
Aunque Suchman creía que el estudio ideal debía coincidir con el modelo )
experimental clásico) también afirmaba que) en realidad, los p'1'Oyectosin ves- ,)
tigativos de evaluación utilizan comúnmente alguna variación o adaptación
de este modelo. En un sentido amplio, la formulación de los objetivos y la )
planificación de un estudio investigativo de evaluación dependerá de quién
dirija el estudio y de la utilización anticipada que se haga de los resultados de)
cJ
los mismos. ()

Edward SUCHMAN <:reía que la evaluación, como todas las investigaciones,

C)
debía basarse en la lógica del método científico. Pensaba que un evaluador ()
r-J
(:J
O
 ,
(
112 I Evaluación sistemática
Suchman y el método científico de evaluación 113
f t

debía utilizar cualquier técnica investigativa que resultara útil y factible, de

( blemáticas) y los compromisos para cumplir las obligaciones administra-
acuerdo con las circunstancias de cada evaluación. Suchman, que alcanzó el
tivas.
( puesto de profesor de sociología en la Universidad de Pittsburgh (antes de su
prematura muerte en 1971), trabajó intensamente en el campo de las ciencias
( sociales, particularmente en salud pública. Sus publicaciones se centraron en el Estos objetivos pueden ser alcanzados mediante la lectura del material
contenido en esta unidad. De cualquier manera, p~ede obte~erse una ca m-
( área de la investigación social, y su principal contribución a la evaluación es
su interesante y documentado libro Evaluative Research: Principles and Prac- ensión más completa de las teorías y la filosofIa evaluatIva de Edward
( tice in Public Service and Social Action Programs (1967). . ~~chman leyendo sus trabajos originales, que aparecen relacionados al final de
esta unidad.
( Suchnian no estaba solo en su creencia de que, aunque los evaluadores
son básicamente investigadores, deben llegar a un equilibrio ehtre el rigor' Los problemas que se incluyen deben responderse según el método eva-
( del método y la situación en la que deben actuar. Los. primeros autores que luativo de Suchman. Es aconsejable que no se aborden estos problemas hasta
que, por lo menos, no se conozca profundamente el material.
( propugnaron un método similar para la metodología evaluativa fueron KLINE-
BERG (1955), JAMES (1958), HERZOG (1959) y FLECK (1961).
( Suchman distinguía entre evaluación e investigación evaluativa. A la pri-
Aspectos conceptuales de la evaluación
( mera se refería por lo general como un «proceso de emitir juicios de vabr»,
mientras que consideraba que la investigación evaluativa consistía en los «pro-
( cedimientos de recopilación y análisis de datos que aumentan la posibilidad Como ya se ha afirmado, Suchman considera que la evaluación es un pro-
de demostrar, más que de asegurar, el valor de alguna actividad social». Cuan- ceso científico. De acuerdo con esta postura, no creía que la especialidad
( evaluativa tuviera una metodología distinta de la del método científico. Por
do hablaba del proceso evaluativo, proponía un método científico. Veía la
( lo tanto, conceptualizó la investigación evaluativa como «la primera y prin-
evaluación como un proceso social continuo, que suponía intrínsecamente una
combinación de suposiciones básicas acerca de la actividad que estaba siendo . Gipal investigación, que debe acercarse cuanto le sea posible a las normas co-
( múnmente aceptadas de la metodología investigativa». Los mismos procedi-
evaluada y de los valores personales de quienes participaban en el estudio,
( incluyendo al evaluador. Insistía en que la evaluación debe necesariamente mientos que se utilizaban para descubrir el conocimiento podían ser utilizados
convertirse en un proceso científico que dé cuenta de esta subjetividad intrín- para evaluar el nivel de éxito obtenido en la aplicación de este conocimiento.
( Suchman defendía firmemente la concepción de que, adoptando el método
seca, ya que no puede ser eliminada.
( científico, un evaluador conseguirá resultados más objetivos y de una exactitud
y validez fácilmente discernibles.
( Objetivos Suchman afirmaba que la investigación básica tenía un propósito diferente
( al de la investigación evaluativa. La investigación básica es el descubrimiento
del conocimiento; la acción administrativa no es una consecuencia necesaria.
( Los objetivos de esta unidad son caracterizar los que Suchman consideraba
los tres aspectos principales de la evaluación: En cambio, la investigación evaluativa es investigación aplicada, y su propó-
( sito es determinar hasta qué punto un programa específico ha conseguido el
resultado deseado. Los resultados siempre serán utilizados por el administra-
1. Aspectos conceptuales, que incluyen los propósitos y princir 'os de la eva-
( dor para tomar decisiones acerca del futuro del programa. Conservando en la
luación, los valores y el proceso evaluativo, las suposiciones de cara a los
( estudios evaluativos, los tipos de evaluación y las categorías de la eva- mente el papel dominante del criterio administrativo a la hora de determinar
luación. la validez del estudio llevado a cabo, el evaluador necesita estar continuamen-
( te al tanto de la potencial utilidad de los resultados.
2. El aspecto metodológico, que incluye un enfrentamiento entre la investi-
Este énfasis en la necesidad de la utilidad de los resultados puede conver-
( gación evaluativa y la no evaluativa, aproximaciones metodológicas a la
tirse, en opinión de Suchman, en un problema acucian te para el evaluador.
evaluación, variaciones en la planificación investigativa de la evaluación,
( principios de la planificación investigativa de la evaluación y valoración
A causa de la fuerza de los intereses creados, el administrador del programa
de los efectos (subrayando la exactitud y la validez). intentará controlar la evaluación, por 10 menos hasta el punto de definir los
(
objetivos del programa que va a ser evaluado. Aún mucho más que el inves-
3. El aspecto administrativo, que incluye la ciencia evaluativa y adminis-
( tigador básico, el evaluador puede perder el control de la situación investiga-
trativa, la administración de los estudios evaluativos (algunas áreas pro-
tiva: Así, no son los conceptos investigativos, por sí mismos, los que dificultan
(
(

,
(
*ES •••••••••
!""""'""'". ')
)
114 I Evaluación sistemática Suchman y el método científico de evaluación I 115
)
los estudios evaluátivos, «sino más bien los problemas prácticos derivados de rogramas, Suchman llegó a distinguir, como ya se ha dicho, entre evaluación ')
asumir estos principios ante las consideraciones administrativas». ~ investigación evaluativa. La primera designa el proceso de juzgar el mérito
')
Cuando se preguntaba si la investigación evaluativa estaba preparada para
desempeñar un papel más importante, Suchman concluía diciendo que no.
de alguna actividad, sin hacer caso del método empleado. La investigación
evaluativa, por su parte, designa la utilización específica del método científico
.,
El análisis sistemático de los principios teóricos, metodológicos y administra_ on el propósito de realizar una evaluación. En otras palabras, la evaluación
')
tivos que subyacían en los objetivos y procedimientos del evaluador, se hacía cuede ser considerada como una meta, mientras que la investigación evalua-
necesario, antes de que pudieran darse, con confianza, positivos y significativos fiva puede ser considerada como un medio concreto de alcanzar esa meta. I
pasos hacia adelante. Ahora hablaremos de algunos aspectos de las concep- Aunque Suchman consideraba que la utiliZación de la metodología cientí.
ciones de Suchman acerca de estos tres aspectos (relacionados entre sí) de la fica necesitaba un énfasis especial, no excluía la utilización de métodos no cien- I
evaluación. tíficos. Reconocía que en la planificación y realización del programa, muchas ')
cuestiones acerca de la evaluación podían ser respondidas sin necesidad de
')
investigación. Sin embargo, mantenía que si los requisitos básicos de la inves-
Propósitos y principios de la evaluación
tigación evaluativa podían ser satisfechos -esto es, las suposiciones subyacen- )
Suchman asumía los propósitos evaluativos expuestos por BIGMAN(1961): tes en los objetivos examinados, el desarrollo de criterios valorables específi-
camente relacionados con los objetivos y el control de una situación estable- ')
1. Describir .si los objetivos han sido alcanzados y de qué manera. eida-, los resultados serían conclusiones basadas en investigaciones convin- )
2. Determinar las razones de cada uno de los éxitos y fracasos. centes, y no sólo en juicios subjetivos.
3. Descubrir los principios que subyacen en un programa que ha tenido )
éxito. )
4. Dirigir el curso de los experimentos mediante técnicas que aumenten su Los valores y el proceso evaluativo
efectividad. )
5. Sentar las bases de una futura investigación sobre las razones del relativo Una precondición de cualquier estudio evaluativo, según Suchman, es la )
éxito de técnicas alternativas. presencia de alguna actividad cuyos objetivos tengan algún tipo de valor. De-
6. Redefinir los medios que hay que utilizar para alcanzar los objetivos, así fine el valor como «cualquier aspecto de una situación, actividad u objeto que )
como incluso las submetas, a la luz de lós descubrimientos de la inves- tenga un interés particular, como ser bueno, malo, deseable, indeseable o cosas )
tigación. por el estilo». Los valores, por lo tanto, pueden estar construidos como modos
de organizar la actividad humana basados en principios que determinan tanto ,)
Estos propósitos, en opinión de Suchman, sugieren una relación intrínseca las metas como el perfeccionamiento de los programas, así como el medio de
)
entre la planificación del programa y su desarrollo, por una parte, y la evalua- alcanzar esas metas.
ción, por otra. Los medios para alcanzar los propósitos de Bigman, a saber, la Suchman consideraba que el proceso evaluativo parte de, y regresa a, la )
investigación educativa, deben proporcionar la información básica para plani- formación de los valores, tal como muestra la figura 4-1. ( )
ficar y, si es necesario, replanificar los programas. Así como la investigación
tradicional suele conducir hacia una comprensión más amplia de los procesos ~ Formación del valor )
básicos, la investigación evaluativa debe «conducir a una mayor comprensión Valorar el efecto -------',Elección de la meta (objetivos)
de los procesos aplicados o administrativos». Suchman también afirmaba que de esta operación
(evaluación del programa)
1 )
los programas en acción estaban muy influidos por los procesos adminis- )
trativos. Operar ton las actividades I . .
que conduzcan a la meta /valoración de a meta (cntenos)
Un principio fuertemente defendido por Suchman era aquel según el cual )
(funcionamiento~
situaciones distintas necesitan distintos métodos evaluativos, incluyendo dis- del programa) ~ ,)
tintos métodos y criterios técnicos para valorar el éxito obtenido en la conse- Identificación de las actividades
cución de los objetivos deseados. Basándose en la suposición de que un estudio que conduzcan a la meta ()
(planificacióndel programa)
evaluativo puede tomar formas distintas y en que la función principal de mu- I )

chos estudios es ayudar en la planificación, desarrollo y operatividad de los FIGURA4-1. El proceso evaluativo
)
)
,.¡
I )
lb
'"\(
,..- ..

i
~ 116 I Evaluación sistemática Suchman y el método científico de evaluación I 117

~ La evaluación empieza con un valor concreto (ya sea explícito o implícito) ., el cambio en reconocible? Antes de responder a estas pre.
I
luego procede a definir la meta, esto es, a hacer un.a selección entre todas ~ convertltan 1 . . d
sigt1°S al dor debe ser capaz de diagnosticar a presenCla o ausenCIa e
"
( metas alternativas posibles. Cada una d~ ellas comp:te ~on las demás en recuro guntas, el ev ua
toblema s
al
ocial y su correspondiente sistema de vares,
. d di .,
y d e d efini r 1as
.- sos y esfuerzo. Seguidamente, se seleccIOnan los c~l,tenos par~ v~orar la COn. un P . dicativas del progreso en la mejora e esa con ClOno
( secución de la meta; la ~~turaleza d; .la evaluaclOn d~ter~lUar~, el tipo de lIletas 10 pone seis preguntas que deben ser respondidas cuando se for-
valoración que se debe utilizar. La proXlffia etap~ es la ldentificaclOn de algún Suchman pro , . l' 1 '
~ . b' tivos de un programa con proposItos eva uatlvos y, c aro esta,
lIlulen los o Je . di
.~ tipo de actividad para alcanzar la meta (el tratamIento) y la operacionalizac:i6n
de esta actividad. En algún punto del proceso, hay que valorar también esta
la planificación del propIO estu o:

( operación. Esta etapa incluye la determinación del grado en que el programa Cuál es la naturaleza del contenido del objetivo (P?r ejemplo, cambios
(
operativo ha alcanzado el objetivo predeterminado. Finalmente, basándose en 1. ~ los conocimientos, las actitudes y/o elcomrx:>rtamlento)?
\, esta evaluación, se emite un juicio acerca de si esta actividad dirigida hacia la 2. ¿Quién es el destinatario del programa (por ejemplo, grupos grandes o
1

" " meta ha resultado útil.

El acto de juzgar devuelve la actividad a la formación del valor. El concep-
pequeños) ? 1
¿Cuándo debe producirse el .c~mbio deseado (metas a corto o largo pazo,
~ )~.; to de Suchman acerca del movimiento cíclico del proceso evaluativo enfatiza
(,
3. o programas cíclicos y re~tltlvoS!? . .
la fuerte interrelación existente entre la evaluación y la naturaleza, basada 10 objetivos son unitartos o multrples (por ejemplo, los programas son
(
en el valor de la planificación y la operación del programa. Como resultado, 4. ¿'~ares para todos los usuarios o diferentes para distintos grupos)?
siempre existe la posibilidad de conflicto de valores entre el administrador 5. ~ICuáles la magnitud de.seada del efecto (por ejemplo, resultados concen-
( del programa y el evaluador. Este problema será discutido más tarde en esta
trados o dispersos)? ., ,
misma unidad. En términos generales, puede decirse que los valores desempe- 'Cómo es el objetivo que debe ser alcanzado (por ejemplo, cooperaClOn
{ 6. <:
ñan un amplio papel en la determinación de los objetivos de los programas voluntaria o sanciones obligatorias)?
a de servicio social (como los de naturaleza educativa) y que el proceso evalua-
tivo que presenta consecuencias deseadas e indeseadas de estos programas Muchas de las respuestas que pueden darse a estas preguntas requieren
~
debe presentar valores sociales, especialmente valores conflictivos. xamen de las presuposiciones subyacentes en los objetivos fijados. Suchman
( un
e d d ..
cree que la obligación de un evalu~dor es poner en , u a. estas presupoSICIO-
nes, si es necesario, puesto que solo entonces podra aplicarse de verdad el

t
(
Las presuposiciones en los estudios evaluativos

La principal suposición de Schuman acerca de los estudios evaluativos es

que cada programa tiene algún valor con algún propósito. Así, la caracterís-
~ tica más identificable de la investigación evaluativa «es la presencia de alguna
~ meta u objetivo cuyo nivel de consecución constituye el principal centro de
atención del problema investigativo».
~
Cuando ha sido expuesta una afirmación clara acerca del objetivo del pro-
~ grama que va a ser evaluado, la evaluación puede ser vista como un estudio
( del cambio. El programa que debe ser evaluado constituye la variable causal
o independiente, y el cambio deseado es similar al efecto o variable dependien.
.~
te. Caracterizando así un estudio evaluativo, Suchman afirmaba que el pro-
.~ yecto debía ser formulado como series de hipótesis que afirmen que «las ac-
tividades A, B y C producirán los resultados X, Y y Z».
~ Los objetivos y las presuposiciones de un estudio evaluativo acaban fuer.
~ temente interrelacionadas cuando se necesita una respuesta, antes de que em-
I~
piece el estudio, para las siguientes y difíciles preguntas: ¿Qué tipo de cam.
bios se desea? ¿Qué medios deben utilizarse para efectuar este cambio? ¿Qué
~
.~
.,
método científico al proceso evaluativo.
Clasificó las presuposiciones en dos clases: presuposiciones de valor y pre-
suposiciones de validez. Las presuposiciones de valor pert:necen al sistema
de creencias que determinan qué es «bueno» para una SOCIedad o para una
parte de esa sociedad. Por ejemplo, un nuevo pro~rama educativo pue~e ~er
juzgado favorable o desfavorablemente por los distmtos grupos de un dIstnto
escolar. La pregunta a la que debe responder el evaluador antes de investigar
el programa es: ¿qué se considera un éxito, y desde el punto de vista de quién?
Las presuposiciones de validez están relacionadas específicamente con los
objetivos del programa. Estas presuposiciones, por ejemplo, son la base de
la creencia de los educadores acerca de que los primeros programas elementa-
les deben estar en consonancia con las influencias del hogar de cada niño.
Suchman insistía en que las respuestas a todas las preguntas sobre la validez
nunca podían darse antes del inicio de un programa. El administrador debe
atender a su propia experiencia y habilidad para desarrollar programas prác-
ticos cuyas presuposiciones aparezcan claramente fijadas. Entonces, la tarea
del evaluador consiste en demostrar o refutar el significado de estas presu-
posiciones.
 -- J
, \)

118 I Evaluación sistemática "

~
Suchman' y el método científico de evaluación I 119
~ ~
I

;. Suficiencia del traba;o. Este crIterio de éxito se refiere al grado en que el ')
Tipos de evaluación
trabajo efectuado coincide, PQr comparación, con todas las necesidades
" expuestas (de acuerdo con objetivos definidos).
~
Siguiendo k HERZOG (1959), Suchman hablaba de tres tipos de estudios
4. Eficiencia. La evaluación, en esta categoría, plantea la pregunta: ¿es la ~
evaluativos. 1:1 evaluación última se refiere a la determinación del éxito global
de un programa según los objetivos que se había fijado. La investigación pree- eficiencia la capacidad de un individuo, organización, facilidad, operación ~
o actividad, para producir resultados en proporción al esfuerzo realizado? I
valuativa trata de los problemas intermedios (por ejemplo, el desarrollo de )
explicaciones válidas y exactas acerca del problema, la definición de las metas 5. Proceso. El propósito de esta categoría es investigar explicaciones básicas
y el perfeccionamiento de las técnicas) que deben ser resueltos antes de abor.
acerca de las razones que conducen a los resultados. Suchman apuntaba ')
dar la evaluación final. La evaluación a corto plazo busca información especí. cuatro dimensiones para e! análisis de un proceso: a) los atributos del
")
programa, b) la gen te a la que afecta el programa, c) e! con texto en el
fica acerca de procedimientos concretos en términos de utilidad inmediata.
que se desarrolla el programa y d) los diferentes tipos de efectos produ- ')
Con cualquier tipo de evaluación que se utilice, siempre se tiende, según
cidos por e! programa (por ejemplo, efectos múltiples o unitarios y dura-
Suchman, a idealizar los objetivos del estudio. Sin despreciar la obvia impar. )
tancia de los idealizados objetivos finales, Suchman afirma que son los ob- ción de los efectos).
)
jetivos prácticos e inmediatos los que más a menudo representan el paso del
propósito al programa. Recomendaba que la evaluación de un programa debía En resumen, al discutir los tipos y categorías de la evaluación, Suchman )
consistir esencialmente en la valoración del éxito obtenido en la consecución apuntaba e! proceso básico que debía seguirse a la hora de dirigir un estudio
evaluativo. Este proceso supone objetivos fijos en términos de finalidad, metas )
de estos objetivos prácticos.
Suchman menciona un importante error que realizan los evaluadores cuan. intermedias o inmediatas, el examen de las presuposiciones y la formulación )
do pasan de la evaluación global de un programa a una evaluación segmentada de criterios de esfuerzo, trabajo, suficiencia, eficiencia y proceso.
)
de cada una de sus partes. Ocurre demasiado a menudo que se evalúan los
componentes de un programa con criterios de éxito final más que con crite. )
Los aspectos metodológicos de la evaluación
rios intermedios que resulten relevantes. Por lo tanto, debe existir una cadena )
acumulativa de objetivos que vaya desde e! objetivo más inmediatamente prác.
tico hasta la última (y quizás idealizada) meta. Además, el conocimiento nunca )
Evaluación contra investigación no evaluativa
se alcanza del todo, y deben existir vacíos entre los eslabones causa.efecto de
esta cadena, que deben ser rellenados sólo con presuposiciones relativas a la
Suchman delineó claramente las diferencias existentes entre los objetivos
?)
validez de estas etapas. Así, las presuposiciones de validez acaban siendo «el
cimiento indispensable que hace cuajar la jerarquía de los objetivos». ' y las facultades investigativas de la evaluación, oponiéndolas a las de la inves- )
tigación no evaluativa (esto es, básica o pura). Se dio cuenta de que la dife.
rencia n? estaba en que una fuera acertada y la otra equivocada, sino en una )
Categorías de la evaluación «compleja mezcla de distintos valores, propósitos y recursos». )
Además de modificar los niveles de los objetivos, Suchman consideraba que La investigación evaluativa es un tipo especial de investigación aplicada
cuya meta, a diferencia de la investigación no evaluativa, no es el descubri. )
la investigación evaluativa debía ser entendida según categorías de efecto dis-
tintas. Estas categorías representan varios criterios de éxito (o fracaso) con miento del conocimiento, sino valorar la aplicación de este conocimiento. )
los que puede juzgarse un programa. El proponía cinco categorías: Poniendo principalmente el énfasis en la utilidad, la investigación evaluativa
d::?e proporcionar información para la planificación de! programa, su realiza-
)
"

1. Esfuerzo. Las evaluaciones de esta categoría presentan, como criterio de ClOny su desarrollo. La investigación evaluativa asume también las particula- )
,
res caracterí~ticas de la investigación aplicada, que permite que las prediccio-
éxito, la calidad y la cantidad de las actividades producidas durante el )
nes se conVIertan en un resultado de la investigación. Las recomendaciones
programa. Es una valoración de lo que se hace y no de! producto. Indica,
q~e .se hacen en los informes evaluativos son, por otra parte, ejemplos de pre. )
por lo menos, que se está haciendo algo para solucionar un problema.
dicclOnes.
2. Traba;o. Los criterios de esta área valoran más los resultados del esfuerzo )
que el esfuerzo por sí mismo. Comparándolo con la investigación no evaluativa, e! estudi~~..i.¿ti~I~'b.
contiene una amplia serie de variables sobre las que el evaluador;tíén~,
~"",
..•.•.
mui:
f .•¡"".,~.~"'"
-••" .,' ..••
)
~' ~;':'''''-
.':.."-'C'" )
 ~
(
( 120 I Evaluación sistemática Suchman y el método científico de evaluación I 121
(
poco, o ningún, control. Suchman insistía en que en la investigación evaluati. ecomendaba que para descubrir una causa falsa, el plan de la evaluación
( roan r 11 l'" dI
va, las variables que se pueden observar y valorar son los fenómenos de inte- debe incluir un análisis del proceso que s.e desarro a en:re e .1ll1C~~e pro-
( rés; el programa que se va realizando tiene como meta el cambio de los va. conclusiones Este método eXIge un plan de lllvestIgaclOn evalua-
grama y sus '. . el'd
lores de estas valoraciones. Mientras el concepto subyacente es de importancia . que se convierta en <<unaparte mtegrante del propIO programa enten 1 o
( tlva ., d 1
primordial en la investigación básica, no ocurre lo mismo en la investigación servicio». Una evaluación continua es un reconOC1m1ento e que a ope-
como h ..d' . b' t
( aplicada, una de cuyas formas es la investigación evaluativa. . , de un programa está dominada por muc as con 1C10nescam 1an es,
raClOn 1 d 1 d .. d d 1
Suchman afirmaba que la evaluación de un programa puede ser muy poco . 1 endo fuerzas que están más allá del contro e a m1mstra or e pro-
( ~~ . d
generalizable, puesto que la evaluación es aplicable únicamente al programa ero también la información que va llegando contllluamente, que pue e
grama, P bIT .
( que está siendo evaluado y a sus ramificaciones contextuales. Así pues, existe . fl' tanto sobre los ob]'etivos del programa como so re e proceso. emen-
mU1r 1 .. dI
( una razón de por qué tantos estudios evaluativos aparecen repetitivos (siem- do esto presente, un evaluador debe ser indulgente. co~, as contmgenc~a: e
pre existe la incertidumbre acerca de si un programa que resulta efectivo en desarrollo 'y pensar, al diseñar el plan, en la recopdaclOn de datos adiclOna-
(. una situación lo será también en otra). Además, cuando la solución del proble- les, si de verdad son necesarios.
( ma que es el objetivo de la investigación evaluativa parece ser «estimular la
toma de decisiones administrativas respecto a algunas necesidades inmediatas
1" y específicas», las futuras dificultades referentes a su validez externa se pre-
sentan por sí mismas ..
Variaciones en el ptan de investigación evaluativa
(
Suchman afirmaba que la investigación evaluativa no tenía un~ ~e~odolo-
( , propia' al tratarse de una investigación, se atiene a los prtnC1p10S del
( Aproximaciones metodológicas a la evaluación gla , bl P 1 ili' .ed d de
método científico tanto como le es posi e. or o tant?, ut z~ u~a var.I ~
recO nocidos planes de investigación y las correspond1entes tecmcas
, . CIentíficas
(
Las diferencias existentes entre los estudios evaluativos y los no evalua- para la recopilación y el análisis de datos. La pregu~ta ~as l~p~r:ante que
( tivos, según Suchman, se reflejan en la forma que toma la exposición del pro- debe responderse (como ya previó Suchman) no es Sl la lllves~lgaclOn evalua-
blema. Mientras la investigación pura (investigación no evaluativa) pregunta tiva es científica sino hasta qué punto la investigación evaluatIva puede hacer
(
si A está relacionado con B y comprueba esta relación experimentalmente (bajo el mejor uso po~ible de los planes y técnicas de investigación disponibles.
( condiciones controladas), la investigación aplicada (investigación evaluativa) Dando mucha importancia a la relación entre las causas y efectos de un
pregunta si A intenta efectivamente cambiar B y procura responder a esta programa, por una parte, y la plani~cación por otra, Suchman propuso un
l
pregunta empíricamente, manipulando A y valorando su efecto sobre B. En modelo que demuestra que la secuenCIa de causas ~r,opuesta. p.ara una evalua-
( la investigación no evaluativa, es muy importante el análisis del proceso ción se convierte en uno más de los campos de aCClOny actIVIdades que con.
( mediante el cual A se relaciona con B, pero en la investigación evaluativa ducen a las conclusiones. El diagrama de la figura 4-2 muestra ese mod:lo:
«tiene relativamente poca importancia el hecho de comprender por qué A un sistema abierto, un modelo naturalista y multicausal, que se opone al Slste-
( produce B». Los lectores deben advertir que, al hacer esta afirmación, Such- ma cerrado de la investigación no evaluativa.

I
•
(
man se opone a un punto de vista que expondremos dentro de poco: el que
afirma que la evaluación debe poner el énfasis en el proceso que se desarrolla
entre el inicio del programa y sus conclusiones.
Variable Acontecimientos
que influyen
Variable
dependiente Consecuencias
Precondiciones independiente
~ Las diferencias, además, entre la investigación evaluativa y la no evaluati.

:'~ ~::~ ¿::

va no son absolutas, pero puede decirse que existen siempre. Suchman pensa-
• ba que un evaluador debe, por lo tanto, atender tanto como le sea posible en

•
(
la práctica a las reglas de la investigación científica, pero el evaluador debe
exponer y justificar dónde y cuándo estas reglas deben adaptarse a la realidad.
~:::::: I-p-ro-g-ram-a-A-]
~ • b, ::/ I--E-fec-t-o-B-I---.. c,

De cualquier forma, puede argüirse que, si A es falsamente interpretado

{ como causa de B, puede desarrollarse un costoso programa basado en A, sólo
para descubrir que no se produce el efecto deseado debido a un cambio en
,
./ ~b
"
~c"

t
la «verdadera» causa, que puede estar mínimamente relacionada con A. Such. 4.2. Concepto ntulticausal de evaluación
•
FIGURA
 122 I Evaluación sistemática
Este modelo es muy importante para la planificación de los estudios d
!nve~tigación evaluativa. Por ejemplo, indica que los programas sociales son~
meVItablemente, evaluados en el contexto de otros programas o actividad
q.ue afectan al objeto en cuestión. Así, el plan de estudio debe tomar preca~~
ClOnes ~ara .tener en ~u~nta las precondiciones y los acontecimientos que
pueden mflUIr en la actlVIdad del programa inicial. Los efectos, tanto los de-
seados como los indeseados, son, probablemente, consecuencia de la falta de
un ~ontrol experimental, algo inherente a cualquier teoría. El plan debe pre-
vemr, de nuevo, la investigación de estos efectos.
Principios de planificación de la investigación evaluativa
Suchman hizo una lista de principios que deben ser observados al trazar
el plan de un estudio evaluativo. Los principales son éstos:
1. Un buen .plan e~ aquel que resulta ser el más apropiado para el propósito
del estudlO; no Importa tanto si es o no es científico.
2. No hay nada como un plan correcto y simple; las hipótesis pueden estu-
diarse por medio de diferentes métodos y utilizando diversos planes.
3. Todo plan de investigación representa un compromiso dietado por muchas
consideraciones prácticas.
4. Un plan de investigación evaluativa no es algo muy específico que deba
ser seguido sin desviación alguna, sino una serie de indicaciones para
asegurar que se va en la buena dirección.
En el capítulo 6 de su libro de 1967, SUCHMANproporciona detalles acerca
~e posibles variaciones que pueden darse en el plan de investigación evalua-
tlva. L?s lectores interesados quizá deseen investigar estos planes. Se en-
contraran ~on que S~c~man creía que el estudio ideal debía adaptarse al mo-
del~ exp~nm.e?tal claslc?, afir~ando también que, en realidad, los proyectos
de .1?VeStlgaclOnevaluatlva utlllzan, por lo general, alguna variación o adap-
taclOn de este modelo. En un sentido amplio la formulación de los objetivos
y el pla~ de un estudio de investigación evaluativa depende de quién dirija
'!
el est~dl.o de la utilización anticipada que se haga de las conclusiones. Such-
man mSlstla en que, mientras planifica un estudio, un evaluador debe saber
que las consideraciones sobre la validez son cruciales. . el proceso evaluativo. La validez de un estudio evaluativo se refiere a la vali-
La valoración de los efectos
. De acuerdo con .Suchman, la. valoración de los efectos de un programa re- ;'
qUIere que se especIfiquen las cuatro principales categorías de variables:
Suchman y el método científico de evaluación I 123
1. Partes integrantes o procesos del programa.
2. Población estimada y grupos a los que realmente concierne.
3. Condiciones situacionales en las que se desarrolla el programa.
4., Efectos diferenciales del programa.
Suchman afirmaba que la determinación de la exactitud y la validez de los
criterios de efectividad de estas variables origina ciertos problemas. En la
mayor parte de ellos, el evaluador no debe valorar directamente el fenómeno
que está siendo estudiado, sino las clasificaciones de esos fenómenos. Enton-
ces aparecen dos problemas obvios. Primero, ¿cómo debe el evaluador tomar
una decisión acerca de los indicadores de los criterios que debe emplear para
alcanzar los objetivos del programa? Y segundo, ¿cómo debe el evaluador se-
leccionar, de entre todos los posibles indicadores, aquellos que pueden ser
utilizados para un propósito concreto?
Al exponer las soluciones a estos problemas, Suchman comenta aspectos
de los conceptos metodológicos de fiabilidad y validez con gran amplitud. En
particular, subraya que los evaluadores deben estar enterados de, y esforzarse
por controlar, las principales causas de variación asistemática en la investigación
evaluativa:
1. Fiabilidad del sujeto: actitudes y comportamiento afectados por el es-
tado de ánimo, la fatiga, etc.
2. Fiabilidad del observador: factores personales que influyen en la inter-
pretación del tema.
3. Fiabilidad de la situación: condiciones de la valoración que producen
cambios en los resultados, que no reflejan el «verdadero» cambio que
se ha producido.
4. Fiabilidad del instrumento: todo lo anterior (combinado) o aspectos es-
pecíficos del propio instrumento (por ejemplo, preguntas mal redactadas)
)
afectan a la fiabilidad.
i
5. Fiabilidad del proceso: enumerar los errores y demás cosas que pueden )
fortuitamente reducir la fiabilidad.
)
, La validez presenta muchos más problemas que la fiabilidad, porque no )
solo se refiere a valoraciones específicas, sino también al significado de todo
~
de~ de sus valoraciones específicas, así como a la teoría subyacente a las hipó- ..)
I
tesIS que relacionan las actividades evaluativas con su objetivo. Exponemos
a continuación las causas de los errores referentes a la validez en los estu- 1
dios evaluativos:
i
1. Validez proposicional:
tas o inadecuadas.
la utilización de presuposiciones o teorías incorrec-
J)
í ~ -_._-----..._-~'"~- .•.

~:
fe 124 I Evaluación sistemática
Suchman y el método científico de evaluación I 125
(,

,
~-

2. Validez del instrumento: la utilización de clasilicaciones operacionalmen_

t te irrelevantes.
La evaluación y la ciencia administrativa
3. Validez del muestreo: falta de representatividad de la población escogida.
y
4. Validez del observador (evaluador): introducción de errores importantes
r basados en inclinaciones personales o nociones preconcebidas.
La investigación evaluativa puede desafiar a la práctica tradicional y llevar
cabo la útil función de hacer más eficientes estas actividades. Los estudios
( 5. Validez del sujeto: hábitos y predisposiciones que conducen a errores
a aluativos de programas anteriores cumplen la importante función de sacar
importantes.
( 6. Validez de la administración: las condiciones del estudio (por ejemplo,
~vla luz esfuerzos improductivos: Con relación a los programas actuales, la
investigación evaluativa puede valorar el progreso experimentad~ y ad~lan,t~r
f. los métodos de recopilación de datos) constituyen una causa de invalidez.
nuevas estrategias. Y en 10 que se refiere a programas futuros, la mvestlgaclOn
r t
7. Validez del análisis: errores deliberados o involuntarios conducen a la
invalidez.
evaluativa puede prestar una gran contribución a la definición de objetivos.
( Suchman afirmaba que la evaluación había sido tradicionalmente consi-
derada como el proceso final de la función administrativa que representa

"f~
("
Los efectos diferenciales de un programa abarcan lo que Suchman llama
efectos inesperados o involuntarios. Los fenóme;nos sociales son tan comple-
jos e interrelacionados que resulta imposible cambiar uno de sus aspectos
planificar un programa, s~?ndo los. pro~e,sos anteriores, la investi~a~ió?, la
planificación, la demostraclOn y la e]eCUClon.De cualqUler forma, mSlstla en
que la evaluación, como estudio de la efectividad, puede darse en todas las
( sin producir una serie de cambios en cadena, 10 que Suchman llama efectos
etapas del proceso. Por ejemplo, un administrador puede desear evaluar,
secundarios. Estos efectos secundarios de un programa pueden ser particu-
( o haber evaluado, los resultados de un estudio investigativo o la viabilidad
larmente fastidiosos cuando el programa está pensado para ser ampliamente
de un programa durante su desarrollo. De los diversos procesos, según Such-
~ difundido. Los programas federales de educación pertenecen a esta catego-
man, la planificación y la ejecución requieren una evaluación más cuidadosa,
ría. El evaluador y el administrador del programa deben, por lo tanto, ser
« cautos y no aceptar fácilmente los efectos secundarios positivos como justi-
y la prioridad más alta debe concederse a los programas operativos.
La evaluación de la etapa operacional (o ejecución) -«proporcionar una
~ ficación de la consecución de los objetivos previamente fijados de un pro-
valoración de hasta qué punto el programa ha alcanzado los resultados de-
grama; las decisiones referentes a la generalización deben hacerse según esta
seados» '-desempeña, entre otras, estas valiosas funciones:
~ base. De cualquier manera, es también importante comprender que la inves-
tigación es un proceso de aprendizaje y que los efectos secundarios (desea-
1. Especifica los puntos fuertes y los débiles de la operación programática
t
~
dos o indeseados) y el análisis de estos efectos, son parte integrante del
proceso. y sugiere cambios y modificaciones en procedimientos y objetivos.
2. Examina la eficiencia y suficiencia de los programas comparándolos con
otros métodos a la luz de las necesidades.
( )
3. Sugiere nuevos métodos para futuros programas.
La evaluación y la administración del programa
l
,
4. Establece prioridades entre los programas, según la escasez de recursos
como los fondos, el personal y el tiempo.
~ ) Como ya se ha dicho al principio, Suchman consideraba que el propósito
5. Facilita una responsabilización pública.
de una evaluación era, por lo general, la utilidad. Su principal objetivo era
6. Fomenta las actitudes morales y críticas del personal implicándolo en
aumentar la efectividad en la administración del programa. Relacionado con
t'
l.'
este objetivo está el concepto' según el cual la administración de un estudio
la evaluación de su propio trabajo.

( evaluativo es una forma de actividad programática; consecuentemente, la

Debe destacarse que cada función evaluativa tiene una conexión real
planificación y ejecución de los estudios evaluativos requieren recursos orga-
í nizativos. Suchman reconocía la existencia de una intensa relación entre la
con las funciones administrativas.
Suchman advertía que la investigación evaluativa, con todas sus conside-
1 investigación evaluativa, por una parte, y la teoría y la práctica administrati-
raciones administrativas, debe ser acometida con otros propósitos aparte del
t vas, por otra.
perfeccionamiento del programa. Por ejemplo, un administrador puede inten-
tar justificar un mal programa con informes manipulados (<<músicacelestial»),
~
¡. ocultar los fallos de un programa evitando los métodos objetivos (<<blanquea-

t miento») o destruir un programa sin tener en cuenta su valor para librarse

 126 I Evaluación sistemática
de él (<<submarino»). Dado que las estructuras administrativas tienden a per.
petuarse a sí mismas, debe tenerse también en cuenta que los resultados de
una evaluación podrían ser mejor acogidos si el estudio tuviera la capacidad
de debilitar el poder de la evaluación. Suchman no creía que este omnipre-
sente problema tuviera una fácil solución.
Administración de los estudios evaluativos:
algunas áreas problemáticas
. ..t
Una evaluación es «una forma de actividad social que abarca varias rela .
ciones interpersonales altamente significativas, que se dan entre los investiga.
f!. dores, el personal del programa y los sujetos». El evaluador no puede eludir
estas interrelaciones. Además de los aspectos normativos de la investigación,
" un evaluador trata con problemas muy relacionados con los intereses creados.
Por lo tanto, atendiendo más al éxito o al fracaso que al objetivo escolar, las
recomendaciones del evaluador pueden determinar la continuación o el cambio
de un programa. La precisión del juicio del evaluador puede muy bien depen.
der de la calidad de las actividades complementarias del evaluador y el personal
más importante del estudio.
Si las relaciones entre los papeles del evaluador y del administrador se
deterioran, pueden abordarse varias estrategias para mejorarlas. Suchman pro-
porciona algunas sugerencias:
1. Desarrollar un óptimo nivel de expectación para la orientación inicial
por ambas partes.
2. Clarificar los papeles y actividades de ambas partes.
3. Fomentar las técnicas interpersonales de todos los participantes por medio
de un programa de preparación inicial (organizado por ambas partes).
Suchman advertía que, sobre todo en el caso de evaluaciones externas, los
evaluadores necesitan saber que el personal del programa se siente como si 10
estuvieran juzgando y, por 10 tanto, amenazando. La coordinación entre el
evaluador y los administradores puede ser un largo camino hacia la prevención
del conflicto. «El evaluador y el personal del programa deberían ponerse de
acue.rdo antes de que empiece la evaluación, con el fin de discutir los obje-
tivos y el plan de procedimientos.»
La pregunta ¿ quién debe hacer la evaluación?, según Suchman, no tiene
una respuesta fácil. Tanto las evaluaciones internas como las externas tienen
ventajas y desventajas. A pesar de que no se implica tanto personalmente y
de que no sufre tantas presiones para llegar a un compromiso en el plan de
investigación y en la interpretación, el investigador externo es menos apropia-
do para comprender los objetivos y procedimientos del programa o la viabili.
Suchman y el método científico de evaluación I 127
dad de las recomendaciones. Un evaluador interno estará más informado acerca
del programa, pero su falta de objetividad es un peligro omnipresente. Aunque
las circunstancias son las que dicen qué estrategia es preferible, Suchman acon.
seja, cuando sea posible, una combinación de ambas.
Otro problema omnipresente se refiere a las distintas posiciones valorativas
del evaluador y el administrador acerca de la definición de los objetivos. En
general, el evaluador tiende a valorar los logros, mientras que el administra-
dor del programa pone más el énfasis en el resultado final y la técnica. El
evaluador se preocupa más de los objetivos últimos, mientras que el adminis.
trador del programa se ocupa de los objetivos inmediatos. Suchman subrayaba
que la evaluación está concebida para ayudar, y no estorbar, en la realización
de un proyecto. Así, el evaluador puede acabar haciendo un informe de muy
poco valor si se obsesiona con la precisión de las valoraciones. Y, por otra
parte, la preocupación por las últimas técnicas, y el desinterés por el signifi-
cado total del proyecto, es igualmente una mala práctica. Una explicación, por
parte del evaluador y del administrador, de las metas del estudio, resulta
crucial para la solución de los problemas planteados por las distintas posturas
valorativas, como ocurre en los ejemplos reseñados más arriba.
Acuerdos para solucionar los problemas administrativos
Ya se ha afirmado que Suchman consideraba que los estudios evaluativos
debían alcanzar el mejor compromiso posible entre las exigencias de la ciencia
y las c~~diciones realistas de la investigación. A menudo, de cualquier forma,
las d~clSl0nes acerca del compromiso deben tomarse, por 10 menos en parte,
atendIendo a los problemas o presiones planteados por los administradores.
Si se acepta que la investigación evaluativa está destinada a proporcionar una
base a las decisiones administrativas, el plan de estudio debe acomodarse a
la política admi~i,strativa y otras cosas. El evaluador necesita recordar siempre
1)
~ue u~a ~valuaclOn se desarrolla bajo condiciones naturales y que sus técnicas
lDvestIg:~I~as deben necesariamente adaptarse a la realidad de la recopilación
)
y el ~nalls1S de datos. La ingenuidad y confianza del evaluador, sin embargo,
neceSItan el mayor control científico posible. )
. Finalmente, en sus comentarios sobre los papeles del evaluador y el admi- )
nlSt~ad?~, Suchman afirmaba que ambas partes deben consultarse acerca de i
1)
la vIab111dady las posibilidades de perfeccionamiento de las conclusiones mien-
I
tras que los resultados de una evaluación deben ser traducidos a 'juicios
referentes al éxito o fracaso del programa. Para que tengan un valor real los i)
resultados deben ser claros indicadores de futuras direcciones. Un evalu~dor
,)
puede cometer un gran error si hace una lista de recomendaciones sin consul-
tar 1 d " d 1 ,
r a a ~,ID1stra or y a personal del programa. Una consulta puede evitar la
p esentaclOn de resultados erróneos que no tengan en cuenta las muchas con.
)
)
f '
L
f 128 I Evaluación sistemática
I

,
Suchman y el método cientfflco de evaluación 129
(
tingencias necesarias en la práctica, incluyendo las funciones interpersonales PREGUNTA2. El principal propósito de la investigación evaluativa, según
f y administrativas.
Suchman, es proporcionar información útil a los administradores, con el fin de
hacer más efectivas las decisiones acerca del programa.
(

,
( Test de conocimientos sobre la unidad 4
Verdadero . Falso .

Si es verdad, haga una lista de cinco puntos importantes que un evaluador

•J
debe tener en cuenta para asegurar que la información derivada de un estudio
Este test de conocimientos contiene dos partes. Las preguntas que se res-
evaluativo es precisa y útil para las tomas de decisiones. Si es falso, diga cuál
ponden con un «verdadero» o un «falso» valoran si ha comprendido usted es el principal propósito de la investigación evaluativ~ según Suchman.
bien la premisa básica del método evaluativo de Suchman. Cuando haya decidi-
(n do si una afirmación es verdadera o falsa, deberá usted responder otra pregunta Respuesta correcta. La afirmación es falsa. Suchman consideraba que el
basada en su respuesta. Compare su contestación con la respuesta correcta.

:,- La segunda parte de este test de conocimientos consiste en dos preguntas

con múltiples respuestas posibles. Una vez más, cada pregunta va seguida de
la respuesta correcta y de las razones que la apoyan.
principal objetivo de la investigación evaluativa es determinar hasta qué punto
un programa o procedimiento estratégico ha alcanzado los resultados deseados.
Ciertamente, lo más importante es la potencial utilidad de los resultados, pero
t Cuando haya respondido a todas las preguntas de ambas partes, le suge-
el principal propósito de un estudio evaluativo es descubrir la efectividad de
un programa comparándolo con sus objetivos a la luz de la relación entre los
{
,, rimos que repase y perfeccione su trabajo, utilizando las indicaciones que objetivos y sus presuposiciones.
aparecen después de las preguntas.
~
I, PREGUNTA3. Suchman consideraba que debe existir una relación muy es-

•g PREGUNTA1. El principal objetivo de Suchman era hacer obvia la necesi-

dad de una re evaluación crítica del papel y la metodología de la investigación
evaluativa en las áreas del servicio público y la acción social.
trecha entre la evaluación y la planificación y el desarrollo de un programa.
La investigación pura conduce hacia un mayor conocimiento de los procesos
básicos, mientras que la investigación evaluativa conduce a un mayor conoci-
i miento de los procesos aplicados y las estrategias permitiendo así la realización
l
1
Verdadero . Falso . de cambios racionales.

( Si es verdad, ¿qué tienen que ver las conclusiones de Suchman con la re- Verdadero . Falso .
lación entre la investigación evaluativa y los principios básicos de la metodolo-
(
gía investigativa? Si es falso, ¿cuál es el principal objetivo de Suchman al
Si es verdad, diga cuáles son los requisitos básicos necesarios (en opinión
( escribir acerca de la investigación evaluativa?

•. "
Respuesta correcta. La afirmación es verdadera. Suchman insistía constan-
de Suchman) para llevar a cabo una investigación evaluativa que pueda sugerir
propuestas precisas para el desarrollo de un programa. Si es falso, diga si
Suchman veía algún tipo de relación entre la evaluación y el desarrollo y/o

li:' temente en que la investigación evaluativa debe asumir los principios de la

metodología investigativa. La investigación evaluativa debe, por lo tanto, ser
un proceso científico en el que cada esfuerzo debe estar destinado a «contro-
perfeccionamiento de un programa.

Respuesta correcta. La afirmación es verdadera. Suchman concebía la inves-

1 lar» tanto la subjetividad del evaluador y de los participantes como la in-
tigación evaluativa como algo que proporcionaba la información básica nece-
fluencia de variables externas. Finalmente, el significado de los resultados eva- saria para planificar y replanificar los programas de acción. De ahí que la
~ luativos estará determinado por las «mismas normas científicas utilizadas para

ti~. juzgar la investigación no evaluativa».

evaluación, en algún sentido, deba hacer algo más que juzgar el éxito o el fra-
caso de un programa; debe también incluir el entendimiento y la redefinición.
Para conseguir estos fines, Suchman afirmaba que la' investigación evaluativa
debía ser cada vez más científica, que tanto los objetivos del programa como
sus presuposiciones debían ser totalmente comprendidos antes de empezar el
,~
 ---------- .••... "
')
,

)
130 I Evaluación sistemática
Suchman y el método cientffico de evaluación I 131 : ..,I

estudio, y que debía producirse un control de la sit~ac!ón con el £in .de deter.
minar hasta qué punto se habían alcanzado esos objetivos (y cualqUler efecto
secundario negativo). En este punto, según Suchman, todo estaba preparado
para el desarrollo de un programa que tenga sentido.
Respuesta correcta. La afirmación es falsa. Suchman pensaba que sin el ~
diagnóstico del problema y, consecuentemente, la definición de la meta, la )
investigación evaluativa no tenía objeto. Para formular las metas y objetivos
de una investigación evaluativa, Suchman exponía seis consideraciones prin-

PREGUNTA4. Suchman creía que un «valor es cualquier aspecto de una

situación u objeto que proporciona una orientación acerca de si éste es "bueno",
"malo" , "deseable" o "indeseable"».
Verdadero . Falso .
Si es verdad, ¿cuál es el significado, en opinión de Suchman, de los valo-
res con respecto a los estudios evaluativos? Si es falso, ¿cuál es la definición
de «valor» de Suchman, y qué importancia tiene la comprensión del término
en la realización de una evaluación?
Respuesta correcta. La afirmación es verdadera. Suchman veía los valores
como maneras de organizar la actividad humana, principios cargados de sigo
nificado que determinan las metas de los programas de acción social y el medio
más aceptable de alcanzar esas metas. Para cualquier evaluador, es muy im.
portante comprender estos principios, puesto que sólo con esta comprensión
podrá conocer el significado exacto de las metas del programa, sus presupo.
siciones y la operación programática. Por 10 tanto, un evaluador debe necesa-
riamente estar muy enterado de los valores conflictivos existentes antes de que
empiece un estudio o que aparezcan durante su curso. Si no se tiene todo esto
en cuenta, los valores conflictivos pueden crear problemas tan serios que
hagan disminuir o anular la efectividad de la evaluación.
PREGUNTA5. Suchman no creía que el éxito de una evaluación o de un
programa de acción social dependiera del diagnóstico de la presencia o ausen.
cia de un problema social y de la definición de las metas, que indicarían el
camino hacia una mejora de esa condición.
Verdadero . exacta y válida.
Falso .
cipales: a) ¿Cuál es la naturaleza del contenido de la meta (u objetivo)?;
b) ¿Quién es el destinatario del programa?; c) ¿Cuándo debe producirse el
cambio deseado?; d) Los objetivos, ¿son unitarios o múltiples?; e) Los resul.
tados buscados, ¿son dispersos o concentrados?; f) ¿Cómo deben alcanzarse
1
~
las metas y objetivos?
\)
)
PREGUNTA6. Dado que la investigación evall}ativa es particularmente con- )
creta en comparación con la investigación básica, que es más abstracta, pueden
formularse preguntas significativas acerca del significado de la recopilación de '. )
datos en cada tipo de estudio. La investigación evaluativa subraya el concepto '. )
subyacente corno la principal variable de interés; los datos del estudio deben
ser 'capaces de representar este concepto de una manera exacta y válida. La )
investigación básica, por su parte, subraya que las indicaciones que pueden , )
observarse y valorarse son los fenómenos de interés.
)
Verdadero . Falso . )
)
Si es verdad, diga cuál de los tipos de investigación -la evaluativa o la
básica- se presta más fácilmente a la generalización. Si es falso, diga cuál )
es el «significado» exacto de la recopilación de datos en cada tipo de estudio.
Respuesta correcta. Las afirmaciones que siguen a la primera frase son
falsas. La investigación evaluativa se ocupa principalmente de la observación ~
y la valoración de los resultados; el programa que se evalúa está destinado,
por 10 general, a cambiar los valores de estas valoraciones específicas y sólo
indirectamente se preocupa del concepto subyacente. Por el contrario, la in.
vestigación básica se ocupa principalmente de traducir un concepto a unidades
observables (por ejemplo, Índices operacionales del concepto subyacente), cuyo
valor depende de su capacidad para representar el concepto de una manera

Si es verdad, ¿qué importancia le daba Suchman (si es que le daba alguna)

al problema del diagnóstico y de la definición de las metas? Si es falso, ¿cuáles PREGUNTA7. Dado que Suchman apoyó tanto los procedimientos de la
son algunas de las consideraciones generales utilizadas en la formulación de investigación básica corno el ideal de una investigación evaluativa, abogó úni.
las metas y objetivos de la investigación evaluativa? camente por el método clásico de planificación experimental en 10 que se
refiere a los estudios evaluativos.

Verdadero . Falso .
 ------~_ ••..
l,¡-.:

132 I Evaluación sistemática

)
Si es verdad, diga cuáles son los procedimientos básico.s qu: deben seguir~e
para aplicar el modelo experimental clásico. Si ~s falso, ~lga Sl Suchman crela
que eran factibles adaptaciones del plan expenmental ldeal.
Respuesta correcta. La anrmación es ~alsa. ~uc~:na~ consideraba que. el .
modelo experimental clásico es un tipo de mveStlgaclOn ldeal cuyas adap:aclO-
nes deben derivarse de las circunstancias particulares de cada caso. AS1, no
sólo hay uno sino muchos modelos experiment~les, porque ~o hay un modo
mejor que otro de planincar los estudios evaluatlVos. Co~o eJempl~s de adap-
taciones del modelo experimental clásico, Suchman menClona los metodos cua-
siexperimentales de Campbell.
PREGUNTA8. En la evaluación, la nabilidad no sólo está amenazada por
errores casuales del instrumento valorativo, sino también por las fluctuaciones
reales del objeto que se está valorando.
Verdadero . Falso . combinación de ambos podía tener muchas ventajas. Su concepción era la
Si es verdad mencione por 10 menos tres tipos de factores de cambio que
contribuyen a p~ner en duda la nabilidad de las valoraciones del cambio. Si
es falso, altere la anrmación para que sea correcta.
Respuesta correcta. La afirmación es verdadera .. Las principa~es. causas de
la innabilidad de las valoraciones del cambio se den van de los slgUlentes fac-
tores: a) Fiabilidad del sujeto: los estados de ánimo del sujeto pueden influir
).
sobre su actitud acerca del programa; b) Fiabilidad del observador: los estados
de ánimo del observador pueden influir en la manera en que realice sus va-
loraciones; c) Fiabilidad de la situación: ciertas condiciones ambientales pueden
influir en los cambios informados; d) Fiabilidad del instrumento: preguntas
mal expresadas, por ejemplo, pueden producir respuestas inexactas; e) Fia~i-
lidad del proceso: cifras equivocadas u otros errores mecánicos pueden reduclt
la nabilidad.
Suchman y el método científico de evaluación I 133
Si es verdad, mencione tres maneras en que los evaluadores «internos», a
propósito o de otro modo, pueden distorsionar la información evaluativa. Si
es falso, diga cuál es la verdadera postura de Suchman ante este problema.
Respuesta correcta. La anrmación es falsa. Suchman anrmaba que en 10 re-
ferente a quién debe realizar la evaluación, no puede haber una respuesta
clara. Tanto las evaluaciones internas como las externas tienen ventajas y des-
ventajas. Los evaluadores externos quizás estén menos implicados personal-
mente en los resultados, pero son menos apropiados para comprender los ob-
jetivos o procedimientos del programa y están menos enterados de las im-
plicaciones prácticas de las recomendaciones hechas en el estudio evolutivo. Por
otra parte, aunque los evaluadores internos están más al tanto de las metas
del programa, de su organización y de sus posibilidades, puede resultarles
extremadamente difícil mantener su objetividad. Por 10 tanto, son las circuns-
tancias particulares de cada situación las que deciden el uso de uno u otro
tipo de evaluación. En la medida de 10 posible, Suchman consideraba que una
de una división del trabajo racional y profesional.
PREGUNTA10. Suchman opinaba que, a menudo, las decisiones del pro-
grama debían tomarse bajo presiones administrativas. Como consecuencia, si
un evaluador desea dirigir un estudio que ponga las bases para una toma de
decisiones, no puede ignorar que debe tener en cuenta la política y las presio-
nes administrativas. Todo ello debe formar parte del plan de investigación.
Verdadero . Falso .
. Si es verdad, diga la principal razón por la que Suchman estaba dispuesto
a aceptar «interferencias» administrativas durante una investigación evaluativa.
Si es falso, diga cuál era, según Suchman, la relación concreta que había entre
la evaluación y la toma de decisiones administrativas.

Respuesta correcta. La afirmación es verdadera. La postura de Suchman

PREGUNTA9. Suchman creía
utilizados exclusivamente porque
organización y el mantenimiento
personalmente con los resultados
realización.
Verdadero
que los evaluadores «externos» debían ser
el personal directamente relacionado con la ..
del programa estaban demasiado implicados,':
de una evaluación como para confiarles su,
'.
. Falso .
mantenía que la investigación evaluativa es investigación aplicada; debe abor-
dar el cam~o de estudio en condiciones naturales y, por 10 tanto, debe adap-
tarse 10 mejor que puede a las condiciones prácticas existentes. Una condición
muy frecuen~e es la presión administrativa. Si no se comprende esto y no se
, hac~n conceSlOnes de este tipo en la investigación evaluativa, el estudio eva-
.~lUatlvo será menos útil en 10 que a la toma de decisiones se refiere.
 --~
1i
')
,
134 I Evaluación sistemática Suchman y el método científico de evaluación [135
I~

d) Suchman consideraba que el evaluador y el administrador del programa ~I

Preguntas con muchas posibles respuestas debían ser muy cautos a la hora de confiarse el uno al otro; es aconseja. ")
ble que cada uno vaya por su camino para que se mantenga la objetividad.
PREGUNTA 11. Respecto a los criterios de valoración de programas, Such. ~
man proponía que: Respuesta correcta. Debe usted haber seleccionado la «e». Si el evaluador
no comprende esas limitaciones y las concesiones hechas en la planificación
a) lo principal es aislar, analizar y juzgar un tratamiento como si estuviera del estudio, es muy probable que los resultados del estudio sean inexactos. ~
operando en la práctica, ~
b) el camino más seguro hacia la formulación de conclusiones evaluativas Respuestas incorrectas
sólidas es crear y comprobar sistemáticamente hipótesis acerca de las re. :1
laciones existentes entre las variables intermedias y los resultados inme. a) Las organizaciones suelen ser muy sensibles y permanecer a la defensiva ')
diatos, ante las críticas adversas.
')
c) el éxito o el fracaso de un programa debe ser evaluado en términos de b) Suchman afirmaba que la responsabilidad de un evaluador acaba cuando
efectividad del coste, reincidencia y diversidad de los resultados. ya ha hecho las recomendaciones que son resultado de enjuiciar el éxito 1)
d) el producto, el trabajo, la suficiencia del trabajo, la eficiencia y el proceso, o fracaso de un programa. ,)
son las categorías útiles que- determinan el éxito o fracaso de los pro- d) Suchman consideraba que el evaluador y el administrador de un progra-
gramas. ma deben discutir los objetivos y procedimientos planificados para la eva- )
luación antes de que ésta empiece. )
Respuesta correcta. Debe usted haber seleccionado la «d». Estos son los
criterios que Suchman proponía para valorar el éxito o fracaso de un programa. INTERPRETACIÓN DE SU COMPRENSIÓN DE LA UNIDAD, Es recomendable que )
relea aquellas preguntas que le hayan resultado difíciles o confusas, y las utilice )
Respuestas incorrectas como base para repasar las correspondientes secciones de la unidad.
)
a) Aunque Suchman insistía en la necesidad de valorar los programas con )
relación a su práctica, apuntó criterios específicos para valorar el éxito Preguntas sin respuesta
de un programa, como se ha subrayado más arriba.
b) El concepto de Suchman de los criterios apropiados no se reducía, obvia- Las siguientes preguntas pueden resultar útiles para iniciar un debate:
mente, a las variables intermedias y a los resultados inmediatos.
,~
c) Suchman no incluyó la reincidencia y la diversidad de los resultados entre 1. ¿En qué se diferencian, según Suchman, la investigación básica y la inves-
las principales categorías de criterios que recomendaba. tigación evaluativa?
i
2. ¿Cuáles son, para Suchman, los propósitos principales de una evaluación? ')
3. ¿Cuáles son los principales aspectos del modelo propuesto por Suchman
PREGUNTA 12. ¿Cuál de las siguientes afirmaciones refleja más fielmente para demostrar que la primera secuencia causal de una evaluación es sólo )
las concepciones de Suchman respecto a las influencias administrativas y la po- una de las muchas posibles acciones y actividades que conducen a los )
sición del evaluador? resultados?
4. Suchman advertía que la investigación evaluativa está «cargada de consi-
)
i
a) Suchman afirmaba que si los resultados de la evaluación tienden a dismi- deraciones administrativas». Mencione algunas de ellas. ')
,
nuir el poder de la organización, el estudio debe ser considerado benefi-
cioso porque los cambios que se produzcan reforzarán esa debilidad. Ji
b) El evaluador es un juez del éxito o el fracaso y determina la continuación J
o cambio de un programa.
\)
e) La investigación está sujeta a las limitaciones sociales que impone la or-
ganización en la que trabaja el evaluador. )
)
•••••
f.
f. 136 I Evaluación sistemática

t LA PLANIFICACION EVALUATIVA SEGUN

t Referencias bibliográficas 5
CRONBACH: UNA SINOPSIS
f FLECK,A. C. 1961. Evaluation as a 10gicaI process, Canadian Journal o/ Public
t Health, 52 (mayo), págs, 185-191.
HERZOG,E. 1959, Some guide lines /or evaluative research, Washington, D,C., De.
partamento de Salud, Educación y Bienestar de los EE.UU.
t
I
JAMES,G, 1958, Research by local hel!lth departments - Problems, methods, re.
sults, American Journal o/ Public Helath, 48 (marzo), págs. 354-379.
f -.1961. Planning and evaluation o£ health programs. En Administration o/ como
munity health services. International City Managers' Association, Chicago, pá.
«
1 ginas 124-134.
f ,¡ KLINEBERG, O. 1955, The problem o£ evaluation, International Social Science Bu.
lletin, 73, págs, 347-362.

f(". '"
SUCHMAN,E. A. 1954, The principles o/ research designo En J. T, Doby y otros,
An introduction to social research. Harrisburg, Pa., The Stackpole Co., pági.
nas 254-267.
f -,1963. Sociology and the /ield o/ public health, Nueva York, Russell Sage Foun.
dation.
Durante los últimos cuarenta años, Lee ]. Cronbach se ha interesado en
f -, 1966. Medical deprivation, American Journal o/ Orthopsychiatry, 36 (julio),
muchos aspectos de la evaluación de programas de ciencias sociales. Muchas

.
de sus intuiciones en estas áreas han culminado en un libro titulado Designing

•
págs. 665.672.
Evaluations of Educational and Social Programs (CRONBACH,1982), un largo
-. 1967. Evaluative research: Principles and practice in publie service and social y erudito trabajo cuya versión preliminar quedó terminada en abril de 1978.
aetion programs, Nueva York, Russell Sage Foundation.
Con sus 374 páginas, el libro incluye algunos nuevos aspectos para la planifi-

"
",
cación de evaluaciones educacionales, a la vez que discute los pros y los con-

t
tras de algunos de los conceptos de planificación que ya se utilizan.
En su introducción a los problemas que plantea la planificación de evalua-
ciones, Cronbach afirma que planificar una investigación evaluativa es un arte,
porque cada plan debe ser decidido teniendo en cuenta sz' es apropiado o no
para cada nueva empresa, Dice que el evaluador debe estar bien enterado de
f. las elecciones que puede hacer para que las ventajas derivadas de cada carac-
terística del plan puedan compensar los sacrificios que implica la elección. La

tI planificación, por lo tanlo, acaba siendo más bien un problema de cómo de-

,
I
berán repartirse los recursos investigativos, basándose en una selección de las
cuestiones más adecuadas y guiándose mediante consideraciones prácticas y
políticas.
Los fuertes contrastes existentes entre los comentarios dé' los partidarios
del método científico y los entusiastas del método naturalista holístico indican

lr
una polarización tan fuerte que no es posible la reconciliación. De cualquier
forma, Cronbach cree que el conflicto se ha exagerado, y que Ji un trabajo
evaluativo tiende a convertirse en un programa de estudio (más que un
simple estudio) será más conveniente que se le aplique una mezcla de estilos.

l
,, La necesidad de una conciencia política, de una mentalidad abierta y de una
buena comunicación, establecida por el operador, entre las etapas planifica-
doras y operacionales de una investigación son la base de todos los escritos
de Cronbach.
 T
-------_ ... ,"}
)
,
")

138 I Evaluación sistemática

Planificación evaluativa según Cronbach I 139 "}

Las instituciones políticas aprenden de la experiencia evaluativa, y por 5. Investigar el concepto de Cronbach acerca de las perspectivas de la eva- ~
eso la utilizan para sus clientes y para los distritos electorales. La evaluación luación, que incluye la flexibilidad de la planificación, la relación entre
está concebida para acelerar el proceso de aprendizaje por medio de la comu- ~
evaluación y política (limitaciones) y otras consideraciones.
nicación de lo que de otra manera quizá quedaría olvidado o mal comprendido. ~

A causa de su longitud, nos resulta imposible cubrir, en esta breve unidad, Introducción a los problemas más importantes
S
todo el material contenido en el libro de Cronbach (CRONBACH,1982). Si, de ~
todas maneras, usted cree que los temas tratados son interesantes, debe ase-
gurarse de que merece la pena estudiarlos más ampliamente acudiendo al texto Una planificación previsora y flexible
)
completo. Del trabajo de Cronbach, seleccionamos aquí aquellos aspectos que ¡
se adaptan al contexto general, sobre todo los componentes investigativos y Cronbach está convencido de que hay que estimular la planificación de la ')
los recursos de una evaluación, como el lugar que ocupan los distintos estilos evaluación para que resista ciertos tipos de desafíos, porque, en opinión de
en la planificación evaluativa, la descripción de los problemas investigativos )
, I Cronbach, las evaluaciones están concebidas para cumplir una función política.
y la importancia de la comunicación de la toma de decisiones. Además, nos ()
Los desafíos a la información que surgen en las evaluaciones están, a menudo,
acercamos a la concepción de los elementos que forman parte de una planifi-
políticamente motivados. Esta es una característica ineludible de toda evalua-
cación evaluativa: unidades, tratamientos y operaciones de observación (uto).
ción. Para poner una amplia gama de esperanzas legítimas en el resultado de
)
El estudio de esta unidad debe capacitarle para conocer a fondo el pen- )
una evaluación, su planificación debe ser algo cercano a la planificación de un
samiento de Cronbach (en términos generales) acerca de las influencias que
programa de investigación. y así, en el mejor de los casos, la evaluación debe )
soporta la planificación de un programa evaluativo. Al final de la unidad, hay
tener la misma flexibilidad tanto respecto a sus propios resultados como a los
ejercicios para que compruebe sus conocimientos. Ahora le proporcionamos
intereses cambiantes de la comunidad política. Cuando planifica (y replanifica) )
una lista de los objetivos de la unidad. Cuando los haya estudiado, lea la
un estudio profesional completo, el evaluador se esfuerza por hacerlo de tal )
unidad y realice el test de conocimientos, contrastando sus respuestas con
manera que los votantes, los administradores, el personal operativo y/o los
las que proporcionamos nosotros.
políticos puedan tomarse en serio sus resultados. No hay nada más que jus-
)
tifique el esfuerzo invertido en la planificación de una evaluación. )
Las evaluaciones, a menudo, se realizan a petición de un administrador.
Objetivos
Posiblemente, el administrador desee convertir al evaluador en un simple
técnico, planteándole preguntas sucesivas y pidiéndole que aplique técnicas de
Los objetivos de este capítulo son los siguientes:
muestreo, valoración y análisis estadístico, sin reflexionar sobre las implica-
.~
ciones de estas actividades. Cronbach, de cualquier forma, concibe que un
1. Facilitar el conocimiento de algunos de los problemas generales concer- '. )
evaluador exija, y obtenga, una responsabilidad más amplia para que la evalua- i
nientes a la planificación de evaluaciones, teniendo en cuenta una planifi-
ción sea más útil. Aunque los evaluadores no pueden, y no deben, sustituir )
cación previsora y flexible, la utilidad de la evaluación, los métodos alter-
su juicio por el de la agencia patrocinadora, debe permitírseles aportar su
nativos de evaluación, el acuerdo en la planificación de los elementos y
punto de vista acerca de la agenda investigadora. Los administradores, pues, )
el equilibrio en la investigación evaluativa (resumen). ,
deben pedir a los evaluadores competentes que piensen acerca de las posibili- )
2. Presentar el concepto que tiene Cronbach acerca de los elementos de una
dades de la planificación antes de que se tome ninguna decisión.
investigación evaluativa; en particular, las unidades, los tratamientos y
las operaciones de observación; UTOS: el campo de la investigación; defi-
nición de los elementos de uto y UTO; y *UTOS: el campo de la apli-
Cronbach cree que ningún individuo está totalmente cualificado para en-
car?~rse él solo de la planificación y la interpretación; casi siempre, la respon-
sabIlIdad debe ser compartida por un equipo. Este método tiene ciertas ven-
J I

3.
cación.
El conocimiento de varios modos de identificar las cuestiones evaluativas
tajas, puesto que proporciona multiples perspectivas y promueve saludables '1
4.
teniendo en cuenta la fase divergente y la fase convergente.
Destacar la importancia de la comunicación respecto a la utilidad de los
debates profesionales. La planificación, por lo tanto, se desarrolla en dos ni-
veles: una planificación general que reparta prioridades y responsabilidades 1
í...)
entre los miembros del equipo, y una detallada planificación interna del equipo, I
resultados, la comunicación directa y la extrapolación de los resultados. .{
que debe dar como resultado planes basados en la experiencia y las interac-
)
 140 I Evaluación sistemática
ciones de los que constituyen el equipo. Así, la planificación y los estudios',
evaluativos se convierten en algo más reflexivo, ocupándose de los procesos, y ,
no solamente de los objetivos. ' '
Reflexionar sobre los propios acontecimientos es mucho más importante
que confiar en lo que Cronbach llama «proceso de datos irreflexivo». Como'
Carol WEISS (1972), Cronbach cree que la evaluación debe ser contemplada
como una manera de iluminar complejos mecanismos como la variación de los
tratamientos, como un estudio tanto del proceso como de los resultados y
como una información sobre un campo determinado que puede utilizarse en
las tomas de decisiones referentes a otros distintos.
La evaluación útil
Las planificaciones se realizan basándose en ciertas concepciones acerca
de lo que una buena evaluación es o hace. La mejor planificación es aquella
que promete aumentar el beneficio social de la evaluación; la elección entre
las planificaciones alternativas se realiza atendiendo a cómo pueden influÍ!
las evaluaciones en los asuntos sociales. Las instituciones sociales aprenden
de la experiencia, así como de los clientes y de los distritos electorales. La
evaluación, en palabras de Cronbach, está concebida para acelerar el proceso
de aprendizaje, mediante la comunicación de lo que, de otra forma, no se
comprendería o se entendería equivocadamente.
Para ser útil, una evaluación debe tener como núcleo las «actividades
científicas», puesto que si las observaciones presentadas no son realistas o la
interpretación no se basa en un buen razonamiento, la evaluación no tendrá
mucho valor. Por otra parte, un estudio técnicamente admirable puede que-
darse corto si el evaluador no atiende a lo que piensan los individuos políticac
mente más relevantes de la comunidad, como los clientes, el personal del pro-
grama, los burócratas y los ciudadanos interesados.
Como resultado del método científico, el trabajo de los evaluadores puede
provocar intuiciones en otros; así, los evaluadores son educadores cuyo nivel:
de éxito debe ser juzgado, por lo menos en parte, según el éxito que alcancen:"
en el terreno de la comunicación. Cronbach cree que este aprendizaje empieza"
cuando el evaluador se reúne con miembros políticamente formados de la cO:,¡
munidad para resolver sus dudas. Continúa con cada contacto que el evalua-"
dar mantiene con los que participan en el programa o con otros individuos.
relevantes. El informe final es sólo uno de los medios de instrucción de que
dispone el evaluador: el trabajo didáctico reside tanto en el planteamiento de.;
los problemas como en la formulación de sus soluciones. Especialmente en 10"
que se refiere a los problemas relativos al valor, la responsabilidad del evalua-'i;
dar (como educador) es ayudar a los demás a saber solucionar los problemas"
y determinar las acciones más apropiadas para la consecución de los objetivos.";,
Planificación evaluativa según Cronbach I 141
Cronbach insiste en que en todas las etapas de una evaluación, desde la
planificación al informe, es esencial una «excelente información». Como WI-
LENSKY (1967), Cronbach cree que una excelente información debe ser
_ e/ara, porque debe ser comprendida por todos aquellos que la utilicen;
_ oportuna, porque debe llegarles cuando la necesiten;
_ exacta, porque los diversos observadores que utilicen el mismo procedi-
miento deben contemplarlo de la misma manera;
_ válida, porque debe incluir los conceptos y las valoraciones estrechamente
relacionados con la realidad;
_ amplia, porque debe proponer las principales alternativas políticas que tie-
nen más probabilidades de alcanzar las metas de la organización o propo-
ner nuevas metas.
Si 10 que se comunica acerca de una evaluación es su resultado mas lID-
portante, las siguientes preguntas deben ser planteadas cuando la evaluación
haya terminado:
¿A todas las secciones de la audiencia les interesa el mensaje?
¿Lo comprenden?
¿Lo encuentran creíble?
¿Se ha respondido, en la medida de 10 posible, a las preguntas que ellos
consideraban más importantes?
- ¿Han alterado las respuestas sus ideas preconcebidas?
- ¿ Se ha enriquecido y elevado el diálogo sobre las tomas de decisiones
como consecuencia de la evaluación?
Si las comunicaciones responden positivamente a todas estas preguntas, el
plan y los procedimientos evaluativos deben ser considerados buenos. Una
dificultad obvia que se presenta al emitir un juicio es la que se deriva de cada
consenso, puesto que en una situación políticamente viva existe una comu-
nidad formada políticamente y no sólo un individuo que toma decisiones. To-
dos los que desempeñan algún papel en la aprobación del programa o en la
recomendación de alternativas forman parte de la comunidad. Además, de una
manera ideal, el evaluador debe esforzarse por llegar a los ciudadanos más
pasivos, a los que debe animar a hablar y cuyas preguntas deben ~er respon-
didas mediante la adecuada comunicación.
Una evaluación debe reducir la incertidumbre mediante alternativas pro-
puestas a su audiencia. Además, debe complicar los conceptos que sean dema-
siado simples o demasiado seguros. Aunque los evaluadores quizá no sean
capaces de persuadir a todos los segmentos de la comunidad política para que
utilicen sus conclusiones del modo más completo, deben ir siempre en esta
dirección.
 142 I Evaluación sistemática
--------_~I~
Planificación evaluativa según Cronbach I 143 ~
~

Una planificación evaluativa debe conducir a un estudio que clarifique los

problemas de todos los implicados y delate cuándo ha. tr~bajado con falsas s~po- ~
siciones o pasado a la acción sin demasiado conOCImIento de causa. ASI, la El consenso en los elementos de la planificación ~
evaluación más útil es aquella que proporciona una gran cantidad de sugeren-
cias para solucionar futuros problemas y clarificar significados. Cronbach afirma que existe un acuerdo general según e! cual la sociedad
~
Cronbach afirma que los programas evaluativos convencionales centran su debe renovarse. Las instituciones y los servicios sociales rara vez son como ~
atención en una sola agencia, técnica o intervención. Aunque esta estrategia podrían ser, e incluso los planes que una vez funcionaron se vienen abajo
es útil y necesaria, a la larga puede perder eficacia, porque puede que no con- ~
cuando cambian las circunstancias sociales. Por lo tanto, se hace necesario
duzca a la comprensión de! problema básico. La consecuencia de esto para algún tipo de evaluación que mejore este panorama. ~
una evaluación parece estar clara .. Lo más difícil es mantener la esperanza También existe un acuerdo acerca de que la evaluación debe ser empírica 1
i puesta en una línea de intervención concreta; lo más importante es que la y que los acontecimientos deben ser examinádos en los lugares donde se de-
I i evaluación contribuya a la comprensión básica de! fenómeno. Cuando una eva- ')
sarrolla e! programa. Ni los evaluadores humanísticos ni los científicos conduc-
¡ luación alcanza este nivel, puede aspirar razonablemente a un avance social en
la comprensión del área en cuestión.
tistas consideran esto necesario. La tradición humanista, de cualquier forma, ')
puede llegar a asegurar que un programa es válido por derecho propio. Ade-
más, cualquier conclusión a la que se llegue acerca de los hechos recopilados
)
es una deducción que va más allá de los datos. Son falibles y se basan en pre- )
Enfoques evaluativos enfrentados suposiciones o hipótesis de trabajo; así, las conclusiones son verosímiles en
)
mayor o menor grado. Debe siempre recordarse que las estimaciones estadís-
Los fuertes contrastes existentes entre algunas de las afirmaciones de los ticas se esperan con incertidumbre. )
partidarios de! enfoque evaluativo científico y los entusiastas del naturalista Sin embargo, puede advertirse un consenso inconsciente entre humanistas )
u holístico sugieren una polarización tan rotunda que no es posible la recon- y conductistas cuando los partidarios de la experimentación empiezan a hablar
ciliación. De todas formas, Cronbach cree que el conflicto se ha exagerado y de comprensión o de intuición, puesto que esto supone acercarse mucho a los )
que si un trabajo evaluativo se convierte en un programa de estudios (m~s estudios naturalistas que ellos practican. Los investigadores naturalistas repar- )
que en un solo estudio) tiene más posibilidades de emplear una mezcla de estI- ten los recursos entre los numerosos tratamientos, procesos y variables exter-
los. Una evaluación, en otras palabras, puede incluir todo tipo de investiga- nas, y buscan datos para los modelos. Presentan e interpretan muchas relacio- )
ciones, y sólo de esta manera podrá ser valorado e! significado total de una nes que no son, en modo alguno, estadísticamente significativas. En otras pa-
situación. labras, optan por la extensión a expensas de la fidelidad, por lo que adoptan
La mayor dificultad a la que se enfrentan los evaluadores, de cualquier un compromiso entre e! énfasis que ponen en el control férreo y la sobriedad,
forma, es que deben decidir sobre la distribución del trabajo investigativo en por una parte, y la ausencia total de controles, por otra. Resumiendo, parece ~
un proyecto y tiempo concretos; así pues, los cambios proyectados a largo existir un cierto consenso entre los autores importantes según e! cual en muy
plazo deben ser el principal centro de atención de los evaluadores. Un estudio
)
pocas ocasiones debe dependerse de los métodos evaluativos estadísticos y de i
I concreto, por lo tanto, puede exigir más énfasis en sus predilecciones experi- sus conclusiones. ,)
mentales que en las naturalistas. Por su parte, Cronbach ha utilizado ambos Cuando planifica e! estudio, el evaluador debe hacer algunas elecciones. )
.' métodos, según la naturaleza del estudio. De cualquier manera, y en general, Entre ellas pueden encontrarse, quizás, un tratamiento regularizado que no
su libro concede más importancia a la planificación de evaluaciones estructu- puede operar en ausencia del investigador, que reduce las variabilidades (esto )
radas que a la planificación de estudios concretos o al método iluminativo. es, e! método experimental tradicional) o un método naturalista que tenga en )
Cree que, hasta ahora, se han producido pocas reflexiones acerca de los méto- cuenta interpretaciones heterogéneas de la institución bajo circunstancias ope- I
dos más naturalistas porque no ha existido un intercambio de puntos de vista rativas normales. De cualquier manera, Cronbach insiste en que e! evaluador .)
comparable al que se ha producido en el campo experimental. Como conse- «puede escoger un plan cualquiera, desde el estudio artificial totalmente con- '~
cuencia, los problemas que han dividido a métodos distintos, como el natura- trolado y reproducible, hasta e! estudio naturalista, más libre y oportunista».
lista y e! experimental, permanecen aún en la superficie. .)
)
)
i

~)
1 Planificación evaluativa según Cronbach
El equilibrio en la planificación evaluativa: resumen
.,
"
Lo dicho en la sección anterior indica que algunos evaluadores, en la pla-
:f nificación y la práctica de su estudio, pueden llegar a utilizar tanto el método
(~ científico como el humanístico. Por otra parte, otros insisten en que sólo hay
que aplicar un estilo en cada estudio.
1 Aquellos que están a favor de los tests sumativos formales también son
.~ partidarios de la objetividad en la observación y el análisis. Por el contrario,
los que prefieren el estudio de casos concretos son también partidarios de la
ff interpretación impresionista. El primer grupo insiste en el carácter fijo de la hi-
pótesis que está siendo examinada, mientras que los segundos destacan la cre-
•• ciente calidad de las cuestiones investigativas. Cuando el investigador no puede
especificar adecuadamente en la planificación las variables más significativas, el
~ estudio se desarrolla en un contexto de descubrimientos. El descubrimiento
!. proviene de los datos recopilados, que se interpretan a la luz de la experiencia
previa del investigador (directa o procedente de otros). Las planificaciones
más férreas, por otra parte, son convenientes si las variables pueden ser clara-
mente definidas y las hipótesis claramente formuladas. La principal misión de
~.
una planificación férrea, en la ciencia básica, es proporcionar una base objetiva,
reproducible e incuestionable para la predicción de una teoría.
Cronbach afirma que no se plantea necesariamente conflicto entre el con-
trol experimental y la utilización de información cualitativa o interpretación
subjetiva, o la exploración libre de prejuicios y la producción de evidencias
objetivas. Esto quiere decir que incluso un experimento formal puede incor-
porar entrevistas de los operadores del programa y los clientes de una manera
indefinida y, por último, apUcar «codificaciones ciegas para obtener datos me-
canizados compatibles». Por otra parte, los datos cuantitativos y muy estruc-
turados pueden ser utilizados para la construcción de hipótesis en estudios de
casos concretos. Algunos autores, además, dejan claro que ellos pueden como
,
binar una planificación férrea con una interpretación subjetiva. Scriven, en
concreto, propone que los evaluadores informen si el tratamiento es bueno
.0 malo, para que así incluyan sus propios valores en el juego. Por su parte,
los observadores naturalistas pueden inyectar objetividad en su est1,ldio docu-
4. mentándolo con anécdotas y también utilizando observadores adicionales que
se centren en aspectos concretos del programa que se está evaluando.
4 Al diseñar y llevar a cabo una evaluación, el evaluador avezado debe
( decir cuáles son sus preferencias en cuanto a la metodología que se debe em-
,( plear para facilitar la resolución de un problema político concreto en un mo-
mento determinado, y debe «fortalecer su estudio en algunos aspectos y mano
I( tenerlo flexible en otros. Según parece, incluso el más firme partidario de algu-
1. no de los estilos de investigación evaluativa está preparado para abordar el
estilo opuesto para seguirlo en ciertas tareas.»
i después del tratamiento, y utiliza un cierto tipo de tests, o envía a alguien
l
í'.l~-
¡ 145
Cronbach resume la reflexión acerca del «continuum» existente entre la
planificación científica y la humanísti.ca con la siguiente a£i~mación: ;<La retó-
rica que establece oposiciones polanzadas entre los estudlOs expenmentales
y los naturalistas es útil sólo para llamar la atención sobre ciertas cuestiones
críticas. »
En la planificación real, casi siempre es conveniente introducir algún tipo
de control -en la recopilación de datos, e incluso en la manipulación del
tratamiento- y hacer alguna observación naturalista acerca de los aconteci-
mientos, todo ello en el marco de la estructura planeada. El equilibrio entre
los estilos debe variar de una cuestión a otra, y quizá modificarse (¡en cual-
quier sentido!) a medida que se desarrolla el trabajo evaluativo.
Los conceptos de Cronbach acerca de los elementos
de una planificación evaluativa: Uto
Las conclusiones derivadas de una evaluación deben indicar lo que ocurrirá
si se adopta un cierto plan de intervención en un cierto tipo de situación.
Estas conclusiones pueden ser predicciones acerca de la presentación del pro-
grama, de la reacción ante los clientes, del cambio de comportamiento, del
cambio institucional, etcétera. El planificador de una evaluación debe esfor-
zarse por asegurar (en la medida de lo posible) que el contenido de sus con-
clusiones son tan válidas y persuasivas como sea posible. Finalmente, «la vali-
dez consiste en un escrutinio crítico de la lógica de cada interpretación y en
las operaciones investigativas consiguientes».
Unidades, tratamientos y operaciones de observación
Cronbach presenta una teoría en la que puede basarse cualquier recomen-
dación referente a la planificación. El concepto abstracto caracteriza la mues-
tra, el dominio estricto en que esa muestra resulta significativa, el dominio
afectado por las decisiones tomadas por la comunidad y las relaciones entre
estos tres aspectos. Los tres conceptos abstractos son unidades, tratamientos
y operaciones de observación. AsÍ, un evaluador debe atender a 10 siguiente:
1. Unidades: cualquier individuo o clase.
2. Tratamientos: una unidad está expuesta a la realización de un tratamiento
concreto; por ejemplo, un profesor selecciona y organiza lecciones, y las
explica de un modo que puede ser claro o confuso; asÍ, la ejecución de
algo puede variar aunque esté sujeta a un tratamiento regularizado.
3. Operaciones de observación: el evaluador obtiene datos antes, durante y/o
 ------_ ')
•...,
J
)
146 1 Evaluación sistemática
Planificación evaluativa según Cronbach I 147
J
a la clase para que recoja algún tipo de impresiones. Estas son las opera- ')
quier escuela que se esfuerce por ofrecer a los estudiantes una metodología de
ciones de observación.
aprendizaje individualizada; otro estudio puede definir un tipo especial de ')
metodología de aprendizaje individualizada y centrar su atención sólo en los
Cuando comenta un estudio concreto, Cronbach se refiere a las unidades ')
ejemplos de un modelo de actividad. Es importante destacar que cuando cambia
que participan en el estudio, a los tratamientos rea~izados y a las observacio-
la definición, también cambia la cuestión que está siendo investigada direc- ')
nes como uto, respectivamente. Cada u va emparejada con, ~l me~os, una t tamente.
y una o, lo cual forma el símbolo uto, que se refiere al e:tudlo re~llZado, o a ')
Cronbach insiste en que la planificación ideal define un UTa, y luego los
cualquier parte de un conjunto de estudios que puede realIzarse baJO un~ espe-
planes para seleccionar un uto que lo represente. Si la planificación es lógica ')
cificación concreta. Así, uto puede referirse a los datos de una sola umdad o
y se lleva a cabo estrictamente, pueden legítimamente inferirse de los resul-
a los de toda la muestra.. . . ')
tados de uto los probables resultados de UTO.
Cuando se han seleccionado las unidades, resulta inevitable haber mclUldo
las características del marco local. Por ejemplo, si se ha estudiado a los pro-
Los elementos u, t y o son casuales. El evaluador piensa en u como en la )
muestra de una población y controla el muestreo hasta donde le resulta posi-
fesores se habrá hecho según su contexto social y no como individuos aisla- )
ble. El evaluador define la recopilación de unidades de interés -la pobla-
dos. L~s profesores están influidos por los directores, por las tensiones que
ción, U- y diseña cuidadosamente una muestra representativa. El informe )
se desprenden de las relaciones interpersonales y por las negociaciones del
acerca de las observaciones de un caso concreto, o, se toma como representa-
sindicato (por mencionar sólo algunas de las muchas influencias posibles). Ade- )
ción de todos los demás casos; idealmente (si no lo impiden los costos) debe-
más, el contexto es muy amplio. El clima intelectual y político de una situa- )
rían disponerse de datos de cada o en O. Un punto de vista similar se aplica
ción determinada afecta a todas las unidades. Más aún, las conclusiones acerca
a t y T, puesto que el tratamiento designado define un tipo de realizaciones )
de una situación determinada en un momento dado no tienen por qué repetirse
que interesan al investigador, y las realizaciones son una muestra de todo el
necesariamente algunos años más tarde, incluso en esa misma unidad. )
dominio. Lo cierto es que, por lo general, U, T y O, en una evaluación,
dependen del muestreo y de los peligros que éste esconde. Un evaluador, al )
planificar un estudio, debe tener siempre presente que el carácter y las varia-
UTOS: El dominio de la investigación )
ciones de las respuestas pueden contribuir a la formación de generalizaciones
Cronbach afirma que los dominios correspondientes a uto son U, T y O.
inexactas resultantes de los datos recopilados, quizá cuidadosamente, durante )
el proceso de muestreo. __",
Estos se combinan con S en UTaS, un concepto que será explicado más tarde.
No es inusual el concepto de una población U no homogénea de la que se
Por definición, UTa especifica la clase de combinaciones unidad-tratamiento-
extraen los datos. En UTOS, Cronbach amplía este concepto. Afirma que
operación que el investigador pretende describir según la base de uto. Por
en la investigación más social, t y o se conciben como fijos, mientras que no
ejemplo, un programa de seguimiento diario puede llevar a cabo ciertos planes ~
ocurre lo mismo en la evaluación de un programa. El intérprete de los datos
concebidos para niños de un determinado tipo de familias, haciendo referencia )
generaliza, quizás inconscientemente, sobre la realización de los tratamientos ,
a la evidencia de cuestiones concretas como las revisiones de salud efectuadas
i~ual que sobre las escuelas o los estudiantes. De un modo similar, el proce- I )
por un médico, las informaciones de la madre respecto a la utilización del
dImiento de observación que se emplea es uno más entre las muchas realiza-
tiempo libre y la aceptación del servicio por subgrupos concretos de la comu- )
ciones posibles de un plan. La S de UTOS representa un marco de acción
nidad. Este plan de un tipo de combinación unidad-tratamiento-operación es
(setting: S) que debe ser considerado fijo. Según esta convención, cada estu- )
un ejemplo de UTa. Cronbach define UTa como el <<universo de las observa-
dio tiene sólo un marco de acción (aunque las unidades están relacionadas con
ciones admisibles.» Lo cual quiere decir que cualquier uto observado cae den- sectores distintos de este marco). )
tro de los dominios que interesan al investigador.
)
Si la definición es adecuada, los lectores independientes estarán de acuerdo I

en qué ejemplos de unidades, realizaciones u operaciones forman parte de ')

Definiciones de los elementos de uta y UTa i
UTO. Además, el orden y la distribución de uto dentro de UTO debe (ideal-
)
mente) armonizar con los intereses del investigador. Como afirma Cronbach,
. La unidad es la entidad independiente más pequeña sobre la que la influen- )
el dominio puede ser estrecho o amplio. Por ejemplo, un estudio puede inves-
CIa del tratamiento es totalmente operativa. La unidad puede ser concebida
tigar métodos de estudio independientes basados en datos aceptados de cual-
como un «sistema». Es lo suficientemente completa y autónoma como para J
,)

1 148 I Evaluación sistemática
..
, que sus experiencias y respuestas no estén influidas por las experiencias y
respuestas de entidades paralelas.
Muy a menudo, los objetos que se investigan tienen una estruc~ra. de
nido. Por ejemplo, los alumnos en sus clases, en las escuelas, en los distrltOS
y en los estados.
El nivel que se escoja para ser la unidad depen?e de un~, concepción sustan-
cial del mecanismo mediante el cual opera la lntervenClOn propuesta y del
nivel en que aparece esa intervención.
La elección de la unidades una decisión delicada. Debe tenerse en cuenta
que la presuposición de independencia se debilita cuando se utiliza el más
alto nivel de la jerarquía como nivel de la unidad. Por otra parte, puede ser
ventajoso definir el plan de muestreo en muchos niveles dist~tos. , los sujetos, el evaluador debe representar los intereses del cliente definiendo
En la planificación de un estudio, el problema central es Juzgar cuales son
las unidades de tratamiento independientes. De aquí se sigue la elección de las
unidades para el muestreo, junto con las conclusiones de ti que resultan váli-
das para U. '.
En cualquier estudio manipulador, el evaluador deSIgna unas cuantas acclO-
nes que influyen en el curso de las unidades. El tratamiento des!gnado par.a
la unidad es T, mientras que el tratamiento que realmente se aphca a la UnI-
dad es t. Las actividades del tratamiento real (t) no suelen estar enteramente
de acuerdo con las designaciones del investigador, puesto que pueden existir
variaciones respecto a la planificación del estudio. Cronbach afirma que cuan-
do se somete a prueba una serie de materiales didácticos, una descripción
completa del t real debe incluir, por ejemplo, el ritmo al que los ~rofesores
desarrollan su trabajo, los ejercicios propuestos, las recompensas aSIgnadas a
los estudiantes, etcétera. Estas descripciones reales de t discrepan de las afir-
maciones generalizadoras de T al incluir 10 que se conoce comúnmente como
«distribución»: aquellos elementos de un tratamiento planificado que influyen
realmente en la unidad ti. La designación de T puede, desde luego, incluir
directrices, instrucciones y procedimientos de supervisión, requisitos del per-
sonal que lleva a cabo el tratamiento, materiales didácticos y detalles para el
tratamiento de los acontecimientos; o, por el contrario, puede no ser más que
una designación global tal como «una progresión individual dentro de las cl~-
ses», en la que será admitida cualquier realización que responda a esta etl-
queta.
Las operaciones de observación incluyen tests, entrevistas, visitas a las cla-
ses {en el caso de las escuelas), grabaciones de diálogos y procedimientos para
codificar las observaciones y la utilización de datos archivados. Puede reali-
zarse, además, una observación de los antecedentes de la situación inicial!
final de los logros que pretenden conseguirse, de las aptitudes y de las aCt!-
tudes , así como de las diversas variables intermedias o procesadas. En el esta-
---------- •••• ;EW~ii..;.
Planificación evaluativa según Cronbach I 149
dio del diseño de una evaluacioo el ideal es designar procedimientos tan claros
que otro investigador sea capaz de recopilar datos comparables. Lamentable-
mente, ésta no es la práctica normal.
En las ciencias naturales, Cronbach afirma que los procedimientos suelen
ser tan regularizados que la distinción entre la clase O y el ejemplo o tiene
muv poca importancia. Por el contrario, las valoraciones del comportamiento
no pueden ser demasiado regularizadas. El énfasis puesto comúnmente en la
«definición operacional» consiste en designar una clase más homogénea de
procedimientos. De esto se sigue que la o designada para formar parte de esa
clase debe concordar con ella. Aquellos que utilizan el informe evaluativo, de
cualquier forma, están a menudo más interesados en una estructura más am-
pliamente definida. Más que escoger un solo procedimiento para aplicar a todos
un dominio de las diversas actividades asociadas con el concepto que se está
investigando. Por ejemplo, más que afirmar que debe valorarse la compren-
sión de la lectura, puede ser preferible designar unas cuantas formas distintas
de comprender la lectura; todos estas tareas acaban siendo elementos de O.
Cronbach subraya que la clase ti debe ser designada con mucho más cui-
dado que U y T, puesto que una definición vaga de las variables que deben
ser valoradas es insuficiente y posiblemente conduzca a errores.
.UTOS: El dominio de aplicación
Una versión más depurada de UTaS, y algo que Cronbach considera bási-
co para su argumentación, es el desarrollo del concepto de ;'UTOS. El aste-
risco se pone al principio (así «estrella UTaS») porque un asterisco al final
quizá podría sugerir UTa en S*.
Sólo una pegueñafracción de la audiencia (si es que existe alguna) se inte-
resa primordialmente por los UTaS que define el estudio. Se interesan más
en aspectos particulares del informe. Esto es lo que Cronbach llama ;'UTOS,
un concepto que difiere del original en algunos puntos. Para los interesados
la evaluación tiene un valor y un propósito sólo si sirve para proporcionar
extrapolaciones razonables a partir de una observación de las circunstancias
de los *UTOS, con su interpretación individualista de las observaciones.
Como consecuencia, si una evaluación quiere ser útil, los resultados deben
reducir la incertidumbre acerca de los problemas políticos incluidos en los
;'UTOS una vez que han sido recopilados los datos (basados en observacio-
nes). De esto se sigue también que, en la planificación de un estudio, el eva-
luador debe anticipar, tanto como le sea posible, los U~', T* y 0* que los
clientes y las audiencias deseen conocer, y también debe hacer algunas consi-
deraciones acerca de S~',como se muestra más abajo.
La pregunta acerca de si esto funcionará con nuestros estudiantes se re-
 150 I Evaluación sistemática
:r !
•

. ,...,.<-,:'. '
.1
o

Planificación evaluativa según Cronbach I

--==)

151
")
-\
")

fiere a la designación de una U". Cronbach afirma que una diferencia de r~sul- está estudiando es impermeable al cambio social o porque el cambio es dema- .~

tados producto de una operación de laboratorio puede no darse en las SItua- I

siado pequeño como para representar un problema». Además, si una cuestión ')
ciones cotidianas de una escuela, o que una diferencia producto de una muestra se investiga directamente puede presentarse con la forma de un parámetro de
nacional representativa puede no coincidir con los dis~ritos escolares ~ás pu- un UTaS para proceder a su estimación. Cronbach afirma que el parámetro ~
dientes o más aislados. La cuestión es que U y U" difieren y que la Impor- puede ser un medio, un coeficiente de regresión o una proporción de casos
tancia de sus diferencias «será más acusada cuando se tomen acciones que
~
de una categoría. Cuando las cuestiones no se investigan directamente, pueden
afecten a U"». presentarse bajo la forma de un parámetro de *UTO del que se busca una )
Si la O original es limitada, las audiencias pueden interesarse en ~* y estimación. Por ejemplo, el responsable de un programa puede desear conocer
recibir una satisfacción mayor con la definición más concreta que proporcIOna. el valor de un indicador concreto de la motivación de un estudiante (0*)
Por ejemplo, un curso de matemáticas puede apare~tar tener éxito cuan~~ O si unas reglas concretas acerca de la educación multicultural (un T*) se han ~~
se limita sólo a las lecciones explicadas. De cualquIer forma, algunos cntlcos promulgado para todos los distritos escolares de un estado (U"). )
pueden argüir muy bien que los que han aprobado ese curso. no se defienden "UTaS, el dominio de aplicación, es un aspecto central y básico de la
bien en la resolución de problemas. Entonces puede muy bIen ser adoptada )
planificación de cualquier evaluación, que consiste en ofrecer información es-
una determinada valoración de O" que solucione las cuestiones adicionales pecífica y necesaria a las audiencias. )
del curso. " )
Como ya se ha mencionado al principio, la audiencia de la evaluac~ón e.st~ 1
muy interesada en si debe o no adoptarse el experimental T del estudIO ongl- La identificación de las cuestiones a investigar )
nal. A medida que el estudio avanza, las discusiones acerca de él sugieren I

Cronbach afirma:
)
variaciones para mejorar el plan original. Cada una de estas variaciones se con-
vierte en un T*. Cronbach facilita un interesante ejemplo de este fenómeno: )
Los problemas de una investigación provienen principalmente de las incer-
Cuando se volvió por primera vez a la educación compensatoria, algunos tidumbres de los miembros de la comunidad que debe tomar las decisiones,
)
I

centraron su atención en que UTO debía utilizarse para recopilar los datos.
Unos propusieron un cambio del tratamiento: «Está muy bien informar ne-
gativamente sobre el "Head Start" (T); ¿pero acaso ello no demuestra que
el tratamiento compensatorio necesita prolongarse más (Ji')?» En consecuen-
cia el "Follow Through" fue preparado como un T* (y evaluado más tarde
directamente)*
Es interesante advertir que el dominio del tratamiento puede cambiar
cuando las consideraciones se desplazan de UTaS a UTOS* -«incluso cuan-
do la designación operacional de T permanece inalterala»-. Si U se convierte
en U* o S en S* la frecuencia de las realizaciones cambia porque la manera
en que se realiza ~n tratamiento depende de los marcos loc~les .Y de los i~pli-
cados así como de otros factores como los ambientes orgamzatlvos o SOCIales.
Así, S* puede ser un aspecto significativo de *UTOS cuando cambia la po-
blación. .
Quienes interpretan los resultados de una evaluación a menudo se pregun-
tan esto: ¿ qué diferencia implica el paso de UTOS a *UTOS? Posiblemente,
el cambio no tiene muchas consecuencias «ya sea porque el fenómeno que se
" * El Head Start y el Follow Through son dos momentos de un programade apren;"~
dizaje; el primero, de principios básicos y el segundo introduce ya en la tarea que se .
trata de asimilar. [T.]
o de los desacuerdos entre esos miembros, cada uno de los cuales está con- )
vencido de que su solución es la buena. Identificar los problemas más impor-
tantes es un primer paso en la planificación de una evaluación; el segundo )
es una distribución apropiada del trabajo.
El evaluador, según Cronbach, no es un agente libre para escoger los pro-
blemas que deb.en investigarse, porque el patrocinador puede querer respues- ,~)
tas para determlnadas preguntas y no para otras. Y hay más. Un administrador
puede no querer ajustarse a un esquema experimental por muchas razones o .)
¡
quizá los informantes no estén muy dispuestos a suministrar datos. Por o~ra ,)
p~rte, .l~s comunicaciones entre el evaluador y el patrocinador antes de la pla-
.)
n~ficaclOnpue.den hacer que el segundo acepte sugerencias para ampliar el aba- ,
nICOde cuestIOnes.
Se han d~scrito dos fa~es de planificación: la fase divergente, en la que
-(
se.hace una h~ta .de las pOSibles cuestiones, y la fase convergente, en la que se :~
aSIgnan las pnondades entre ellas. En la práctica, ambas actividades se desa- ..(
r~ol1ansimultáneamente. Parece sensato que una agencia proponga a un patro-
.,-~
cmador una evaluación que, antes de abordar un plan operacional, siga los
p.ro~esos de planificación divergente y convergente. Los intercambios y nego-
cla~l~~es consiguientes entre el evaluador y el patrocinador conducirán a una
-(
reVlSlOnde la lista de cuestiones. El proceso de rectificación continuará inevi- 1
tablemente incluso cuando el trabajo en sí haya empezado. -1
(~
 'f
1
152 I Evaluación sistemática
I
I Planificación evaluativa según Cronbach I 153
I
i SUCHMAN(1967), el evaluador necesita una serie de tratamientos que puedan
La fase divergente
concebir el valor de una investigación, o localizarlo allí donde esté realmente.
1 Tanto el patrocinador como el evaluador deben estar enterados de las dife-
Esta fase infunde conciencia al evaluador y al patrocinador acerca de toda
I rentes p~esiones ejercidas por .10s grupos partidistas, que sugerirán ciertos tipos
la gama de cuestiones posibles que deben ser tenidas en cuenta, por lo menos
de cuestlOnes para los tratamIentos. Otras cuestiones pueden ser sugeridas, de
brevemente, en una investigación.
una manera provechosa para el estudio, por personas apartadas del centro de

ORIGEN DE LAS CUESTIONES. Mientras planifica lo que los individuos o

grupos plantean como cuestiones importantes para el estudio, el evaluador
I la acción política. No deben existir desavenencias a la hora de formular las
cuestiones. Más tarde, la realidad política planteará algunas cuestiones mucho
más apropiadas y útiles que otras, pero esto debe ser discutido en la etapa
debe pensar en atender una amplia variedad de informadores. Como conse- convergente.
cuencia, las omisiones serán resultado de las elecciones informativas y no ~e Detrás de cualquier propuesta programática existen dos conceptos: uno se
la visión restringida del patrocinador, el administrador o quien tenga la pnn-
refiere al modo en que las condiciones sociales existentes y los servicios ya
cipal responsabilidad.
ofrecidos se combinan para producir un resultado insatisfactorio, y la otra
Cronbach afirma que «el evaluador se ocupa de producir algo -informa-
se refiere al modo en que un servicio alternativo puede producir un resultado
ción- que tenga valor para los consumidores y por lo que están dispuestos
más satisfactorio. Cronbach, por lo tanto, recomienda un modelo de inter-
a pagar». Así, la decisión acerca de qué producto hay que lanzar es de carác-
vención en el que sus diversas actividades se dispongan en forma de tablas
ter económico y en ella intervienen todos los aspectos de la oferta y la de-
o de gráficos. Esto, en sí mismo, debe evidenciar las cuestiones que resultarán
manda.
valiosas cuando el proceso de intervención y sus efectos queden clarificados
El evaluador tiene ciertas ventajas sobre el patrocinador a la hora de en-
por el proceso evaluativo. Debe destacarse, de cualquier manera, que el pro-
frentarse a las cuestiones que deben resolverse:
ceso de hipótesis y las cuestiones particulares que deben formularse (para la
evaluación) serán distintos en cada variante del programa. Esto resulta cierto
Está libre de prejuicios.
si las variaciones han sido planificadas o reconocidas al tomar forma las dis-
El evaluador puede estar en mejor posición que el patrocinador para reco- tintas realizaciones.
pilar y apreciar las cuestiones más actuales de los círculos políticos y no
La «intensidad» de la intervención debe estar incluida en la planificación.
políticos.
¿Debe prepararse a un equipo numeroso para satisfacer esta necesidad? La
Gracias al conocimiento de otras investigaciones, el evaluador puede reco-
intensidad de la intervención puede también centrarse en cuestiones relativas
nocer los desafíos y las contrainterpretaciones a las que está sujeto el estu-
a las etapas intermedias del programa que se está preparando. Si los resul-
dio, y así sugerir controles específicos necesarios 'para reforzar la razona-
t~dos finales no son los que el cliente esperaba o había anticipado, las eviden-
bilidad de sus respuestas.
CIasde estos procesos y etapas intermedios pueden resultar útiles. Para contro-
El evaluador conoce la situación de su profesión y puede informar al pa-
lar y conservar e~tas evidencias, se debe preparar y emplear a un equipo nu-
trocinador (o al administrador) sobre cómo una cuestión determinada puede meroso para que tntervenga en el estudio.
responderse adecuadamente sin salirse del presupuesto.
RES~LTADOS .. Las metas fijadas por el patrocinador o por los que propo-
De cualquier manera, al final, es la estimación del patrocinador acerca de
n~n la tnterven~lón son una significativa fuente de cuestiones para la fase
la relevancia política y administrativa de las cuestiones la que sirve de guía al
~lvergente. La ltsta debe incluir metas propuestas por otros a los que se haya
evaluador. Lo cierto es que el patrocinador no debe tomar solo este tipo de
tnterrogado acerca de la evaluación, y también resultados intermedios.
decisiones.
Cronbach advierte que incluso una lista bien especificada de metas resulta
necesariamente incompleta com9 fuente de cuestiones si no presta atención
TRATAMIENTO y PROCESOS. En el área de los serVlClOSsociales, el lugar
:a los re.s~l~ados en los que no se. ~abía pensado. El evaluador debe, por lo
que ocupa la evaluación no debe estar sujeto a modificaciones que sirvan a los
oto, dmglr una parte de su atenclOn a los efectos secundarios, igual que hace
propósitos del estudio. En otros casos, los servicios están abiertos a la mani-
c?n las metas. Resulta también importante advertir que en el contexto educa-
pulación; los tratamientos deben ser adecuados para proporcionar una compro-
CIOnalel progreso no tiene nada que ver con el puesto que ocupe el estudiante
bación directa de una propuesta renovadora. En cualquier caso, como afirma

,
l en la escala. Así, la intención global de un programa es «alcanzar sus metas»
 ------."> ]
")
154 I Evaluación sistemática
Planificación evaluativa según Cronbach I 155 ')
y, para ello, debe ser tratado prudentemente por el evaluador. A la hora de )
cuentemente, mucha información se pierde en el curso de la reducción y ,
planificar un estudio, In única pregunta razonable es: ¿qué resultados debemos síntesis de los datos. ")
alcanzar? Si el nivel obtenido es satisfactorio o no, se sabrá cuando haya ter-
3. El alcance de la atención de la comunidad que toma las decisiones: muy
minado la evaluación, «mediante un proceso de negociación política». Incluso ~
pocas personas desean saber todo 10 referente a un programa, y, claro I
aunque el personal de la evaluación deba exigir afirmaciones claras acerca de
está, muy pocos tienen tiempo para dar todas sus opiniones al evaluador.
los distintos resultados que los planificadores del programa pueden tener en
la mente, en la etapa divergente es importante recordar que una definición y ,~
La fase divergente, por 10 tanto, designa qué es 10 que posiblemente pue- (

valoración férreas de las variables, tales como las consecuencias afectivas, no )

de tener valor para una investigación. La fase convergente se dedica a decidir
debe perderse nunca de vista. . qué resulta más aceptable de 10 incompleto. El evaluador puede invertir su
Cronbach afirma que la lista divergente debe incluir resultados conceb1dos : ')
tiempo y su trabajo en el estudio de una cuestión concreta (o de un plan para
para ser examinados sólo cuando la evaluación haya sido terminada y p~esen- hacerla) cuando existan las siguientes condiciones: )
tada. Dice que, a menudo, resulta adecuado acumular datos para que una Inves-
tigación posterior pueda ofrecer un claro p~norama de las con:ecuen~ias q~e )
1. Una gran incertidumbre acerca de la respuesta.
pueden derivarse a largo término. Es necesano que las grandes dlferenc1as eXiS- 2. Una probable abundancia de información. .)
tentes entre los tratamientos no se repitan en las etapas posteriores. 3. Un bajo coste de la investigación.
Una parte importante de la planificación son las discusiones que mantiene ,)
4. Un alto grado de influencia, por su parte, sobre la elección de la infor-
el evaluador con personas que tienen un concepto determinado del programa,
mación (el término «influencia» se comenta más abajo). )
discusiones relativas a quiénes sienten esperanza o temor, o a qué tipo de
)
efectos esperan. Debe tenerse en cuenta la amplia gama de sectores de la comu-
Cuando ya se ha realizado una primera lista de cuestiones, debe plantear-
nidad que toma las decisiones, con el fin de que el evaluador pueda aprender ,)
se en términos de U, T yO, que resulten significativos para los que parti-
a contemplar el programa desde el punto de vista de los distintos (y enfren- .)
cipan en la toma de decisiones. Además, la lista debe contener cuestiones
tados) sectores de la comunidad, incluyendo los profesionales que podrían
acerca de las condiciones artificiales que arrojan una luz indirecta sobre pro-
intervenir en el programa, si es aceptado, y los ciudadanos que se servirían )
blemas prácticos. En el proceso convergente, de cualquier manera, algunas de
de él. Conocer las esperanzas y temores de estos sectores es esencial. Además,
estas cuestiones resultan escogidas para convertirse en UTO del estudio, tras ,)
el evaluador tiene la responsabilidad de incluir en el panorama final estos va- haber sido examinados detenidamente.
lores que no disponen de voz política propia. La meta del evaluador debe ser \f
consultar fuentes divergentes y también aquellas que no se hacen oír fácil-
INFLUENCIA. Cronbach define la influencia como el «peso de una deter-
mente.
minada incertidumbre en el proceso de toma de decisiones». Al planificar I~
una evaluación que deba ejercer alguna influencia en el futuro, un evaluador,
junto con el patrocinador o el administrador, puede necesitar saber qué tipo ()
¡

La fase convergente de informaciones influyentes pueden aparecer sobre un problema concreto. :)

La fase convergente insiste en la necesidad de que sea una amplia diver-
!; sidad de individuos y grupos la que formule las cuestiones. Algunas cuestio-
nes deben plantearse por razones prácticas. Cronbach afirma que existen, por
10 menos, tres razones para reducir la serie de variables tratadas sistemática-
Cuando el estudio haya terminado, puede juzgarse la influencia que ha ejer-
)
cido sobre la comunidad la evidencia presentada en el informe. Un problema
al que la comunidad entera le concede mucha atención ejercerá mucha influen- ~j
cia. También puede ejercer influencia si resulta signficativo para un sector ,)
interesado o para un grupo no comprometido cuyo apoyo u oposición puede
¡

mente en una evaluación: ser crucial. Un problema que influye en muchas decisiones, como en las de ..J I
«ir-o-no-ir», tiene más influencia que otro cuya resolución sólo afecte a deta- ()
lles menores del plan. . i
1. El coste: siempre debe existir un presupuesto límite.
La influencia, por 10 tanto, tiene dos aspectos: la importancia del proble- ,.J
2. El alcance de la atención del evaluador: a medida 'que un estudio se hace
ma o elección sobre los que se basa la evidencia, y el peso que la evidencia ')
más complicado, se hace también más difícil de administrar, la masa de
debe resistir. El evaluador debe tener en cuenta cuánta influencia puede ejercer
información resulta demasiado extensa para ser tenida en cuenta y, canse- 'J
cada una de las soluciones posibles de un problema.
()
 -----------~"S...
156 I Evaluación sistemática
Planificación evaluativa según Cronbach I 157

Cronbach afirma que el evaluador conoce explícitamente los valores de

muchos problemas y programas sociales que exigen su atención. Son muy po-
todo lo que toma parte en una evaluación examinando su influencia. Nada
cas las personas que leen en profundidad un informe evaluativo sobre una
de lo que aparece en la lista divergente de cuestiones merece atención si los
cuestión pública. Además, muy pocos pueden comprender toda la sólida serie
resultados no tienen valor alguno, al menos para ciertas tomas de decisiones. de procedimientos y análisis técnicos.
Cosas que sólo son «bonitas de conocer» no justifican la inversión de recursos
La cuestión más importante es que la tarea informativa del evaluador es
para una evaluación. Hablando de la incertidumbre previa, Cronbach consi-
diferente de la que aborda comúnmente el científico. El científico se dirige a
dera que, cuando las cosas están equilibradas, la atención debe centrarse en la
una audiencia selecta que comparte su lenguaje y su estructura mental. El eva-
cuestión de qué incertidumbre es la mayor; esto es, cuando dos cuestiones
luador, por el contrario, habla a audiencias numerosas y dispersas, muchas
parecen ser iguales ante la investigación, hay que emplear muchos recursos
de las cuales reciben sólo informaciones secundarias y suavizadas. El evalua-
para dilucidar la cuestión de cuál de ellas despierta más la incertidumbre de la
dor que cree que una audiencia ha malinterpretado un informe se encuentra
comunidad.
con que es muy difícil, e incluso imposible, replicar de algún modo.
De acuerdo con esto, el evaluador debe elaborar una escala de prioridad Cronbach plantea dos preguntas:
para el trabajo investigativo:
1. ¿Qué es lo que se puede incluir en un informe para facilitar la compren-
lo-,
1. Si una cuestión tiene mucha influencia y es causa de una gran incertidum- sión del usuario?
bre merece un esfuerzo que elimine esa incertidumbre.
2. ¿Qué supone esto para las primeras operaciones de la evaluación?
2. Si la influencia es poca y la incertidumbre mucha, el esfuerzo está jus-
tificado.
3. Si la influencia es mucha y poca la incertidumbre previa, debe ser recopi- La comunicación directa
lada información incidental.
.~ . 4. Si la influencia es poca y la incertidumbre también poca, el investigador
El evaluador debe considerar la posibilidad de incrementar la comunica-
no debe hacer más que mantener abiertos los canales para recibir infor-
ción directa. Esta comunicación puede ser comparativamente informal a causa
mación incidental.
de la audiencia que debe abarcar y porque su conocimiento público debe ser
tan oportuno como sea posible. El evaluador afirma que quizás el informe más
impactan te es la conversación informal, ya sea en la oficina del legislador o
Planificación de la comunicación alrededor de la mesa de conferencias.
El evaluador, según Cronbach, desempeña un papel muy parecido al del
periodista que investiga asuntos de interés público, juzga qué es lo que merece
La utilidad de los resultados
la atención pública y lo presenta de una forma que atraiga la atención. Las
personas que forman parte del equipo evaluativo tienen una rica experiencia
La utilidad de una evaluación depende del grado en que los miembros de
y u~a oportunidad razonable de intercambiar puntos de vista con el equipo y
la comunidad que toma las decisiones comprendan los resultados y los consi-
los mformadores. Gozan, pues, de una buena posición para llevar a cabo la
deren razonables. Cronbach también cree que la información se pierde inva-
tare.a infor:ua.tiva tanto en un sentido periodístico como investigativo. Si el
riablemente al pasar de la observación al informe. Algunas observaciones nun-
eqUIpo se lImIta a sí mismo a la realización de informes formales, deja a otros
ca son comunicadas por el observador al resto del equipo, algunas se pierden la difusión de su mensaje.
en el proceso de resumen codificador y estadístico y otras se pierden porque
Los evaluadores sospechan comprensiblemente de las limitaciones de sus
no todo puede ser incluido en un informe. Cuando ya se ha escrito un infor-
i?formes. Esta clase de tensión se resuelve únicamente cuando el sistema polí-
me, la información pasa a través de distintos filtros, mientras algunas infor-
tICOaclara el papel que deben desempeñar las evaluaciones. En la concepción
maciones quedan excluidas o alteradas (además, el patrocinador puede supri-
de Cronbach, se sirve mejor al interés público mediante acuerdos institucio-
mir algunas conclusiones). Y es más, la audiencia lo asimila todo selectiva-
nale~ .que permiten a los evaluadores hablar directamente con todos los que
mente y puede tender a simplificar la información o asimilar información nueva
partICIpan en las decisiones acerca de los programas. Es importante, por 10
a la luz de viejas creencias, en lugar de corregir esas creencias.
t~t?, que por lo menos algunos miembros del equipo evaluativo dominen las
Cronbach advierte que una audiencia dispone de un tiempo limitado y de
tecn¡cas de la comunicación informal. Cronbach está de acuerdo con Stake,
r.
 ----']
')
,
)
158 I Evaluación sistemática Planificación evaluativa según Cronbach I 159
I~

que recomienda, para la planificación de informes evaluativos en comunidades Sugerir que el evaluador debe llevar la interpretación tan lejos como le sea ~
grandes, un método que emplea a menudo formas de comunicación poco con- posible, ~on. la convenient.e precaución, ratifica lo acertado de conservar apun-
')
vencionales, como las publicaciones, las conferencias y reproducciones dramá- tes descnptIvos comparativamente ricos. Cronbach subraya el valor de reva-
ticas del programa como apuntes y álbumes de recortes, para llevar el men- lorar periódicamente la planificación del estudio, con el fin de prestar la debida \
saje a las casas. El objetivo es comunicar a la audiencia algo sobre el programa atención a las sorpresas y problemas consiguientes. Es conveniente dilucidar
los resultados intermedios involuntarios que pueden afectar al futuro del pro-
~
y los que participan en él, y no sólo un abstracto resumen. Es necesario que el
evaluador que prevé la necesidad de una información veraz, empiece muy pron- grama antes de continuar las operaciones investigativas acerca de ese pro- ~
to a acumular material que proporcione color y realismo a lo que, de otra grama.
.~
manera, será sólo un relato escueto y poco convincente.
Cronbach cree que es provechoso para los observadores archivar relatos
,)
'+-.......-"
de este tipo que revelen anécdotas ocurridas en las clases junto con los comen- El pronóstico de la evaluación '-'::'~fo'.'r.i:o .•
'1,.-,;'. '':'!'~-J.~''''-.,~ ')
tarios de quienes participan en el programa. Estos memorándums no deben ~IN"":'
estar bien presentados, sino proporcionar un contexto y una continuidad ade- tJr:!\I:;: '.,'. )
cuados. Deben ser más objetivos que interpretativos. En opinión de Cronbach, Flexibilidad del diseño f.4Cl.",,'
.')
das anécdotas ayudan maravillosamente al interés y la credibilidad de los in-
')
formes». Una buena parte del libro de CRONBACH(1982) trata de la elaboración
El informe, ya sea en su información anecdótica o en las valoraciones de controles utilizados para fortalecer las deducciones y sacar algunas conclu- )
formales y estadísticas, debe ser altamente selectivo. Tanto los informes más siones más razonables. Hasta cierto punto, la lista de controles que aparece
)
cortos como los más largos, ya sea con un mínimo contenido técnico o quizá en el libro es una especie de lista de control para el evaluador. Cronbach afir-
con un gran tratamiento, pueden servir a diversas audiencias. Incluso el infor- m~ que algu~os de estos ,con.troles que fortalecen las deducciones son de muy )
me más completo puede ser razonablemente sintetizado en algunas breves afir- baJO cost:, mcluso en. termmos de recursos o aplicabilidad. Especificar qué )
maciones, omitiendo análisis y datos que no parezcan poder influir en las deci- ~!o s~ lntenta estudlar, por ejemplo, es casi gratis. Llegar a esa especifica-
)
siones. Sin embargo, el informe completo puede presentar algunos puntos para ClOndeja al evaluador frente a alternativas que, de otra forma, quizá le hubie-
ilustrar cualquier diferencia, así como también aspectos representativos de la ran pasado inadvertidas. )
categoría no diferencial, obviando así la inclinación que sienten algunos eva- '~ronbach continúa diciendo que quizá nunca exista un programa social
luadores por ahogar al lector con un despliegue de todas las diferencias. medIante el cual todos los recursos evaluativos deban someterse a un estudio
estrechamente controlado que fortalezca las deducciones del más limitado de
los UTa. Sin embargo, en muchos casos, los subestudios estrechamente con- ~
,)
La extrapolación de los resultados trolados pueden ser útiles en determinado trabajo evaluativo. En otros casos,
puede resultar prudente estructurar una investigación de manera que se llegue ( )
¡
Cronbach cree firmemente que las audiencias que toman las decisiones a una buena deducción, y realizar estudios intensivos de los lugares donde se
tienen el derecho y la'necesidad de extrapolar, tanto como puedan, los resul- encuentran las unidades por medio de muestras y a través de métodos natura-
()
tados de cualquier estudio. Así, afirma: listas e incluso i~?resionistas «que permitan al investigador aprender algo ,)
acerca de las actIVldades y procesos que no se han previsto». Como se ha
Sin duda, no es suficiente terminar un informe evaluativo con la advertencia
a~rmado al principio, puede resultar posible combinar la comparación estadís-
de rigor: «Los resultados de este informe son válidos para las condiciones y
~lca.~e los cálculos experimentales y de control, con estudios intensivos de
la población que se ha estudiado. Es necesaria otra investigación para exten-
md1V1duoso grupos por medio de métodos naturalistas.
der las conclusiones a otras condiciones y poblaciones.» El mundo debe am-
pliar las conclusiones para continuar funcionando, y el evaluador goza de
una buena posición para saber cuáles son las ampliaciones posibles.
Las evaluaciones y la política: limitaciones
El evaluador puede, por lo tanto, ofrecer predicciones alternativas, consis-
tentes en distintas series de opiniones. Esto puede conducir a promover discu- Cronbach insiste en el hecho de que las evaluaciones defraudarán inevita-
siones en las que salgan a la luz interpretaciones encontradas. blemente si de ellas se espera que resuelvan algún conflicto político:
,
r"
"

r 160 I Evaluación sistemática

('
Planificación evaluativa según Cronbach I 161
La razonable aspiración del evaluador es producir información que la obser-
( vación menos sistemática del programa no puede producir, o información que Por razones similares, Cronbach sugiere que el plan evaluativo debe per-
sea más verosímil, y por lo tanto más influyente, que la de los informes si. mitir que el personal tenga tiempo para la reflexión en cada etapa del trabajo.
(' milares producto de observaciones menos sistemáticas. Una investigación li- Esta reflexión debe impedir, por ejemplo, que la labor se centre prematura-
t mitada intenta hacer esto ofreciendo buena información acerca de unas pocas
cuestiones importantes; para conseguir el mismo objetivo, una investigación
mente en delicados. ~ complicados problemas sociales. Y puede ofrecer a quie.
nes toman las declslOnes buenos consejos que de otro modo no serían po.
( más amplia produce una información más extensa pero de alguna manera sibles.
,1 . menos segura. La elección de una u otra opción debe basarse en considera- Cronbach cree que una descripción que favorezca un estilo concreto de
ciones acerca de la influencia de las decisiones.
evaluación o ponga el énfasis en ciertos controles, es de una aplicabilidad
f limitada. Según est~ teoría, los evaluadores deben acudir a los juicios prácti-
En otras palabras, el plan evaluativo que resulta demasiado amplio y, por
cos acerca de cuestlones sustanciales y políticas, así como metodológicas. No
"
(
10 tanto, demasiado superficial para un contexto determinado, puede ser com-
pletamente apropiado para otro. El estudio que se centra estrechamente en
deben emitir juic~os sin asesoramiento; deben aliarse con los patrocinadores,
los colegas profeSIonales o las partes políticamente interesadas:
un objetivo y obtiene una información coherente pero limitada, puede resul.
1
tar adecuado para un contexto pero totalmente inadecuado para otro. El evaluador que utilice este sistema de localizar y sopesar adecuadamente
( 1,
Cronbach consideraba las evaluaciones como investigaciones a corto plazo las cuestiones. :valuativas necesita una gran preparación, más amplia de la
f que se proponen aclarar decisiones correspondientes a la «agenda política que .sue1e recIbIr. Las teorías políticas, filosóficas y organizativas pueden ser
actual o que están a la vuelta de la esquina». El valor de una evaluación no tan Importantes, a la hora de planificar una evaluación potencialmente influ-

,
( se limita únicamente a su contribución a este tipo de decisiones. La sociedad
aprende de su experiencia con el programa y aún más claramente del servicio
~ prestado por la evaluación. La evaluación contribuye a fomentar la reflexión
acerca de los problemas de un determinado medio social, y así genera nuevas
f ideas y sentimientos a partir de los cuales aparecen posibles áreas de cambio
y métodos de apoyo. El valor de una evaluación, por 10 tanto, no se limita a
(
, su influencia sobre el destino del programa que se estudia. Cronbach subraya
()- que cuanto más aclare la evaluación el fenómeno, más duradera será su influen-
yente, como el conocimiento de las estadísticas y de la llamada teoría del
desarrollo del niño.
Como .~ntes y~ ~icieron Stufflebeam y Stakes, Cronbach afirma que cuando
la evaluaclOn se dIvIde entre los miembros de un equipo, el equipo debe tra-
bajar .como una sola uni~ad si desea que aparezcan las intuiciones. Aunque
los mlem~ros de un eq~lpo deben conocer a fondo los aspectos principales
del estudl.o; los que estan en el centro del proyecto deben asumir la mayor

~ " . cia en 10 que se refiere a la comprensión de los problemas y a la estructura

de futuros programas.
1]
f
'1'
:¡ .
Otras consideraciones
Cronbach considera que la evaluación tendrá una gran trascendencia
cuando las planificaciones y estudios pongan el énfasis en el valor de los éxitos
y fracasos, más que en la simple valoración de los objetivos. Son necesarias
nuevas intuiciones, y, por 10 tanto, el investigador no debe limitarse a las
cuestiones que identifique de antemano, aunque sean importantes. Es también
muy importante para el evaluador no retrasar el informe hasta que haya solu-
cionado todos los problemas que debía dilucidar. Por el contrario, el evalua-
dor puede necesitar acudir a la comunidad que toma las decisiones antes de
que el tratamiento haya seguido todo su curso. Esta es una razón por la que
la estructuración, la planificación, la observación y la interpretación (destinada
a quienes toman las decisiones) deben discurrir más simultáneamente que
sucesivamente.
res~onsablJ¡dad a la hora de establecer las prioridades, interpretar las obser-
~aCl~nes y recopilar experiencias de primera mano de los clientes y otros
ImplIcados. De esta manera, el equipo, considerado como un todo, se situará
en la pe~spectiva. correcta e interpretará adecuadamente los datos computados
y. otras mformaclOnes .. Es necesari?, pues, que algunos miembros del equipo
dl~pongan de observaCIones de pnmera mano y las comuniquen a los otros
mIembros.
. Fina~mente, Cr~nbach afirma que la evaluación puede resultar peligrosa
SI la socIedad restnnge los programas que los evaluadores condenan y ponen
e.n marcha. aquell~s que recomiendan. Los evaluadores prestan un s:rvicio va-
lIoso y satlsfactono, descubriendo hechos y relaciones que a los observadores
~asuales. les pasan por alto. Cronbach cree que los evaluadores tendrán una
InfluenCIa mayor en los años venideros, con el perfeccionamiento de su arte
y con la progresiva confianza de la sociedad «en los estudios sistemáticos que
ofrecen para proporcionar información».
 ------_ •... )
")

~
162 I Evaluación .sistemática
I
Planificación evaluativa según Cronbach 163 ~
a) basándose en los deseos del cliente, ~
I
Test de conocimientos sobre la unidad 5 b) llevando al máximo la objetividad, los controles, la regularización y la ")
estabilidad del proceso información-recopilación,
e) promoviendo un debate profesional acerca de los resultados del estudio ~
Este test de conocimientos contiene nueve preguntas con muchas respues- d) llevando al máximo la influencia potencial de la evaluación en los asun: )
tas para escoger una. El propósito de estas preguntas es determinar si ha tos sociales.
alcanzado el conocimiento suficiente de los objetivos de conocimiento de la ~
unidad. En cada caso, rodee con un círculo la letra que usted considere que Respuesta correcta. Debe usted haber respondido «d». Cronbach cree que )
incluye la respuesta o respuestas más razonables. Luego debe compararla con la mejor planificación es la que se propone incrementar el beneficio social de la ')
la solución que le proporcionemos después de cada pregunta. Cuando haya evaluación.
contestado a las nueve preguntas, le recomendamos que valore su trabajo y ')
utilice esta valoración como base de un estudio más profundo de la unidad. Respuestas incorrectas )
a) Es incorrecta porque mientras el cliente es quien encarga la evaluación, )
PREGUNTA 1. Las evaluaciones, según Cronbach, la planificación es responsabilidad del evaluador, que puede acudir a los )
expertos de su equipo y satisfacer las necesidades informativas de una
a)
b)
deben basarse exclusivamente en métodos establecidos y regularizados,
provocan inevitablemente cambios en las instituciones sociales,
amplia audiencia. i
b) Es incorrecta porque Cronbach cree que las planificaciones deben ser «pro- )
e) desempeñan una función política, cesos reflexivos y desarrollados» y no, por lo tanto, límites para construir
d) deben ser planificadas sólo en términos generales. modelos.
)
e) Es incorrecta porque aunque el debate puede darse, y puede resultar muy )
Respuesta correcta. Debe usted haber señalado la «e». Cronbach considera útil, el principal propósito de la planificación (y del estudio consiguiente)
que es algo inherente a las evaluaciones que las motivaciones políticas influyan
)
es influir en los asuntos sociales.
en su desarrollo e intervengan en la información consiguiente. )

Respuestas incorrectas PREGUNTA 3. Si las comunicaciones de la evaluación son su producto

más válido, ¿cuál de las siguientes preguntas no debe ser planteada ante la ~
a) Es incorrecta porque Cronbach cree que una evaluación debe ser consi- evaluación ya terminada? )
derada un modo de aclarar problemas complejos y puede utilizar diver-
sos métodos para recopilar la información (algunas se oponen a los mé- )
a) ¿Todos los sectores de la audiencia reaccionan ante la evaluación? ;
todos normales). b) ¿La consideran creíble? )
b) Es incorrecta porque a veces las consideraciones políticas pueden ser más e) Las preguntas más significativas para ellos, ¿han sido respondidas, en la
influyentes que la información que se desprende del estudio, y muy fre- )
medida de lo posible?
cuentemente contribuyen a mantener el status qua. d) ¿Existe un consenso acerca de los resultados alcanzados? )
d) Es incorrecta porque Cronbach subraya la necesidad de u~a planificación
cuidadosamente elaborada; sin embargo, hay que hacer concesiones a la
flexibilidad de los procedimientos una vez haya empezado la investi-
Respuesta correcta. Debe usted haller señalado la «d». Existe a menudo i.)
una justificable dificultad (cuando no una imposibilidad) de alcanzar un con-
gación. senso, porque quien toma las decisiones es toda una comunidad y no un solo
I

individuo. -(
PREGUNTA 2. Cronbach considera que la elección de una planificación Respuesta~ incorrectas. Las respuestas «a», «b» y «e» son incorrectas, por-
f
debe hacerse .?
que son esenCIales para el éxito de una evaluación.
~
)
,
(

f 164 I Evaluación sistemática Planificación evaluativa según Cronbach I 165

f
les. La respuesta «d» indica que los acontecimientos deben ser investigados
(
PREGUNTA 4. ¿Con cuál de las siguientes afirmaciones estaría Cronbach, en los lugares en los que se desarrolla el programa.
( probablemente, de acuerdo?
Respuestas incorrectas. Las respuestas «b» y «e» son incorrectas porque
(
a) Sólo los experimentos reales, y sus aproximaciones, constituyen modelos ambas afirmaciones se refieren sólo a las posturas adoptadas por los evalua-
( aceptables de evaluación. dores de la escuela conductista/ científica.
b) 'Una evaluación utiliza distintos estilos de investigación de acuerdo con
(
las circuns tancias. PREGUNTA 6. La relación entre los conceptos de UTO y uto consiste en que
( e) El estilo evaluativo naturalista es el más valioso.
d) Generalmente, debe ser utilizado el método experimental, y no el natu-
( tJ) cualquier uto observado puede entrar en el dominio de UTO si le inte.
ralista. resa al evaluador,
( b) la distribución de uto dentro de UTO tiene poca importancia para el
Respuesta correcta. Debe usted haber señalado la «b». La planificación
( investigador,
evaluativa, según Cronbach, debe producir intuiciones a partir de evidencias
e) U, T y O, y u, t Y o son elementos casuales,
( anecdóticas y de estudios particulares, antes de pasar a realizar tests sumativos
d) UTO siempre está totalmente representado por cualquiera de sus uto.
( basados en los análisis de los datos recopilados. Insiste en que una mezcla de
estilos evaluativos puede ser empleada en un solo estudio.
( Respuesta correcta. Debe usted haber señalado la «a». Si UTO es el uni-
verso de las observaciones admisibles, abarcará u, t y o cuidadosamente defi.
( Respuestas incorrectas nidas y seleccionadas.
( a) y e) Son incorrectas por las razones expuestas más arriba en favor de la
Respuestas incorrectas
( respuesta correcta.
d) Incorrecta. Aunque la monografía de Cronbach tiende a conceder más
( b) Es incorrecto porque el orden de distribución de uta dentro de UTO
importancia a la planificación de experimentos que a los estudios de casos
está relacionado (tanto como sea posible) con los intereses del investi.
( concretos o al método naturalista, nunca llega a decir, sin embargo, que
gador.
las circunstancias de un programa que va a ser evaluado puedan deter.
( c) Es incorrecta porque sólo u, t y o son elementos casuales; UTO es el
minar los estilos evaluativos que habrá que utilizar y su importancia.
universo.
( d) Es incorrecta porque cualquier uto nunca puede representar totalmente
( un UTO, aunque a través de un muestreo representativo una evaluación
PREGUNTA 5. ¿Con qué dos de estas afirmaciones estarían de acuerdo
puede legítimamente deducir, de los resultados de uto, los posibles resul-
( tanto los evaluadores humanísticos como los conductistas científicos?
tados de UTO.
( a) Los servicios e instituciones sociales deben ser evaluados porque rara vez
t desempeñan sus funciones tan bien como podrían. PREGUNTA 7. Aunque un evaluador considera que 10 que dice la gente
es una parte de la situación que debe investigar, ¿cuál de las siguientes fuen-
b) El evaluador debe concebir situaciones controladas que le sirvan para
l sus experimentos. tes, según Cronbach, define mejor las cuestiones que debe plantear el estudio?
t e) Los tests sumativos son esenciales.
d) Las evaluaciones deben ser empíricas. a) Las instrucciones del cliente o del administrador del programa.
(
b) Todos los que están estrechamente relacionados con el programa (por
( Respuestas correctas. Debe usted haber señalado «a» y «d». La respuesta ejemplo, maestros y estudiantes, en el caso de una escuela).
«a» indica que existe un consenso en 10 que se refiere a la opinión de que, c) Las dudas de los miembros de la comunidad que toma las decisiones o las
(
para todos los servicios e instituciones, es necesario algún tipo de evaluación, que surgen de los desacuerdos entre estos miembros.
l puesto que incluso los mejores fracasan cuando cambian las condiciones socia- d) La experiencia del evaluador y la observación de la situación.

,
(.
 ')

')

')
Planificación evaluativa según Cronbach I 167
166 I Evaluación sistemática ')

Respuesta correcta. Debe usted haber respondido «e». Según Cronbach, Respuestas incorrectas ')
estos grupos, o circunstancias, generan las cuestiones más p~r.tinentes: ~os que ')
toman las decisiones porque son ellos los que deben decidir el destIno del a) Es incorrecta porque Cronbach insiste en que, durante la fase divergente,
programa, y los desacuerdos porque la polarización de opiniones descubre pro- debe exigirse, dentro de 10 posible, al personal más importante que pro- ')
ponga cuestiones, y no sólo que valore las cuestiones del cliente.
blemas que necesitan ser aclarados y examinados. ')
e) No es la mejor respuesta. La afirmación es exacta pero incompleta, puesto
que no especifica que debe estudiarse una amplia gama de cuestiones. ')
Respuestas incorrectas
d) Es incorrecta. Aunque el evaluador puede disfrutar de ciertas ventajas
')
sobre el cliente (o clientes), que deben utilizarse para reforzar la fase
a) No es la respuesta más adecuada. Aunque las opiniones de los clientes divergente, éstas no constituyen una definición de dicha fase.
y administradores deben ser tenidas en cuenta, sus ?erspectivas, tomadas )
individualmente, pueden limitar y desviar el estudlO. ')
b) No es la mejor respuesta. La opinión de los que están más estrechamente
relacionados con las operaciones del estudio, aunque necesaria y posible. PREGUNTA 9. Según Cronbach, la utilidad de una información depende )
mente muy valiosa, puede conducir también a una perspectiva demasiado sobre todo de
)
particular o a la desviación. .
Es incorrecta porque el evaluador debe buscar cuestlOnes (en la etapa a) el grado en que los miembros de la comunidad que toma las decisiones )
d) estén enterados de los resultados y los consideren creíbles,
de la planificación) procedentes de la gente del lugar; aunque su misión es )
generar cuestiones, se excedería en su autoridad profesional si todas las b) hasta qué punto el evaluador aumente la posibilidad de una comunicación
cuestiones del estudio fueran de su invención. directa con quienes toman las decisiones, )
e) hasta qué punto el informe final esté libre de contenidos técnicos
)
d) la cantidad de extrapolaciones válidas, enteramente distintas de l~s extra-
PREGUNTA 8. ¿Cuál de las siguientes afirmaciones es más coherente con polaciones verosímiles, que quienes toman las decisiones pueden extraer )
la definición cronbachiana del papel del evaluador durante la fase divergente de los resultados.
)
de recopilación de cuestiones?
Respuesta correcta. Debe usted haber señalado la «a». Esta afirmación )
subraya los dos factores que 'Cronbach considera esenciales para que una eva-
"I
a) El evaluador contacta con una amplia gama de personas potencialmente luación sea útil, a saber, las buenas comunicaciones de los resultados y su
)
interesadas y les pide que valoren la importancia de los requisitos del
credibilidad a los ojos de la comunidad que toma las decisiones. )
cliente, relativos a una información específica.
b) El evaluador busca la más amplia gama posible de cuestiones para estu- )
diarlas, aunque sea brevemente, como focos de la investigación. Respuestas incorrectas
El evaluador se esfuerza por identificar a todas las audiencias importan-
)
e)
tes y estimular su interés hacia la evaluación. b) No es la mejor respuesta, porque es sólo una faceta de la utilidad de una )
El evaluador tiene ciertas ventajas sobre el cliente (o clientes) por co- evaluación.
d) e) Incorrecta. Aunque Cronbach afirma que, a menudo, una jerga dema- )
nocer las cuestiones que deben ser respondidas, y así poder fiarse sola-
siado técnica puede malograr la utilidad de un informe final, un cierto )
mente de su propio juicio profesional.
contenido técnico puede ser particularmente apropiado si el informe se
presenta bajo diferentes aspectos. )
Respuesta correcta. Debe usted haber seleccionado la «b». Durante la fase
divergente, el evaluador debe mantener despiertas tanto su mente como la de d) No es la mejor respuesta. Aunque Cronbach considera que los evalua- )
sus clientes ante todas las posibles fuentes de cuestiones que pueden resultar dores deben aceptar las ampliaciones verosímiles de las conclusiones, tal
como deben también hacerlo quienes toman las decisiones, la posibilidad )
importantes para los problemas y dudas que el estudio evaluativo debe inten-
de esta extrapolación dependerá de la naturaleza de los procedimientos )
tar clarificar a quienes toman las decisiones.
y resultados de la evaluación en cuestión.
)
)
)
,
(

f 168 I Evaluación sistemática Planificación evaluativa según Cronbach I 169

(
PuNTUACIÓNDEL TEST DE CONOCIMIENTO. Cuando haya terminado el test 3. Es el centro de las «actividades científicas», basadas en observacio.
(
de conocimientos, cuente las respuestas que ha acertado. Un total de 8 o 9 nes reales e interpretaciones razonadas.
( indican un buen dominio del material. Un total de 6 o menos es insuficiente:
le recomendamos que relea la unidad, concentrándose en sus puntos más dé. b) El evaluador como educador:
(
biles.
(' 1. 10 que los evaluadores aprenden debe entrar a formar parte del peno
(' samiento de los miembros políticamente más relevantes de la ca.
Ejercicios prácticos
munidad.
( 2. De esta forma, se promueve la formación de intuiciones.
Este apartado contiene dos cuestiones prácticas, que determinarán su como
( 3. El éxito del evaluador como educador depende de su éxito en las
prensión de las distintas concepciones de Cronbach acerca de la evaluación.
comunicaciones.
( Puede, si 10 desea, relacionar el sistema y la teoría de Cronbach con situa.
4. El aprendizaje empieza cuando el evaluador soluciona cuestiones en
ciones reales en las que intervenga una evaluación. O quizá prefiera relacionar
(i las que participan esas comunicaciones.
los conceptos de Cronbach con una situación hipotética o, como alternativa
5. En las cuestiones de valor, la responsabilidad del evaluador es ayu-
<' £nal, solamente explicar el pensamiento de Cronbach relacionándolo con dis.
tintos temas prácticos.
dar a los demás a plantear mejores preguntas.
( Después de cada ejercicio hay una lista de puntos que, para nosotros,
e) La naturaleza de la mejor información:
( deben formar parte de una respuesta apropiada. Una revisión de estos puntos
puede ayudarle a valorar su trabajo. Quizá desee entonces releer las partes
( 1. Clara y comprensible para todos los que la utilizan.
más importantes de este capítulo, habiendo realizado ya el ejercicio, para obte.
2. Oportuna: llega a la audiencia cuando la necesita.
( ner una valoración más completa de su respuesta.
3. Fiable: los distintos observadores (utilizando los mismos procedi.
( mientos) deben verla de un modo similar.
EJERCICIO 1. Escriba un ensayo titulado «La evaluación útil». Su res-
4. Válida: concebida de forma que refleja la realidad.
( puesta debe incluir principalmente estos elementos:
5. Amplia: ofrece distintas alternativas para alcanzar las metas organi-
zativas u otras nuevas que se propongan.
~ a) La intención de realizar la «mejor planificación», incluyendo las «activi.
{ dades científicas».
d) Cuestiones que deben responderse al final del estudio, incluyendo las
b) El evaluador como educador.
( e) La naturaleza de la mejor información.
alternativas que debe tener en cuenta la comunidad que toma las deci-
siones: -
( d) Cuestiones que deben responderse al final del estudio, incluyendo las
alternativas que debe tener en cuenta la comunidad que toma las deci.
( 1. El mensaje, ¿es interesante, comprensible y creíble para todos los
siones.
sectores de la audiencia?
( e) Nueva comprensión de los problemas (contribución al entendimiento bá.
2. Las cuestiones que resultaban más significativas para ellos, ¿han que.
sico de un área de problemas).
•
(
La respuesta al ejercicio 1 debe incluir lo siguiente:
3.
4.
dado respondidas en la medida de 10 posible?
¿Han alterado las respuestas sus preconcepciones?
¿Se ha alcanzado, dentro de 10 posible, un consenso político en la

• a) La intención de realizar la «mejor planificación», incluyendo «actividades 5.

comunidad que toma las decisiones?
¿El evaluador ha llegado a los ciudadanos normalmente pasivos?
•
(.
científicas»: ¿Ha respondido a sus cuestiones?

1. Proporciona beneficios sociales e influye en los asuntos públicos. e) Nueva comprensión de los problemas (contribución al entendimiento bási.
t 2. Promueve el aprendizaje de instituciones e individuos a partir de la co de un área de problemas):
t experiencia.
(
f
 )

()
\")
Planificación evaluativa según Cronbach I 171
170 I Evaluación sistemática
'}
3. El evaluador disfruta de ciertas ventajas sobre el patrocinador (por ")
1. El evaluador debe abarcar todos los sectores de la comunidad que
ejemplo, carece de predisposiciones y conoce algunas investigacio-
toma las decisiones con el fin de hacer una utilización más justifi.
")
cada de los resultados. nes anteriores).
2. El estudio debe clarificar los problemas y las falsas presuposiciones ')
para luego sugerir las posteriores comprensiones y clarificaciones d~ d) La fase divergente: tratamientos y procesos:
')
los problemas.
1. Es improbable que el lugar donde se desarrolla la evaluación esté su- ')
3. La evaluación debe aspirar a avanzar en la comprensión social de los
jeto a modincaciones.
problemas. )
2. Por 10 tanto, debe acudirse a los tratamientos más apropiados para
EJERCICIO 2. Escriba un ensayo titulado «Identificación de las cuestio- producir los datos más relevantes. )
nes investigativas: la fase divergente». En su respuesta, incluya estos aspectos 3. El evaluador necesita estar al corriente de las distintas presiones de
los grupos partidistas que proponen probables cuestiones o grupos ')
principales:
para los tratamientos.
4. Un esquema de intervención, en forma tabular, debe proporcionar
'>
a) Cómo surgen las cuestiones.
cuestiones para el proceso evaluativo. )
b) Limitaciones del evaluador.
e) La fase divergente: el origen de las cuestiones. 5. La planincación debe indicar la «intensidad» de la intervención pen- )
d) La fase divergente: tratamientos y procesos. sada para las distintas etapas del estudio.
I , )
e) La fase divergente: resultados.
e) La fase divergente: resultados: )
La respuesta al ejercicio 2 debe incluir los siguientes puntos: 1. Las cuestiones deben también incluir aquellas que puedan descubrir )
resultados que no se buscaban. )
a) Cómo surgen las cuestiones: 2. La atención del evaluador debe dirigirse a los efectos secundarios.
3. Hay que ser precavido ante la idea de que la intención global de un )
1. Dudas de la comunidad que toma las decisiones. programa es «alcanzar sus objetivos». )
2. Desacuerdos entre los miembros (que, sin embargo, están convenci- 4. Las variables difíciles de definir y de valorar, como las consecuen-
dos de sus particulares posturas). cias afectivas, no pueden ser ignoradas.
)
3. La certificación de las cuestiones más pertinentes es el primer paso 5. La lista divergente también debe incluir resultados que podrán ser )
en la planificación de una evaluación. perceptibles sólo cuando el estudio haya terminado.
)
6. La consulta de fuentes distintas es la esencia de la fase divergente.
b) Limitaciones del evaluador: )
1. El patrocinador puede apoyar ciertas investigaciones y rechazar otras. )
Preguntas sin respuesta
2. El administrador puede negarse a aceptar un método experimental.
)
3. Los informadores pueden negarse a suministrar datos.
En este apartado se proporcionan cinco preguntas, pero no se facilita nin-
4. Sin embargo, una comunicación correcta puede llevar al patrocinador )
a aceptar una ampliación de la investigación. guna respuesta.
Las preguntas pueden ser utilizadas como temas para debates de grupo )
o como tareas individuales. Usted quizá prenera obtener intuiciones más pro-
e) La fase divergente: el origen de las cuestiones: )
fundas acerca del pensamiento de Cronbach sobre la planincación evaluativa
1. Debe estudiarse la más amplia gama posible de cuestiones. leyendo el texto completo u otros libros recomendados en la sección biblio- )
2. También debe estudiarse una amplia gama de candidatos para desig- gráfica. De cualquier manera, las cuestiones pueden responderse basándose en
)
nar las cuestiones, incluyendo aquellas personas que normalmente no el material contenido en esta unidad y a 10 largo del libro.
)
hablan acerca de los problemas.
)

'1 •. )
 ••
f
f Referencias bibliográficas I 173
172 I Evaluación sistemática
( MACDoNALD,B. 1976. Eva1uation and the control of education. En D. TAWNEY
1. «La realidad política proporciona preguntas mucho más apropiadas que (comp.), Curriculum evaluation today: Trends and implications, Londres, Mac-
( otras.» Discuta esta afirmación con relación a la elección de cuestiones
millan Education, págs. 125-136.
( que se producen en la fase convergente de Cronbach. RIECKEN,H. W. y BORUCH, R. F. (comp.). 1974. Social experimentation, Nueva
2. ¿En qué se diferencia el esquema de Cronbach para el planteamiento y la York, Academic Press.
( elección de cuestiones de los de a) Stake (particularmente con relación ROSSI,P. H. Y WILLIAMS,W. 1972. Evaluating social programs: Theory, practice
( a su método acreditativo), b) Wolf (el modelo de contraposición) y e) Serio and politics, Nueva York, Seminar Press.
ven (la evaluación sin metas)? ¿Cuáles son los méritos comparativos de SCRIVEN,M. 1967. The methodology oE evaluation. En R. W. STAKE,y otros,
( Perspectives on curriculum evaluatiol1. AERA Monograph Series on Curricu-
cada método?
lum Evaluation, n. 1, Chicago. Rand McNally, págs. 39-83.
f 3. Cronbach afirma que la «utilidad de una evaluación depende del grado
-.1974. Pros andocons about goal.free evaluation, Evaluation Comment, 3, pági-
en que los miembros de la comunidad que toma las decisiones estén al
( nas 1-4.
corriente de sus resultados y los consideren creíbles». Discuta el particu- STAKE,R. E. 1967. The countenance of eclucational evaluation, Teachers College
f lar énfasis que pone Cronbach al hablar de las comunicaciones de la eva- Record, 68 (abril), 523.540, 63, 146.
luación. ¿Existen otros evaluadores que concedan la misma importancia SUCHMAN,E. A. 1970. Action for what? A critique of evaluative research. En R.
f a las comunicaciones? O'TOOLE (comp.), The organization, management, and tactics o/ social research.
( 4. ¿De qué manera aborda Cronbach la delimitación, definición y explica. Cambridge, Mass., Schenkman.
ción de los elementos de una planificación evolutiva (esto es, uto) para -.1967. Evaluative research, Nueva York, Russell Sage.
( WEISS,C. H. (comp.). 1972. Evaluating action programs: Readings in social action
que le sirven de ayuda en el plan lógico y el desarrollo de un estudio
( evaluativo? and education, Boston, Allyn and Bacon.
5. ¿Cuáles son las diferencias más significativas entre UTaS -el dominio WILENSKY,H. 1967. Organizational intelligence: Knowledge and policy in govern-
( ment and industry, Nueva York, Basic Books.
de la investigación- y *UTOS -el dominio de la aplicación-? ¿Por qué
( Cronbach considera que los *UTOS son básicos para comprender su mé-
( todo de planificación de evaluaciones educacionales?

(
(
Referencias bibliográficas
(
CAMPBELL, D. T. 1957. Factors relevant to the validity of experiments in social
( settings. Psychological Bulletin, 54, págs. 297-312.

,
( _. 1973. The social scientist as methodological servant of the experimenting so-
ciety, Policy Studies Journal, 2, págs. 72.75.
-.1975. Assessing the impact of planned social change. En G. M. LYONDS (comp.),
Social research and public policies, Hanover, N. H., Public Affairs Center, Dart-
t mouth College.
( CRONBACH,1. J. 1963. Course improvement through evaluation, Teachers College
Record, 64, págs. 672-683.
( -.1982. Designing evaluations o/ educational and social programs, San Francisco,

,,-- Jossey-Bass.
CRONBAC H, 1. J., Y otros. 1976. Research on classrooms and schools: Formula-
tion of questions, design, and analysis. Publicación no periódica, Stanford Eva-
luation Consortium, Universidad de Stanford, Calif.
CRONBACH,1. J., Y colaboradores. 1980. Toward re/orm o/ program evaluation,

,,
t San Francisco, Jossey-Bass.
HOUSE,E. R. 1976. Justice in evaluatÍon. En G. C. GLASS(comp.), Evaluation
studies review annual, vol, 1. Beverly Hills, Calif., Sage, págs. 75.99.

(
 ,)
()
)

STUFFLEBEAM: LA EVALUACION ORIENTADA

él
HACIA EL PERFECCIONAMIENTO o)
")

'J
:)
;)
,)
,)
)
0)
,)
Esta unidad afirma que las evaluaciones deben' tender hacia el perfecciona- :)
miento, presentar informes responsables y promover el aumento de la com- rO)
prensión de los fenómenos que se investigan; también afirma que el primero
de estos propósitos es el más importante. El módulo explica el módelo evalua- ;J
tivo CIPP describiendo su desarrollo, contrastándolo con otros métodos, ca- :)
racterizando el papel que desempeña en el perfeccionamiento de los programas,
,)
explicando sus principales conceptos Y esbozando los requisitos de una plani-
ficación evaluativa sólida. Finalmente, subraya la importancia de someter a f)
evaluación el propio trabajo evaluativo a través de la metaevaluación.
El propósito más importante de la. evaluación no es demostrar sino per- ()
feccionar ... No podemos estar seguros de que nuestras metas son valiosas si
~
no las comparamos con las necesidades de la gente a la. que presuntamente
1)
sirven.
,)
La unidad presenta una orientación perfeccionista para la evaluación de
un programa. Dado que el contexto histórico es útil para comprender cual-
i)
quier conceptualización de una práctica profesional especializada y que yo soy :J
consciente de que mis antecedentes profesionales y mis experiencias influyen
en gran manera sobre mis propios puntos de vista, he personalizado la pre- ':)
sentación. He trazado el desarrollo del modelo CIPP, lo he contrastado con ~)
otros métodos, he caracterizado sus sistemas y su orientación hacia el perfec-
:)
cionamiento del programa y he descrito los cuatro tipos principales de evalua-
ción. También he expuesto mi punto de vista acerca de lo que interviene en ()
la planificación de evaluaciones concretas y, para concluir, hablo sobre la me-
,:)
taevaluación.
Al trabajar en esta unidad, le sugiero que estudie sus objetivos con el fin !)
de descubrir lo que puede aprender de ella; luego lea el material, realice el
()
()
O
\
(

f 176 I Evaluación sistemática Stufflebeam: la evaluación del perfeccionamiento I 177

(
test de conocimientos y los ejercicios prácticos, y finalmente compruebe sus
( respuestas comparándolas con las que se proporcionan aquí. Para acabar, le
resultará instructivo realizar las «Preguntas sin respuesta». Le sugiero que
(
las discuta con otros estudiantes y que repase la bibliografía: al final de esta
( unidad, encontrará una lista de los libros y artículos pertinentes.
( ~ero mientras trataba de aplicar estas recomendaciones, cambié radicalmente
f Objetivos
( ble. El principal resultado de esta busqueda y del trabajo conslgUlente fue el
Los objetivos de esta unidad son los siguientes:
( La Elementary and Secondary Education Act de 1965 proporcionó billo-
1. Identificar el orden en que el autor ha llegado a los conceptos. de con- '
(,
texto, entrada de datos, proceso y evaluación del producto, y explicar
« por qué esta secuencia de desarrollo era una respuesta a las necesidades
e 2.
evaluativas.
Identificar las condiciones definidas por el comité PDK como síntomas
( de la enfermedad que padece la evaluación educacional.
( 3. Caracterizar las objeciones que pone el comité PDK a las definiciones
que identifican la evaluación con la planificación experimental, la valo-
( ración, los juicios profesionales y la comparación de los resultados con
" los objetivos.
4. Discutir los cinco problemas definidos por el comité PDK como causan-
~ tes del fracaso de la evaluación educacional.
( 5. Identificar y explicar la definición de evaluación expresada en el mo-
delo CIPP.
( 6. Identificar los principales parecidos y diferencias entre el modelo CIPP
¡ alcanzar seis metas: 1) proporcionar servicios evaluativos a las agencias educa-
( y las concepciones de la evaluación propuestas por Stake y Scriven.
I 7. Caracterizar las potenciales contribuciones de las evaluaciones CIPP para
{ satisfacer los requisitos de la responsabilidad.
( 8. Explicar la orientación perfeccionista del modelo CIPP.
9. Caracterizar el papel de la evaluación CIPP en el contexto de los trabajos
• realizados por una institución para perfeccionar su programa.
, vestigativos, me dediqué al impresionante trabajo de cumplir los requisitos
~~derales para la evaluación de proyectos instaurados por la. ~merica's Ele-
entary and Secondary Education Act (ESEA) de 1965. InlClalmente, reac-
ml'onéde la misma manera que muchos de mis colegas: recomendando la utili-
c d .
ación de tests ya ensayados y de planificaciones investigativas ya acepta as.
mi concepción de la aplicabilidad de la experimentación y de los tests objetivos
para estudios evaluativos y empecé a, buscar un método .más rel.ev~nte y facti-
llamado Modelo de Evaluación CIPP, que es el tema principal de esta unidad.
nes de dólares a todos los distritos escolares de los Estados Unidos con el
propósito de mejorar la educación de los estudiantes atrasados y, de un modo
más general, de subir el nivel de todo el sistema de la educación elemental
y secundaria. El acta también necesitaba educadores que evaluaran sus proyec-
tos. Este requisito originó una crisis, porque los educadores no estaban cuali-
ficados, ni tenían la suficiente preparación o experiencia para planificar y diri-
gir evaluaciones, y porque los distritos escolares no podían recibir los fondos
de la ESEA hasta que presentaran un plan aceptable para evaluar cada pro-
yecto propuesto por la misma.
Algunas universidades y agencias de servicio crearon programas destinados
a ayudar a los distritos escolares a cumplir los requisitos evaluativos de la
ESEA. Yo fui designado para dirigir un programa en la Universidad del Estado
de Ohio y, más generalmente, para organizar y dirigir un centro que hiciera
progresar la teoría y la práctica de la evaluación. El nuevo centro pretendía
tivas; 2) estudiar estas experiencias de servicios; 3) conceptualizar modos de
evaluar perfeccionados; 4} idear instrumentos y estrategias para desarrollar
nuevas ideas acerca de la evaluación; 5) preparar a los educadores en la utili-
zación de esos nuevos instrumentos y estrategias; y 6) difundir información
acerca del trabajo y los logros del centro .

•• 10.

11.
Describir el propósito, los métodos y las utilizaciones, respectivamente,
del contexto, de la entrada, del proceso y de la evaluación del producto.
Explicar el propósito y los procedimientos de la técnica del grupo asesor. El desarrollo del modelo CIPP
( 12. Describir el concepto del autor acerca de la planificación evaluativa.
13. Definir el concepto de meta evaluación. Para conseguir esas metas, el centro contactó con las escuelas públicas de
(
Columbus, Ohio, con el fin de evaluar sus proyectos de la ESEA. Estos pro-
( yectos de tres años incluían un proyecto preparvulario, proyectos sobre mate-
Un poco de historia personal máticas y perfeccionamiento de la lectura, un centro de estudios para después
(
de la escuela, un proyecto de servicios sanitarios y otros muchos; los proyectos
t Mi acceso a la evaluación de programas fue totalmente accidental. Junto estaban avalados por una subvención federal de 6,6 millones de dólares. El
con otras muchas personas que tenían algunos conocimientos sobre métodos
• distrito de Columbus cedió alrededor del 8 % de esta cantidad al Centro de

•.
(
 )
')
")
178 I Evaluación sistemática Stufflebeam: la evaluación del perfeccionamiento I 179
}
,
1 evaluación de los ocho proyectos y ayudar al dis- dades tuvieran muy poco que ver con las que se describían en las preguntas )
Evaluación para patrocmar al'
io sistema eva uatlvo, d d" 1 originales, Cuando hube considerado esta situación, los datos acerca de los
trito a desarro 11ar su prop , b ' aluativo al mo otra lClona, ')
d 1 bordo su tra aJo ev b' , resultados que mis colaboradores y yo habíamos planeado recopilar, parecían
El personal e centro a h bían alcanzado sus o }etlVOs,
, 'locho proyectos a , d tener muy poca importancia. )
Intentaron determmar SI os, 'fi 1 bJ'etivos de comportamiento e
, d d b' os ldentl car os o , d Mi conclusión fue que los educadores necesitaban una definición de evalua-
Según este meto o, e 1m II 1 l'nstrumentos apropia os para va- )
' r o desarro ar os , d 1 ción más amplia que la que se limitaba a determinar si los objetivos habían
cada proyecto, seleCClOna l' ti 'nstrumentos despues e a ense-
, d 1 d' te ap lCar es os , d 1 sido alcanzados, La definición que necesitaban debía proponer evaluaciones que ')
lorar el trabajo e estu lan b' d 1 t di ante con los objetIVOs e proyec-
fueran capaces de ayudar a administrar y perfeccionar los programas, Creía
ñanza y luego comparar el tra ajad el eS u l' ica de la evaluación tyleriana ')
d verse e a base og d ' 1 que lo mejor para realizar este ideal podía ser proporcionar a los dire~tivos
to, Se trata, como pue e , " 1 '1 r de la teoría evaluativa e ucaClOna ')
( 'd d 3) que ha sido el prmClpa ~l a de las escuelas, a los directores de proyectos y al personal de la escuela, mfor-
unl a, d d 30 anos mación que pudieran utilizar para decidir y llevar a cabo los cambios que
americana durante aIrede or e "t do no era adecuado para eva- )
con que este me o d' resultaban necesarios en los proyectos, Como alternativa a la definición tyle-
Pronto nos encontramos S los educadores sabían o po lan
d C 1 b s uponer que riana propuse, en una reunión de la ESEA y en un artículo periodístico, que )
luar los proyectos e o um u, , d los estudiantes producto de aque-
' 1 omportamlento e 'd 1 la evaluación fuera redefinida como un proceso mediante el cual se propor-
fácilmente d etermmar e c , Los ob' etivos originales contenl os en as ')
cionara información útil para la toma de decisiones (STUFFLEBEAM,1966),
llos proyectos, no era nada reahslta, Jroporcionaban datos útiles acerca
, t eran genera es y no p , , 1 1 Esta propuesta recibió un extendido apoyo, especialmente del Departamento )
Pnmeras propues as 'D h ho los obJetlvos por o genera,
, ' d 1 estudIantes, e ec , , 'd de Educación, de muchos distritos escolares y de agencias de investigación y )
del funclOnamlento e os .' administradores que han tem o poca o
desarrollo, así como de muchos administradores educativos.
son determinados por especlahstasd~ y lo que es más, el personal del )
" esos estu lantes, h Puesto que pensaba que la evaluación debía proporcionar la información
ninguna expenencla con d' 1 cuando el proyecto ya a empe-
t de acuer o, mc uso h d que necesitaban quienes tomaban las decisiones, parecía apropiado identificar )
proyecto pue d e no es ar 'fi deben ser adoptados, A ora pue o
d 1 b' tivos especl cos que. "d los principales tipos de decisiones que debían afrontar, y luego crear las ade-
zado acerca e os o Je d' tiempo preclOso mtentan o )
, II nosotros per Irnos un , bl cuadas estrategias evaluativas. Basándose en la experiencia de los proyectos
decir que tanto e os como, d de los estudiantes eran muy var:a es y ~o
ESEA para Columbus, las decisiones de interés más inmediato parecían ser )
hacer esto, porque las neceslda. es. or ue ningún grupo comun de obJe-
habían sido objeto de un estudlO ds~n,o,y p ,q les y necesidades de desarrollo, las relacionadas con la realización de la planificación de proyectos, esto es, cómo
¡ , d t sus IstlDtos mve , , interesar a los profesores en la realización de los proyectos, cómo distribuir )
'f tivos podla ar respues a a 1 hecho de que eXlstlan tests
" l' do con esto era e
d 1
, 1 los recursos, cómo asignar y remodelar las ayudas, cómo obtener y mantener )
1

¡ '1
Un problema teCnlCOre aClOna
que no se adapta an a os b 1 modelos e enguaJe
1d
'y a los niveles funclOna es
ollo de estos tests a tiempo para
el apoyo de la comunidad, cómo proyectar el necesario transporte de los
)
, , t sados y e esarr ESEA estudiantes, cómo adaptar los materiales didácticos y cómo promover la co-
1 de los estudIantes mas a ra , 1" d los proyectos de la
, T d en la eva uaClOn e , , municación entre todos los que participan en el proyecto, Para poner en mar- )
que pudIeran ser utllza os , b'l'd d Igualmente y esto es mas serlO,
d bl mas de vla I 1 a ' " '1 cha todas estas decisiones de realización, enseñé a mis colaboradores cómo
presentaba gran es pro el' proponía proporcionar mformes so o )
se debían observar e involucrarse en las actividades del personal del proyecto
nuestro empleo ~el método ty enano d a era demasiado tarde para ayudar al
1 final de cada ano de proyecto, cuan o y bl de una manera continuada y presentando, al menos una vez cada dos semanas, )
a
personal de~,proyecto a I entl c,ar
.d
J
'fi resolver sus pro emas,
se hizo ostensible para mí cuando vI,slte
.. , un informe sobre los resultados del proceso a ese mismo personal, con el fin
de que pudieran detectarse, destacarse o solucionarse los problemas operacio- )
La inutlhdad de nuestro meto o b ervé sus actividades relatlvas
1 del programa y o s
a los miembros d e1 persona
nales, El otro tipo de decisión, especialmente con vistas al ciclo anual de sub- )
los proyectos funcionaran ya
b encontrarme con que d venciones del gobierno, incluía aparentemente decisiones relacionadas con la
al proyecto, Y o espera a d d herencia pero no vi nada e eso. )
'erto gra o e co, ,
en escuelas y au 1as con Cl
continuación o finalización de un proyecto, según aumentaran o decrecieran
f' , tendl'da entre los profesores, que no
,
En camblO, eXlstla una
" gran con USlOnex
d b' h r Muchos de ellos no a lan
h b' los fondos, relacionando el proyecto con otro nuevo, institucionalizándolo, etc, )
, ía que e lan ace, , II Llamé a esto decisiones de reciclaje y sugerí que debían ser apoyadas con infor-
sabían que es lo que se supon supuestamente, deblan evar,? )
mación acerca de lo que el proyecto ya había producido. De acuerdo con esto,
tenido la oportunidad de lee\ lashP~~~:~:~~~ ~~~~ban en desacuerdo con ellas o".~~
a cabo, Y muchos de los que as a d - ues que las actividades acerca - mis colaboradores y yo continuamos trabajando con el personal del proyecto -.J
, f d'd No era sorpren ente, p
'1
I
se sentlan con un lOS. . 1 , las y que estas actlVI- , . para clarificar qué indicios acerca de los resultados del programa resultarían
)
de un proyecto determinado no funclOnaran en as au , adecuados, y desarrollamos y llevamos a cabo unos pocos tests de trabajo espe-
1
)
)
.. ;b'S:lI.' . --,.,.. •• _. ------

5tufflebeam: la evaluación del perfeccionamiento I 181

180 I Evaluación sistemática
trada que son estudios q 'd 'fi 1
cialmente diseñados para el caso y unas escalas de valor, Resumiendo, en este planificaciones de proyect~~ ~i:~~lto~~n y va oran los méritos relativos de las
punto, la reconceptualización de la evaluación incluía la evaluación del pro-
Al llegar a dI'
(la evaluación este punto ya esta b a termlDada
' la estructura básica del CIPP
ceso que serviría de guía para la realización Y la evaluación del producto, faci-
e contexto como ayuda para 1 d" ., d 1
litando así las decisiones de reciclaje. La evaluación del proceso era un con- evaluación de entrada como a d d f a eS1gnaClon e as metas, la
,, d yu a para ar arma a las pr 1 al
cepto relativamente nuevo en la tradición de la evaluación educacional; la eva- CIar. el proceso como guía de 1'" opuestas, a ev ua-
" . su reailZacIOn y la evaluació d 1 d 1
luación del producto, desde luego, estaba relacionada con lo que Tyler había serVICIOde las decisiones de recicla'e) How d ' n e pro uc~o a
del Centro de Evaluación en ll)" ar Mernman, que era estudIante
llamado evaluación per se, ' aque a epoca y que después . ., 1
Poco después de haber desarrollado este esquema, fui invitado para que ¿ ¡rector del nuevo Departament dEl ', se convlttlo en e
lo describiera en un coloquio de una facultad del Estado de Ohio. La prin- nuestro proyecto) observó qu ~ e .va uacllon de Columbus (que desarrolló
cipal reacción fue que la conceptualización propuesta era un indudable avance sentaban los cuatr~ conceptos e~:s ~nmeras etras de las palabras que repre-
sobre las ideas clásicas acerca de la evaluación educacional, porque propor- para ayudar a la gente a record ulatlvAos,propo~cionaban unas siglas adecuadas
ar os. SI se aSIgnó al esq 1 b '
cionaba ideas tanto para el proceso como para el producto, Por otra parte, CIPP (contexto, entrada -inp u t- ,proceso y producto). . uema a a rev1atura
tres miembros del grupo arguyeron que el método ignoraba el tema funda-
mental de la valoración de las metas.
Estaban en lo cierto. La selección de las metas pone limitaciones a lo que La elaboración de la evaluación CIPP
se espera y pretende de un proyecto, lo cual la convierte en una decisión por parte del Comité de Estudios POK
clave. Yana había incluido la elección de las metas como una decisión que
debía tomar la evaluación ni propuse estrategias evaluativas que ayudaran a En 1969, Phi Delta Kappa creó un comO , d d' .
los evaluadores a escoger o valorar las metas, Igualmente, sabía que la elec- evaluación. Este incluía a Walter Fole Bi~te e estu 10 naCIOnal sobre la
Hammond, Howard Merriman M 1 1 y'p Gephart, Egon Guba, Robert
ción de las metas que debían servir de guía a los proyectos de Columbus N ' a ca m rovus y yo mism 'd
estaban basadas, en general, más en la literatura relativa a los niños atrasados os encargaron valorar el estadio de la eval ClOn., . o como preS1 ente.
y las innovaciones educativas, que en un estudio sistemático de las necesi-
general para la realización de l' Ut educacIOnal y crear un plan
en el libro de STUFFLEBEAMeva u a c10nesos ventes. Nuestro informe apareció
dades de los estudiantes de Columbus. Yo sospechaba que las metas de los . f y ca al bora ores
d (1971)
ocho proyectos de ESEA reflejaban las necesidades de los estudiantes de Co- El lD orme se abría con la amm . , d . ,
una grave enfermedad D ' aClOn e que la evaluaCIón era víctima de
, ' eClamos que esta enfermedad 'bl

¡
lumbus sólo muy superficialmente, y no había ninguna evidencia de lo con-
smtomas que presentaban 10 d .. d era reconoCl e por los
trario, Para solucionar esta deficiencia, propuse que los evaluadores valoraran en todos los niveles de la eds a ~lnIstra orles, el personal y los evaluadores
e informaran de las necesidades de los estudiantes y de los problemas de mé- eva uativo: ucaClOn,SIma
y por a malí ' cal'd
1 ad d e su trabajo
todo, para así ayudar a los educadores a escoger metas sólidas, El lenguaje 1
que proporcionó la naciente estructura del CIPP permitió a los educadores
utilizar la evaluación del contexto al servicio de las decisiones de planifica- Ausencia de esfuerzo a la hora de evaluar
ción. De cualquier manera, esta intuición llegó demasiado tarde como para que Pre~cupación ante la perspectiva de evaluars~~sprogramas.
sablan que el proceso eval t' b' programas, a causa de que
pudiéramos utilizar el informe acerca de la evaluación de un contexto como ua IVOera am IguO su rfi' 1 . d
penso al error y a menudo t d' ,pe C1a, lDa ecuado, pro-
base para seleccionar y dar forma a las metas del proyecto del programa E ' , en enclOSO.
sceptzclSmo acerca de que los «expertos d'
Columbus. lo que significa una evaluación solvent »pu lera~ ~onerse de acuerdo en
Había un hueco obvio en este nuevo esquema evaluativo, puesto que no intentaban ayudar a los educ d he, 10 cual h~ltaba los estudios que
consideraba necesario especificar qué medios eran necesarios para alcanzar una A " a ores a acer su trabajO
serie determinada de metas o una serie de necesidades ya valoradas. Estas usencza de dzrectrices (especialmente de 1 ' '
tisfacer los requisitos eva1 t' . 1 as agencIas) que permitieran sa-
especificaciones están representadas por los procedimientos, programas, planes ua IVos lDCuso cuand 1 l"
evaluaciones. o o so 1CItan las propias
de personal y presupuestos que aparecen en las propuestas que se envían a la
jun ta de una escuela y a las agencias que proporcionan los fondos, y, en gene- Malos sistemas (tanto procedentes de
realizar las evaluaciones en . expertos como de la bibliografía) de
ral, por la elección de un plan entre muchas posibilidades, A todo esto lo llamé El 'd su propIO marco.
decisiones de estructura Y propuse que debían basarse en evaluaciones de en- sm rome de la diferencia no significativa, según el cual todos los estu-
 )

)
'l

182 I Evaluación sistemática

Stufflebeam: la evaluación del perfeccionamiento I 183 ')

dios afirman que el método que se ha seguido no se diferencia en nada de el Departamento de Educación. Por 10 tanto, el comité vio la necesidad )
de un proceso para la planificación de evaluaciones que sirviera de guía ')
los resultados del estudio. .,
' t de los elementos perdidos, esto es, la ausenCIa de una teona a los evaluadores a la hora de identificar las audiencias, valorar sus úni-
El sm oma ., . f . d )
. t de conceptos claros acerca' de los reqUlsltos m ormatlvos; e cas y comunes necesidades informativas y planificar la recopilación de
pertmen e; ..'
instrumentos Y planificaciones apropIados; de mecamsmos para or?amzar, datos y las actividades informativas con el fin de complacer las necesi- '\
procesar y presentar la información evaluativa; y de un personal bIen pre- dades de las distintas audiencias.
5. Diseño de la investigación. El comité consideraba ya entonces que la )
parado.
investigación y la evaluación tenían propósitos distintos que requerían ')
Como consecuencia, advertimos que los dominantes en la evaluación, tanto diferentes procedimientos, y que las planificaciones investigativa y evalua-
. d"d 1 mo colectl'vamente eran inadecuados. Recomendamos a nuestra tiva debían ser juzgadas mediante normas distintas. Las evaluaciones de )
m lVl ua co , ., 1'" f
,' o l'dentificara la evaluación con la valoraclOn, e JUICIOpro e- la ESEA se encontraron con graves problemas cuando las planificaciones ')
au d lenCla que n ..' b' . 1
sional, la investigación experimental o la cOlnclde~cla entre o Jetlv~s y resu- de la investigación clásica intentaron presentarse como una verdad genera-
stos métodos presentaban mdudablemente CIertas ven- lizable para ser utilizada en la evaluación de proyectos nuevos, que no )
ta d os. A unque todos e b" , . l' .
. tI'112' ados en la evaluación cada uno tam len tema senas lml- necesitaban un conocimiento generalizable, sino las oportunas directrices ")
tajas para ser u "1 1

¡
I
f i taciones. Las ventajas Y limitaciones de estos cuatro metodos, ta como as que solucionaran sus problemas de decisión.
)
concebimos nosotros, están resumidas en la tabla 6-1. , .,
¡ Aunque e1 ca mI e
't' PDK reconocía que todos los
. .
metodos evaluatIVOs
.
cla-
d Dedicamos un capítulo a analizar cada uno de estos problemas, y luego )
¡, I
presentamos y elaboramos el modelo CIPP. He aquí una versión puesta al día
sicos tenían cualidades aprovechables, acababa dIcIendo que nmgun? era a e-
l de la definición formal que propusimos y difundimos: )
cuado para satisfacer los requisitos evaluativos de la ESEA. Se~ecclOnaron el

l )
\
,1 modelo CIPP como estructura general para desarrollar, a partlr d~ ella, un
método más solvente. y especificaron cinco problemas ~ue neces~taban ser
I solucionados para perfeccionar la báse conceptual del trabajO evaluatlVo:
1.
. . .,
D ef ¡mClOn.
Debe J'uzgarse si las definiciones existentes son vagas, dema-
. d' f
siado erróneas en sus presuposiciones y/o demasla o lmper ectas en su
orientación metodológica.
Toma de decisiones. El comité concebía la evaluación como algo tot~l:nen-
2.
te relacionado con la toma de decisiones, pero pensaba que las declSlones
que debían tomarse en cuanto a los cambios no ~:taba~ muy claras. Ade-
más el comité consideraba necesario una concepClOn mas clara del proceso
meeÍiante la cual los evaluadores pudieran enfrentarse y resI><?ndera los
problemas de decisión y a los consiguientes requisitos informatIvos.
Valores. El comité creía que muchas evaluaciones reflej.~ban errón~amente
3.
una orientación que no atendía a los valores. Tamblen denuncIaron la
escasez de buena literatura sobre temas cruciales acerca de .cómo r~co~ocer
y tratar con múltiples perspectivas de valor, cómo co~segUlr l?,s cnten~~ e
instrumentos apropiados y cómo asignar valores a la mformaclon obtem a.
Niveles. El comité creía que los evaluadores habían fracasado p~r ~om-
4.
pleto al no reconocer que las distintas audiencias pres:nta?,an dlstmtos
requisitos informativos en sus distintos n~v~les de orgamza.clO~. Una eva-
luación concebida para satisfacer los requlSltos de una audIencIa concreta
-por ejemplo, el personal de un proyecto escolar-:- p~ede que. no sea
apropiada para satisfacer los requisitos de otras audIencIas; por ejemplo,
La evaluación es el proceso de identificar, obtener y proporcionar informa-
ción útil y descriptiva acerca del valor y el mérito de las metas, la planifi-
caci~n, la realización y el impacto de un objeto determinado, con el fin de
)
)
serVIr de guía para la toma de decisiones, solucionar los problemas de res-
ponsabilidad y promover la comprensión de los fenómenos implicados. )
)
Esta definición resume los conceptos clave del modelo CIPP. Postula tres
)
p.ropósitos evaluativos: servir de guía para la toma de decisiones, propor-
ClOnar datos para la responsabilidad y promover la comprensión de los fenó- )
menos implicados (lo cual coincide con la orientación de perfeccionamiento
)
del modelo, puesto que el primero de estos propósitos es también el más
importante). Presenta la evaluación no como una prueba sino como un pro- )
ceso, y afirma que este proceso incluye las tres etapas de identificar, obtener
)
y proporcionar información (de ahí que los evaluadores deban tener una buena
preparación en las áreas técnicas y de comunicaciones). Tanto la información )
útil (para emitir juicios) como la descriptiva son consideradas adecuadas para
)
va~orar y ayudar a perfeccionar el objeto de interés. Los aspectos clave del
objeto que, según la definición, deben ser valorados incluyen sus metas su )
planificación, su realización y su impacto (los cuales son valorados, resp~cti- )
vamente, median.te l.a evaluación del contexto, de la entrada, del proceso y del
producto). El cnteno fundamental que debe ser tenido en cuenta incluye su )
valor (s~ respuesta a las necesidades valoradas) y su mérito (su calidad). )
El hbro que explicaba esta definición tuvo una considerable influencia en
)
)
 ~ - -~ ,
t"
. -, .~ ~.

""";.,rr~r,:,...,:,...,-("'~::,
(*"'i,--f"";-,r-;:"~:""'~("""F-l.'f/::R,~,...;::í-tdtAt:'f"'\ "1"\ --'f'"\-"'ri-,..c.- ~e ~ fI\~~' ~ """ "'" "'" ~ .....,~

TABLA 6-1. Venta;asy desventa;as de los distintos métodos tradicionales de evaluación

-
~

Desventa;as
Métodos
Venta;as ~
Q)

c:
Q)
Se centra sólo en los instrumentos disponibles o
l. Medición según las normas Basada en la teoría psicológica
Es inflexible a causa del tiempo y el coste que o:
::1
Emplea tecnología estandarizada
supone producir nuevos instrumentos en
Concebida para asegurar fiabilidad y validez
Validez de los tests publicados y de los servicios
Desatiende la validez del contenido en favor de ..•
ü;
ro
la fiabilidad del recuento de las diferencias 3
de calificación
Basada en normas profesionales
individuales "'-..•
o'
Destaca los conocimientos y aptitudes que pueden Q)
Estándares procedentes de normas
ser fácilmente valorados mediante tests con
papel y lápiz
Eleva el modelo a la categoría de norma para
todos los estudiantes

Dictados principalmente por la oportunidad

2. Juicio profesional Fácil de llevar a cabo Su fiabilidad y objetividad son cuestionables
Toma potencialmente en consideración todas las
Tanto los datos como los criterios son ambiguos
variables No pueden comprobar la validez
U tiliza toda la habilidad y experiencia disponibles
La generalización es muy difícil
No se retrasa durante el análisis de d,atos

Impone controles inalcanzables en un contexto

Alta respetabilidad científica
3, Diseño experimental educativo o perjudiciales para los propósitos
Proporciona potencialmente datos sobre las cau-
de la evaluación
sas y los efectos Se interfiere en las operaciones normales de los
Está preparado para alcanzar altos niveles de
proyectos que se están estudiando
fiabilidad, validez y objetividad
Supone presuposiciones inaplicables / Limita el
Qrdena potencialmente las opciones de quienes
estudio a unas pocas variables
toman las decisiones
Los servicios restringen las decisiones
Está apoyada por estadísticas deductivas
Proporciona los resultados sólo al final

i'I '.; .- ._,

,--~-- ~

4. Coincidencia entre resultados
objetivos (Tyleriano)
y Puede combinarse con la planificación didáctica Concede una función técnica al evaluador
Proporciona datos sobre los estudiantes y sus Se centra casi exclusivamente en los objetivos
currículos Considera el comportamiento como el último cri-
Posibili ta la retroalimentación periódica terio de todas las acciones educacionales
Define las normas del éxito Fracasa en la evaluación de los objetivos
Posibilidad de procesar y producir datos Se centra en la evaluación como proceso terminal

..•c:
(J)

:l;
(1)
o-
(1)
ll>
3
iil
~
Q)

c:
Q)
o
o;
::1
o-
~
"tJ
(1)

~
(1)
o
o
o'
::1
Q)

3
¡¡¡O
::1
8"

~
186 I Evaluación sistemática
,.-
e 1 d es
arrollo de las evaluaciones orientadas hacia la decisión, especialmente en
'd d 'd . d
los distritos escolares grandes. El resto de esta Un! a esta estilla. o, en su
mayor parte, a poner al día los conceptos clave y las recomendaclOnes que
aparecían en el libro del PDK.
El modelo CIPP comparado con otras recientes
propuestas evaluativas
Mientras mis colegas y yo desarrollábamos la estructura del CIPP, Robert
Stake desarrollaba su método de la «figura de la evaluación», que está incluido
en su «método respondente» (véase unidad 7). Intercambi~.mos ,borradores de
nuestras obras en 1966, y yo estaba interesado en saber Sl hablamos desarro-
llado independientemente métodos similares o distintos. . la mejor puesta en práctica de esta definición consistía en encargar a un eva-
La coincidencia entre el CIPP y la estructura de la figura era cons1de-
rabIe pero también existían diferencias notables. Ambos métodos exigían
una ~aloración de los resultados, pero Stake destacaba la necesidad .de .1~calizar
tanto los efectos secundarios como los ya propuestos desde un pnnc1plO. Era
una excelente recomendación que más tarde incorporé en mi concepción de la
evaluación del producto. Su disposición de observar y ~na.lizar las «transac-
ciones que se producen dentro de un proyect?» fue algo slm1~ar para la evalua-
ción del proceso. Aunque Stake no proporclO~~ba nada analogo p~ra la eva-
luación de entrada, tanto ésta como la evaluaclOn del contexto pod1an ~e.rcu-
biertas por lo que él llamaba la identificación y valo.ración de las «cond1C10nes
previas» (las que existen antes que el proyecto e~p1e:: y antes de ~ue el, eva-
luador entre en escena). Sin lugar a dudas, la uuhzac10n de cualqUler metodo
exigía una valoración del proyecto más ampfia que la .que p~oponía la con-
cepción tyleriana orientada hacia los resultados. Una diferenc1a entre ambos
métodos era el llamado problema del «punto de entrada». Al relegar la valo-
ración de las necesidades y los planes del proyecto a la categoría de anteceden-
tes, Stake parecía asumir que el evaluador debe~ía entrar en .acción durante
la etapa de la realización, cuando sería más aprop1ado que se fijara en las tran-
sacciones que estaban ocurriendo. El CIPP permitía la entrada tanto antes
como durante el proyecto y concedía la posibilidad de llevar a cabo un solo
tipo de evaluación (del contexto, de la entra~a, del proceso o .del.producto) o
alguna combinación, dependiendo de las neces1dades de las aud1enc1as.
Ningún método estaba a favor de iniciar una evaluación después de que
el proyecto hubiera quedado completado para realizar un post m.~rtem (o ~ar
motivo a una celebración), puesto que ambos destacan la funclOn perfecc10-
nista de la evaluación. Mientras los dos métodos están concebidos para ayudar
a audiencias concretas a utilizar la evaluación para llevar a cabo sus tareas, el
método de Stake está concebido para ayudar más directamente al personal y
los profesores del proyecto, y el método CIPP se orienta más hacia las nece-
Stufflebeam: la evaluación del perfeccionamiento I 187
)
)
)
')
sidades de los que planifican y administran los proyectos. Otra diferencia entre
ellos se refiere a las bases utilizadas por los dos métodos para llegar a conclu-
siones acerca del éxito de los proyectos. En el método de Stake, estas conclu-
.,
')
siones se derivan de la recopilación y el análisis de los juicios de todas las )
IXrsonas y grupos que están interesados en el proyecto, mientras que el mé-
todo CIPP atiende más a la satisfacción de las necesidades valoradas. Ambos ')
métodos evidencian una tensión -yo creo que saludable- entre la obtención )
de un amplio concepto de un proyecto y la adaptación de la evaluación a la
satisfacción de las necesidades informativas más importantes de las audiencias. ')
El método «sumativo-formativo» de Michael Scriben ofrece un contraste }
muy fuerte con el método CIPP y el acreditado (para una versión puesta al
día de su método, véase la unidad 10). Definió la evaluación como la deter- )
minación sistemática y objetiva del valor o el mérito de un objeto, y dijo que )
luador independiente que emitiera un juicio sobre un objeto basándose en )
evidencias acumuladas producto de su comparación con objetos similares a la )
hora de satisfacer las necesidades de los consumidores. Llamó a este método
evaluación sumativa y dijo que era mucho más importante que la evaluación
)
formativa, en la que un evaluador recopila y presenta datos y juicios que ayu- )
dan al desarrollo de un objeto. Según esta base lógica, SCRIVEN(1970) denun-
ció que el método CIPP era imperfecto porque ignoraba casi totalmente el )
papel fundamental de la evaluación sumativa debido a su preocupación por el )
perfeccionamien to.
)
En una reunión del grupo de evaluación May 12, Michael Scriven y yo
debatimos los méritos relativos de la orientación perfeccionista enfrentada a la )
orientación hacia el juicio sumativo. Más tarde, AERA puso el debate en mar-
)
cha, por así decirlo, y ambos fuimos encargados de codirigir y enseñar al
equipo de cuatro institutos ambulantes. Como consecuencia, NIE nos encargó )
presidir los equipos que iban a diseñar diversos planes evaluativos para los
)
laboratorios regionales educativos y para centros de investigación y desarrollo.
A través de estos contactos, acabé convenciéndome de que las diferencias entre )
nuestros conceptos de evaluación eran más aparentes que reales y de que refleja-
)
ban, sobre todo, distintas perspectivas y experiencias. En mi trabajo en Colum-
bus, una orientación hacia un juicio de valor final y basado en conceptos exte- )
riores había quedado ahogada, sin servir a las necesidades del personal, que pre- )
tendía «sacudir» y perfeccionar sus proyectos de la ESEA. Asimismo, dado que
Scriven había estado ampliamente implicado en grupos asesores relacionados )
con diversas evaluaciones nacionales de currículos, es fácil comprender por qué )
insistía tanto en las evaluaciones comparativo-sumativas. Sus audiencias prin-
')
cipales eran los potenciales compradores de estas evaluaciones, que estaban
obviamente interesados en las recomendaciones acerca de las alternativas que )
mejor les convenían, y no en los datos que pudieran mejorar esas evaluaciones.
Finalmente, la compatibilidad de nuestros puntos de vista se confirmó cuando )
)
)
\
(
(
188 Evaluación sistemática Stufflebeam: la evaluación del perfeccionamiento I 189
(
( ~ las planificaciones de nuestros dos equipos para NIE resultaron ser muy simi-
'o lares, incluso habiéndose desarrollado independientemente (REINHARD, 1972).
.<:;
( ':l
.~ Sin embargo, estas experiencias reafirmaron la necesidad de clarificar y
( ~ ampliar el modelo CIPP, para asegurarse de que satisfaría las necesidades tanto
...~
':l
de las evaluaciones sumativas como de las comparativas. De acuerdo con esto,
( el escribí un artículo sobre la aplicabilidad del método CIPP a la contabilidad
...
l:l..
(SruFFLEBEAM, 1971). En este artículo, yo caracterizaba la evaluación desti-
( ClJ
"-
~ nada a la toma de decisiones como formativa o proactiva por naturaleza, y la
{ evaluación destinada a la responsabilidad como sumativa o retroactiva. El ar-
""...
( ClJ
;: "
•...
'"
o
tículo fue escrito prinópalmente para exponer una versión del esquema presen-
tado en la tabla 6-2. Este esquema muestra que las evaluaciones del contexto,
( .::¡ '"u
.~
<.l
'o"
•...
de entrada, del proceso y del producto pueden ser utilizadas tanto como guías
ClJ o. para la toma de decisiones, función formativa, como para suministrar informa-
( "":l

ClJ ción para la responsabilidad, función sumativa.

"":l
( Basándose en este esquema, los evaluadores pueden planificar y realizar la
':l
( ~
el
evaluación con el fin de ayudar al personal a proyectar y llevar a cabo su pro-
.•...
grama. Dejando aparte la estrechez o amplitud de los requisitos informativos
( ....
':l
de los que realizan el programa, pueden también pensar e intentar satisfacer
( ¡:: todas las necesidades informativas de las audiencias externas que algún día
':l
l:l..
desearán llegar a conclusiones acerca del valor y el mérito de ese trabajo de
( ;:
'O perfeccionamiento. Además, pueden realizar una relación de la información
.<:;
( ':l
;:s
recopilada y evidencias sobre hasta qué punto la han utilizado como guía para
~~ su trabajo. Aunque esta información puede que no responda a todas las pre-
( ClJ guntas de un evaluador sumativo externo, ayudará, sin lugar a dudas, a aclarar
( ClJ
"":l algunas de ellas. Especialmente, si el método CIPP se lleva hasta el final, pro-
...el porcionará información muy útil para plantear las siguientes preguntas:
(
.e-
.•...
( el 1. ¿Qué necesidades han sido planteadas, cuál es su trascendencia e impor-
"-
.•..• tancia y hasta qué punto los objetivos del proyecto reflejan las necesidades
( ~
<.l valoradas (planteadas por la información del contexto)?
e ... 2. ¿Qué plan de procedimientos, de personal y de presupuesto ha sido adop-
~

,
(
.~
ClJ
"":l

~
<.l
tado para plantear las necesidades, qué alternativas se han considerado,
por qué se ha escogido una y no las otras, y hasta qué punto era una pro-
puesta razonable, potencialmente exitosa y efectiva con relación a su coste,
para satisfacer las necesidades valoradas (planteadas por la información de
( .•...

(
"-o
l:l.. ':
.~
•...
o 3.
entrada)?
¿Hasta qué punto se ha realizado el plan del proyecto y cómo y por qué
.~
( ':l
razón se ha modificado (planteada por la información del proceso)?
>-4 4. ¿Qué resultados -positivos y negativos, buscados o no- se han obser-
( vado, cómo han juzgado los distintos clientes el valor y el mérito de los
N
( -1J resultados y hasta qué punto han sido satisfechas las necesidades de la
<:
,..¡ población objeto del estudio (información del producto)?
l ~
<:
E-<
l
 ....
__
.- L

1
.... - ..
:,1: )
.•..•..•..•....
! ~
1
')

190 I Evaluación sistemática Stufflebeam: la evaluación del perfeccionamiento I 191 ')

El CIPP como estrategia para el perfeccionamiento de los sistemas
Comparado con las orientacione~, de Stak~ .Y Scriven, el CIPP está más
en la línea de los sistemas de educaclOn y serV1CI0Shumanos. No se concentra
demasiado en servir de guía para la realización de un estudio individual, sino
más bien en proporcionar unos servicios de evaluación continu~ para la toma
de decisiones de una institución determinada. Se basa especIalmente en el
concepto de que el propósito más importante de una evaluación no es d~mos-
trar sino perfeccionar. Esto se opone a los que afirman que las evalua~~ones
deben ser «cazadoras de brujas» o simples instrumentos de responsabtlidad.
Por el contrario, considera que la evaluación es un instrumento para ayudar a
que los programas sean mejores para la gente a la que deben serVIr. Esta
postura es coherente con la que recientemente han expresado PATTON(1978)
y CRONBACHy sus colaboradores (1980) (véase unidad 5). D~ cualquier f?~ma,
las orientaciones del CIPP no están concebidas para reducIr la probabilidad
de que algunos programas sean indignos de una mejora, por lo ~ue se de~ería
terminar con ellos. Promoviendo la «eliminación» de programas mnecesanos o
desesperadamente imperfectos, las evaluaciones también cumple? una, función
perfeccionista, al permitir que los recursos vayan a parar a tra~aJos ma~ prove-
chosos. Fundamentalmente, la utilización del modelo CIPP esta concebIda para
promover el desarrollo y ayudar a los dir.ectivos ~,person~l respo~sable: .de
una institución a obtener y utilizar una mformaclOn contmua y slstematIca
con el fin de satisfacer las necesidades más importantes o, al menos, hacer
lo posible con los recursos de que dispongan.. . interés que tienen para las necesidades, problemas y objetivos establecidos, su
Esta orientación, que ayuda a mantener y mejorar la calldad de las opera-
ciones institucionales, aparece ilustrada en el diagrama de la. figura 6.1. Em-
pezando por la izquierda, puede comprobarse .que las ope~a~lOnes de u.na es-
cuela o cualquier otra institución, incluyen dIversos y qUlza no coordmados
trabajos evaluativos, pero también que, periódicamente, la ins~i:ución nece~ita
someterse a una evaluación especial del contexto. Una evaluacI0n de este tlpo
puede examinar las necesidades de los clientes de la institución; exponer. opor-
tunidades como programas de subvención, avanzadas tecnologías educatlvas o
industrias con disponibilidad y capacidad para ayudar a la institución; reco-
pilar y examinar intuiciones acerca de los problemas de .la .institu~ión. qu~ ne-
cesitan un cambio; y valorar la eficacia de las metas y pnondades mstltuclOna-
les. Una evaluación del contexto puede estar motivada desde dentro de la
institución como una valoración regular del «estado de la institución» o como
una respuesta a ciertos sectores que estén insatisfe:~os con la ~abor de la
institución. Una evaluación del contexto puede tambIen estar mOtlvada desde
I fuera de la institución, como cuando una agencia acreditada pide un auto-
estudio o cuando una agencia de subvenciones pide una «valoración de ~as
necesidades» como base para justificar una solicitud de fondos. Estos estudIos
I
1
I )
ji
t pueden estar dirigidos hacia áreas de interés específicas o centradas, más gene- ')
j ralmente, en una amplia gama de funciones de la institución. En general, estos ")
estudios ayudan a la renovación del sistema y a la promoción de un mejor y
')
más eficiente servicio, al diagnosticar problemas concretos y modos de perfec-
cionamiento, Y comunicar los puntos fuertes y débiles de la institución res- )
pecto a su ciscunscripción.
Los resultados de la evaluación del contexto, idealmente, pueden condu- ')
cir a una decisión acerca de la introducción de algún tipo de cambio en el )
sistema. Si la decisión es en sentido negativo, el personal de la institución
debe continuar con las operaciones del programa de costumbre. Por el contra- )
rio, si se toma la decisión de cambiar, de alguna manera, la institución, el ')
personal del programa debe clarificar el problema (o problemas) que debe{n)
ser resuelto{s) y formular sus objetivos. Seguidamente, deben considerar si exis- )
te alguna estrategia de solución clara y apropiada, así como fácilmente adapta- )
ble a su situación. Si la hay, deben adoptarla y redirigir su atención hacia su
utilización y evaluación en el programa, ya en marcha, de la institución. )
Si no aparece ninguna solución satisfactoria, el personal, de acuerdo con el )
diagrama, debe realizar una evaluación de entrada. Una evaluación de este
tipo debe localizar la literatura más importante, interrogar al personal de otras )
instituciones que hayan tenido éxito en un problema similar, fomentar el in- )
genio y la creatividad del personal de la institución y de los grupos de clientes,
y, posiblemente, contratar a expertos del exterior. Más tarde, se encargará a
)
uno o más equipos que propongan una o más posibles estrategias de solución. ).
La(s) propuesta(s) resultante(s) deben ser valoradas según criterios como el
)
solvencia 'y su viabilidad. )
Los resultados de la evaluación de entrada pueden ser utilizados para de-
)
cidir si ha sido hallada una estrategia de solución lo suficientemente promete-
dora como para seguir adelante con su desarrollo. Si no ha ocurrido esto, el )
personal debe considerar si el cambio deseado es 10 suficientemente importan-
)
te para continuar la búsqueda y, si loes, debe reemprender la búsqueda de
otra estrategia de solución. Si se ha encontrado una estrategia prometedora, )
el personal debe decidir si esta estrategia puede ser justificadamente adoptada
)
sin comprobación. Si la estrategia es bien conocida y el persOnal se considera
capaz de aplicarla, debe desviar su atención a la incorporación del cambio en )
las actividades regulares que lleva a cabo, sin el apoyo de evaluación especia-
)
lizada alguna.
Por el contrario, si decide su comprobación, debe dirigir su atención hacia )
un examen de la estrategia y someterla a una evaluación del proceso y del )
pr.oducto por el período de tiempo que sea necesario para analizar el procedi-
mIento y alcanzar el nivel operativo deseado, así como la habilidad suficiente )
para su aplicación. De cualquier forma, si, en algún punto, el proyecto no se )
desarrolla satisfactoriamente o su coste es considerado alto, el director de la
)
(
(
( 192 I Evaluación sistemática 8tufflebeam: la evaluación del perfeccionamiento I 193
{
a las operaciones regulares, incluyendo la evaluación regularizada del programa
( que está en marcha.
El análisis de la evaluación precedente, en el contexto de un proceso de
(
cambio institucional, reafirma muchas importantes características propias de
( un método sistemático de evaluación:
(
1. La evaluación es una parte integrante del programa regular de una ins-
( titución y no sólo una actividad especializada relacionada con proyectos
( de renovación, y el perfeccionamiento del CIPP o de cualquier otro mé-
todo especializado es sólo una parte del mosaico de la evaluación formal
( e informal de la institución.
( 2. La evaluación desempeña un papel vital en la estimulación y planificación
de cambios.
( 3. La utilización de cada tipo de evaluación del modo CIPP está indica-
( da sólo si es necesaria más información de la que ya existe, y no por el
valor intrínseco de cada clase de evaluación. En otras palabras, las evalua-
( ciones del contexto, de la entrada de datos; del proceso y del producto son
( sólo una parte del gran marco evaluativo de cada institución, y la función
más importante de estos estudios encargados es servir a las necesidades
( marginales, en lo que se refiere a la información evaluativa, de la insti-
( tución.
4. El desarrollo de nuevos programas debe incluir una previsión acerca de
( su utilización práctica de la evaluación, una vez que hayan sido aceptados
( a través de algo relacionado con la evaluación con inserción de currículo
(en la que la evaluación se construye mediante la realización de un currícu-
( lo y, automáticamente, proporciona una retroalimentación útil para el diag-
( nóstico, prescripción y comprobación de los progresos).
5. La información de la evaluación no sólo proporciona una guía para resol-
(
ver problemas institucionales, sino que, si se realiza de cara a una revisión
( pública, también proporciona una base para juzgar si las decisiones acerca.
FIGURA 6-1. Diagrama descriptivo del papel de la evaluación el?? del fracaso o institucionalización de un proyecto especial se toman desde
( en el perfeccionamiento de un sistema posiciones justificables.
( 6. Las decisiones acerca del principio, mantenimiento, aplicación o final de
institución puede decidir que no se continúe el trabajo y, de acuerdo con esta los programas o de su perfeccionamiento, casi siempre reflejan fuerzas
{ conclusión, terminar con él. Estas decisiones se toman frecuentemente al final dinámicas -racionales e irracionales- que van más allá de la esfera de
( de los proyectos subvencionados federalmente, cuando se ha de decidir si deben estudio e influencia del evaluador.
concederse los fondos locales para la institucionalización de un proyecto. Como
( se muestra en la parte inferior derecha del diagrama, incluso si un proyecto ha
« tenido éxito, el director de la institución puede determinar que las condiciones Panorama de las categorías del CIPP
de la institución han cambiado 10 suficiente como para que ya no sea necesa-
•
(
rio el cambio que se habían propuesto y, como consecuencia, dar por finalizado
el trabajo. Si supone que el proyecto es un éxito y que la solución proporcio-
Además de considerar el método CIPP en un contexto institucional o de
sistemas, es instructivo examinar más de cerca cada tipo de estudio. La matriz
nada aún es necesaria, la institución debe seguir aplicando el proyecto y volver de la tabla 6-3 se presenta como un útil panorama de los significados esencia-
(

t
 ~
'. ".....~~.•.~.. :~~~

~
TABLA 6-3. Cuatro tipos de evaluación .•..
<O

Evaluaci6n del proceso Evaluaci6n del producto

Evaluaci6n del contexto Evaluaci6n de entrada
[
, Identificar o pronosticar, dti- .. Recopilar descripciones y jui-
e
'o."
!J.
Definir el contexto institu- Identificar y valorar la ca-
Objetivo rante el proceso, los de- cios acerca de los resulta- :J
cional, identificar la po- pacidad del sistema, las
estrategias de programa feetos de la planificación dos y relacionarlos con los en
blación objeto del estudio
y valorar sus necesidades, alternativas, la planifica- del procedimiento o de su objetivos y la infotmación ...•
en
ro
ción de procedimientos realización, proporcionar proporcionada por el con- 3
identificar las oportunida-
des de satisfacer las nece- para llevar a cabo las es- información para las de- texto, por la entrada de ...•
"',
cisiones preprogramadas y datos y por el proceso, e ñ'
trategias, los presupues-
sidades, diagnosticar los
tos y los programas. describir y juzgar las ac- interpretar su valor y su '"
problemas que mbyacen
tividades y aspectos del mérito.
en las necesidades y juz-
procedimiento.
gar si los objetivos pro-
puestos son lo suficiente-
mente coherentes con las
necesidades valoradas.

Controlar las limitaciones Definir operacionalmente y

Utilización de métodos como
Método
el análisis de sistemas, la
inspección, la revisión de
documentos, las audicio-
nes, las entrevistas, los
tests diagnósticos y la téc-
nica Delphi.
Inventariar y analizar los re-
potenciales del procedi- valorar los crirerios de los
cursos humanos y mate-
miento y permanecer aler- resultados, mediante la
riales disponibles, las es-
ta ante las que no se recopilación de los juicios
trategias de solución y las
esperaban, mediante la de los clientes y la reali-
estrategias de procedimien-
obtención de información zación de análisis cualita-
to referentes a su aplica-
específica de las decisio- tivos y cuantitativos.
bilidad, viabilidad y eco-
nomía. Y utilizar métodos nes programadas, la des-
como la búsqueda de bi- cripción del proceso real,
bliografía, las visitas a la continua interacción con
programas ejemplares, los el personal del proyecto y
grupos asesores y ensayos la observación de sus ac-
piloto. tividades.

Relación con Decidir el marco que debe Seleccionar los recursos de Llevar a cabo y perfeccionar Decidir la continuación, fi-
la toma de ser abarcado, las metas apoyo, las estrategias de la planificación y los pro- nalización, modificaci6n o
decisiones en relacionadas con la satis- solución y las planificacio- cedimientos del programa, readaptaci6n de la activi-
el proceso de facción de las necesidades nes de procedimientos, es- esto es, efectuar un con- dad del cambio. Y pre-
cambio o la utilización de las to es, estructurar las acti- trol del proceso. Y pro- sentar un informe claro
oportunidades y los ob;e- vidades de cambio. Y pro- porcionar un esbozo del de los efectos (deseados y
tivos relacionados con la porcionar una base para proceso real para utilizar- no deseados, positivos y
solución de los problemas, juzgar la realización. lo más tarde en la inter- negativos ).
por ejemplo, la planifica- pretación de los resulta-
ci6n de los cambios nece- dos.
sarios. Y proporcionar una
base para juzgar los resul- !?/
tados. e
=:::
ro
o-
ro
'3"
¡¡;-
ro
~
e
e; '"
o
o;
•••
, ~ ¡¡; :J
:t< ..::: ::;
O r""' t"-=. c..
ro
~;.:::~~~ 'C
.~~ ;:-:"J -:n ro
~
t,~:}~ .. ' ("
ro
o
o
o'
:J
;; ~~\,p~ '"
3
.,.. '!".;7~.
t.'1 r- ~_.'. ro
t. ~l~;': ...•
:J
o
O(f"'..L.
,,, ~(-
v' ..-t (:.
o::rJ In
() r11 :j <O
_-o :.,(1 (l
C1I

~6':r;
<"
 - ....•..........
. -c.,
I
Stufflebeam: la evaluación del perfeccionamiento I 197
196 \ Evaluación sistemática

de d del proceso y del producto. Estos con su público con el fin de alcanzar una concepción compartida de las virtudes
les de la evaluación del contextfio"d entra a 'ac1'o'
n a sus objetivos, sus métodos y defectos del distrito, sus necesidades y oportunidades y sus necesidades prio-
,
cuatro upos d e estu d'10 son de nl os con re l
ritarias. Puede ser utilizada para convencer a una agencia de subvenciones de
y sus utilizaciones. que el proyecto propuesto se refiere a un área de urgente necesidad, o conven-
cer a un electorado de la necesidad de aprobar unos impuestos. Puede ser
utilizada para formular objetivos referentes al desarrollo del personal y/o
Evaluación del contexto la revisión del currículo. Puede ser utilizada para seleccionar escuelas con-
cretas que necesiten una ayuda prioritaria. Desde luego, a menudo puede ser
. . l' . 'n de 1a eva 1uac l'o'n del contexto es identificar las
La prmC1pa onentac10 b' una institución un programa, una utilizado para ayudar a los estudiantes y a sus padres o asesores a centrar su
d 19ún o Jeto, como ' f .
virtudes Y d ef ectos e a .. onar una guía para su per ecclO- atención en las áreas de desarrollo que requieren más progreso. También
población escogida o una per:o~a, YdPropotClt'po-de estudio son la valoración puede ser utilizada para ayudar a decidir cómo interrumpir programas, con
.' 1 obJeuvos e este 1 . 'fi
namiento. Los pnnc1pa es l'd 'fi 'o'n de sus deficiencias, la 1denu ca- la esperanza de ayudar a la institución a ser más fuerte haciéndose más pe-
I b' to a 1 enU caCl . ,. d
del estado gl ob a1 d e o Je , d b esas deficiencias el d1agnOStlco e queña. Creo que éstos son ejemplos importantes de cómo una evaluación del
. d ue en su sanar ' 1
ción de las vlttu es que p d . 1 estado del obJ'eto y, en genera, contexto puede ayudar a individuos y grupos a establecer prioridades en los
1 ., n pue a mejorar e .,
los problemas cuya so UClO d elve el programa. Una evaluaclOn trabajos de perfeccionamiento. También puede utilizarse más tarde, cuando es
. ., d 1 rco en que se esenvu d d .
la caractenzaClOn e ma . d . r SI'las metas y priori a es eX1S- necesario valorar lo que se ha conseguido a través de! perfeccionamiento del
, b' , ' d stma a a examma
del contexto tam len esta.e 1 'd des que deben supuestamente, proyecto. Una base para juzgar los resultados consiste en valorar si responden
, C1a con as neceS1 a , 1
ten tes estan en consonan 1 b' tral los resultados de una eva ua- adecuadamente a las necesidades identificadas durante la evaluación del con-
. e sea e o Jeto cen , 1
satisfacer. Cua l qUiera qu . b o'lida para el ajuste (o e esta- texto. Finalmente, la evaluación del contexto es un medio pertinente para de-
or ClOnar una ase s .
ción del contexto d e b en pro.P .d d ara la designación de los cambios fender la eficacia de las propias metas y prioridades.
blecimiento) de metas y pnon a es, y p
necesarios. 1 . , del contexto puede incluir una gran
La meto d o1ogla ' de una eva. uaC10n d' , d1'versos tipos de ana'1"1SlS.El Evaluación de entrada
. d 1 objeto e mteres y 1
variedad de va 1oraClOnes e . los clientes del estudio con e
'd ' ún es entrevistar a
punto de partl a mas com . t acerca de las virtudes, los defectos y La principal orientación de una evaluación de entrada es ayudar a prescribir
fin de tener acceso a sus puntos de VIS.a d 1 comunidad y las consiguien- un programa mediante e! cual se efectúen los cambios necesarios. Esto lo reali-
. . las reunlones e a
los problemas. L as au d 1enC1as, . d r hipótesis adicionales acerca za identificando y examinando críticamente los métodos potencialmente apli-
tes entrevistas deben estar destlhn.a,as ~ genedrea ser utilizadas para construir cables. Es una anunciadora del éxito, el fracaso y la eficacia de un cambio. Los
. . Estas 1potes1s pue n . d
de los cam b lOSnecesanos. d l' d a una muestra ctilda osa- proyectos de cambio están limitados por decisiones iniciales acerca de cómo
d' e pue e ser ap!Ca o
un instrumento d e estu 10, qu ., lmente para todos aquellos deben asignarse los recursos, y una solución a un problema, potencialmente
'd d l' t S Y serVir mas genera, '1' .
mente escogl a e c len e , d l' ndo finalmente un ana 151S efectiva, no tiene ninguna posibilidad de impacto si un grupo de planificación
. d tos de entra a, rea Iza
que deseen proporcionar a Los informes ya existentes deben no identifica y valora, por 10 menos, sus méritos, cuando se está estructurando
separado de las respuestas de ~md bO:figruPlos. odelos de trabajOo y la informa- su proyecto de cambio .
., . d para 1 entl car os m
ser tamb1en examma os ., d' nóstico
g especial. y contratar- Esencialmente, una evaluación de entrada debe identificar y valorar los
ción previa. Puede aplicars~ ~amb1benun tdest 1a y 'Juzgue el valor y el mérito métodos aplicables (incluyendo los que ya están operando en el principal pro-
visIte o serve e cerc a . d
se a un experto para que d' 1 estudio un comité asesor representatlvo e grama de interés) y ayudar a explicar y «desmenuzar» el que se ha' escogido
de un programa. A 10 l~rgo e d int~rvenir en la clarificación de las cues- para su aplicación o continuación. También debe buscar las barreras que limi-
los diversos grupos de clientes pue e ., d los resultados Una técnica que tan e! marco ambiental de los clientes, las limitaciones y los recursos poten-
. l' la interpretaclOn e .
tlOnes eva uatlvas y en 1 D 1 h' uede ser utilizada para asegurar cialmente utilizables que deben tenerse en cuenta en el proceso de activación
tienda hacia el consenso, c~mo a .e ~ 1,. P y debe existir un taller de tra. del programa. El propósito global de una evaluación de entrada es ayudar
acuerdos acerca de las necesidades pr~ontana~: 1 resultados a los clientes en la consideración de estrategias de programa alternativas en el
bajo que ayude a los clientes a estud~r y ap lCa:c~:s utilizacio~es construeti. contexto de sus necesidades y circunstancias ambientales, así como desarrollar
Una evaluación del contextod.pue e tener m distrito escolar se comunique un plan que sirva a sus propósitos; otra importante función que desempeña
vas. Puede proporcionar un me 10 para que un
 L
')
')
Stufflebeam: la evaluación del perfeccionamiento I 199 ')
198 I Evaluación Sistemática

es ayudar a los clientes a evitar la infructuosa práctica que consiste en perseguir

innovaciones propuestas que, sin duda, fracasarán o, por lo menos, acabarán
alternativa~; y 4) un medio para implicar al personal en el sistema ado
ya sean miembros del grupo asesor o mi b dI' ptado,
tÍvidades de convergencia y operacional~~ci~os e gr.upo que realIza la.s ac-
.,
')

n
con sus recursos. de las distintas estrategias. Encontrará más info qu~, SI~Ue? al ~rdenamlento 1
Los métodos que utiliza pueden ser descritos en una serie de etapas, aunque técnico y los resultados de cinco tests d 1 r,ma.cIOn,InCuyen o un manual
no existe ninguna secuencia de pasos que puedan seguirse para realizar una Diane REINHARD (1972). e a tecmca, en la tesis doctoral de )
evaluación de entrada. Puede empezarse revisando el estado de la práctica ')
Las evaluaciones de entrada tienen muchas a lic . .
con respecto a la satisfacción de las necesidades específicas; esto puede hacerse
mediante el estudio de la literatura más importante, el contacto con programas
ejemplares, la consulta con expertos y representantes del gobierno a propósito
~;;'~',';/j~~::';,;::;:,;';;::'
existente y decir si se opone a lo que se h'
d:ut~~:::
;;:;:;:,::"~:::',u~:'l:;~,~n~,
s va orar un programa ya
J
')
de los pertinentes servicios de información y la aceptación de propuestas del la literatura. La evaluación de entrad ac~en o.~:asJartes y a lo que propone
personal implicado. Esta información debe ser ordenada en una planificación escolar independiente de Dalla a s.e a utllza ,o ta~bién en el distrito ')
: I
especial y sometida a la profunda investigación de un grupo especial de estu- locales de renovación cuyos cSosctomo sls.tema para mvestlgar las propuestas
. ' es preVIstos podían 11 d 1 )
dio. Su investigación debe llevarse a cabo durante un cierto período de tiempo benefiCIOSprevistos. Otra utilizació' .egar a exce er a os
a través de un grupo especial de decisiones, Este grupo puede utilizar las in- un tribunal mediante los cuales n conslS~: e~ 'proporcIOnar una estructura y ')
\¡ 1
;,
1-

1.
r I
formaciones para valorar si existen estrategias de soluciones potencialmente
aceptables. Además, puede valorar los métodos propuestos Y su efectividad
y viabilidad potenciales, además de aconsejar al personal y a la facultad acerca
de la búsqueda de una nueva solución. Si se busca una renovación, el cliente
¡ llegar a un acuerdo en algún ti o d~r~~~~ lstonc~mente. antagónicos puedan
de una evaluación de entrada; d 1 n. Adema\ los mformes procedentes
un tipo de acción entre otras :a~i~i7i;ad~:. responsa les autorizados a escoger
)
)

I
'1 )
(l
y los evaluadores deben definir los criterios que debe cumplir esa innovación,
J estructurar una solicitud de propuestas, obtener diversas propuestas y valorar- )
Evaluación del proceso
las según su efectividad y viabilidad potenciales, Más tarde, los evaluadores )
pueden analizar y ordenar las propuestas potencialmente aceptables y sugerir
En esencia, una evaluación del . ., )
cómo pueden combinarse las mejores características de cada una. Además, los realización de un pIan Uno d procebs? e.s una comprobacIOn continua de la
evaluadores pueden llevar a cabo un modelo de audición en la que el personal ., . e sus o jetlvos es pro' '.
formaCIOn a los administrativos 1 1 porCIOnar contmua In- )
y los administradores estén invitados a expresar sus intereses y hacer una actividades del programa siouen y a ~erson~ acerca de hasta qué punto las
estimación realista de los recursos y barreras que, de alguna manera, necesitan había planeado y utilizan lo"'s rec
un
ued~ nt~bol' se desarrollan tal como se
)
ursas lspom es de fi '
abordar durante el proceso de designación de la solución. O tro es proporcionar una gUI'a p' d'fi una manera e Clente, )
La técnica del grupo asesor es un procedimiento relativamente nuevo para ara mo 1 cal' o expl' 1 1
sea necesario puesto que no t d 1 lcar e p an tanto como
la realización de evaluaciones de entrada y merece una consideración especial. " o os os aspectos de 1 d )
¡nmados de antemano y algunas de las dec' , , ~n. p an pue en ser deter-
Esta técnica es especialmente aplicable en situaciones en las que no se dispone más tarde, ser infructuosas Otro b" ls;ones mlClales pueden demostrar, ( )
de los apropiados medios efectivos para satisfacer las necesidades específicas. , ' o jetlvo mas es val r ' 'd'
que punto los que participan en loar peno lcamente hasta
)
Se reúnen dos o más grupos de expertos, fijan los objetivos por los que es ne- ñar sus funciones Finalmente e prolgrarr:~ aceptan y son capaces de desempe-
cesario un programa, proporcionan especificaciones para la planificación de las , ' , una eva uaCIOndel pro d b '
extenso mforme del programa 1 ceso e e 'proporCIOnar un )
propuestas del programa y orientan hacia los criterios mediante los que deben lo con lo que se había planific~u: re~ ~~nte se está llevando a cabo, comparar-
ser juzgadas las diversas respuestas, Los informes del grupo asesor son valora-
)
costes de su realización y sab ' ,es a , ecer un recuento total de los distintos
dos por un plantel de expertos y/o mediante test pilotos, de acuerdo con cri- observadores como los part' ,el' como juzgan la calidad del trabajo tanto los )
IClpantes
terios preestablecidos. Las siguientes etapas implican a los miembros del con-
El eje central de una evaluació~ del )
junto de usuarios para que operen con las mejores características de las dos proceso. Ocurre a menudo 1 Plroceso solvente es el evaluador del
o más estrategias escogidas. Las ventajas de la técnica del grupo asesor son que e persona de un P f ' )
ob tener una guía para su r l' . 'd rograma racasa al mtentar
ea IzaClOn y ocum t ' / ,
que proporciona: 1) un procedimiento explícito para generar y valorar diver- cual se debe a un fallo en 1 ' ,/ d en aCIOnpara sus actIvidades lo
/ a aSlgnacIOn e los t b' A ' )
sas estrategias programáticas; 2) un informe explícito acerca de por qué ha erroneamente que los administrativos ra aJos. menudo, se asume
sido escogida determinada estrategia de solución; 3) un tribunal que utiliza las un adecuado trabajo de evaluació d Ylel personal pueden y deben realizar )
diversas tendencias y la competitividad para una búsqueda constructiva de n e proceso como parte normal de sus
)
.)
\
(
( I
200 I Evaluación sistemática
(
funciones. Aunque de actividades rutinarias, como las reuniones de~ personal,
( pueden surgir algunos análisis y docum.e,ntación, esto no es sufiC1ent~ par~
( satisfacer los requisitos de una evaluaclOn del proceso solvente. Segun IDl
experiencia, estos requisitos sólo pueden satisfacerse asignando a una o ~ás
( personas la tarea de realizar revisiones sobre la marcha, y de encontrar in-
( formación continua y documentación.
El evaluador del proceso tiene mucho trabajo que hacer en un programa.
("
Lo que sigue está concebido como una ilustración de lo que puede hacer. Pri-
( mero el evaluador del proceso puede revisar el plan del programa y cualquier
evalu'ación anterior en la que puede basarse para identificar aspectos impor-
( tantes del programa que debe ser controlado. Algunos ejemplos de 10 que
( puede identificarse son las reuniones de trabajo del personal, el ~esarrollo y
la puesta en marcha del conjunto de materiales, las recomendaclOnes a los
( estudiantes, la relación con los padres, los servicios de tutorías, las sesiones
( de planificación del personal, las habilidades conjun~as de los estudi~~tes,. ,la
enseñanza en las aulas, los viajes didácticos, el trabajo en casa y la UtlhZaClOn
(
de los tests diagnósticos. Otro medio para identificar 10 que debe investigar
( es que el evaluador forme un grupo a~esor, que sea a~pl~amente repre~enta-
tivo de quienes participan en el trabaJo, y al que penodicamente le pl~a la
(
identificación de problemas y cuestiones que deben plantearse. Otras cuestlOnes
( importantes se le ocurrirán al evaluador observando las actividades del pro-
grama. . luaciones del proceso pueden también ayudar a las audiencias exteriores a
(
Teniendo en cuenta los problemas y cuestiones que hemos menclOnado,
( el evaluador del proceso puede desarrollar un esquema general de las activida-
des de recopilación de datos y empezar a llevarlas a cabo. Inicialmente, esto
(
debe realizarse tan discretamente como sea posible para no molestar al personal
( del programa o interferir en su camino. Más tarde, a medida que se va desa-
( rrollando, el evaluador del proceso puede utilizar ya un método más estructu-
rado. Al principio, el evaluador del proceso puede intentar trazar un panora-
( ma acerca del funcionamiento del programa visitando y observando los centros
( de actividad, revisando los documentos del programa, asistiendo a las reunio-
nes del personal y entrevistándose con sus principales representantes.
( Luego, el evaluador del proceso puede preparar un breve informe que re-
( suma el plan de recopilación de datos, analice lo que se está aprendiendo y
subraye los problemas clave. El informe puede entonces presentarse en una
( reunión del personal e invitar al director a que presida una discusión acerca de
( él y utilizarlo para una revisión del programa que el personal y él consid~ren
adecuada. Más tarde, en la reunión, el evaluador del proceso puede anahzar,
( junto con el personal, sus planes para una futura recopilación de datos y el
{ consiguiente informe. Puede preguntarles qué opinan de la información que
pueda resultar útil en un próximo encuentro, así como pedirles que le su~ieran
t algo acerca de cómo obtener mejor ciertas informaciones, como observaclOnes,
( diarios del personal, entrevistas o cuestionarios. Basándose en la información
t
1
Stufflebeam: la evaluación del perfeccionamiento 201
del personal, el evaluador puede proyectar futuras sesiones informativas, mo-
dificar tanto como sea conveniente el plan de recopilación de datos y actuar
en consecuencia. Debe demostrar continuamente que el propósito principal
de la evaluación de un proceso es ayudar al personal a llevar a cabo su pro-
grama, a través de una especie de proceso de cualificación. A 10 largo de este
proceso interactivo, el evaluador debe preparar y archivar informes acerca de
su opinión sobre cómo está realizándose el plan del programa. Debe describir
las principales desviaciones del plan original, y debe especialmente tomar nota
de las variaciones experimentadas por el programa en lo que se refiere a las
distintas personas y subgrupos que llevan a cabo el plan. También debe carac-
terizar la actividad de la planificación y trazar la evaluación del plan básico
en el que se basa el programa.
La principal misión de la evaluación del proceso es obtener continua infor-
mación que pueda ayudar al personal a llevar a cabo el programa tal como
estaba planeado o, si se considera que el plan es inadecuado, modificarlo tanto
como sea necesario. Algunos administradores ven las reuniones informativas
regulares sobre la evaluación del proceso como un medio de mantener al per-
sonal «alerta» y al corriente de sus responsabilidades. Los informes sobre la
evaluación del proceso son también útiles para la contabilidad, puesto que las
agencias de subvenciones, las juntas políticas y los clientes desean saber, por
lo general, si se han realizado las inversiones que habían propuesto. Las eva-
saber qué se hace con un programa, por si tienen que realizar uno similar.
y una evaluación del proceso es un fuente de información vital para interpre-
tar los resultados de la evaluación del producto, puesto que considerando la
realidad de los resultados del programa, se puede desear saber qué actividades
se han realizado para llevar a cabo el plan del programa.
Evaluación del producto
El propósito de una evaluación del producto es valorar, interpretar y
juzgar los logros de un programa. La continua información acerca de estos
logros es importante tanto durante el ciclo de un programa como en su final,
y la evaluación del producto debe, a menudo, incluir una valoración de los efec-
tos a largo plazo. El principal objetivo de una evaluación del producto es
averiguar hasta qué punto el programa ha satisfecho las necesidades del grupo
al que pretendía servir. Además, una evaluación del producto debe ocuparse
ampliamente de los efectos del programa, incluyendo los efectos deseados y no
deseados, así como los resultados positivos y los negativos.
Una evaluación del producto debe recoger y analizar juicios acerca del
éxito del programa, procedentes de una amplia gama de gente relacionada
con el programa. A veces deben compararse los resultados del programa que

202 I Evaluación sistemática
se ha estudiado con los de otros programas alternativos. Frecuentemente, el
cliente necesita saber por qué la comparación de los logros con los objetivos
previamente fijados y el alcance de los resultados son más importantes que lo
que ha costado alcanzarlos. Por lo general, es más importante ofrecer interpre-
taciones de hasta qué punto el fracaso en la consecución de los objetivos o la
satisfacción de las necesidades están relacionadas con un fracaso en la realiza-
ción del plan del programa. Finalmente, una evaluación del producto debe, por
10 general, examinar los resultados desde muchos puntos ventajosos: en con-
junto, haciendo subgrupos de destinatarios, que pueden ser diferenciados por
las necesidades satisfechas y los servicios recibidos, y a veces por individuos.
Un resultado relacionado con un individuo puede ser clasificado como un
éxito o un fracaso según haya satisfecho o no una necesidad previamente diag-
nosticada del individuo; esta evaluación del producto en el nivel individual
también permite que se junten los individuos para así conseguir un índice
global del éxito del programa en lo que se refiere a la satisfacción de las ne-
cesidades colectivas y diferenciales de los individuos.
No existe una serie algorítmica para realizar una evaluación del producto,
pero hay muchos métodos que pueden aplicarse. En general, debe utilizarse
una combinación de técnicas para obtener una visión amplia de los efectos
y proporcionar comprobaciones de los diversos resultados. Lo que sigue está
concebido para ilustrar la gama de técnicas que pueden ser empleadas.
Los evaluadores del producto pueden empezar valorando el trabajo con re-
lación a algunas normas previamente escogidas. Estas valoraciones pueden
hacerse basándose en tests de rendimiento comparados a un perfil de las nece-
sidades previamente valoradas, en pre-tests de rendimiento, en normas selec-
cionadas, estandarizando logros concretos o en el rendimiento de un grupo
de control. Los tests utilizados pueden ser tests objetivos ya publicados, es-
pecialmente tests referidos a criterios o tests de rendimiento aplicados (véase
SANDERS, 1977). Las valoraciones del trabajo pueden también estar basadas en
las valoraciones hechas por observadores, directivos y/o los propios destinata-
rios del programa. Y los expertos pueden valorar los productos del trabajo
y compararlos con los esquemas de las necesidades previamente fijadas por
los destinatarios del programa.
Para valorar el trabajo más allá de lo relacionado con los resultados bus-
cados, los evaluadores necesitan realizar una búsqueda intensiva de resultados
inesperados, tanto positivos como negativos. Pueden organizar audiciones o
entrevistas en grupo para generar hipótesis acerca de la gama completa de
resultados y continuar con investigaciones clínicas destinadas a confirmar o
desmentir las hipótesis. Pueden realizar estudios de casos concretos basán-
dose en experiencias de una muestra de personas cuidadosamente seleccionada
con el fin de obtener una profunda visión de los efectos del programa. Pueden
interrogar, telefónicamente o por correo, a una muestra de participantes para
enterarse de sus opiniones acerca del proyecto y sus puntos de vista acerca de
)
}
')
Stufflebeam: la evaluación del perfeccionamiento I 203
')
los resultados, tanto positivos como negativos. Pueden pedir a los participan-
}
tes que r :esenten ejemplos concretos, como algo que hayan escrito, de cómo
ha influi¿~1 el proyecto en su trabajo. Pueden recurrir a observadores que ')
,
examinen el trabajo del programa y de los grupos de cotejo, y que desarrollen
')
y hagan efectivos tests que diferencien sus trabajos, ofreciendo así un punto
de vista sobre los pros y los contras de sus contribuciones (véase BRICKELL,
1976). Pueden identificar y examinar los resultados del programa con relación
}
a un amplio inventario de resultados que han sido observados en programas
')
similares. Como ejemplo final, pueden organizar un «juicio con jurado» con
el fin de presentar y examinar todas las evidencias disponibles que reflejan ')
el éxito o el fracaso del programa (véase WOLF, 1974).
El informe sobre los resultados de una evaluación del producto puede ')
desarrollarse en distintas etapas. Los informes intermedios pueden ser pre-
)
sentados durante cada ciclo del programa para indicar hasta qué punto están
siendo planteadas y satisfechas las necesidades fijadas. Los informes final-de- )
cido pueden resumir los resultados alcanzados e interpretarlos a la luz de las )
necesidades pre-valoradas, el coste y los puntos del plan que se han cumplido.
)
Los informes subsiguientes pueden también presentarse para indicar si se han
conseguido algunos efectos a largo plazo. En estos informes, los resultados )
deben ser analizados en su conjunto, por subgrupos e individualmente.
)
La utilización básica de una evaluación del producto es determinar si un
programa concreto merece prolongarse, repetirse y/o ampliarse a otros ámbitos. )
También debe proporcionar una guía para modificar el programa con el fin de
)
que sirva mejor a las necesidades de todos los miembros interesados y resulte
más efectivo con relación a su coste. Desde luego, debe ayudar a quienes puedan )
adoptar el programa en el futuro a decidir si merece una seria consideración.
.)
Las evaluaciones del producto tienen implicaciones psicológicas, puesto que
al mostrar signos de evolución y/o superioridad a los competidores, refuerzan )
el trabajo tanto del personal como de los destinatarios del programa; asimismo,
)
pueden reducir el entusiasmo cuando los resultados son malos. La información
procedente de la evaluación del producto es un componente esencial de cual- ( )
quier informe de contabilidad y, cuando se evidencian logros significativos,
)
puede ayudar a conseguir apoyo financiero y político adicional por parte de
la comunidad y de las agencias de subvenciones. Cuando esta información )
revela que no se ha avanzado mucho con relación a los costes, la evaluación
)
del producto puede ayudar a evitar la continuación de inversiones infructuosas
en el programa. Además, un informe sobre los resultados obtenidos, especial- )
mente con relación al método utilizado y a los costes, puede ayudar a otros
)
evaluadores a decidir sobre la conveniencia de abor~ar una acción similar.
Los comentarios precedentes indican que la evaluación del contexto, de )
e~trada, del proceso y del producto desempeñan funciones únicas, pero tam-
)
blé~ que e~is.te una relación simbiótica entre ellas. Ello demuestra que pueden
aplIcarse dlstlntos métodos a cada tipo de evaluación. Pero esto no está rela- )
')
)
••
(
( 204 1 Evaluación sistemática
('
cionado con el problema práctico del evaluador: decidir qué métodos hay
( que emplear en un estudio determinado. Trataremos este problema en el si.
( guiente apartado de esta unidad.
f desilusionan cuando un rígido seguimiento de! diseño original proporciona
( El diseño de evaluaciones
( Para saber cómo realizar una evaluación -ya se trate de una evaluación
( del contexto, de entrada, del proceso o del producto (o algún tipo de combi.
nación entre ellas)- el evaluador necesita, obviamente, planificar el trabajo
( que debe hacer. Esto supone preparar los planes preliminares y luego modi-
( ficarlos y explicarlos a medida que avance el estudio. Estos planes deben
incluir una amplia gama de elecciones referentes a la realización de la evalua-
( ción, como por ejemplo las audiencias y cuestiones clave; si es más apropiada
( una evaluación del contexto, de entrada, del proceso y/o del producto; el
objeto que debe ser valorado; el tiempo y lugar del estudio; el alcance y
( naturaleza de los controles que deben imponerse; las comparaciones que deben
( hacerse; las fuentes de información necesarias; los métodos, instrumentos y
esquemas de la recopilación de datos; las formas y procedimientos de designar,
( archivar y conservar la información; los métodos de análisis e interpretación;
( las disposiciones para comunicar los resultados; y los criterios y acuerdos para
valorar los resultados de la evaluación. Las decisiones acerca de estas activida-
( des evaluativas son la base de la contratación y financiación del trabajo eva-
( luativo, del trato con las instituciones implicadas, de la búsqueda de personal
para el estudio y de la programación y dirección de las actividades de ese
(
personal.
( Podemos desear que los evaluadores pongan fin a sus decisiones acerca de
la planificación al principio, y luego las sigan fielmente. De cualquier forma,
(
las cualidades dinámicas e interactivas de muchas evaluaciones y la orienta-
( ción de su servicio hacen difícil, si no imposible, la proyección correcta y a
largo plazo de las necesidades informativas específicas. Como consecuencia, los
(
planes técnicos para la recopilación de datos y su análisis anteriores al inicio
( de un estudio, están basados, a menudo, en presuposiciones erróneas y resultan
ser, al final, inapropiados o incompletos. Un rígido seguimiento de la planifi-
(
cación evaluativa original -especialmente si se ha definido en término~ es-
( pecíficos- a menudo va en detrimento de la utilidad del estudio al dirigirlo
{ hacia cuestiones equivocadas, guiarlo mediante presuposiciones erróneas y/o
convencer a los miembros de la audiencia de que el evaluador utiliza una
( orientación idealizada.
( Por lo tanto, los evaluadores se enfrentan a un dilema. Por una parte,
necesitan diseñar cuidadosamente sus actividades evaluativas con el fin de reali-
~ zarlas con eficiencia y aceptable rigor, así como para convencer a sus clientes
( de que saben lo que están haciendo. Por otra, necesitan un método evaluativo
(
e
Stufflebeam: la evaluación del perfeccionamiento I 205
flexible y realizar una revisión y modificación periódicas del diseño para que
la evaluación siga respondiendo a las necesidades de las audiencias. Este di-
lema es especialmente problemático para los evaluadores, puesto que los clien-
tes, a menudo, esperan o exigen diseños técnicos definitivos y más tarde se
mucha información que no resulta útil por demasiado tiempo. A menudo, los
clientes perciben que, de algún modo, los evaluadores debían haber sido más
inteligentes al proyectar las necesidades informativas y más habilidosos al
planear las actividades de recopilación de datos.
Para enfrentarse a este dilema los evaluadores deben abordar el diseño
como un proceso, no como un producto, y necesitan conducir a sus clientes a
hacer lo mismo. Las metas y procedimientos evaluativos deben ser esquema-
tizados de antemano, pero también analizados, revisados, ampliados y modio
ficados periódicamente. Fundamentalmente, este proceso debe estar guiado
por un concepto justificable de lo que es una evaluación solvente, por una
sensibilidad a los factores de! mundo real que a menudo interfieren en e!
trabajo evaluativo y por una comunicación continua entre los evaluadores y
sus audiencias, acerca de la pertinencia y propiedad de la planificación.
Al principio del proceso, creo que es importante escuchar e investigar.
¿Quiénes son los principales clientes? ¿Qué piden de la evaluación? ¿Por
qué? ¿Qué tipo(s) de evaluación (del contexto, de entrada, del proceso o del
producto) puede(n) ser más efectivo(s)? ¿Cómo creen los clientes que debe ser
realizada la evaluación? ¿Qué perspectivas tienen en mente? ¿Quiénes conside-
ran que son la audiencia principal? ¿Quién puede salir perjudicado a conse-
cuencia de la evaluación? ¿Por qué? ¿Qué cooperación será esencial? ¿De qué
información se dispone? ¿Cuáles son los antecedentes? Desde un punto de
vista realista, ¿qué beneficios positivos pueden esperarse de la evaluación?
¿Qué efectos nocivos pueden producirse, y cómo pueden ser evitados? ¿Qué
cualificaciones se requieren para realizar el trabajo? Y así sucesivamente. Siem-
pre que sea posible una elección, los evaluadores deben plantearse cuestiones
como éstas antes de decidir si una evaluación puede realizarse o si se dan las
condiciones apropiadas para hacerla.
Cuando haya asumido una decisión positiva para seguir adelante, e! evalua.
dor debe hacer un esquema global del plan. Este plan debe tener en cuenta
que el evaluador conoce e! marco de desarrollo y las necesidades concretas de
la ~valuación, y que debe ajustarse a las normas generalmente aceptadas para
la realización de una evaluación solvente. Además, debe hablar, por lo menos
de un modo general, de toda la gama de tareas que debe realizar.
La tabla 6-4 proporciona una visión general de los puntos que deben ser
abordados en un diseño eval~ativo. Estos puntos son aplicables al desarrollar
el plan inicial o más tarde, al revisarlo o explicarlo. Desde luego, sólo sirven
como indicación general de la información detallada que probablemente deberá
ser proporcionada a la hora de operativizar el diseño.
 )
T.,".
.';" ')
I
')
206 I Evaluación sistemática 5tufflebeam: la evaluación del perfeccionamiento I 207
')
TABLA 6-4. Esquema de documentación de las planificaciones evaluativas en las audiencias potenciales y pensar en la evaluación en el contexto social
)
correspondiente con el fin de identificar toda la gama de audiencias legítimas.
El cliente y las demás audiencias necesitan identificar el propósito del estudio }
Análisis de la tarea --esto es, indicar qué información necesitan y cómo piensan utilizarla- y el
Definición del objeto de la evaluación ')
evaluador necesita conseguir cuestiones clarificadoras para clasificar los dis-
Identificación del cliente y las audiencias
PropósÍto(s) de la evaluación (perfeccionamiento del programa, responsabilidad tintos (y quizá enfrentados) propósitos y dejar que el cliente asigne las priori- J
y/ o comprensión) dades. El evaluador necesita indicar qué tipo(s) general(es) de estudio(s) (del
)
Tipo de evaluación (del contexto, de entrada, del proceso o del producto) que contexto, de entrada, del proceso y/o del producto) parece necesario, y el
va a emplearse cliente debe confirmar esta elección general o ayudar a modificarla. Para ter- )
Principios de una evaluación solvente (utilidad, viabilidad, propiedad y exac- minar la tarea, el evaluador necesita dejar claro que la evaluación estará con- ')
titud) que deben ser observados dicionada a una serie de normas, y debe pedírsele al cliente que ayude a selec-
cionar y asignar las prioridades de las normas aplicables. ')
Plan para la obtención de información Básicamente, el plan para la obtención de información debe ser desarrolla-
Estrategia general (examen, estudio de casos concretos, grupos asesores o )
do por el evaluador, pero debe ser sometido a una cuidadosa revisión por
experimentos)
Presuposiciones de trabajo que sirvan de guía para la valoración, el análisis parte del cliente, que lo modificará en consecuencia. El evaluador debe pro- )
y la interpretación porcionar un panorama de la estrategia general que va a emplear (por ejem- )
Recopilación de información (muestreo, instrumentalización y recopilación de plo, exámenes, estudios de casos concretos, visitas, grupos asesores, búsqueda
datos) continua de efectos, audiencias contrapuestas y experimentos) y de los planes )
Organización de la información (codificación, archivo y conservación) técnicos para la recopilación, organización y análisis de la información nece- )
Análisis de la información (tanto cualitativa como cuantitativa) saria. Aunque los clientes deben, por lo menos, reaccionar ante estos planes
Interpretación de los resultados (identificación de las normas y elaboración técnicos, deben ejercer una influencia mayor a la hora de decidir cómo deben )
de los juicios) ser interpretados los resultados (por ejemplo, respecto a los objetivos, respecto )
a los resultados de las valoraciones de necesidades anteriores, basándose en
Plan para el informe sobre los resultados )
el juicio profesional del evaluador o a través de algún tipo de procesos de
Preparación de los informes
Difusión de los informes grupo formales): El evaluador y el cliente deben prever que el plan para la )
Previsión para continuar las actividades con el fin de promover el impacto obtención de información cambiará y se ampliará, probablemente, en el curso
de la evaluación, puesto que aparecen nuevas audiencias y cambian los requi- )
de la evaluación
sitos informativos. )
Plan para la administración del estudio La parte del diseño evaluativo dedicada a informar sobre los resultados
Resumen del programa evaluativo debe estar concebida para su utilización. El cliente y la audiencia deben parti- )
Plan para satisfacer los requisitos económicos y los del personal cipar en la proyección de los contenidos y el cálculo de los informes necesarios. )
Previsión para la metaevaluación Deben también ayudar ~ planear cómo deben ser difundidos los resultados
Previsión para renovaciones periódicas de la planificación evaluativa )
(organizados, presentados, comunicados, examinados, revisados y documenta-
Presupuestos
dos para su utilización posterior). Además, el cliente y el evaluador deben )
Memorándum de compromisos o contratos
considerar seriamente si el evaluador puede desempeñar un papel importante,
)
más allá de la comunicación del informe final, ayudando al cliente y a la au-
La formulación del diseño requiere que el cliente y los evaluadores cola- diencia a aplicar los resultados en su trabajo. En conjunto, el plan para la )
boren, desde el principio, cuando deban acordar la realización de una tarea. realización de informes debe estar destinado a promover el impacto a través
)
El cliente necesita identificar .el objeto, por ejemplo el programa que va a de cualquier medio que se considere apropiado (por ejemplo, informes orales
ser evaluado, y el evaluador puede ayudar conduciendo al cliente hacia una y audiciones, informes múltiples dirigidos a audiencias específicas, conferen- )
definición clara y realista de los límites en los que debe desenvolverse. El cias de prensa, sociodramas para representar y examinar los resultados y ta-
)
cliente es la fuente principal para identificar los distintos grupos que tienen lleres de trabajo destinados a la aplicación de los resultados).
un interés potencial en el estudio, pero el evaluador también necesita basarse La parte final del diseño, el plan para la administración del estudio, está )
)
)
,
(
f 208 I Evaluación sistemática
(
orientada a operar con los planes técnicos y conceptuales. El evaluador nece-
( sita identificar y esquematizar las tareas evaluativas, de acuerdo con las ne-
( cesidades del cliente y teniendo en cuenta las limitaciones prácticas. Es necesa-
rio identificar al personal que realizará el trabajo evaluativo y los recursos
( especiales que se utilizarán (como el espacio de trabajo y las facilidades para
( el proceso de datos); y el cliente necesita estar seguro de que el p~rso.nal
propuesto goza del necesario nivel de credibilidad exigido por las audienclas.
( El evaluador y el cliente necesitan estar de acuerdo en el modo en qu.e se
( valorarán, comparándolos con unas normas comunes, los planes evaluat~vos,
los procesos y los informes. También deben estar de acuerdo en el mecamsmo
{ por el que periódicamente se revisa, actualiza y documenta el desarrollo del
( diseño evaluativo. Necesitan proponer un presupuesto realista. Y, desde mi
punto de vista, deben resumir y formalizar sus acuerdos generales a~erca de
(
la forma y función de la evaluación en un memorándum de compromlso o un
( contrato.
El anterior comentario de la tabla 6-4 es, necesariamente, muy general, pero
( serás juzgado.»
indica que diseñar una evaluación es un trabajo complejo e interminable. Se
( recomienda una colaboración continua entre el evaluador y el cliente, y se
destaca la importancia del desarrollo del diseño evaluativo con el fin de sa-
(
tisfacer las necesidades informativas que se presentan. También se destaca la
( necesidad de mantener la integridad profesional en el trabajo evaluativo.
(
( Metaevaluación y normas
(
Este último punto expone la necesidad de evaluar las evaluaciones. Si las
( evaluaciones deben proporcionar una guía oportuna, las propias evaluaciones
deben ser solventes. Entre otras consideraciones, deben centrarse en las cues-
(
tiones adecuadas, ser exactas en sus definiciones, no ser tendenciosas, ser com-
( prensibles y ser justas para aquellos cuyo trabajo se está examinat:do. Valorar
las evaluaciones según estas consideraciones es adentrarse en la literatura que
(
trata el tema de la metaevaluación (SCRlVEN, 1972; STUFFLEBEAM,1975), que
( abarca, entre otros, los criterios, procesos y técnicas utilizados para evaluar
( evaluaciones.
Si los evaluadores y sus clientes deben emplear y utilizar los resultados de
( las metaevaluaciones de un modo efectivo, deben estar de acuerdo acerca de
( los criterios para la valoración de evaluaciones. Hasta muy recientemente, la
determinación de estos criterios dependía de las concepciones y las discusiones
( de los diversos evaluadores y sus clientes. Recientemente, sin embargo, se
( han desarrollado más recursos para la adopción de principios más ampliamente
compartidos acerca de 10 que debe ser una evaluación solvente. Se trata de los
( Standards lor Evaluations 01 Education Program, Proiects, and Materials (Joint
( Committee, 1981), ya mencionados en la unidad 1. Durante un período de
(
8tufflebeam: la evaluación del perfeccionamiento I 209
cÍI::o años, un comité que tuve el privilegio de dirigir, representado por doce
organizaciones profesionales, desarrolló estas normas (Standards).
Las metaevaluaciones que se llevan a cabo, en este país y en otros, utili-
zando las Normas como criterio para los juicios, indican que los contenidos
de las Normas forman una base sustancial para la metaevaluación. Si un evalua-
dor (o un grupo evaluador) realiza una utilización sensata de las Normas,
junto con los clientes, tanto antes como después de un estudio evaluativo, el
resultado será una evaluación sólida y convincente. Una aplicación así de las
Normas ayuda a asegurar que el informe final de la evaluación será útil, viable,
exacto y válido.
Conclusión
Michael Scriven dijo una vez que «la evaluación es una operación tímida».
Y yo me he acordado a menudo de la advertencia bíblica: «No juzgues y no
Pero la evaluación es también una necesaria faceta del perfeccionamiento.
No podemos mejorar nuestros programas a menos que sepamos cuáles son sus
puntos débiles y fuertes y a menos de que dispongamos de mejores medios.
No podemos estar seguros de que nuestras metas son válidas a menos que po-
damos compararlas con las necesidades de la gente a la que pretendemos servir.
No podemos realizar una planificación efectiva si no conocemos bien las op-
ciones y sus méritos relativos. Y no podemos convencer a nuestros clientes
de que hemos hecho un buen trabajo que merece un apoyo económico conti-
nuado a menos de que les mostremos evidencias de que hemos hecho 10 que
prometimos y que ello ha producido resultados beneficiosos. Por estas y otras
razones, los servicios públicos deben someter su trabajo a una evaluación
competente. Debe ayudárseles a diferenciar 10 bueno de 10 malo, a marcar el
camino para el perfeccionamiento necesario, a ser responsables con sus patro-
cinadores y clientes, y a alcanzar una mayor comprensión de su especialidad.
Esta unidad ha insistido en la función perfeccionista de la evaluación. Se
ha hablado del modelo CIPP, se ha mostrado su desarrollo, se ha contrastado
con otros métodos, se ha demostrado cómo puede utilizarse para conducir al
perfeccionamiento y servir a las necesidades de la responsabilidad y se han
expuesto sus conceptos principales. Se ha proporcionado una guía general para
la planificación de los estudios evaluativos. Además, haciendo referencia al
Standards lor Evaluations 01 Educational Programs, Proiects, and Materials
(Joint Committee, 1981), la unidad ha situado el modelo CIPP dentro de 10
que parece ser un naciente consenso acerca de 10 que es una buena y benefi-
ciosa evaluación.
 )
IV "'~J .-r'
)
')
Stufflebeam: la evaluación del perfeccionamiento 1 211
210 I Evaluación sistemática )
... Res~uesta
. d correcta.
d Debe usted haber seleccI'onado 1a «b». Esta descrip- ')
Clon esta e acuer o con lo que se dice en el texto.
)
Test de conocimientos sobre la unidad 6
Respuestas incorrectas ')

a) Es incorrecta porque la secuencia es errónea y porque los cuatro conce - )

Este test de conocimientos contiene dieciséis cuestiones con múltiples res-
puestas posibles, para que usted elija una. El propósito de estas cuestiones es tos los hemos desarrollado basándonos en el desarrollo conceptual ? )
deTyler, nuestra experiencia práctica en Columbus, la información ~~;t:IO
ayudarle a saber si ha alcanzado los objetivos de conocimiento de esta unidad. ')
d e ~uestros colegas y la lógica. lca
En cada cuestión, seleccione la respuesta que considere acertada. Luego com-
e) Es lDcorrecta P?rque la secuencia es errónea y porque las cuatro razones )
pare su elección con la explicación que le proporcionamos.
Cuando haya terminado de responder a todas esas cuestiones, podrá cali- que. se proporClonan no coinciden con el texto.
d) ESdlDcorlrecta porque Stufflebeam identifica la secuencia mediante la cual ')
ficar e interpretar (y, si se da el caso, mejorar) su trabajo global. Luego deberá
intentar realizar unas cuantas cuestiones prácticas. La unidad concluye con or ena os cuatro conceptos. ')
una serie de «preguntas sin respuesta» Y una lista de lecturas recomendadas.
)
PREGUNTA
comité PDK 2 . e'C ua,'1 dI'e as dSlgUIentesafirmaciones
. no es considerada por el ')
PREGUNTA1. ¿Con qué secuencia y sobre qué base llega Stufflebeam a los como un Slntoma e la «enfermedad evaluativa?
)
conceptos de evaluación del contexto, de entrada, del proceso y del producto?
a) Los educadores se pre ocupan muc h o ante 1a perspectiva de que evalu'en )
a) Contexto, entrada, proceso y producto. El desarrollo es totalmente con- sus programas.
b) Los educadores confían mucho en la capacidad dI' )
ceptual. Stufflebeam identifica una secuencia de estudios evaluativos ne- zar evaluaciones solventes. e os expertos para re ah-
cesarios para planificar y realizar un proyecto renovador. )
b) Producto, proceso, contexto y entrada. Stufflebeam empieza con la reco- e) ~i~~~~c~~:va:~tudiOShan fracasado a la hora de descubrir informaciones )
mendación tyleriana de comparar los resultados con los objetivos (eva-
luación del producto); luego aplica la evaluación del proceso para satis- d) Aunq . f
res g~~e:~a~~~~:~:~ on~os para eva~uar sus proyectos, los patrocinado- )
facer las necesidades administrativas acerca del perfeccionamiento de sus la realización de 1 nO a~ proporclOn~do unas directrices claras para )
proyectos; luego aplica la evaluación del contexto como respuesta a la as eva luaClOnes necesanas.
crítica de que su método fracasa al proporcionar una base para juzgar )
las metas; y finalmente aplica la evaluación de entrada para subsanar lo Respuesta
comité PDK bcorrecta . Debe
1 us t e d h ab er sel'eCClonado la «b». En realidad el
o serva que os educadore ' . '
)
que los otros tres tipos han omitido respecto a los propósitos evaluativos. pertos pudieran llegar a un d sberan esceptIcos acerca de que los ex-
e) Proceso, contexto, entrada y producto. Stufflebeam empieza con la suge- acuer o so re qué el" 1 )
mucho menos dirigir estudios q d' d s una eva uaClOn so vente y
rencia de Cronbach de que las evaluaciones deben estar concebidas para sus trabajos. ue pu leran ayu ar a los educadores a realizar )
el perfeccionamiento de los currículos y concentrarse así en el proceso;
luego aplica la evaluación del contexto para conciliar sus intereses inves- )
tigativos; luego aplica la evaluación de entrada para reflejar su experien- Respuestas incorrectas L
síntomas mencionados po; el a;o::~u~~~ «a», «~»'! «~» subrayan todos los )
cia en la elaboración de propuestas junto al personal de las facultades evaluativa. como lDdlCatIvos de la enfermedad
de Columbus; y aplica la evaluación del producto para estimular al go- )
bierno a que aumente su interés en la evaluación de los resultados. )
d) En realidad, Stufflebeam desarrolla estos conceptos simultáneamente des-
pués de reflexionar sobre sus tres años de experiencia en las facultades de PREGUNTA3 . e'C ua'1 d e 1as SIgUIentes
. . afirmaciones '1 . , )
una probable
. consecuenCI'a d e l'd en ti'ficar la evalu ' .,segun e l'comIte PDK,
.. es
Columbus, ayudando a evaluar sus proyectos ESEA. expenmental? aClOn con a mveStIgaclón )
)

)
)
\

(
{
212 I Evaluación sistemática 8tufflebeam: la evaluación del perfeccionamiento I 213
f
a) Los proyectos que se evalúan son frecuentemente modificados y perfeccio- Respuestas incorrectas
( nados , basándose en una información continua procedente de la eva-
( luación. a) Es incorrecta porque este método proporciona un plan específico para la
b) La evaluación proporcionará información explícita para la valoración de definición de los objetivos que se pretenden alcanzar en un proyecto.
(
las metas del proyecto. b) Es incorrecta porque el método define la evaluación como parte del pro-
{ e) La evaluación proporcionará resultados de profundos estudios de casos ceso de desarrollo de currículos.
concretos relativos a la operación de planificar un solo proyecto. e) Es incorrecta porque, por el contrario, el método ty1eriano no atiende a
{ La evaluación proporcionará resultados relativamente inequívocos respec- la validez de los objetivos de los evaluadores.
d)
( to al trabajo de aplicación de distintas planificaciones de proyectos.
( Respuesta correcta. Debe usted haber seleccionado la «d», Es la única de PREGUNTA5. ¿Cuál de las siguientes afirmaciones caracteriza mejor el pro-
( las cuatro opciones que cita el comité PDK como una ventaja del método blema de los niveles?
experimen tal.
( a) Los evaluadores no incluyen debidamente los datos recogidos en el micro-
( Respuestas incorrectas nivel de un sistema con el fin de que estos mismos datos puedan ser utili-
zados para ayudar en la toma de decisiones del macronivel del sistema.
( a) Es incorrecta porque la planificación experimental exige, por lo general, b) Los evaluadores no determinan qué información es necesaria en cada nivel
que los tratamientos sean constantes durante el período de experimenta- del sistema antes de planificar su recopilación de datos y las actividades
(
ción, y porque los experimentos producen resultados sólo al final del del análisis.
( ciclo del proyecto. . e) Los evaluadores no controlan los niveles de interés de sus informes eva-
b) Es incorrecta porque la planificación experimental no proporClOna valo- luativos.
(
raciones ni juicios acerca de las metas. d) Los evaluadores no separan adecuadamente los datos recogidos en el
( c) Es incorrecta porque la planificación experimental se centra en más de un macronivel de un sistema con el fin de que esos mismos datos puedan
( tratamiento y valora el producto oponiéndolo al proceso. ser utilizados para responder a cuestiones específicas en los microniveles
de ese mismo sistema.
(
PREGUNTA4. ¿Cuál de las siguientes afirmaciones, de acuerdo con el comi- Respuesta correcta. Debe usted haber seleccionado la «b». El «problema de
(
té PDK, caracteriza mejor las limitaciones de la base lógica tyleriana enfren- los niveles» es que los evaluadores no saben determinar qué información es
( tándola a la evaluación de los proyectos ESEA? necesaria para distintas audiencias antes de planificar la recopilación de datos,
el análisis y las actividades del informe.
( a) Ofrece pocas directrices para la definición explícita de las normas del
( éxito. Respuestas incorrectas
b) Separa radicalmente la evaluación del proceso de perfeccionamiento de la
( a) Es incorrecta porque asume incorrectamente que los datos recopilados
enseñanza.
( e) Genera preocupaciones con su insistencia de evaluar la validez de los ob- que sirven a las necesidades del micronivel de un sistema, si se incluyen
jetivos de los evaluadores. debidamente, serán suficientes para servir a las necesidades de niveles más
( d) Concentra su esfuerzo en valorar los resultados post-proyecto. altos de ese mismo sistema.
( c) Es incorrecta porque trata de un problema distinto al llamado «problema
Respuesta correcta. Debe usted haber seleccionado la «d». Esencialmente, de los niveles».
( la evaluación tyleriana exige la valoración de la coincidencia entre resulta~os d) Es incorrecta por dos razones. Asume incorrectamente que los datos re-
( y objetivos, como muy bien ilustra el relato de Stufflebeam acerca de su ffi- copilados para responder a las cuestiones de un nivel pueden ser separa-
tento de utilizar este método para evaluar los proyectos ESEA en Co1umbus. dos para responder a cuestiones más específicas. También asume incorrec-
t A menudo, la evaluación ty1eriana no puede proporcionar la información con- tamente que los requisitos informativos de un macronivel abarcan los
( tinua necesaria para guiar el desarrollo de los proyectos. niveles más bajos del sistema.

t
f
 )
Yf.,:.-",;' )

I 8tufflebeam: la evaluación del perfeccionamiento I 215

')

214 I Evaluación sistemática

PREGUNTA6. ¿Cuál de las siguientes afirmaciones es más coherente con 1 d) Ambos métodos destacan la función económica de la evaluación.
.,
)

la definición de evaluación propuesta por Stufflebeam?

,Respuesta correcta. Debe usted haber seleccionado la «a». Stufflebeam J
a) Una evaluación es un juicio sobre el valor o el mérito, esto es, una prueba. esta de acuerdo c~n Stake en subrayar la necesidad de una amplia búsqueda ')
b) El criterio básico para determinar el éxito o el fracaso de un programa de los resultados, mcluyendo tanto los previstos como los imprevistos.
')
debe encontrarse en los objetivos del programa.
c) El principal prop6sito de la evaluación educacional es proporcionar in- Respuestas incorrectas )
tuiciones acerca del proceso enseñanza-aprendizaje. ')
d) El alcance de la información potencialmente útil en una evaluación es b) Es ~ncorrecta porque la contraria es una afirmación más exacta.
c) Es mcorrect~ po~~ue el método de Stake exige conclusiones basadas no
amplio. )
e~ la determm~clOn de si han sido alcanzados los objetivos del evaluador,
Respuesta correcta. Debe usted haber seleccionado la «d». La definición smo en u~ cUldadoso examen de los juicios ofrecidos por una amplia ')
de Stufflebeam proporciona información tanto descriptiva como crítica acer- gama de clIentes. )
ca de las metas, la planificación, la realización y el impacto de un programa; d) ~s, incorrect~ p.orque, por el contrario, ambos métodos destacan la fun-
esto abarca una gama verdaderamente amplia de información. Clan perfecclOnlHa de la evaluación. )
)
Respuestas incorrectas
s f~r~GUNTA 8 .. Como consecuencia de su intercambio de ideas con Scriven )
a) Es incorrecta porque la definición describe la evaluación no como una .tu e eam amphó su conce~~ión. ~el CIPP para demostrar que podía ser uti: )
prueba sino como un proceso de designación, obtención y aplicación de ~za?~ tanto en .1,aresponsabl1lzaclOn (función sumativa) como en la toma de
la información. . 1eClsil~~nes.
~funclOn formativa). ¿Cuál de las siguientes afirmaciones ejemplifica )
b) Es incorrecta porque la definición exige la descripción y el juicio de las a ut IzaClOn del modelo CIPP en la responsabilización? )
metas, el diseño, la realización y el impacto de un programa, y porque
esto implica que el criterio básico de los juicios debe derivarse de con- a) El mod~lo proporciona información sobre las necesidades, problemas y )
ceptos como el valor o el mérito. ~portumdades de un sistema del que pueden derivarse las metas y ob¡'e- )
c) Es incorrecta porque aunque la definición identifica la promoción de una tIVOS.
mayor comprensión como un propósito legítimo de la evaluación, el co- b) El modelo prop?:ciona un informe sobre los modelos escogidos y las ba- )
mentario relacionado con esta definición destaca repetidamente la prima- ses de esa elecclOn. )
cía de la orientación perfeccionista. c) El ~odelo proporciona información sobre si el programa debe concluir
contmuar o ser modificado. ' )
d) ~l fimodelo proporciona un ~ontrol para las actividades del programa con )
PREGUNTA7. ¿Cuál de las siguientes afirmaciones contrasta con más exac-
e n de que puedan perfecclOnarse mientras se llevan a cabo.
titud el modelo CIPP con el método evaluativo de Stake? )
l' ~~spues{a corre~ta. Debe usted haber seleccionado la «b». La responsabi-
a) Ambos métodos exigen la valoración de los resultados, pero Stake fue el )
s~~ClO~es h~ capacIdad d~ describi~ y justificar decisiones y acciones del pa-
primero en destacar la necesidad de localizar los efectos secundarios y los ~. ; a I que prop~rclOnar un mforme de los objetivos escogidos, de los )
efectos no deseados. rec aza oSlY del. ~orque de todo esto sea una utilización de la evaluación del )
b) El método de Stake está más directamente destinado a satisfacer las ne- contexto a serVIClOde la responsabilización.
cesidades de los administradores de más alto rango, mientras que el CIPP )
está más orientado hacia las necesidades informativas del personal del Respuestas incorrectas )
proyecto, especialmente los profesores.
c) En el método de Stake las conclusiones se basan principalmente en si los a) El.si~~orrdectalporque no es un ejemplo de responsabilización sino una utl'- )
objetivos han sido alcanzados, mientras que el CIPP atiende más a si IzaClOn
" el' a eva uaClOn
, d e1 contexto que ayuda en la elección de los
)
han sido satisfechas las necesidades valoradas. ob ¡eUvos.
)
)
,
f
f
(
f
(
216

e)
I Evaluación sistemática

Es incorrecta porque es una utilización de la evaluación del prod~cto al

servicio de las decisiones de reciclaje, lo cual se opone a las necesIdades
de la responsabilización. .
1
,
d)
Stufflebeam: la evaluación del perfeccionamiento

E.s coherente con CIPP porque Stufflebeam define la función perfeccio-

msta como algo que supone tanto la mejora de los servicios como la dis-
I 217

tribución de los recursos entre los programas más valiosos y meritorios.

d) Es incorrecta porque es una utilización de la evaluación del proceso que
(
ayuda a llevar a cabo un plan en lugar de valorar, con descripciones y
( juicios retrospectivos, el proceso terminado.
{ la caracterización de la evaluación del contexto, de entrada, del proceso y del
( PREGUNTA9. ¿Cuál de las siguientes afirmaciones no es coherente con la
( orientación perfeccionista de la evaluación CIPP?
t a) Los servicios evaluativos deben estar planificados con el fin de proporcio-
nar un suministro regular de información útil para quienes toman las de-
(
cisiones en una institución.
( b) Las evaluaciones deben ser utilizadas principalmente para asegurar que
( los programas mejoren continuamente sus servicios.
e) Para ser aceptadas y utilizadas, las evaluaciones deben empezar con la
( presuposición de que el programa que va a ser examinado es básicamente
( válido o que, en el peor de los casos, necesita una mejora.
d) Para ayudar al perfeccionamiento de los servicios, las evaluacio~es d:ben
( ayudar a quienes toman las decisiones a distribuir los recursos dIspombles
( entre los programas que mejor satisfacen las necesidades de los clientes
de la institución.
(
( Respuesta correcta. Debe usted haber seleccionado la «e». Por el contrario,
la orientación CIPP asume que los trabajos para el perfeccionamiento de una
( institución deben intensificarse mediante la identificación y la promoción de
( la «eliminación» de programas innecesarios o desesperadamente imperfectos,
puesto que esta práctica permite la distribución de recursos entre trabajos más
( Respuestas incorrectas
valiosos.
(
Respuestas incorrectas
••( a) Es coherente con CIPP porque CIPP se centra no tanto en la realización
de estudios individuales como en proporcionar unos servicios de evalua-
( ción continua en el contexto de las necesidades y programas de una ins-
{ titución.
b) Es coherente con CIPP porque aunque Stufflebeam identifica la respon-
(
sabilización y la promoción de una mayor comprensión de los fenómenos
( implicados como los propósitos más adecuados de la evaluación, d:s-
taca que el principal propósito de la evaluación debe ser ayudar a meJo-
t rar los servicios de los clientes.
( mite la finalIzaclOn de programas y de trabajos evaluativos sobre progra-
(
f
PREGUNTA10. ¿Cuál de las siguientes afirmaciones no es coherente con
producto realizada por Stufflebeam en el contexto de los esfuerzos de una
institución por mejorar sus servicios (véase figura 6-1)?
a) La evaluación CIPP está considerada correctamente como un plan para
la resolución de problemas.
b) Para asegurar que se ha satisfecho toda la gama de necesidades informa-
tivas de una institución, todos los programas deben ser sometidos a eva-
l~aciones del ,co.ntexto, de entrada, del proceso y del producto, según
Clertas bases cIchcas.
e)
La r~aliza~ión de c~,alquier estudio evaluativo sólo estará justificada si pro-
porClona mformaclOn necesaria que vaya más allá de la ya disponible.
d) Los e~alua.dores deben asumir que aunque su trabajo pueda incrementar
la raclOnahdad en la toma de decisiones de una institución la decisión
de empezar, cont~nuar y/o terminar los trabajos de perfec~ionamiento,
~epe~den necesanamente de una amplia gama de cuestiones racionales e
IrraClonales que están más allá de su alcance y control.
. Respuesta correcta Debe usted haber seleccionado la «b». En su comen-
tano de la figura 6-1, Stufflebeam destaca que las evaluaciones del contexto, de
en~rada, d.el proceso y del. producto deben realizarse sólo cuando puedan contri-
bUIr a satIsfacer las necesIdades evaluativas marginales de una institución.
a) Es coherente con la caracterización del CIPP que realiza Stufflebeam,
puesto que !a figura 6-1 y el comentario correspondiente analizan princi-
palmente como pueden ser utilizadas las evaluaciones del contexto, de
entrada, del proceso y del producto para identificar y resolver los pro-
blemas.
e) Es cohere~~e con. la concepción de Stufflebeam porque éste asume que
l~ :valuaclOn es ~nherente a los programas institucionales y que los ser-
VI:lOS de eval~acIón especializados se dedican más bien a ayudar a sus
clIe~tes a satIsfacer las necesidades marginales de la información eva-
luatIva.
d) Es. coherent~ ca?, la concepción de Stufflebeam porgue la figura 6-1 per-
 )

1
')
')
218 I Evaluación sistemática 5tufflebeam: la evaluación del perfeccionamiento I 219 ')

mas en cualquier punto, independientemente de su necesidad o de los ")

d) Decidir si un trabajo de perfeccionamiento merece continuarse o ampliar-
resultados. se a otros marcos. -,
Respuesta correcta. Debe usted haber seleccionado la «a». La principal }
PREGUNTA11. Suponga que una junta educativa ha decidido desarrollar utilización de la evaluación del proceso, según Stufflebeam, es ayudar al per- }
un nuevo tipo de escuela media y ha definido las, e~pecificaciones. ~ara su sonal a llevar a cabo el programa; otra de sus muchas utilizaciones es ayudar
construcción. De acuerdo con el modelo CIPP, ¿que tIpO de evaluaclOn debe a interpretar los resultados de la evaluación. )
ser llevada a cabo para ayudar en la selección del diseño arquitectónico más ')
apropiado? Respuestas incorrectas
')
a) Evaluación del contexto. b) Es incorrecta porque propone utilizaciones de las evaluaciones de entrada. ')
b) Evaluación de entrada. e) Es incorrecta porque propone utilizaciones de las evaluaciones del con-
e) Evaluación del proceso. ')
texto.
d) Evaluación del producto. d) Es incorrecta porque propone utilizaciones de las evaluaciones del pro- )
ducto.
Respuesta correcta. Debe usted haber seleccionado la «b». Las evaluacio- )
nes de entrada identifican y valoran los méritos relativos de los planes alter- )
nativos para llev~r a cabo cualquier tipo de cambio proyectado. PREGUNTA13. ¿Cuál de las siguientes afirmaciones es más coherente con
)
las recomendaciones metodológicas de Stufflebeam respecto a la realización de
Respuestas incorrectas evaluaciones del contexto? )

a) Es incorrecta porque la evaluación del contexto sería más apropiada. p~ra )

a) El proceso debe suponer una interacción continua entre el evaluador y el
determinar la necesidad y las especificaciones deVpara el nuevo edIficIo. cliente. Sus comunicaciones deben estar centradas en la identificación y )
e) Es incorrecta porque la evaluación del proceso sería más apropiada para examen de la realización de las actividades clave del programa.
el control y el juicio de la realización del plan arquitectónico seleccionado )
b) Este tipo de estudio puede suponer una apropiada comparación de los
que para su elección. ., resultados de un proyecto (como la valoración por medio de tests, escalas )
d) Es incorrecta porque la evaluación no sirve para nada en la. elecclOn de valor o juicios sobre los productos del trabajo) con ciertas normas
inicial de un plan, aunque mejora sus efectos cuando ya ha SIdo esco- )
(como las necesidades valoradas, las competencias definidas o los obje-
gido y realizado. tivos especificados). )
e) Este tipo de estudio puede emplear adecuadamente grupos especiales en- )
cargados de preparar planes distintos para satisfacer un grupo específico
PREGUNTA12. ¿Cuál de las siguientes afirmaciones es más coherente de necesidades. )
con las utilizaciones de la evaluación del proceso recomendadas por Stuf- d) Este tipo de estudio puede empezar con entrevistas y audiciones centra-
£lebeam?
)
das en hipótesis ,acerca de las virtudes, los defectos y los problemas, para
luego pasar a exámenes y estudios de casos concretos que diagnostiquen )
a) Valorar los avances en la realización de un programa de trabajo y expli- las necesidades y los problemas.
car también por qué los resultados del proyecto se han producido tal como
)
10 han hecho. Respuesta correcta. Debe usted haber seleccionado la «d». Se trata de una )
b) Identificar y comparar los diversos planes para la consecución de una de las pocas sugerencias que pueden hacerse para centrar y llevar a cabo una )
determinada serie de objetivos, y a la vez responsabilizarse de escoger evaluación del contexto.
un tipo de acción entre otras posibilidades. )
e) Reformular las metas y prioridades, y también seleccionar escuelas y/o
)
. programas de atención prioritaria.
.~ ...•.......•...
)
• ¡,' ~ r r- \ •••
"J ; '"''''\
)
,
f
f
220 I Evaluación sistemática
'1I Stufflebeam: la evaluación del perfeccionamiento I 221
f
( Respuestas incorrectas PREGUNTA15. ¿Cuá; de las siguientes afirmaciones es más coherente
con el concepto de Stufflebeam acerca de la planificación evaluativa?
( a) Es incorrecta porque estas sugerencias están asociadas principalmente con
( las evaluaciones del proceso. a) La plan~cación evaluativa supone un proceso que primero planea y lue-
b) Es incorrecta porque el hecho de centrarse en un proyecto determinado go modifica y desarrolla los procedimientos evaluativos.
( identifica estas sugerencias más claramente con las evaluaciones del pro- b) Las elecciones que deben hacerse al formular una planificación evaluativa
( ducto. pueden realizarse mediante una selección, instrumentación y análisis de
c) Es incorrecta porque la técnica del grupo asesor se aplica únicamente en muestras.
( las evaluaciones de entrada. e) Cuando ~mpi~a a, pl.anificar una evaluación, el evaluador debe proponer
( una plam~c~Clo~ optIma, y. luego negociar sólo aquellas desviaciones que
suponen limltaClOnes esencIales y concretas de tiempo y recursos.
( PREGUNTA14. ¿Cuál de las siguientes afirmaciones no es coherente con d) El evaluador debe buscar desde el principio un acuerdo con el cliente
( la descripción de la técnica del grupo asesor propuesta por Stufflebeam? respecto de que la planificación evaluativa, una vez determinada, debe ser
llevada a cabo de una manera tan precisa como sea posible con el fin de
( a) Se aplica principalmente cuando se han desarrollado las distintas solu- asegurar que los resultados no serán interpretados ambiguamente.
{ ciones de un problema concreto, reuniéndolas y dejándolas listas para
su utilización. Respuesta correcta. Debe usted haber seleccionado la «a». Stufflebeam afir.
{ b} Proporciona un debate entre representantes de grupos históricamente an- ma que el dilema d.el evaluador es que necesita procedimientos para el proyecto,
( tagonistas, donde éstos pueden competir en una búsqueda y valoración e:ql1emas de trabajO y recursos suficientes para llevar adelante y revisar perió-
de las diversas propuestas programáticas. ~cament.e el plan evaluativo, con el fin de responder a todos los requisitos
( InformatIvos que vayan surgiendo. Dice que para solucionar el dilema los eva-
c} Es una orientación constructiva, puesto que los grupos asesores están
( encargados de crear nuevas soluciones para problemas específicos en lugar l~adores deben contemplar la planificación evaluativa como un proceso con-
tmuo.
de abordar las estrategias ya existentes o propuestas.
(
d} Los informes presentados por el grupo asesor están sujetos a algún tipo
( Respuestas incorrectas
de valoración independiente.
( b) Es incorrecta porque estas características sólo cubren los aspectos técni-
Respuesta correcta. Debe usted haber seleccionado la «a». Por el contra-
( cos de una ~lanifi~ación evaluativa y omiten otras elecciones que Stuf-
rio, esta técnica está destinada específicamente a situaciones en las que las
flebeam .consIdera Importantes, a saber, la planificación del coste, el plan
( estrategias ya existentes se consideren inadecuadas.
par~ el Informe de los resultados y el plan de administración.

,
( Respuestas incorrectas

b) Es coherente con la descripción porque la técnica proporciona un debate

e)

( que facilita la aparición de nuevas tendencias y de la competición en una
( búsqueda constructiva de alternativas.
c) Es coherente porque los grupos no se dedican a abordar las propuestas
( de otros, sino a crear y desarrollar las mejores propuestas alternativas
( posibles.
d) Es coherente porque los informes de los grupos asesores se valoran me-
( diante una escala especial comparándolos con los criterios pre-especifi-
d)
Es lllcorrecta porque según sugerencia se olvida la insistencia de Stuffle-
be~ en una evaluación que responda a las necesidades de la audiencia.
Es I~~or:e:t~ porque Stufflebeam dice que seguir rígidamente una plani-
ficaClon Imclal conduce, por 10 general, a satisfacer deficientemente las
necesidades del cliente.
PREGUNT~ 16. ¿Cuál de las siguientes afirmaciones no es coherente con
los com.~ntanos de Stufflebeam acerca de las normas de la metaevaluación y la
evaluaclOn?

,,
( cados y, a veces, sometiéndolos a tests comparativos. a)
b)
La meta evaluación supone evaluar la evaluación.
La ~,etaevaluación proporciona medios útiles para asegurar que la eva-
luaclOn va a ofrecer unas directrices sólidas.

e

222 I Evaluación sistemática
e) Las Normas del Joint Committee suponen prinCIplOs ampliamente com-
partidos acerca de lo que es un buen programa educativo. .
Las Normas del Joint Committee se desarrollaron para clarificar cuatro
d)
condiciones básicas de una evaluación solvente.
Respuesta correcta. Debe usted haber señalado la «e». Las Normas. del
Joint Committee no suponen una base para juzgar lo.s, programas ~ducatIvos,
sino que son principios para ser utilizados en la evaluaclOn de evaluaCIones.
Respuestas incorrectas
Esencialmente es así como Stufflebeam define la metaevaluación.
a)
b) Es coherente ~on la concepción de Stufflebeam acerca de que las propias
evaluaciones deben ser evaluadas para asegurar que proporcionarán una
información útil y solvente.
Es coherente con la concepción, puesto que las treinta normas están agru-
d)
padas en términos de utilidad, viabilidad, propiedad y exactitud.
CALIFICACIÓNDEL TEST DE CONOCIMIENTOS.Cuando haya realizado el
test de conocimientos, cuente el número de respuestas acertadas. Evaluaremos
su trabajo inicial como sigue: 15-16, excelente; 13-14, muy bien; 11-12, bien;
8-10, regular; y 0-7, mal. No obstante, le sugerimos que utilice el r.epaso de
su trabajo inicial para mejorar su comprensión de este módulo. ReVIsando el
material del texto, debe ser capaz de corregir cualquier error que haya reve-
lado la calificación. Le recomendamos que relea todas las preguntas que no ha
acertado, y que luego revise el texto para mejorar su comprensión de los con-
ceptos correspondientes.
Ejercicios prácticos
Este apartado contiene cuestiones prácticas destinadas a ayudarle a va~orar
si ha entendido las premisas y conceptos básicos presentados en esta umdad.
Le recomendamos que responda a las cuestiones en hojas de papel separadas.
Cada una de las cuestiones va seguida de una respuesta-ejemplo o de una lista
de los puntos pertinentes que deben estar incluidos en su respuesta. Su revi-
sión le ayudará a valorarla.
EJERCICIO 1. El concepto de evaluación propuesto por el CIPP identi-
fica cuatro tipos de evaluación que se corresponden con cuatro tipos de deci-
siones. Lo que sigue es una breve descripción de un hipotético trabajo de per-
feccionamiento. Analice este ejemplo e identifique qué casos de evaluación del
contexto, de entrada, del proceso y del producto pueden ayudar a formular
)
)
')
Stufflebeam: la evaluación del perfeccionamiento I 223
)
las metas, planificar y perfeccionar el proyecto, llevarlo a cabo y decidir si ')
hay que continuar con él. ')
Un distrito escolar obtiene fondos para mejorar la enseñanza musical. Un
comité de ciudadanos ha encargado a una junta escolar que ayude a los chicos ')
más necesitados del distrito, que en raras ocasiones tienen oportunidades de ')
desarrollar sus intereses y capacidades musicales. La junta educativa nombra
un director para investigar el encargo e informar de los resultados. Un comité, )
nombrado por el director, averigua que, comparado con los distritos vecinos ')
su distrito evidencia una gran debilidad en la educación musical, pero espe:
cialmente en la práctica con instrumentos en el nivel elemental. Más adelante )
advierten que es un porcentaje desproporcionadamente bajo de estudiante~ )
poco favorecidos el que participa en las pocas oportunidades musicales que
se ofrecen. Como consecuencia, el director y el comité deciden empezar un )
proyecto de perfeccionamiento musical y dar la mayor prioridad al aumento )
de .las o~ertas. ,de prácticas con instrumentos en las escuelas elementales y a
)
la mtensIficaclOn de los esfuerzos para incluir en ellas a los niños menos favo-
recidos. El director presenta el informe de los resultados a la junta y recibe )
su aprobación para comenzar un proyecto adecuado.
Luego, el comité desarrolla una propuesta relativa a la financiación externa )
del proyecto. En principio, crean dos comités de planificación y les encargan )
el desarrollo de planes independientes acerca del proyecto. Un plan se con-
centra en la mejora de las técnicas de enseñanza musical de los profesores )
de las escuelas elementales del distrito; el otro pide la compra de instrumen- )
tos pa,ra.pre~tarlos a los niños necesitados, la contratación de tres profesores
de practlca mstrumental que quieran trabajar todo el tiempo en las escuelas )
elementales y la institución de un programa voluntario para que los músicos )
con más talento d~ l~ ~omunidad ayuden en el programa. El comité compara
)
est,os. pla~es, su vIablhdad y sus posibilidades en cuanto a la mejora de las
pract:cas mstrumentales, y en cuanto a la integración de los estudiantes más )
necesItados. Acaban consider~ndo que el segundo plan es mejor que el pri-
)
mero y someten sus concluslOnes a debate en una reunión de facultad. En
general, la facultad acepta la recomendación del comité y, como consecuencia, )
se lleva adelante el segundo plan, presentándolo a una fundación privada. Con
)
unas pe~ueñas modificaciones, la propuesta es aceptada .
.El dIrect?r c~ntrat~ a dos profesores de práctica instrumental (resulta im- )
poslble localIzar mme.dlatamente a un tercer candidato cualificado) y les encar-
)
g~ que compren los mstrumentos necesarios, se los proporcionen a los estu-
dlantes necesitados más interesados y que recluten también a los miembros )
de. l~ comunidad que muestren interés. Esta encarga al comité de planificación )
ongmal que ~ontr~le y evalúe la realización y la efectividad del proyecto.
~~ su pnmer mforme destinado al director y a los nuevos profesores, el )
comIt~ hace notar que. ha res~l~ado beneficioso no contratar al tercer profe-
J
sor. Plensan que ese dmero adlClonal puede ser mejor empleado en la compra
)
)
(
("

(
224 I Evaluación sistemática Stufflebeam: la evaluación del perfeccionamiento I 225
f . 1 L rofesores se muestran de acuerdo, y con
( de más instrumentos muslc~ es. oSbP . es modifican en consecuencia el Se ha decidido que la fundación asigne muchos millones de dólares a los
1" d 1 agenCIa de su venCIOn , f' , colegios para que adapten algunos de estos programas renovadores a su situa-
el benep aclto e a 'l' mplo de cómo los in armes peno-
( lan el presupuesto. Este es so o un eje ción, con el propósito específico de incrementar los ingresos del colegio, limitar
p y . , 'nf1 1 realización del proyecto.
( dicos del comlte luyen en a .,. f ma que el proyecto ha tenido mu- los gastos y aumentar y mantener la calidad del producto educativo.
bo d - el comlte In or
Al ca e tres anos, 1 1 disponen ahora de una banda. Las Tras este breve resumen del programa de la fundación, me gustaría subra-
( cho éxito. Todas las escuelas e elmenta es se imparten a todos los estudian- yar que estamos profundamente interesados en desarrollar un programa eva-
. d ,. instrumenta en grupo . b
( leCCIones e practIca .. . 'n de todos los estudIantes es uena. luativo que nos diga, de un modo preciso, si nuestras subvenciones han sido
. d 1 d La partIC1paCIO
tes a partir e cuarto gra o. 1 . clubs de apoyo activo a las bandas. efectivas. Si cree que su centro puede prestarnos algún servicio, le pido que
{ lIs elementa es tienen . 1 . nos explique sus ideas y esboce una propuesta específica acerca de cómo abor-
Dos de as tres escue a 1 'd d han ofrecido a impartIr eCCIOnes
. b s de a comum a se . daría este sugestivo problema.
( y unos pocos mlem ro Basándose en este informe, la Junta
de música gratis como parte del ~rogr~~a'd 1 proorama y proporciona fondos Atentamente
( de educación recomienda la contInuaClOn e f '"
regulares para pagar los salarios de los dos pro esores. .
( Phil Anthropy
{ Las respuestas al e;ercicio 2 deben presentar y desarrollar
. .. 1 deben incluir los siguientes puntos:
Las respuestas al e¡erCtczo los siguientes puntos:
(
( T ra determinar que los chicos nece-
a) La evaluación del.contexto se u~~l~aJea desarrollar sus intereses y capaci- a) El método que recomendamos responde a su principal preocupación: de-
( sitados rara vez tienen oportunl al d brimiento de que el distrito es terminar la efectividad de sus inversiones. Además, supone una garantía
dades musicales. Igualmenfte, en e :s~~cas instrumentales en la escuela de calidad o una orientación perfeccionista. Nuestra principal preocupa-
( especialmente pobre en o ertas d e prac ción es asegurarnos de que los informes que elaboremos serán útiles y
( utilizados.
elemental. e T identificar y valorar los dos pla-
b) La evaluación ~e ent~ada sd utIlIza la;a de prácticas instrumentales del b) El método proporciona información continua acerca de cada proyecto y
( nes de perfeCCIOnamIento e as o er as
del programa global con el fin de satisfacer las más importantes necesi-
( dades evaluativas.
distrito. 1 "1 r determinar que deben ser dos,
c) La evaluación del proceso resu ta utI Pllaa cabo el proyecto y que se e) El método examina y proporciona directrices para el perfeccionamiento de
( 1 os profesores que even a
y no tres, os nuev . ., había asignado para la com- las metas, la planificación, la realización y los resultados.
( necesita más dinero del que en pnnclpIO se
d) La planificación de la evaluación debe desarrollarse con relación a las con-
pra de ins:r,umentos. d . d' que el proyecto, en muchos aspectos tinuas comunicaciones entre nosotros, su grupo y los representantes de
( d) La evaluacIOn del pro ucto In Ka . cada proyecto.
( importantes, ha tenido éxito y merece contInuarse.
e) Recopilamos y presentamos descripciones y juicios acerca de los proyectos
y del programa global.
ted dirige una agencia de servicios evalua-
••( . EJERCI,CldO 2. SUPonga qlueC~~p desarrolle una breve propuesta en res- f) Básicamente, valoramos su programa y cada uno de sus proyectos con rela-
tIvos. Basan ose en e lmo de o ción a las necesidades valoradas (valor) y a la calidad del trabajo y de los
puesta a la siguiente carta. resultados (mérito).
(
g) Planificamos y realizamos nuestro trabajo teniendo en cuenta las razona-

,
( Querido director: d'
Actualmente, la Valley Foun at.lOn . d
dI
tres fases para ayu ar a os . .
está llevando a cabo un programa de
cal egIOs pnva os o
l'ndependientes de nuestra
udar a los colegios a aumentar h)
bles limitaciones de tiempo y recursos, con el fin de asegurar que nuestro
trabajo resulte tan discreto como nos sea posible.
Trabajamos con su grupo para asegurar que la evaluación se realiza sobre
t región. El programa intent~ pn~cIP~men~~:;encia en el centro de los alum- una base justa e imparcial.

,
t el número de matrículas y os ano: e pe d" el fomento de un área
nos, la eficiencia del proceso enselnanza-ap~end IZ~~ :olegios el pago a plazos.
desconocida hasta el momento en a mayona e ,
i) En general, valoramos nuestros planes e informes según su utilidad, via-
bilidad, propiedad y exactitud.

,t
 ---_IIo..Jii1.;
)
~
226 I Evaluación sistemática Stufflebeam: la evaluación del perfeccionamiento I 227 ')
d dos colaboradores han sido encarga- )
EJERCICIO 3. Suponga que usbte. Yd t s días en su especialidad, con
. t 11r de tra a)o e re, 1 ., Las respuestas al ejercicio 3 deben aproximarse al siguiente modelo: )
dos de orgamzar un a e d propone emplear la eva uaClOn
s y que uste se
alrededor de sesenta persona , .' S ponga además que se propone ')
1 . , d la expenenCla. u Hipótesis de trabajo:
como guía y va oraClOn e h dispondrá de 300 dólares para
d 1 CIPP que como muc o, 1h 1 ')
utilizar el mo e o . y ,. L x eriencia tendrá lugar en e ate
llevar a cabo el trabajo evaluatlvo. a e p 1. La experiencia debe ofrecerse a los principales institutos para informarles
de los métodos que han demostrado ser efectivos a la hora de perfeccio- )
durante seis semanas. . . que cree necesarias. Luego diga los
Haga una lista de las presuposiciones . 1 ara ser empleados en la eva- nar la capacidad y las actitudes de los estudiantes. l
que segun, d . de datos esenCla es p . 2. La experiencia estará financiada conjuntamente por el Departamento de
uste , son tlpOS d l. del producto SegUldamente, )
' d d e proceso y . . Educación y los participantes.
luación del contexto, e entra a, h pi'lado para cada tipo de mfor-
. 1 d 1 datos que a reco d 3. La audiencia de la evaluación, en orden prioritario, incluirá al personal del ')
proporcione eJemp os e os. d pilación de datos. Finalmente, es-
'd 'fi 1 medlOs e esa reco h l' d taller, a la agencia de subvenciones y a los participantes.
mación e 1 entl que os., 1 x li ue detenidamente cómo a ana iza o )
criba el plan de evaluaclOn globa y e p q sta en ha)'as de papel separa- 4. El personal del taller será el principal responsable de la evaluación, pero
1 d Di ponga su respue con la ayuda, en la recopilación y análisis de datos y la elaboración del ')
y presentado los resu ta os. s , 1 ema de la figura 6-2.
das. Quizá le resulte útil, como gUla, e esqu informe final, de algún estudiante graduado que haya hecho algún curso
sobre evaluación. )
5. Con el fin de conseguir una perspectiva independiente, un representante )
Hipótesis de trabajo de la agencia de subvenciones ha decidido revisar el trabajo evaluativo
)
comparándolo con las Normas y responder a ciertos requisitos informa-
Datos que deben Medios para
Requisitos generales
la recopilación
tivos basándose en su conocimiento de los programas estatales. )
con relación ser recopilados
de datos 6. Un graduado en busca de una experiencia evaluativa ha decidido realizar
a los datos en esta evaluación )
y presentar una amplia evaluación de la experiencia totalmente gratis.
)
Evaluación
del contexto Con las anteriores hipótesis, el plan general de la figura 6-3 se ofrece
)
como guía del trabajo evaluativo. y ahora le proporcionamos la descripción
narrativa del plan. )
Evaluación
de entrada )
Descripción narrativa de la figura 6-3: )
Evaluación
del proceso )
El personal del taller debe coordinar la evaluación del contexto. Básica-
mente, debe incorporar las cuestiones de evaluación del contexto en forma de ,)
Evaluación aplicaciones concretas a la experiencia: deben leer y discutir cada aplicación
del producto )
I I como un medio de examen y revisión de sus objetivos provisionales. Además,
deben reunirse con uno o más representantes de la agencia de subvenciones )
para obtener una mejor comprensión de las necesidades y recursos de ámbito )
estatal, así como reacciones críticas a sus planes. Deben telefonear y enviar
Descripción narrativa peticiones escritas a las autoridades del estado y a los distritos escolares con el )
del plan evaluativo
que destaque espe~ialmente
fin de obtener documentos relativos a los programas de los institutos, y deben )
encargar a su ayudante graduado que lea y haga un informe sobre estos docu-
I el análisis y los mformes
I mentos, comparándolos con los objetivos del taller. Finalmente, deben enseñar )
al graduado a preparar un informe sobre los antecedentes, centrado en las ca- )
FIGURA 6-2. Modelo de esquema para el ejercicio 3
racterísticas y necesidades generales de los participantes seleccionados, del es-
)
)
 -
F; ,r~-',.
.,.-"~-~~~-~~=¡¡¡tJi>.,---¡jIf>.;,-""-~--"'--"~_-_'_"A_-'" ••. -..-
H' ., '. '!"., ~::!
' ..' ,," ' '," ;".
'o'!' ~,'~
. ,
~::J.. l,,"«"",:"",'-0"'
~);' ~;J';'~ f,;,J ';,;J '",-.! J,l ,A ':'
A, ,"..., .... .....,'
.:'. ~-- ••. _
lA"":.J ;J:"'l~""'T:""""'"
, .. "-"""'_.--
""",
'
,...,...••••. ~
'1 ~7"'J. ,'~~-'- r¿"
i"!lIi: '_

.
l\)
l\)
00
Requisitos generales Datos que deben ser recopilados Medios para la recopilación
para los datos en esta evaluación de datos
~
III

Necesidades 1. Informes .~- futur

de ln. .. _
Forma de aplicación de la experien- e
III
Evaluación del con- cia (1, 3,4)
cipantes sobre sus razones para ()

texto participar en el taller y sobre

o;
:J
sus experiencias con programas Reunión con los representantes de U>
la agencia de subvenciones (21 3,4) ü;
..•.
de lectura ro
3
2. Descripción de las necesidades, Peticiones telefónicas y escritas (4) e',.'
Problemas Ci'
problemas y oportunidades del D>
ámbito estatal por parte de los
representantes de la agencia de
subvenciones

3. Valoración de los resultados po-

Oportunidades
tenciales de la experiencia por
parte de los futuros participan-
tes y de los representantes de
la agencia de subvenciones

Objetivos propuestos 4. Informes pertinentes acerca de

las escuelas locales y estatales

1. Planes e informes de experien- Entrevistas telefónicas con directo-

Evaluación de entrada Planes alternativos res de experiencias similares (l, 3)
cias similares
Actividades, personal, esque- Reunión para discutir el plan del
mas, facilidades, presupues- 2. El plan del personal
personal comparándolo con los re-
tos, etcétera sul tados de la entrevista telefónica
3. Revisión del plan preliminar por
'parte de los representantes de (2,3)
la agencia de subvenciones, de

•....•._--~:..~
..• ~,
,,,,-",,~,,;,,,".,
~
...
.. ,
.

"

futuros partiCipantes selecciona-

dos y de directores de experien-
cias similares
Evaluación del pro- Realización del plan, nivel
ceso 1. Informe de las actividades y las
de participación por temas, Reuniones diarias con una repre-
desviaciones del plan
nivel de satisfacción sentación de los participantes (3, 4)

2. Asistencia y participación
Un observador (1, 2, 3, 4)

3. Valoraciones del proceso

Valoración diaria (3, 4)
CJ)
4. Sugerencias para mejoras ...•.
Sesión de información diaria ( 1, e
3,4) ::!i
ro
Evaluación del pro- o-
Efectos (buscados y no bus- ro
ducto 1. Valoraciones de la habilidad con III
cados, positivos y negativos, Escalas de autovaloración anteriores
que se ha abordado cada obj~ 3
inmediatos y a largo plazo) y posteriores (1)
tivo ñ)
ro
Juicios sobre los resultados <
2. Juicio acerca de la calidad de ~
Reunión del personal para juzgar y
cada producto de la experiencia e
revisar los productos del trabajo a III
()

través de participantes selecciona- o;

3. Aplicaciones del conOCimIento dos (2, 3) :J
adquirido tras la experiencia a.
~
Informe telefónico (3) "O
4. Valoraciones de la experiencia ro
::¡.,
Valoraciones de la experiencia (4) ro
()
()
¡::;.
Juicio resumido de los represen- :J
III
tan tes de la agencia de subvencio-
nes (4) ª.
ro
...•
:J
o
FIGURA 6-3. Esquema completo del plan para el ejercicio 3

''""
CD
.~
'¡!~
ti
f:"
;~.;.
 -----)-
)
")
Stufflebeam: la evaluación del perfeccionamiento I 231
I ")
230 Evaluación sistemática

Y analizar las diferencias utilizando un test t par 1 b . .,

tado y de cualquier otra parte, así como proporcionar una valoración de los
objetivos de la experiencia. Este informe debe ser compartido, durante la
pondientes. Debe buscar una forma en la a as. ~ servaclOnes corres-
distintos aspectos del taller y ma's ta d que cada partIcIpante pueda valorar
. ' r e esquematIzar y resu . 1 1
.,
experiencia, con los participantes, y utilizado más tarde al preparar el infor-
ClOnes. . Inmediatamente después de la expenenCla .. d eb e con ocmlr 1as va ora-1 )
me final. y pedules que intercambien puntos de vista acerc'a d 1 v lar a persona
El personal del taller debe desarrollar un plan provisional para la experien- 'd d . . e os resu tados que h
o b'b'
tem1 o ca a partICIpante' ' esta reunl'o'n d eb e ser gra b ad a para d a 1
cia y pedir al ayudante graduado que lo evalúe. El ayudante debe contactar '
crJ Ir a y analizar su contenido P d l' . espues trans- )
con directores de experiencias similares, describirles el plan propuesto e invi- ,. d ' . ue e rea Izar una sene de entrevi t 1
tarlos a que realicen críticas y sugerencias. Puede también pedirles que le en- fomcas espues de la experiencia y, en la medida de lo 'bl b s as ~e e-
')
víen copias de los planes de sus experiencias. Debe preparar un informe resu- ~~~:ó~e~~r:~a~~lIe:~li~:e P~~t~~se:aurnticipanl tes ~~e reflej~;SIsue~r~d~e~:r i~~~~
miendo, comparando y contrastando las que, según él, son las principales es- a va oraClOn resumIda de 1 )
tan tes d e la agencia de subvenciones Deb h 1b d os represen-
trategias informativas del taller, y resumiendo las críticas y sugerencias ofre- evaluación del producto enviarlo' e acer e. orra or de una posible )
cidas con relación al plan de sus superiores. El personal del proyecto debe a agencia de s b . y para que lo reVIsen los representantes de
entonces reunirse con el ayudante y el representante de la agencia de subven- l u ven clOnes la repre t' , d . . n )
borado en la evaluación del' proceso ;e~ ~~~~na~ de~r:IC{tan~s que dhab col~-
ciones para revisar los resultados de la evaluación y discutir cómo puede me- )
sar la evaluación del producto para tener 1 . a ero ~:go, e e reVI-
jorarse el plan. F 1 presente a lil formaClOn
Seguidamente, se le pedirá al ayudante que añada un post scriptum a su lila mente, la evaluación debe concluir con u .; )
de los representantes de la agencI'a de b . na meltaevaluaclOn por parte
evaluación de entrada indicando cómo ha sido afectado el plan del taller por . f su venclOnes y a pr ., d 1 )
III ormes finales . El ayudante grad ua d o d e b'e pnmero re' esentaclon
l' e os
la evaluación que se ha hecho de él y, en general, si el plan es lo suficiente-
y argumentos teniendo en cuent h ' sumIr sus va oracIOnes )
mente justificable, según las distintas alternativas y las críticas y sugerencias cada una de las 30 normas del ]oa ' acsta q~e punto la evaluación ha seguido
obtenidas. Este informe será archivado para incorporarlo en el informe final I nt ommIttee y debe en i l' , )
a los representantes de la agencia de subvenc" .. , v ar esta va oraClOn
de la evaluación. presenten su informe metaevaluativo. Enton~~~esi PldI~ndoles que finalicen y )
Básicamente, el graduado ayudante debe realizar la evaluación del proceso. hacer el borrador de un inform d e ayu ant: graduado puede
Debe utilizar la evaluación del contexto y sus datos como base para reclutar resultados de la metaevaluacl'o'n e eln os parteds: en la pnmera incluirá los )
un pequeño grupo de participantes, que serán tan representativos como sea de contexto e ent d d 1
producto, y en el segundo un ape'nd' ,.' E ra a, e proceso y del )
posible del conjunto del grupo, con los que se reunirá durante tres noches , Ice tecmco ste inf d b .
para su revisión a la representación d . '. orme e e ser envIado
para obtener sus reacciones y sugerencias. Deberá observar las actividades del para colaborar en la evaluación El e ¡artlClpantes previamente reclutados )
taller e informar de las principales desviaciones del plan, y, al final de cada una reunión de los representant~s d ~yu ante. graduado debe luego convocar
e )
día, deberá buscar una forma para que los participantes puedan valorar el pro- del taller para revisar los borradore ; arn~l~ de subvenc!ones y el personal
ceso. En la noche del primero y el segundo día, deberá reunirse con el personal participantes. Debe colaborar en la fis 1: o~,In dor~es y la Información de los )
del programa para ofrecerles información y ayudarles a perfeccionar el plan de llo de planes para su difusión L na IzaClOn e os informes y en el desarro- )
trabajo de los días siguientes. Cada mañana, el personal del taller deberá revi- ciones y el personal del taller d' bOS rlepresedntantes de la agencia de subven-
sar la información procedente de la evaluación del proceso del día anterior , e en uego ar las gr' 1 d )
mas experimentado ayudante y e d 1 aClas a agota o pero ya
con los participantes, identificar cualquier modificación del plan y, en un perío- ncargarse e a presentación final y 1a d'fl USlOn. .,
)
do de tiempo limitado, provocar comentarios y sugerencias. Al final de la
experiencia, el ayudante graduado debe escribir el informe de un caso resu- )
miendo el proceso real, destacando las desviaciones del plan original y, en Preguntas sin respuesta
)
general, valorando la calidad del trabajo. Este informe será archivado para
incorporarlo en el informe final de la evaluación. En este apartado proporcionamos cuatro r . j
puesta. Las preguntas pueden t"1" p eguntas, pero nInguna res-
El ayudante graduado debe coordinar la evaluación del producto. Debe como fuentes de traba]' . d' ~dI Izlarse como temas para discusiones de grupo )
desarrollar una escala según la cual cada participante pueda valorar su capa- . o In IVI ua y como guías p f d' '
CtItos de Stufflebeam. ara pro un Izar en los es-
cidad respecto a los conocimientos y las técnicas relacionados con cada obje- j
tivo del taller y administrarla de forma anónima al principio y al final del )
programa. Debe informar de los medios utilizados antes y después del test
)
)
•
(
f 232 I Evaluación sistemática
f 1. Responda a la crítica acerca de que el CIPP es ideológicamente tendencioso
( en favor de algún grupo ya poderoso, a saber, quienes toman las decisio-
( nes. El argumento, resumidamente, es que el CIPP está al servicio de
quienes toman las decisiones y así convierte a los poderosos en más pode.
( rosos. Dado que las evaluaciones cuestan dinero, sólo los poderosos pue-
den permitírselas. ¿Quién protege a los subordinados?
(
2. Stufflebeam desarrolló el modelo CIP? y coordinó el desarrollo de las
( Standards for Evaluation of Educational Programs, Projects, ando Mate-
rials. ¿Son las Normas, por lo tanto, tendenciosas, en favor del modelo
( a e ur ue, a ayette, IndIana .
CIPP y en contra de otros métodos? Si no lo son, ¿existen incoherencias
Referencias bibliográficas I 233
REINHARD,D. 1. 1972. Meth~dology development /ar input evaluatin using advo-
cate and deszgn teams. TeSIS doctoral inédita, Universidad del Estado de Ohí
ROOT,D. 1971.. The. evaluation training needs o/ superintendents o/ sehool T ?
doctoral, UmversIdad del Estado de Ohio. s. eSIS
SANDERS, J R. Yl SACHSE, T. P. 1977. Applied performance testing in the class-
j
~~~:' 92~~;~~ o/ Research and Development in Education (primavera), 10,
SCRI~N, M. 1966..The metho~ology ?f evaluation. Publicación n. 110 de la Social
~cIdendce pEdudcatl0Ln fConsortlum: DIrector ejecutivo: Irving Norrissett, Universi-

• básicas entre estos dos grupos de recomendaciones?

-. 1~70. Critique of the PDK Book, Educational Evaluation and Decision Ma-
kzng.P~esenNtadaen el congreso anual de la American Educational Research

•
(
3. SCRIVEN(1970) advertía que en el modelo CIPP, las evaluaciones del
contexto, del proceso y algunas de entrada son principalmente descrip-
tivas y, por lo tanto, no deben ser llamadas actividades evaluativas. ¿Cuál
AssocIatIon, ueva York.
-.1972. An introduction to metaevaluation. En P A TAyrOR D M C
(comp) R d' . . l ..
., ea zngs zn currtcu um evaluation Dubuque Iowa W C B
- y . . OWLEY

( es su respuesta? STAKE'dR 1967. T~e countenance of educatio~al evaluation, T~ach~rs .Co~~;mge

6' .Re-
4. Guba ha afirmado que el modelo CIPP es útil principalmente para los cor, 8, 7 (abril).
( programas de largo alcance y sólo es aplicable en situaciones en las que STUFFLEBEAM ~ D " L 1966 . A d ept h stu dy of the evaluatlon
. requirement Theory
1nto P ractlce, 5, n. 3, págs. 121-133. '
( existe un alto nivel de labor administrativa, mucho dinero para financiar
el trabajo evaluativo y un alto nivel de perfección técnica. ¿Cómo res- -.1969. Evaluatian as enlightenment for decisian making. En A. WALCOTT
( (comp.), Improvmg educ.ational assessment and an inventory o/ measures o/
pondería usted? affectlVe behavlOr, Washmgton, D.C., ASCD.
( -. 19?~. The re1evance of the CIPP evaluation model for educational account-
( abllity, Journal o/ .Research and Development in Education (otoño).
-.1975. Met.aevaluatlOn. Oceasional Paper Series. Kalamazoo MI' hi
de 1 ' U' 'd ' c gan Centro
( Referencias bibliográficas eva uaClOn, nrverSI ad de Western Michigan 3. '
STUFFLEBEAM ' D .. L Y ot ros. 1971 . Ed.ueatlOnal evaluatlon
'. and decision making
( AnAMS,J. A. 1971. A study o/ the status, scope and nature o/ educational evalua- I tasca, 111., Peacock. '
tion in Michigan's public K-12 school districts. Tesis doctoral inédita, Universi- TYLER,R . 3W, 1~42. General statement on evaluation, Journal o/ Educational Re-
(
dad del Estado de Ohio. searc, h 5, pags. 492-501.
( BRICKELL,B. M. 1976. Needed: Instruments as good as our eyes. Centro de Eva-
luación, Universidad de Western Michigan, Occasional Paper Series, número 7,
WE~ST~R, W'l' 1975. The.or¥anization and functions of research and evaluation
m a~ge lit an s~hool dIstncts. Texto presentado en el congreso anual de la
(
Kalamazoo, Michigan, julio. Amencan EducatlOnal Research Association Washington. D C
( CRONBACH,1. J., y colaboradores. 1980. Toward re/orm of program evaluation, WOLF R L 1974 Th
. ' T' : d .
r' ' , .. , marzo .
~ a?~ Icatlon of select legal concepts to educational evalua-
San Francisco, Jossey-Bass. tlOn. eSIS octoral medIta, Universidad de Illinois.
( FINDLAY, D. 1979. Working paper for planning an evaluation system. Inédito, The
Center for Vocational and Technical Education, Universidad del Estado de
(
Ohio.
( GUBA,E. G. 1969. The failure of educational evaluation, Educational Technology,
9, págs. 29-38.
( Joint Committee on Standard s for Educational Evaluation. 1981. St~ndards for
Evaluations o/ Educational Programs, Projects, and Materials. Nueva York,
(
McGraw-Bili.
( NEVO,D. 1974. Evaluation priorities o/ students, teachers, and principals. Tesis
doctoral inédita, Universidad del Estado de Ohio.
( PATTON,M. Q. 1978. Utilization-/ocused evaluation, Bevetly Bilis/Londres, Sage
( Publications.

l
 -~)-
.J
')
")

7 STAKE: EL METODO EVALUATIVO ")

CENTRADO EN EL CLIENTE ')
")
,)
,)
)
,)
J
)
,)
" ,)
Los exigentes requisitos federales para la evaluación que se impusieron en
)
la educación americana en la década' de los sesenta estimularon el desarrollo
de algunos nuevos métodos evaluativos. Uno de estos métodos fue introdu- ~
cido por Robert Stake en 1967 con lo que se dio en llamar «modelo de la
)
figura (countenance) para la evaluación educacional», Este método está cons-
truido sobre la noción de Tyler acerca de que los evaluadores deben comparar )
los resultados deseados y las observados, pero amplía el concepto de evalua- :)
ción pidiendo un examen de los antecedentes, del proceso, de las normas y
de los juicios, además de las resultados. Sú,ke desarrolló su filosofía de la eva- ,)
luación durante los últimas años sesenta y los primeras setenta, y en 1975 ,:)
presentó su concepción ya ampliada con el nombre de «evaluación responden-
te». Esta presentación conservó el énfasis en el método de la figura exami- ,)
nando «toda figura de un programa», pero rompió totalmente con la tradición ,)
tyleriana al recoger datos con el fin de discutir si se habían realizado las inten-
ciones originales. En cambio, la evaluación r~spondente asumía que las inten-
,)
ciones pueden cambiar y pedía una comunicación continua entre el evaluador ,)
y la audiencia con el fin de descubrir, in'vestigar y solucionar los problemas.
En general, Stake es el líder de una nueva «escuela de evaluación» que exige )
un método pluralista, flexible, interactivo, holístico, subjetivo y orientado ha- ,)
cia el servicio.
El juicio racional de la evaluación es una decisión que dice cuánta atención 'J
hay que prestar a las normas de cada grupo de referencias a la hora de decidir ',)
si se emprende alguna acción administrativa.
:J
Agradecemos la ayuda del doctor Stake, que corrigió y clarificó un borrador previo )
y proporcionó ejercicios de estudio. Cualquier distorsión o ambigüedad, relativa a los
conceptos evaluativos, que permanezcan en esta versión son, desde luego, responsabili- :,)
dad de los autores. .
:.J
~)
,
f
.-....-
".~r~'
f
¡

( 5take: el método evaluativo y el cliente I 237

236 I Evaluación sistemática
(
Robert Stake ha contribuido especialmente al desarrollo filosófico y teórico lidad a sus ataques y contrapropuestas, y condujo a sus audiencias a considerar
( seriamente sus puntos de vista.
de la evaluación educacional. En 1967 publicó un artículo histórico titulado
( «The Countenance of Educational Evaluation», que atrajo mucho interés ha- A media~~s de los años sesenta (STAKE, 1967), atacó el clásico concepto
cia la educación. Basándose en la reacción de la gente ante el método Conte- de la evaluacIOn como algo estrecho, mecánico y que no ayudaba en nada. Su
( desencanto parece haber estado influido y fomentado por Lee Cronbach, que
nido en este artículo y en los trabajos realizados con él, Stake, en 1975, pu-
( blicó su concepción ampliada de la evaluación con el nombre de «evaluación hasta 1964 fue profesor en la Universidad de Illinois. CRONBACH(1963) ha
respondente». En general, Stake había desarrollado una particular filosofía eva- afirmado que la función básica de la evaluación en educación debe ser servir
(
luativa, con una metodología de apoyo, que nosotros hemos decidido comentar d~ guía al perf~:cionamiento de los currículos, y no juzgar currículos ya ter-
( bajo el nombre de «evaluación centrada en el cliente». mmados. T.ambIen ha afirmado que las evaluaciones comparativas de currícu-
Hemos escogido esta denominación porque uno de los temas omnipresen- los alternatIVOS basados en promedios de calificaciones de post-tests no resultan
{
tes en los escritos de Stake es que el evaluador debe trabajar con y para ni informativas ni de ninguna' ayuda. Más tarde, Stake insiste en ello cuando
( ayudar a aquellos educadores que desarrollan e imparten servicios de educa- ataca los experimentos comparativos, exige descripciones completas de los pro-
ción primaria. Potencialmente, contempla al evaluador al servicio de una am- gramas y subraya la importancia de la información subjetiva.
(
plia gama de clientes, incluyendo profesores, administradores, elaboradores de La influencia de Ralph Tyler, que había definido la evaluación como la
( currículos, contribuyentes, legisladores, patrocinadores financieros y el público deterl'?inación de hasta qué punto habían sido alcanzados los objetivos valo-
en general. Los distintos clientes tienen distintas prioridades, y el personal rados, resulta evidente, también, en los primeros escritos de Stake. En su texto
(
del programa debe a menudo prestarles la mayor atención. Pero hay otros que Coun!~nance recomendaba comparar los resultados deseados y los reales, pero
( también la necesitan, incluso cuando los principales clientes se oponen a que t~bIen que los evaluadores valoraran los antecedentes y las continuas opera-
se les atienda. Stake recomendaba a los evaluadores trabajar .continuamente cIOn.es, tanto las propuestas como las reales. En otras palabras, amplió el pen-
(
con las distintas audiencias y responder a sus necesidades evaluativas. Ellas samIento ~e 'Tyler. Esta conexión entre el trabajo de Stake y el de Tyler parece
( son los clientes en el sentido de que son precisamente ellas, las audiencias, comprenSIble, puesto que la conceptualización de TYLER (1942) ha sido el
( las que apoyan, administran o directamente operan con los programas que se punto d: vista domina~~e sobre la evaluación desde los años cuarenta (y quizá
están estudiando y buscan el consejo y los planes del evaluador para compren- lo ,s~a aun hoy). TambIen Lee Cronbach y Tom Hastings, que influyeron mu-
( chlSl.mo en el ~esarr.ollo. ?rofesional de Stake, estudiaron con Ralph Tyler. En
derlos y mejorarlos.
( Para entender las contribuciones de Stake, resulta muy útil tener en cuenta pa.r~lcular, la mvestIgacIOn de Hastings demostró a Stake que los profesores
sus antecedentes y experiencias profesionales. En la década de los cincuenta uuhzan muy poco las valoraciones y los conceptos valorativos apoyados por
( los tests profesionales.
daba clases de matemáticas en la U.S. Naval Academy Preparatory School, y
Stake también estuvo obviamente influido por el argumento de Michael
l más tarde terminó su tesis doctoral sobre psicometría en la Universidad de
SCRIVEN(1967), según el cual los evaluadores deben juzgar. Stake está de
Princeton. En 1963, ingresó en la facultad de la Universidad de Illinois,
( acuerdo en que los juicios deben estar incluidos en las evaluaciones pero
donde dio clases en el departamento de psicología educativa y fue director
( adjunto del Center for Institutional Research and Curriculum Evaluation afirma, basándose en algunas razones, que los evaluadores deben rec~pilar
(CIRCE) bajo la dirección de Thomas Hastings. Hastings le había traído a procesar e infor~ar de los juicios de otras personas y no revelar los suyos. '
( Otro factor Impo:;ante que influyó obviamente en las concepciones de Stake
Illinois para que investigara sobre la enseñanza, pero el interés de Stake pron-
( to se concentró en el nuevo trabajo que estaban realizando Hastings y Cron- acer:a .de la :valuaclon, fue su participación en los proyectos de CIRCE de
bach acerca de la evaluación de currículos. Cuando el doctor Hastings se los ulumos anos sesenta, muchos de los cuales tuvieron lugar en universida-
( des. Los. proyectos eran progresistas por naturaleza y, aunque estaban abiertos
retiró en 1978, Stake se convirtió en el director de CIRCE y aún estaba en
( ese puesto cuando se escribió esta unidad. al estudIO, a la. observación y a la información perfeccionista de los evalua-
Su pensamiento parece haber sido influido por muchos factores notables. dor.es, no permItían la intervención controladora ni la manipulación de las
(
Su primera preparación y sus experiencias en matemáticas, estadística y valo- vanabl:s por parte de los investigadores. Muchos de estos proyectos estaban
( ración, le convirtieron en un experto en la aplicación de los conceptos y mé. conce?,ldos para ,los más inteligentes o para profesores que aprendían la ela-
todos de estas áreas prácticas de la evaluación educacional. A medida que bora~IOn de cu~ncul?s. Stake y sus colegas descubrieron que los tests entonces
t crecía su escepticismo acerca de la concepción clásica de la medición y de su p~bhcados y dIspon:~les resultaban totalmente inadecuados para evaluar estos
( empleo en la evaluación, su condición de experto en estas áreas dio credibi- p oyectos. Los reqUISItOs federales para la evaluación eran esencialmente tyle-

t
 )

)
)
8take: el método evaluativo y el cliente I 239
238 I Evaluación sistemática )

rianos, y se dedicaban a comprobar si los proyectos patrocinados habían alcan-
zado sus objetivos mediante su valoración por los tests más adecuados. En su
texto Cauntenance, Stake recomendaba ayudar a los proyectos a satisfacer los
requisitos federales de una manera aceptable para el gobierno y útil para el
personal y otros interesados. Su método de la figura refleja un intento de adap-
tar la evaluación tyleriana a las necesidades de la época, y presenta un amplio
concepto de los muchos datos que pueden ser utilizados para responder a las
preguntas de los distintos clientes. Su principal propósito era ayudar al lector
a comprobar la amplia gama de datos que pueden utilizarse en una evaluación.
Tras su publicación en 1967, el textoCauntenance fue muy citado en los
debates sobre evaluación educacional. Al presentarlo, Stake no pretendía ofre-
cer un modelo (aunque muchos lectores pensaron que sus recomendaciones
formaban parte de uno), de ahí que utilizara frecuentemente la denominación
«modelo de la figura». En cambio, intentaba proporcionar un panorama de
la evaluación. Por figura, él entendía «el rostro de la evaluación, su imagen
total, una capa». Pensaba que los distintos modelos (u opiniones) se podían
adaptar aquí o allá, y que la figura era como una red o mapa para poder
localizarlos.
Los aspectos principales atribuidos a la concepción de Stake son los si-
guientes:
Las evaluaciones deben ayudar a las audiencias a observar y mejorar lo
que están haciendo (de ahí nuestra denominación de evaluaciones centra-
das en el cliente).
Los evaluadores deben escribir programas con relación tanto a los antece-
dentes y las operaciones como a los resultados.
Los efectos secundarios y los logros accidentales deben ser tan estudiados
como los resultados buscados.
Los evaluadores deben evitar la presentación de conclusiones finales resu-
midas, pero en su lugar deben recopilar, analizar y reflejar los juicios de una
amplia gama de gente interesada en el objeto de la evaluación.
Los experimentos y los tests regularizados son a menudo inadecuados o
insuficientes para satisfacer los propósitos de una evaluación, y deben fre-
cuentemente ser sustituidos o completados con una variedad de métodos,
incluyendo los «soft» y los subjetivos.
A principios de la década de los sesenta, STAKE desarrolló estos concep-
tos y los publicó (197 5b) en un texto titulado «Program Evaluation, Particu-
larly Responsive Evaluation». La «evaluación respondente», como consecuen-
cia, sustituyó a la «evaluación figura» como denominación popular del método
de Stake. De todas formas, su nueva formulación conservaba mucho de lo que
había incluido en su artículo Cauntenance. La principal desviación fue su gran
distanciamiento de la orientación tyleriana, dirigida hacia los objetivos. De
hecho, presentó la evaluación respondente tendiendo más a sus diferencias
)
con la evaluación tyleriana (que él denominó «evaluación preordenada») que
a su propia unidad, totalidad e integridad. En esencia, pues, el texto Caunte- )
nance sirvió como puente entre la evaluación tyleriana o preordenada y un
nuevo y relativamente distinto concepto de evaluación llamado de evaluación J
respondente. En realidad, este concepto refleja la ya veterana prá.ctica de la ')
evaluación informal e intuitiva un tanto formalizada. )
Pero Stake aportó otras contribuciones notables. Para facilitar el perfec-
cionamiento de su método, ayudó a desarrollar la técnica de contraposición )
(STAKE y GJERDE, 1971) en la que equipos distintos ideaban y presentaban )
los casos más positivos y los más negativos a favor y en contra del programa.
Con Tom Hastings, dirigió la tesis doctoral de Robert Wolf,el cual, en res- ')
puesta a la petición, por parte de Stake, de nuevos métodos para la recopila- )
ción y proceso de juicios, adaptó los procedimientos judiciales para utilizarlos
en la evaluación educacional (WOLF, 1973). También trabajó intensamente )
para incorporar la metodología del estudio de casos concretos a su método )
evaluativo. Editó la famosa serie de monografías AERA sobre valoración de
)
currículos. Junto con Len Cahen y Garley Forehand, fundó el May 12th
Group on Evaluation, que ha sobrevivido como un importante centro de dis- )
cusiones y debates sobre las teorías, metodologías y prácticas evaluativas. Y
)
ayudó a establecer canales de comunicación y relaciones de colaboración entre
los evaluadores de Suecia, Gran Bretaña, Australia, la OCDE, la CEE y los )
Estados Unidos. La productividad de este intercambio internacional queda ex-
plicada en el libro Beyond the numbers game (HAMILTONy otros, 1977). )
El material precedente ha sido proporcionado como información sobre los )
antecedentes para ayudarle a estudiar las contribuciones de Robert Stake. En
)
el resto de esta unidad encontrará más información acerca del texto Caunte-
nance, de la evaluación respondente y, en general, de la filosofía evaluativa )
de Stake. Los objetivos didácticos alrededor de los cuales se estructura la
)
unidad, aparecen consignados más adelante. Examínelos, lea el material co-
rrespondiente y luego realice el test de conocimientos y los ejercicios prácticos )
que hayal final de la unidad. Valore sus respuestas comparándolas con las
)
correctas, y si alguna es incorrecta revise las secciones pertinentes del texto.
Puede profundizar en la investigación realizando las «Preguntas sin respuesta» )
(o discutiéndolas con otras personas), y consultando otras fuentes de informa-
)
ción acerca del trabajo de Robert Stake que aparecen en la bibliografía que
pone fin a la unidad. )
)
)
)
)
)
)
\
(
( 240 Evaluación sistemática
Stake: el método evaluativo y el cliente I 241
(
( Objetivos
La condición de la figura de la evaluación
( Los objetivos de este capítulo son los siguientes: ~1'~US:Tr:I.-;,...,:":
!"1-'!;:'Í'. r",',! \' , ',_

El artículo de Stake de 1967, titulado «The COUmt:.l;Iªfl~r.Qf:E4tl~?¡ti9n~t ~;:~~=-!~f,,

( Evaluation», no pretendía ser una guía específica para liaiplailüficación *.~D.i,~"~:)¿:;',;'~
e
1. Identificar los factores clave que han influido en las concepciones eva-
( evaluación, sino una base general para todos los que se enfrentaran a una ..
luativas de Robert Stake.
tarea de este tipo. En este artículo, Stake esbozaba su naciente filosofía eva-
( 2. Identificar las principales maneras en que las conceptualizaciones evalua- luativa.
tivas de Stake se acercan y se alejan del concepto de evaluación tyleriano.
( Escogió un título así para su artículo con el fin de transmitir un mensaje
3. Identificar las objeciones de Stake a las concepciones y utilizaciones tra-
concreto a los especialistas en evaluación y educadores en general. En él dice
( dicionales de los tests regularizados.
que hay pocos. evaluadores que contemplan la educación «al completo». En
4. Definir el propósito del método de la figura.
( particular, afirma que, a menudo, las evaluaciones formales se centran sólo en
5. Identificar los significados y aplicaciones de los siguientes conceptos iden-
unas pocas variables de un programa (como por ejemplo la relación entre re-
( tificados con el texto Countenance: base lógica, antecedentes, operacio-
sultados y objetivos) y que las evaluaciones informales reflejan a menudo las
nes, resultados, normas absolutas, normas relativas, efectos secundarios,
( opiniones de un grupo de gente reducido (pero no datos empíricos cuidadosa-
análisis de la contingencia, análisis de la congruencia y juicio.
mente recopilados). Urge a los educadores y a los evaluadores a reconocer la
( 6. Describir el concepto de Stake del papel del evaluador.
estrechez de sus prácticas evaluativas y a prestar más atención a todo el con-
e 7.
8.
Analizar el concepto de Stake del papel del juicio en la evaluación.
Identificar las presuposiciones básicas subyacentes a la evaluación res-
junto de la evaluación.
Este, según él, incluye 1) la descripción y el juicio de un programa, 2) dis-
( pondente.
tintas fuentes de datos, 3) análisis de la congruencia y las contingencias, 4)
9. Identificar las características esenciales de la evaluación responden te.
( identificación de las normas pertinentes y a menudo opuestas, y 5) las múlti-
10. Identificar las diferencias más importantes entre la evaluación preorde-
ples utilizaciones de la evaluación. Fundamentalmente, afirma que evaluar un
( nada y la evaluación responden te.
programa supone describirlo y juzgarlo por completo, y trata con cierto de-
11. Identificar lo que Stake considera utilidades relativas de la evaluación
( talle estos conceptos antes de presentar su método global.
preordenada y de la evaluación responden te.
( 12. Examinar las opiniones de Stake acerca de cómo los evaluadores res-
pondentes pueden distribuir su tiempo entre las tareas evaluativas, en La descripción
(
relación a los evaluadores preordenados.
( 13. Identificar las recomendaciones de Stake referentes a cómo los evalua-
Al considerar la descripción como un acto básico de la evaluación, hace
( dores deben escoger los propósitos, las cuestiones y los criterios para
referencia a los trabajos anteriores de Tyler y Cronbach. Los partidarios del
sus evaluaciones.
( método de Tyler han concentrado sus esfuerzos descriptivos en discernir hasta
14. Proporcionar el punto de vista de los autores acerca de la concepción
qué punto han sido alcanzados los objetivos. Se han limitado a la utilización,
( de Stake sobre las responsabilidades éticas y sociales del evaluador.
principalmente, de tests regularizados para recopilar sus datos. Stake critica
15. Presentar el punto de vista de los autores acerca de la filosofía educativa
( esta estrechez de miras y apoya la sugerencia de Cronbach acerca de que los
de Stake.
educadores deben ampliar su concepto de lo que significa conseguir un obje-
( 16. Describir e ilustrar cada tarea de la «evaluación reloj».
tivo y de los modos de valorar esto. STAKE(1967) aconseja a los educadores
17. Identificar las recomendaciones generales de Stake para la utilización de
( que «supliquen a los especialistas en valoración que desarrollen una metodolo-
la «evaluación reloj».
gía que refleje la totalidad, la complejidad y la importancia de sus programas».
( 18. Presentar los comentarios del autor acerca de la orientación epistemoló-
Más específicamente, afirma que la «tradicional preocupación de los especia-
gica de Stake.
( listas en valoración educativa por la exactitud de las calificaciones de los estu-
19. Identificar e ilustrar las principales partes de la estructura sustancial de
diantes y el pronóstico de su validez es un recurso cuestionable. En la evalUá-
( la evaluación responden te.
ción de currículos, la atención prestada a las diferencias individuales entre los
( estudiantes debe desplazarse hacia las contingencias de los antecedentes, las

(
I
 l...
')
)
242 I Evaluación sistemática 8take: el método evaluativo y el cliente I 243
')
ltados escolares», Como se comentará más ade-
actividades de clase y los redsu k ndo' a los educadores que descn- )
. ida Sta e recome . . Esquema para la recopilación de datos
lante en esta mlsma un , d estos y reales las operaczones dl- .)
. 1 t los antece entes supu , "
bleran comp etamen e . us congruencias y contmgenclas,
dácticas y los resultados, y que exammaran s Con esta información sobre los puntos de vista de Stake acerca de la ')
descripción y el juicio, ya podemos proporcionar un amplio panorama de su
')
método global, representado en la figura 7-1. La figura presenta los principales
El juiciO tipos de información que debe ser recopilada para realizar cualquier evalua- ')
ción de programas. Advierte que Stake no ha concebido esas cajas para que
1 ' ., S ake está de acuerdo con la posición de ')
Al abordar el problema de JUlClO, tI l"n no tiene sentido hasta que se sean rellenadas. Las cajas representan únicamente una clasificación de datos
967) de que una eva uac o que pueden o no resultar útiles. ')
SCRIVEN(1 acerca . lo acertado de asignar la responsa-
. . ., P otra parte cuestlona , li Los conceptos de antecedentes, transacciones y resultados son de importan-
emlte un JUKlO. or , . 1 parcialmente) a los espeCla stas en ')
bilidad del juicio sólo (o a veces mc uso cia primordial. Stake comenta que si los evaluadores pueden recoger, analizar
y presentar información acerca de todo eso basándose en diversas fuentes, ')
evaluación. " , n él pue d e resu lt ar poco realista por una serie . de ra- podrán aproximarse con más éxito al objetivo de abordar la totalidad 1 de la
Esta practlca, segu 'd 1 aluadores pueden convertlrse en ')
zones. Los educadores, intuyen o qUJ os e~tirse a cooperar en sus trabajos evaluación, que si persisten en sus intentos de determinar si los objetivos han
únicos jueces de sus programas, pue en res adores pueden ser censurados o sido alcanzados. Cada uno de estos tres conceptos es complejo y requiere una )
'1 ., d d tos Ademas l os eva lu , explicación,
de recopl aClOn e a. , que los evaluadores que actuan )
. . . legas suyos que crean . Los antecedentes se refieren a la información más relevante sobre el histo-
cntlcados por clertos co . . d bJ'etl'vos- convierten a las Clen-
, 1 r de mvestlga ores o 1 rial. En concreto, Stake consideraba este tipo de información como algo que )
como Jueces --en. uga. ., 1 om ortamiento en algo sospechoso, Igua-
cias sociales y a la mvestlgaclOn de c PI dores pueden sentirse cualificados incluía alguna condición ya existente antes de la enseñanza y el aprendizaje,
)
S k fi e muy pocos eva ua . y quizá relacionada con los resultados: por ejemplo, si un estudiante se ha
mente, . ta . e arma, qu
1 . para una escue la o comunidad poco conoCldas.
mejor ,
d comido un buen desayuno antes de ir a la escuela, si ha hecho los deberes o )
para lscutlr que .e,s o dil ma Stake sugirió una posición de compromISO.
si ha dormido bien; igualmente, si el sindicato del profesor se opone a que
Para dar soluclOn a este e d' d' debl'eran actuar como jue- )
d ha d 1 valua ores pu leran o participe en la preparación de los servicios. Para describir y juzgar totalmente
Aunque du a e que os e , de los programas que evalúan, pensaba que
)
ces únicos o £nales de la mayona
eran los únicos cualificados para ~ecop ar
nes y juicios de ~t,ras p~s?na:l
il
¡: rocesar objetivamente las opinio-
que las evaluaciones de progra-
~~~i~Oe~ ~o: defectos percibidos por grupos
un programa o un episodio del aprendizaje, Stake afirma que los evaluadores
deben identificar y analizar los pertinentes antecedentes.
El segundo tipo de información propuesto por Stake, las transacciones de
)
d la enseñanza, incluye los innumerables encuentros de los estudiantes con otras )
mas escolares e lan re e!ar, . l'mportantes opiniones que exponer
b. 'd 'fi dos y menClOno cmco con 1 personas, como los profesores, los padres, los miembros del consejo, los tu- )
len 1 entl ca , dI' d d en general expertos en e
acerca de la educación: portavoces e a sOCle a , tores y otros estudiantes. Stake recomienda a los evaluadores que realicen
f adres y estudiantes. ,, d S k una especie de proceso evaluativo continuo con el fin de discernir los trabajos )
tema, pro esores, P ., .' eliminó la preocupaClOn e ta e reales del programa,
Esta recomendaclOn ?e comp:oml;~ual los evaluadores deben emitir los )
acerca del sistema de Scnven, segun e , e su recomendación obviaba Los resultados se refieren a lo que se consigue a través de un programa.
Esto incluye las capacidades, los logros, las actitudes y las aspiraciones. Incluye )
juicios £nales. Especialmendte, Stake a~r~o qsuma's cuestionables del sistema
'1 'd b las os presupOSlClone también el impacto que causa en todos los participantes (profesores, padres,
las que e conSl era a , d el mejor puede resultar ser )
de Scriven: 1) que un progra~a que s;a J~:g~n~ opción local no es válida si
)
el mejor para todos los estudlantes, lY d) q no pueden hacer ninguna presu- 1. En su correspondencia personal, Stake indicaba que se sentía confuso ante el
. 1 b' mún Los eva ua ores . asunto de la «totalidad». Reconocía que las exigencias de figura acerca de la totalidad )
es contrana a len co . . icios procedentes de una ampha
posición si recogen, procesan y presentan JU de la descripción y el juicio, no eran para conseguir unos informes más largos, sino
gama de grupos de referencia. para desviar la atención de lo que se estaba haciendo (de ser menos «total» en ello) )
y situarla en otros aspectos del objeto. Reconocía la necesidad de delimitar, de concen-
trarse. En la evaluación responden te solucionó esta necesidad de una cobertura y deli- )
mitación más amplias, aconsejando al evaluador que buscara y solucionara los «proble-
mas» clave. )
)

)
\
(
( 244 I Evaluación sistemática Stake: el método evaluativo y el cliente I 245
(
que ellos entiendan (no necesariamente en forma de objetivos de compor~l-
( Intenciones Observaciones Normas Juicios miento). Las observaciones se refieren a qué antecedentes, transacciones y ce-
(lo que (lo que (lo que la
( (lo que sultados han sido observados y anotados, los cuales pueden haber sido reco-
percibe la gente gente cree que
pretende pilados a través de distintas fuentes e instrumentos de recopilación de datos.
la gente) generalmente debe ser el
f la gente)
aprueba) programa Stake aconseja a los evaluadores que realicen una amplia búsqueda de la exis-
( principal) tencia de acontecimientos, tanto los que se habían pronosticado como los
que no.
( La siguiente lista ilustra los tipos de información que un evaluador puede
( recopilar desde la perspectiva de la matriz de descripción de Stake:

« Base lógica
1. El profesor dice que los estudiantes se inscriben en la clase de apreciación
( musical porque quieren (antecedente propuesto).
2. Sin embargo, el 40 % de los estudiantes se quejan de que sus padres les
(
Transacciones han obligado a inscribirse (antecedente observado). .
( 3. El currículo de apreciación musical especifica que los estudiantes pasan
40 minutos a la semana oyendo música y 20 discutiendo sobre ella (tran-
(
sacciones propuestas).
( 4. Por regla general, los estudiantes dicen pasar 19 minutos a la semana
Resultados oyendo música, 3 minutos discutiendo, 20 minutos estudiando y el resto
(
del tiempo haciendo otras cosas (transacciones observadas).
( 5. Al final del curso, los estudiantes esperan, entre otras cosas, ser capaces
( de conocer los nombres de los compositores de obras musicales seleccio-
Matriz de descripción Matriz de juicio
nadas para su audición (resultado propuesto).
( 6. Por regla general, los estudiantes conocen correctamente los nombres de
rIGURA 7-1. Esquema de Stake para la recopilación de datos en la evaluación
( los compositores de dos piezas de las diez que han escuchado; igualmen-
de un programa educativo
te, y de una forma inesperada, el padre de uno de los estudiantes con-
STAKE, Robert E., 1967, «The Countenance of Educational Evaluations», Teachen
( FUENTE:
tribuye con una gran suma de dinero a la ampliación de la biblioteca'
College Record, 68:523-40.
( musical de la escuela (resultados observados).

( administradores, educadores, estudiantes y otros). E incluye finalmente los Aunque el ejemplo es simplista, ilustra muy bien uno de los mensajes
resultados evidentes y los confusos, los buscados y los no buscados, los de básicos de Stake: a través del estudio de los antecedentes propuestos y de los
(
largo y los de corto alcance. . reales, de las transacciones y de los resultados, debe estimularse a los evalua-
( Stake utilizaba los antecedentes, las transaCClOnes y los resultados como dores para que describan los programas de una forma más completa que si se
( conceptos centrales para estructurar su concepción de lo que debe hacerse al limitaran a relacionar los objetivos con los resultados. Stake reconocía que los
describir y juzgar un programa. Esta estructura aparece representada en las

,
( matrices de descripción y juicio de la figura 7-1. Los antecedentes, las t.ran-
sacciones y los resultados son las dimensiones ~er.t~cales de ~mbas. matnces.
La dimensión horizontal de la matriz de descnpclOn son las mtenclOnes. y las
( observaciones. Con intenciones Stake se refiere a todo lo que se planea, mclu-
( yendo los antecedentes, las actividades de enseñanza y apre~dizaje, y los re-
sultados deseados; recomienda a los evaluadores que estudien tan.to l.~ que
~ los educadores excluyen como lo que incluyen, todo bajo la denommaClon ~e
t «intención», y que expresen los propósitos de los educadores en un lenguaje
(
I
límites entre los elementos de la matriz de descripción eran vagos. Pero, según
él, esto no tenía importancia, porque el propósito principal es estimular a los
evaluadores a reflexionar ampliamente y proporcionarles una guía para que lo
hagan.
Además de describir el programa de interés con relación a la matriz de des-
cripción, Stake recomendaba a los evaluadores que investigaran cuidadosamen-
te la base lógica del programa. En efecto, ¿cuáles son los antecedentes e inten-
ciones filosóficas del programa? Una vez que se haya informado de la base lógi-
ca del programa, el evaluador puede utilizarla como punto de partida para juz-
 )
')
246 I Evaluación sistemática
8take: el método evaluativo y el cliente I 247 ')

gar las intenciones del programa. Por ejemplo, ¿constituye el programa planifi- ~
cado un paso lógico en la realización de las intenciones básicas? Stake también Datos descriptivos
observó que la base lógica es útil para la elección de grupos de referencia que ")
luego pueden ser usados para identificar las normas y aprobar los juicios. ~
Al concluir su comentario sobre la base lógica, Stake advierte a los eva-
')
luadores que no sobrerracionalizen un programa. Deben evitar imponer su
filosofía y su lógica por encima del programa. Los evaluadores deben carac- ")
terizar cualquier base racional que encuentren, en el lenguaje del personal del Congruencia
')
programa, y no necesariamente en el suyo. Aunque él no lo diga, nosotros
presumimos que Stake quiere llamar la atención de los evaluadores sobre los )
problemas que ellos mismos perciben en la base lógica de un programa (como
')
la ambigüedad, la incoherencia, la ilegalidad o la inmoralidad).
Contingencia Contingencia
Tras sus explicaciones sobre la matriz de descripción y la base lógica, Stake )
lógica empírica
se dedica a comentar las maneras en que se puede analizar la información
descriptiva. Identifica el análisis de la congruencia y el análisis de la contin-
)
gencia como los dos tipos básicos de análisis, representados en el paradigma )
de la figura 7-2.
)
El análisis de la congruencia se dedica a averiguar si los propósitos se han
Congruencia
cumplido. ¿Son congruentes los antecedentes observados con los pronosticados? )
¿Los profesores deben proporcionar las directrices del currículo? ¿Se han al-
)
canzado los objetivos propuestos? ¿Existen efectos secundarios? El análisis
de la congruencia es idéntico, en esencia, a la recomendación de Malcolm )
PROVUS acerca de que los evaluadores deben buscar discrepancias entre los Contingencia Contingencia )
propósitos y 10 que realmente sucede (1971). lógica empírica
Al citar el análisis de la contingencia, Stake afirma que «dado que la eva- )
luación es la búsqueda de relaciones que permitan el perfeccionamiento de la )
educación, la tarea del evaluador consiste en identificar los resultados contin-
gentes a antecedentes concretos y transacciones didácticas». Más adelante, ex- )
plica que es importante investigar las contingencias existentes entre las inten- Congruencia )
ciones y entre las observaciones?
Como aparece en la figura 7-2, el criterio apropiado para identificar y )
valorar las contingencias entre los antecedentes propuestos y las transacciones, )
y las transacciones propuestas y los resultados, es lógico. ¿Es razonable asumir
FIGURA 7-2. Esquema de Stake del procesamiento de datos descriptivos )
que los antecedentes propuestos permiten el ejercicio de la enseñanza pro- FUENTE:STAKE,Robert E., 1967, «The Countenance of Educational Evaluations», Teachers
puesta? ¿Y que esta última puede conducir a los resultados propuestos? Stake College Record, 68:523-40. )
advierte que, al realizar análisis lógicos, los evaluadores deben confiar en su
experiencia previa con poblaciones y programas similares, y que pueden obte- )
ner intuiciones útiles estudiando la bibliografía de investigación más importan- te y, según deducimos nosotros, informes evaluativos de programas similares.
)
Un análisis lógico de la contingencia entre las intenciones resulta importante,
2. En su crítica del borrador previo, Stake indica que estos conceptos analíticos no como observa PROVUS(1971), como guía de los juicios acerca de la solvencia )
resultan productivos y, por lo tanto, no deben ser recomendados. NosottoS los hemos teórica y adecuación estructural del programa.
examinado porque pensamos que proporcionan un adecuado panorama de los métodos )
Los análisis de la contingencia de las condiciones observadas, según Stake,
de análisis que los evaluadores, por lo general, intentan aplicar, incluso aunque a menudo )
resulten infructuosos. deben estar basados en criterios de evidencia empírica. ¿Existen correlaciones
entre los antecedentes reales y las actividades didácticas observadas? ¿Y entre )

)
 ~.
i
(
j
(
248 I Evaluación sistemática Stake: el método evaluativo y el cliente I 249
(
( estas últimas y ciertos resultados (ya sean o no buscados y deseados)? ¿ Puede
justificarse como causal alguna de las correlaciones? Stake advierte que los Comparación
( análisis de la contingencia requieren datos procedentes del programa que se absoluta

( está investigando y pueden suponer un examen de los datos presentados en

los informes investigativos.
( Propuestas observadas
Stake finaliza diciendo que los requisitos relacionados con el análisis de
( la contingencia implican cualificaciones especiales para los evaluadores de de- An teceden tes
terminados programas. Todo ello incluye la familiaridad con la literatura (Datos
( teórica e investigativa más importante y experiencia previa en el estudio de Transacciones descriptivos Normas
programas similares. Dado que un solo evaluador no suele poseer todas estas del programa de
( Resultados en cuestión) calidad
cualificaciones específicas, además del dominio de los métodos analíticos, téc-
( nicos, comunicativos, políticos y administrativos que requiere una evaluación,
( Stake afirma que una evaluación solvente exige un trabajo de equipo.
La recopilación y el análisis de la información descriptiva y de la descrip-
( ción de base lógica del programa, proporciona el fundamento de la tercera
( característica principal del método de la figura: la identificación de normas y Comparación
la formulación de juicios acerca del mérito del programa. Esta parte está re- relativa
( presentada en la matriz de juicio de la figura 7-1. Su dimensión vertical incluye
( los tres conceptos centrales llamados antecedentes, transacciones y resultados.
La dimensión horizontal de la matriz está dividida entre las normas y los
(
juicios.
( Stake define las normas como criterios explícitos para valorar la excelen- Datos J
cia de una oferta educativa. Advierte que la calidad de las escuelas, los tests descriptivos U
( de otros 1
calificativos regularizados y las opiniones de los profesores no son buenos programas
( indicadores de la excelencia de los estudiantes; y, en general, afirma que las C
1
evaluaciones en boga no poseen amplios valores de referencia. Advierte que
( O
en una sociedad sana, sus distintas partes deben disponer de distintas normas. S
( También cita y apoya la afirmación de CLARK y GUBA (1965) acerca de que
las distintas etapas de la realización de un currículo suponen la utilización de
(
distintos criterios. Con relación a la complejidad del problema de los criterios,
( advierte a los evaluadores que digan, con tanta amplitud y claridad como les FIGURA 7-3. Esquema de Stake del proceso del juicio del mérito
sea posible, qué normas adopta cada uno, y que tengan en cuenta las normas de un programa educativo
( FUERNTE: STAKE,Robert K, «The Countenance of Educational Evaluation» Teachers College
generales y los juicios emitidos por individuos y grupos acerca de un programa ecord, 1967, 68:523-540. '
( concreto.
( El concepto de Stake acerca de los juicios está inextricablemente ligado
con su concepción de las normas. Dice: «El juicio racional en la evaluación Su representación de las operaciones implicadas en la emisión de juicios
( educacional es una decisión sobre la atención que hay que prestar a las normas aparece en la figura 7-3. Aunque Stake no contempla la evaluación como un

,
t de cada grupo de referencia (punto de vista) a la hora de decidir si hay que
emprender o no alguna acción administrativa.» Además, identifica dos tipos
de normas que sirven de base para los juicios: las normas absolutas (convic-
ciones personales acerca de 10 que es bueno y deseable para un programa)
proceso metódico, la siguiente tarea se desarrolla más o menos según el pro-
ceso descrito en la figura 7-3.3

. 3. En una carta personal,. Stake subraya que las flechas no indican el paso del
t tIempo. Las dobles flechas sugIeren que las distintas actividades son interactivas, y él
y las normas relativas (características de los programas alternativos que se creen contempla. el proceso como algo, en gran parte, inconsciente, simultáneo y no necesaria.
( satisfactorios) . mente racIOnal.

t
(
 )
")

250

1.

2.
I Evaluación sistemática

El evaluador recopila y analiza la información descriptiva

base lógica del programa). . .
(y describe la

El evaluador identifica las normas absolutas (las conv1cc10n~s formales e

1 8take: el método evaluativo y el cliente

sofía, etcétera. También pide el desarrollo de nuevos y mejores modos de

procesar los juicios y de que las evaluaciones sean menos «intrusivas». Con
relación al último punto, dice que la figura de una evaluación debe ser una
I 251
J
")

")

J
informales, conducidas por importantes grupos de referencla, acerca de de las recopilaciones de datos que conduzca a la toma de decisiones, y no a J
qué normas de calidad deben utilizarse). la búsqueda de problemas.
')
El evaluador recoge los datos descriptivos de otros programas.7 extrae A pesar de las dificultades de llevar a cabo este método, Stake urgía a
3.
las normas relativas para compararlas con el programa en cue::lOn. los educadores para que sus evaluaciones fueran más meditadas y formales. ')
Recomendaba que clarificaran sus responsabilidades respecto a las evaluaciones
4. El evaluador valora hasta qué punto el programa en cuesuon cumple ')
las normas absolutas y relativas. . individuales respondiendo a cinco preguntas:
En solitario o en colaboración con otros, el evaluador Juzga el programa, ")
5.
esto es, decide qué normas tomar en consideración. Más específicamente, 1. ¿La evaluación debe ser descriptiva, orientada hacia el juicio o ambas
')
asigna un peso, una importancia, a cada grupo de normas. cosas?
2. ¿La evaluación debe destacar los antecedentes, las transacciones, los ob- )
Contraponiendo las normas relativas y las absolutas, Stake cita un desa~ jetivos o sus contingencias funcionales?
cuerdo que se produjo entre Scriven y Cronbach. CRONBAC~ (l9.~3) afirmo 3. ¿La evaluación debe destacar la congruencia?
.)
que los estudios comparativos de currículos eran una mala mverS10n ?o.rque 4. ¿La evaluación debe centrarse en un solo programa o ser comparativa? )
no generalizaban adecuadamente sobre la situación local y porque, los d~st~ntos 5. ¿La evaluación está concebida como guía del desarrollo o para elegir entre
)
programas servían a las necesidades de distintos grupos y tem~n distmtos varios currículos?
propósitos. En general, recomendó a los evaluadores que no reahzaran es~u- ')
dios comparativos, pero que, en su lugar, trabajaran ~n ~r?fundos estudios Finalmente, Stake mira al futuro y afirma que las evaluaciones deben ser
)
del proceso destinados a perfeccionar los prog~~mas. mdiv1duales. SCRIVEN utilizadas para desarrollar un conocimiento básico sobre la educación. Urge
(1967), por otra parte, recomienda la compa::aclOn d1recta ~e un progr,ar.na a los educadores a que desarrollen bancos de datos que documenten las causas )
con sus «competidores críticos» como la mejor ~ase para Juzgar el :nento y efectos, la congruencia entre los propósitos y su consecución, y un panorama
)
del programa. Reconocía la necesidad de los estudlOs. del proceso d~l Upo de de juicios de todos aquellos que tengan algo que ver con los programas que
los recomendados por Cronbach {Scriven los denommaba .«evaluac1~nes for- se evalúan. )
mativas»), pero decía que eran (por lo menos entonces) de 1m~ortancla se;~n- )
daria, comparados con los estudios comp~rativos dest~nados a Juzgar el mento
del programa (él las denominó «evaluaclOnes .sumauvas»). . , Evaluación respondente )
Stake consideraba la necesidad de ambos tlpOS de estudios y observo que )
su importancia relativa podía variar, de acuerdo con el propósito de la eva- Trataremos ahora de la ampliación que hace el propio Stake de su filosofía
luación, para ser comprendida. Esto es, afirmab~ que la figura ~otal de ~a evaluativa bajo la denominación de «evaluación respondente». Esta ampliación )
evaluación implica distintas utilizaciones de los mformes evaluatlvos. Cre1a apareció en el texto titulado «Program Evaluation: Particularly Responsive )
que las evaluaciones sumativas comparativas eran necesarias para un educad?r Evaluation», que STAKE (l975b) presentó en la Conference on New Trends
enfrentado a la decisión de qué programa adoptar, pero no para los espeCla- on Evaluation de Gotemburgo, Suecia, en 1973. )
listas en currículos enfrentados a la tarea de planificar y desarrollar un nuevo Al presentar la evaluación respondente advierte que su atención se centra )
programa o a la responsabilidad de mejora: uno 'ya existente. E.sta última n~- en la evaluación de programas, que pueden ser estricta o libremente definidos,
grandes o pequeños, y, según deducimos nosotros, continuos o ad hoc. Al
( )
cesidad de un servicio evaluativo queda mejor satlsfecha con el upo de estudlO
formativo recomendado por Cronbach. . .. considerar este método, pide a su audiencia que suponga que alguien ha sido )
Al terminar el texto Countenance, Stake reconoce la d1ficultad de uuhzarlo encargado de evaluar un programa y que el programa en muchas ocasiones
literalmente. Dice que un trabajo de equipo es lo que, por 10 gene~a1, ?e~e es algo subyacente. Subraya que pueden existir clientes específicos o audien- J
utilizarse. Las especializaciones del equipo puede? inc.l~ir la teCn?~O~la.d1da~- cias que satisfacer y que, por lo general, incluyen responsables para la realiza- )
tica, los tests y las escalas psicométricas, la plamficaCl?n y el anahs~s lnvestl- ción del programa. El evaluador, según Stake, debe ser el responsable de
)
gativo, la difusión de información, la antropología soc1al, la econom1a, la £10- comunicar con estas audiencias específicas. Estas presuposiciones a modo de
)
)
 , -..-
¡
(
( 252 I Evaluación sistemática
{
guía coinciden claramente con los princlplOs del texto Countenance: a saber,
( que el punto en el que empieza a actuar el evaluador está situado, por lo ge-
( neral, después de que el programa ya ha empezado, y que el principal papel
del evaluador es, comúnmente, proporcionar información evaluativa útil a
( aquellas personas que están operando con el programa.
( Stake identifica la evaluación respondente como una alternativa frente a
otros ocho métodos evaluativos: 1) el modelo pre-test y post-test (preferido
( por muchos investigadores); 2) el modelo acreditativo, que supone un auto-
( estudio y la visita de expertos exteriores (les gusta a los educadores, según
Stake, si pueden escoger los visitantes, pero no les gusta a los investigadores,
(
puesto que confía en información de segunda mano); 3) la investigación apli-
{ <
cada al modelo didáctico (recomendada por CRONBACH, 1963, 1980); 4) la
evaluación orientada hacia el consumidor (recomendada por SCRIVEN, 1967,
(
1974); 5) la evaluación orientada hacia la decisión (propuesta por STUFFLE-
( BEAM,1966, 1971); 6) la metaevaluación (introducida por SCRIVEN,1976);
7) la evaluación sin metas (desarrollada por SCRIVEN, 1974); y 8) la evalua-
(
ción contrapuesta (recomendada por OWENS, 1973, y WOLF, 1973). Stake
( consideraba que los dos primeros eran los principales modelos de la evaluación
de un programa y decidió específicamente presentar la evaluación respondente
(
como una alternativa bien definida al modelo pre-test y post-test, que él lla-
( maba evaluación preordenada.
( Stake identificaba la evaluación respondente como un método que ya había
sido recomendado por PARLETT y HAMILTON(1972), McDoNALD (1975),
( SMITH y PAHLAND(1974) Y RIPPEY (1973). Fundamentalmente, según él, el
( método subraya marcos para el desarrollo del aprendizaje, las transacciones
didácticas, los datos para los juicios, el informe holístico y la asistencia a los
( educadores.
( Al ampliar el método, suscribió una definición general de evaluación que
(
,, él atribuía a Scriven. De acuerdo con esta definición, la evaluación es un
valor observado comparado con alguna norma. Stake representaba esta defi-
nición en la siguiente proporción:
Toda la constelación de valores de un programa
( Evaluación = ---------------------
,,• Complejo de expectativas y criterios que distintas
personas tienen sobre el programa
Stake advierte que la tarea básica del evaluador no es resolver la ecua-
ción numéricamente ni, como dice que recomendó Scriven, obtener un resu-
,
( men descriptivo del programa. En cambio, Stake advierte al evaluador que
realice un amplio informe de lo que se ha observado acerca del programa y
de la satisfacción o insatisfacción que siente un grupo de personas adecuada-
t mente seleccionado ante el programa. Este sistema es claramente reminiscen-
~
(
Stake: el método evaluativo y el cliente I 253
te del texto Countenance, en el que Stake afirma que las dos principales tareas
de la evaluación son la descripción y el juicio de un programa. Al comentar la
evaluación responden te Stake no contempla al evaluador recopilando normas,
clasificándolas según su importancia y reduciendo estas escalas a un juicio
global. Por el contrario, el evaluador debe hacer referencia, simplemente a las
opiniones de la gente acerca del programa y no juzgarlas, clasificarlas o sinte-
tizarlas.
El tema dominante en la evaluación respondente es proporcionar un ser-
vicio a personas específicas (clientes). Stake subraya que las evaluaciones pro-
bablemente no serán útiles si los evaluadores no conocen el lenguaje y los
intereses de su audiencia y si no realizan sus informes con ese lenguaje.
Evaluación preordenada contra evaluación respondente
A lo largo de su presentación, Stake contrasta en repetidas ocasiones la
evaluación respondente y la evaluación preordenada. Nosotros hemos intenta-
do reflejar las principales distinciones de Stake en el resumen de la tabla 7-1.
Como puede verse, destacamos once distinciones clave. La primera, y quizá
más expresiva, distinción se refiere al propósito de la evaluación. El propósito
de una evaluación preordenada es; por lo general, centrarse estrechamente en
responder una pregunta clásica: ¿hasta qué punto han sido alcanzados los
objetivos preestablecidos? Por otra parte, una evaluación respondente está
destinada a ayudar al cliente a comprender los problemas y a descubrir las
virtudes y los defectos del programa (según distintos grupos).
La segunda distinción se refiere al alcance de los servicios que el evalua-
dor debe proporcionar. En una evaluación preordenada el evaluador debe re-
copilar, analizar y presentar los resultados de acuerdo con un plan estricta-
mente preespecificado. El evaluador responden te, por otra parte, debe buscar
los problemas y cuestiones pertinentes a lo largo de todo el estudio e intentar
responder de manera oportuna, recopilando y presentando información útil,
incluso si no se ha anticipado la necesidad de esta información al principio del
estudio. En general, el alcance de las evaluaciones preordenadas resulta estre-
cho comparado con la amplia gama de problemas que pueden ser considera-
dos en una evaluación responden te.
Otra distinción se basa en la formalidad y especificidad de los acuerdos es-
critos que gobiernan la evaluación. A menudo, las obligaciones formales de
las partes principales deben acordarse por escrito al principio del estudio, en
cualquier tipo de evaluación. De cualquier forma, los contratos de las evalua-
ciones preordenadas deben ser formales, específicos, amplios y obligatorios,
mientras que los de las evaluaciones responden tes tienden a ser generales, fle-
xibles y sin límites fijos.
Una cuarta diferencia entre los dos tipos de evaluación consiste en su
...=.c •.•.••_ ••...-,...__ . --_~.~ - 77,'

~~ ..

I\J
TABLA 7-1. Principales distinciones entre la evaluación preordenada y la evaluación respondente ~

Distinción Evaluación preordenada Evaluación responden te

~
!.'?.
e
1. .Propósito Determinar hasta qué punto han sido alcanzadas Ayuda a los clientes a distinguir las virtudes y '(5;"
(')

las metas los defectos ::J

en
¡¡j'
2. Alcance de los servicios Satisfacer los requIsItos informativos tal como se Responde a los reqUlSltOSinformativos de la •..•.
m
había acordado al principio del estudio audiencia a lo largo de todo el estudio 3
~
Los propósitos y procedimientos se esbozan de
o'
Las obligaciones de las partes formales de la
3. Contratos
evaluación se negocian y definen tan específi- una manera muy general al principio y se de- '"
camente como sea posible al principio del sarrollan durante el estudio
estudio

4. Orientación principal Propósitos del programa, indicación de las va- Problemas y actividades del programa
riables

5. Planificaciones Preespecificadas Se van haciendo a sí mismas

6. Metodología Reflejo del «Modelo investigativo»: intervención Reflejo de lo que la gente hace «naturalmente»:
y observación observa, interpreta y especifica

7. Técnicas preferidas Diseño experimental, objetivos de comportamien- Estudio de casos concretos, objetivos expresivos,
to, hipótesis, muestreo al azar, tests objetivos, muestreo intencionado, observación, exámenes
estadísticas de resumen e informes investiga- de programas opuestos e informes expresivos
tivos

8. Comunicaciones entre el eva- Formales e infrecuentes Informales y continuas

luador y el cliente

",

9. Bases para la interpretación de Referencias a los objetivos preestablecidos, a los Referencias a las distintas perspectivas de valor
los valores grupos de reglas y a los programas compe- de la gente que se tiene a mano
titivos

10. Diferencias fundamentales Sacrifica el servicio directo a los que toman parte Sacrifica cierto grado de precisión en la valora-
en el programa por la producción de informes ción para que pueda aumentar la utilidad
investigativos objetivos

11. Previsiones para evitar la ten- Utiliza procedimientos objetivos y perspectivas Reproducción y definición operacional de los tér-
denciosidad independientes minos ambiguos

CJl
•..•.
'm"
"
~
3
m,
oo-
o

~
'"
e
'<"
o
'<
~
(')

m
::J
•..•.
m

I\J
01
01

OG~0UGGG~0UGU00uuu0uU0u000UU0~~UJ~U
\
1
(
( 256 I Evaluación sistemática
(
orientación. Los evaluadores preordenados deben examinar los proposltos del
( programa -incluyendo especialmente los objetivos, los procedimientos y la
( oportunidad de la propuesta del programa- para decidir qué información
debe recoger. En efecto, deben estar predispuestos a recoger aquellos datos
( necesarios para determinar si sus objetivos han sido alcanzados y, en ocasiones,
( si el programa se ha realizado tal como se había planificado. Los evaluadores
responden tes no deben dejar que la retórica de la propuesta sea tan determi-
( nante. Guiándose por ciertas expectativas de lo que será importante, deben
( examinar las actividades y problemas del programa, pero quedar libres de
decidir acerca de ciertas actividades o cuestiones de mayor importancia. Deben
( preocuparse por las propuestas del programa que pueden poner de relieve
( puntos «ciegos».
Los dos tipos de estudios deben estar conducidos por planificaciones con-
( según Stake, esencial, puesto que el propósito es efectuar una búsqueda con-
siderablemente distintas. Las planificaciones de las evaluaciones preordenadas
( deben ser preespecificadas tanto como sea posible, puesto que los objetivos
del estudio deben establecerse y los controles, las definiciones y las estruc-
( Los dos tipos de evaluación también difieren en su aproximaclOn a la
turas comunes a este tipo de estudio deben quedar determinados al principio.
( Las planificaciones de las evaluaciones responden tes deben ser más abiertas y
I tados observados, el evaluador preordenado remite a los objetivos preestable-
libres, tendiendo hacia la descripción narrativa, más que hacia la valoración
(
de los casos. Los controles y las intervenciones en el programa rara vez se
( planifican. El evaluador debe intentar, a lo largo de todo el estudio, descubrir
y responder aquellas cuestiones importantes para distintos clientes.
(
Coincidiendo con la diferencia entre los dos tipos de clasificación, existe
( una marcada diferencia en los métodos utilizados por las dos evaluaciones.
Las evaluaciones preordenadas, en general, deben emplear el «modelo inves-
(
tigativo». En él, el evaluador suele intervenir con dos o tres tratamientos,
( observa su impacto relativo sobre los estudiantes o clientes valorándolo por
( medio de unos pocos criterios y comprueba las hipótesis acerca de los distin-
tos efectos. De acuerdo con Stake, la evaluación preordenada refleja más un
( «modelo de estímulo y respuesta» y la evaluación respondente invierte la se-
( cuencia. La evaluación respondente es una evaluación de «respuesta y estímu-
lo», en el sentido de que el evaluador responde primero, esto es, observa el na-
( tural discurrir de un programa evitando cualquier tipo de intervención y luego
( lo estimula o interviene en él, de modo parecido a como lo hace el cliente.
Por lo general, podría decirse que las metodologías de ra evaluación preorde-
{ nada y de la evaluación respondente son, respectivamente, experimental y na-
{ turalista.
De acuerdo con esto, las técnicas preferidas por ambos métodos son tam-
{ bién distintas. En la evaluación preordenada las técnicas elegidas son las pla-
{ nificaciones experimentales, los objetivos de comportamiento, las hipótesis,
los muestreos al azar, los tests regularizados, las estadísticas deductivas y los
~ informes investigativos. Las técnicas preferidas por los evaluadores respon-
~ dentes son el estudio de casos concretos, los objetivos expresivos, los mues-
(
8take: el método evaluativo y el cliente I 257
treos intencionados, la observación, los exámanes de programas opuestos y
los informes narrativos.
Las comunicaciones entre el evaluador y el cliente, en los dos tipos de
estudios, desempeñan distintos papeles. En los estudios preordenados la co-
municación se emplea para alcanzar acuerdos previos acerca de cómo y por qué
debe ser realizado el estudio, para controles periódicos a lo largo del estudio
para asegurar que los participantes están cumpliendo con sus responsabilida-
des, y para presentar el informe final. En general, el evaluador preordenado
intenta comunicarse formal e infrecuentemente con el cliente. Y a la inversa,
las comunicaciones entre el evaluador respondente y el cliente tienden a ser
informales y frecuentes. Dado que se opone a las preorganizaciones, la comu-
nicación en la evaluación respondente debe ocurrir de una manera natural.
Un intercambio más relajado y continuo entre el evaluador y el cliente resulta,
tinua de cuestiones clave y proporcionar al cliente toda la información útil
que le sea posible.
interpretación de los valores. Al conceder un significado de valor a los resul-
cidos o al nivel de elaboración de un grupo de reglas o estudiantes de un
programa competidor. El evaluador respondente no debe excluir necesaria-
mente estas fuentes, pero debe estar seguro de remitir a las distintas perspec-
tivas de valor de toda aquella gente implicada realmente en el programa es-
pecífico que se está estudiando. Además, el evaluador respondente no debe
perseguir una sola conclusión acerca de la buena o mala calidad del programa,
sino intentar reflejar todas las opiniones obtenidas de los grupos de referencia.
Stake reconoce, como consecuencia, en sus escritos, que las evaluaciones
sirven para una amplia gama de propósitos y deben seguir, legítimamente,
distintos métodos. Aunque explica por qué prefiere, por lo general, la evalua-
ción respondente, también advierte que deben existir intercambios con otros
métodos. Dice concretamente que las evaluaciones preordenadas deben sacri-
ficar el servicio directo a los componentes del programa por la producción
de informes investigativos más rigurosos y objetivos. Las evaluaciones respon-
dentes, por otra parte, deben sacrificar cierta precisión en la valoración por
el aumento de la utilidad de sus informes para todos aquellos que intervienen
en un programa concreto.
Nuestra distinción final, la número once, entre la evaluación respondente
y la evaluación preordenada se refiere a las previsiones para evitar la tenden-
ciosidad. Obviamente, este tema es importantísimo en la evaluación preorde-
nada. Los procedimientos objetivos y las perspectivas independientes se em-
plean para asegurar que la información obtenida satisface ciertos niveles de
adecuación técnica. La evaluación responden te también emplea tests de edu-
cación técnica, pero no los verifica con tanta facilidad. La evaluación res pon-
 c_ L
'>
')

258 I Evaluación sistemática Stake: el método evaluativo y el cliente I 259 ')

. l'a lmpor t an Cl'ade la información

, ' subjetiva y resta 'importancia a '>
d ente d estaca
la utilización de técnicas regularizadas y obJetlvas, dando paso aSl; u?a ayor t pondentes debe ser una búsqueda de problemas y cuestiones. Los evaluadores
preordenados pueden pasar el treinta por ciento de su tiempo seleccionando
.,
tendenciosidad. Stake sostiene que existen otras maneras de re UCl! a ten- y creando instrumentos con el fin de asegurar la suficiencia técnica, mientras
denciosidad, Concretamente, pide a los evaluadores respondentes que com- ')
que los evaluadores respondentes pueden invertir sólo el quince por ciento en
'
prue b en 1a eXlstencla'de resultados estables y coherentes empleando la re- esta actividad. ')
dundancia en sus actividades de recopilación de, ?atos y respuesta,s, a sus es- La mayor discrepancia se refiere a la observación del programa: el quince ')
tu di os d e casos, Tambl'én les aconseJ'a que faciliten la comprenSlOn
,. de sus
b' por ciento en la evaluación preordenada contra el treinta por ciento en la
informes presentando definiciones operacionales de los terr:rlln~s an:: 19uOS, evaluación responden te. ')
Pero, con todo, Stake es partidario de que sea el lector qUlen ldentlfique e
Según Stake, los evaluadores respondentes deben dedicarse más a las ')
interprete la posible tendenciosidad. ..' , , actividades de observación para descubrir y estudiar todos los problemas y
En la tabla 7-1 presentamos nuestra visión de las pnnClpa1es dlstmclOnes para saber cómo opera en realidad el programa, mientras que la identificación ')
,'
entre 1a eva 1uaClOn preordenada y la evaluación respondente, 1 La1 tabla 7-2 de los problemas y la descripción de las operaciones del programa rara vez )
' t' dl'stl'nto de comparación. En ella, Stake calcu a os porcenta- conciernen a los evaluadores preordenados.
contlene un lPO d d'
jes de tiempo que los evaluadores preordenados y los respond~ntes e lcan a Stake estima que el diez por ciento del tiempo de un evaluador preorde- )
las distintas actividades evaluativas en un caso normal. El cal~~lo ~~ Stake nado puede ser utilizado para la administración de tests, actividad que ocupa
refleja, por 10 que sabemos, sólo .su opinión y puede ser conSl era emente
)
muy poco tiempo al evaluador responden te, que puede realizar su recopila-
opuesto a otras visiones de la reahdad. ción de datos principalmente a través de la observación naturalista y el examen )
De acuerdo con comparaciones hipotéticas, tanto l~s eva1uadore,s preor- de los informes ya existentes, Además, Stake estima que el quince y el cinco
denados como los responden tes dedican el diez por Clento de su tlempo a
)
por ciento del tiempo del evaluador respondente puede dedicarse a recopilar
identificar organizadores previos. Pero este tiempo, ~ara los evaluadores ~re- juicios y a satisfacer los requisitos' informativos del cliente, respectivamente; )
ordenados, debe ser una búsqueda de las metas, mlentras que para los .es- el evaluador preordenado, que está más interesado en la valoración objetiva )
de los resultados relacionados con los objetivos de quienes realizan el pro-
TABLA 7-2, Cálculo de Stake sobre la distribución del tiempo grama, puede utilizar este tiempo en cualquier otra actividad. El evaluador )
en los evaluadores preordenados y los responden tes preordenado no necesita averiguar las necesidades de los clientes, puesto que )
las evaluaciones preordenadas están firmemente destinadas a descubrir si han
sido alcanzados los objetivos del programa, )
A causa del mucho tiempo que invierten en la recopilación de datos obje- )
Tareas
tivos, Stake calcula que los e~aluadores preordenados de un programa normal
pueden dedicar el veinticinco por ciento al análisis de los datos formales,
)
Identificación de problemas y metas mientras que los evaluadores respondentes pueden dedicar el cinco por ciento. )
Preparación de los instrumentos y a la inversa, los evaluadores responden tes pueden invertir el diez por cien-
Observación del programa )
to de su tiempo en preparar y presentar informes informales para cumplir la
Administración de tests, etc.
misión de proporcionar continua información, mientras que los evaluadores )
Recopilación de juicios
Identificación de las necesidades del cliente preordenados no tienen una obligación comparable y pueden utilizar muy
)
Proceso de datos formales poca cantidad de tiempo para este tipo de comunicaciones informales.
Preparación de informes informales Finalmente, los evaluadores preordenados pueden invertir mucho tiempo )
Preparación de informes formales en preparar informes formales -alrededor del veinte por ciento de su tiem-
)
po- puesto que éste es su principal medio de recopilar y comunicar los re-
sultados, Los evaluadores responden tes, que ya han invertido un tiempo y )
esfuerzo considerables en proporcionar continua información a su cliente, )
S R b rt E 1975b Program Evaluation: Particularly Responsive Evalu~tion, pueden dedicar sólo alrededor del diez por ciento de su tiempo a los informes
FUE~~~~Sio::~Epap~r eSerie;, n, 5, Centro de Evaluación, Universidad de Western Michlgan; formales, )
Kalamazoo, Michigan, Al comentar su comparación entre la evaluación preordenada y la evalua- )
)
 ,
(
TI
!
('
260 I Evaluación sistemática
Stake: el método evaluativo y el cliente I 261
(
( ción respondente, Stake subraya que la principal diferencia temática reside estructura sL:_stancial.En 1~ evaluación responden te, según él, éstos son los
en los propósitos, cantidad y clases de las comunicaciones establecidas con probler~as. l';os.otros dedUCImos que quiere decir áreas de desacuerdo, dudas
( el cliente. El evaluador preordenado comunica con su cliente antes de que y cuestlOnes. DIce que un problema es un organizador previo útil puesto que
( empiece el estudio para establecer las condiciones necesarias para llevarlo a refleja una sensación de complejidad, urgencia y valoración. Aunque propor-
cabo; lo hace poco o nada durante el estudio, ya que estas comunicaciones ciona directrices para la investigación, se muestra en contra de las recopila-
{ pueden influir en el desarrollo de las operaciones del programa; y 10 hace ciones de datos cuantitativos demasiado limitadas. Para identificar y solucionar
( de una manera formal al final del estudio, a través de un informe impreso los problemas, Stake aconseja al evaluador que se familiarice con el programa
con una descripción detallada de lo que se ha hecho y descubierto. En con- hablando con la gente, para alcanzar una comprensión mutua acerca de la exis-
( tencia de ciertos problemas, y luego que utilice esos problemas como estruc-
traste con esta caracterización de una comunicación artificial y básicamente
( unilateral, Stake describe al evaluador responden te enfrascado continuamen- tura de futuras discusiones y para desarrollar planes de recopilación de datos.
te en una comunicación bilateral, con el fin de aprender de los importantes Subraya que el evaluador debe identificar y dar solución a los problemas a 10
( largo de toda la evaluación.
problemas que el cliente necesita investigar y, cuando la información sea apro-
( vechable, proporcionar información útil a ese cliente. Stake afirma que la segunda parte de la estructura sustancial de la eva-
Stake afirma que los informes de los evaluadores preordenados son de- luación responden te consiste en un esquema para la recopilación de datos.
( Además de los problemas, dice que este esquema debe proporcionar una es-
masiado estrechos y limitados. Dice que su apariencia formal y técnicamente
( compleja provoca que su cliente confunda, con demasiada facilidad, su men- tructura adicional para la recopilación de datos. A través de la utilización
saje con la verdad. Dice que, a causa de su dependencia de las ecuaciones de este esquema, que debe proceder del modelo de la figura, el evaluador
(\ matemáticas y la prosa formalista, no resulta adecuado para contarle al cliente pued~ intentar identifi~ar perspectivas múltiples e incluso contradictorias y
( examrnar las congruencIas y las contingencias. Las observaciones más impor-
cómo es el programa.
Para evitar los peligros de los informes preordenados Stake aconseja a tantes incluyen la base lógica del programa; sus antecedentes previstos y los
( o?s~rvados, las transacciones y los resultados; las diversas normas que los
los evaluadores responden tes que desarrollen sus poderes de comunicación.
( Dice que deben utilizar cualquier técnica comunicativa que sea efectiva para dIstrntos grupos creen que deben cumplirse; y sus distintos juicios acerca de
ayudar a sus audiencias a sentir algo acerca de la naturaleza del programa. ellas.
( Stake identifica los observadores humanos como la tercera parte de la es-
Sugiere que se utilice la «narración de historias» (ver DENNY, 1978) para re.
( flejar toda su complejidad y afirma que sus informes deben tener más am- tructura sustancial de la evaluación respondente. Subraya su importancia y
bigüedad. En general, según él, los informes evaluativos deben revelar la anrma que son los mejores instrumentos de investigación para muchos proble-
( mas evaluativos.
«múltiple realidad» de la experiencia educativa, esto es, los diferentes puntos
( de vista y opiniones que los distintos participantes y observadores mantienen La parte cuarta y final de la estructura sustancial de la evaluación respon-
dent~ es la valida~ión. Stake responsabiliza al evaluador respondente de pro-
( respecto a la experiencia.
Para finalizar su comparación de los dos métodos, Stake dice que la eva- porClOnar la sufiCIente cantidad de información, procedente de numerosas
( luación respondente puede ser criticada por errores de muestreo, pero que la fuentes independientes y creíbles, como para que pueda representar efectiva-

,
( envergadura de estos errores resulta pequeña comparada con los progresos
experimentados en el perfeccionamiento de las comunicaciones con la audien-
cia. Sin embargo, también reconoce que el método preordenado resulta a
mente ~l estado ya ~bservado del programa, de cualquier forma complejo.
De]and? ya atras la estructura sustancial de la evaluación responden te
Stake conSIdera su estructura funcional. Al comentar cómo evaluar «de ma-
nera respondente» dice que el método requiere una gran cantidad de obser-
( veces necesario y realiza un trabajo más efectivo.
vación. También dice que no existen fases lineales: la observación y la in-
( formación continua son importantes a 10 largo de toda la evaluación.
( Estructura sustancial de la evaluación respondente
LA EVAL~ACIÓNRELOJ. Expuestas estas condiciones, Stake presenta la es-
( truc:ura funclOnal de la evaluación responden te bajo la forma de la evaluación
Después de contrastar la evaluación preordenada y la evaluación respon-
( dente Stake amplía su concepto de evaluación respondente. Y 10 hace, espe- reloJ, tal como aparece en la figura 7-4. Subraya que no se trata de un reloj
cialmente, describiendo sus estructuras sustanciales y funcionales. normal; se mueve en la dirección de las agujas del reloj, en sentido contrario
( y en cualquier otro sentido que pueda satisfacer mejor las necesidades del clien-
Stake identifica los organizadores previos como la primera parte de la
(
(
262 I Evaluación sistemática
.T.....
,
Stake: el método evaluativo y el cliente I 263
)
')

')

)
tes; qué opinan respecto de las representaciones que ha hecho el evaluador )
sobre las cuestiones de valor, las actividades, el contenido del currículo y los
}
resultados de los estudiantes; y cosas parecidas. Aparentemente, esta etapa es
12
un medio de completar muchas, si no todas, de las otras tareas identificadas )
Hablar con los clientes, en el reloj. Una sugerencia general que ofrece Stake es que el evaluador puede
el personal del programa
)
llevar un informe de estos intercambios y de las acciones de las audiencias ba-
y las audiencias ")
11 sadas en ellos; un informe de este tipo puede resultar útil en tareas como
clarificar los problemas, centrar las observaciones y preparar los informes de-
Reunir los informes Iden tificar el alcance )
del programa finitivos.
formales, si los hay
10 2 La una en punto: el evaluador, en colaboración con el cliente, examina ')
el alcance del programa que va a ser evaluado. A menudo, lo que está dentro ')
Esquema para uso Panorama de las actividades
de la audiencia del programa o fuera de un programa se discierne ambiguamente y de diversos modos. No-
sotros creemos que el evaluador debe intentar, de alguna manera, apreciar y ")
9 3
clarificar la complejidad que implica definir límites geográficos, períodos
)
Validación: confirmación, Descubrir los propósitos y duraciones de tiempo, características de la población, áreas de contenido, et-
búsqueda de evidencias e intereses )
cétera. En efecto, esto supone poner algunos límites a lo que se está obser-
para la no confirmación
4 vando y centrar la investigación. Nosotros deducimos que, en la evaluación )
8
respondente, estas decisiones deben ser flexibles y revisadas periódicamente
Conceptualizar las cuestiones durante el curso del estudio. )
Desarrollar temas, preparar y problemas
descripciones y estudiar Las dos en punto: el evaluador hace un panorama de las actividades del )
casos concretos 7 5
programa, Nosotros creemos que ésta es la actividad menos estructurada, más
exploratoria y caracterizadora, puesto que la etapa de las siete en punto exige )
Identificar los datos
Observar los antecedentes, necesarios para investigar observaciones estructuradas mediante la utilización de ciertos grupos de datos )
las transacciones y los los problemas proporcionados por el texto Countenance. Pensamos que el principal punto de
resultados propuestos 6 )
observación de las dos en punto es examinar y empezar a conocer el programa
Seleccionar observadores, sin imponer una estructura sustancial demasiado rápidamente. )
jueces e instrumentos, Las tres en punto: el evaluador pretende descubrir los propósitos de la
si los hay
evaluación y los intereses que tiene la gente acerca del programa. (Los pro- )
pósitos fijados por ciertos grupos puede que no sean los propósitos que real- )
F IG URA 7-4. La estructura funcional de la evaluación respondente
., l' mente tienen en la cabeza.) Probablemente, los distintos grupos contempla-
según Stake: la evaluaclOn re 01 . . )
rán distintos propósitos para la evaluación. Un modo de descubrir los distin-
FUENTE'STAKERobert E., 1975b, Program Evaluation: Par~icul~rly Resp;;nstve E:u;::lOn:
Oce~sional Papers Series, n. 5, Centro de Evaluación, Umversldad de estern c gan, tos propósitos de una evaluación es hacer una lista de los intereses de los )
Kalamazoo, Michigan.
distintos grupos y luego averiguar cuáles les preocupan más.
)
Las cuatro en punto: el evaluador analiza las cuestiones y problemas, y los
sintetiza con el fin de proporcionar una base para determinar los datos que )
te Nosotros creemos que concibe el reloj sólo como algo heurístico, y no .com~ se necesitan. Para realizar esta conceptualización, el evaluador puede recoger
u~a serie de directrices técnicas, puesto que en el artículo. nunca e.xphca 111 )
distintos puntos de vista acerca de lo que es o no es útil para el programa
'1 t tl'lización A riesgo de tomarnos demasiado en seno el reloJ en cues- )
1 us ra su u. f 1" t . ter- y lo que debe añadirse. También puede resultar enormemente práctico estu-
tión y malinterpretar el pensamiento de Stake, o recemos a SlgUlen e ID diar las reacciones de las audiencias ante cada nueva conceptualización de los
)
pretación. . lId 1 pr problemas. Stake previene a los evaluadores para que no se rindan fácilmente
Las doce en punto: el evaluador habla con el cltente, e persona e 0-
a los deseos de los que piden información sólo favorable o desfavorable. Y )
grama y las audien'CÍas. Estos intercambios ocurren a men~do ~ur~nte la eva- también les advierte que no crean que sólo los problemas expuestos por los ,)
luación y abordan una amplia gama de temas, que pueden .1llc1Ulr~I ~s necesa- evaluadores o las autoridades externas son válidos para la discusión.
ria una evaluación y por qué; cuáles creen que son las cuestlOnes mas Importan- )
( )
 ,
f
(
264 I Evaluación sistemática
(
Las cinco en punto: el evaluador identifica los datos necesarios para inves-
(
tigar los problemas. Se trata de una derivación más interactiva de la concep-
( tualización de los problemas, trabajando de una parte a otra, entre los datos
( potenciales y los contextos de problemas. Se pretende. ase~urar que los da-
tos ligados a los problemas más importantes para las audIenclas v.an a ser reco-
( pilados. Más tarde es necesario, claro está, c?mprobar la amplitud de estos
( datos, y el evaluador volverá al punto de pawda. .. . .,
Las seis en punto: el evaluador plamfica las actiVldades de recoptlaclOn
( de datos: traza un plan de observaciones, selecciona los observadores (si los
'( hay), identifica los informes que deben ser exami.nados (quizá), ~ele.c,ciona
muestras y organiza las observaciones y otras activldades de recoptlaclon de
( datos.
( Las siete en punto: el evaluador observa los antecedentes, las transaccio-
nes y los resultados. Nosotros creemos que el evaluador pue~~ ~xamina: tam-
( bién la base lógica del programa y recopilar las normas y ¡UlC10Srelativos a
( los antecedentes las transacciones y los resultados del programa.
Las ocho en' punto: el evaluador analiza la información obtenida desarro-
( llando temas que haya localizado en esa información, utilizándolos para pre-
( parar descripciones del programa y quizá realizando estudios de casos concre-
tos. Con la ayuda de los observadores, el evaluador puede desarrollar breves
( narraciones, presentaciones del producto, gráficas, exposiciones fotográficas,
( esquemas, un sociodrama, presentaciones audiovisuales, etcétera. De acuerdo
con los procedimientos superiores en el texto Counten~nce el evalu~dor p.uede
(
realizar también análisis pertinentes de la congruenoa entre las lntenclones
( y las observaciones, así como de las contingencias entre los antecedentes, las
transacciones y los resultados.
(
Las nueve en punto: el evaluador comprueba la validez de los resultados
« y los análisis .. Se realizan diversos tests de la calidad de los informes. El per-
sonal del programa opina sobre la calidad de las descripciones. El evaluador
(
puede hacer que diferentes personas desar~o~en informes a favor y .e~ ~ontra
( respecto a los méritos del programa, y qUlza someterlo t~do a. un «¡U1C10con
jurado». Y puede alejarse de sus funciones buscando eVldenclas que contra-
(
digan sus resultados, así como su triangulación y confirmación.
( Las diez en punto: el evaluador esquematiza la información con el fin de
que resulte de la máxima utilidad ?ara sus audiencias. D,ebe i.nformar:e a las
(
audiencias acerca de los datos reumdos y preguntarles cuales tienen mas valor
( para ellos. También deben obtenerse opiniones de a~toridades y otr?s ~iem-
( bros de la audiencia. Luego, el evaluador debe plamficar las comumcaClOnes,
concediendo más importancia a la información más útil, con el fin de satis-
( facer las distintas necesidades de las diferentes audiencias.
( Las once en punto: el evaluador prepara, si se los piden, los informes
formales. Puede que un informe impreso no sea necesar.io, según los ac~erd?s
( previos que se hayan realizado con el cliente y las necesldades de la audIencla.
(
8take: el método evaluativo y el cliente I 265
El evaluador puede presentar un video de un juicio con jurado sobre el pro-
grama o el guión de un sociodrama que describa sus resultados. En general,
deben escogerse los medios de comunicación que resulten más accesibles para
las audiencias y que puedan intensificar la comunicación y asegurar la fidelidad
del mensaje.
La descripción de la etapa informativa completa nuestro comentario de la
evaluación reloj. Sospechamos que su mensaje principal no se encuentra en
estas doce etapas, sino en su estrategia general. Stake elaboró esta estrategia
en términos de utilidad y legitimidad, comparándolos con los de la evaluación
preordenada. .
Observó que la explicitud no es esencial para indicar el valor y que, de
hecho, el tipo de explicitud recomendada en la evaluación preordenada incre-
menta el peligro de equivocación. Al decidir cuántas cosas y de qué forma
comunicarlas, Stake considera que 10 más importante son los propósitos de
la audiencia. Dice que los diferentes estilos de evaluación sirven a distintos
propósitos y admite que el evaluador puede necesitar descubrir qué es 10 que
legitima el buen nombre de la audiencia. Pero afirma que la evaluación res-
pondente puede ser útil tanto en la evaluación formativa (cuando el personal
necesita ayuda para controlar su programa) como en la evaluación sumativa
(cuando las audiencias necesitan comprender las actividades del programa, sus
puntos fuertes y sus defectos, y cuando el evaluador cree que debe realizarse
una experiencia ajena). Reconoce que la evaluación preordenada es el método
preferido cuando se busca la valoración de la consecución de las metas, el
cumplimiento de las promesas y la comprobación de las hipótesis. También
está de acuerdo en que las valoraciones de la evaluación preordenada son más
objetivas y exactas. Sin embargo, Stake concluye diciendo que toda evalua-
ción debe ser adaptable y, obviamente, cree que la evaluación respondente es
claramente superior en el cumplimiento de esta norma.
Observaciones generales
Para concluir esta unidad, hemos querido dar nuestra opinión general so-
bre las contribuciones de Robert Stake. En algunos casos, estas observaciones
son resultado del estudio de sus escritos y, en otros, se basan en encuentros
que mantuvimos con él en el pasado. Deseamos destacar que éstas son nues-
tras impresiones personales y que pueden no coincidir con sus propios puntos
de vista acerca de su filosofía, su método y sus contribuciones.
En conjunto, queremos subrayar que Stake ha sido uno de los líderes más
atrayentes y creativos de la evaluación. Ha llamado la atención de los eva-
luadores con sus corteses ataques a algunas de sus «vacas sagradas» (por
ejemplo, los tests estandarizados, el diseño experimental y los contratos de
trabajo). Les proporcionó nuevas estructuras para sus reflexiones acerca de la
 )
-~.-~
, }
¡

,
!
)
8take: el método evaluativo y el cliente I 267
')
266 I Evaluación sistemática

críticos más relevantes, :i su criterio es más o menos explícito, y afirma que ')
evaluación, y muchos evaluadores consideraron seriamente y aplicaron sus
el ev~~uador debe recopIlar y analizar sus juicios. Finalmente, sostiene que la
ideas. Ayudó a desarrollar una nueva técnica (el informe a favor y en contra) ')
solucIon de los pro,ble~as de la enseñanza deberá proceder, probablemente,
y adaptó algunas ya existentes que no solían utilizarse en la evaluación (como
de l~ gente que esta mas en contacto con ellos. Recomienda al evaluador que ')
el estudio de casos [1978] y el sociodrama) para ayudar a la gente a ensayar
consIdere a. l~s profesores y otros educadores relacionados con el programa ')
su método. Contribuyó sustancialmente al desarrollo de la evaluación natura-
corno el prmcIpal grupo de clientes, que se centre -al menos en parte- en
lista y fue uno de los primeros en responder a la pregunta sobre qué consti.
la~ cosas qu~ n:ás les preocupan y que les demuestre que la evaluación está )
tuye una evidencia. Aunque también contribuyó sustancialmente a la concep-
onentada ?~mcIpa1mente hacia el tratamiento de sus propósitos, se trate o no ')
tualización y operacionalización de la evaluación, consideraba que el plantea-
de una cntIca de su trabajo.
miento de cuestiones conceptuales era probablemente más importante (comu-
,Los escritos de, Stake también reflejan una epistemología relativista, que, ')
nicación personal). segun ~r~err,r0s,esta e.n la base de todas sus sugerencias metodológicas. Todo
Stake también estimuló a sus estudiantes -Dennis Gooler, Steve Kern- ')
ello. qUIza tiene su ongen en su estudio de graduación sobre la filosofía tran-
mis, Barry McGaw, Nick Smith, Peter Taylor y Bob Wolf- para que reali-
saccIonal de Cantril, y él dice que los evaluadores son «buscadores de la ver- )
zaran contribuciones sustanciales en el campo de la evaluación. Ejemplos de
dad», ~ que algunos de ellos se tornan su papel demasiado en serio, puesto )
ello son la adaptación de los procedimientos judiciales a la tarea de recopilar
que eXIsten muy. pocas verdades objetivas en la evaluación, si es que existe
y analizar juicios y su introducción en la evaluación de museo, realizada por )
alg~na. En cambIO, observa que existen «realidades múltiples», 10 cual quiere
Wolf, o la exploración de distintas metáforas evaluativas por parte de Nick
deCIr que la verdad, corno la belleza, reside en los ojos del observador. Como )
Smith. Además, Stake pidió a sus colegas que reflexionaran seriamente acerca
cons:cuencia, .re~omienda a los evaluadores que recopilen y presenten las pers-
de sus responsabilidades éticas y sociales, y que no sobreestimaran la impor- )
pectivas de dIstmtas personas y grupos. Les advierte que no crean que sólo
tancia de sus servicios.
lo~ resultados valorables p~~den hablar del valor de un programa; dice que )
El método evaluativo de Stake, desde luego, está influido por su filosofía
eXIsten muy pocos datos cntIcos en un estudio y que los resultados deben ser
de la educación. Cree que la educación es orgánica, no producida. Considera )
valorados. a .veces, pe~o otras veces no. Destaca que los evaluadores pueden
que todo el mundo se esfuerza por superarse, aunque no necesariamente en
escog~r distmtos c~mmos para revelar la utilidad de un programa y añade )
el campo de la educación prescrita por el estado. Cree que la educación for-
que III los tests escntos ni otros datos concretos deben ser contemplados como
mal modifica en muy poco la educación informal, que el contexto es lo que )
absolutamente esenciales, aunque tampoco deben ser automáticamente exclui-
más influye y que los profesores son más una parte del contexto que verda-
deros «creadores» de educación. Dice que las metas de la educación no pue-
dos. Cr:e que la ev~lu~c~ón interna es más útil que la externa y que las auto- )
evalua.clOnes son mas utIles que las evaluaciones centralizadas. En conjunto
den ser otras que la variación de las aspiraciones incluidas en los ideales y )
reco:?Ienda a los evaluadores que utilicen cualquier técnica y fuente de infor:
convicciones de las distintas comunidades, familias y estudiantes. Está total-
mente a favor de la autonomía local en el gobierno básico de las escuelas. Pide
m~CI?n que les parezcan relevantes para describir la complejidad y la realidad )
multIple de un progr.ama y para comunicar esa complejidad, aunque el resul-
regularmente al evaluador que identifique el orden de los resultados reales, y )
tado sea dudoso y dIficulte la torna de decisiones. La metodología de Stake
que descubra las normas que mejor convienen a las características del pro-
en 10 que se refiere a la recopilación y presentación de datos es pues e~ )
grama que se está estudiando y de la comunidad circundante. Dice que son
muchos aspectos, más divergente que convergente. ",
muy pocas, si es que hay alguna, las etapas del aprendizaje que sean verda- )
En cuanto al papel del evaluador, Stake dice que una tarea fundamental
deramente esenciales para tener éxito en la vida, que el éxito y el fracaso
en cualquier eva!uación es. determinar su propósito y los criterios que deben )
se han sobrevalorado y que, en cualquier caso, es mejor, por lo general, no
ser valorad~s,' DIce que eXIsten, por lo menos, siete propósitos legítimos para
pensar en el valor instrumental de la educación como base para evaluarla. )
una evaluaclOn:
Como consecuencia, afirma que el evaluador debe atender tanto a la calidad
)
intrínseca como a la extrínseca de las prácticas educativas. Más concretamente,
1. Documentar los acontecImIentos.
recomienda al evaluador que advierta si las experiencias de aprendizaje tienen )
2. Informar del cambio del estudiante.
un buen contenido y están bien estructuradas, y que averigüe qué piensan una
3. Determinar la vitalidad institucional. )
serie de personas adecuadamente seleccionadas acerca de los costes y beneficios
4. Localizar la raíz de los problemas.
de estas experiencias. Dice que los profesores, los padres, los estudiantes, los )
5. Colaborar en la torna de decisiones administrativas.
directivos y los líderes de la opinión pública son quienes emiten los juicios )
/ )
 f
( 8take: el método evaluativo y el cliente I 269
268 ¡ Evaluación sistemática
(
ciones múltiples, debe ejercer como censura, debe ser compatible con las con-
6. Proponer una acción correctiva.
( 7. Intensificar nuestra comprensión de la enseñanza y el aprendizaje, o com-
diciones del mundo real y puede emplear legítimamente distintos paradigmas
y métodos. Por el contrario, expresa sus temores acerca de que la adopción
( binaciones entre los propósitos anteriores.
de normas formales (procedimientos) por parte de los evaluadores pueda

,
(
Subraya que todos los propósitos no pueden ser satisfechos mediante una
sola recopilación de datos y que sólo unas pocas cuestiones, en cualquier estu-
dio, pueden ser objeto de la atención principal. Así, cada evaluador debe to-
1) tender a legitimar su servicio profesional en mayor medida que un informe
de sus logros, 2) implicar un concepto normativo y convergente de la evalua-
ción y, posiblemente, ahogar la creatividad en el desarrollo de la especiali-
{ dad, 3) focalizar la atención sobre aspectos metodológicos relativamente tri-
mar su propia decisión sobre estos problemas, y ser, en este' aspecto, reduc-
( viales, mientras no hace ningún caso a los mayores despropósitos, y 4) pueda
cionista y convergente.
fomentar las malas prácticas no específicamente condenadas en las Normas.
Stake recomienda a los evaluadores que no trabajen con nociones de éxito
( Por 10 visto, Stake cree que la evaluación formalizada es inevitable en el
preconcebidas. En lugar de eso, les sugiere que, en primer lugar, presten
( sistema social nor:teamericano, aunque su valor sea limitado y necesite ser per-
mucha atención al hecho de «por qué ha sido encargada la evaluación», luego
feccionada. Aunque advierte a los educadores que sean muy cautos y selectivos
echen un vistazo a 10 que sucede en el programa y, finalmente, negocien y
( a la hora de contratar servicios evaluativos, también ofrece a los evaluadores
escojan las cuestiones de valor y los criterios. Más adelante comenta los requi-
( una amplia serie de ideas destinadas a ayudarlos a mejorar su servicio.
sitos de estas elecciones:
Caracterizar el trabajo y la obra de alguien a 10 largo de una década o
( más, es una tarea atrevida y puede que imposible. Nosotros hemos recibido
1. Deben conducir al descubrimiento de las mejores y peores actividades del
( y respondido a un detallado texto del doctor Stake, respecto a un anterior
programa.
borrador de esta unidad, y creemos que este artículo es un fiel, aunque cierta-
( 2. Deben centrarse en 10 que más interese a la gente implicada.
mente no muy amplio, resumen de cómo contempla él su propio trabajo. De
3. No deben preocuparse de realizar una lista de los objetivos ni de escoger
( cualquier manera, creemos que su valoración global de la anterior versión pro-
los instrumentos de recopilación de datos.
porciona una advertencia útil para su examen y quizás una caracterización de
( su propio mensaje mejor que la nuestra. De ahí que terminemos con la valo-
En muchos aspectos, Stake transmite un mensaje sobre las responsabilida-
( ración que ha hecho el doctor Stake del borrador previo de esta unidad:
des sociales y éticas del evaluador. Parece aconsejar a los evaluadores que
( promueven la igualdad y la justicia en la educación, que ayuden a los menos
Han realizado ustedes un buen trabajo acerca de una difícil tarea: tratar de
poderosos, que se aprovechen de los poderosos y les prohíban abusar de su dar coherencia a lo que yo he dicho. He hecho algunos comentarios y he
( poder, que pongan en evidencia a los charlatanes, que acobarden a los confia- sugerido cambios (sin duda, muchas de las cosas que he dicho no debería
( dos, que animen a los inseguros y que ayuden siempre a la gente a ver las haberlas dicho nunca).

,
cosas desde distintos puntos de vista. (Este plan parece inspirado en las Bien- Como crítica general, quiero decir que sus esfuerzos por ser fieles al detalle
( aventuranzas.) Stake recomienda tanto a los evaluadores como a los clientes disminuyen el sentido global que se refiere al aprovechamiento de la expe-
que eviten la utilización burocrática, parasitaria o explotadora de las evalua- riencia y de la evaluación informal ya en marcha, y que es lo que se supone
ciones. Finalmente, recomienda que la evaluación formal sea llevada a cabo que debe ser la evaluación respondente -en honor al contexto y al pluralis-
( mo-- no sólo como ideal, sino como una limitación para el evaluador que
sólo cuando sea necesario, porque cree que muchas evaluaciones formales no
b~sca la «ilustr~ción». Ustedes han hecho uso de ella, pero la encuesta, por
( resultan productivas y agotan en lugar de proporcionar energía, y porque pien-
ejemplo, comumca al lector que los relojes y las redes son más importantes
sa que la evaluación informal es una parte integrante del comportamiento
( que acomodarse a la situación y a la historia local.
personal e institucional y es capaz de informar y perfeccionar regularmente
t la evaluación formal.
Quizás este último punto sea el que proporcione más información sobre
(
la escéptica reacción de Stake ante las recientemente aparecidas Standards for

,
( Evaluations of Educational Programs, Projects, and Materials Ooint Com-
mittee, 1981). Reconoce que el plan contenido en este documento es, por 10
general, coherente con su punto de vista sobre la evaluación, según el cual
t ésta debe proporcionar un servicio útil a los clientes, debe emplear valora-

,
(
 ~ ¡
¡
)
270 I Evaluación sistemática Stake: el método evaluativo y el cliente I 271
1
Respuestas incorrectas ¡
Test de conocimientos sobre la unidad 7
')
a) Es incorrecta porque Stake no obtuvo ninguna preparaClOn formal en
antropología cultural, aunque actualmente está muy interesado en los estu- ')
Este test de conOCImIentos contiene 19 preguntas con muchas posibles dios de casos etnográficos. Su tesis doctoral versó sobre psicometría.
respuestas, para que usted escoja una. El propósito de estas preguntas es ayu- ')
e) Es incorrecta porque Cronbach no recomendaba la utilización de evalua-
darle a determinar si ha alcanzado los objetivos de conocimiento de esta uni- ciones comparativas y porque Scriven insistía en que un evaluador debe ')
dad. En cada caso, seleccione la que usted considere la mejor respuesta y
juzgar. ')
luego compare su elección con la explicación que sigue sobre las respuestas Es incorrecta porque Stake fue el director de la tesis doctoral de Bob
d)
correctas y las incorrectas. W 01£ y no al revés. ')
Cuando haya respondido ~odas las preguntas, se le dirá cómo calificar e in-
terpretar (y, si es necesario, mejorar) su trabajo global. Entonces deberá realizar )
una serie de ejercicios prácticos. PREGUNTA2. ¿Por qué recomienda Stake a los evaluadores que «pidan ')
a los. especialistas e~ valoración que desarrollen una metodología que refleje la )
totahdad, la complepdad y la importancia de los programas»?
PREGUNTA 1. ¿Cuál de las siguientes afirmaciones identifica con más )
exactitud los antecedentes que los autores creen que han influido en el penS2- Dice, en efecto, que los especialistas en medición han desarrollado una
a) )
miento evaluativo de Robert Stake? tecnología basada en tests estandarizados que ofrecen una perspectiva
sobre las diferencias entre los estudiantes, pero han ignorado muchas de )
a) Su tesis doctoral fue sobre antropología cultural, asumió el punto de las variables importantes para la descripción de programas educativos. )
vista de Scriven acerca de que la evaluación supone juicio y comprobó
b) Dice que los especialistas en medición se han dedicado muy poco a pro-
direw\mente algunas de las dificultades que supone la aplicación del nosticar la- validez. )
modelo Tyler para la evaluación de modelos federales. e) Dice que los tests estandarizados son totalmente inadecuados para satis- )
b) Dos de los estudiantes de Tyler están entre los mentores de Stake. Tuvo facer los requisitos informativos de la evaluación de un programa y deben
su primera experiencia en la evaluación de proyectos federales a través ser reemplazados por un método naturalista que emplee técnicas como )
de su trabajo en el Center for Instructional Research and Curriculum e~ estudio de casos concretos, la observación y los procedimientos judi- )
Evaluation (CIRCE), y la investigación de Hastings le reveló dudas acer' CIales.
ca de la utilidad de los tests regularizados. d) Destaca, ~ue el campo de la psicometría ofrece, potencialmente, la mejor )
e) Suscribió la preferencia de Cronbach por las evaluaciones comparativas, base teonca para desarrollar una metodología evaluativa. )
siguió la sugerencia de Tyler acerca de que los evaluadores deben com-
parar los resultados deseados con los observados y suscribió la concepción )
Respuesta correcta. Debe usted haber seleccionado la «a». Stake afirma
de Scriven acerca de que los evaluadores deben describir y no juzgar. que el método de los tests, que incluye tanto tests basados en normas como )
d) Se formó con estadísticas y valoraciones, estudió Derecho y Filosofía tests basados en criterios, es demasiado limitado como para servir de base
Social con Robert Wol£ y fue influido por Tom Hastings. )
adecuada para la descripción y el juicio de un programa.
)
Respuesta correcta. Debe usted haber seleccionado la «b». Dos de los men- Respuestas incorrectas
tores de Stake fueron Tom Hastings y Lee Cronbach, que habían estudiado )
con Tyler; Stake participó en CIRCE, en proyectos destinados a ayudar a que b) Es incorrect~ ~orque, muy al. ~ontrario, Stake dice que la preocupación .' )
los proyectos de currículos satisficieran los requisitos evaluativos federales de los especlahstas en valoraclOn por la exactitud de las calificaciones de
(en su mayor parte tylerianos por naturaleza) y la investigación de Tyler influ- )
cad~ estudiante y la predicción de la validez es un recurso muy dudoso.
yó en sus puntos de vista acerca de la valoración. e) Es. ~ncorrecta porque Stake recomendaba una amplia metodología (para )
~tlhz~rla en la descripción y el juicio-de programas) que a menudo podía )
tnclulr los tests regularizados.
)

)
 .~---
f
f Stake: el método evaluativo y el cliente I 273
272 I Evaluación sistemática
f
deben ser expresados en el lenguaje de la audiencia y pueden ser presec-
( d) Es incorrecta porque, aunque no rechaza la psicometría como una de las tados, aceptablemente, tanto como objetivos expresivos como de compo.-
posibles áreas para el desarrollo de la metodología. ~valuativa ~e un pro-
( grama, Stake urge a los evaluadores para que utihcen, otras areas ta~- tamiento.
bién, como la historia, la crítica de arte y la etnografla, cuyo lenguaje
( Respuesta correcta. Debe usted haber seleccionado la «e». La preVlSlon
y conceptos resultan más familiares a los clientes.
( que hace Stake en su texto Countenance para valorar la congruencia entre los
resultados deseados y los obtenidos es coherente con la concepción de Tyler
( acerca de que la evaluación supone determinar si los objetivos han sido alcan-
PREGUNTA 3. El principal propósito del método de la figura es ayudar
( a los evaluadores que intentan
zados; a pesar de todo, Stake pide una investigación más amplia que incluya
la observación de los antecedentes previstos y los no previstos, de las tran-
(
sacciones y los resultados.
(
a) decidir qué cosas convertir en datos,
b) establecer los objetivos de comportamiento,
( e) esbozar los procedimientos para identificar, recopilar y analizar las des- Respuestas incorrectas
cripciones y juicios más relevantes,
( encontrar la proporción entre el coste y los beneficios. a) Es incorrecta porque Stake asume el juicio de las metas recomendado
d)
por Scriven y otros.
(
Respuesta correcta. Debe usted haber seleccionado la «a». Stake subraya b) Es incorrecta porque tanto Stake como Tyler ahogan por el interés eva-
( que el propósito del texto Countenance es describir la serie de .datos que pue- 'luativo por las aspiraciones de estudiantes y padres.
den ser recopilados en una evaluación (mientras que el propÓSito de su texto d) Es incorrecta porque las recomendaciones de Tyler son contrarias a la
(
respondente es proporcionar una guía para obtener esos datos). utilización de los objetivos expresivos, y también porque Tyler piensa
( que los objetivos de este estilo pueden proporcionar guías útiles y acep-
( tables para la recopilación de información evaluativa.
Respuestas incorrectas
(
b) Es incorrecta porque Stake dice que esta práctica --que ha sido reco-
( mendada por Tyler- es demasiado limitada. PREGUNTA 5. Cuando los planes indican que el cuarenta por ciento del
Incorrecta. Describe bien el propósito del texto respondente. tiempo de clase debe ser utilizado en la discusión y sólo se utiliza de esta
( e)
Es incorrecta porque el texto Cauntenanee es mucho más amplio en su manera el veinticinco por ciento, usted debe, de acuerdo con el texto Caun-
d)
( concepción de los datos más importantes y porque no explica los proce- tenance

,
( dimientos.
a)
b)
provocar más debate,
cambiar los planes,

, PREGUNTA 4. ¿Cuál de las siguientes afirmaciones es coherente con la e) recopilar datos acerca de los juicios aparecidos en la discusión,
( d) comparar la discusión con los resultados.
reacción de Stake ante la conceptualización evaluativa de Tyler, tal como que-
da reflejado en el texto Countenance?
Respuesta correcta. Debe usted haber seleccionado la «e». Stake subraya
( que la evaluación supone esencialmente una descripción completa de una situa-
a) Está de acuerdo con la deducción de Tyler acerca de que los evaluadores
( no deben juzgar las metas propuestas. ción que incluye tanto información sobre los juicios como descriptiva.

( b) Comparte el desinterés de Tyler por las aspiraciones de estudiantes y

Respuestas incorrectas
padres.
( e) Está de acuerdo con la concepción de Tyler según la cual los evaluadores
deben valorar si las metas han sido alcanzadas, pero también realizar una a) Es incorrecta porque Stake rechaza el concepto según el cual deben acep-
(
amplia búsqueda de otros tipos de datos sobre los resultados. tarse los propósitos sin discusión.
( No se adhiere a la recomendación de Tyler acerca de que los objetivos b) Es incorrecta porque ni Stake ni ningún otro autor evaluativo han emi-
d)
(
 -~-===~-)
)
J
274 I Evaluación sistemática Stake: el método evaluativo y el cliente I 275
)
tido la ridícula sugerencia de que los planes deban siempre adaptarse a ")
10 observado. PREGUNTA 7. ¿Qué aspecto del texto Countenance ha intervenido cuan-
do un evaluador valora hasta qué punto el programa del servicio ha sido la )
d) No es la mejor respuesta, puesto que aunque Stake sugiere que las «con-
tingencias empíricas» entre las transacciones y los resultados observados causa aparente de la mejora de la actitud observada en los estudiantes hacia ')
deben, a menudo, ser examinadas, los datos necesarios sobre los resul- los más desaventajados?
')
tados tardan más tiempo en obtenerse que los datos sobre los juicios,
accesibles de inmediato, y también porque, por lo general, cree que sus a) El análisis de la congruencia. ')
sugerencias sobre el análisis de la contingencia no están demasiado bien b) La investigación de la base lógica del programa.
c) El análisis de las normas absolutas. ')
elaborados.
d) El análisis de las contingencias empíricas. )
)
PREGUNTA 6. ¿Cuál de las siguientes preguntas ilustra mejor el análisis , ~~spuesta correcta. Debe usted haber seleccionado la «d». Según Stake, el
de la congruencia entre los antecedentes supuestos y los reales? anallSls de las contingencias empíricas supone la identificación de correlacio- ')
nes entre grupos de observaciones (entre transacciones y resultados observados
o entre antecedent~s y transacciones observados) y la valoración de hasta qué
)
a) ¿Qué porcentaje de estudiantes alcanza satisfactoriamente al menos el
setenta y cinco por ciento de los objetivos del curso antes de empezar punto las correlacIOnes pueden ser justificadas como causales. En esta pre- )
el curso y después de haberlo acabado? gunta, el eval~ador ha observado ciertas transacciones (las operaciones del
)
b) ¿Qué porcentaje de profesores se estima que realizarán el plan del pro- programa).y CIertos resultados (valoraciones de las actitudes de los estudian-
yecto? tes) y ha mtentado determinar si las últimas han sido causadas por las pri- )
c) ¿Hasta qué punto son coherentes las razones de los estudiantes para en- meras.
)
trar en el programa con las necesidades e intereses que el personal del
Respuestas incorrectas )
programa esperaba de los estudiantes?
d) ¿Hasta qué punto dedican los estudiantes al programa la cantidad de )
a) Es incor~e~ta porque el análisis de la congruencia supone comparar cier-
tiempo que se les pide?
tas con~I~IOnes supuestas con una condición observada, y las dos series )
Respuesta correcta. Debe usted haber seleccionado la «c». Se refiere a si los de condICIOnes de este ejemplo son observadas.
)
antecedentes observados (las razones de los estudiantes para entrar en el pro-
b) Es incorrecta p~rque la investi?ación de la base lógica de un programa
grama) son congruentes con los antecedentes supuestos (las expectativas de los no cont~mpla nI !as congruencIas entre las condiciones supuestas y las )
profesores acerca de las necesidades e intereses de los estudiantes al entrar reales, nI las. contIn~encias ,entre.l?,s antecedentes, las transacciones y los )
en el programa). re~ultados, SInO que filosofIa, mISIon y/o principios básicos son los que
gUIan el programa. )
c) Es incorrecta porque la referencia a las normas absolutas (convicciones
Respuestas incorrectas )
pers~nales acerca de lo que es bueno y deseable en un programa) no está
relaCIOnada con la búsqueda de correlaciones y relaciones causales. )
a) Es incorrecta porque esta alternativa pide una comparaCIOn pre-test y
post-test (una comparación entre los antecedentes y los resultados). )
b) Es incorrecta porque esta opción pide una comprobación de la congruen-
cia entre las transacciones supuestas y las observadas (aunque los ante- . PREGUNT~ 8:
E~ una información de prensa, el doctor Howard Benja-
I )

cedentes pueden también formar parte del plan). mm, secretarIO e¡ecutlv?de la National Schoolmasters Association, dijo: «Los )
d) Es incorrecta porque esta opción también pide una comprobación de la rofesores no deben utIlIzar materiales didácticos que resulten ofensivos para
I )
congruencia entre las transacciones supuestas y las reales. os padres.» En el texto Countenance este comentario está tratado como
')
a) un rumor,
b) una norma, ( )
( )
{)
 (
( 276 I Evaluación sistemática Stake: el método evaluativo y el cliente I 277

{
e) un dogma de fe, Respuestas incorrectas
( d) una base lógica.
( b) Es incorrecta porque Stake piensa que el evaluador, más que caracterizar
Respuesta correcta. Debe usted haber seleccionado la «b». Este es un sus propios juicios, debe recopilar, procesar y destacar los juicios de otras
( ejemplo de lo que Stake llama una norma absoluta (una convicción personal personas.
{ acerca de lo que es bueno y deseable en un programa). e) Es incorrecta porque Stake afirma que los evaluadores deben tener cuali-
ficaciones especiales para recopilar y procesar tanto los juicios como la
{ Respuestas incorrectas información descriptiva.
f d) Es incorrecta porque Stake destaca que la mejor fuente de conocimiento
a) Es incorrecta porque el rumor es una SupOSlClOn,un relato de segunda acerca de un programa es, a menudo, el grupo más implicado en él, y
{ o tercera mano o simplemente un chisme, pero nunca una convicción recomienda específicamente al evaluador que recoja y analice sus juicios.
( acerca de lo que es bueno.
e) Es incorrecto porque lo que cree una persona acerca de lo que es justo,
( sin tener en cuenta su posición social, no es, en modo alguno, algo pare-
PREGUNTA 10. Un profesor informa que todos los estudiantes han escrito
unas redacciones excelentes sobre «La contaminación del aire». De acuerdo con
( cido a un mandato divino.
el texto Countenanee estos juicios del profesor
d) Es incorrecta porque esta afirmación se presenta como la creencia de una
(
persona (de ahí que se trate de una norma absoluta), no como una afir-
a) deben ser ignorados,
( mación procedente de los antecedentes filosóficos y el propósito general
b) deben ser sustituidos por tests regularizados,
de un programa.
( e) son datos valiosos,
d) se denominan transacciones.
(
PREGUNTA 9. ¿Cuál de las siguientes afirmaciones refleja mejor la pos-
( Respuesta correcta. Debe usted haber seleccionado la «e». Stake reco-
tura de Stake respecto al papel del juicio en una evaluación?
( mienda firmemente a los evaluadores que utilicen juicios recogidos de una
amplia gama de personas que conozcan, de distintas maneras, el objeto que
a) Un programa no estará satisfactoriamente evaluado hasta que haya sido
( se está estudiando. A menudo, estos juicios reflejan intuiciones que no pueden
totalmente descrito y juzgado.
( obtenerse sólo con datos descriptivos.
b) La principal prueba del profesionalismo de un evaluador es su capacidad
y buena voluntad para presentar un juicio final acerca de un programa.
( Respuestas incorrectas
e) Los evaluadores están especialmente cualificados para recopilar, analizar

,
( y comunicar información descriptiva, pero no demasiado para propor-
cionar información acerca de juicios respecto al mérito y valor de una
amplia serie de programas relativos a la educación.
a)

b)
Es incorrecta porque Stake recomienda a los evaluadores que recopilen
y analicen juicios de una amplia gama de partes interesadas.
Es incorrecta porque Stake recomienda firmemente la utilización de los
f d) Los miembros de la audiencia de una evaluación no están cualificados
datos descriptivos y procedentes de juicios, y porque critica duramente
para juzgar el programa que se está investigando porque, invariablemen-
4 la excesiva confianza de los programas evaluativos en los tests regula-

,
te, sus juicios se decantan hacia sus intereses creados.
rizados.
< d) Es incorrecta porque las transacciones se refieren a las actividades que
Respuesta correcta. Debe usted haber seleccionado la «a». Stake adopta
se desarrollan en un programa y porque este punto significa mucho más:
la posición de Scriven acerca de que una evaluación no tiene lugar hasta que se
( produce un juicio. Sin embargo, mientras Scriven dice que el evaluador debe
el juicio-de un resultado de una actividad escrita.

,
t presentar su propio juicio, Stake recomienda al evaluador que recopile, analice
y presente los juicios de un amplio grupo de referencia interesado en el pro-
grama.
PREGUNTA 11. ¿Cuál de las siguientes afirmaciones es más coherente
con las presuposiciones que esboza Stake en torno a la evaluación res pon.
( dente?

t
(
 )

)
)
278 I Evaluación sistemática
8take: el método evaluativo y el cliente I 279 ")
a) Por lo general, las evaluaciones responden tes están destinadas a los pro-
fesores en general, puesto que son los únicos que pueden llevar a cabo
recopilación de datos, pero rechaza la utilización de los tests ya existen- J
tes, de las guías para entrevistas y de las normas de observación porque ")
los programas que adopten sus sistemas escolares.
los instrumentos ya existentes no suelen reflejar los requisitos informa-
b) Por lo general, las evaluaciones responden tes se inician cuando los pro- ')
tivos especiales de los clientes específicos.
gramas que deben ser estudiados están ya en uso.
c) Las evaluaciones respondentes están concebidas para ser autoevaluacio- )
Respuesta correcta. Debe usted haber seleccionado la «a». Stake identi-
nes, y esto, por lo general, no es necesario para un «evaluador».
d) La evaluación respondente es una denominación que sólo caracteriza las
fica ese intercambio como una de las principales distinciones entre la evalua- J
ción preordenada y la evaluación respondente. ')
actividades evaluativas formales y externas.

Respuestas incorrectas )
Respuesta correcta. Debe usted haber seleccionado la «b». Stake dice, en
efecto, que el punto de entrada del evaluador respondente ocurre, por lo ge- )
b) Es incorrecta porque aunque Stake describe los tests regularizados como
neral, cuando el programa ya ha empezado. Curiosamente, esta presuposición ')
una actividad de alcance limitado, los incluye entre una amplia serie de
es coherente con la noción del texto Countenance según la cual el evaluador
otras técnicas, en el repertorio del evaluador responden te. )
debe atender a las transacciones, adelantarse a los resultados y remontarse a
c) Es incorrecta porque Stake aconseja a los evaluadores que utilicen múlti-
los antecedentes. )
ples técnicas de recopilación de datos y fuentes de información como
medios de obtener una información válida; de ningún modo quiere decir )
Respuestas incorrectas
con esto que la evaluación respondente sea fuertemente dependiente de
la utilización de instrumentos publicados. )
a) Es incorrecta porque, por el contrario, Stake dice que la evaluación res-
pondente sirve a clientes específicos, generalmente a la gente responsable
d) Es incorrecta porque Stake afirma que el evaluador debe utilizar cualquier )
cosa que sea relevante.
de llevar a cabo el programa. )
c) Es incorrecta porque Stake centra su comentario de la evaluación respon-
dente en las personas que han sido encargadas, formal o informalmente, )"
PREGUNTA13. ¿ Cuál de las siguientes afirmaciones no supone una base
de evaluar un programa. )
para distinguir la evaluación preordenada de la evaluación respondente?
d) Es incorrecta porque, aunque el comentario de Stake sobre la evaluación
)
respondente supone que la evaluación de un programa ha sido encargada,
a) La primera cree que las planificaciones son estáticas, mientras la segunda
intenta principalmente caracterizar y proporcionar ciertas directrices para )
cree que son dinámicas.
formalizar acontecimientos normales de una autoevaluación informal.
b) La primera es más subjetiva que la segunda. )
Igualmente dice, en su texto Countenance, que la figura completa de la
c) La primera pide que se informe al cliente a intervalos discretos, mien-
evaluación abarca tanto las actividades informales como las formales. )
tras que la segunda proporciona información más o menos continua-
mente. )
d) L~ primera se interesa sobre todo por las perspectivas de valor simples, )
PREGUNTA12. La evaluación responden te
mientras que la segunda supone perspectivas de valor pluralistas.
)
a) sacrifica cierta precisión valorativa para intentar intensificar la utilidad
Respuesta correcta. Debe usted haber seleccionado la «b». Stake caracte- )
de los resultados,
riza la evaluación preordenada como algo limitado a la utilización de técnicas
b) rechaza la tecnología de los tests regularizados a causa de su limitado )
rigurosas a causa de su interés fundamental por la objetividad, mientras que
alcance,
los evaluadores respondentes utilizan algunos de los puntos de vista subjetivos )
c) confía insistentemente en la utilización de tests publicados a causa de su
de los participantes.
validez establecida y de la necesidad de responder rápidamente a los nue- )
vos requisitos informativos,
d) utiliza principios de valoración para desarrollar los necesarios planes de )
)
)
 ,
(
f 8take: el método evaluativo y el cliente I 281
280 I Evaluación sistemática
(
( Respuestas incorrectas
PREGUNTA 15. ¿Cuál de las siguientes afirmaciones no es coherente con
( a) Esta es una de las diferencias esenciales mencionada.s por Stake. el consejo que da Stake a los evaluadores sobre cómo decidir los propósitos
e) Es ta es también verdadera, porque las evaluaciones preordenadas, por 10 a los que deben dedicarse, las cuestiones que deben resolver y los datos que
(
general, proporcionan información sólo al final del estudio, mientras que 'deben obtener?
( los evaluadores responden tes están en continuo contacto con sus clientes
y audiencias. a) El evaluador debe escoger las cuestiones y criterios de valor sólo después
(
d) Esta es otra de las distinciones esenciales mencionadas por Stake. de haber averiguado por qué ha sido encargada la evaluación y de haber
( descubierto 10 que ocurre en el programa.
b) El evaluador debe centrarse en cuestiones y criterios que le conduzcan
(
PREGUNTA 14. ¿Cuál de las siguientes afirmaciones no coincide con el a descubrir 10 mejor y 10 peor de las actividades del programa y en las
( cálculo de Stake acerca de cómo reparten su tiempo los evaluadores preorde- cosas que más interesan a la gente implicada.
( nados y los respondentes? e) El evaluador no debe limitar el alcance de su estudio, sino plantearse toda
la gama de propuestas y cuestiones que interesan a la audiencia.
( a) Invierten el mismo porcentaje de tiempo identificando problemas y metas. d) El evaluador debe considerar que existe una variedad de propósitos que
( b) El evaluador preordenado concentra sus esfuerzos en la observación del pueden satisfacerse en una evaluación, pero, en cualquier estudio concre-
programa, la administración de tests, el aprendizaje de las necesidades to, debe limitar su atención a uno o algunos de los propósitos de interés
( para la audiencia.
de sus clientes y la preparación de informes informales.
( e) El evaluador responden te dedica la mayoría de su tiempo a observar el
programa, recoger información subjetiva y elaborar informes. Respuesta correcta. Debe usted haber seleccionado la «e». Stake observa
( que no todos los propósitos potencialmente relevantes de una evaluación
d) La diferencia principal es que el evaluador preordenado pasa mucho más
( tiempo preparando instrumentos que el evaluador respondente. pueden satisfacerse con una sola recopilación de datos, que sólo unas pocas
de estas cuestiones potencialmente interesantes pueden obtener la atención
( principal de cualquier estudio y que el evaluador, por 10 tanto, debe ser selec-
Respuesta correcta. Debe usted haber seleccionado la «b». Stake calcula
( que el evaluador preordenado puede dedicar, por 10 general, sólo el quince por tivo al especificar propósitos y cuestiones.

( ciento de su tiempo a todas estas tareas combinadas. La mayoría del tiempo

de los evaluadores respondentes, por 10 general, debe dedicarse a actividades Respuestas incorrectas
( asociadas con la obtención, análisis y presentación de datos formales.
a) En esencia, éste es el plan que Stake facilita a los evaluadores respecto
( a cómo deben escoger los propósitos, las cuestiones y los criterios que
Respuestas incorrectas
( deben utilizarse en un estudio concreto.
a) Esto coincide con el cálculo de Stake porque él estima que ambos pueden b) Estos son los criterios ofrecidos por Stake para valorar las cuestiones y
(
invertir el diez por ciento de su tiempo en la identificación de problemas criterios alternativos que un evaluador puede escoger como directrices
( y metas. de un estudio concreto.
e) Esto coincide con el punto de vista de Stake porque él estima que el eva- d) Aunque Stake aconseja a los evaluadores que busquen y solucionen pro-
(
luador respondente puede dedicar el sesenta y cinco por ciento de su blemas continuamente durante el curso del estudio, también les recomien-
( tiempo a estas actividades. da que pongan límites realistas a los propósitos que debe satisfacer cual-
d) Esto está de acuerdo con el análisis de Stake porque éste calcula que el quier estudio concreto.
(
evaluador preordenado puede dedicar el treinta por ciento de su tiempo
( a preparar instrumentos, mientras que el evaluador respondente puede
dedicar a esta actividad el quince por ciento. PREGUNTA 16. ¿Cuál de las siguientes afirmaciones no es coherente con
(
la caracterización que hace el autor de las concepciones de Stake respecto a las
( responsabilidades sociales y éticas del evaluador?
(
4
 )

' .. '
)
)
-1':'
282 I Evaluación sistemática Stake: el método evaluativo y el cliente I 283 ')

a) Los evaluadores deben ser muy sensibles a las cuestiones de igualdad y

justicia en la educación.
Los evaluadores deben adoptar y seguir las normas formales de la prác-
1 generalmente admitido es la calidad. Cree que los principales objetivos de
la educación son el servicio y la adquisición del respeto y la integridad .,
')

b) personal.
')
tica evaluativa más solvente. b) Es incorrecta porque Stake dice que esta postura incluye la dudosa pre-
e) El evaluador debe atender y describir las múltiples perspectivas de valor suposición de que un programa que sea juzgado el mejor resultará ser ')
de las personas y grupos que están implicados e interesados en el progra- el mejor para todo el mundo. En oposición a esta postura, Stake reco-
')
ma que se está estudiando. mienda un método p1uralista para la evaluación.
d) Los evaluadores deben ayudar a sus clientes a evitar una evaluación e) Es incorrecta porque Stake dice que no siempre es mejor evaluar un pro- ')
formal. grama basándose en su valor instrumental; quiere decir que en algunos
')
casos puede ser más apropiado atender a su valor intrínseco.
Respuesta correcta. Debe usted haber seleccionado la. ;<b». Stake está en ')
contra de la adopción de normas formales para la evaluaclOn.
')
PREGUNTA 18. ¿Cuál de las siguientes afirmaciones es más coherente
Respuestas incorrectas con el consejo general que ofrece Stake para llevar a cabo la evaluación reloj? )
)
a) Stake considera que ésta es una de las responsabilidades sociales del a) El evaluador debe esforzarse para que sus mensajes resulten explícitos
evaluador. para sus distintas audiencias. )
e) Los escritos de Stake reflejan intensamente una filosofía pluralista. b) La evaluación puede y debe ser un proceso muy sencillo, realizado paso
Esta afirmación es coherente con la recomendación de Stake acerca de )
d) a paso.
que las evaluaciones formales deben ser llevadas a cabo sólo cuando se e) El evaluador debe emplear métodos subjetivos para recopilar, analizar y )
puede justificar claramente su coste y las molestias que representan. presentar la información, y debe evitar la utilización de técnicas limitadas,
)
artificiales y presuntamente objetivas, como los tests regularizados y las
escalas de valor. )
PREGUNTA 17. ¿Cuál de las siguientes afirmaciones es más coherente d) Los propósitos de las audiencias deben tenerse muy en cuenta a la hora
)
con la caracterización que hace el autor de la filosofía educativa de Stake? de decidir cuántas cosas y de qué forma hay que comunicar.
)
a) El propósito de la educación, por lo general, es transmitir la cultura y Respuesta correcta. Debe usted haber seleccionado la «d». Stake dice que )
ayudar a conservar la identidad nacion~l. . . ., los propósitos de las audiencias son «10 más importante» para las decisiones
b) Los intereses locales deben ser determmados y limltados por el mteres del evaluador. )
común. )
e) La educación debe ser siempre considerada como un medio para conse- Respuestas incorrectas
guir algún fin práctico. . )
d) Los .prob1emas de la enseñanza serán mejor resueltos por la gente dlrec- a) Es incorrecta porque, por el contrario, Stake dice que la explicitud no es )
tamente implicada en ellos. necesaria para indicar el valor y que, en muchas de las evaluaciones
preordenadas, aumenta el peligro de error. )
Respuesta correcta. Debe usted haber seleccionado la «d». Stake dice que b) Es incorrecta porque Stake dice que la evaluación no es un proceso lineal )
estas personas ejercen los juicios más críticos, son las únicas dispuesta~ a solu- y advierte a los lectores que no sigan esta evaluación reloj en el sentido
cionar los problemas de la enseñanza y, por 10 tanto, deben ser conslderadas de las agujas del reloj. )
por los evaluadores como sus clientes principales. e) Es incorrecta porque Stake recomienda la utilización de cualquier técnica .)
que pueda ser relevante en una situación dada; también recuerda al eva-
Respuestas incorrectas luador que debe descubrir y seguir los que su audiencia considere modos )
legítimos de recopilación de datos. )
a) Es incorrecta porque Stake dice que el propósito de la educación más
)
1 )
i'
,
(
(
284 I Evaluación sistemática Stake: el método evaluativo y el cliente I 285
(-
(
PREGUNTA19. ¿Cuál de las siguientes afirmaciones es más coherente con Ejercicios prácticos
( la caracterización que hace el autor de la orientación epistemológica de Stake?
( Este apartado contiene cuestiones prácticas destinadas a ayudarle a valorar
a) El evaluador debe recopilar y presentar múltiples opiniones acerca de lo si ha comprendido la estructura sustancial de la evaluación respondente y las
( que es un programa y de lo que está consiguiendo, para que la audiencia etapas de la evaluación reloj.
( pueda comprobar si sus concepciones son falsas y enfrentarse a la reali-
dad objetiva del programa. EJERCICIO 1. Defina y ejemplifique cada uno de los elementos princi-
( b) El mérito de un programa viene determinado por sus resultados (buenos pales de la estructura sustancial de la evaluación respondente.
( y malos). Si existen, deben ser valorados. Pero el evaluador fracasará,
seguramente, en el descubrimiento y valoración de los resultados si pri-
( mero no ha obtenido una gran cantidad de información subjetiva. La respuesta al e;ercicio 1 debe ser aproximadamente como sigue:
( c) La evaluación supone la búsqueda de la verdad, y los evaluadores deben
tomarse este aspecto de su trabajo mucho más en serio de lo que lo Elementos Ejemplificaciones
{ hacen.
1. Organizadores previos: los proble- Conducir a los estudiantes hacia otras formas de
( d) En general, los evaluadores deben pretender ayudar a sus audiencias a in tegración_
mas son los más útiles puesto que
observar una amplia serie de preguntas y posibles respuestas relativas a un reflejan la complejidad, la urgencia Tratamiento de la evolución y creación de los
( programa, y no ayudarles a desarrollar un juicio acerca del programa. libros de texto científicos en las escuelas.
y la valoración.

( Utilizarla como guía para recopilar datos amplia-

Respuesta correcta_ Debe usted haber seleccionado la «d». Stake dice que 2. Estructura de la figura.
( mente descriptivos y críticos acerca del programa
existen «múltiples realidades» y que el evaluador debe ayudar a sus audiencias de un distrito escolar para la integración de los
( a comprobar la complejidad de un programa y las múltiples interpretaciones estudiantes.
de su valor.
( 3. Observadores humanos. Conseguir que un «investigador residente» realice
el estudio de un caso concreto sobre la enseñanza
( Respuestas incorrectas de las ciencias en una escuela durante un período
( de seis meses.
a) Es incorrecta porque Stake dice que existen realidades múltiples, no una
( sola realidad objetiva. 4. Validación: asegurar que la infor- Comprobar si se ha obtenido información acerca
mación obtenida es suficiente en de los más importantes propósitos, cuestiones y
b) Es incorrecta porque recomienda a los evaluadores que no crean que sólo
( cantidad y refleja la utilización de problemas seleccionados para el estudio.
los resultados valorables hablan acerca del valor de un programa. Les múltiples fuentes de datos. Comprobar hasta qué punto la información obte-
( aconseja que recopilen cualquier cosa que pueda ayudar a la gente a com- nida cubre todos los aspectos de la estructura
prender el programa, incluyendo sus juicios subjetivos. de la figura.
( Comprobar si cada cuestión se planteó mediante
c) Es incorrecta porque Stake dice que muchos evaluadores se toman su

,
( papel de «buscadores de la verdad» demasiado en serio. Les recomienda
que busquen «verdades múltiples» acerca de un programa, ayudando así
a cada lector a descubrir su propia comprensión del programa.
varios datos.

(
( INTERPRETACIÓNDEL TEST DE CONOCIMIENTOS.Cuando haya realizado
el test, cuente el número de respuestas correctas e incorrectas. Idealmente,
( debe usted haberlas acertado todas. Respecto a cada una de las que haya erra-
do, le recomendamos que vuelva a leer la pregunta, y luego revise el texto
\
para mejorar su comprensión de los correspondientes conceptos.
\

,
\

286 Evaluación sistemática
EJERCICIO 2. .Describa y ejemplifique cada una de las tareas de la evalua-
ción reloj.
La respuesta al ejercicio 2 debe ser aproximadamente
Tarea
1. Identificar el alcance del
programa.
2. Panorama del programa.
3. Descubrir los propósitos
e intereses.
4. Conceptualización de
problemas y cuestiones.
Elaboración
Determinar las limitaciones
definiendo los límites geo-
gráficos, la población que
debe ser estudiada, el tiem-
po disponible, el área de
contenidos, las principales
localizaciones, etcétera.
Explorar el programa para
desarrollar una idea general
de sus principales caracterís-
ticas.
Propósitos : distintas razones
por las que se desea la eva-
luación; intereses: preocupa-
ciones acerca oel programa.
Identificar las perspectivas
más importantes; .examinar
las preocupaciones y esperan-
zas expresadas por cada gru-
po; enumerar las dudas, es-
peranzas, miedos y desacuer-
)
')
')
8take: el método evaluativo y el cliente 287
:)
Tarea Elaboración Ejem plificación
)
dos más compartidos y ca- dicato de profesores, el con-
racterísticos; sintetizar la in- sejo de estudiantes, la junta ')
formación en una lista de de administradores, los cate-
')
problemas que pueden ser dráticos, el personal relacio-
como sigue: estudiados; definir cada pro- nado con los servicios de ')
blema con la mayor claridad enseñanza, el departamen to
Ejemplificación
posible; y dejar al cliente y de investigación educativa, ')
a los representantes de otras el departamento de becas,
El evaluador y el cliente
audiencias que valoren la el departamento de contabi- .)
importancia de los proble- lidad, los estudiantes en ge-
están de acuerdo en que la )
mas definidos, para luego neral, la junta estatal de
evaluación debe considerar
interpretarlos. educación, la oficina del go-
el «Arts Impact Program»
bernador, la legislación del
)
de la Cranbrook School, des-
estado y los auditores fede- )
de sus principios en 1966
rales. Se entrevista con re-
hasta el momento actual.
presentantes de cada grupo, )
toma nota de su valoración
Examinar el presupuesto del.'
del presupuesto, consigue y ,)
programa; revisar los recor-
estudia los documentos per-
tes de prensa; hablar )
tinentes, hace una lista de
algunos de los profesores,"
problemas y consulta con
estudiantes, personal especia- .
personas interesadas en cada
.)
lizado, padres y administra-
problema para que lo ayuden )
dores que han intervenido;
a describirlo. Luego reúne
observar las actividades del
programa; y examinar algu-
un grupo asesor, representa- .)
tivo de los distintos puntos
nos de los trabajos de los
estudiantes.
de vista, para que aborden ~.).
los problemas y lo ayuden
a decidir cuáles deben reci- )
Preguntar a diversas
bir más atención.
nas si piensan que puede ~
perderse algo dando fin aho-
5. Identificación de los da- Los resultados más sencillos
ra a la y si
tos necesarios para la de los requisitos informati-
Habiendo asignado un orden
de prioridad a los problemas
:J
así, identificar los ,)
identificación de los pro- vos asociados con la inves- tal corno sigue: 1) eficiencia
potenciales de la
blemas. tigación de los problemas de la estructura actual del
del estudio; y, más aún, que
emitan su juicio acerca de
previamente identificados. departamento; 2) obstáculos
para reducir o eliminar las
J
estos beneficios pueden
pensar el probable coste.
inversiones en programas im- J
productivos; 3) fiabilidad y
Pedir igualmente a estas per-
sonas que identifiquen
validez de las fórmulas utili- .J
zadas para pronosticar los
quier interés especial que
ingresos y los gastos; 4) re-
',J
puedan tener acerca del pro- :'.
grama.
gularidad de los incrementos
del precio de la matrícula,
'J
Escuchar.
y 5) lo razonable del incre-
mento de salarios proyecta-
.:J
En la evaluación del presu- ~.)
do, el evaluador enumera las
puesto de una universidad,,,
preguntas, las fuentes de in-
el evaluador identifica muo"~
formación y las técnicas de
)
chos puntos de vista impor~ recopilación de datos que
tantes: la administración' .)
pueden resultar adecuadas
central, los decanos, el sin-{
.)
(
( 288 I Evaluación sistemática Stake: el método evaluativo y el cliente 289
( Tarea Elaboración Ejemplificación Tarea Elaboración Ejemplificación
(
para la investigación de cada vidades pueden ayudar a las
( problema. Entonces se reúne audiencias a interpretar los
con U? grupo asesor, repre_ resultados de la evaluación.
( sentatIvo de todas las a
diencias,
.,.
para examinar u- y 10. Esquemas para uso de Preparar comunicaciones es- En un estudio de tres años
( qUlza meJorar este primer la audiencia. peciales que saquen el máxi- del programa educativo de
plan de recopilación de da- mo provecho de la informa- los profesores de una univer-
( tos. ción disponible, con el fin sidad, disrintos miembros del
de responder directa y dis- grupo evaluativo han sido
{ 6. Seleccionar observado- Basándose en los datos ne- tintamente a las diferentes encargados de reunirse pe-
El evaluador puede seleccio,
( res, jueces e instrumen- cesarios identificados, el eva- nar especialistas que le ayu_ audiencias. riódicamente con el consejo
tos, si los hay. luador debe desarrollar yI o den a realizar los estudios de de .la universidad, 1(1- jUnta
( seleccionar los instrumentos, casos concretos, a crear v de decanos, el comité de
los observadores y los jueces aplicar los instrumentos d~ currículos y el departamen-
( que sean necesarios. investigación y a organizar to de educación de los pro-
audiciones. fesores. Cada miembro del
( grupo evaluativo está encar-
7. Observar los anteceden- Aquí el evaluador debe uti- gado de convocar reuniones
( El evaluador puede analizar
regulares de estos grupos
tes, las transacciones y lizar el rexto Countenance su plan de recopilación de
los resultados propues- para sistematizar y probable- datos comparándolo con los para estar continuamente al
~ tos. mente ampliar sus activida- requisitos del texto Counte- corrien te de sus intereses y
( des de recopilación de datos. nance tanto para identificar necesidades informativas y
los huecos (p.ej., que no se presentar los resultados de
( haya previsto el estudio de la evaluación que puedan
la base lógica del programa) resultar aprovechables y de-
( mostrar ser útiles.
como para planificar los aná-
( lisis de contingencias y con-
gruencias. 11. Preparar, si lo piden, el Estos deben ser impresos, Habiendo realizado un pro-
informe formal. filmados en video, dramati- fundo estudio del «Progra-
( zados o presentados oral-
8. Desarrollar los temas, Puede desarrollar breves pa- ma sobre dificultades de
Habiendo estudiado el siste- mente.
( preparar descripciones y noramas del programa, pre- aprendizaje» de un distrito
ma utilizado por el distrito
estudios de casos con- sentaciones del producto, vi- cualquiera, el evaluador dra-
escolar para «seguir la pista
( cretos. deos, etcétera. matiza los resultados pre-
de los estudiantes», el gru-
sentanda y ayudando a los
( po evaluativo prepara un vi-
grupos de la Asociación de
deo destinado a investigar
e los resultados y el debate
provocado.
Padres y Profesores que es-
tén interesados a actuar en
e un sociodrama basado en los
resultados.
9. Validación: confirmar Realizar diversos tests sobre

•
Habiendo estudiado el «Pro-
los intentos de rechazo. la calidad de la información grama Estival para el per-
obtenida, y dejar que distin-
f tas personas examinen y juz-
feccionamiento de los estu- 12. Hablar con los clientes, A lo largo de una evalua- Al prinCIpIO de una evalua-
dios» el evaluador encarga

,
el personal del progra- ción, el evaluador debe man- ción sobre el programa de
( guen los procedimientos y a las partes independientes ma y las audiencias. tener comunicación con una educación bilingüe de un dis-
los datos. que utilicen los resultados amplia gama de partes inte- trito escolar, el evaluador
Triangular. para 1) atacar el programa resadas, con el fin de com- organiza un grupo asesor,
Dejar que las críticas de los y 2) apoyarlo. Encarga a prender y estimular sus in. representativo de toda la
~ colegas abran grietas en la una tercera parte que «me. tereses acerca de la evalua- gama de grupos interesados,

,,
interpretación. taevalúe» el estudio com- ción, y desarrollar su plan y mantiene debates con este
~ pleto. Los informes corres- como mejor convenga a la grupo más o menos una vez
pondientes a estas tres acti- realización de la evaluación. al mes.

(
 ~
~
~
290 I Evaluación sistemática
Referencias bibliográficas I 291
~
PARLETT,M. Y HAMILTON,D. 1972. Evaluation as iilumination: A new approach )
Preguntas sin respuesta to the study of innovatory programs. Edimburgo: Centro de investigación so-
')
bre Ciencias Educativas, Universidad de Edimburgo. Occasional Paper n. 9.
En este apartado proporcionamos cuatro preguntas y ninguna respuesta. PROVUS,M. 1971. Discrepancy evaluation, Berke1ey, McCutchan. ~
Las preguntas pueden ser utilizadas como temas para debates, como bases RIPPEY, R. M. (comp.). 1973. Studies in transactional evaluation, Berkeley, Mc-
para trabajos individuales o como guías para profundizar en las obras de Stake. Cutchan. )
SCRIVEN,M. 1967. The methodology of evaluation. En R. TYLERY otros, Pers- ')
1. Responda a la afirmación de GLASS (1980), según la cual la recomenda_ pectives o/ curriculum evaluation. (AERA Monograph Series on Curriculum
Evaluation), Chicago, Rand McNally. ~
ción que hace Stake de un método respondente para la evaluación se
-.1973. Goal-free evaluation. En E. HOUSE(comp.), School evaluation: The po.
opone a su recomendación de una postura pluralista a la hora de juzgar litics and process, Berkeley, McCutchan. ')
programas educativos. -.1976. Evaluation bias and its control. Kalamazoo: Centro de Evaluación Uni- ')
2. ¿Hasta qué punto es coherente la evaluación responden te con las reco- versidad de Western Michigan, Occasional Paper n. 4. '
mendaciones incluidas en las Standards far Evaluations of Educational SMITH, 1. M. Y PAHLAND,P. A. 1974. Educationa1 technology and the rural )
Pragrams, Projects, and Materials (1981)? . highlands. En 1. M. SMITH, Four examples: Economic anthropological, narra.
3. Comente la conveniencia de las siguientes denominaciones de Stake: «res. tive, and portrayal (AERA Monograph on Curriculum Eva1uation), Chicago, )
pondente», «reflejo de full cauntenance (figura completa) de la evalua- Rand McNaily. )
ción», «centrado en el cliente», «revelador» y ,«naturalista». SMITH, E. R. Y TYLER,R. W. 1942. Appraising and recording student progress,
Nueva York, Harpe! and Row. )
4. Responda a la insistencia de Stake en que los conceptos y el plan conte-
STAKE,R. E. 1967. The countenance of educational evaluation, Teachers College
nidos en su texto Cauntenance no constituyen un modelo de o para eva-
Record, 68, págs. 523-540. )
luaciones. -.1975a. Evaluating the arts in education: A responsive approach, Columbus, )
Ohio, Merril.
-. 1975b. Program evaluation: Particularly responsive evaluation. Ka1amazoo: Ceno )
tro de Evaluación, Universidad de Western Michigan, Occasional Paper n. 5, )
Referencias bibliográficas noviembre.
-.1976. A theoretica1 statement of responsive eva1uation, Studies in Educational )
CLARK,D. 1. Y GUBA,E, G. 1965. An examination of potentia1 change roles in Evaluation, 2, págs. 19-22.
education. Texto presentado en el Seminar on Innovation in P1anning Schoo1 -.1978. The case study method in social inquiry, Educational Researcher 7, pá- ,)
Curricu1a, Airliehouse, Virginia, octubre. ginas 5.8. )
CRONBAC H, L. J. 1963. Course improvement through eva1uation, T eachers College -.1979. Shou1d educational evaluation be more objective or more subjective?,
Record, 64, págs. 672-683. Educational Evaluation and Policy Analysis. )
CRONBACH,1. J. y otros. 1980. Toward a re/orm o/ program evaluation, San STAKE,R. E.; EASLEY,J. A., Jr. (comp.), 1978. Case studies in science education,
Francisco, Jossey-Bass. vol. 1, 2, Rep. NSF Proj. 5E-78-74, Urbana, I11.,CIRCE, Universidad de I11i.
)
DENNY,T. 1978. Story telling and educationa1 understanding. Ka1amazoo: Centro nois, Facultad de Educación. )
de Evaluación, Universidad de Western Michigan, Occasional Paper n. 12, no- STAKE,R. E. Y GJERDE,C. 1971. An evaluatian of TCITY: The Twin City Ins-
viembre. titute for Talented Youth. Ka1amazoo: Centro de Evaluación, Universidad de )
GLASS,G. V. 1980. Eva1uation research, Annual Review o/ Psychology, 31, pá- Western Michigan, Paper n. 1, Evaluation Report Services.
)
ginas 211-228. STUFFLEBEAM, D. 1. 1966. A depth study of the evaluation requirement. Theory
HAMILTON,D, y otros. 1977. Beyond the numbers game, Berkeley, McCutchan. into Practice, 5, págs, 121-133. )
Joint Committee on Standars for Educationa1 Evaluation, 1981. Standards for STUFFLEBEAM, D. 1. Y otros. Educational evaluation and decision making Itaska
luations o/ educational programs, projects, and materials, Nueva York, m., Peacock. ' , )
Hill. TYLER,R. W. 1942. General statement on eva1uation, Journal o/ Educational Re. 1)
MAcDoNALD,B. 1975. Eva1uation and the control of education. En D. search, 35, págs, 492-501.
(comp.), Evaluation: The state o/ the art, Londres, Schoo1s Co,:ncil. WOLF,R. 1. 1973. The application of se1ect legal concepts to educationa1 evalua. )
OWENS,T. 1973. Educationa1 eva1uatian by adversary proceedmg. En E. HOUSE tion, Tesis Doctoral de Filosofía, Universidad de I11inois,Champaign.
(comp.), School evaluation: The politics and process, Berkeley, McCutchan. )
)
)
 8 T. R. OWENS y R. 1. WOLF: UN METODO
CONTRAPUESTO DE EVALUACION

La evaluación contrapuesta representa un gran paso hacia el final de una

etapa que empezó con el método orientado hacia los objetivos de Tyler. De-
sarrollado a principios de los años setenta, el método contrapuesto intenta
iluminar los aspectos más importantes del programa que se está evaluando.
Estos aspectos explorados pueden ir más allá de los objetivos originalmente
J propuestos para el programa. Casi leg'ítimo en sus método y estructura, el
modelo de contraposición sigue un proceso dialéctico. Dos grupos de evalua-
\. dores investigan los pros y los contras de un programa con el fin de clarificar
j honesta y abiertamente sus principales problemas.
l.
1 La intención final del método contrapuesto es proporcionar a quienes to-
I man las decisiones evidencias sólidas para actuar en consecuencia. Lo más
importante es perfeccionar la toma de decisiones en el campo de la educación.
Por esta razón, el método contrapuesto, según uno de sus más tempranos
representantes, T homas Owens, puede funcionar conjuntamente con los mo-
delos propuestos por Scriven, Stufflebeam y Provus. Se ha dicho "que el mo-
delo de contraposición es más competente que los modelos anteriores a la hora
de satisfacer las necesidades informativas de quienes toman las decisiones.
Aún estamos lejos de una aceptación universal de la evaluación contra-
puesta. La literatura especializada incluye posturas tanto a favor como en
contra del método.

El modelo de contraposición para la evaluación educacional fue desarro-

llado en los primeros años setenta. Según uno de sus más tempranos represen-
tantes, Thomas Owens, el método contrapuesto posee la metodología nece-
saria para proporcionar información a quienes toman las decisiones con el fin
de que elaboren proyectos y juzguen los resultados previstos y los no previstos
;.
cuando ya hayan sido realizados.
 )

294 1 Evaluación sistemática

'1 T. R. Owens y R. L. Wolf 1 295
')

')
')

Básicamente, el método supone un proceso dialéctico y legítimo. Intenta

examinar abiertamente los problemas relativos a una proposición mediante
I 3. Examinar la condición de la evaluación contrapuesta ')

')
la presentación de casos a favor y en contra de esa proposición. El propósito a) comentando argumentos a su favor,
es clarificar. Con los procedimientos realizados y las muchas facetas relacio- b) comentando argumentos en su contra. ')
nadas con el objeto aclaradas, quienes toman las decisiones ya disponen de )
una evidencia suficiente y sólida para tomar decisiones racionales.
El modelo de contraposición ha tomado diversas formas. Una de las más Intención del modelo de contraposición ')
notables es el modelo judicial desarrollado por Robert Wolf en 1973 y los )
años sucesivos. Este aporta a la evaluación educacional las técnicas de un En 1973, Owens afirmó que durante la década anterior la evaluación edu-
tribunal. No se trata, sin embargo, de presentar una decisión del tipo culpable! cacional había experimentado una expansión que la condujo más allá del juicio
de los resultados finales. Cada vez se ponía más el énfasis en proporcionar
!
inocente. La esencia del concepto de juicio es el establecimiento de un acuerdo )
en el contexto de un desacuerdo. De nuevo, lo importante es perfeccionar la información para la toma de decisiones. Sin embargo, gran parte de la meto-
toma de decisiones en el campo de la educación. dología evaluativa no ha estado a la altura de la ampliación del concepto y la )
Usted puede seguir y comprender el método de evaluación contrapuesta función administrativa. )
mediante el estudio de esta unidad. Como en las primeras unidades, los ejer- A pesar de que los autores más tempranos fueron muy críticos con la
cicios aparecen al final para comprobar lo que ha aprendido. A continuación limitada función de la evaluación basada en tests psicológicos, siguieron preo- )
proporcionamos la lista de objetivos de esta unidad. Estúdielos, lea la unidad cupándose por el hecho de que un proyecto alcanzara o no los objetivos pro- )
y luego realice el test de conocimientos, comparando sus respuestas con las que puestos. SCRIVEN,en concreto, destacó (1967) la necesidad de examinar muy
proporcionamos nosotros. Finalmente, realice los ejercicios prácticos, compare de cerca tanto las metas como las presuposiciones propuestas en las que se )
sus respuestas con los aspectos más destacados de las que le facilitamos no- basaba un programa. Si las presuposiciones vinculaban el valor de un programa )
sotros y aborde el apartado de «Preguntas sin respuestas». a cada estudiante o a la sociedad, no existía casi ningún método que pudiera
obtener este tipo de información. )
Otra limitación del modelo de tests psicológicos que ya advirtió Owens )
Objetivos consistía en que era más adecuado para la investigación que para la toma de
decisiones prácticas. Aunque una evaluación comparativa puede demostrar )
Los objetivos del capítulo son los siguientes: que un programa es superior a otro, esta información no significa necesaria- )
mente que deba adoptarse el programa superior. Su utilidad práctica no ha
1. Facilitar la comprensión del modelo de contraposición sido aprobada. «Así pues, existe un hueco entre los resultados empíricos y las )
decisiones administrativas en la realización de ciertas prácticas.» Además, el , )
a) mostrando las deficiencias del modelo de tests psicológicos para las
modelo de tests psicológicos limita, por lo general, el número de variables
tomas de decisiones,
examinadas. En concreto, las variables más fácilmente cuantificables y tangi-
, )
b) examinando los procedimientos de contraposición en su contexto
bles suelen ser examinadas, mientras que las más sutiles y menos tangibles, )
legítimo,
suelen ser rechazadas. Por ejemplo, los tests hechos a estudiantes para la reali-
e) considerando la aplicabilidad de los procedimientos de contraposi- )
zación de un nuevo currículo son sólo una parte del panorama general. T am-
ción a la evaluación educacional,
bién deben ser tenidas en cuenta otras variables que influyen en el programa, )
d) considerando la puesta en práctica del modelo sugerida por Owens,
como las relaciones personales (por ejemplo, estudiante-profesor, maestro-admi-
e) investigando las dimensiones de los procedimientos de contraposi- I )
nistración), las actitudes del estudiante y la aceptación de la comunidad. El
ción sugeridos por Owens.
modelo de la contraposición para la evaluación educacional se desarrolló para )
2. Dar un ejemplo de una forma de modelo de contraposición, por ejemplo superar este tipo de problemas.
( )
el «modelo judicial» de Robert Wolf,
)
a) explicando brevemente su base lógica, )
b) esbozando las cuatro etapas de su desarrollo.
')
I )
 (
, .j.
'. '

(
296 I Evaluación sistemática T. R. Owens y R. L. Wolf I 297
(
( sión y suficiencia de los informes evaluativos a~r:~ nuev~s posibilidades.
Los procedimientos de contraposición en su contexto legal Owens y Wolf afirman que el método de contrapOS1CIon conVlerte una evalua-
( ción en «intelectualmente honesta». .,
En un contexto legal, los procedimientos de contraposición se desarrollan El modelo de contraposición legal es también aplicable a la evalua.clOn
(
como una audiencia administrativa destinada a juzgar los méritos de un caso educacional por otras razones. Permite que un amplio espec~ro de g~nt~ mte-
( en el que están implicadas dos partes opuestas. resada en el programa exprese su punto de vista, ya sea dlt:c.t~ o llldlrecta-
OWENS(1973, págs. 296-297) ha identificado las siguientes características mente (por medio de abogados de una parte o la otra). Los JUlClOSno. se ~a-
( de los procedimientos de contraposición como las adecuadas para la toma de san en las metas iniciales del programa, sino más bien en .la combl~a:lOn
( decisiones en educación: entre éstas y los problemas más importantes planteados por qUIenes partlclpa~
( en la audiencia. También ofrece un' método para facilitar una toma de de~l-
l. Las reglas establecidas para manejar los procedimientos de contraposición siones justa y abierta. Y, lo que es más importante, pres.enta una concepclOn
( son totalmente flexibles. amplia y completa del programa, clarificando tanto su~ vlttude~ corr:o sus de-
2. Las complejas reglas de la evidencia son sustituidas por una evaluación fectos. Las alternativas de la decisión y sus potenClales ramificaclOnes son
(
libre de la evidencia basada únicamente en si la evidencia es considerada
aireadas públicamente.
( relevante por el director de la audiencia.
( 3. Puede pedirse a ambas partes, antes del juicio, que informen al director
de la audiencia sobre todos los hechos relevantes, de las pruebas y de los
Realizaciones prácticas
( nombres de los testigos.
( 4. Debe proporcionarse una copia de los cargos al director de la audiencia y Owens sugiere siete modos principales en los que puede llevarse a cabo
al defensor, antes de que empiece el juicio, teniendo el defensor la opción el modelo de la contraposición para satisfacer los propósitos de una eval.ua-
( de admitir por anticipado ciertos cargos y recusar otros. ción educacional. Esbozaremos brevemente estas útiles y prácticas sugerenClas.
( 5. Los testigos declararán libremente y podrán ser interrogados.
6. A menudo, los expertos son llamados a testificar, incluso antes del juicio. Explorar los valores de un currículo nuevo o ya existente. A menudo, las
( 7. Las entrevistas previas al juicio entre el director de la audiencia y las dos evaluaciones comparativas fracasan al especificar e investigar la teoría, la base
( partes suelen convertir el juicio más en una búsqueda de hechos relevan- lógica y las presuposiciones de un currículo. Un debate abierto sobre la «im-
tes que en una batalla de talentos. portancia de un currículo concreto que. satisfaga .las n~cesida~e~ ~resentes y
( 8. Además de las dos partes implicadas, puede permitirse la participación futuras de los niños, las necesidades soclales o la mtegndad dlsclplinar puede
( de otros grupos interesados. resultar un paso útil antes de decidir si es conveniente.o no desarrollar o lle-

,
(

(
La aplicabilidad en la evaluación educacional
var a cabo el currículo».

Seleccionar nuevos libros de texto. Los libros de texto de un distrito esco-

Los diversos autores están, por lo general, de acuerdo en que los proce-
( dimientos de contraposición para la toma de decisiones en educación no deben
necesariamente sustituir a las planificaciones ya existentes para la recopilación
( y el análisis de datos. Los procedimientos proporcionan un método alterna-
( tivo de presentar, interpretar, sintetizar e informar sobre evidencias. Se consi-
dera que los datos presentados son más equilibrados que los obtenidos única-
(
mente mediante tests psicológicos.
( Trasladados a un medio educativo, muchos de los procedimientos esboza-
dos para el contexto legal pueden suponer una consideración estructurada de
(
los aspectos importantes del programa y de su evaluación. Las presuposicio-
( nes , las metas , los métodos de recopilación de datos y su análisis, y la preci-
(
(
lar se escogen, demasiado a menudo, de una manera fortuita o precipitada.
Una audiencia contrapuesta formada por profesores de un comité de selección
puede informar y aclarar cosas a los profesores sobre el valor de los libros de
texto, basándose en argumentos a favor y en contra.
Estimar la congruencia entre una innovación y el sistema existente. Las
innovaciones pueden introducirse sin comunicárselo al más amplio contexto
escolar. En una audiencia contrapuesta la evidencia puede producirse mencio-
nando el probable efecto nocivo que puede producir una innovación en el sis-
tema como totalidad, revelando así las barreras potenciales que pueden frenar
el éxito de un programa. Luego, se pueden tomar decisiones para frenar o
superar las posibles dificultades.
 )
-~ )
! )
i,
T. R. Owens y R. L. Wolf I 299
298 I Evaluación sistemática )

Revelar las distintas interpretaciones hechas por distintos representantes

sobre los mismos datos. Owens afirma que un jurado puede comprender repre-
Dimensión 1: Marco
.,
')
.
sentantes de los estudiantes, profesores, administradores, padres y la comu-
)
nidad. Diversos miembros del jurado pueden interpretar los mismos datos de
diferente manera. Estas diferencias, comunicadas a quienes toman las decisio- )
nes, pueden mejorar mucho su comunicación con los grupos. Una toma de
Formal ')
decisiones colectiva puede ser también un resultado. Dimensión 3:
El que toma las decisiones Resultados ')
1nformar a los profesores, directores y administradores. Como observa- como juez
')
dores o participantes, los educadores pueden adquirir nuevos conocimientos Varios jueces o un jurado
Dimension 2: )
sobre el programa de la audiencia.
Jueces
La audiencia como juez
)
Resolver las disputas acerca de los contratos de trabajo. Continúan produ-
ciéndose disputas sobre la realización de los contratos de trabajo. Los pro- Ningún juez )
cedimientos de contraposición pueden ayudar a resolver las disputas basán-
)
dose en testimonios de expertos procedentes de una amplia gama de fuentes.
FIGURA 8-1. Aplicaciones y dimensiones de los procedimientos contrapuestos )
Llegar a la decisión que debe ponerse en práctica. Quien toma las decisio-
formal, cualquier aspecto de la dimensión de los jueces excepto «Muchos )
nes educativas puede servir como director de la audiencia, en cuyo caso su
veredicto es la decisión. O puede pretender implicar a los jurados, como los jueces o un jurado» y una decisión real como resultado. )
representantes de los profesores y de los estudiantes, en la toma de decisiones. )
O considerar el veredicto del jurado como una parte de la información que
debe ser utilizada en combinación con otras, como por ejemplo los argumen- Una forma del método de la contraposición: )
tos expuestos en la audiencia o los datos recopilados mediante tests. el modelo judicial de Wolf
)
Owens considera que los procedimientos de contraposición pueden ser es-
pecialmente relevantes para la aplicación de los métodos evaluativos desarro- El modelo judicial fue desarrollado por Robert Wolf en 1973, y luego )
llados por Daniel Stufflebeam, Robert Stake (su modelo «de la figura», 1967) fue puesto a prueba evaluando un programa educativo de la Universidad de
)
Indiana. Con el testimonio de distintas personas, pudo recopilarse rápidamente
y Malco1m Provus.
la información y obtenerse un balance equilibrado del programa destinado )
a la toma de decisiones.
)

Dimensiones de los procedimientos de contraposición )

La base lógica
)
La figura 8-1 expone las aplicaciones y dimensiones de los procedimientos
WOLF (1975) afirmó que «las evaluaciones educacionales se han conver- )
de contraposición tal como sugiere Owens. Un examen del modelo indica cla-
ramente que puede ponerse en funcionamiento de un modo muy flexible. El tido en un elemento cada vez más complejo para el incremento de la respon-
')
método de la contraposición resulta particularmente útil cuando está en juego sabilidad evaluativa». Esto quiere decir que los evaluadores deben justificar
sus decisiones en todos los aspectos, deben comprender la complejidad de los )
una decisión política que suponga grandes cantidades de recursos. En una
evaluación de este tipo es posible que puedan entrar en funcionamiento los programas de enseñanza y la importancia de la comunicación efectiva con ( )
siguientes aspectos del cubo de Owens: el marco formal, el juez (o jueces) el público acerca de estos problemas.
Wolf mantiene que la evaluación convencional no satisface estas «necesi- )
y el jurado, y la información que servirá de guía para la decisión. Si la eva-
luación consiste en descubrir cuál es el mejor libro de texto para un curso dades recientemente reconocidas». La solución a estos problemas no está en )
determinado, pueden utilizarse los siguientes aspectos del cubo: el marco in- la recopilación de grandes cantidades de datos técnicos, sino en la clarifica-
')
I )
(
( T. R. Owens y R. L. Wolf I 301
300 I Evaluación sistemática
(
ción de todos los aspectos de las alternativas del programa. Esto puede bene- rrollados proceden a menudo de los datos recopilados acerca de las virtudes
( y defectos del programa. Las afirmaciones que apoyan un aspecto u otro del
ficiar tanto al educador como al consumidor. La evaluación judicial de Wolf
( problema pueden proceder de testigos implicádos en el programa o afectados
está concebida para clarificar e informar.
El modelo adapta y modifica conceptos tanto de los juicios con jurado por él. Además, los informes evaluativos más importantes (por ejemplo, acer-
( ca de las primeras evaluaciones formativas), los documentos y los informes
como de las audiencias administrativas. La metodología legal ofrece un útil
( sistema de procedimientos destinados a producir deducciones alternativas a formales son estudiados para su posible utilización en los argumentos finales.
pa~tir de datos, antes de emitir los juicios. Los evaluadores pueden centrarse La etapa de la audiencia. Esta etapa tiene dos partes. En la sesión previa a
( la audiencia, ambos equipos examinan sus principales argumentos y, junto
claramente en un grupo de problemas, contar con el testimonio de dis-
( tintas personas, investigar diferentes aspectos de los problemas utilizando con el presidente de la audiencia, desarrollan las reglas y procedimientos de la
dos equipos evaluativos, permitir el desarrollo de un punto de vista equilibra- audiencia. Cosas como el número de testigos que deben ser convocados, el
( alcance de los interrogatorios y los criterios para determinar la admisibilidad
do y estructurar las deliberaciones de quienes toman las decisiones.
( Además, el modelo (como cualquier método basado en la contraposición) de la evidencia (por ejemplo, la relevancia) deben surgir de un acuerdo mutuo.
investiga mu~has de las presuposiciones y bases lógicas de los programas, Finalmente, se hace un borrador de las cuestiones más específicas que sirve
( como guia para las deliberaciones.
así como también los métodos mediante los cuales se recopilan y analizan los
( datos de la evaluación. En breve, la evaluación se convierte en algo «intelec- La audiencia propiamente dicha, que puede ocurrir tras meses de prepa-
tualmente honesto y justo». ración a través de las tres primeras etapas, puede constar de más de una
( sesión, dependiendo de la naturaleza de la evaluación. Tras la presentación de
( los argumentos y los interrogatorios, el jurado delibera. Si el propio jurado no
Las cuatro etapas del modelo judicial es el que toma las decisiones, recomienda qué decisiones deben tomarse.
( Wolf ha afirmado que el modelo judicial «ofrece un foro para la comu-
( Antes de que se produzca cualquier evaluación contrapuesta, es posible nicación y la difusión, tanto como para la evaluación». Ciertamente, el proceso
que las actividades evaluativas ya hayan tenido lugar. Por ejemplo, puede rea- puede clarificar las alternativas y las consecuencias de una decisión, que casi
(
lizarse una evaluación formativa continua para facilitar el desarrollo del pro- nunca pueden conocerse antes de la audiencia.
( grama. Cualquier informe acerca de los datos evaluativos que surja de esta
( actividad puede servir de ayuda para el proceso de la evaluación contrapuesta,
que se producirá cuando resulte útil para una importante toma de decisión. Los pros y los contras de la evaluación contrapuesta
( Wolf ha definido cuatro etapas para la realización del modelo judicial.
La etapa que propone los problemas. Inicialmente, se identifica una am- Probablemente es cierto que ningún otro modelo evaluativo ha provocado
(
plia gama de problemas relativos a la evaluación del programa, desde el punto tantos comentarios a favor y en contra como el método de contraposición.
( de vista de todo el personal implicado que resulte posible. Estos problemas Les proporcionamos ahora los comentarios más característicos de los parti-
( deben coincidir con los objetivos iniciales del programa. A través de entrevis- darios de ambos puntos de vista.
tas y otros medios, deben identificarse los problemas que se consideren más
(
importantes.
( La etapa que selecciona los problemas. Durante esta etapa, se reduce el El argumento a favor
número de problemas hasta dejarlo en una cantidad apta para una audiencia.
( En su articulo «An adversary Model for Educational Evaluation», Mari.
El personal del programa y otras personas relacionadas con él pueden ayudar
( a establecer un orden prioritario de problemas. Un grupo especial de investiga- 1yn KOURILSKY (1973) enumera algunas ventajas del modelo.
Alcance de la información. «El que toma las decisiones suele recibir una

,• Ción, formado por representantes de los grupos más importantes del programa,
decide luego la importancia de cada problema, hace las modificaciones necesa-
rias y lo pone todo por escrito.
La etapa de preparación de los argumentos. Los dos equipos evaluativos
amplia gama de información, que representa (por definición) a los dos lados.»
La confrontación entre las dos posturas opuestas provoca una completa jus-
tificación de la posición adoptada.
( Calidad de la evidencia. La relación contrapuesta provoca recomendacio-
preparan entonces los argumentos formales. Se desarrollan, a partir de cada
( problema, los aspectos específicos del enfrentamiento. Los argumentos desa- nes para el desarrollo de una mejor calidad de las evidencias para las tomas

(
{
 )

')

')
302 I Evaluación sistemática T. R. Owens Y R. L. Wolf I 303
¡
de decisiones. Los abogados saben muy bien que sus afirmaciones serán com- ante la consideración de quien(es) toma(n) las decisiones qu: v~rlo realmente )
probadas y, por lo tanto, deben buscar buenas pruebas que las apoyen. Las
eump l'd1 o.
Es también probable que las diferencias entre las tecmcas
. de dlos dos
afirmaciones de gran alcance del tipo «las investigaciones indican que ... » son valuadores (o equipos) sean muy acusadas. Como consecuenCla, pue e que )
muy poco corrientes en los procedimientos de contraposición. ~a defensa convierta el lado malo del caso en el más atractivo. Cuando se toma )
Disminuye la tendenciosidad inconsciente. El proceso disminuye la posibi- una decisión incorrecta sobre esta base, decisió? ~ue puede. afectar a un gran
lidad de ideas preconcebidas tanto por parte del personal del programa como ')
número de niños, se está realizando algo «autentlcame.nt~ mtolerable:> ..
del evaluador, referentes a aspectos de la educación, que puedan influir y Popham y Carlson recomiendan la utilización de dlstmtos procedImIentos ')
entrometerse en las conclusiones. Es posible que el evaluador y quien toma para remediar esta deficiencia del modelo. Proponen un proceso en el .q~e
las decisiones no sepan que existen realmente métodos tendenciosos. Los in- ')
los dos adversarios expongan las dos caras del problema. ~sí, se producuan
formes evaluativos, de cualquier modo, pueden fácilmente contener puntos dos grupos de argumentos positivos y dos grupos de negatIvos par~ .someter ')
de vista inconscientemente tendenciosos del evaluador y de aquellos que par- a la consideración de quien tome las decisiones. Así podrá ser mItIgado el
ticipan en el programa que se está evaluando. La evaluación contrapuesta ')
efecto de la disparidad de técnica entre los participante~. . . .,
proporciona el incentivo de presentar el mejor proceso posible para ambas Jueces falibles. La capacidad de los jueces e~ m~y vanable. DeclSlones JUdI- ')
partes. ciales imprudentes y mal concebidas pueden mflulr des~~nestamente en los
Disminuye el síndrome del «Sí, señor». A menudo ocurre que el evaluador resultados de una audiencia. Esto ocurre con mayor faCIlIdad en las nuevas )
conoce la predilección de quien toma las decisiones por ciertos resultados po- áreas evaluativas, donde no existen reglas para su realización. )
sibles de una evaluación. Inadvertidamente, «es incapaz de resistirse a la ten- Excesiva confianza en la bondad del madela. Dado que puede atribuirse
tación de satisfacerla», pero los procedimientos de contraposición ayudan a )
una injustificada bondad a especialidades que no se comprenden. ~~l t?do,
eludir este tipo de situaciones. . existe una cierta tendencia a suponer que el método de contrapOSlClOn sle~- )
Se exponen las presupasiciones más ocultas. El método de contraposición pre conduce a decisiones perfectas. El desconocimi~nto de la ley e.s la razon
ayuda a exponer, clarificar y finalmente cambiar las presuposiciones que sub- )
más frecuente para depositar una confianza exceSIva en la efi~aCla de este
yacen en un desacuerdo. Cuando aparece una prueba empíricamente verifica- modelo. Aunque el modelo de contraposición pued~, en ocas~~nes, ser ~e )
ble, las premisas de valor relativas a la recopilación de datos son expuestas y mucha utilidad en el desarrollo de los planes evaluatlVos, tamblen pue~e Ig-
discutidas. Cuando las presuposiciones y los criterios de valor (y los juicios) )
norar ciertas consideraciones políticas, lo cual puede dar al traste con CIertas
han sido claramente demostrados, pueden clarificarse sus incoherencias. Se esta- decisiones que hubieran podido ser resultados del proceso. . . )
blece así una sólida base para la futura toma de decisiones. El único remedio ofrecido por Popham y Carlson «para mltlgar el entu-
Todos los aspectos tratados en esta sección subrayan que las ventajas del
)
siasmo de los nuevos conversos» es asegurarse de que la realidad del progra-
método de contraposición proceden de su inevitable franqueza en los procesos ma que se evalúa no va a verse oscurecida por fastidiosas utilizaci?nes de )
dialéctico y legal. Como consecuencia, pueden tomarse decisiones mejores y más procedimientos legales (que a menundo no se comprenden del to~o bIen).
racionales.
)
Dificultades para construir la proposición de manera convemente para la
resalución. Los problemas educativos no siempre pueden plantearse .~e ma- )
nera que los resultados de la dialéctica partidario-a~v~rsario sean utIlIzables )
El argumento en contra en las tomas de decisiones. Quienes toman las declSlones sacan a menudo
conclusiones sobre la: base de una información compleja interrelacionada. Una )
En los últimos años, y desde distintas direcciones, se han venido expre- estructura que produzca resultados sólo en términos de ganador I pe~~edor )
sando ciertas inquietudes acerca de algunos aspectos del método de contrapo- puede estar evitando la naturaleza compleja y sutil de las buenas declSlones
sición. Una de ellas es la que han hecho pública W. James POPHAM y Dale acerca de los problemas planteados por programas educativos y sociales. )
CARLSON(1977) tras su participación en una evaluación contrapuesta en Ha- Como solución, Popham y Carlson recomiendan aplicar la evaluación. con- )
wai, en la primavera de 1976. Popham y Carlson enumeraron los defectos que, trapuesta sólo en aquellas situaciones educativas «en que las dos opClOnes
según ellos, presentan la mayoría de las evaluaciones contrapuestas; también }
decisorias se opongan directamente a otra». . . .
ofrecieron, cuando pudieron, sugerencias para mejorar esas deficiencias. Sin embargo, no puede asegurarse que quien toma las declSlones, dISP~- )
Diferencias entre las técnicas de los participantes. Es más fácil suponer niendo de una amplia gama de información como resultado de los procedI-
que las dos caras de un problema van a ser satisfactoriamente presentadas )
mientos de contraposición, seleccione la información que considere más im-
)
)
••
(
( 304 I Evaluación sistemática T. R. Owens y R. L. Wolf I 305
(
portante para cada área de decisión. Puede surgir de cualquiera de las presen. Respuesta correcta. La afirmación es verdadera. El modelo de la contrapo-
( taciones opuestas. sición ha sido desarrollado pan clarificar las facetas más importantes de un
( Excesivo coste. Es probable que la evaluación contrapuesta cueste más programa (o un programa propuesto) con el fin de que qui~~es toma~ las
que una evaluación convencional de un programa similar. La principal razón decisiones tengan pruebas suficientes y sólidas para tomar deC1S~onesra~lOn~-
( es que el coste de dos equipos y del personal de coordinación/arbitraje reque- les. Supone un alejamiento de la función evaluativa basada en el test pSlColo-
( ridos para una evaluación contrapuesta es mayor que el de otros métodos gico y un acercamiento al método dialéctico empleado por el modelo legal.
evaluativos, que sólo necesitan un personal especializado muy reducido.
¡( Si una evaluación contrapuesta debe ser llevada a cabo, debe invertirse
( una gran cantidad de tiempo en clarificar las normas de trabajo y los proce- PREGUNTA2. Los procedimientos de contraposición destinados a la toma
dimientos operativos. Popham y Carlson aconsejan el empleo de este tipo de de decisiones sustituyen a las planmcaciones ya existentes para la recopilación
( métodos sólo cuando pueden ser financiados. y el análisis de datos.
( Aunque las ventajas del método de la contraposición, pueden ser consi-
derables, está claro que debe considerarse cuidadosamente su utilidad poten- Verdadero . Falso .
( cial para la toma de decisiones antes de emplearlo. En términos generales,
( debe ser tenido muy en cuenta como posible método evaluativo cuando esté Si es verdad, dé su opinión acerca de la conveniencia de sustituir los dise-
en juego una decisión política que exija grandes cantidades de recursos. ños y métodos evaluativos ya existentes por los procedimientos de contrapo-
(
sición. Si es falso, diga cuál es la posición de las primeras planificaciones eva-
{ luativas respecto a los procedimientos de contraposición.
(
Test de conocimientos sobre la unidad 8 Respuesta correcta. La afirmación es falsa. Aunque los datos proceden-
( tes de un método de contraposición se consideran más equilibrados que los
( obtenidos únicamente mediante tests psicológicos, estos últimos son pruebas
Este test de conocimientos tiene dos partes: cinco preguntas que pueden admisibles en una audiencia. Hasta qué punto deben ser utilizados estos re-
( responderse con un verdadero o un falso y dos preguntas con varias respues- sultados en las pruebas finales, debe decidirse en las sesiones previas a la
tas para elegir. En la primera parte, cuando haya decidido si una afirmación audiencia.
{
es verdadera o falsa, debe usted responder otra pregunta basada en esa de-
( cisión. Las respuestas correctas se facilitan después de cada pregunta.
El apartado de preguntas con varias respuestas posibles debe también de- PREGUNTA3. Owens insiste en que quien toma las decisiones no debe
(
terminar si ha adquirido el suficiente conocimiento sobre los objetivos del

,e modelo de contraposición. En. cada caso, seleccione la que usted considere la

mejor respuesta. Luego, compárela con la explicación de las respuestas correc-
tas e incorrectas que siguen a cada pregunta.
desempeñar las funciones de presidente de la audiencia, puesto que su vere-
dicto puede convertirse en la decisión.

Verdadero . Falso .
(
( Si es verdad, diga cuál considera usted que es el verdadero papel de quien
PREGUNTA1. El modelo de la contraposición supone una mejora en la toma las decisiones durante una audiencia. Si es falso, comente el papel de
( toma de decisiones mediante la clarificación de los problemas inherentes a una quien toma las decisiones con respecto al juicio de las pruebas, incluida la posi-
proposición.
( bilidad de que implique a otros en la emisión de los juicios.
( Verdadero . Falso . Respuesta correcta. La afirmación es falsa. El que toma las decisiones en
( educación puede desempeñar el papel de presidente de la audiencia, en cuyo
Si es verdad, identifique el método básico en el que se basa el modelo. caso su veredicto es la decisión. Owens afirma que jurados como los profesores
~ Si es falso, ¿cuál es el verdadero propósito de la evaluación contrapuesta? o representantes de los estudiantes pueden también participar. Sin embargo,
( el veredicto del jurado puede ser sólo una forma de juicio que debe utilizarse
(
f
 ."..-
-.~.>- ••
..... r.
i
)
')

')
306 1 Evaluación sistemática T. R. Owens y R. L. Wolf 1 307
}
conjuntamente con otras informaciones cuando quien toma las decisiones llegue c) Aclarar a quienes toman las decisiones que el veredicto de una audiencia }
a una conclusión acerca del destino del programa. no es definitivo y que sólo presenta una parte de las pruebas (aunque
una gran parte) acerca del objeto de la evaluación. )
d) Organizar más audiencias para que quede claro que las técnicas de los ')
PREGUNTA4. El método de Wo1£ incluye procedimientos cuasilegales
participantes no están bien equilibradas.
que presentan los pros y los contras de un programa. )
Respuesta correcta. Debe usted haber seleccionado la «b». Si es así, pueden ...,
Verdadero . Falso . generarse dos grupos de argumentos positivos y dos de negativos, con el fin
I I de ponerlos a disposición de quien toma las decisiones. }
Si es verdad, mencione las «necesidades recientemente reconocidas» que,
")
según Wo1£, debe satisfacer el modelo. Si es falso, diga cuál es el verdadero Respuestas incorrectas
propósito del modelo judicial de Wo1£. ")
a) Es incorrecta: una proposición así roza lo imposible. ")
Respuesta correcta. La afirmación es verdadera. Wo1£ cree que la evalua- c) No es la mejor respuesta: aunque la afirmación puede ser correcta, no
ción debe desempeñar un papel cada vez más importante en lo que a la res- existe garantía de que una acción como ésta pueda necesariamente miti- )
ponsabilidad se refiere. Los educadores y otros profesionales deben justificar gar las diferencias entre las técnicas de los participantes.
)
sus decisiones. Y para hacerlo, deben conocer a fondo la complejidad de los d) Es incorrecta: una acción como ésta sólo puede empeorar una situación
programas de enseñanza: la evaluación resulta de mucha ayuda en este aspecto. ya de por sí desafortunada (a menos que se produzca la acción recomen- )
dada en «b»).
)
PREGUNTA5. Según Wo1£, durante una sesión previa a la audiencia, ambos )
equipos examinan sus principales argumentos y, conjuntamente con el director PREGUNTA7. ¿Con cuál de las siguientes afirmaciones no estaría W 01£
de la audiencia, desarrollan reglas y procedimientos para ella. de acuerdo?
)
)
Verdadero . Falso . a) El modelo judicial modifica conceptos tanto de los juicios con jurado como
de las audiencias administrativas. )
Si es verdad, mencione alguna de las probables áreas de discusión en una b) La metodología legal ofrece un útil sistema de procedimientos destinados )
sesión previa a la audiencia. Si es falso, diga qué procedimientos, si es que a producir deducciones alternativas a partir de los datos y antes de que'
se emitan los juicios. )
existe alguno, preceden a la audiencia real.
c) Los evaluadores no necesitan centrarse en un grupo de problemas; de )
Respuesta correcta. La afirmación es verdadera. Durante una sesión previa esta manera, podrán recoger una información flexible y equilibrada que les
ayude a aclarar la verdad acerca del programa. )
a la audiencia es posible que se llegue a un acuerdo en áreas como las siguien-
tes: número de testigos que deben ser llamados, alcance de los interrogato- d) El modelo judicial investiga muchas de las presuposiciones y bases lógi- )
rios, criterios para determinar la admisibilidad de pruebas y el esbozo de cas de los programas.
)
cuestiones específicas que sirvan de guía para las deliberaciones del jurado.
Respuesta correcta. Debe usted haber seleccionado la «c». La postura de )
Wo1£ consiste en que los evaluadores deben delinear un grupo de problemas;
PREGUNTA6. Para mitigar las diferencias que pueden existir entre las )
dos equipos evaluativos deben proporcionar un punto de vista equilibrado para
técnicas de los participantes, Popham y Carlson recomiendan: desarrollar y estructurar las deliberaciones de quienes deciden. )

a) Asegurarse de que los evaluadores seleccionados tienen idénticos antece-

)
Respuestas incorrectas
dentes y experiencia evaluativa. )
b) Realizar un proceso en el que los dos adversarios presenten las dos caras a) Es incorrecta: es una afirmación exacta acerca de la naturaleza casi legal
)
del problema. del modelo judicial.
)
)
'\

(
( 308 I Evaluación sistemática T. R. Owens y R. L. Wolf I 309

f
b) Es incorrecta: esta descripción es un retrato correcto de la meto¿'J[ogía 4. Los problemas pueden ser distintos de los objetivos originales del
( del modelo judicial. programa.
( d) Es incorrecta: una de las virtudes del modelo judicial es la capaci¿ad de 5. Para identificar los problemas, pueden utilizarse entrevistas y otros
investigar las presuposiciones y bases lógicas de los programas que se medios.
( están evaluando.
( b) La etapa de la selección de los problemas:
INTERPRETACIÓN DEL TEST DE CONOCIMIENTOS. Cuando haya realizado las 1. Los problemas deben reducirse a unas dimensiones adecuadas para
( dos secciones del test, le recomendamos que revise su trabajo y su comprensión la audiencia (deben ser especificados).
( de las respuestas correctas, así como las secciones de la unidad. 2. Debe esbozarse el papel que deben desempeñar el personal del pro-
grama y los demás tipos de personal en el establecimiento del orden
(
Ejercicios prácticos de prioridad.
t 3. Un equipo de investigación especial (que debe ser descrito) com-
prueba la importancia de cada problema y 10 pone todo por escrito.
( Este apartado contiene dos ejercicios prácticos que pueden determinar su
grado de comprensión del método de contraposición. Ambos ejercicios requie-
( e) La etapa de preparación de los argumentos:
ren haber entendido bien las implicaciones de la aplicación del modelo a si-
1. Se seleccionan dos equipos de evaluadores, que preparan argumentos
( tuaciones reales o hipotéticas.
formales opuestos.
Después de cada ejercicio hay una lista de aspectos que deben estar in-
( 2. Se desarrollan argumentos específicos sobre cada uno de los pro-
cluidos en su respuesta. Examinarlos puede ayudarle a valorar su trabajo.
( Puede también releer las partes más importantes de la unidad, cuando termine blemas.
.3. Se recopilan, a partir de distintas fuentes, argumentos y retos rela-
cada ejercicio, para valorar mejor su respuesta.
( tivos a los programas.
( 4. Se utilizan datos de cualquier otra evaluación (o evaluaciones) de
EJERCICIO 1. Seleccione un programa, real o hipotético, para evaluarlo.
los problemas seleccionados.
( Imagine que intenta organizar la evaluación utilizando el modelo judicial de
W.olf. Si 10 desea, incorpore algunas ideas de Owens (por ejemplo, puede
( d) La etapa de la audiencia:
utillzar su cubo dimensional). Escriba un ensayo esbozando los procedimien-
1. En una sesión previa a la audiencia, ambos equipos examinan los
( tos que pueden emplearse. Su respuesta debe incluir estos elementos prin-
argumentos especiales.
cipales:
( 2. Conjuntamente con el presidente de la audiencia, se determinan las
reglas del debate.
( a) La etapa de búsqueda de los problemas.
3. Se esbozan cuestiones específicas que sirven de guía para las delibe-
b) La etapa de selección de los problemas.
« e) La etapa de preparación de los argumentos.
raciones del jurado.
4. Se determinan los detalles de la composición del jurado, del grupo
( d) La etapa de la audiencia.
de quienes toman las decisiones y del número de sesiones que tendrá
( la audiencia.
La respuesta al ejercicio 1 debe incluir los siguientes puntos: 5. Se realiza la audiencia y el jurado delibera.
( 6. Sobre las recomendaciones resultantes se toman las decisiones.
( a) La etapa de búsqueda de los problemas:
1. Identificación de una amplia gama de problemas relativos a la eva- EJERCICIO 2. Comente en un ensayo los pros y los contras de la eva-
t luación del programa. luación contrapuesta. Complete su respuesta con un breve párrafo que con-
t 2. Los resultados de cualquier proceso de evaluación formativa pueden tenga opiniones equilibradas acerca de la utilidad del método de contraposi-
utilizarse para ayudar a identificar los problemas. ción a la luz de sus comentarios sobre sus pros y sus contras.
t 3. ~e in.vita al personal que interviene en el programa a que ayude a
t ldentlficar problemas evaluativos.

t
 )
)
)
310 I Evaluación sistemática Referencias bibliográficas I 311
']

e) Un argumento equilibrado: }
La respuesta al ejerciclO 2 debe incluir los siguientes puntos: Pueden proponerse soluciones para muchos de los argumentos ex-
1. )
puestos en contra del modelo.
a) Las ventajas de la evaluación contrapuesta. 2. Cuando puede conseguirse financiación, la evaluación contrapuesta re- )
1. El alcance de la información: ambas partes proporcionan una gran sulta recomendable, sobre todo si van a evaluarse programas muy ')
cantidad de información, mientras que su confrontación facilita la amplios.
justificación de las posturas adoptadas. 3. Cualquier estudio que utilice el método de contraposición debe abor- ')
2. Calidad de las pruebas: la constante posibilidad de recusación pro- darse con muchas precauciones. ')
voca que las pruebas se presenten con una precisa documentación 4. La utilización de un método abierto y honesto, con la tendenciosidad
y que las afirmaciones de largo alcance se hagan con mutha pre- reducida al mínimo, convierte al modelo en algo único entre todos )
caución. los demás modelos evaluativos. )
3. Disminuyen las ideas preconcebidas tanto del personal del programa
como del evaluador: el método de contraposición hace que las prue- )
bas no sean tendenciosas. Preguntas sin respuestas )
4. Disminuye el síndrome del «SÍ, señor»: el método evita que el eva-
luador esté siempre de acuerdo con las inclinaciones de quien toma En este apartado se proporcionan tres preguntas pero ninguna respuesta. )
las decisiones. Las preguntas pueden ser utilizadas como temas para deb~te~ o com~ base )
5. Salen a la luz las predisposiciones más ocultas: el método ayuda a para un trabajo personal. Quizá prefiera obtener un conOCImIento mas pro-
revelar, clarificar y finalmente cambiar las presuposiciones subyacen- fundo del modelo de contraposición leyendo los artículos y libros recomenda- )
centes en los puntos de vista opuestos; salen a la luz las premisas dos en la bibliografía. De cualquier manera, debe responder a las preguntas )
de valor y se clarifican las incoherencias. basándose en el material contenido en esta unidad y en las precedentes.
6. Es de una inevitable franqueza: como resultado, se toman mejores )
decisiones. 1. ¿En qué se diferencia el modelo de contraposición de los primeros mé- )
todos evaluativos?
b) Las desventajas de la evaluación contrapuesta. 2. ¿Hasta qué punto el modelo de contraposición puede funcionar en armo-
)
1. Las diferencias entre las técnicas de los partIcIpantes: la defensa nía con los métodos propuestos por Stufflebeam, Scriven y Stake? )
puede conseguir que el lado malo de un caso aparezca más atractivo. 3. Describa tres o cuatro situaciones en las que el método de la contrapo-
2. Jueces falibles: la capacidad de los jueces es muy variable y las malas )
sición puede ser empleado provechosamente. Basándose en el coste, de-
decisiones pueden influir en los resultados de una audiencia. cida si otro método evaluativo resultaría más útil en cada caso. )
3. Excesiva confianza en la bondad del modelo: el desconocimiento de
la ley puede provocar inmerecidos elogios de la eficacia del modelo. )
4. Se presta muy poca importancia a los problemas políticos: los eva- )
luadores pueden prescindir de las consideraciones políticas, pero Referencias bibliográficas
éstas seguirán existiendo sea cual sea la decisión que se tome, lo )
cual puede desbaratar futuros planes. AUERBAC H, c.; GARRISON,L. K.; HURST,W.; y MERMIN,S. 1961. The adversary )
5. Tiene dificultades para estructurar la proposición de modo conve- system. En The legal pl'Ocess, San Francisco, Chandler.
niente para la resolución contrapuesta: los problemas no siempre son FRANKH. N. 1949. Courts on trial. Princeton, N.]., Princeton University Press. )
,. KOURI~SKY,M. 1973. An adversary model for educational evaluation, Evaluation
,.
tratados de manera que sirvan de ayuda para una toma de decisión )
provisional, puesto que las decisiones se toman a menudo sobre la Comment 4, 2, junio.
LEVlNE,M. 1974. Scientific method and the adversary model, American Psyeholo- )
base de una información completa e interrelacionada.
gist (septiembre), págs. 666-677.
6. Excesivo coste: casi sin excepciones, la evaluación contrapuesta cues-
OWENS,T. R. 1973. Educational evaluation by adversary proceedings. En HOUSE,
)
ta más que una evaluación convencional de un programa similar. E. R. (comp.), School evaluation: The politics and process, Berkeley, McCutchan. )
POPHAM, W. James y CARLSON, Dale. «Deep dark deficits of the Adversary Eva-
)
)
312 I Evaluación sistemática

luation Model», Educational Researcher (junio 1977), American Educational

Researeh Association, Washington, D.C. 9 LA EVALUACION ILUMINATIVA:
S~RlVEN: M. 1967. The methodology of evaluation. En R. E. STAKE (comp.), Pers- EL METODO HOLISTICO
pectzves o/ curriculum evaluation, Chicago, Rand MeNally. .
STAKE, R. E. 1967. The eountenance of educational evaluation, Teachers College
Record 68 (abril), págs. 523-540. .
STUFFLEBEAM,D.; FOLEY, W.; GEPHART, W.;GUBA, E.; HAMMOND, R.; MERRI-
. MAN,H.; Y PROVUS,M. 1971, Educational evaluation and decision making, Itás-
ca, m., Peacock.
WOLF, R. L. 1974. The citizen as jurist: A new mode of edueational evaluation'
Citizen Action in Education (invierno), 4. ~
~. 1975. Trial by jury. A new evaluation method, Phi Delta Kappan, 57 (no-
viembre), págs. 185-187.

Para responder a la pregunta de si existen alternativas al modelo evalua-

tivo de Tyler (basado en los objetivos), un grupo de catorce hombres celebró
una conferencia en el Churchill College de Cambridge, en diciembre de 1972.
La meta de la conferencia era investigar «modelos no tradicionales de evalua-
ción de currículos» y establecer algunas directrices para futuros desarrollos
de esta especialidad. Los participantes, que incluían a Robert Stake por los Es- -
tados Unidos y a David Hamilton, Malcolm Parlett y Barry MacDonald por
Gran Bretaña, fueron escogidos por sus conocidas reservas acerca de las prác-
ticas evaluativas establecidas o porque habían sugerido o experimentado nuevos
métodos.
El resultado de la conferencia fue un manifiesto de objetivos que reco-
mendaba un replanteamiento total de las bases lógicas y las técnicas de los
programas evaluativos existentes. Estos conceptos básicos condujeron al desa-
rrollo de lo que se dio en llamar «evaluación iluminativa».
De un modo característico, los métodos evaluativos convencionales han se-
guido las tradiciones experimentales o psicométricas dominantes en' la inves-.
tigación educativa. Los evaluadores iluminativos creen que métodos como aqué-
llos son de un alcance limitado e inadecuado para dilucidar los complejos pro-
blemas con que se enfrentan los evaluadores.
La evaluación iluminativa se presenta vinculada a un paradigma de inves-
tigación antropológica opuesto. Los intentos de valoración de los productos
educativos dejan paso a un estudio intensivo del programa como totalidad:
su base lógica, su evolución, sus operaciones, sus logros y sus dificultades.
La crítica principal que se hace al modelo basado en objetivos es que
valora sin explicar, mientras que la metodología iluminativa, contemplando
el programa como un todo, utiliza más la descripción que los números.
 )

}
')
314 1 Evaluación sistemática La evaluación iluminativa I 315
')
Al final de la conferencia de Cambridge a la que nos hemos referido más 4. Los que diseñen los estudios evaluativos deben prestar mucha atención ."
arriba, los miembros decidieron hacer público el resumen de sus conclusiones. a lo siguiente:
Los puntos de este resumen, aunque hoy en día tienen una resonancia his- ')
tórica, han resistido y dirigido los senderos seguidos por los evaluadores que a) El a veces conflictivo papel del evaluador, como guía y maestro ')
están a favor del método iluminativo. Ahora resumimos las principales carac- d: quienes 'toman las decisiones, por una parte, y como especialista
terísticas de los objetivos y procedimientos de la práctica educativa sobre los )
técnico y ayudante de las mismas personas, por otra.
que se llegó a un acuerdo en la conferencia: b) El grado en que el evaluador, sus patrocinadores y s~s ay~dan.t~s, ')
deben especificar con anterioridad los límites de una lDvestlgaclOn.
1. Los esfuerzos previos para la evaluación de los programas educativos no )
e) Las ventajas y desventajas de intervenir en las práctica~ e~~cativas
han servido adecuadamente, en términos generales, a las necesidades de con el propósito de recopilar datos o controlar ~a vanabihdad. de )
quienes exigen pruebas de los efectos de estas prácticas. Las razones son ciertas características, con el fin de aumentar el mve,l de generahza-
')
las siguientes: ción de los resultados.
d) La complejidad de las decisiones educativas, que, inevitablemente, )
a) Se ha prestado muy poca atención a las prácticas educativas, in- tienen implicaciones políticas, sociales y económicas. .
cluyendo las del aprendizaje. )
e) El grado en que el evaluador debe interpretar sus observaclOnes, en
b) Se ha prestado demasiada atención a los cambios psicométricamente lugar de dejar que las interpreten las distintas audiencias. )
valorables en el comportamiento de los estudiantes.
e) La existencia de un clima investigativo que recompensaba la exacti- )
Es interesante advertir que la conferencia adoptó una postura muy simi-
tud de la valoración y la vaguedad de las teorías, mientras pasaba lar a la que promulgaba Cronbach, a saber, que los distintos diseños evaluati- )
por alto, sin relacionarlos, los problemas escolares y las cuestiones vos sirven a propósitos distintos y que, incluso para un solo programa edu-
)
investigativas, y toleraba una comunicación ineficiente entre los in- cativo pueden utilizarse muchas planificaciones distintas.
vestigadores y los que no participaban en ella. D~be usted ser capaz de conocer profundamente el método iluminativo )
a través del estudio de esta unidad. Al final encontrará ejercicios para com- )
2. Los esfuerzos futuros para la evaluación de estas prácticas deben satis- probar sus conocimientos. Ahora le proporcionaremos la lista de obj~ti~os de
facer los siguientes criterios: la unidad. Estúdielos, lea la unidad y luego realice el test de conOCimientos, )
comparando sus respuestas con las correctas. Finalmente, haga los ejercicios )
a) Responder a las necesidades y puntos de vista de las distintas au- prácticos, comparando sus respuestas con los puntos principales que ~e pro-
diencias. porcionamos, y responda, para terminar la unidad, a las preguntas SlD res- )
b) Clarificar los complejos procesos de la organización, la enseñanza y puesta. )
y el aprendizaje.
e) Servir a las futuras decisiones públicas y profesionales. )
d) Estar expresados en un lenguaje accesible para sus audiencias. Objetivos )
3. Por lo que, cada vez más, Los objetivos del capítulo son los siguientes: )
)
a) deben utilizar datos de observación cuidadosamente verificados; 1. Esbozar algunas dudas acerca de ciertos aspectos de la evaluación tradi-
b) las evaluaciones deben ser diseñadas con la suficiente flexibilidad cional, poniendo el énfasis en los procesos o valoraciones del aprendizaje, )
como para poder reaccionar ante acontecimientos inesperados; el paradigma agrícola-botánico, el método holístico de MacDonald y el )
e) la escala de valores del evaluador, ya la destaque él mismo o venga concepto de Stake de la evaluación como representación.
reflejada en el diseño, debe hacerse evidente para los patrocinadores )
2. Entender la evaluación iluminativa como un paradigma socio-antropoló-
y las audiencias de la evaluación. gico, teniendo en cuenta el contexto de los programas educativos, el sis- )
tema de enseñanza y el medio del aprendizaje.
)
3. Estudiar la organización y los métodos de la evaluación iluminativa por
)
)
(
( 316 I Evaluación sistemática La evaluación iluminativa I 317
f
medio de la consideración de sus principales características, la observación,
( las entrevistas, los datos procedentes de tests y cuestionarios, y la infor- El paradigma agrícola-botáníco
( mación documental y los antecedentes.
4. Considerar la elaboración de informes y la toma de decisiones: a quién
( :Parlett y Hamilton han comparado el método evaluativo de Tyler, bas.a~~
va destinado el informe, comunicación del espíritu del programa y dile-
en los objetivos, con un paradigma agrícola-botánico. (T. S. Kuhn descnblO
( rencias entre los informes.
en 1970 un paradigma como «un superconcepto que incluye áreas de pro-
5. Plantear ciertos problemas sobre la evaluación iluminativa mediante la
( blemas, métodos de investigación y normas aceptables para su solución».) Los
consideración de las reservas de Stenhouse, las tendencias de los expe-
estudiantes -como si fueran cultivos -son sometidos a pre-tests (la planta
( rimentadores y la relación de la evaluación iluminativa con los estudios
joven que es pesada o valorada) y luego sometidos a distintas experiencias
a gran escala.
( (condiciones de tratamiento). Como consecuencia, después de un cierto per~od?
de tiempo, los resultados (el crecimiento o la cosecha) se valoran para m~-
( car la relativa eficiencia de los métodos (fertilizantes) utilizados. Los estudios
La evaluación tradicional: semillas de duda
( de este tipo están destinados a proporcionar datos de tipo numérico y objetivo
que permitan la realización de análisis estadísticos. Variables aisladas como
( La importancia del proceso de aprendizaje de la valoración
el coeficiente de inteligencia, la clase social, los resultados de los tests, las
(, características personales y la valoración de su actitud, son codificadas y pro-
Ya en 1969, Weiss y Rein, interesados por las relaciones del «juego de
cesadas para indicar la eficiencia de los nuevos currículos, medios o métodos.
( los números» con la evaluación, afirmaron que, según ellos, una metodolo-
Estos autores afirmaban, sin embargo, que este paradigma tenía muchos
gía que pretendiera ser más efectiva, debía ser más descriptiva e inductiva.
( defectos:
Describiendo la forma más abierta de la intervención experimental, la reac-
( ción de los individuos e instituciones sujetos a su impacto y las consecuen-
cias (hasta el punto que les permitieran sus entrevistas y observaciones), se 1. Las situaciones educativas están caracterizadas por numerosos parámetros
(
podía aprender mucho acerca de la totalidad del programa. Así, debía ponerse que no pueden ser estrictamente controlados. Si se intenta estimular las
( más énfasis en los procesos de aprendizaje que en la valoración por sí misma. condiciones de trabajo por medio de la manipulación, se dará una situa-
Estas afirmaciones, repetidas desde entonces por muchos otros, indican que ción que no sólo será éticamente equívoca, sino que también puede con-
(
existía una preocupación por el hecho de que las evaluaciones convencionales ducir a «grandes molestias administrativas y personales».
( basadas en los objetivos no se dedicaron a comprender el proceso educativo. 2. Los diseños previos y posteriores a la evaluación demuestran que los pro-
( Hablaban en términos de éxito o fracaso, mientras que un programa es más gramas renovadores experimentan pocos o ningún cambio durante el
bien la mezcla de ambos, y una mezcla que cambia en cada caso. período de estudio. Una premisa raramente asumida en la práctica. De
( CRONBACH(1963) pensaba de un modo similar cuando escribió: cualquier manera, es algo fundamental para el diseño, puesto que obliga
( a los investigadores a adaptarse a las circunstancias cambiantes que tan
Los viejos hábitos de pensamiento y las técnicas establecidas no son buenas frecuentemente aparecen.
( directrices para la evaluación que requiere el perfeccionamiento de un curso. 3. Los métodos utilizados en las evaluaciones tradicionales imponen restric-
Tradicionalmente, la valoración educativa se ha preocupado sobre todo de ciones artificiales y arbitrarias al alcance del estudio. Parlett y Hamilton
« producir calificaciones exactas y precisas para poder comparar a los indivi-
afirman, por ejemplo, que concentrarse en la búsqueda de información
( duos. La experimentación educativa se ha preocupado de comparar las califi-
caciones medias de los distintos cursos. Pero la evaluación de un curso exige cuantitativa por medios objetivos puede conducir a descuidar otros datos,
l una descripción de los resultados. Esta descripción debe hacerse con la escala quizá más importantes para la innovación pero que son rechazados como
más amplia posible, incluso a costa de la exactitud y precisión, más bien su- «subjetivos», «anecdóticos» o «impresionistas». El evaluador, sin em-
( perficiales. bargo, puede necesitar utilizar información de este tipo si quiere explicar

,
t
4.
satisfactoriamente sus resultados y darles la importancia que tienen en
la totalidad del contexto.
La investigación de este tipo más reciente, que emplea amplios muestreos
( y busca generalizaciones estadísticas, suele ser insensible a las «pertur-
(
(
 )
¡
)
318 I Evaluación sistemática
La evaluación iluminativa I 319
')

baciones locales y a los efectos desacostumbrados». Como consecuencia
rara vez se estudian con detalle los resultados atípicos. '
5. A menudo, este tipo de evaluación fracasa al intentar responder a las
distintas preocupaciones y cuestiones de los participantes, patrocinadores
y otras partes interesadas. Dado que los evaluadores clásicos creen en la
«verdad objetiva» igualmente relevante para todas las partes, sus estu-
dios raramente reflejan la diversidad de cuestiones planteadas por los dis-
tintos grupos interesados.
Como afirmaron Par1ett y Hamilton, la evaluación basada en los objetivos
es víctima de su propia exigencia de ser exacta, controlada e inequívoca. En
el caso concreto de las innovaciones, el programa es vulnerable a múltiples
influencias externas, puesto que la definición del evaluador de la realidad
empírica es muy limitada. Como consecuencia, el evalUádor puede muy bien
desviar la atención de las cuestiones de la práctica educativa y trasladarla a
aquellas que son más de la incumbencia de patrocinadores y otros con preo-
cupaciones burocráticas.
MacDonald y el método holístíco
Al facilitar un método holístico para la evaluación, MacDona1d ofreció
una respuesta al paradigma agrícola-botánico. Su postura consistió en que
la evaluación no debe empezar por la presuposición de que ciertos datos
(como las calificaciones de los alumnos) deben constituir su área de preocu-
paciones, sino que el evaluador debe aceptar como potencialmente relevantes
todos los datos relativos al programa y sus contextos. Afirma que la acción
humana en las instituciones educativas difiere ampliamente a causa del nú-
mero de variables que influyen en ella. Esto se opone a la presuposición
adoptada por muchos, según la cual .ocurre realmente lo que se quiere que
ocurra, y 10 que ocurre varía muy poco en cada caso.
El método holístico también implica que la innovación de un programa
no consiste en una serie de efectos discretos, sino en un modelo de actos y
consecuencias orgánicamente relacionados. Así, un solo acto puede estar si-
tuado funcionalmente en la totalidad de un contexto. MacDona1d afirma que,
según esta proposición, las intervenciones en los currículos tienen más efectos
inesperados de los que normalmente se supone. Además, si un programa se
desarrolla en distintos marcos, las diferencias históricas y evolutivas convierten
a la innovación en una variable de gran importancia para la posterior toma
de decisiones. Finalmente, el método holístico implica que las metas y los
propósitos de quienes desarrollan el programa no deben ser necesariamente
compartidas por sus usuarios.
MacDonald también se interesa por las audiencias que reciben un informe
evaluativo y, particularmente, por aquellas que deben tomar decisiones a
partir de él. Considera que el estilo evaluativo tradicional no puede facilitar
I
el conocimiento de las consideraciones implicadas en una acción relacionada ')
con los currículos. Se decanta más hacia el desarrollo de un modelo empírico )
que por el de un modelo normativo para las tomas de decisiones educativas
y sus consecuencias. Esto, lógicamente, es una consecuencia del énfasis que )
pone MacDona1d en lo que puede ser descrito como un método antropológico ')
para la iluminación de un programa educativo.
)
')
El concepto de 5take de la evaluación como representación
')
Existen claras semejanzas entre la postura de MacDona1d y la de Stake, ')
particularmente en 10 que se refiere a su concepto de la evaluación como re-
presentación y su «evaluación respondente», respectivamente. De un modo )
similar, en su «figura de la evaluación educacional», Stake aspira a una evalua- )
ción «orientada hacia la compleja y dinámica naturaleza de la educación, que
preste la debida atención a las diversas propuestas y juicios de todos los que )
intervienen en su práctica». Después de subrayar las deficiencias de una eva- )
luación basada en los tests tradicionales, que insiste en la exactitud de las
calificaciones de cada estudiante y en la previsión de la validez, sugiere que )
«1a atención prestada a las diferencias individuales entre los estudiantes debe )
dejar paso a una atención puesta en las contingencias entre los antecedentes,
las actividades de clase y los resultados escolares».
)
El concepto de Stake de la evaluación como representación anticipa la )
noción de iluminación de Parlett y Hamilton. Se trata, igualmente, de una
reacción contra la tradición de intentar imponer un férreo control experimen-
)
tal sobre la situación innovadora. Describe la evaluación tradicional como «pre- )
ordenada», puesto que confía en la preespecificación y destaca la fijación de
)
las metas, la utilización de tests objetivos, normas asumidas por el personal
del programa e informes investigativos. Al recomendar la evaluación respon- )
dente, Stake explica su postura:
)
La evaluación educativa es una «evaluación responden te» si se orienta más )
directamente a las actividades del programa que a sus propósitos, si satisface
)
los requisitos informativos de la audiencia y si las distintas perspectivas de
valor presentadas están destinadas a dar cuenta del éxito del programa. )
)
Stake pone el énfasis, pues, en la presentación de los resultados. Si la eva-
luación debe estar más dirigida a quienes toman las decisiones que a los )
investigadores, el evaluador debe intentar describir el progra~--d~,manera )
que se comunique con la audiencia de un modo más na~!i!t.y':"~a;"'dectivo
que en el caso del informe investigativo. '_ . ' )
:.:: )
\f"

)
\

(
( 320 I Evaluación sistemática
La evaluación Iluminativa I 321
(
La unidad sobre el trabajo de Robert Stake, desde luego, explica con
EL SISTEMADE ENSEÑANZA.Los programas e informes educativos, por
( mucho mayor detalle los métodos «de figura» y «respondente» de evaLación.
lo general, contienen distintos planes y normas formalizadas relativos a acuer-
Lo que se quiere destacar aquí, en el contexto de la evaluación ilumí:1ativa,
( dos concretos sobre enseñanza. Cada uno de ellos puede estar concebido para
es la advertencia de Stake acerca de que la información investigativa puede
constituir, o definir, un sistema de enseñanza y para incluir una serie de pre-
( no ser la clase de información útil para quienes toman las decisiones.
suposiciones pedagógicas, un nuevo programa de estudios (muy probable-
( mente) y detalles acerca de las técnicas y el material. Un catálogo es una
especificación idealizada del esquema, una serie de elementos que forman un
f La evaluación iluminativa: un paradigma socio-antropológico
plan optimista y coherente.
( Parlett y Hamilton afirman que el evaluador tradicional se dedica a estu-
Este apartado y el siguiente tratan extensamente de PARLETTy HAMILTON
diar las innovaciones definidas. Después de haber examinado el anteproyecto
( (1977). En estos dos apartados, los autores comentan un modelo alternativo
o plan formalizado y haber deducido las metas del programa, los objetivos o
( a las. formas tradicionales de evaluación. Ellos lo han llamado «evaluación
los resultados deseados, el evaluador realiza los tests y los inventarios de ac-
iluminativa», un término que surgió de una investigación en el Massachusetts
( titudes que serán aplicados. Su meta es evaluar el sistema de enseñanza exa-
Institute of Technology, en 1969,
minando si se han alcanzado los objetivos o se han cumplido los criterios de
( trabajo.
Este método tecnológico, sin embargo, fracasa al intentar saber para qué
,( El contexto de los programas educativos
sirven el programa o el informe:
(
La evaluación iluminativa tiene en cuenta el amplio contexto en el que
( Ignora el hecho de que un sistema de enseñanza, cuando es adoptado, realiza
funcionan los programas educativos; así, su principal preocupación es la des- modificaciones que raras veces son triviales. El sistema de enseñanza puede
( cripción y la interpretación, más que la valoración y la predicción. Parlett quedar como una idea compartida, un modelo abstracto, un slogan o un apun-
y Hamilton afirman: «Es indiscutible que en el paradigma alternativo antro- te, pero adopta una forma distinta en cada situación. Sus elementos consti-
( pológico no pueden ser ignorados los efectos históricos, culturales y sociales.» tutivos son subrayados o ignorados, ampliados o eliminados, puesto que los
( Las metas de la evaluación iluminativa son las siguientes: profesores, los administradores, los técnicos y los estudiantes interpretan y
reinterpretan el sistema de enseñanza para su propia utilización. En la prác-
( 1. Estudiar el programa innovador: cómo opera, cómo influye en las dis- tica, los objetivos se reordenan muy frecuentemente, se redefinen, se aban-
tintas situaciones escolares a las que se aplica, sus ventajas y desventajas, donan o se olvidan. La formulación «ideal» inicial ya no resulta la más ade-
<. cuada, ni siquiera tiene ya demasiada importancia. Pocos se toman las des-
y cómo se ven afectadas las tareas intelectuales y las experiencias acadé-
( micas de los estudiantes.
cripciones del catálogo y las listas de objetivos en serio, salvo -al parecer-
el evaluador tradicional.
( 2. Descubrir y documentar qué significa participar en el esquema, ya sea
como profesor o como alumno.
( 3. Discernir y comentar las características más significativas de la innovación,
El paso del comentario del sistema de enseñanza en su forma idealizada
a la descripción de su realización práctica puede muy bien representar un
( las concomitancias recurrentes y los procesos críticos.
paso hacia un nuevo reinado. Esto nos conduce al segundo concepto, el medio
{ del aprendizaje.
De esta manera se intenta plantear y clarificar una compleja serie de cues-
( tiones, ayudando al innovador y a otras partes interesadas a identificar aque-
EL MEDIODEL APRENDIZAJE. El medio del aprendizaje es el «ambiente
llos procedimientos y aspectos del programa que pueden conseguir los resul-
( socio-psicológico y material en el que trabajan conjuntamente estudiantes y
tados deseados.

,
( Como afirman Parlett y Hamilton, la adopción de una evaluación ilumina-
tiva requiere algo más que un intercambio de metodologías (con las tradicio-
na1es); implica también nuevas suposiciones, conceptos y terminología para
profesores». Representa una red de variables culturales, sociales, instituciona-
les y psicológicas que interactúan de modos muy complicados para producir,
en el interior de los grupos o de los cursos, un único modelo de circunstan-
cias (por ejemplo, presiones, opiniones, conflictos) que cubre todas las activi-
t comprender la evaluación iluminativa de dos aspectos: el «sistema de ense-
dades de enseñanza y aprendizaje que se dan allí.
ñanza» y el «medio de aprendizaje».
t Según Parlett y Hamilton, la configuración del medio del aprendizaje, en
t
(
 )
')

')
322 I Evaluación sistemática La evaluación iluminativa I 323 )

cualquier aula concreta, depende de la interacción de muchos factores distin- )

tos. Por ejemplo, existen numerosas limitaciones (legales, administrativas y Organización y métodos de la evaluación iluminativa ')
financieras) para la organización de la enseñanza en las escuelas; existen
siempre presuposiciones operativas (sobre los acuerdos acerca de los temas )
los métodos de enseñanza y la valoración de los estudiantes) propuestas po; Caracteristicas principales de la evaluación iluminativa
')
el profesorado; están las características individuales de cada profesor (expe-
riencia, actitud ante los estilos de enseñanza y aprendizaje y expectativas per- La evolución iluminativa no es un método regularizado, sino una estra- ')
sonales); y están los puntos de vista, necesidades y motivaciones de los es- tegia de investigación general. Pretende ser adaptable para descubrir las dimen-
siones, metas y técnicas de la evaluación, y ecléctica para proporcionar al evalua- )
tudiantes.
Es importante que la diversidad y complejidad de los medios del aprendi- dor una serie de tácticas investigativas. Las decisiones acerca de la estrategia ')

zaje sean contempladas como una base para un estudio serio de los progra- que debe ser utilizada en cada caso concreto surgen del pr9blema que debe
')
mas educativos. Cualquier programa, y en particular una innovación, no puede investigarse. Ningún método se utiliza exclusiva o aisladamente; se combinan
verse como un sistema independiente y autosuficiente. La introducción de distintas técnicas para arrojar un poco de luz sobre un problema común. Ini- )
una innovación desencadena una serie de repercusiones a lo largo de todo cialmente, como afirman Parlett y Hamilton, la preocupación del evaluador
es familiarizarse con la realidad cotidiana del marco en el que está investigan- )
el contexto del aprendizaje. Y muy probablemente, pueden surgir consecuen-
cias inesperadas que afecten a la propia innovación, cambiando su forma y do. Este propósito es similar al de los antropólogos sociales o los historiado- )
moderando su impacto. res naturales. No intenta manipular, controlar o eliminar las variables situa-
)
Parlett y Hamilton insisten en que intentar relacionar los cambios en el cionales, sino abarcar toda la complejidad de la escena:
medio del aprendizaje y las experiencias intelectuales de los estudiantes es )
una de las preocupaciones básicas de la evaluación iluminativa. Como ellos Su tarea principal es desenmarañarla, aislar sus características más significa-
tivas, esbozar los cidos causa-efecto y comprender las relaciones entre las )
mismos dicen, los estudiantes no deben enfrentarse a un conocimiento «des-
creencias y las prácticas y entre los modelos de organización y los -modelos )
nudo; sino que éste les debe llegar vestido con textos, lecturas, grabaciones, et-
de los individuos.
cétera». Por su parte, la estructura administrativa está incrustada en estructu- )
ras institucionales y de departamentos mucho más amplias, cada una con sus
Dado que las evaluaciones iluminativas subrayan el examen del programa )
propios procedimientos y sus dependencias profesionales y sociales. Estos
como una parte integrante del medio del aprendizaje, se pone mucho el énfa-
aspectos del aprendizaje, aunque aparentemente alejados de la asimilación )
sis tanto en la observación en las aulas como en las entrevistas con los profe-
del conocimiento en las aulas, no deben ser ignorados. Así, el concepto del
sores y estudiantes participantes. Parlett y Hamilton afirman que existen tres )
medio del aprendizaje es necesario para analizar la interdependencia entre el etapas características de una evaluación iluminativa:
aprendizaje y la enseñanza, puesto que relaciona la organización y las prácti- )
cas de la enseñanza con las respuestas de los estudiantes a corto y largo plazo.
1. La .fase de observación, en la cual se investiga toda la amplia gama de )
Además, existen fenómenos de significativa influencia educativa, como el
vana bIes que afectan al resultado del programa o la innovación.
interés del estudiante, la concentración y el aburrimiento, que debilitan la )
2. La etapa de investigación, en la cual el interés se desplaza desde el reco-
distinción psicológica tradicional entre 10 «cognitivo» y 10 «afectivo». Esto,
nocimiento (de la fase de observación) hacia la selección y planteamiento )
por lo general, surge en respuesta a la totalidad del medio del aprendizaje,
de cuestiones de una manera coherente y ecuánime, con el fin de realizar
y no a uno solo de sus componentes. Los estudiantes responden tanto al cu- )
una lista sistemática y selectiva de los aspectos más importantes del pro-
rrículo oculto como al visible: asimilan las costumbres, convenciones, cultura
grama en su contexto. )
y modelos de la realidad de la situación del aprendizaje.
3. La etapa de la explicación, en la que los principios generales subyacentes
)
a la organización del programa son expuestos a la luz del día y se delinean
los modelos causa-efecto en sus operaciones. )

)
Dentro de esta estructura de tres etapas, se recogen informaciones utili-
zando datos recopilados de cuatro áreas: la observación las entrevistas los )
cuestionarios y los tests, y las fuentes documentales y sob~e antecedentes.'
)
)
\

(
( La evaluación Iluminativa I 325
324 I Evaluación sistemática
(
LA OBSERVACIÓN.La fase de la observación ocupa un lugar central en la ficar algunos resultados tempranos, pueden incluirse preguntas abiertas, junto
(
evaluación iluminativa. El investigador recopila información continua acerca con preguntas cerradas, con el fin de obtener tanto datos cuantitativos como
( de las actividades, las transacciones y los comentarios informales. Los datos comentarios inesperados.
deben ser organizados allí donde surjan y luego añadirse comentarios inter- Los cuestionarios sólo deben utilizarse después de haberlo pensado mucho.
(
pretativos sobre «las características de la situación, tanto manifiestas como Parlett y Hamilton afirman que existen objeciones válidas para ciertos aspec-
( latentes». Además de documentar estas actividades, el evaluador puede también tos de los cuestionarios. Su principal preocupación, sin embargo, es que los
documentar otras muchas, incluyendo reuniones entre el personal, los estu- cuestionarios no se utilicen de forma exclusiva. Par1ett y Hamilton afirman
(
diantes y los padres, las jornadas de la comunidad escolar, etcétera. que además de realizar cuestionarios, los participantes pueden también pre-
( Esta observación supone grabar discusiones con y entre los participantes parar comentarios escritos acerca del programa, elaborar y utilizar listas de
controlo recopilar diarios de trabajo por un período de tiempo determinado.
( para proporcionar información adicional que, de otro modo, debería obtenerse
mediante más entrevistas formales. Las convenciones y metáforas del lenguaje Los evaluadores pueden también utilizar tests de actitud, personalidad y
( que caracterizan las conversaciones de cada medio de aprendizaje pueden reve- logros, aunque éstos no gocen de una condición privilegiada en e! estudio.
Las calificaciones de los tests nunca deben ser utilizadas aisladamente. Para
( lar presuposiciones tácitas, relaciones interpersonales, diferencias de rango y
currículos secretos. dar cuenta de los propósitos, no deben comparar las distintas escalas de los
( Parlett y Hamilton también dicen que existe un lugar para la observación tests, sino utilizar esta comparación en una presentación de los resultados del
( codificada, mediante la utilización de planes para controlar la asistencia, el uso estudio en su contexto total.
del tiempo y de las facilidades disponibles, las interacciones interpersona1es,
( INFORMACIÓNDOCUMENTAL Y SOBRELOS ANTECEDENTES.Los anteceden-
etcétera. El evaluador iluminativo debe ser precavido, de todas formas, al uti-
( lizar estas técnicas, puesto que no pueden descubrir las características intrín- tes históricos de un programa deben ser considerados, puesto que no están
secas del programa. ahí por azar. Pueden utilizarse las fuentes principales, como los datos confi-
( denciales archivados, junto con relatos autobiográficos y de testigos oculares
( LAS ENTREVISTAS.Descubrir los puntos de vista de los participantes es del programa. Las grabaciones de reuniones y los ejemplos del trabajo de los
muy importante para la valoración de! impacto de un programa. En este pro- ~studiantes pueden también resultar útiles, así como la información que puede
( proporcionar una perspectiva histórica acerca de cómo contemplaron la inno-
ceso, los estudiantes y los profesores son interrogados acerca de su trabajo,
( comparándolo con su experiencia previa, y también acerca de la utilización vación distintos tipos de gente antes de que empezara la evaluación. Puede
y el valor del programa (o innovación). Disponen de una amplia gama de mé- también indicar áreas para después investigar o subrayar temas en una discu-
( sión más profunda. Igualmente, puede sacar a la luz aspectos de la innovación
todos para las entrevistas, pero deben escogerse los más apropiados para obte-
( ner el tipo de información o comentarios necesarios. Las entrevistas breves que de otra manera hubieran quedado ocultos.

( y estructuradas son convenientes para obtener información biográfica o demo-

,
gráfica, mientras que las formas más abiertas y discursivas suelen ser de mucha
( utilidad para temas menos sencillos. Si la insuficiencia de tiempo y dinero El informe y la toma de decisiones
imposi?i1ita entrevistar a cada participante (y esto ocurre con frecuencia), pue-
de. reahzarse una muestra de entrevistas escogidas al azar, teniendo un especial
( culdado de asegurarse de que los informantes o grupos particulares que man- ¿Quién recibe un informe?
( tengan una posición especial o cuyo punto de vista resulte notable estarán
incluidos en la muestra ' Ya en 1971, MacDonald había desarrollado su método holístico para la
l evaluación, que estaba basado en la toma de decisiones. Todos los autores y
Los DATOSDE CUESTIONARIOS Y TESTS. Aunque e! evaluador iluminativo
practicantes del estilo iluminativo están de acuerdo en que el propósito prin-
(
se concentra en la observación y la entrevista, no deben olvidarse las técni- cipal de los estudios evaluativos es contribuir a la toma de decisiones. El infor-
( cas de lápiz-y-pape! que demuestran ser útiles. Sus ventajas en los estudios me del evaluador está dirigido a tres grupos, distintos pero relacionados entre
a gran escala son especialmente evidentes, aunque también pueden utilizarse sí, de personas que toman decisiones: los participantes del programa, los pa-
(
de manera provechosa en los estudios más reducidos. Cuando se utilicen cues- trocinadores o administradores de! programa y los grupos externos interesa-
( tionarios investigativos en las últimas partes de un estudio para apoyar o cali- dos, así como investigadores y comités escolares.

,
(
 )
')

')
326 I Evaluación sistemática
La evaluación iluminativa I 327
')

Cada grupo acudirá al informe para que le ayude a tomar decisiones dis- )
tintas. Por esta razón, el evaluador no puede, incluso aunque se 10 pidan, Problemas relacionados con la evaluación iluminativa
')
proporcionar un simple juicio del tipo funcional no funciona acerca del futuro
del programa (o la innovación). Puede suceder que una decisión basada en )
el criterio evaluativo de un solo grupo sea discutida por otros grupos con Las reservas de Stenhouse
)
distintas prioridades.
Aunque simpatiza totalmente con la crítica del viejo estilo, el de la eva- )
luación del producto, de la que surge el estilo iluminativo, Laurence Stenhouse
")
La comunicación del espirltu del programa expresa algunas reservas acerca de este método. Su preocupación es el pro-
blema de los criterios, puesto que cree que la postura general asumida por ')
Como se ha afirmado al principio, Stake subraya que la tarea del evalua- algunos evaluadores iluminativos puede bloquear el progreso de la innovación
dor es comunicarse con una audiencia de una manera más natural y, además, )
basada en la investigación.
más efectiva que en el informe investigativo tradicional. Esto quiere decir A Stenhouse le parece que los evaluadores iluminativos se preocupan del )
que un informe formal escrito no siempre es necesario y que, de hecho, siendo «valor» o el «mérito» de un currículo o una práctica educativa, pero que sus
demasiado formal, puede traicionar sus propios propósitos. Una sobrecarga criterios no son claros y su preocupación por las audiencias y la presentación )
de datos es, por lo tanto, algo que debe ser evitado en un informe. En cam- de los resultados no es más que un enmascaramiento del problema: )
bio, según Stake, «necesitamos describir la complejidad. Necesitamos trans-
mitir la impresión holística, el modo, incluso el misterio, de la experiencia.» Aspiran a «contarlo tal como es», y a menudo escriben como si fuera posible )
La lucha entre el deseo natural del evaluador de reflejar 10 que ve y, por a condición de que puedan hacer alguna distorsión de acuerdo con sus pro- )
contra, explicarlo o relatarlo es, a veces, muy duro. Por una parte, el evalua- pios valores. Pero esto no es contarlo tal como es. Es sólo una creación de
dor puede querer capturar el aroma íntimo, la complejidad y la idiosincrasia significado a través de la utilización de criterios y estructuras conceptuales. )
del programa en la vida real, pero también inclinarse hacia una interpretación La tarea de informar a quienes toman las decisiones en un lenguaje que pue-
)
dan entender fácilmente puede conducir, con demasiada facilidad, a la impor-
con el fin de generalizar o buscar modelos o incluso capturar la esencia de 10
tación casual de presuposiciones y criterios sin examinar. La respuesta de la )
que se está estudiando.
audiencia puede ser seductora, especialmente si la audiencia es políticamente
poderosa. Y es demasiado fácil para la evaluación que aspira a ser una novela )
Las diferencIas entre los Informes degenerar en una novelucha. )

Una de las principales virtudes de la evaluación iluminativa es su versa- Stenhouse viene a sugerir que un elemento importante en una evaluación )
tilidad. Las diferencias entre los informes es una inevitable y deseable conse- adecuada de un currículo es la crítica filosófica. El objeto de esta crítica debe )
cuencia de este método. Las evaluaciones tradicionales están construidas sobre ser revelar el significado del currículo, más que calcular su valor, aunque,
requisitos metodológicos, mientras que las evaluaciones iluminativas destacan naturalmente, la revelación del significado invita a la valoración. De ahí que ( )
métodos construidos sobre definiciones de problemas y contratos entre el eva- su preocupación acerca de la evaluación iluminativa se centre en que presta )
luador y el patrocinador. Estos estudios, por 10 tanto, suelen estar dirigidos demasiada. atención a las dimensiones políticas de un estudio y a la presen-
tación de los resultados en una forma vívida y aceptable, pero a menudo par- )
a grupos específicos para que puedan ser discutidas las cuestiones y proble-
mas, incluso políticos, que afectan a estos grupos. En el caso de las audiencias cial, 10 cual puede convertir la discusión de estos criterios en «parte de la )
múltiples, la tarea del evaluador puede estar dirigida a distintos grupos por privacidad de los evaluadores». Afirma que estos problemas son demasiado
! )
medio de secciones específicas del informe. No importa qué forma adopte el importantes para que sean contemplados como ~<problemas domésticos de la
informe, con tal de que sea legible, breve e interesante. familia evaluativa». )
La evaluación iluminativa, así, destaca más la recopilación de información I )
que la toma de decisiones. La tarea del informe, para quienes toman las deci.
siones, es proporcionar un amplio espectro de complejas realidades acerca del )
programa. De ahí deben surgir discusiones que conduzcan a desenmarañar las )
complejidades y aislar lo trivial de lo significativo.
, )
:)
 (
( 328 I Evaluación sistemática
La evaluación iluminativa I '329
(
( La tendenciosidad experimental de los cuales es que el medio del aprendizaje, a pesar de su diversidad, com-
parte muchas características. AsÍ, la enseñanza se ve a menudo limitada por
( convenciones similares y los profesores se encuentran con similares grupos de
. Parlett. '! Hamilton plantean esta pregunta: ¿puede ser científica una
( problemas; existe una amplia gama de fenómenos sociales y del comporta-
~ter?!etaclOn ~~r~onal? Ellos saben muy bien (como Stenhouse) que la reco-
miento solapados que son inherentes a todos los programas de enseñanza,
( pI1~cl0n, el anahsIs y la presentación de los datos por un evaluador ilumi-
aprendizaje e innovación. La evaluación iluminativa puede contribuir a con-
nativo parecen se~ discretos. Los autores argumentan, sin embargo, como
( cretar y describir adecuadamente estos fenómenos mediante resúmenes extrac-
hace St~k~, que mnguna forma de investigación es inmune al prejuicio, la
( ;1
tend~nC1~sl.d~dy :rror humano. Cualquier estudio investigativo, según ellos,
tados, terminología compartida y conceptos útiles.
reqUler~ JUlC10Stecmcos y, por lo tanto, es vulnerable; incluso en los estudios
( evalu.atIvo~ ~~e manejan automáticamente datos numéricos procesados, es ne-
( cesano el JUlCIOen todas las etapas.
, ~in em~argo, como admiten Parlett y Hamilton, la amplia utilización de
( Test de conocimientos sobre la unidad 9
t~:m~as a~ler:as, d~ progresiva concentración y datos cualitativos en la evalua-
( c~on IlummatIva, Slgu~ permitiendo una gran parcialidad por parte del inves-
tigador: Enton:es sugIeren una serie de tácticas de precaución. Los asesores
( evaluativos es~an encargados de poner en duda las interpretaciones prelimi-
Para ayudarle a determinar si ha alcanzado usted los objetivos de conoci-
miento de esta unidad, este apartado contiene seis preguntas con muchas
( nares, y los ~Ien:bros del equipo investigativo pueden encargarse de desarro-
posibles respuestas y explicaciones de las respuestas correctas e incorrectas.
llar sus prop~as. mterpretaciones. Incluso con estas precauciones, persiste el
( elemento subJetiVO. Parlett y Hamilton afirman que esto es inevitable:
Debe usted seleccionar la letra que considere la mejor respuesta y luego com-
pararla con las que le proporcionamos nosotros. Cuando haya contestado a
(
las preguntas, podrá interpretar su trabajo siguiendo nuestras indicaciones.
Cuando el inves.tigador abandona el paradigma agrícola-botánico, su papel
( debe. ser neces?namente redefinido. La utilización de las técnicas e intuicio-
( nes Interpretauvas es entonces más estimulada que desaprobada.
PREGUNTA1. ¿Cuál de las siguientes afirmaciones describe mejor el mé-
( todo iluminativo de evaluación?
De un modo similar, debe decirse que la presencia del evaluador, inevita-
( blemente, causa su efecto en el desarrollo y evolución del programa. El eva-
a) Una investigación en la que los resultados de un programa se correspon-
1ua~or debe: por 10 tanto, intentar ser discreto, mantenerse en segundo plano
( den con las metas y objetivos expuestos.
y, SI es pOSIble, n? ser doctrinario. Esto conduce al importante hecho de que
( b) Un estudio centrado en proporcionar información para los principales
el ev~lu~dor .no solo debe tener capacidad intelectual, sino también dominar
tipos de decisiones educativas.
las tecmcas I?terpersonales. Un evaluador iluminativo busca la cooperación
( e) El descubrimiento del alcance del éxito de un programa mediante la reco-
pero, ~o la pId.e. Dado que el evaluador iluminativo recibe datos más ricos

,
( y mas mformatIvos que el evaluador tradicional, debe estar alerta para asegurar
que las normas profesionales se cumplen constantemente.
d)
pilación de todos los detalles admisibles relacionados con él y el debate
sobre los méritos de esos detalles.
Una investigación de un programa adaptable y ecléctica, en la que el
investigador, habiéndose familiarizado con el marco, observa, investiga
(
Estudios a gran escala y luego intenta explicar.
{
t ..
!ambié~ pued~ resp~nderse a la pregunta de si, teniendo en cuenta la po-
Respuesta correcta. Debe usted haber respondido «d». Aunque no es una
definición completa de la evaluación iluminativa, la afirmación contiene los
( S~CI?nespecIal del mvestIgador, la evaluación iluminativa debe necesariamente
cuatro elementos principales requeridos para una evaluación que utilice ese
hmltarse a las innovaciones a pequeña escala. Parlett y Hamilton creen firme-
( método, esto es, familiarizarse con el contexto, observar, investigar y explicar.
ment~ que la evaluación iluminativa puede ser aplicada a una escala más
( ampha. Basan su presuposición en una serie de puntos, el más importante

(
f
 )
"';'.'.
-, ')
i
')
330 I Evaluación sistemática La evaluación iluminativa I 331
, )

Respuestas incorrectas d) Es incorrecta: el evaluador iluminativo debe esforzarse en descubrir m:- ')
delos de causa-efecto en la operación de un programa Y; una v.ez hec o
)
a) Es incorrecta: esta afirmación se corresponde más con el método utili- esto, situar los resultados individuales en un contexto mas amplio y acla-
zado por la escuela evaluativa tyleriana, esto es, el «método de los obje- ratorio. '\
tivos». Es casi la antítesis de las metas de la evalución iluminativa. ')
b) Es incorrecta: ésta es la definición de evaluación a la que se adhieren
P REGUNTA3. <.'Cuál de las siguientes afirmaciones,
'1 .,
acerca del papel y
, aeta? .')
los partidarios de las evaluaciones basadas en las decisiones. Es parecida la importancia de la observación en la evaluación 1 ummatlva, es mas ex
a la evaluación iluminativa en que la información debe ser presentada a , ')
quienes toman las decisiones, pero difiere de ella metodológicamente en a) El investigador puede o no desarrollar una infor~ació~ continua acerca
muchas y significativas maneras (como indicará una lectura de la unidad )
de todas las actividades, transacciones Y observaclOnes mformales.
dedicada a Stufflebeam).
b) El valor de la observación consiste en proporcionar una base para orga- )
e) Es incorrecta: esta afirmación se aproxima al método utilizado en la eva-
nizar la recopilación de datos por otros medios. . .
luación contrapuesta, según el cual la metodología y el propósito de la )
e) Las observaciones in situ no deben ser influidas por las opmlOnes de los
investigación difieren marcadamente del método iluminativo.
participantes en el programa. . , '1 . )
d) La fase de la observación ocupa un lugar central en la evaluaclOn 1 uml-
)
nativa.
PREGUNTA2. Dado que la evaluación iluminativa no es un paquete de )
normas metodológicas sino una estrategia de investigación general, es preciso Respuesta correcta. Debe usted haber seleccionado la «d». La ta~ea prin-
que el evaluador )
cipal del evaluador es observar las comp1ejidad.es de la escena Y alslar sus
características más significativas, incluyendo los Clclos de causa Y efecto. )
a) sea flexible en su método, tanto para la planificación como para los pro-
cedimientos utilizados en el estudio, )
Respuestas incorrectas
b) intente controlar las variables situacionales, )
e) tome decisiones tempranas sobre la naturaleza de las investigaciones que a) No es la mejor respuesta porque la afirmación no subraya la función cen-
deben ser llevadas a cabo, )
tral de la observación.
d) sea cauto a la hora de formar (o conjeturar) modelos de causa-efecto para )
b) No es la mejor respuesta, y sólo es parcialm.ente exacta por~ue, :n la.s
las operaciones del programa que se está estudiando.
evaluaciones iluminativas, los datos observaclOnales son de mteres pn- )
Respuesta correcta. Debe usted haber seleccionado la «a». Esta afirmación mordial. 1 . , il . .
e) Es incorrecta porque el «dossier» de datos de la eva_Ua~l?n ummatlva )
está de acuerdo con el propósito declarado de que una evaluación iluminativa se realiza a partir de las discusiones con y entre los partlClpantes. - I )

debe ser adaptable y ecléctica. La elección de las estrategias investigativas

no debe hacerse a partir de la doctrina investigativa, sino de las decisiones )
acerca de las técnicas más apropiadas que hay que utilizar en cada caso con- PREGUNTA4. En lo referente a la recopilación de datos (con técnicas
creto. de papel-y-lápiz), ¿cuál de las siguientes opiniones respaldan Parlett y Ha-
)
milton? )
Respuestas incorrectas
~)
a) Estas técnicas y su inclusión pueden resultar ventaj.osas.
b) Es incorrecta porque el evaluador iluminativo actúa más como un antro- b) Estas técnicas deben ser utilizadas sólo en los estudlos a gran esc~la.. -t )
pólogo, cuando se ha familiarizado con el marco que está estudiando; ni e) Estas técnicas no deben incluir cuestionarios porque existen objeCIOnes
I ./
siquiera intenta manipular las variables. válidas a este método de recopilación de datos.
e) Es incorrecta: el evaluador iluminativo inspecciona el campo con la men- d) Estas técnicas, como los cuestionarios y los tests, no deben ser emplea- )
te abierta en toda su amplitud antes de seleccionar los temas o aspectos das, pero a cambio debe pedirse a los participantes que preparen comen-
)
de un programa para estudiarlos más detenida y documentadamente. tarios escritos y diarios de trabajo.
,)

~)
 ~ .
.~f-~
( ¡

( La evaluación iluminativa I 333

( 332 I Evaluación sistemática

c) No es la mejor respuesta, puesto que esta afirmación puede también ser
( Respuesta correcta. Debe usted haber respondido «a». Aunque se ca - asumida por muchos evaluadores que utilicen modos de evaluación dis-
centra en la observación, el evaluador iluminativo puede utilizar técnI'c ¿n tintos al iluminativo. Padett y Hamilton, sin embargo; afirman que la
( l' . 1 . as e
aplZ-y-pape ventajosamente, en particular porque sus resultados analizad evaluación evaluativa, en particular, necesita «normas y comportamientos
( pueden apoyar o calificar los resultados de las observaciones y las entrevist as.
os profesionales».
(
Respuestas incorrectas
( PREGUNTA6. Si es verdad que una de las virtudes de la evaluación ilu-
( b) Es, i~c~rrecta: aunque !as técnicas de lápiz-y-papel son probablemente minativa es su versatilidad, de: ello se deduce que
mas utIles en los estudIOs a gran escala, pueden también ser utilizadas
( de una manera prove.hosa en los estudios más reducidos. a) el enfrentamiento' entre el deseo del evaluador de reflejar 10 que ve, por
c) Es incor~ect~; aunque teniendo en cuenta los defectos de este método una parte, y de explicarlo, por otra, es a menudo muy real,
(
de r:copl1acIOn de datos, el evaluador puede utilizar cuestionarios, pero b) todos los informes deben tener en cuenta la respuesta de la audiencia,
( no aIsladamente. que puede conducir a una revisión del informe,
d) Es i~co~recta: los comentarios escritos y cosas por el estilo, junto con c) el informe final debe ser simple y fácilmente comprensible para las
(
las teclllcas de papel-y-lápiz, ayudan a completar el banco de información audiencias.
( del evaluador iluminativo. . d) una diversidad entre los informes es una consecuencia inevitable y de-
( seable.
( PREGUNTA5. ¿Cuál de las siguientes es la principal reserva expresada Respuesta correcta. Debe usted haber seleccionado la «d». Esta afirmación
( por Stenhouse acerca de la evaluación iluminativa? es un importante ejemplo de la versatilidad de la evaluación iluminativa. Los
informes, y los consiguientes resultados, están dirigidos a grupos específicos.
( a) Las informaciones están abiertas a distintas interpretaciones (políticas) Así, los diversos informes relativos a un estudio concreto contienen cuestio-
( puesto que las conclusiones no están basadas en datos «férreos». ' nes, problemas y asuntos políticos importantes para los diversos grupos inte-
b) Los ~esultados deben ser cuestionados, puesto que la planificación del resados.
( e~tudlo no es una norma (como, por ejemplo, ocurre en el modelo tyle-
i
( nano). Respuestas incorrectas
c) Las opiniones, presuposiciones y experiencia del evaluador pueden influir
( muy marcadamente en el informe y las subsiguientes decisiones. a) Aunque es una afirmación exacta acerca de la evaluación iluminativa, no
(
(
(
d) Est?s evaluadores aspiran a «contarlo tal como es», pero esto no es
pOSIble.

Respuesta correcta. Debe usted haber seleccionado la «d». Stenhouse afir-

t b)
ma: ~<~o se ~u~de contar tal como es. Esto sólo puede ocurrir mediante la
( creaCIOn de SIgnificado a trav~s ~e la utilización de criterios aceptados y es- e)
( tructuras conceptuales. Los criterios no examinados y las presuposiciones ca'
es la mejor respuesta, porque no explica la versatilidad del método, que es
la marca de fábrica de este tipo de evaluación.
No es la mejor respuesta: es dudoso que los evaluadores iluminativos
estén dispuestos a cambiar uno de sus informes finales, incluso aunque
unos pocos esperan una aceptación universal de sus resultados.
Es incorrecta: aunque el informe (o informes) debe ser un escrito que re-
sulte inteligible y atractivo para las audiencias, debe evitarse una simpli-

,
(
sualment: adoptadas por el evaluador, conducen a dudas acerca de la validez
del estudlO y sus resultados.»

Respuestas incorrectas
ficación exagerada. Como dice Stake: «La supersimplificación ofusca.»

INTERPRETACIÓN DEL TEST DE CONOCIMIENTOS.Cuando haya realizado el

(
test de conocimientos, cuente el número de respuestas correctas e incorrectas.
( a) Es incorrecta porque este punto no constituye una de las críticas de Le sugerimos que utilice este examen como guía para revisar y perfeccionar
( Stenhouse. su dominio del material presentado en esta unidad.
b) Es incorrecta por las mismas razones de la respuesta «a».
(
«
 , )

¡f
)
334 I Evaluación sistemática La evaluación iluminativa I 335
1
3. Los autores afirman, sin embargo, que las situaciones educativas
Ejercicios prácticos están caracterizadas por numerosos e importantes parámetros que
1
')
no pueden ser controlados estrictamente.
Esta sección contiene dos ejercicio ,. 4. Otra crítica es que las planificaciones investigativas anteriores y pos-
ha comprendido los dos .s ?racttcos que deben indicar si usted )
Tras cada ejercicio hay aSl~ectodspnnclpales de la evaluación iluminativa teriores asumen que los programas innovadores experimentan pocos
una Ista e puntos que t d d b h b . o ningún cambio durante el período de estudio, aunque esta premisa ')
su respuesta. El examen d us e e e a er incluido en
e estos puntos le ayudará a valorar su trabajo. raramente se confirma en la práctica. ')
5. Además, las evaluaciones tradicionales imponen restricciones artifi-
EJERCICIO l. Con referencia ífi ciales y arbitrarlas al alcance del estudio, puesto que las anécdotas ')
lett y Hamilton MacDonald Stskespec ~basa autores como Cronbach, Par-
' y a e, escn a un ensa bo d 1 subjetivas o los datos impresionistas no son tenidos en cuenta. ')
vas y d u d as acerca de los mét d d' . . yo es zan o as reser-
a su reevaluación y al . ~ os tdra IClOnales evaluativos que condujeron 6. La evaluación tradicional no puede responder a las distintas preocu-
consIgUIente esarrollo d 1 l' , 1 ")
u respuesta debe incluir esto 1 . . e a eva uaClOn i uminativa. paciones y cuestiones de los participantes y otros interesados en el
S s e ementos pnnclpales:
programa educativo. )
7. Parlett y Hamilton también afirman que la evaluación tradicional ha
a) La preocupación de Cronbach acerc dI' sido víctima de sus propias exigencias de control y exactitud, puesto )
b) Parlett y Hamilton y 1 d' a e «Juego de los números».
e) MacDonald 1 ' de par~ I~ma agrícola-botánico. que los programas son vulnerables a un gran número de influencias )
d) El Y e meto o hohsttco.
exteriores. )
concepto de Stake de la evaluación como descripción.

e) MacDonald y el método holístico: )

La respuesta al ejercicio 1 debe incluir los srguzentes
. . puntos: -
l. El método holístico ofrece una respuesta al paradigma agrícola-bo-
)
tánico. )
a) La preocupación de Cronbach acerca del «juego de los números»: 2. Los evaluadores deben aceptar como potencialmente relevantes to-
)
dos los datos concernientes al programa y su contexto.
l. ~a descripción pretende capturar 1 ., .. .
tltuciones sujetos a un . t a. ;-eacclOn de los IndIVIduos e ins- 3. El método holístico es un modelo de actos y consecuencias orgánica- )
a In ervenClOn experiment 1 d mente relacionados, de manera que un simple acto puede ser situado
que pueda de la totalidad d 1 a, y apren er lo )
2 P . dIe programa funcionalmente en la totalidad de un concepto.
. omen o e énfasis en los procesos d' " 4. MacDonald afirma que los programas pueden tener más efectos ines- )
deben estar destinadas d el aprendIzaJe, las evaluaciones
3. Cronbach expresa su pa compre.~ er e proceso educativo. perados de lo que normalmente se supone, y que los programas de-
. reocupaclOn acerca de 1 d" 1 )
tanoa que se da en la el" a tra IClOna impor- sarrollados en distintos marcos pueden evolucionar de manera dife-
va uaClon a la valor ., d . )
producción de «calificaci aClOn e ucacIOnal y a la rente.
individuos». ones exactas y precisas para comparar a los 5. MacDonald se orienta más hacia el desarrollo de un modelo empí-
)
rico que hacia el de un modelo normativo, en lo que se refiere a la
4. Cronbach insiste en que la descri ción d b )
escala posible incluso . 11 p. e e hacerse a la más amplia toma de decisiones educativas y sus consecuencias.
' SI e o ocasIOna la pérdid d
en el f ondo superficial. a e una precisión )
d) El concepto de Stake de la evolución como descripción: )
b) Parlett y Hamilt on y e1 paradIgma
. agrícola-botánico: 1. En su semblanza de la evaluación educativa, Stake propone un estu- )
dio que describa la naturaleza compleja y dinámica de la educación,
l. Parlett y H amI'1ton comparan los est d' . l'
con un paradigma agrícol b ,. U lOS eva uatlvos tradicionales y preste mucha atención a los diversos propósitos y juicios de los
2. P a- otamco practicantes. )
or esta razón, los estudios eval '. . .
datos de tipo objetivo y n ,. uat1vos tradlclOnales proporcionan 2. Criticando el excesivo énfasis que se le da a la valoración en la edu-
umenco para permitir análisis estadísticos. cación, Stake sugiere que se debe prestar más atención a las contin- )
)
)
, ~~
..

f
f 336 Evaluación sistemática La evaluación Iluminativa I 337

f gencias entre los antecedentes, las actividades de clase y los resul- b) La fase de observación:
( tados escolares.
3. El concepto de Stake de la evaluación como descripción anticipa la La fase de observación ocupa un lugar central en la evaluación ilu-
( 1.
noción de iluminación de Parlett y Hamilton; igualmente, destaca minativa.
( la influencia limitadora de la preespecificación y la concentración en
2. El investigador recopila continuamente informes de actividades, trans-
unas pocas metas prefijadas del programa. acciones y comentarios informales.
(
4. La evaluación responden te se orienta más directamente hacia las acti- El evaluador también documenta una amplia variedad de otros acon-
3.
( vidades del programa que a sus propósitos, y saca a la superficie tecimientos, como las reuniones. . .
perspectivas de valor que influyen en el programa. Se graban las discusiones con y entre los participantes, y se Identifi-
( 4.
5. El programa debe comunicar con la audiencia tan natural y eficaz- can las convenciones y metáforas del lenguaje. .,
{ mente como sea posible. Parlett y Hamilton creen que hay también lugarpar~ la o~serVaCl~?
5.
( 6. La advertencia de Stake es que la información investigadora no pue- codificada, que utiliza planes para el control de la aS.IstencIa,.l~ uuh-
de ser el tipo de información útil para quienes toman las decisiones. zación del tiempo y las facilidades, etcétera. Esta mformaclOn, Sltl
( embargo, debe ser usada con precaución, puesto que no es probable
{ EJERCICIO 2. Escriba un ensayo acerca de las principales características que descubra las características subyacentes del programa.
de la evaluación iluminativa y sus procedimientos (con excepción del infor-
( me). Su respuesta debe incluir estos elementos principales:
e) La fase de las entrevistas:
(
a) La evaluación iluminativa es una estrategia de investigación general.
( b) La fase de observación. 1. Descubrir los puntos de vista de los participantes resulta crucial para
e) La fase de las entrevistas. la valoración del impacto del programa. .
( Los que participan en el curso son interrogados acerca de su trabajO
d) Los datos de cuestionarios y tests. 2.
( e) La información documental y de antecedentes. y también acerca de su punto de vista sobre la utilidad y el valor del
programa. .
{ El tipo de entrevista escogida debe ser la más apropIada para obte-
3.
( La respuesta al ejercicio 2 debe incluir los siguientes puntos: ner el tipo de información o comentarios deseados.
4. Las entrevistas estructuradas y breves son convenientes para obtener
( información biográfica o demográfica, mientras que las formas más
a) La evaluación iluminativa es una estrategia de investigación general:
( abiertas y discursivas se utilizan para temas menos sencillos.
( 1. La evaluación iluminativa pretende ser adaptable para satisfacer las
dimensiones, objetivos y técnicas de la evaluación, y ecléctica para d) Los datos de cuestionarios y tests:
(
poner a disposición del evaluador diversas tácticas de investigación.
( 2. La elección de la estrategia que deberá utilizarse surge del problema 1. Aunque se concentre en la observación y las entrevistas, el evaluador
que debe investigarse. iluminativo no debe rechazar las técnicas de papel-y-lápiz que de-
( 3. Ningún método deberá utilizarse exclusiva o aisladamente. muestren ser útiles.
{ 4. El evaluador no intenta manipular, controlar o eliminar las variables Su ventaja para los estudios a gran escala es evidente (aunque tam-
2.
situacionales, sino que abarca tal cual toda la complejidad de la bién pueden ser utilizados en estudios reducidos).
( escena.
3. Los resultados de los cuestionarios pueden ser utilizados más tarde
{ 5. El evaluador se esfuerza por delinear ciclos de causa-efecto y rela- en un estudio para justificar o calificar los resultados provisionales
ciones entre las creencias y las prácticas. más tempranos.
(
4. Los cuestionarios sólo deben ser utilizados después de haberlo pen-
( sado mucho (y nunca en exclusiva).
( 5. Además de contestar los cuestionarios, los participantes pueden tam-

,
(
 . )
")
")
338 I Evaluación sistemática
Referencias bibliográficas I 339
")
bién preparar co~e~tarios escritos acerca del programa o diarios de ")
trabajo de. s.us actIvIdades durante cierto período de tiempo. Referencias bibliográficas
6. ")
~uede~ .utI~Izarse tests. ~~ actitud, de personalidad y de logros (pero CRONBACH,1. J. 1963. Course improvement through evaluation. Teachers College
SIDpnvIleglar su condlClOn dentro del estudio, y tampoco nunca ais- ')
Record, 64 (8), págs. 672-683.
ladamente). HAMILTON,D. F. Y DELAMONT,S. 1974. Classroom research: A cautionary tale, ')
Research in Education, 11 (mayo), págs. 1-16.
e) La información documental y de antecedentes: HAMILTON,D. y otros (comp.). 1977. Beyond the numbers game, Londres, Mac- ')
Millan Education. ')
1. Los antecedentes históricos de un programa deben ser registrados, HASTINGS, J. T. 1966. Curriculum evaluation: The why of the outcomes, Journal
pues no están ahí por azar. o/ Educational Measurement, 3 O), págs. 27-32. ')
2. P.ueden utilizarse las fuentes principales, como los datos confiden- HOUSE,E. R. 1972. The conscience of educational evaluation, Teachers College
Record, 72 (3), págs. 405-414. ')
CIales archivados, junto con los relatos autobiográficos y de testigos
MAcDoNALD,B. 1971. The evaluation of the Humanities Curriculum Project: A
oculares acerca del programa. ')
holistic approach, Theory into Practice, 10 (3), págs. 163.167.
3. Las g.rabaciones de las reuniones y los ejemplares del trabajo de los -.1973. Humanities curriculum project. En Evaluation in currículum develop- ')
estu?iant~s ?~eden también ser útiles para proporcionar una pers- ment: Twelve case studies (Schools Council Research Studies), Macmillan Edu-
pectIVa hIstonca. cation. )
PARLETT,M. R. 1972. Evaluating innovations in teaching. En H. J. BUTCHERy
)
E. RUDD (comp.), Contemporary problems in research in higher education,
Preguntas sin respuesta Nueva York, McGraw-Hill. )
PARLETT,M. R. Y HAMILTON,D. 1977. Evaluation in illumination: A new ap-
proach to the study of innovative programmes». En D. HAMILTONy otros )
En esta sección proporcionamos tres preguntas y ninguna respuesta. Las
(comp.), Beyond the numbers game, Londres, MacMillan Education. )
preg~nta~ p~e.den ser utilizadas como temas para debates o como base para
SCRlVEN,M. 1967. The methodology of evaluation. En R. W. TYLER,R. M. GAG-
tr~baJos IndIVIduales. Antes de abordar estas preguntas, quizá desee estudiar NE, Y M. SCRlVEN,Perspectives o/ curriculum evaluation (American Educatio- )
~as a fondo la evaluación iluminativa leyendo ciertos apartados del tercer nal Research Association Monograph on Curriculum Evaluation n. 1), Chicago,
lIbro. de la bibliografía, Beyond the Numbers Came, recopilado por David )
Rand McNal1y.
HamIlton. y otros.~in embargo, las preguntas deben responderse sobre la base STAKE,R. E. 1974. Responsive evaluation. New Trends in Evaluation, 35 (enero), )
del matenal contenIdo en esta y otras unidades. págs. 41-73 (Instituto de Educación, Universidad de Goteborg).
STUFFLEBEAM, D. 1. Y GUBA,E. 1968. Evaluation: The process of stimulating, )
1. «Los evalua~ores de la tendencia tyleriana, como Hammond y Michael aiding and abetting insightful action. Conferencia para el Segundo Simposio
)
y Metfe.ss~l, Informan de los resultados de los estudios evaluativos de un Nacional de profesores de Investigación Educativa, celebrado el 21 de no-
viembre, en Boulder, Colorado, Centro de Educación, Facultad de Evaluación, )
mod.~ dIstInt.o a los evaluadores del estilo iluminativo.» Discuta esta af1r-
Universidad del Estado de Ohio.
maClOn, p~Dl~~do un énfasis especial en la comparación de los métodos STUFFLEBEAM, D. 1. y otros (Phi Delta Kappa National Study Committee on Eva- )
de comUDlcaClOn.
luation). 1971. Educational evaluation and decision making, !tasca, m., Peacock.
2. ¿~uál~s son algunos de los problemas relacionados con la evaluación ilu- )
SUCHMAN,E. A. 1967. Evaluative research, Nueva York, Russel1 Sage Founda-
mInatIVa? ¿Existen métodos satisfactorios para solucionar estos proble- tion. )
mas, o acaso la evaluación iluminativa está condenada al fracaso por su TAWNEY,David (comp.). 1976. Curriculum evaluation today, Londres, MacMillan
causa? )
Educatíon.
3. iroponga un, pro~~ama hipotético e innovador para evaluarlo. Compare )
b~ metodologIa ut~lIzada por un evaluador tradicional con la que proba-
)
emente emplean a un evaluador iluminativo. Diga por qué un método
puede resultar más convincente que otro para la toma de decisiones. )

)
)
)
 L
r:
e
e
11
f; r
¡ 10
EL METODO EVALUATIVO DE SCRIVEN
ORIENTADO HA.CIA EL CONSUMIDOR
(f !l'
e .-r
l'
(" l'

( ¡:
( I
1<
( I
( r
(
(
1
( !f
El verdadero papel del evaluador, según Michael Seriven, es el de un
I
( «sustituto informado del consumidor». Provisto de técnicas para obtener una
t
l. información pertinente y exacta, y con un punto de vista profundamente razo-
( !
nado acerca de la ética y el bien común, el evaluador debe ayudar a los profe-
( sionales a proporcionar productos y servicios de alta calidad y gran utilidad
para los consumidores. y lo que es aún más importante, el evaluador debe
( ayudar a los consumidores a identificar y valarar los bienes y servicios alter-
( nativos. Scriven ha sido muy crítico con las ideologías evaluativas que se cen-
tran en alcanzar los objetivas de las participantes en lugar de satisfacer las
( necesidades de los consumidares. Par ello ha prapuesta ciertas canceptas Y
( métadas destinados a desplazar a la evaluación desde los objetivos hasta las

,
(

(
necesidades.
La evaluación sumativa puede servir para que los administradares decidan
si el currículo completa, terminado, pulida por la utilización del praceso eva-
luativo en su primera forma (formativa), representa un avance lo suficiente-
mente significativa sobre las alternativas disponibles, como para justificar los
(. gastos de su adopción por parte de un sistema escolar.
(;.
( Michael Scriven es un filósofo científico que ha contribuido ampliamente

,
(.

(t.
al desarrollo de la profesión evaluativa. Ha criticado duramente tanto las clá-
sicas como las más recientes conceptua1izaciones de la evaluación. Desarrolló
su concepción de la evaluación sobre una postura filosófica básica y ha de-
sarrollado conceptos y métodos para ayudar a articular y aplicar sus concep-

".
(.
tos. También ha sido uno de los pioneros en el esfuerzo de profesionalizar el
trabajo evaluativo.
Nació y creció en Victoria (Australia). Se licenció en matemáticas aplicadas

,
(.
 )

'l
)
I
1
342 Evaluación sistemática El método evaluativo de Scriven \ 343
")

y lógica simbólica en la Universidad de Melbourne y comp>tó su doctorado "'l

en Filosofía de la Ciencia en la Universidad de Oxford. De,,;--;npeñó funciones Objetivos )
profesionales en la Universidad de Minnesota desde 1952 a 1956, en el
Swarthmore College de 1956 a 1960, en la Universidad de Indiana desde Esta unidad pretende ayudarle a alcanzar los siguientes objetivos: )
1960 a 1965, en la Universidad de California en Berkeley de 1965 a 1975
")
y en la Universidad de San Francisco desde 1975 a 1982. En el momento de 1. Identificar y explicar la definición de evaluación de Scriven:
escribir estas páginas es profesor titular en la Universidad de Western Austra- Identificar y valorar sus críticas sobre los conceptos evaluatIVOs de Tyler ")
2.
lia, en Perth. y Cronbach. ., ")
Hemos decidido designar el método del doctor Scriven como «evaluación 3. Explicar su postura acerca del papel del juicio e~ la evaluaclOn.,
orientada hacia el consumidor» con el fin de caracterizar su método filosófico Explicar la función de la valoración de las ~~cesIdad:s e~ ,su metodo. ")
4.
básico. Ha definido la evaluación como la valoración sistemática del valor o 5. Explicar sus diferenciaciones entre evaluaclOn y. ~stImacIon de~, logro de ")
el mérito de las cosas, y ha subrayado que los evaluadores deben ser capaces las metas, la meta y las funciones de la evaluaCIon, l~ ~valuaclOn for~,a-
de llegar a juicios de valor justificables más que de medir cosas o determinar tiva y la sumativa, la evaluación intrínseca y la deCISIVa,.~a evaluaclOn ")
si las metas han sido alcanzadas. En lugar de aceptar las metas propuestas, un basada en las metas y la evaluación sin metas, y la evaluaclon y la meta-
)
evaluador, según Scriven, debe juzgar si el hecho de alcanzar las metas puede evaluación. . , 'd ifi
)
contribuir al bienestar de los consumidores. Independientemente de las me- 6. Comentar la lista de control de los indicadores de la evaluaclOn I ent -
tas, el evaluador debe identificar los resultados reales y calcular su valor desde cando la base lógica que le sirve de guía, enumerando y de~niendo ~us )
el punto de vista de las necesidades del consumidor. Para Scriven, la función etapas, y explicando cómo se relaciona la concepción ~?rmatlva-sumatlva
profesional del evaluador es la de un «sustituto informado del consumidor», con la lista de control de los indicadores de la evaluaclOn. )
y la «piedra angular de la ética profesional en el trabajo evaluativo» es fun- 7. Explicar sus valoraciones de las ideologías valorativas denominadas sepa- ')
cionar como una conciencia social informada. Su método evaluativo práctico, ratismo, positivismo, administración y relativismo. .,. ,
)
por lo general, consiste en identificar y ordenar los programas y productos 8. Definir su papel y sus principales contribuciones en la profeslOnalIzaoon
opcionales disponibles para los consumidores, basándose en su coste relativo de la evaluación. )
y en la consideración de las necesidades de los consumidores. A menudo ha
declarado que la revista Consumer Reports es un ejemplo de lo que debe Pueden alcanzarse estos objetivos con la simple lectura del material de )
hacer la evaluación profesional. esta unidad. Para enriquecer su comprensión de las ideas de Scriv:n, sin em- )
En esta unidad, resumimos y comentamos las contribuciones teóricas, me- bargo, estudie sus escritos originales, especialmente los ~ue menclO~amos a~
todológicas y profesionales del doctor Scriven. Su valoración crítica de los final de esta unidad. Buena parte del material que publIcamos aqUl no esta )
métodos alternativos también se define y comenta. Hablamos de su concep- disponible en la literatura publicada y refleja la relación laboral que el autor )
tualización formativa-sumativa y definimos sus principales conceptos de tra- mantuvo con el doctor Scriven durante más de diez años.
)
bajo. Su ataque de 1983 a las ideologías evaluativas establecidas y algunas
de sus sugerencias metodológicas también son comentados aquí. Concluimos el )
capítulo mencionando sus logros mediante la fundación de la Evaluation Net- La definición de evaluación
)
work y de Evaluation News.
Ahora reseñaremos los objetivos de la unidad. Por favor, revíselos, lea el A 10 largo de los años, el doctor Scriven ha ido des~rrollando su d~finición )
texto correspondiente, y realice el test de conocimientos y los ejercicios prác- de evaluación, pero su mensaje básico sigue siendo el mIsmo. En un a~t~culo ya
)
ticos que aparecen al final de la unidad. Valore sus respuestas comparándolas clásico (l967), definía la evaluación como una actividad metodologlca q~e
con las correctas y, si alguna de ellas es incorrecta, revise las secciones perti- «consiste simplemente en la recopilación y combinación de datos de tra~aJo )
nentes de la unidad. Quizá desee investigar por su cuenta realizando las «Pre- mediante la definición de unas metas que proporcionen escalas comparatlvas
)
guntas sin respuesta» (o discutiéndolas con sus estudiantes o colegas) y con- o numéricas con el fin de justificar 1) los instrumentos de recopilación de
sultando las fuentes de información acerca del trabajo del doctor Scriven que datos, 2) las' valoraciones y 3) la selección de las metas». Al discutir la evolu- )
proporcionamos al final de la unidad. ción de su definición de evaluación, le hemos oído decir a menudo que la eva-
)
luación, esencialmente, es la determinación sistemática y objetiva del valor o
)
)
,
(
f 344 I Evaluación sistemática El método evaluativo de Scriven I 345

(
el mérito de algún obj~to, y qu~ las evaluaciones se realizarán mejor contra .. evaluación en otro de sus artículos clásicos, «The Methodology of Evalua-
( ta~do a u~ evaluador mdependlente para que emita un juicio sobre algún tion» (1967).
( objeto b~sando~e .en pruebas acumuladas procedentes de su comparación con
otro,s objetos dIstIntos ~ la hora de satisfacer las necesidades del consumidor.
{ Se?un est~ punto de vIsta, la evaluación es preferentemente comparativa: de Evaluación formativa y sumativa
( ahí que a~enda ta.nto a los ~ostes comparativos como a los beneficios, se preo-
En este artículo, Scriven afirma que la principal responsabilidad del eva-
cupe ~e como satIsfacer mejor las necesidades de los consumidores sea -en
( luador es emitir juicios bien informados. Insiste en que la meta de la evalua-
e! meJ~r. de los casos- un~ actividad profesional que incluye proc~dimientos
( ción es siempre la misma: juzgar el valor. Pero, continúa, las funciones de la
sIste~atlcos, . d.e~a ser realIzada tan objetivamente como sea posible y deba
culmmar en JUICIOSy recomendaciones. evaluación son enormemente variadas. Pueden «formar parte de la actividad
( de la enseñanza, del proceso de elaboración de currículos, de algún experimento
( relacionado con el perfeccionamiento de la teoría del aprendizaje, de una
Crítica de otras tendencias investigación preliminar a la decisión acerca de la compra o rechazo de los ma-
( teriales ... », etc. Dice que el fracaso de distinguir entre la meta de la evalua-
( ción (juzgar el valor de algo) y sus funciones (utilizaciones constructivas de
Teniendo en cuenta la definición precedente, Scriven ha criticado dura-
los datos evaluativos) ha conducido a la adulteración de 10 que se ha dado en
( ment~ otros co~ceptos de evaluación y ha utilizado su análisis crítico para
llamar evaluación, para que ya no vuelva a alcanzar la meta de calcular el
ampliar su propIa p.~stura. Ha afirmado que la tradición tyleriana -que consi-
( valor. En otras palabras, dice que, demasido a menudo, los evaluadores, al in-
dera que la evaluaclOn debe determinar si los objetivos han sido alcanzados-
tentar ayudar a los educadores a mejorar sus programas, se han convertido
( es fundamenta~mente imperfecta, porque esencialmente no tiene valor. Cree
en cooperadores y han fracasado al juzgar los programas. Para Scriven, una
que las evaluaCIOnes basadas en este método son potencialmente inútiles, pues-
{ valoración objetiva del valor es la condición sine qua non de la evaluación.
to qu: las metas pro~uestas pueden ser inmorales, poco realistas, no repre-
Con la importancia suprema de la meta de la evaluación firmemente esta-
( sentatIvas de las necesIdades de los consumidores o demasiado limitadas como
blecida, Scriven procede a analizar las funciones de la evaluación. Concluye
para prever efect~s sec~ndarios posiblemente cruciales. En lugar de utilizar
( que existen dos funciones principales: la formativa, que ayuda a desarrollar
las me~as para gUlar y Juzgar los efectos, Scriven afirma que los evaluadores
programas y otros objetos; y la sumativa, que calcula el valor del objeto una
( deben J~zgar las metas y no dejarse limitar por ellas en su búsqueda de resul-
vez que ha sido desarrollado y puesto en el mercado.
tados. SI el p.rograma está guiado por metas meritorias, según él, los evalua-
( La evaluación formativa es una parte integrante del proceso de desarrollo.
dores deben Juz.gar las metas y no dejarse limitar por ellas en su búsqueda
Proporciona información continua para ayudar a planificar y luego producir
( de resultados. SI el programa está guiado por metas meritorias según él los
algún objeto. En la elaboración de currículos soluciona ciertos problemas
evalu~dores deben identificar todos los resultados de un progra~a, valora~ las
( necesldad.es de los consumidores y utilizar series de valoraciones para llegar
acerca de la validez del contenido, el nivel del vocabulario, la utilidad, la
propiedad de los medios, la durabilidad de los materiales, la eficiencia, la elec-
( a concl~slOnes a~~rca del mérito y el valor de los programas.
ción del personal y otras cuestiones. En general, la evaluación formativa se
Scn~~n, tambI~n. se enfrent~ al plan ofrecido por CRONBACH(1963). Cron-
( bach C~I~ICO la practica predommante de la evaluación de programas utilizando
realiza para ayudar al personal a perfeccionar cualquier cosa que esté operando

,
( tests tIpIficados pa~~ comparar el trabajo de los grupos de control y experi-
mentales, y acon~eJo el uso de un método más orientado hacia el desarrollo.
Cron~ach advertIa en contra de la utilización exclusiva de las planificaciones
o desarrollando.
En su función sumativa, la evaluación «puede servir para ayudar a los
administradores a decidir si todo el currículo ya finalizado, pulido mediante la
utilización del proceso evaluativo en su primera forma: (formativa), representa
( e~penmentales co~parativas y sugería que debían utilizarse distintas valora-
un avance sobre las otras alternativas disponibles lo suficientemente signi-
ClOnes para estudIar un programa concreto en profundidad mientras se iba
( ficativo como para justificar los gastos de su adopción por parte de un sistema
desarrollando, .Y que. los resultados debían ser utilizados como guía para el
escolar». La evaluación sumativa, por 10 general, debe ser realizada por un
( ~es~r,rollo. Scnven dIce que este plan de Cronbach olvida la importante dis-
evaluador externo para que aumente la objetividad, y los resultados deben
tmclOn en~~e la meta y las funciones de la evaluación, y, de hecho, identifica
t la e~~luaclOn ~on una sola de sus funciones, lo que Scriven denomina «eva-
hacerse públicos. Este tipo de evaluación investiga todos los efectos de los
objetos y los examina comparándolos con las necesidades de los consumidores.
~ luaclOn formatIva». Apoyándose en su crítica, SCRIVENamplió el concepto de

,
t
 )
")
')
346 I Evaluación sistemática I

1
El método evaluativo de Scriven 347
')
Compara los costes y efectos del objeto con los de aquellos que Scriven ha en el trabajo o el estado de salud. Scriven reconoce la impo~tancia de. la eva- ')
llamado competidores críticos, especialmente las alternativas más económicas. luación intrínseca, pero destaca que también deben determma.rse y Juzgarse
En caso de que la audiencia esté predispuesta a juzgar sólo los resultados los resultados, puesto que las relaciones causales entre las vanables del pro- )
comparándolos con las metas propuestas, la evaluación sumativa proporciona ceso y las de los resultados es rara, o ninguna, la v~z ~n que se conocen a )
juicios acerca de hasta qué punto las metas reflejan, de una manera válida, las ciencia cierta. Explica que ambos tipos pueden contnbult, ~anto a la e:,alua-
necesidades valoradas. En conjunto, la evaluación sumativa sirve a los consu- ')
ción formativa como a la sumativa. Es particularmente cnUco con las Juntas
midores proporcionándoles valoraciones independientes que comparan los cos- acreditadas, a causa de su preocupación por los criterios intrínsecos,. como el
tes, los méritos y los valores de los distintos programas o productos. número de libros de una biblioteca, y su fracaso al valorar el trabajO de los
'>
graduados. '>
')
Evaluación amateur contra evaluación profesional
La evaluación sin metas '>
En las primeras etapas de la elaboración de un currículo, Scriven prefiere
la «evaluación amateur» (autoevaluación) a la «evaluación profesional». Quie- '>
Dando un paso más en su amplia preocupación por la evaluación .bas~~a
nes han desarrollado un programa, cuando actúan como sus propios evalua- en las metas, Scriven presenta una propuesta contraria bajo la denommaclOn
)
dores, pueden ser un poco sistemáticos y subjetivos, pero también son sol- de «evaluación sin metas». Según este método, el evaluador p~rman~ce a pro- )
ventes, tranquilizantes, dedicados a la consecución del éxito y tolerantes con pósito ignorante de las metas fijadas para el programa. e .mvesuga t~os
los objetivos vagos y los procedimientos de desarrollo investigativo. Los eva- )
los efectos de un programa, independientemente de sus obJetlvos. No exlsten
luadores profesionales, si intervienen demasiado pronto, pueden «ahogar los efectos secundarios que examinar, puesto que los datos acerca de todos l~s.efec- )
fuegos creativos de un grupo productivo», retardar el proceso de desarrollo tos, cualquiera que sea el propósito del programa, son igual~ente adm1S1bles.
urgiendo a la clarificación de los objetivos o perder su punto de vista objetivo )
Si un programa se realiza como se supone que debe reahzarse, la evalua-
alineándolo demasiado con el esfuerzo productivo, entre otras cosas. Los eva- ción debe confirmar esto, pero el evaluador, a la vez, podrá descubrir los )
luadores profesionales son necesarios, sin embargo, para llevar a cabo las efectos inesperados que los evaluadores que se bas~n en las metas. pueden
evaluaciones formativa y sumativa durante las últimas etapas del desarrollo. )
olvidar a causa de su preocupación por las metas prefijadas. En cualqUIer.caso,
Ambos tipos de evaluación requieren un alto nivel de habilidad técnica y Scriven dice que la evaluación sin metas es reversible y complementana: se )
una objetividad que raramente posee el personal que interviene en el desarro- puede empezar sin metas, con el fin de investigar todos los efectos." y luego
llo, pues no está especialmente preparado en la teoría y metodología evalua- )
cambiar el método basado en las metas para asegurar que la evaluacl0n deter-
tivas. Scriven recomienda que un evaluador profesional sea incluido en el per- minará si las metas han sido alcanzadas. O incluso pueden realizarse simul- )
sonal que interviene en el desarrollo para llevar a cabo la evaluación forma- táneamente ambos tipos de evaluación por diferentes evaluadores. Las venta-
tiva, y aconseja muy a menudo que los evaluadores profesionales externos sean
)
jas de la evaluación sin metas, según Scriven, consisten en que es me~os
los encargados de realizar y presentar las evaluaciones sumativas. intrusiva que la evaluación basada en metas; más adaptable a los camblOs )
de metas repentinos; más solvente a la hora de encont.rar efecto~ .secund~- )
ríos; menos propensa a la tendenciosidad social, percepttva o cogntttva; mas
Evaluación intrínseca y evaluación final estimulante profesionalmente; y más equitativa a la hora de tener en cue?;a )
una amplia gama de valores. En general, nosotros creemos que la evaluaClon )
Scriven también distingue entre evaluación intrínseca y evaluación final. sin metas' es una técnica renovadora -no un modelo- que puede ayudar a
La evaluación intrínseca valora las cualidades de una mediación, sin tener en llevar a cabo el método evaluativo orientativo hacia el consumidor. )
cuenta los efectos sobre los clientes, juzgando ciertas características como las
)
metas, la estructura, la metodología, las cualificaciones y las actitudes del
personal, las facilidades, la credibilidad pública y los informes previos. La )
Valoración de las necesidades
evaluación final no se preocupa de la naturaleza del programa, de los libros )
de texto, de la teoría o de cualquier otro objeto, sino más bien de sus efectos Una de las dificultades de utilizar la evaluación sin metas se refiere a cómo
sobre los clientes. Estos efectos pueden incluir escalas de tests, rendimiento asignar un significado valorativo a los resultados. Si los objetivos se identi-
)
)
)
 ,
(
f El método evaluativo de Scriven
348 I Evaluación sistemática
(
( hcan sin hacer caso de 10 que se está tratando de lograr, ¿cómo se puden
separar las consecuencias deseadas de las indeseadas? La respuesta de SC[~ven
( es que deben compararse los resultados observados con las necesidades valo-
( radas de los consumidores. Pero si una necesidad es una discrepancia entre
algo real y algo ideal, y si un ideal es una meta, ¿no están las valoraciones
{ de las necesidades basadas en metas, y, por 10 tanto, no están también las
( evaluaciones sin metas basadas en metas? Scriven dice que no. Para empe-
zar las metas no deben coincidir necesariamente con cualquier grupo de ideales
( co~o los incluidos en una democracia. En cualquier caso, afirma que la con-
( cepción clásica de la necesidad, como discrepancia entre algo real y algo ideal,
es errónea, puesto que los ideales a menudo son ilusorios. Dado que las nece-
( sidades de los consumidores son un concepto fundamental en este método,
{ sus estudiantes y él conceptualizaron ampliamente e investigaron este con-
cepto.
{ Para Scriven, una necesidad es «cualquier cosa que sea esencial para un
{ modo satisfactorio de existencia, cualquier cosa sin la cual este modo de exis-
tencia o nivel de trabajo no puede alcanzar un grupo satisfactorio». Los ejem-
( compras o el mantenimiento, sino de 10 que puede utilizarse. Incluye
plos que utiliza, por lo general, son la vitamina C y la alfabetización. Cuando
( no dispone de esto, una persona puede estar físicamente enferma o social e
intelectualmente debilitada; de ahí que la persona 10 necesite. Para Scriven, la
(
valoración de las necesidades es un proceso para descubrir hechos acerca de
(, si no proporcionar o arrebatar ciertas cosas puede tener funestas consecuen-
cias, todo ello basado en normas razonables sobre lo que es bueno y 10 que
(
es malo. Dados los resultados de una valoración de necesidades, pueden juz-
( garse los resultados de un programa concreto como buenos, malos o indife-
rentes, dependiendo de si contribuyen o no a satisfacer las necesidades iden-
(
tificadas. Según nuestra experiencia, este argumento es, actualmente, más
( convincente en el terreno filosófico que en el práctico. Se necesita un alto
( grado de desarrollo en el nivel técnico antes de que la valoración de las nece-
sidades pueda producir significados factibles y apropiados para juzgar los
( resultados.
(
( La lista de control de indicadores de la evaluación
( manera real o potencial -el verdadero mercad()---- o consumidores o re-
La lista de control de indicadores sintetiza las primeras ideas de Scriven.
( Refleja su concepto de que la evaluación supone múltiples dimensiones, debe
( emplear múltiples perspectivas, introducir múltiples niveles de valoración y
utilizar múltiples métodos. De ahí que se haya referido a veces a la lista de
( control de indicadores como el multimodelo de evaluación. Sus dieciocho
t puntos son los siguientes:
,
l de los afectados, impactados o implicados.
f
I 349
1. Descripción. ¿Qué hay que evaluar? El evaluado, descrito tan objeti-
vamente como sea posible. ¿Cuáles son sus componentes? ¿Cuáles son
sus relaciones?
2. El cliente. ¿Quién ha encargado la evaluación? El cliente evaluativo, que
puede o no ser el iniciador de la investigación evaluativa, puede o no
ser el instigador del evaluando -por ejemplo, su fabricante, o la agencia
subvencionadora, o su padrino legislativo-- y puede o no ser su inven-
tor -por ejemplo, el planificador de un producto o programa.
3. Antecedentes y contexto de a) el evaluando y b) la evaluación. Incluye
la identificación de los mantenedores (incluyendo los no-clientes enume-
rados en el punto 2, el patrocinador, los representantes de la comuni-
dad, etc.); la presunta naturaleza del evaluando; las expectativas acerca
de la evaluación; el tipo deseado de evaluación (formativa o sumativa;
esquemas organizativos; esfuerzos prioritarios, etc.).
4. Recursos ({sistema de ayudas» o ({valoración de los efectivos») a) dispo-
nibles para la utilización del evaluando, b) disponibles para la utilización
de los evaluadores. No se trata de lo que se utiliza, por ejemplo, en las
el dinero, la habilidad, la experiencia previa, la tecnología y las consi-
deraciones sobre la flexibilidad. Esto es lo que define el nivel de via-
bilidad.
5. Función. ¿Qué hace el evaluando? Distinguir entre 10 que se supone
que hace -función o papel propuesta o declarada- y lo que de hecho
hace (función real, tanto para el evaluador como para el consumidor);
ambas cosas pueden incluirse en la descripción, pero, por 10 general, es
mejor tratarlas aparte. ¿Existen dimensiones, aspectos o componentes
obvios de estas funciones?
6. Sistema de distribución. ¿Cómo llega al mercado el evaluando? ¿Cómo
se mantiene (en servicio)? ¿Cómo se perfecciona (se pone al día)?
¿Cómo son sus usuarios? ¿Cómo se lleva a cabo su realización, control
y perfeccionamiento? ¿Quién hace todo esto?
7. El consumidor. ¿Quién utiliza o recibe (los efectos de) el evaluando?
Distinguir las poblaciones o consumidores escogidos -mercado desea-
d()---- de las poblaciones de consumidores directamente afectadas de una
ceptores (o clientes del evaluando, a menudo llamados clientela); esto
debe distinguirse de la 'población receptora total directa o indirectamente
afectada, que constituyen los verdaderos consumidores. Advierte que el
instigador y otras figuras de los puntos 2 y 3 también resultan afectados,
por ejemplo, por tener un trabajo, pero eso no les convierte en consu-
midores en el sentido estricto. Sin embargo, debemos considerarlos a la
hora de investigar los efectos totales y podemos describirlos como parte
 )

)
')

350 I Evaluación sistemática

El método evaluativo de Scriven I 351
)

13. Costes. En dólares-psicológico-de personal; inicial-repeticiones (incluyen- ')

8. Las necesidades y valores de los afectados y potencialmente impactados.
Esto incluye tanto los deseos como las necesidades, y también los valores do preparación, mantenimiento y perfeccionamiento); directo/indirecto- ')
como las normas sobre el mérito y los ideales juzgados o supuestos (véa- inmediato/ retardado/ rebajado; si conviene, por componentes.
14. Comparaciones con opciones alternativas, incluyendo las opciones reco- ')
se punto 9); las metas definidas del programa, cuando se lleve a cabo
una evaluación basada en metas; y las necesidades, y otras cosas, del nocidas y las no reconocidas, las disponibles y las que se pueden crear.
1
instigador, el controlador, el inventor, ete., puesto que están indirecta- Los principales contendientes en este campo son los «competidores críti-
cos» y se identifican en términos de coste más efectividad. Normalmente )
mente afectados. La importancia relativa de estas consideraciones, a me-
nudo opuestas, depende de las consideraciones éticas y funcionales. incluyen a aquellos que producen efectos similares o mejores por un ')
9. Normas. ¿Existen normas preexistentes y objetivamente valoradas, acer- precio menor, y mejores efectos por un coste extra razonable (recursos).
')
ca del mérito o el valor, que deban aplicarse? ¿Procede alguna de ellas 15. Significado. Una síntesis de todo lo anterior. La validación del procedi-
del cliente y el consumidor, de la función y de las necesidades/valores? miento sintético es, a menudo, una de las tareas evaluativas más dificul- ')
(Esto incluye los ideales asignados; véanse los ideales del punto 8.) Si se tosas. Normalmente, no puede dejarse al cliente, que, por lo general,
está mal equipado en experiencia y objetividad; y las fórmulas -por )
tienen en cuenta las metas, y si pueden ser valoradas como apropiadas
(por ejemplo, por una valoración de las necesidades), legales/éticas y todo ejemplo, los cálculos de coste-beneficio- rara vez resultan adecuadas. )
lo demás, debe comprobarse si han aparecido en el número 8 para ser Lo más útil es una flexible suma ponderada.
16. Recomendaciones. Esto puede o no ser requerido, y puede o no des- )
aceptadas, como una norma relevante, aquí en el punto 9.
10. El proceso. ¿Qué limitaciones/costes/beneficios se aplican a la operación prenderse de la evaluación; aunque sean requeridas, puede que no sea )
normal del evaluando (no a sus efectos o resultados del punto 11)? En posible proporcionar ninguna puesto que los únicos tipos que pueden re-
sultar apropiados no disponen de pruebas científicas específicas en el )
particular: legales / ético-morales / poli ticas / administrativas / estéticas /he-
dónicas/ científicas. Un proceso administrativo tiene limitaciones especial- campo de la investigación. (Los recursos disponibles para la evaluación )
mente significativas en lo que se refiere al «grado de realización», esto
es, hasta qué punto la operación real cumple las estipulaciones del pro- 17.
resultan cruciales aquí.)
El informe. El vocabulario, la extensión, el diseño, el medio, la locali- .)
grama o las suposiciones del patrocinador acerca de su operación. Un zaCión y el personal para su presentación necesitan un cuidadoso exa. )
proceso científico debe utilizar indicadores de los resultados finales cien- men, igual que la protección/ privacidad/ publicidad y la investigación
previa o la circulación de los borradores finales o preliminares. )
tíficamente reconocidos; también material científicamente (o histórica-
mente ... ) solvente de un libro de texto o curso. Puede constituir un 18. La metaevaluación. La evaluación debe ser evaluada preferiblemente an- )
problema ético la relativa importancia concedida a la satisfacción de las tes de a) su realización, b) la difusión final del informe. La evaluación
externa es deseable, pero primero el evaluador principal debe aplicar la
)
necesidades de la población escogida y las necesidades de carrera o con-
dición de otra gente afectada, como por ejemplo el personal del pro- lista de control de indicadores a la propia evaluacil'Sn. Los resultados de )
grama. la metaevaluación deben ser utilizados formativamente pero también pue-
)
11. Resultados. ¿Qué efectos ha producido el evaluando (deseados o inde- den ser incorporados al informe o transmitidos (resumidamente) al cliente
seados)? Resulta útil una matriz de efectos: población afectada X tipo y otras audiencias adecuadas. (Las «audiencias» aparecen en el metapun- )
de efecto (cognitivo/afectivo / psicomotor / sanitario / social! ambiental) X to 7, puesto que son el «mercado» y los «consumidores» de la evalua-
)
por la puntuación de las Z de tiempo de reacción (inmediata/al final ción.)
del tratamiento/más tarde) X duración X cada componente o dimen- )
sión (si se requiere la evaluación analítica). Para algunos propósitos, los Estas etapas no están concebidas para ser aplicadas en una secuencia con-
)
deseados (por ejemplo, control del programa, responsabilidad legal), para creta, pero deben ser planteadas antes de que se lleve a cabo la lista de con-
trol de indicadores. Igualmente, un evaluador puede recorrer la lista de control )
otros, no debe hacerse distinción (la evaluación del producto orientada
hacia el consumidor). muchas veces durante la evaluación de un programa. Los primeros recorridos )
12. Posibilidad de generalización a otras personas/lugares/tiempos/versio- constituyen la evaluación formativa; los últimos son lo que Scriven llama
«evaluación sumativa». )
nes. <~Personas» significa tanto el personal como los receptores. Esto
también puede denominarse posibilidad de distribución, posibilidad de La base lógica de la lista de control de indicadores es que la evaluación es )
venta/ exportación/ duración/ modificación. esencialmente un proceso de reducción de datos en el que se obtienen grandes
)
)
f
\
1
f 352 I Evaluación sistemática
I El método evaluativo de Scriven
I
f cantidades de datos para luego valorarlos y sintetizarlos en un juicio de valor
( g:obaL Al describir este proceso de reducción de datos, Scriven sugiere que las
primeras etapas ayuden a caracterizar un programa o producto, mientras que
(
las últimas pueden ayudar a valorar su validez.
(
( La ideologia separatista
la meta evaluación
(
{ El punto final de la lista de control de indicadores pide la evaluación de
la evaluación. Scriven introdujo este concepto en 1968, cuando publicó un
{ artículo respondiendo a las preguntas de cómo se evaluaban los instrumentos
( de la evaluación. Dice que ésta es una de las muchas preocupaciones de la eva-
luación y destaca que los evaluadores tienen la obligación profesional de que
( las evaluaciones propuestas o finalizadas estén sujetas a una evaluación com-
( petente. Su base racional es que la «evaluación es un tema particularmente
autorreferente puesto que se aplica a todos los esfuerzos humanos serios y, en
( consecuencia, a la propia evaluación». Advierte que la metaevaluación puede
( ser formativa, si ayuda al evaluador a planificar y realizar una evaluación
solvente, o sumativa, si proporciona al cliente pruebas independientes acerca
( de la competencia técnica del evaluador principal y de la solvencia de sus in-
( formes. Las sugerencias metodológicas de Scriven para la realización de meta-
evaluaciones incluyen la utilización de su lista de control de indicadores de
( la evaluación, para valorar una evaluación como producto, de otras listas de
( control o de otras normas evaluativas profesionales.
( nas cuyo trabajo están evaluando, se convierten en cooperantes, pierden su pers-
( Ideologías evaluativas
( do los evaluadores se resisten, ° por 10 menos evitan, evaluar sus evaluaciones.
Como se ha visto en el material precedente, Scriven es uno de los críticos
(. más reflexivos y expresivos de los conceptos evaluativos predominantes. En co-
herencia con esta postura crítica, ha destacado que la evaluación es un tema
( En oposición. a esta postura separatista, Scriven afirma que los profesio-
particularmente autorreferente, lo cual está de acuerdo con su recomendación
l de la metaevaluación. En un texto reciente, clasifica los conceptos evaluativos
establecidos en cuatro grupos y critica cada uno de ellos extensamente, con la
(
esperanza de convencer a los evaluadores de que reconozcan y renuncien a
t ci~r.tas tende~~i~s que, se?ún él, han debilitado el trabajo evaluativo. Luego
utIlIza su anahsIs de las VIrtudes y defectos de cada método para perfeccionar
f. la base lógica de su lista de control. Describe este modelo como algo que
( abarca las mejores características de las demás proposiciones serias acerca de
cómo hacer una evaluación, evitando al mismo tiempo las imperfecciones que
(
él identifica en las otras propuestas. Creemos que esto puede ayudarle a co-
( nocer más ~ f~ndo la filosofía evaluativa de Scriven, en general, y la lista de
,• control de llldIcadores de la evaluación en particular, si examina con cuidado
I
I 353
su análisis de las ideologías alternativas. Por lo tanto, vamos a intentar definir
sus aspectos más sobresalientes con relación a las cuatro ideologías. Estas ideo-
logías son la separatista, la positivista, la administrativa y la relativista.
Scriven contempla la ideología separatista como enraizada en la negacIon
o el rechazo de la proposición que asegura que la evaluación es una actividad
autorreferente. Esta ideología está perfectamente reflejada en las propuestas
evaluativas que requieren la participación de evaluadores totalmente indepen-
dientes de lo que se está evaluando. El establecimiento y mantenimiento de
esta independencia del evaluador respecto al evaluando es, a menudo, esencial
para asegurar que los informes evaluativos no van a ser tendenciosos. Además,
los evaluadores que practican esta ideología, según Scriven, no reconocen casi
nunca la necesidad de evaluar su propio trabajo. Muy posiblemente, muchos
de ellos, en cualquier caso, contemplan esta metaevaluación como un asunto
ajeno, puesto que los evaluadores, según su concepción separatista, no pueden
ser objetivos al evaluar su propio trabajo. De ahí que Scriven exponga la pa-
radoja de que un evaluador puede tener derecho a evaluar el trabajo de otros,
pero no interesarse por evaluar sus propios servicios, e incluso resistirse a ello.
En esta especie de parasitismo profesional, Scriven ve una imperfección
humana básica: «la valorfobia, un intensísimo miedo a ser evaluado». Se
manifiesta cuando los evaluadores, que están en estrecho contacto con las perso-
pectiva crítica y elogian 10 que quizá deberían criticar si se mantuvieran a
mayor distancia del evaluando. La valorfobia puede también presentarse cuan-
y también cuando los evaluadores, al valorar los programas, tienen cuidado de
no evaluar al personal del programa.
nales, incluyendo a los evaluadores profesionales, necesitan reconocer y tratar
honradamente con la naturaleza autorreferente de la evaluación. La marca de
fábrica de un profesional es someter su propio trabajo a evaluación. El hecho
de que todas las evaluaciones sean propensas a la tendenciosidad no debe desa-
lentar a nadie en la evaluación de su propio trabajo o de encargar a otro que
haga el trabajo. En cambio, se debe responder realizando la evaluación 10
menos tendenciosamente posible y sometiéndola a un examen, mediante su
comparación con normas reconocidas para una evaluación solvente. En las
llamadas evaluaciones de un programa se debe examinar de un moclo..realista
tanto el personal como otros aspectos del programa, puesto que, invariable-
mente, el éxito y el fracaso son inseparables del trabajo del personal y porque
 )
l 1
"'¡
354 I Evaluación sistemática El método evaluativo de Scriven I 355
')
habrá pocas posibilidades de perfeccionamiento a través de la evaluación si a hacer que la evaluación sea más independiente de las distintas y, a menudo, }
no se proporciona una guía para el perfeccionamiento del personal. opuestas posturas de \lúar que puedan mantener las diferente~ ~ersonas im-
plicadas en el programa. y la petición del administrador de limitar la valo- ')
ración a lo que se ha fijado es especialmente simpática, puesto que entonces )
La ideología positivista los evaluadores no sólo evitarán valorar la aplicación de un programa y es-
pecialmente la actuación de los miembros del personal, sino también tratar ')
Scriven contempla una segunda ideología, la del positivismo lógico, como con valores, ya que presumen que están incluidos en las metas del programa )
otra reacción exagerada ante la va10rfobia. En sus intentos de alejar la ten- fijadas por el administrador.
En la ideología administrativa podemos, entonces, ver la posibilidad de ')
denciosidad de los trabajos científicos, Scriven piensa que los positivistas
reaccionan exageradamente hasta el punto de intentar convertir la ciencia del una confluencia de las ideologías separatistas, positivistas y administrativas, )
siglo xx, en general, y la evaluación, en particular, en algo sin valores. Mien- todo ello con efectos negativos. Evitando la evaluación del administrador y
tras los separatistas rechazan la naturaleza autorreferente de la ciencia o la del personal (lo cual coincide con la ideología separatista), considerando la )
evaluación, los positivistas rechazan la naturaleza evaluativa de la ciencia. evaluación como un servicio técnico desprovisto de determinaciones de valor )
Scriven aporta una serie de casos contradictorios. Por ejemplo, los psicólogos (método positivista) y ayudando a los administradores a conseguir el buen
educativos que aseguran que no pueden hacerse juicios evaluativos con objetivi- informe que necesitan sobre el logro de sus metas (ideología administrativa), )
dad, producen, sin embargo, juicios evaluativos acerca del trabajo de los estu- el evaluador convierte, efectivamente, la evaluación en un perjuicio y no en )
diantes. Desde luego, la respuesta de Scriven a las imperfecciones del positi- una contribución a la sociedad.
vismo consiste en conceder una importancia central a la práctica de asignar Con lo esbozado hasta ahora, el estudio, según Stake, excluye muchos de )
significados de valor a los resultados obtenidos en los estudios evaluativos. los aspectos vitales de una evaluación solvente. Puede desalentar, más que )
ayudar, a los clientes, a la hora de examinar críticamente sus metas y servi-
cios. Concentrándose en las metas prefijadas, no puede asegurar que el servi-
)
La ideología administrativa cio tenga valor para satisfacer las necesidades de los consumidores. Puede )
también ser miope y no tener en cuenta si el servicio, el programa o el produc-
)
Para Michael Scriven, la «evaluación bien administrada» va mucho más to son la «mejor compra», cuando podría servir para que los clientes identi-
allá de la que simplemente se guía por un administrador competente. Puede, ficaran y compararan mejor las alternativas. Y puede también evitar problemas )
en cambio, esta última, suponer «una verdadera indulgencia hacia la valor- relativos a la ética y a la prudente utilización de los escasos recursos. Para
)
fobia» tanto por parte de los administradores del programa como de los eva- Scriven, un amplio éxito de la ideología administrativa y sus re1aciories con
luadores. Los administradores del programa pueden imponer controles rígidos otras malas prácticas evaluativas supondría un engaño para la sociedad y para )
sobre la evaluación que han encargado para que así no hayan sorpresas. Pueden la profesión evaluativa. Utiliza su análisis crítico de esta postura como plata-
)
desear que sólo se evalúe su programa y no el personal que participa en él forma para recomendar una serie de reformas, incluidas en su lista de control
ni, especialmente, el administrador. Y pueden insistir en que la evaluación de indicadores. Son las siguien tes: )
se limite a determinar si han sido alcanzadas las metas fijadas para el pro-
)
grama y a juzgar su trabajo basándose en los deseos de otro acerca del pro- 1. Realizar las valoraciones de las necesidades como base para juzgar si un
grama. programa ha producido resultados beneficiosos. )
Para el punto de vista del administrador, esta ideología administrativa 2. Evaluar «sin metas» para no preocuparse de las metas prefijadas y de
incluye claramente una tendencia a producir informes favorables. Según Scri- ese modo perder resultados importantes pero inesperados, buenos o
J
ven, muchos evaluadores están dispuestos a cumplir los deseos del administra- malos. )
dor acerca de unos informes favorables y predecibles a causa de una serie 3. Comparar 10 que se está evaluando con otras alternativas viables. )
paralela de razones autosatisfactorias. Necesitan futuros contratos o conservar 4. Examinar los servicios según su coste y efectividad.
su posición evaluativa en la institución, y proporcionar un informe favorable, 5. Combinar la evaluación del personal con ia del programa. ')
o al menos uno que no ponga nervioso al cliente o al patrocinador, es 10 mejor )
que pueden hacer para obtener más trabajo. A menudo están incluso dispues-
tos a evitar cualquier interés por la evaluación del personal porque esto ayuda )
)
I )
 \

f 356 I Evaluación sistemática El método evaluativo de Scrlven I 357

f
décadas y han influido sustancialmente en la práctica evaluativa. Los estudian-
(
La ideología relativista tes que se tomen en serio la evaluación' deben estudi:u' sus escritos originales
( y estar al corriente de sus futuras contribuciones.
Otra ideología que Scriven considera imperfecta y de influencia nociva
(
para el trabajo evaluativo es la ideología relativista. Scriven la contempla
{ como una reacción exagerada a los problemas relacionados con la ideología
positivista. Mientras los positivistas, a menudo, han empleado la concepción de
(
que existe una realidad objetiva que puede conocer cualquiera que pueda y Test de conocimientos sobre la ~nldad 10
( quiera utilizar procedimientos valorativos no tendenciosos, los relativistas
afirman que esto es totalmente simplista y sólo puede conducir a valoraciones
(
limitadas que den una importancia exclusiva e inmerecida al punto de vista Ahora proporcionamos dieciséis preguntas con muchas posibles respuestas
( de algún grupo poderoso, con la errónea concepción de que su punto de vista y cinco afirmaciones para cotejar. Cada una de ellas va seguida de una expli-
( y sus valoraciones son objetivos. En respuesta a los riesgos del positivismo, cación de las respuestas alternativas correctas e incorrectas. Estas preguntas
los relativistas afirman que todo es relativo, que no hay una verdad objetiva. y explicaciones están concebidas para ayudarle a determinar si ha alcanzado
( Por lo tanto, abogan por perspectivas múltiples, criterios múltiples, valora- los objetivos de conocimiento de esta unidad. En cada pregunta, seleccione la
( ciones múltiples y respuestas múltiples. respuesta que considere la mejor. Cuando haya seleccionado una respuesta,
Scriven considera que buena parte de este movimiento evaluativo es una evalúe su elección comparándola con 'las indicaciones y el material interpreta-
( respuesta exagerada que a veces niega la posibilidad de las determinaciones tivo que siguen a cada pregunta.
( objetivas del valor o incluso de descripciones objetivamente correctas de los Cuando haya contestado a todas las preguntas, deberá calificar e interpre-
programas. Aunque también rechaza la existencia de una sola descripción co- tar (y, si es necesario, perfeccionar) su trabajo. Luego deberá enfrentarse a
( rrecta, nos aconseja que no abandonemos la idea de que existe una realidad unos cuantos ejercicios prácticos. La sección final de esta unidad propone
( objetiva. Aunque puede haber una compleja realidad más allá de nuestra «Preguntas sin respuesta» y recomienda lecturas complementarias.
capacidad presente de comprender y describir a fondo, sólo nos engañaremos
( a nosotros mismos si creemos que no existe. Aconseja, en cambio, que rela-
( tivicemos nuestras descripciones para las distintas audiencias. Pero nos ad- PREGUNTA1. Según Scriven, la evaluación es
vierte que no aceptemos todas las descripciones opuestas como correctas,
(
como, según creemos, son propensos a hacer algunos de los relativistas más 11) el proceso de determinar hasta qué punto han sido alcanzadas las metas;
( obtusos. En lugar de eso, estamos obligados, como evaluadores, a buscar lo b) el proceso de delinear, obtener y proporcionar información útil para el
«mejor», lo «perfecto», lo «ideal». cliente a la hora de juzgar ópciones de decisión;
(
e) el proceso de determinar las discrepancias entre la realización del trabajo
( y las normas establecidas;
La profesionalización de la evaluación d) el cálculo del valor.
l
( En coherencia con su preocupación por evaluar las ideas y trabajos de sus Respuesta correcta. Debe usted haber seleccionado la «d». Según Scriven,
colegas evaluadores, Scriven ha hecho un gran esfuerzo por profesionalizar la evaluación es el cálculo del valor. Es coherente con la definición formal de
{
la evaluación. Fue uno de los primeros que recomendó el desarrollo y utiliza- evaluación que él mismo presenta en «The Methodology of Evaluation». (<<La
( ción de las Standards for Evaluations of Edueational Programs (Joint Com- evaluación es ... una actividad metodológica que ... consiste simplemente en
( mittee, 1981). Ayudó a establecer y desarrollar el Evaluation Network, una la recopilación y combinación de datos de trabajo con una serie de metas que
organización profesional para evaluadores de programas educativos, sanitarios, dan como resultado escalas comparativas o numéricas, y en la justificación de
t gubernamentales y sociales. Y convirtió la hoja informativa de esta organiza- a) los instrumentos de recopilación de datos; b) las valoraciones; y e) la se-
ción en una muy respetable publicación, Evaluation News. lección de las metas.»)
t
Este ha sido un breve resumen de algunas de las contribuciones de Michael
t Scriven a la evaluación. Estas contribuciones se extienden a 10 largo de dos
t
f
 ------_>.
')

)
358 I Evaluación sistemática El método evaluativo de Scriven I 359 ")
Respuestas incorrectas Respuestas incorrectas ')

)
a) Es incorrecta porque Scriven cree que la evaluación guiada por una de- a) Es incorrecta porque ambos autores aconsejan a los evaluadores la utili-
terminada serie de metas puede olvidarse de efectos importantes, y cree zación de múltiples valoraciones. )
que las metas también deben ser evaluadas. b) Es incorrecta porque lo opuesto está más cerca de la verdad. ')
b) Es incorrecta porque destaca que el evaluador debe proporcionar infor- d) Es incorrecta porque lo opuesto está más cerca de la verdad.
mación para la toma de decisiones pero no tomar la decisión, mientras )
que Scriven cree que el evaluador debe juzgar las opciones del programa )
y así tomar decisiones acerca del programa que se está evaluando. PREGUNTA3. - ¿Con cuál de las siguientes afirmaciones estaría más de
e) Es incorrecta porque es una variante de «a». Scriven no puede aceptar acuerdo Scriven? )
como suficiente una definición de evaluación que determina sólo las dis- )
crepancias entre las normas dadas y la realización del trabajo. Insiste en a) Los evaluadores deben decidir si juzgar o no juzgar las prácticas evalua-
que las normas deben ser valoradas y no deben ser la única base para la tivas de acuerdo con la función que debe desempeñar un estudio eva- )
valoración del trabajo. luativo.
)
b) Los evaluadores deben obviar la necesidad de un juicio subjetivo me-
diante el empleo de planificaciones con un alto grado de validez interna )
PREGUNTA2. A 10 largo de los años, Michae1 Scriven y Lee Cronbach y externa y con reglas relativas a la decisión. )
han mantenido opiniones encontradas acerca de los evaluadores. ¿Cuál de las e) Los evaluadores deben juzgar el valor de las prácticas educativas que
siguientes afirmaciones representa mejor su desacuerdo esencial? evalúan. )
d) Los evaluadores deben describir totalmente las prácticas educativas, pero )
a) Cronbach recomienda a los evaluadores que utilicen múltiples valoracio- deben evitar emitir juicios sobre esas prácticas.
nes en cada estudio, mientras que Scriven advierte que una práctica de )
este tipo es inútil y recomienda, en cambio, la utilización de una simple Respuesta correcta. Debe usted haber seleccionado la «e». Scriven afirma )
valoradón sumativa. que los evaluadores deben formular y presentar juicios acerca de cualquier
b) Cronbach destaca que la principal obligación de los evaluadores es plan- cosa que evalúen. )
tear cuestiones fundamentales relativas a la decisión acerca de si un pro- )
grama o producto es la «mejor compra» para los consumidores, mientras Respuestas incorrectas
que Scriven insiste en que la función más importante del evaluador es
)
ser «el artesano de quien ha desarrollado el programa». a) Es incorrecta porque Scriven ha afirmado que los evaluadores deben emi- )
e) Scriven afirma que la preferencia de Cronbach por la evaluación formativa tir juicios tanto en la evaluación formativa como en la sumativa.
b) )
como opuesta a la evaluación sumativa es fundamentalmente errónea. Es incorrecta porque Scriven ha advertido que el evaluador, por 10 ge-
d) Cronbach insiste en la necesidad de las evaluaciones comparativas, mien- neral, debe operar en situaciones ambiguas e incontroladas. Dice que los )
tras que Scriven afirma que esta práctica puede conducir a resultados evaluadores deben esperar y no alejarse de estos trabajos. De ahí que los
)
superficiales y no proporciona el nivel necesario de información que puede evaluadores no puedan depender de reglas sobre las decisiones o de in-
obtenerse del estudio profundo de un caso de un solo programa. formación terminal. Por lo tanto, deben generalmente llevar a cabo la )
mfs .profesional de l~s funciones evaluativas: formular juicios y hacerlos )
Respuesta correcta. Debe usted haber seleccionado la opción «e». Cron- pubhco~ ,en presenCla de una información inadecuada e insuficiente.
bach recomienda la evaluación formativa por encima de la evaluación sumativa, Scrivenha ofrecido el consuelo de que incluso aunque los juicios de los )
y Scriven dice que esta recomendación oscurece el hecho de que, esencial y evaluadores sean a veces erróneos, serán a menudo más acertados que
)
fundamentalmente, cada evaluación debe producir una valoración sumativa del los de cualquier otro grupo.
valor y el mérito de un objeto. d) Es incorrecta porque Scriven ha advertido que los evaluadores que fra- )
casan al emitir juicios fracasan también a la hora de cumplir todas sus
)
responsabilidades como evaluadores.
)
)
(
('
360 I Evaluación sistemática El método evaluativo de Scriven I 361
(
PREGUNTA 4. ¿Cuál de las siguientes afirmaciones no es coherente con
( la postura de Scriven relativa a la función de la valoración de las necesidades PREGUNTA 5. ¿Cuál de las siguientes afirmaciones ejemplifica mejor la
( en la evaluación? . diferenciación de Scriven entre la función y la meta de la evaluación?
( a) Las metas proporcionan la mejor base para juzgar los resultados sólo a) La meta de la evaluación puede variar enormemente, puesto que cualquier
( si los resultados han sido desarrollados como respuestas a las necesida- estudio puede plantear una amplia gama de cuestiones; la función de
des valoradas. la evaluación es siempre, sin embargo, la misma: facilitar la toma de
( b) No es necesario considerar las necesidades de los consumidores como una
decisiones.
( base para la valoración de productos y servicios, puesto que, fundamen- b) Insistiendo en el papel constructivo que puede desempeñar la evaluación
talmente, el juicio profesional del evaluador es el determinante del valor en las actividades (roles) pacificadoras desatendemos el hecho de que su
(
o el mérito de un objeto. meta siempre incluye la estimación del valor.
( e) Debidamente concebidas, las valoraciones de las necesidades determinan e) Las metas de cualquier evaluación deben ser moderadas según la relativa
los huecos existentes entre los ideales y las realidades en la sociedad, y sensibilidad de las funciones que debe desempeñar el estudio.
(
consecuentemente son indistinguibles de cualquier otro estudio evalua- d) La meta de cualquier estudio evaluativo es sumativa, mientras que su
( tivo verdadero. función es, por lo general, formativa.
d) Las valoraciones de las necesidades deben determinar qué cosas, si no se
(
proporcionan o se olvidan, pueden demostrar ser perjudiciales, y propor- Respuesta correcta. Debe usted haber seleccionado la respuesta «b». Aun-
{ cionar así un criterio para determinar si una contribución concreta es que la evaluación puede desempeñar muchas funciones (tanto constructivas
( válida. como destructivas), su meta es siempre la misma: juzgar el valor. Este es el
principal argumento de Scriven, y le permite insistir en que los evaluadores
( Respuesta correcta. Debe usted haber seleccionado la opción «d». Scriven,
hacen juicios.
( que recomienda una amplia búsqueda de resultados en una evaluación, afirma
que los resultados identificados deben ser juzgados buenos o malos, depen-
( Respuestas incorrectas
diendo de hasta qué punto contribuyan, no a alcanzar las metas prefijadas o a
( rellenar los huecos entre las realidades y los ideales (que él a menudo considera a) Es errónea porque Scriven sólo ve una meta para la evaluación (el juicio
«prometer la luna»), sino a eliminar o prevenir fuerzas que, de otro modo, del valor), pero muchas funciones (relaciones públicas, informes, direc-
( pondrán al cliente en una situación insatisfactoria. trices para el desarrollo, consejos para contratar un servicio, etc.).
( c) Es lo 'opuesto a la postura de Scriven. El cree que los evaluadores eluden
Respuestas incorrectas su responsabilidad cuando no formulan y presentan juicios acerca de los
(
programas que evalúan.
( a) Es incorrecta porque Scriven dice que las metas pueden ser demasiado d) Es errónea porque las evaluaciones formativa y sumativa son funciones
limitadas y reflejar sólo la selección de ciertas necesidades de quien ha de-
{ que debe desempeñar la evaluación.
sarrollado el programa y pueden también haber perdido actualidad, puesto

,
(

b)
que al. final de un proyecto las necesidades que formaban la base para
elegir las metas del proyecto pueden haber cambiado sustancialmente.
Es incorrecta porque aunque Scriven contempla al evaluador como el
PREGUNTA 6. ¿Cuál de las siguientes informaciones
utilización de la evaluación formativa?
ejemplifica mejor la

( responsable de emitir los juicios y hacer recomendaciones, también des-

,,
taca que estos juicios y recomendaciones deben derivarse de la compa- a) Formular juicios acerca del valor global de un nuevo libro de texto.
(
ración de los resultados con las necesidades valoradas. b) Asignar credibilidad o negársela a los resultados de un proyecto ya ter-
c) Es incorrecta porque Scriven anrma explícitamente que no es convenien-
minado.
te una concepción de las necesidades referida a los ideales, puesto que e) Valorar la realización de un plan de trabajo.
a menudo son tan poco realistas que no pueden ayudar a desarrollar re- d) Determinar los efectos finales de una inversión previa.
( comendaciones prácticas.
(
I
 )

)
'l
El método evaiuativo de Scriven I 363
362 I Evaluación sistemática ')

Respuesta correcta. Debe usted haber seleccionado la «b». Es la correcta )

Respuesta correcta. Debe usted haber seleccionado la opción «c». La eva-
porque la evaluación intrínseca es la evaluación de las cualidades inherentes
luación formativa ayuda al personal del programa a llevar a cabo los esfuerzos ')
al tratamiento y no de los resultados conseguidos por medio de la administra-
del desarrollo. )
ción de este tratamiento.

Respuestas incorrectas
Respuestas incorrectas
I
a) Es incorrecta porque el libro de texto ya ha sido publicado y la evalua-
1
a) Es incorrecta porque el «cambio en la actitud del estudiante» es un efec- )
ción formativa debe llevarse a cabo durante su desarrollo.
to producido por un programa, y no una cualidad, como la «orientación
b) Es incorrecta por una razón similar. )
investigativa», del programa que produce el cambio.
d) Es incorrecta porque el proceso de inversión ha sido ya completado.
c) Es incorrecta por una razón similar. El «grado e intensidad de la motiva- )
ción del estudiante» es un efecto, no una característica, de un programa
de enseñanza. )
PREGUNTA 7. La evaluación sumativa se describe mejor como
d) Es incorrecta porque pone el énfasis en los efectos sobre los estudiantes. )
a) la valoración de las primeras formas de un nuevo producto; )
b) la valoración de un producto cuando ya está en el mercado;
PREGUNTA 9. Según Scriven, el método evaluativo finalista puro se carac- )
c) el perfeccionamiento de un producto mientras aún es moldeable;
teriza por su preocupación por
d) el relleno de los huecos entre la evaluación intrínseca y la evaluación )
final. a) los resultados del currículo pero no sus metas; )
b) las metas del currículo pero no sus resultados;
Respuesta correcta. La mejor respuesta es la «b». La evaluación sumativa )
c) tanto las metas como los resultados del currículo;
supone juzgar un esfuerzo de desarrollo después de que el trabajo de desarrollo
d) ni las metas ni los resultados del currículo. )
ya ha finalizado.
Respuesta correcta. Debe usted haber seleccionado la «a». Aunque deter- )
Respuestas incorrectas mina si las metas han sido alcanzadas, su principal limitación, según Scriven, )
es que no juzga si han sido bien alcanzadas.
a) Es incorrecta porque se trata de un ejemplo de evaluación formativa. )
c) Es incorrecta por la misma razón.
Respuestas incorrectas )
d) Es incorrecta porque se refiere más a un problema evaluativo funcional
que metodológico. El problema de conectar la evaluación intrínseca y )
b) Es errónea en ambos aspectos. La evaluación final no valora las metas,
la evaluación final reside en cómo relacionar causalmente las variables
pero sí los resultados. )
dependientes e independientes, y no en si la evaluación ayuda al desarro-
c) Es errónea porque la evaluación final no valora las metas.
llo o juzga los productos terminados. )
d) Es errónea porque la evaluación final sí valora los resultados.
)

PREGUNTA 8. La evaluación intrínseca puede brevemente ser definida )

PREGUNTA 10. ¿Cuál de las siguientes afirmaciones distingue más correc-
como una valoración de )
tamente entre la evaluación sin metas y la evaluación basada en las metas?
a) el cambio en las actitudes de los estudiantes; )
a) La evaluación sin metas es una evaluación intrínseca, mientras que la eva-
b) la planificación de un programa de enseñanza; )
luación basada en las metas es lo mismo que la evaluación final.
c) el grado y la intensidad de la motivación del estudiante;
b) La evaluación sin metas es subjetiva, mientras que la evaluación basada )
d) los efectos de los instrumentos didácticos en los conocimientos de los
en las metas es una evaluación basada en datos.
estudiantes. )
)
\

{
f 364 I Evaluación sistemática El método evaluativo de Scrlven I 365
{
e) La evaluación sir: metas valora todos los efectos independientes de las en las metas deben seguir desempeñando una función. Pero piensa que los re-
( sultados de las evaluaciones sin metas pueden añadir una información útil y
metas prefijadas, mientras que la evaluación basada en las metas investi-
f ga efectos pertenecientes a las metas prefijadas. única a la que ya producen las evaluaciones basadas en las metas.
d) La evaluación sin metas valora los resultados, los efectos secundarios, los
(
costes, la viabilidad y otros atributos de un instrumento didáctico, inde- Respuestas incorrectas
( pendientemente de sus metas, mientras que la evaluación basada en las
metas valora la moralidad, la claridad y la importancia de las metas. b) Una parte de la base lógica de Scriven para la evaluación sin metas es
(
que ésta complementa los datos proporcionados por la evaluación basada
( Respuesta correcta. Debe usted haber seleccionado la «e». Según Scriven, en las metas.
la retórica de las metas no debe dictar y limitar la búsqueda de resultados. e) Otra parte de la base lógica para la evaluación sin metas es que no conocer
(
las metas de un programa no es ningún impedimento con tal de que el
( Respuestas incorrecta:; evaluador investigue sistemáticamente todos los efectos importantes de
un programa.
(
a) Es incorrecta porque la evaluación intrínseca y la evaluación final dife- d) Una parte más de la base lógica de la evaluación sin metas es que Scriven
( rencian entre las variables relativas a las cualidades de un tratamiento ha afirmado que conocer las metas de un programa puede ser un impe-
( y sus efectos; el conocimiento de los conceptos de ambas evaluaciones no dimento, puesto que este conocimiento provoca que el evaluador se con-
ayuda a distinguir entre evaluación sin metas y evaluación basada en las centre en los resultados relacionados con los objetivos, dejando de lado
( metas. atto tipo de resultados.
( b) Es incorrecta porque tanto la evaluación sin metas como la evaluación
basada en las metas están basadas en datos y suponen el desarrollo de
( conclusiones subjetivas. PREGUNTA12. ¿Cuál de las siguientes afirmaciones explica mejor el sig-
( d) Es incorrecta porque tanto la evaluación sin metas como la evaluación nificado de los efectos secundarios en el contexto de la evaluación sin metas?
basada en las metas valoran los resultados.
( a) En la evaluación sin metas, los efectos secundarios son la principal preo-
( cupación, porque la evaluación basada en las metas proporcionará un
PREGUNTA11. ¿Cuál de las siguientes afirmaciones no es una parte de la profundo análisis del efecto principal.
( base lógica de Scriven para la utilización de la evaluación sin metas? b) Las evaluaciones sin metas no se preocupan por los efectos secundarios
( porque son cualidades intrínsecas del instrumento didáctico y no una
a) La evaluación basada en las metas es incapaz de producir resultados eva- preocupación propia de la evaluación destinada a identificar y valorar
( luativos sólidos y útiles, y debe ser reemplazada por una estrategia evalua- los resultados.
( tiva más efectiva. e) En la evaluación sin metas, los efectos secundarios son los efectos pro-
b) Los evaluadores sin metas pueden descubrir resultados significativos que, ducidos por la información evaluativa acerca del comportamiento de las
( por lo general, no descubren los evaluadores que se basan en las metas. audiencias para los resultados evaluativos.
( e) Con tal de que los evaluadores determinen los resultados positivos y ne- d) En la evaluación sin metas, no existen efectos secundarios porque todos
gativos de un proyecto, no es necesario que valoren particularmente si los efectos, y no sólo los relacionados con las metas fijadas, son de prime-
( rÍsima importancia.
las metas prefijadas han sido alcanzadas.
( d) Al concentrarse en comprobar si los objetivos fijados han sido alcanzados,
los evaluadores pueden ser insensibles a los efectos más significativos, Respuesta correcta. Debe usted haber seleccionado la «d». No existe preo-
(
que no estén relacionados con los objetivos fijados. cupación por valorar los efectos secundarios porque, desde el principio de la
t evaluación, todas las variables de los resultados, y no sólo las relacionadas con
Respuesta correcta. Debe usted haber seleccionado la «a». La base lógica las metas fijadas, son igualmente importantes.
(
de las evaluaciones sin metas no consiste en reemplazar a las evaluaciones ba-
( sadas en las metas. Por el contrario, Scriven cree que las evaluaciones basadas
(
 )

')

'¡
366 I Evaluación sistemática El método evaluativo de Scriven I 367
')

Respuestas incorrectas ')

PREGUNTA14. ¿Cuál de las siguientes afirmaciones es la mejor base ló-
')
a) Es incorrecta porque en la evaluación sin metas no hay distinción entre gica para la lista de control de indicadores de la evaluación?
los efectos secundarios y los efectos principales. ')
b) Es incorrecta porque contiene una definición incorrecta de los efectos a) La evaluación es el proceso de formular y ejecutar una secuencia de ex-
)
secundarios. perimentos críticos comparativos que conduzcan al conocimiento de cier-
c) Es incorrecta porque también está basada en una definición impropia de tos fenómenos, como por ejemplo que los resultados de acciones especí- ')
los efectos secundarios. ficas son predecibles. ')
b) La evaluación es un proceso de reducción de datos que supone caracteri-
zar un proyecto y sintetizar un juicio respecto al valor global del pro- ')
PREGUNTA13. ¿Cuál de las siguientes afirmaciones es más coherente con grama.
)
la base lógica de Scriven para la metaevaluación? c) La evaluación sirve de guía para un proyecto a través de cinco etapas de
desarrollo, mediante la valoración y presentación de las discrepancias entre )
a) El principal trabajo de la evaluación debe ser conseguir una especie de el trabajo y las normas en cada una de las etapas.
)
inmunidad evaluativa, porque la amenaza o el hecho de evaluar un ser- d) La evaluación supone la comparación progresiva de los antecedentes pre-
vicio influye inevitablemente en la conceptualización y distribución del fijados y reales de un programa, las transacciones y los resultados. )
servicio, y porque esta influencia puede conducir inevitablemente a unos )
resultados evaluativos tendenciosos. Respuesta correcta. Debe usted haber seleccionado la «b». Scriven con-
b) Dado que la evaluación se aplica a los procesos y productos de todo es- templa la evaluación como un proceso sistemático que supone la caracteri- )
fuerzo humano, debe aplicarse también a sí misma. zación y valoración de un proyecto. Esencialmente, los evaluadores recopilan )
c) La evaluación formal debe ser cuidadosamente planificada, y la metaeva- y analizan amplias series de datos a través de una amplia gama de puntos, y
luación es el término introducido por Scriven para referirse al trabajo luego sintetizan los datos para que pueda ser emitido un juicio global de valor. )
que supone planificar las evaluaciones. )
d) La metaevaluación es un importante medio de incrementar las inversiones Respuestas incorrectas
y fondos de la evaluación y así aumentar las oportunidades evaluativas )
de preparación laboral. a) Es incorrecta porque se refiere a la base lógica para la experimentación )
programática y no para la lista de control de indicadores de la evaluación.
Respuesta correcta. Debe usted haber escogido la «b». Dado que la eva- c) Es incorrecta porque es más la base racional para el modelo evaluativo )
luación es una actividad concebida para ayudar a mejorar las condiciones hu- de Provus que para la lista de control de indicadores de la evaluación. )
manas y dado que todas estas actividades, por definición, deben ser evaluadas, d) Es incorrecta porque se refiere al método evaluativo de la figura de Stake
y no proporciona una base lógica válida para la lista de control de indi- )
la propia evaluación también debe ser evaluada.
cadores de la evaluación. )
Respuestas incorrectas
)
a) Es incorrecta porque, por el contrario, las metaeva1uaciones, cuando están PREGUNTA15. ¿Cuál de las siguientes afirmaciones explica mejor la re- )
adecuadamente conceptualizadas y realizadas, deben, según Scriven, con- lación entre la concepción formativa-sumativa de Scriven y su lista de control
)
ducir a una evaluación mejor. de indicadores?
c) Es incorrecta porque las metaeva1uaciones están concebidas para valorar )
todos los aspectos de la evaluación, no sólo los planes evaluativos. a) Los puntos de la lista de control de indicadores de la evolución son tanto
)
d) Es incorrecta porque, por el contrario, las metaevaluaciones están conce- formativos como sumativos.
bidas para, entre otras cosas, eliminar las prácticas evaluativas demasia- b) Los primeros siete puntos -las etapas caracterizadoras- son formativos; )
do costosas. los once últimos corresponden a la evaluación sumativa, puesto que se
)
refieren a la validez.
)
J,
,
(
( 368 I Evaluación sistemátIca El método evaluativo de Scriven i 369
(
e) La lista de control de indicadores es un modelo evaluativo sumativo. b) Es incorrecta porque la lista de control de indicadores no es una expli-
( d) La lista de control de indicadores es un modelo evaluativo formativo, cación de la evaluación sin metas.
( básicamente. e) Es incorrecta porque la lista de control de indicadores modela la evalua-
ción y no el desarrollo, y porque la evaluación sin metas no es un mo-
(
Respuesta correcta. Debe usted haber seleccionado la «a». El último ciclo delo evaluativo sino una particular estrategia metodológica.
( de las 18 etapas corresponde a la evaluación sumativa, mientras que los ciclos
anteriores constituyen la evaluación formativa.
(
PREGUNTAS 17 A 21. Para cada afirmación de los números 17-21, selec-
( Respuestas incorrectas cione, de la lista que le proporcionamos, la ideología apropiada. Base sus elec.
( ciones en su comprensión del análisis de Scriven. Realice sus elecciones escri-
b) Es incorrecta porque Scriven no identifica la caracterización y valida- biendo la letra correspondiente a la ideología seleccionada en el espacio que
( ción de las etapas con las evaluaciones formativa y sumativa. haya la izquierda de cada afirmación numerada.
( e) y d} Son incorrectas porque la lista de control de indicadores de la evalua-
ción es tanto formativa como sumativa. A. Ideología separatista.
{ B. Ideología positivista.
( C. Ideología administrativa.
PREGUNTA 16. ¿Cuál de las siguientes afirmaciones explica mejor la p. Ideología relativista.
(
relación entre la concepción de la evaluación sin metas de Scriven y su lista de
( control? --17. Se opone a la proposición de que un profesor puede evaluar su
propio trabajo provechosa y justificadamente.
( --18. Se refiere erróneamente a la dificultad de describir algo total y
a) La evaluación sin metas y la lista de control de indicadores de la evolu-
( ción son dos estrategias evaluativas diferentes pero complementarias. exactamente como base para negar su existencia en alguna forma
objetivamente identificable.
( b) La lista de control de indicadores de la evaluación explica las etapas que
--19. Limita la evaluación a enfrentarse sólo a aquellas cuestiones san-
deben seguirse al realizar una evaluación sin metas.
( e) La lista de control de indicadores de la evaluación es un modelo del pro- cionadas por las personas que tienen autoridad sobre el pro-
grama.
( ceso de desarrollo, mientras que la evaluación sin metas es un modelo
--20. Rechaza la naturaleza evaluativa de la ciencia.
del proceso evaluativo.
( --21. Se inclina a favor de los informes que demuestran que se han
d} La evaluación sin metas es una estrategia metodológica apropiada para
alcanzado las metas.
( ser empleada en una amplia comprobación de las consecuencias del pro-
grama.
( Respuestas correctas, Debe usted haber respondido como sigue, por las
razones proporcionadas:
( Respuesta correcta. Debe usted haber seleccionado la «d». Esta explicación

,
( de la relación entre la evaluación sin metas y la lista de control de indicadores
es correcta porque la evaluación sin metas es una estrategia metodológica que
comprueba todas las consecuencias del programa, y porque el punto 11 de la
lista de control de indicadores pide una amplia comprobación de las conse-
A 17. La ideología separatista rechaza la naturaleza autorreferente de
la evaluación y exige que el trabajo de los profesores sea evalua-
do por un agente externo.
D 18. Según Scriven, los relativistas no sólo recomiendan la descripción
<- cuencias.
múltiple de un objeto desde distintos puntos de vista (lo cual
(
también recomienda Scriven), sino que se equivocan al pedir una
Respuestas incorrectas
t conexión causal entre su afirmación de que no existe una reali-
dad objetiva y la dificultad de eliminar la variabilidad en la des-
t a} Es incorrecta porque la lista de control de indicadores es un método eva. cripción de una sola cosa.

,,
( luativo global que incluye estrategias como la evaluación sin metas. C 19. Esto pertenece claramente a la ideología administrativa, puesto
 ),
I
)
El método evaluativo de Scriven I 371
370 I Evaluación sistemática ')

que dice que es el administrador de un programa quien debe Las respuestas al ejercicio 1 deben presentar y I
decidir cómo hay que valorarlo: por lo general, sólo según las desarrollar los siguientes puntos:
"')
metas del administrador y no según las necesidades del consu-
midor, ni refiriéndose al estilo y forma de trabajar del adminis- a) El éxito de los trabajos de desarrollo depende de la información que pro- ')
trador. porcione continuamente la evaluación formativa. }
B 20. Según Scriven, los positivistas lógicos se guían por una concep- b) Las evaluaciones sumativas, al juzgar el éxito de los trabajos de desarro-
ción sin valores de las ciencias sociales, en general, y de la eva- llo ya completados, reflejan si la evaluación formativa ha supuesto una ')
luación, en particular. guía para conducir los esfuerzos hacia una feliz conclusión. ')
C 21. Esto, de nuevo, pertenece a la ideología administrativa, aunque c) Generalmente, los evaluadores profesionales son necesarios para realizar
concentrase en identificar y valorar sólo aquellos resultados per- evaluaciones formativas que sean efectivas. ')
tenecientes a las metas del administrador es congruente con la d) Sin embargo, los evaluadores profesionales, cuando intervienen demasia- }
postura positivista que los evaluadores deben evitar interponien- do pronto en los trabajos de desarrollo, pueden ahogar la creatividad y
do valores de su elección en sus trabajos evaluativos. perder su objetividad. )
e) De ahí que los evaluadores profesionales sean necesarios para realizar
)
CALIFICACIÓNDEL TEST DE CONOCIMIENTOS. Ahora que ha completado el las evaluaciones formativas, pero dado que puede hacer más mal que bien
test de conocimientos sobre el trabajo de Scriven cuente el número de respues- en las primeras etapas de los proyectos, es mejor hacer por uno mismo )
tas correctas. Si contabiliza 16 o más, ha demostrado usted un conocimiento bá- la evaluación formativa de estas primeras etapas y emplear un evaluador )
sico de la filosofía y los conceptos evaluativos de Scriven. De este modo, está profesional para desempeñar este papel cuando el proyecto ya haya desa-
ya preparado para abordar los ejercicios prácticos del apartado siguiente. Si rrollado un mínimo de estabilidad. )
contabiliza de 11 a 15, demuestra conocer un poco las ideas de Scriven, pero )
probablemente le sería beneficioso revisar el material anterior. Si contabiliza EJERCICIO2. Suponga que planea evaluar el programa de un grupo de
menos de 11 y aún no comprende por qué, antes de pasar al siguiente apartado
)
profesores utilizando la lista de control de indicadores. Resuma las etapas que
debe estudiar de nuevo todo el material didáctico de la unidad. debe seguir. )
)
Ejercicios prácticos )
Las respuestas al ejercicio 2 deben incluir aproximadamente
los siguientes puntos: )
Este apartado contiene dos ejercicios prácticos destinados a demostrar si
ha comprendido las premisas y los conceptos básicos del método evaluativo )
formativo-sumativo de Scriven. Responda a las preguntas en hojas de papel a) Caracterizar tan objetivamente como sea posible la naturaleza del pro-
grama que se va a evaluar. )
separadas. Tras cada ejercicio hay una lista de puntos que debe usted haber
incluido en su respuesta. Realice el primer ejercicio antes de empezar el se- b) Clarificar las audiencias de los resultados evaluativos, incluyendo a quien ')
gundo. Acuda, tan a menudo como sea necesario, a las lecturas recomendadas haya encargado la evaluación y a otros grupos interesados, especialmente
estudiantes, administradores y profesores.
)
y a las claves contenidas en el test de conocimientos previo.
c) Examinar los antecedentes de la necesidad de la evaluación y clarificar )
EJERCICIO 1. Explique lo que quiere decir Scriven en la siguiente cita: las cuestiones que deben ser respondidas.
d) Inventariar los recursos financieros y de otro tipo que están disponibles )
«La evaluación formativa es una parte necesaria de cualquier método racional
para la producción de buenos resultados en la evaluación sumativa, pero la para apoyar el desarrollo, mantenimiento y evaluación del programa. )
pregunta de si deben emplearse, y cómo, evaluadores profesionales depende e) Realizar un análisis funcional del equipo de profesores tal y como operan
)
mucho de si va a ser peor el remedio que la enfermedad.» realmente, especialmente en lo que se refiere a lo que hacen realmente
los profesores y los estudiantes mientras participan en el programa. )
f) Analizar lo que hace el distrito escolar para asegurar que el programa se
)
lleva a cabo adecuadamente en lo que se refiere, por ejemplo, a la orien-
)
I ) 1
 ,
(
( 372 I Evaluación sistemática
Referencias bibliográficas I 373
(
tación y preparación de los estudiantes, la puesta al día de los planes
1. ¿To¿.:l evaluación es comparativa? ¿Por qué o por qué no? . .
f del programa y el control y perfeccionamiento de la realización.
2. La ,C\'a1uacián formativa y la evaluación sumativa, ¿son conceptos dlstin-
g) Examinar cuidadosamente lo que los estudiantes utilizan y aprovechan
f realmente de los aspectos del programa.
tos conceptual y operativamente? ¿Por qué o por qué no? Justifique su
( respuesta con algunos ejemplos. .
h) Valorar las necesidades de los estudian tes y profesores que puedan ser Si un evaluador juzga un programa en un momento determmado, ¿per-
3.
( satisfechas mediante un método de equipo didáctico. derá su independencia y objetividad respecto a evaluaciones futuras del
i) Identificar las normas que puede haber desarrollado la profesión educa- programa? ¿Por qué o por qué no? Si es así, ¿debe un evaluad~r dar por
( tiva para valorar este tipo de programas; descubrir también otras normas finalizada su relación con un programa cuando ya ha proporclOnado su
( de valoración mediante el análisis de las funciones y metas del programa; juicio? Si no, ¿cómo puede el evaluador evitar convertirse en un coope-
y, en general, determinar y valorar los criterios de mérito y los argumen- rante del personal de un programa que se somete a sus juicios y recomen-
( tos filosóficos correspondientes al programa en cuestión.
daciones iniciales?
( j) Examinar el proceso de realización para saber qué limitaciones existen en
4. Dé:scriba un programa estival de preparación para profesores de segundo
la operación normal del programa y ayudar a discernir las partes del plan grado que trabajen en escuelas con un gran número de niños poco aven-
(
del programa que no son viables en las actuales circunstancias o posible- tajados. Según la conceptualización de la evaluación de Scriven, explique
( men te factibles sólo allí.
cómo evaluaría usted el programa.
k) Comprobar ampliamente todos los efectos del programa.
( 5. Ahora, evalúe algún programa, proyecto o producto que le sea familiar,
l) Examinar la posibilidad y conveniencia de exportar el método a otras según el método evaluativo de Scriven. Describa lo que está evaluando.
( situaciones escolares.
Resuma su planificación para evaluarlo. Luego presente sus resultados
m) Valorar los distintos costes financieros, psicológicos o de otro tipo, refe- evaluativos.
(
rentes al programa en cuestión.
6. Como tarea final, evalúe esta unidad según el método evaluativo de
( n) Identificar y valorar los competidores críticos del equipo de profesores. Scriven.
o) Validar y sintetizar toda la información obtenida.
(
p) Extraer conclusiones y recomendaciones respecto a la utilización futura
( del programa en su marco y en otra parte.
q) Realizar una evaluación del trabajo evaluativo y utilizar la primera eva-
( Referencias bibliográficas
luación tanto para perfeccionar como para informar a las audiencias acer-
( ca de sus virtudes y defectos. CRONBAC H, 1. J. «Course improvement through evaluation». Teacher's College
Record, 64, págs. 672-683.
(
Joint Committee an Standards far Educatianal Evaluatian. 1981. Standars for
( Preguntas sin respuesta evaluations of educational programs, projects, and materials, Nueva Yark, Mc-
Graw-Hill.
( SCRIVEN, Michael. 1967. The methodolagy af evaluatian. En Perspectives on Currí-
En el test de conocimientos, se le ha tratado casi como a un niño. En el
( culum Evaluation (AERA Monograph Series on Curriculum Evaluation, n. 1).
test práctico ha debido realizar un trabajo mayor y le hemos ayudado menos
Chicaga, Rand McNally.

,
( en la valoración de sus respuestas. En esta sección deberá arreglárselas total-
mente solo. Este apartado presenta muchas preguntas, pero ninguna respues-
ta. Las preguntas son importantes. A menudo son complicadas. Incluso si re-
curre a las autoridades en la materia, comprobará que algunas de estas pre-
-.1974. Pras and cons abaut gaal-free evaluatian. Evaluation

-.
ginas 1-4.
Comment,

1975. Evaluation bias and íts control. Occasional Paper Series, n. 4, Western
Michigan University, Evaluatiah Center.
3, pá-

(
guntas son polémicas. De ahí que, a la manera de un verdadero evaluador estilo -.1983. Evaluatian idealagies. En MAnAuS, SCRlVEN,y STUFFLEBEAM, Evalu-
( Scriven, debe usted formular sus propios juicios, esto es, desarrollar y estar ation models, Bastan, Kluwer-Nijhaff.

,
( preparado para justificar sus propias respuestas a las preguntas.
Con este espíritu, le invitamos a considerar y responder las siguientes pre-
guntas. Escriba sus respuestas por separado para poder disponer de ellas en sus
discusiones con otros.
(
(
«
 .),~
..)
i)
\)
INDICE DE AUTORES .,j
,)
')
')
)
.)
.)
i)
J
',)
Adand, H., 75 Forehand, G., 239 ,)
Airasian, P., 39
Gephardt, B., 181
.J
Alkin, M. C., 73
Anderson, S., 25 Gintis, H., 75 J
Gjerde, c., 239
Ball, S., 25 Glaser, R., 39 J'
Bane, M. J., 75 Glass, G. V., 72, 76 )
Bigman, 114 Gooler, D., 266
Bloom, B. S., 71 Guba, E. G., 40, 73, 74, 181, 248 :)
Bock, R. O., 72
Hamilton, D., 239, 252, 317, 319, 320,
,)
Brickell, H. M., 203
Brinkerhoff, R., 25, 41 321, 322, 323, 324, 328 )
Hammond, R. L., 39, 71, 76, 92, 181
Cahen, L., 239 Hastings, T., 236, 237 )
CarIson, D., 303 Herzog, E., 112, 118
Campbell, D. T., 72 Heynes, B., 75 J
Campbell, E. Q., 75 Hobson, C. J., 75 l.)
Clark, D. L., 248
Clark, K., 75 James, G., 112 :]
Cohen, D., 75 Jenks, c., 75
Coleman, J. S., 75 Johnson, R., 41
J
Cook, D. L., 40 Joint CommÍttee, 41 .)
Cronbach, L. J., 22, 37, 42,72,73,76,
190, 237, 250, 252, 316, 344 Kaplan, A., 71 '.)
Kellaghan, T., 22, 39 .]
Denny, T., 260 Kemmis, S., 266
Klineberg, O., 112 ,.)
Eisner, E. W., 39 Kuhn, T. S., 317 )
Fleck, A. C., 112 Linquist, E. F., 72 ')
Foley, W., 181
!)
()~
,le
~c
e 376 I EvaluaCión sistemática
r MacDonald, B., 74, 76, 252, 318, 319 Sanders, J., 202
INDICE ANALITICO
f: McGraw, B., 266 Scriven, M., 21, 22, 25, 40, 75, 76, 95,
(! McPartland, J., 75 187, 208, 237, 242, 250, 252, 293,
Madaus, G., 39 341, 342, 343, 344
e Maquire, T. O., 72 Smith, M., 75

e Merriman, H., 181

Metfessel, N. S., 39, 71, 76, 92, 98, 99,
Smith, 1. M., 252
Smith, N. L., 25, 266
(: 100, 101
Michael, W. B., 39, 71, 76, 92, 98, 99,
Snow, R. E., 72
Stake, R. E., 22, 40, 42, 74, 76, 157,
( 100, 101 161, 184, 187, 238, 239, 251, 252,

e Mikelson, S., 75
Mook, A. M., 75
253, 298, 326, 328
Stanley, J. c., 92
r Murphy, R., 25 Stenhouse, 327, 328
Stufflebeam, D. L., 40, 66, 70, 73, 76,
e Nader, R., 76 95, 161, 208, 252, 293, 298
Suchman, E. A., 70, 72, 76, 111, 112, A corto plazo, Evaluación, 118 Congruencia, Análisis de la, 246
( Owens, T., 75, 76, 252, 293, 294, 295, 114, 153 Administración de la evaluación, 126 Contingencia, Análisis de la, 246
( 296, 297, 298 Administración y evaluación, 124, 139 Contraposición, Técnica de, 239
Taylor, J. P., 73 Administrativa, Ideología, 354 Contratos evaluativos y acuerdos de ser-
( Pahland, P. A., 252 Taylor, P., 266 Antecedentes, 241, 243 vicio, 253
Parlett, M., 252, 317, 319, 320, 321, Tyler, R. W., 33, 34, 35, 39, 71, 72, Antecedentes, Información sobre los, Control de datos sistemático, 156
( 243, 325 Control de la tendenciosidad, 257, 328
322, 323, 324, 328 76, 91, 98, 178, 237, 241, 344
( Patton, M. Q., 190 Argumentos, Preparación' de los, 300 Coordinador de la evaluación, 45
Peck, H., 41 Webster, W. J., 66, 70, 73 Asistentes eV,aluativos,46 «Countenance», Modelo, 184
( Popham, W. J., 39, 71, 303, 304 Weinfeld, F. D., 75 Audiencia, Identificación de la, 27, 153 Criterio, Valoraciones del, 100
Weiss, c., 75, 76, 316 Audiencias, 301 Criterios de éxito, 19, 21, 100, 118
( Provus, M., 39, 71, 92, 181, 247, 293,
Autorreferente, Evaluación, 352, 353 Criterios de una buena evaluación, 27,
298 Wiley, D. E., 72
( Wolf, B., 266 141
Rein, 316 Wolf, R. L., 75, 76, 203, 239, 252, 297 Base lógica, Programa de la, 245 Criterios para juzgar la información y
( Reinhard, D. L., 73, 189, 199 las comunicaciones, 27, 141

<: Rice, J., 75

Rippey, R. M., 74, 252
York, R. L., 75 Calidad, Aseguración de la, 201
Científica contra evaluación naturalista,
Cualificaciones de los evaluadores, 160,
248, 326, 327
c.. Evaluación, 143
CIPP, Modelo, 175, 177, 183
Cuasievaluación, 65, 70, 159
Cuestiones, Selección de las, 154
<: comparado con el modelo «countenan-
ce», 184
Cuestiones, Identificación de las, 151
(. Cuestiones contra evaluación orientada
comparado con el método de Scriven, hacia los valores, Evaluación orienta-

"
~
.C
187
Cliente de la evaluación, 43
Comunicación de los resultados, 157,
257, 260, 326
da hacia, 160
Cuestiones evaluativas, 117, 118

Datos de cuestionarios y tests, 324

Comunicación en la evaluación, Papel de Decisión, Tipos de, 179
\.. la, 157-158 Deducción, 158
Comunicaciones de los evaluadores, 157, Definiciones de evaluación, 17, 19, 67,
~ 160, 257 92,112,113,179,185,186,252,319,

'-
(;.,
Comunidad políticamente formada, 141
Conclusiones justificadas, 143
343
Delphi, Técnica, 196
 J~
')

378 I Evaluación sistemática
Desarrollo de la evaluación, 51
Descripción, 241
Diseñador de la evaluación, 44, 143
Diseño de la evaluación, 143, 144, 145,
204, 251, 256, 261
acuerdos, 127
Diseño de la evaluación e investigación
evaluativa, 122, 127, 143, 144, 204,
348
Diseño, Flexibilidad del, 159
Dominios de la evaluación, 145, 146,
149
Efectos, 122
secundarios, 124, 153
inesperados, 124
Efectos, Valoración de los, 122
Eficiencia, 119
Entrada, Evaluación de, 180-181, 191,
197
Entrevistas, 324
Epistemología, 267
Especialistas en ayuda técnica, 46
Especialistas en comunicación evaluati-
va, 48
Especialistas en información evaluativa,
47
Esquema de recopilación de datos, 243
Estructuración de las decisiones, 180
Estudios basados en los objetivos, 91,
93,98
Estudios de casos contra estudios expe-
rimentales, 159
Estudios de orientación de la decisión,
72, 175,325
Estudios de relaciones públicas, 69
Estudios experimentales, 38, 159
Estudios experimentales contra estudios
de casos, 159
Estudios orientados hacia el consumidor,
75, 341
Estudios políticos, 74
Evaluación, Aproximaciones metodológi-
cas a la, 120
Evaluación, Aspectos conceptuales de la,
113
Evaluación, Conceptualización alternati-
va de la, 66, 142, 252
)
Indice analítico I 379
')
Evaluación, Etica de la, 268, 341-342 Evaluación contrapuesta, 239, 293 Evaluación última, 118 ')
Evaluación, Historia de la, 32 pros y contras, 301 Evaluación útil, 140
Evaluación, Meta de la, 124, 125, 140, Evaluación de entrada, 180-181, 191, Evaluación verdadera, 65, 72 ')
316 197 Evaluación y administración del progra-
')
Evaluación, Métodos sistemáticos de la, Evaluación del contexto, 180, 190, 196 ma, 124, 139
199 Evaluación del proceso, 125, 179-180, Evaluaciones de la planificación, 139, 151 )
Evaluación, Muestreo en la, 145-146 191, 199 Evaluador, Papel del, 51,117,139,157,
Evaluación, Multimodelo de, 348 Evaluación del producto, 179-180, 191, 158-259 ')
Evaluación, Normas para la, 26, 27, 122, 201 Evaluadores, Preparación de los, 49, 160,
)
141, 208, 268 Evaluación experimental contra evalua- 250-251
Evaluación, Papeles de la, 43, 139, 187, ción naturalista, 253 Evaluadores, Técnicas de los, 160, 248, )
242, 267, 328, 345 Evaluación final, 346 327
contra meta de la evaluación, 345 Evaluación formal contra evaluación in- Exactitud de la valoración, 123
')
Evaluación, Política de la, 139, 159 formal, 24 Extensión contra fidelidad, 143 )
Evaluación, Problemas de la, 185 Evaluación formativa, 187, 345 Extrapolación de los resultados, 141,158
Evaluación, Profesionalización de la, 356 Evaluación holística, 318 )
Evaluación, Propósitos de la, 113, 124, Evaluación humanista contra evaluación Fase convergente de la planificación de )
137,140, 185-186, 187,253,267,293 conductista, 143 una evaluación, 154
Evaluación, Requisitos ESEA para la, Evaluación iluminativa, 3D, 322 Fase divergente de la planificación de )
177 problemas, 327 una evaluación, 152
Evaluación, Responsabilidades sociales y Evaluación interna contra evaluación ex- Fiabilidad, Valoración de la, 123 )
éticas de la, 268, 342 terna, 126 Fidelidad contra extensión, 143
Evaluación, Síntomas de una mala, 181 )
Evaluación intrínseca, 346 Filosofía de la educación, 266
Evaluación, Tipos de, 66, 118 Evaluación naturalista contra evaluación )
Final, Evaluación, 346
Evaluación, Utilizaciones de la, 23, 187, científica, 143 Formativa, Evaluación, 187, 345
242, 267, 327, 345 Evaluación no comparativa contra eva- Fuentes de las cuestiones, 154
)
Evaluación, Validez de la, 144-145 luación comparativa, 22 Funciones de la evaluación contra meta )
Evaluación, Viabilidad de la, 21 Evaluación orientada hacia el consumi- de la evaluación, 345
Evaluación a corto plazo, 118 dor, 75, 341 )
Evaluación amateur y evaluación profe- Evaluación orientada hacia el perfeccio-
sional, 346 Grupos asesores, Técnica de los, 198 )
namiento, 143, 175, 190
Evaluación autorreferente, 352, 353 Evaluación orientada hacia las cuestio-
Holística, Evaluación, 318
)
Evaluación basada en las metas, 346-347 nes contra evaluación orientada hacia
Evaluación centrada en el cliente, 74, los valores, 160 Humanística contra evaluación conductis- )
235 Evaluación políticamente controlada, 68 ta, Evaluación, 143
Evaluación científica contra evaluación Evaluación preordenada, 239, 258
)
naturalista, 143 contra evaluación respondente, 253, Ideologías de la evaluación, 352 )
Evaluación como comunicación, 140, 258 . Iluminativa, Evaluación, 313
141, 257 Evaluación respondente, 74, 235, 251, Impacto de la evaluación, 160 )
Evaluación como representación, 319 253, 319 Incertidumbre, 156 I )
Evaluación comparada con la investiga- contra evaluación preordenada, 253, Información, Influencia de la, 155
ción, La, 23, 113, 119, 185 258 Informe, Técnicas del, 157-158 )
Evaluación comparativa contra evalua- Evaluación sin metas, 347 Interna contra evaluación externa, Eva-
ción no comparativa, 22, 23, 250 Evaluación sistemática, 24 luación, 126 ')
Evaluación conductista contra evaluación Evaluación sumativa, 187, 345 Interpretación de los resultados, 147,
)
humanista, 143 Evaluación ty1eriana, 91, 96 153, 158, 160, 189,257,347
Evaluación contra investigación, 23, 113, ventajas, 94 Interpretación de los valores, 147, 153, )
119, 185 críticas, 96, 185, 317 158, 160, 189, 257, 347
')
,)