MODULOVI:EvaluacindelAprendizajeyla

enseanzaenlosEntornosVirtuales

TemaI:ModelodeEvaluacindelAprendizaje.

Laevaluacindemediosaudiovisualesymateriales
deenseanza

Autor:Lic.CatalinaPoloJimnez
Mtra.BerthaPatriciaLegorretaCorts

Julio Cabero (editor) Antonio Bartolom Manuel Cebrin Ana Duarte Francisco
Martnez Jess Salinas

5 La evaluacin de medios audiovisuales

y materiales de enseanza

5.1.-Introduccin
La evaluacin de los medios y materiales de enseanza esta recibiendo
ltimamente un especial inters en los manuales de Tecnologa Educativa , de
manera que se estn proponiendo tcnicas y estrategias especificas para llevar a
cabo el enjuiciamiento de la calidad de los materiales tcnicas a emplear en el
acto de la enseanza.
En el presente capitulo vamos a abordar esta problemtica haciendo
especial hincapi en las tcnicas y estrategias fundamentalmente empleadas, as
como en los elementos que debemos contemplar en la evaluacin de los mismos.

5.2.-Conceptos clave
-Evaluacin de medios y materiales de enseanza. Proceso de adquisicin de
informacin y su valoracin, para emitir un juicio de valor respecto a las
caractersticas de un medio de enseanza concreto.
-Dimensiones de evaluacin de un medio. Aspectos (contenidos,
caractersticas tcnicas y estticas, organizacin interna de la informacin,
etc.) desde los cuales se puede evaluar un medio.
-Estrategias de evaluacin. Forma sistemtica de abordar la
evaluacin de un medio o material de enseanza . -Tcnica
de evaluacin. Conjunto de reglas y principios para la
realizacin de la evaluacin. Pueden responder a diferentes
estrategias de evaluacin.
5.3.- La evaluacin en medios
La evaluacin es una actividad procesual y no puntual, que implica la
adopcin progresiva de una serie de decisiones. Aplicada al terreno de la
educacin alcanza a todos sus componentes desde los humanos, como son los
profesores y alumnos, hasta los instrumentales, y que finaliza con la emisin de un
juicio de valor que viene condicionado por su plataforma terica (Villar, 1994).
Es de sealar que "las funciones y los objetivos que pueden desempear la
evaluacin y seleccin de los medios y materiales de enseanza, son diversas y
se pueden sintetizar en las siguientes: adquisicin de equipos, bsqueda de
criterios para su utilizacin didctica, anlisis de las posibilidades cognitivas que
propician, mejora de aspectos tcnicos y estticos, adecuacin general del
material a las caractersticas de los receptores, diseo y rediseo de los medios
producidos, lecturabilidad, rentabilidad econmica, y mejora del diseo

ergonmico" (Cabero, 1994: 245).

Independientemente de la funcin bsica para la cual se realice no debe
perderse de vista que debe hacerse teniendo en cuenta el resto de componentes
curriculares; es decir, desde las caractersticas de sus receptores potenciales,
hasta el contexto en el cual va a ser insertado; sin olvidarnos del papel que el
profesor jugara con los mismos.
La evaluacin de los medios puede realizarse desde diferentes perspectivas
(cuadro 5.1), que van desde las posibilidades educativas y didcticas que el medio
puede tener para unos estudiantes especficos dentro de un contexto curricular y
organizativo concreto, hasta el anlisis de sus potencialidades y caractersticas
tcnicas y tecnolgicas. En el presente capitulo se seleccionara una perspectiva
general para presentar las diversas tcnicas y estrategias de evaluacin que
pueden utilizarse para la evaluacin de los medios y materiales. Pero antes
dedicaremos unos instantes a presentar las grandes dimensiones en torno a las
cuales puede girar la evaluacin de los medios y materiales de enseanza.
No existe un acuerdo entre los autores a la hora de indicar los diferentes
criterios generales que deben ser contemplados a la hora de evaluar un medio.
Por citar algunos ejemplos, para Gunter y otros (1990) deben contemplarse los
siguientes: nfasis, unidad, coherencia, repeticin y elaboracin, vocabulario
apropiado, audiencia apropiada, formato y valor de las cuestiones. Ogalde y
Barbadiv (1991:104) por su parte proponen cuatro grandes criterios para la
evaluacin: a) psicolgicos, contenidos, pedaggicos y tcnicos. Rowntree (1991:
88-89) llama la atencin sobre los siguientes: audiencia, objetivos, punto de
partida, alcance, propuesta de enseanza , estilo, formato fsico, reputacin, costo,
disponibilidad, beneficio probable y alternativas. Parcerisa (1996) habla de
diferentes mbitos que deben ser cubiertos en el anlisis: descriptivo, de las
intenciones educativas, de los requisitos para el aprendizaje, de la atencin a la
diversidad del alumnado, y de los aspectos formales. Gimeno (1988) por su parte
diferencia tres grandes apartados: orientaciones bsicas (anlisis del producto y
proceso de elaboracin, existencia de orientaciones pedaggicas, etc.),
contenidos y estructuracin pedaggica (tareas del profesor y tareas del
estudiante). Y por ultimo Hicks y Tillin (1974), que sealan las siguientes grandes
variables: veracidad, adecuacin, amplitud, inters, organizacin, aspectos
tcnicos, caractersticas especiales, caractersticas fsicas, utilidad, ayudas para la
seleccin y coste.

Cuadro 5.1.- Perspectivas desde las q ue realizar la evaluacin en medios.

Entrando en medios concretos encontramos que en los informticos, Gros

(1987) plantea que deben llevarse a cabo desde cuatro grandes dimensiones el
contenido transmitido, la forma de transmisin, el marco social de la relacin
educativa y la manejabilidad y accesibilidad del programa. La misma autora en
otro trabajo con Spector (Gros y Spector, 1994) especifica estas cuatro
dimensiones en las siguientes 22 variables: correcciones para la presentacin del
contenido, presentacin del contenido, use de la tecnologa , integracin dentro de
la clase, fcil de usar, congruencia con el currculum, interaccin, secuencia-nivel
de contenido, validez, control por el usuario del programa, feed-back, objetivos,
motivacin, inteligencia, ayuda de feed-back negativo, modificacin del conte nido,
vas de contenido, documentacin del profesor, material de soporte para el
usuario, color-sonido-grafico-animacin, display de pantalla y organizacin del
sistema. En este mismo medio se encuentra el trabajo de Marqus (1995), que
elabor una plantilla para la evaluacin externa de los profesores, que
contemplaba las siguientes grandes dimensiones: grficos, efectos sonoros,
textos, comunicacin con el programa, su buen funcionamiento y fiabilidad,
objetivos, contenidos, actividades de aprendizaje, versatilidad de las actividades,
utilidad del programa y documentacin del programa.
Respecto a materiales impresos como el libro de texto, Prendes (1997)
presenta una gua de evaluacin de manuales escolares que est formada por tres
grandes dimensiones: formato del libro, anlisis de contenido y aspectos. La
segunda dimensin la subdivide al mismo tiempo en: informacin, texto,
ilustraciones y ejercicios y actividades. En este mismo medio Gonzlez y otros
(1984) proponen un instrumento que asume ocho grandes dimensiones:
elementos materiales, organizacin de la materia, elementos funcionales,
apreciacin de la materia, ilustraciones, ejercicios y cuestionarios, referencias
bibliogrficas e ndices y apndices.
Para finalizar estas referencias a medios concretos se encuentra la
propuesta de Salinas (1992) para la evaluacin de los vdeos didcticos que
contempla tres grandes apartados: datos generales (ttulo, autores, productor,
etc.), contenidos y audiencia.
Independientemente de los comentarios realizados toda evaluacin debe
cumplir una serie de garantas, as el Comit Conjunto de Estndares para la
Evaluacin Educativa (Sanders, 1998) habla de que toda evaluacin debe cumplir
una serie de estndares para su utilidad y viabilidad. En los primeros apuntan los
siguientes: identificacin de los interesados, credibilidad del evaluador, foco y
seleccin de la informacin, identificacin de los valores, claridad del informe,
oportunidad y difusin del informe e impacto de la evaluacin. Y en cuanto a la
viabilidad, los de procedimientos prcticos, viabilidad poltica y eficacia de costos.

5.4.- Elementos a contemplar en la evaluacin de medios y materiales de

enseanza.
Como se ha observado las dimensiones a contemplar para evaluar los
medios son diversas. En el cuadro 5.2 se presentan algunas de ellas.
Cuadro 5.2-Dimensiones generales a contemplar en la evaluacin de
los medios de enseanza.

Respecto a los contenidos es cuestin de preguntarnos sobre su calidad y

actualizacin cientfica, los conocimientos previos que requiere dominar el alumno
para seguir el material, si presentan una secuenciacin y estructuracin correcta, o
si se muestran de manera original y atrayente. En cuanto a sus elementos tcnicoestticos, haremos referencia a la calidad del programa respecto a la utilizacin
del audio, imgenes estticas y en movimiento y la asmtica, si el tamao de los
grficos es adecuado teniendo en cuenta el tamao usual de observacin, si
existe una correcta mezcla de msica y locucin, calidad de la sincronizacin de
los diferentes elementos utilizados en el programa, o si los grficos utilizados son
fciles de comprender por los usuarios. Las caractersticas y potencialidades
tecnolgicas permitirn preguntarse sobre el material de equipo y los perifricos
tcnicos que requiere para su funcionamiento, los tiempos de acceso al programa
de forma global y a diferentes partes del mismo, o si permite la intervencin sobre
el mismo por parte de los usuarios. La dimensin de los aspectos fsicos y
ergonmicos del medio llevar a interrogarnos sobre si el material es cmodo de
manejar y transportar, si puede ser utilizado por sujetos diestros o zurdos, o si
resulta bastante complejo el cambio de elementos fundidos o averiados. La
organizacin interna de la informacin indicara si la informacin presentada en el
medio es redundante, si presenta diferentes ejemplos y situaciones que le ayuden
al alumno a comprender los contenidos, si se realiza una sntesis de los aspectos
mas significativos, o si la velocidad de presentacin de informacin es la adecuada
para las caractersticas de los receptores. En cuanto a los receptores,
determinaremos quines son los receptores potenciales del programa, si el nivel y
estructura del programa se adecua a las caractersticas psicolgicas y culturales
de los mismos, o si comparten el productor/realizador y receptor los mismos
modelos culturales. En cuanto a la utilizacin por parte del estudiante: nivel de

interactividad, si es complicado de manejar por parte de los estudiantes, si se

puede alterar la marcha y secuencia del programa, si facilita la construccin activa
del conocimiento o simplemente repetitiva,
o si ofrece retroalimentacin. Y por ultimo en lo que respecta al coste econmico y
la distribucin del programa, podremos interrogarnos respecto a si la relacin
costocalidad del material es adecuada, si la relacin costo-durabilidad cientfica
del material es razonable, si la relacin costo-durabilidad fsica del material es
razonable, si justifican los beneficios potenciales del programa el costo invertido, si
se ofrecen copias de seguridad del programa, o la existencia de apoyo tcnico y
didctico por parte del distribuidor.
Debemos tambin ser conscientes de que la evaluacin del medio no debe
limitarse al hardware y software del mismo, sino que tambin debe alcanzar al
material de acompaamiento con que se distribuya el medio. En este caso es
cuestin de preguntarnos sobre su existencia tanto para el profesor como para el
estudiante, la claridad de las explicaciones tcnicas, didcticas y operativas
ofrecidas tanto para su utilizacin tcnica como para su incorporacin en el
currculum, o si se incorporan ejemplos de propuestas de utilizacin y explotacin
didctica.

5.5.- Estrategias de evaluacin

Como ya se expuso en otro trabajo (Cabero, 1994) las estrategias a aplicar
para la evaluacin de los medios y materiales de enseanza se pueden concretar
en tres: autoevaluacin por los productores, consulta a expertos y evaluacin "por"
y "desde" los usuarios.
Estas estrategias no tienen por que contraponerse, sino que perfectamente
pueden combinarse. Es ms, la correcta evaluacin de un medio, debe pasar por
la aplicacin de ms de una de las estrategias indicadas, de manera que las
limitaciones que cada una tenga se puedan solapar con las ventajas de las otras.
La autoevaluacin del medio audiovisual o informtico por sus propios
productores o realizadores, es consciente o inconscientemente, planificada o no,
una de las primeras evaluaciones a las que se ven sometidas todos los medios y
materiales de enseanza . No creemos que ningn medio sea introducido en el
contexto de utilizacin sin que previamente haya recibido alguna revisin de sus
elementos tcnicos y/o estticos y su configuracin didctica, por las propias
personas que lo estn realizando. Es mas, el simple hecho de tomar decisiones no
planificadas inicialmente en el guin, durante el proceso de produccin o
posproduccin, implica ya una evaluacin del medio.

En el caso del software informtico, Marques (1995) habla de dos tipos de

evaluacin: interna y externa. La primera, que se relaciona con la que aqu se est
comentando, es la llevada a cabo por los miembros del equipo de produccin y
desarrollo del proyecto, y se relaciona con la que algunos autores denominan
evaluacin formativa y se suele realizar sobre la base de un prototipo o primera
versin del material elaborado, o versin alfa como es denominada por algunos
autores.
Frente a las otros estrategias sealadas, la autoevaluacin por los
productores y realizadores presenta una serie de ventajas, que son para Salinas
(1992): al realizarse las crticas y propuestas desde y por el propio equipo de
produccin ste se puede mostrar ms abierto a las mismas, indirectamente la
autoevaluacin propicia el autoperfeccionamiento del equipo de produccin, y los
datos que se obtengan pueden utilizarse de inmediato para el perfeccionamiento
del material. A estas ventajas propuestas por Salinas podramos aadir la falta de
necesidad de que el material este completamente terminado para Ilevar a cabo la
evaluacin y el no tener que contar con equipos ajenos a la produccin del
programa, que puede plantear dificultad de localizacin, retraso en la entrega del
material, y aumento de los gastos del trabajo; sin olvidarnos del poco costo que
implica la incorporacin al material de los resultados alcanzados.
Sus inconvenientes son: puede que el equipo de produccin no sea lo
suficientemente objetivo para realizar criticas y propuestas de mejora al estar
inmerso en su propio trabajo y realizar la produccin desde la nica perspectiva de
la que son capaces de realizarla, la formacin de sus miembros para percibir que
el medio realizado puede abordarse desde otros planteamientos, la posibilidad de
que la evaluacin se convierta en una observacin y revisin elemental del medio
producido, y la ausencia de intervencin de los receptores del programa en el
proceso de revisin de los medios y materiales.
Algunos de estos inconvenientes podran atenuarse si los productores
contaran con instrumentos de apoyo, como guas y cuestionarios que les ayuden a
centrarse en las dimensiones ms significativas de los medios, y reflexionar sobre
la pertinencia de las mismas en el medio, por ellos producidos. O simplemente con
la incorporacin al equipo de produccin de evaluadores o asesores externos.
La consulta a expertos es probablemente una de las estrategias de
evaluacin de medios mas tradicionales y tambin la mas cotidianamente
utilizada. Su gran ventaja radica en la terica calidad de las respuestas que se
puedan recoger, en el nivel de profundizacin que permite, y en que posibilita
obtener informacin pormenorizada, tanto en general del medio como de
diferentes aspectos del mismo.
Si anteriormente indicamos la existencia de diferentes dimensiones en los

medios, sera conveniente contar con diferentes expertos, en funcin de la parcela

en la cual se centren: contenidos, dominio tcnico y esttico de los medios, del
lenguaje del medio utilizado, etc. En esta lnea, Chinien y Hlynka (1993) se
refieren a la posibilidad de contar con seis tipos de expertos para las siguientes
parcelas: contenidos, lenguaje, pblico, caractersticas tcnicas del medio, formato
y sistema de distribucin. Nosotros sin la pretensin de ser tan amplios, creemos
que en los materiales y medios producidos con fines didcticos y educativos
debemos procurar contar como mnimo con expertos en las siguientes parcelas:
contenidos cientficos, tratamiento didctico de los contenidos, aspectos tcnicos y
estticos del medio, y material complementario de apoyo.
Esta estrategia de la consulta a expertos posee una serie de inconve
nientes que deben ser asumidos por las personas que vayan a utilizarla, y que se
concretan en las siguientes: la subjetividad de la informacin recogida, la
necesidad de determinar previamente a su aplicacin, el concepto de experto que
se va a utilizar, la ideologa y formacin conceptual de los expertos que se
seleccionen, los criterios que se van a emplear para su seleccin y localizacin,
que las modificaciones propuestas no pueden ser inmediatamente introducidas, y
que no intervienen para nada los receptores potenciales de los programas.
Debemos ser conscientes de que la calidad de los resultados que se
consigan depender directamente de la calidad de los expertos con los cuales
trabajemos, de ah el extremado cuidado que tengamos que poner en su eleccin.
La ltima de las estrategias sealadas, la evaluacin "por" y "desde" los
usuarios, es posiblemente la estrategia ms significativa para la evaluacin de los
medios y materiales de enseanza , ya que a travs de ella recogemos
informacin directa de los destinatarios potenciales del programa, bien como
evaluadores, o bien como participantes en el proceso de evaluacin. El segundo
de los casos normalmente se reali za mediante la forma de estudio piloto, en el
cual los usuarios en una situacin que puede ir en diferentes grados de control
interacciona con el programa y se le demanda la contestacin a un cuestionario
sobre los contenidos presentados y las actividades desarrolladas en el programa.
En estas evaluaciones puede seleccionarse informacin tanto en lo que respecta a
la adquisicin de informacin como a la modificacin de hbitos y actitudes.
Mientras las estrategias anteriores pueden hacerse con un prototipo del
programa, o versin alfa-test como es denominada por algunos autores, que tratan
de recoger las opciones ms significativas del programa, la ltima de las
estrategias mencionadas requiere la presencia de la versin completa del
programa, o versin beta-alfa. Algunos autores (Romiszowski, 1986; Marqus,
1995) consideran a la primera como evaluacin de desarrollo, y a la segunda
como evaluacin de campo; o evaluacin interna realizada por el propio equipo de
investigacin, o externa que persigue recoger informacin por los destinatarios del
producto.

Esta ltima estrategia de evaluacin podra coincidir con la evaluacin

contextual del software informtico apuntada por Marqus (1995). Autor que
diferencia dos grandes tipos de evaluacin: una que se realiza para recoger y
discriminar los rasgos fundamentales del programa, y otra que se efecta para
analizar los objetivos educativos que soporta, los recursos disponibles, los
alumnos y la metodologa que con los mismos suele utilizar el profesor.
En lneas generales podramos encuadrar las diferentes estrategias
propuestas dentro de los dos grandes grupos de evaluacin de materiales a los
que se refiere Dorrego (1991: 50-51): formativa y sumativa. La primera
corresponde al proceso sistemtico de prueba de materiales instruccionales que
debe realizarse durante su desarrollo, y parte de tener en cuenta tanto las
caractersticas internas del material como los posibles efectos en los receptores
para los cuales fueron creados, en definitiva tiene como propsito recoger
informacin sobre las posibles limitaciones que tienen estos materiales y su
solucin antes de que este a disposicin de los contextos reales en los cuales
sern utilizados. Mientras que la segunda se refiere al proceso de evaluacin que
se Ileva despus de que se ha finalizado su produccin, implica la realizacin de
estudios de investigacin mediante los cuales se compara su efectividad con otros
medios y por tanto se desarrolla por la aplicacin de diseos de investigacin
controlados y apropiados.
Si las estrategias anteriores se pueden considerar en el vaci, la presente
se pueden entender como evaluacin en el contexto de utilizacin. Sin olvidar que
la amplitud del contexto vendr determinada por los objetivos que inicialmente se
hayan prefijado en la etapa del diseo y los receptores hacia los cuales vaya
destinado que pertenecen a contextos formales o informales, o de la educacin
reglada, a distancia o flexible.
Para Chinien y Hlynka (1993) esta evaluacin en funcin del nmero de
sujetos experimentales que se movilizan se puede dividir en: "evaluacin uno a
uno", "evaluacin en pequeos grupos" y "estudios de campos". En la primera,
donde la interaccin se establece individualmente entre el receptor y el evaluador,
el procedimiento comienza con la eleccin de personas representativas de los
diferentes contextos donde el medio se va a utilizar, contina con la observacin
del medio por el sujeto, para finalizar con la formulacin de diversas preguntas
referidas al medio observado: terrores ms obvios identificados?, poder
motivador del medio?, aspectos positivos?, adecuacin del tiempo?,
adecuacin del ritmo?... La evaluacin "en pequeos grupos" consiste en realizar
estudios con grupos de 10
b.

o 20 sujetos representativos de la poblacin. Y la ltima, que en lneas

generales supone la generalizacin de los estudios de pequeos grupos, y que se

refiere por lo general a anlisis evaluativos con grupos naturales de clase.
Una de las grandes ventajas que tiene esta estrategia, adems de la ya
sealada de que los materiales son analizados directamente por sus receptoresdestinatarios, se encuentra en que se realiza en los contextos ecolgicos naturales
donde los medios se utilizan, y en interaccin directa con el resto de variables
curriculares.
Este tipo de evaluacin ayuda a reflexionar no slo sobre el
comportamiento del medio en s, sino tambin cmo la introduccin del medio
influye directamente en el resto de elementos, desde los conceptuales hasta los
fsicos y organizativos. Por otra parte, puede observarse tambin cmo se
comporta el medio cuando sobre el mismo se aplican diferentes estrategias o
metodologas.
En el cuadro 5.3 se presenta una sntesis de las ventajas y limitaciones
fundamentales de las estrategias indicadas.

5.6.-Tcnicas de evaluacin
En el cuadro 5.4 pueden observarse algunas de las tcnicas que suelen
utilizarse para la evaluacin de los medios y materiales de enseanza.
Antes de abordar algunas de las caractersticas de las tcnicas
presentadas, sus ventajas e inconvenientes y presentar algunos instrumentos
especficos elaborados, es conveniente sealar dos aspectos. En primer lugar,
que por lo general las diferentes tcnicas presentadas pueden ser utilizadas de
forma sistemtica o asistemtica en las tres estrategias de evaluacin de medios
comentadas anteriormente, aunque si bien es cierto que en la autoevaluacin por
los productores debido a sus propias caractersticas algunas no son aplicables. Y
en segundo lugar, como afirma Santos (1991), es necesario asumir que los
instrumentos estandarizados elaborados poseen una serie de limitaciones como
son: prescinden de aspectos relacionados con la poltica curricular, estn
descarnados de teoras sobre los elementos esenciales del proceso educativo, no
tienen en cuenta el anlisis de los materiales en el contexto del usuario, muestran
un aparente rigor mediante cuantificaciones o grabaciones rgidas, y tienden a
centrarse en datos secundarios y marginales. Una de las tcnicas mas utilizadas
es la de los cuestionarios y escalas de respuesta, que suponen la organizaci6n
sistemtica de una serie de cuestiones sobre las cuales se pretende recoger
informacin de forma ordenadas y que previamente han sido determinadas por un
evaluador. Entre sus ventajas principales aparecen que permiten recoger
informacin cuantificable y determinada previamente por los evaluadores, lo cual

implica un cierto grado de anlisis y reflexin sobre cules son las dimensiones
significativas, y que son fciles de aplicar y comprender por las personas que
deben complementarla. En su presentacin se pueden ofrecer al sujeto diferentes
opciones de respuestas, desde las que van de la sealizacin de su presencia o
ausencia, acuerdo o desacuerdo, hasta las que le ofrecen una escala para la
graduacin de su opinin, mediante escalas nominales: nunca, rara vez,
algunas veces, a menudo, o numricas: "puntu de 0 a 10" la pertinencia del
programa en un aspecto determinado.
Cuadro 5.3.-Ventajas y limitaciones de diferentes estrategias de evaluacin de
medios y materiales de enseanza.

Cuadro 5.4.-Diferentes tcnicas de evaluacin de medios y materiales de

enseanza.

Entre sus limitaciones se encuentran:

-Restringir las posibles respuestas e informaciones que se pueden
recoger de los usuarios. -Salvo que se especifique tienden a
concederle a todos los elementos el mismo valor y significacin
de cara al aprendizaje. -Son planteados en el vaci, y no
contemplan resultados diferentes de cara a la utilizacin de
estrategias diferentes de enseanza-aprendizaje. -Tienden a
formularse con un carcter generalista, no contemplando ni
diversidad de reas ni diversidad de receptores. -Algunas veces
no se incorporan las bases conceptuales y tericas a partir de
las cuales se han elaborado.
Las formas en las cuales se presentan las escalas y cuestionarios son
diversas a ttulo de ejemplo presentamos en cuadro 5.5 el elaborado por Sevillano
(1995) para la valoracin tcnica de los videos didcticos.
A la hora de su elaboracin deberemos tener en cuenta diferentes
aspectos, como son: la determinacin del objeto y de las dimensiones a
contemplar en el instrumento de evaluacin, eleccin de un formato de
construccin y de respuesta de los receptores, y la realizacin de un estudio piloto.
En la formulacin de los tems deberemos tener en cuenta diferentes aspectos,
como son: formulacin clara y sencilla, las preguntas deben posibilitar una nica
interpretacin, y no deben orientar hacia la respuesta.
Otra de las tcnicas muy utilizadas es la entrevista, en la cual existen
perspectivas que van de la completamente estandarizada hasta la completamente
abierta. Denzin (1978), ya en un trabajo clsico, identifica tres tipos de entrevistas
estandarizadas: presecuenciada, no presecuenciada, y no estandarizada. La
primera es prcticamente un cuestionario administrado de forma oral donde a
todas las personas se le hacen las mismas preguntas y en el mismo orden. En la
segunda, a todos se le hacen las mismas preguntas, pero el orden es prefijado por
el entrevistador segn las reacciones del entrevistado. Y en la no estandarizada el
entrevistador cuenta simplemente con una gua sobre aquellos aspectos sobre los
que le interesa recoger informacin.

Las clasificaciones de las entrevistas son diversas y pueden ser divididas

en funcin de los sujetos, como individual o grupal; estructurada, semiestructurada
o no estructurada, segn su nivel de estructuracin; y descriptivas, estructurales o
de contraste, si se tiene en cuenta el tipo de preguntas formuladas.
Cuadro 5.5.-Instrumento para la valoracin tcnica de los videos (Sevillano, 1995:
482-483).

La calidad de los datos que se obtengan de la entrevista depender

directamente de la forma en que se desarrolla y mantiene, y el ambiente en el que
se ejecuta. As, en cuanto a la formulacin de preguntas, se debe adoptar una
serie de precauciones: utilizar un lenguaje claro, que las preguntas sean
perfectamente comprensibles por los receptores, que no infieran directamente la
contestacin, formular preguntas que solo impliquen una idea, evitar el cansancio,
eludir preguntas con contestaciones dicotmicas, y no aburrir al entrevistado.

A las condiciones materiales en las cuales se desarrolle la entrevista

debemos prestarle especial atencin y, en este sentido, puede ser aconsejable
adoptar una serie de precauciones como las siguientes: que el ambiente sea
tranquilo, ser sensible a las aportaciones de los entrevistados, prestar atencin a
los comentarios realizados, cordial y con ausencia de perturbaciones, dedicar
unos instantes iniciales al conocimiento entre el entrevistado y entrevistador, si se
va a grabar solicitar permiso previo para su registro, y que la duracin no sea
excesiva.
Bisquerra (1989: 105) habla de una serie de pasos que es recomendable
seguir en su aplicacin: especificar que se pretende medir y analizar, decidir el tipo
de preguntas y construir el guin o protocolo que la guiar.
La observacin directa o grabada de las conductas mantenidas por los
receptores mientras interaccionan con los programas es otra de las tcnicas
utilizadas para su evaluacin. Tambin en este caso la calidad de los resultados
depender directamente de las precauciones que se adopten en su aplicacin, y al
respecto puede ser aconsejable tomar una serie de precauciones como las
siguientes:
1. Establecer las condiciones de la observacin (determinar los sujetos que sern
observados, establecer la situacin real de observacin, determinar las tareas que
realizaran los sujetos en la interaccin con los programas, etc.).
2. Describir el propsito de la observacin.
3. Presentarle a los sujetos la actividad que tienen que realizar informndoles de
que en cualquier momento podrn abandonar la sesin, as como comentarles que
no se le prestara ayuda mientras estn interaccionando con el programa.
4. Referencias al funcionamiento tcnico de los equipos.
5. Si se tiene establecida la utilizacin de tcnicas como las de "pensar en voz
alta" o de "recuerdo de la informacin" explicarles en que consisten.
6. Realizacin practica de la actividad.
7. Conclusin de la misma.
Independientemente de las precauciones el observador debe tener en todo
momento bastante claro a quien o quienes debe de observar, en que momentos y
situaciones, y donde debe efectuarse.
Para la obtencin de observaciones ms rigurosas suelen utilizarse
diferentes tcnicas e instrumentos de observacin: categoriales, descriptivos,
narrativos y tecnolgicos (Rodrguez y otros, 1996). Cada uno de ellos tiene sus
ventajas e inconvenientes y debe ser seleccionado con precaucin por el
evaluador. En el primero la observacin se realiza siempre desde categoras
prefijadas por el evaluador, que deben ser definidas con precisin y claridad,

mutuamente excluyentes y homogneas al mismo tiempo ya que tienen que

guardar cierta relacin entre si, y deben procurar tener un carcter exhaustivo para
abarcar todo el fenmeno analizado. En el segundo, la identificacin del problema
puede realizarse de un modo explicito aludiendo a conductas. En el tercero, se
persigue realizar una descripcin detallada de los fenmenos a observar y explicar
los procesos en curso. Y los ltimos, que pretenden el registro tcnico de la
observacin realizada, para salvar el problema de su carcter temporal y
ocasional.
La escala de actitud con construccin tipo Likert es una de las tcnicas de
autoinforme ms utilizada para la evaluacin de actitudes, ya que en comparacin
con otros instrumentos similares presenta las ventajas de facilidad de elaboracin
y aplicacin, la menor cantidad de suposiciones estadsticas y que es el mtodo
mas extendido; aunque tambin el inconveniente de lo limitado de los datos que
aporta. El procedimiento consiste en la existencia de una serie de enunciados
respecto a los cuales el receptor puede mostrar su aceptacin o rechazo, o indicar
su grado de acuerdo o desacuerdo (Completamente de acuerdo - De acuerdo - No
estoy seguro En desacuerdo - Completamente en desacuerdo).
En el Cuadro 5.6 se presenta una parte del instrumento elaborado por
Gallego (1994) para evaluar software informtico.
Cuadro 5.6.-Escala de evaluacin de software informtico (Gallego, 1994).

A cada una de las opciones (Completamente de acuerdo/De acuerdo/, etc.)

puede asignrsele una puntuacin, y obtener con cada una de ellas un sumatorio
global y un valor medio del material a evaluar. Puntuacin que puede servir para
contrastar las posibilidades de diferentes medios.

Para su construccin suele seguirse una serie de etapas: seleccin de las

dimensiones de la escala, redaccin de los tems, y anlisis y seleccin de los
tems, y obtencin del ndice de fiabilidad.
Otra de las tcnicas utilizadas es la del diferencial semntica, que es segn
sus creadores (Osgood y otros, 1976: 27) "[...] esencialmente una combinacin de
asociaciones controladas y procedimientos de escala. Proporcionamos al sujeto
un concepto para que sea diferenciado y un conjunto de escalas de adjetivos
bipolares para que lo realice, siendo su nica tarea indicar, para cada tem, la
direccin de su asociacin y su intensidad sobre una escala de siete pasos".
En el Cuadro 5.7 se presenta una elaborada (Cabero, 1993) para recoger la
opinin que alumnos de EGB tenan hacia los ordenadores. Para su construccin
seguimos las siguientes etapas: 1. identificacin de pares de adjetivos de otras
escalas, 2. encuestas a alumnos sobre cmo perciban y que caractersticas le
asignaban al ordenador, 3. formacin de la lista de pares de adjetivos bipolares, 4.
juicio de expertos,
Cuadro 5.7.-Escala de evaluacin de actitudes hacia la informtica (Cabero,
1993).

5. formacin de escalas de adjetivos bipolares, 6. ndice de fiabilidad y 7.

formacin definitiva de las escalas.

Para su cuantificacin a la contestacin mas cercana al adjetivo con sentido

positivo se le concede la puntuacin mas elevada, y la menor al adjetivo con
sentido negativo, uno. Para que el sujeto no aprenda un itinerario de respuesta,
suele variarse la colocacin de los adjetivos con sentido positivo y negativo.
La tcnica de los grupos de discusin es diferente de las encuestas o
entrevistas, en el sentido que busca desentraar no tanto lo que se dice como lo
que esta detrs de lo que se comenta (Ibez, 1986). Como seala Morgan (1988:
15), estos grupos combinan elementos de las tcnicas de la entrevista individual y
la observacin participante. De acuerdo con Krueger (1991: 24) se pueden
entender por ellos: "[...] Un tipo especial de grupo en cuanto a sus objetivos, su
tamao, composicin y procedimiento. Un grupo de discusin esta compuesto
generalmente por entre siete y diez participantes. Estos participantes son
seleccionados porque tienen ciertas caractersticas en comn que les relacionan
con el tema objeto de discusin grupal".
lvarez (1989-1990: 202), en esta misma lnea, comenta: "Se basa en el
anlisis del discurso producido por un conjunto reducido de personas
seleccionadas y organizadas de acuerdo a criterios sociopsicolgicos, para discutir
sobre un problema/situacin indirectamente relacionado con el tema de la
investigacin".
Para que un grupo de discusin funcione el entrevistador-guiador debe
seguir una serie de principios, como el de una preparacin minuciosa de la sesin
que implique tanto las preguntas de comienzo de la sesin, la seleccin de los
participantes, y las condiciones espaciales en las cuales se desarrollar. No deben
quedar dudas de que la calidad de los datos que se obtengan depende bastante
del entrevistador y su habilidad para conducir la sesin, diagnosticar e interpretar
comunicaciones no verbales de los participantes, el que la dirija para que puedan
participar todas las personas, o el evitar favorecer inconscientemente alguna
tendencia o idea presentada por algn o algunos miembros.
El tamao idneo para un grupo de discusin se sita entre 7 y 10
participantes. Como indica Morgan (1988) los grupos pequeos tienen el problema
de ser poco productivos y muy costosos. Por el contrario los grupos grandes
tienen los problemas de la dificultad de coordinar y dirigir la reunin.
El nmero de grupos que se puede utilizar depende de una serie de
factores, Como por ejemplo el nmero de subgrupos que formen la poblacin y la
disponibilidad temporal y econmica de la que disponga el evaluador. Como
principio general deben realizarse grupos de discusin con los colectivos ms
amplios posibles, de manera que aumente la calidad y profundidad del anlisis.
Las fases por las que se suele pasar para la evaluacin de medios son:

recepcin de los participantes y presentacin de instrucciones, visionado colectivo

del material, discusin y despedida. Los datos pueden analizarse, por ejemplo,
mediante dos tipos de tcnicas: el sumario etnogrfico y la codificacin sistemtica
mediante el anlisis de contenido (Morgan, 1988: 64).
Las ventajas que para Krueger (1991: 49-51) tiene esta tcnica son las
siguientes: es bastante flexible ya que su caracterstica abierta permite desviarse
del guin al moderador, es fcilmente comprendida, su costo es relativamente
reducido, los resultados rpidamente pueden estar disponibles y la posibilidad de
incrementar el tamao de la muestra estudiada. Y como limitaciones, el
entrevistador puede tener menos control que en otros procedimientos, el anlisis
de los datos es mas complejo, requieren un entrevistador cuidadosamente
entrenado, y en algunos casos no es fcil reunir a los grupos.
No se puede olvidar la posibilidad que ofrecen el incorporar diferentes
rutinas en su diseo tecnolgico, que aporten informacin sobre el tiempo total
que el sujeto esta interaccionando con los programas, el tiempo que invierte en
cada una de las pantallas, el itinerario que suele elegir en programas que permiten
la libre circulacin,
o zonas activas de las pantallas que son utilizadas por los receptores, recorrido
que sigue el sujeto, etc. Elementos que aportan informacin respecto a las zonas
de ms difcil lectura y comprensin, los elementos que son ms atractivos para
los receptores, y los elementos que facilitan la comprensin de los programas.
Por ltimo, como tcnica de evaluacin la utilizacin de los instrumentos
tradicionales de evaluacin y recuerdo de la informacin, como son los test de
papel y lpiz de diferente topologa : espacio en blanco, eleccin mltiple , de
respuesta dicotmica... En este sentido, los instrumentos con los que cuenta el
evaluador son bastante amplios como puede comprobarse en diferentes manuales
de didctica general y evaluacin de los conocimientos de los estudiantes
(Rodrguez Diguez, 1980; Lafourcade, 1977).

5.7.- La evaluacin econmica de los medios

Dentro de las diferentes lneas y tendencias de investigacin que sobre los
medios se han impulsado, las investigaciones sobre cuestiones econmicas son
las que menos se han desarrollado, aunque siempre ha existido una tendencia a
realizar estudios preocupados por buscar elementos comparativos tanto entre los
diversos medios audiovisuales y nuevas tecnologas de la informacin y
comunicacin, como entre ellos y los profesores o los materiales impresos. Estos
estudios, como han sugerido Clark y Sugrue (1988), se han dirigido hacia dos

preocupaciones fundamentales: los efectos del medio sobre el coste de la

instruccin y sobre el tiempo invertido en la misma.
En cuanto a los costes de los diferentes medios, debemos verlos desde
distintas perspectivas: coste de la inversin, coste de mantenimiento, coste de
actualizacin, y coste de la adquisicin del software o material de paso.

La evaluacin es una de las etapas ms significativas a la hora de producir

cualquier tipo de medio y material de enseanza . A partir de los datos que
obtengamos en ella podremos determinar la validez del medio para alcanzar los
objetivos prefijados para el mismo.
Esta evaluacin puede abarcarse desde diferentes perspectivas, que van
desde la econmica, hasta las posibilidades educativas y didcticas para las
cuales puede servir. Al mismo tiempo los elementos a evaluar son diversos:
contenidos, aspectos tcnicos y estticos, caractersticas y potencialidades
tecnolgicas, aspectos fsicos y ergonmicos, organizacin interna de la
informacin, receptores, utilizacin por parte de los estudiantes, y su coste de
produccin y distribucin.
Las estrategias fundamentales a utilizar para evaluar cualquier tipo de
medio y material de enseanza son: autoevaluacin por los productores, consulta
a expertos, y evaluacin "por" y "desde" los usuarios. Cada una de ellas tiene sus
posibilidades y limitaciones, por ello es conveniente que la evaluacin de un
material no se limite exclusivamente a una de ellas, sobre todo si adems se tiene
en cuenta que la autoevaluacin por los productores es una de las estrategias que
consciente o inconscientemente suele aplicarse.
En las estrategias anteriormente citadas pueden utilizarse diferentes
tcnicos, como son: cuestionarios y escalas de opinin y valoracin, entrevistas,
pruebas de recuerdo de la informacin, observacin de las reacciones y
comportamientos de los receptores, grabaciones en video, escalas de actitudes,
grupos de discusin y diseos tcnicos de los programas.

1.
1. Aplicar algunos de los instrumentos de evaluacin presentados al anlisis
de medios concretos.
2.
2. Construir, teniendo en cuenta las dimensiones generales a contemplar en
la evaluacin de los medios de enseanza, un cuestionario para la evaluacin de
diapositivas y material multimedia.
3.
3. Realizar una
simulacin de evaluacin de software informtico con
los compaeros de clase.
4.
4. Aplicar algunos de las estrategias de evaluacin de medios presentadas
en el capitulo a algunos medios concretos.
5.
5. Realizar un trabajo sobre las posibilidades y limitaciones que pueden
tener las diferentes tcnicas de evaluacin en medios presentados en el captulo .
6.
6. Entrevistar a los compaeros respecto a las caractersticas significativas

que para ellos deben tener los videos didcticos.

7.
7. Realizar la pregunta anterior a los profesores buscando relaciones y
diferencias segn las asignaturas y contenidos que imparten.