INDICE:

evaluation of materials

introduction

macro and micro evaluations

phases in evaluation: Criticism of the checklist approach

who evaluates?
Evaluation of materials

The empirical evaluation of language teaching materials

Rod Ellis

ELT Journal, Volume 51, Issue 1, 1 January 1997, Pages 36–42,

https://doi.org/10.1093/elt/51.1.36

Published: 01 January 1997 Article history

This article distinguishes two types of materials evaluation: a predictive evaluation designed to
make a decision regarding what materials to use, and a retrospective evaluation designed to
examine materials to use, and a retrospective evaluation designed to examine materials that
have actually been used. Retrospective evaluations can be impressionistic or empirical. It is
suggested that one way in which teachers can conduct empirical evaluations is by investigating
specific teaching tasks. A procedure for conducting a task evaluation is described. Finally, it is
suggested that task evaluations constitute a kind of action research that can contribute to
reflective practice in teaching.

Issue Section: Articles

Traduccion:

La evaluación empírica de los materiales de enseñanza de idiomas Rod Ellis

ELT Journal, Volumen 51, Número 1, 1 de enero de 1997, Páginas 36-42,

https://doi.org/10.1093/elt/51.1.36
Publicado: 01 de enero de 1997 Historia del artículo

Este artículo distingue dos tipos de evaluación de materiales: una evaluación predictiva
diseñada para tomar una decisión con respecto a qué materiales usar, y una evaluación
retrospectiva diseñada para examinar los materiales a usar, y una evaluación retrospectiva
diseñada para examinar los materiales que se han usado realmente. Las evaluaciones
retrospectivas pueden ser impresionistas o empíricas. Se sugiere que una forma en que los
maestros pueden realizar evaluaciones empíricas es investigando tareas específicas de
enseñanza. Se describe un procedimiento para realizar una evaluación de tareas. Finalmente,
se sugiere que las evaluaciones de tareas constituyen un tipo de investigación de acción que
puede contribuir a la práctica reflexiva en la enseñanza.

Sección de publicación: artículos

Introduction

Definition of introduction

1 : something that introduces: such as a (1) : a part of a book or treatise preliminary to the
main portion (2) : a preliminary treatise or course of study

b : a short introductory musical passage

2 : the act or process of introducing : the state of being introduced

3 : a putting in : insertion

4 : something introduced; specifically : a new or exotic plant or animal

Traducción

Definición de introducción

1: algo que introduce: como (1): una parte de un libro o tratado preliminar a la parte principal
(2): un tratado preliminar o curso de estudio

b: un corto pasaje musical introductorio

2: el acto o proceso de presentación: el estado de introducción

3: una puesta en: inserción

4: algo introducido; específicamente: una planta o animal nuevo o exótico

Macro- and micro-evaluations

Macro- and micro-evaluations of task-based teaching

Abstract

Task-based language teaching (TBLT) constitutes a strong form of communicative language

teaching. It aims to develop learners’ knowledge of a second language (L2) and their ability to
use this knowledge in communication by engaging them in a series of communicative tasks. It
differs from other approaches in that it does not attempt to teach learners predetermined
linguistic items (i.e. vocabulary and grammar). TBLT is based on a view of language learning
that claims that an L@2 is best learned through learners’ efforts to communicate with it.
Central to an understanding of TBLT is the concept of ‘task’. Therefore, I will begin by a
definition of this pedagogic construct.
Citation

Ellis, R. 2011. Macro- and micro-evaluations of task-based teaching, in Tomlinson, B. (ed),

Materials Development in Language Teaching, pp. 212-235. Cambridge: Cambridge University
Press.

Source Title

Materials Development in Language Teaching

Traducción:

Macro y micro evaluaciones de la enseñanza basada en tareas

Abstracto

La enseñanza de idiomas basada en tareas (TBLT) constituye una forma sólida de enseñanza
del lenguaje comunicativo. Su objetivo es desarrollar el conocimiento de los alumnos de un
segundo idioma (L2) y su capacidad para utilizar este conocimiento en la comunicación al
involucrarlos en una serie de tareas de comunicación. Se diferencia de otros enfoques en que
no intenta enseñar a los estudiantes elementos lingüísticos predeterminados (es decir,
vocabulario y gramática). TBLT se basa en una visión del aprendizaje de idiomas que afirma
que una L @ 2 se aprende mejor a través de los esfuerzos de los alumnos para comunicarse
con ella. Un aspecto central de la comprensión de TBLT es el concepto de 'tarea'. Por lo tanto,
comenzaré por una definición de este constructo pedagógico.

Citación
Ellis, R. 2011. Macro y micro evaluaciones de la enseñanza basada en tareas, en Tomlinson, B.
(ed), Materials Development in Language Teaching, pp. 212-235. Cambridge: Cambridge
University Press.
Título de fuente
Desarrollo de materiales en la enseñanza de idiomas

Phases in evaluation: Criticism of the checklist approach

The Elements of Language Curriculum: A Systematic Approach to Program Development.

A systematic approach to second language curriculum development is outlined, enumerating

the phases and activities involved in developing and implementing a sound and effective
language program. The first chapter describes a system whereby all language teaching
activities can be classified into approaches, syllabuses, techniques, exercises, or packaged
pedagogies. Needs assessment is described and different approaches are surveyed in the
second chapter, and effective techniques for developing program goals and objectives are
examined in chapter three. The fourth chapter explains the role of testing in language teaching
and the uses of different kinds of tests in decision-making and curriculum development, and
provides testing guidelines. Strategies for using needs assessment data, instructional
objectives, and testing information to develop appropriate instructional materials are outlined
in chapter five, and attention is turned to the support of teachers in chapter six. The final
chapter addresses program evaluation. Each chapter also contains a checklist for using the
concepts outlined in it, a list of relevant terminology, review questions, and exercises to
synthesize the chapter's content. A list of major publishers of English-as-a-Second-Language
instructional materials is appended. Contains 206 references and an index. (MSE)

Traduccion:

Los elementos del plan de estudios de idiomas: un enfoque sistemático para el desarrollo de
programas.

Se describe un enfoque sistemático para el desarrollo del currículo de la segunda lengua,

enumerando las fases y actividades involucradas en el desarrollo e implementación de un
programa de lenguaje sólido y efectivo. El primer capítulo describe un sistema mediante el
cual todas las actividades de enseñanza de idiomas pueden clasificarse en enfoques, planes de
estudios, técnicas, ejercicios o pedagogías empaquetadas. Se describe la evaluación de las
necesidades y se estudian diferentes enfoques en el segundo capítulo, y en el capítulo tres se
examinan las técnicas efectivas para desarrollar las metas y los objetivos del programa. El
cuarto capítulo explica el papel de las pruebas en la enseñanza de idiomas y los usos de
diferentes tipos de pruebas en la toma de decisiones y el desarrollo curricular, y proporciona
pautas de evaluación. Las estrategias para usar datos de evaluación de necesidades, objetivos
de instrucción e información de prueba para desarrollar materiales de instrucción apropiados
se describen en el capítulo cinco, y se presta atención al apoyo de los maestros en el capítulo
seis. El último capítulo aborda la evaluación del programa. Cada capítulo también contiene una
lista de verificación para usar los conceptos descritos en ella, una lista de terminología
relevante, preguntas de revisión y ejercicios para sintetizar el contenido del capítulo. Se
adjunta una lista de los principales editores de materiales de instrucción en inglés como
segundo idioma. Contiene 206 referencias y un índice. (MSE)

Who evaluates?
Who Evaluates the Evaluators?

Though more used to telling others how they’re doing, evaluators must also be willing to be
assessed if they’re to be credible.

May 7, 2014

By Caroline Heider

Twenty five years ago, evaluators were an exotic breed and donors trusted we were doing the
right thing. Just having evidence and an evaluative assessment on project performance and
results was highly valued. In fact, demand was so great that it spun off an incredible expansion
in development evaluation.

This growth has had obvious upsides: the profession has grown, is innovating and finding new
ways to pull together evidence that tells us what works and why, and is slowly maturing so
that we can talk about professionalization and, eventually, accreditation.

It has also created heightened expectations around the quality of evaluation, and raised
questions about who is evaluating the evaluators. Can we simply be trusted or should we be
required to take our own medicine?

The simple answer is yes: if anything we should hold ourselves to stricter standards than we
hold those whose interventions we evaluate.

Room for Improvement?

At IEG we have a multilayered system for quality assurance that involves internal reviews,
external peer reviewers, and at times expert panels. We question whether an evaluation
warrants being included in our work program, as much as we check the quality at entry and at
completion of our evaluations through thorough review processes. We also expose our work
to client feedback.

Yet, all of that is not enough, as none of it is as independent as we want it to be.

To fill this gap, we welcome that the Committee on Development Effectiveness, a committee
of the World Bank Group's Executive Board, has commissioned an external independent
review of IEG. The last such review was undertaken in 2004.

The main objective of this latest review is to provide suggestions and recommendations to the
Board of Executive Directors in order to continue to enhance IEG’s impact and further
strengthen its role as an independent evaluator of the Bank Group’s work. The review is
expected to clearly identify IEG’s main strengths and areas where improvement may be
necessary. The process is scheduled to conclude in September 2014.

Measuring results

In the future, the external independent review of IEG will be helped by our forthcoming results
framework, which sets out clear objectives and metrics for measuring the outcome of our
work so that others will be able to judge whether we contributed to improving the
performance and results of the World Bank Group. (See my recent blog on When Rating
Performance, Start with Yourself).

In addition, we engaged a group of renowned evaluation experts - Tom Bernes, Patricia

Rogers, Ivory Yong-Protzel, and Franck Wiebe - to undertake a meta-evaluation of three of our
evaluations. To ensure the independence of this panel, we separated the accountability for the
evaluations, which lies in the departments, from that for the meta-evaluation.
The meta-evaluation panel also developed an assessment tool to ensure a systematic analysis
of our products and to give us feedback on the independence, quality, credibility, and
influence of our evaluations. This is a pilot program which will allow us to include certain
checks in our regular quality assurance process and to decide how often we should
commission such meta-evaluations in the future.

Striving for excellence in evaluation is essential for evaluations to be influential. It requires

continuous learning and improvement, in which independent assessments of our work play an
important role.

Traducción:

¿Quién evalúa a los evaluadores?

Aunque más acostumbrados a decirles a otros cómo están, los evaluadores también deben
estar dispuestos a ser evaluados si quieren ser creíbles.

7 de mayo de 2014

Por Caroline Heider

Hace veinticinco años, los evaluadores eran una raza exótica y los donantes confiaban en que
estábamos haciendo lo correcto. Solo el hecho de tener evidencia y una evaluación evaluativa
sobre el rendimiento y los resultados del proyecto fue altamente valorado. De hecho, la
demanda fue tan grande que generó una expansión increíble en la evaluación del desarrollo.

Este crecimiento ha tenido ventajas obvias: la profesión ha crecido, está innovando y

encontrando nuevas formas de reunir evidencia que nos dice qué funciona y por qué, y está
madurando lentamente para que podamos hablar sobre la profesionalización y, finalmente, la
acreditación.

También ha creado expectativas elevadas en torno a la calidad de la evaluación y ha generado

preguntas sobre quién está evaluando a los evaluadores. ¿Se nos puede confiar simplemente o
se nos debe exigir que tomemos nuestra propia medicina?

La respuesta simple es sí: en todo caso deberíamos mantenernos en estándares más estrictos
de los que tenemos aquellas cuyas intervenciones evaluamos.

¿Margen de mejora?

En IEG tenemos un sistema de varias capas para garantizar la calidad que involucra revisiones
internas, revisores externos y, a veces, paneles de expertos. Cuestionamos si una evaluación
garantiza ser incluida en nuestro programa de trabajo, tanto como verificamos la calidad en la
entrada y al finalizar nuestras evaluaciones a través de procesos de revisión exhaustivos.
También exponemos nuestro trabajo a los comentarios de los clientes.

Sin embargo, todo eso no es suficiente, ya que ninguno de ellos es tan independiente como
queremos que sea.
Para llenar este vacío, nos complace que el Comité de Efectividad en el Desarrollo, un comité
de la Junta Ejecutiva del Grupo del Banco Mundial, haya encargado una revisión externa e
independiente de IEG. La última revisión de ese tipo se realizó en 2004.

El objetivo principal de esta última revisión es proporcionar sugerencias y recomendaciones al

Directorio Ejecutivo a fin de continuar mejorando el impacto de IEG y fortalecer aún más su
papel como evaluador independiente del trabajo del Grupo del Banco. Se espera que la
revisión identifique claramente las principales fortalezas de IEG y las áreas donde puede ser
necesaria una mejora. El proceso está programado para concluir en septiembre de 2014.

Medición de resultados

En el futuro, la revisión externa independiente de IEG se verá favorecida por nuestro próximo
marco de resultados, que establece objetivos claros y métricas para medir el resultado de
nuestro trabajo, de modo que otros puedan juzgar si contribuimos a mejorar el rendimiento y
los resultados. del Grupo del Banco Mundial. (Vea mi blog reciente sobre Cuando se califica el
rendimiento, Comience con usted mismo).

Además, contratamos a un grupo de reconocidos expertos en evaluación, Tom Bernes, Patricia

Rogers, Ivory Yong-Protzel y Franck Wiebe, para llevar a cabo una metaevaluación de tres de
nuestras evaluaciones. Para garantizar la independencia de este panel, separamos la
responsabilidad de las evaluaciones, que se encuentra en el proceso. Además, contratamos a
un grupo de reconocidos expertos en evaluación (Tom Bernes, Patricia Rogers, Ivory Yong-
Protzel y Franck Wiebe) para que realicen una meta -evaluación de tres de nuestras
evaluaciones. Para garantizar la independencia de este panel, separamos la responsabilidad de
las evaluaciones, que se encuentra en los departamentos, de la de la metaevaluación.

El panel de metaevaluación también desarrolló una herramienta de evaluación para garantizar

un análisis sistemático de nuestros productos y para darnos su opinión sobre la independencia,
la calidad, la credibilidad y la influencia de nuestras evaluaciones. Este es un programa piloto
que nos permitirá incluir ciertos controles en nuestro proceso regular de aseguramiento de la
calidad y decidir con qué frecuencia debemos encargar tales metaevaluaciones en el futuro.

El esfuerzo por la excelencia en la evaluación es esencial para que las evaluaciones sean
influyentes. Requiere aprendizaje y mejora continuos, en los cuales las evaluaciones
independientes de nuestro trabajo juegan un papel importante.