¿QUÉ ES MULTIMODALIDAD?

16 de febrero de 2012 · Por Jeff Bezemer · en Uncategorized . ·

La multimodalidad es un enfoque interdisciplinario que entiende que la comunicación y la representación son

más que lenguaje. Se ha desarrollado en la última década para abordar de forma sistemática las cuestiones
más debatidas sobre los cambios en la sociedad, por ejemplo, en relación con los nuevos medios y
tecnologías.
Los enfoques multimodales han proporcionado conceptos, métodos y un marco para la recopilación y el
análisis de los aspectos visuales, auditivos, encarnados y espaciales de la interacción y los entornos, y las
relaciones entre estos (1,2).
Supuestos teóricos
Tres supuestos teóricos interconectados apuntalan la multimodalidad.
Primero, la multimodalidad asume que la representación y la comunicación siempre se basan en una
multiplicidad de modos, todos los cuales contribuyen al significado. Se enfoca en analizar y describir todo el
repertorio de recursos de creación de significado que las personas usan (visual, hablado, gestual, escrito,
tridimensional y otros, dependiendo del dominio de representación) en diferentes contextos, y en el desarrollo
de medios que muestran cómo se organizan para dar sentido.
En segundo lugar, la multimodalidad asume que los recursos se configuran socialmente a lo largo del tiempo
para convertirse en significado, al hacer recursos que articulen los significados (sociales, individuales /
afectivos) exigidos por los requisitos de las diferentes comunidades. Estos conjuntos organizados de recursos
semióticos para generar significado se denominan modos que realizan el trabajo comunicativo de distintas
maneras, haciendo que la elección del modo sea un aspecto central de la interacción y el significado. Cuanto
más se haya utilizado un conjunto de recursos en la vida social de una comunidad en particular, más completa
y finamente articulada se habrá convertido. Para que algo sea "un modo", debe existir un sentido cultural
compartido dentro de una comunidad de un conjunto de recursos y cómo estos se pueden organizar para que
tengan sentido.
En tercer lugar, las personas orquestan el significado a través de su selección y configuración de modos,
poniendo de relieve la importancia de la interacción entre los modos. Por lo tanto, todos los actos de
comunicación están conformados por las normas y reglas que operan en el momento de la fabricación de
signos, y están influenciados por las motivaciones y los intereses de las personas en un contexto social
específico.
Conceptos básicos
Cuatro conceptos básicos son comunes en la investigación multimodal: modo, recurso semiótico, flexibilidad
modal y relaciones inter-semióticas. Dentro de la semiótica social, un modo se entiende como un resultado de
la configuración cultural de un material a través de su uso en la interacción social diaria de las personas. Los
recursos semióticos de un modo vienen a mostrar regularidades a través de las formas en que las personas los
usan y pueden considerarse como la conexión entre los recursos de representación y lo que las personas hacen
con ellos. El término modal affordance se refiere a los aspectos materiales y culturales de los modos: lo que es
posible expresar y representar fácilmente con un modo. Es un concepto relacionado tanto con el uso histórico
material como cultural y social de un modo. La accesibilidad modal plantea la pregunta de qué modo es
"mejor" para qué. Esto plantea el concepto de relaciones entre semióticas y cómo se configuran los modos en
contextos particulares. Estos cuatro conceptos proporcionan el punto de partida para el análisis multimodal.
¿Cuál es el enfoque y el alcance de la investigación multimodal?
La multimodalidad se puede usar para construir inventarios de recursos semióticos, principios de organización
y referencias culturales que los modos ponen a disposición de las personas en lugares y tiempos particulares:
las acciones, los materiales y los artefactos con los que las personas se comunican. Esto ha incluido
contribuciones al mapeo de los recursos semióticos de comunicación visual y color, gesto y movimiento,
mirada, voz y música, por nombrar algunos (1).
También se han llevado a cabo estudios multimodales para comprender cómo se usan los recursos semióticos
para articular discursos en una variedad de contextos y medios, por ejemplo, escuelas, lugares de trabajo,
entornos en línea, libros de texto y publicidades. Las relaciones entre los modos en los textos multimodales y
la interacción son un área central de la investigación multimodal.
La investigación multimodal hace una contribución significativa a los métodos de investigación para la
recopilación y el análisis de datos digitales y entornos dentro de la investigación social. Proporciona métodos
novedosos para la recopilación y el análisis de tipos de datos visuales, datos de video y métodos innovadores
de transcripción multimodal y gestión de datos digitales (3).
Referencias
1 Jewitt, C. (ed.) (2009) The Routledge Handbook of Multimodal Analysis, Londres: Routledge.
2 Kress, G. (2009) Multimodalidad: un enfoque semiótico social a la comunicación contemporánea, Londres:
Routledge.
3 Bezemer, J. y Mavers, D. (2011) Transcripción Multimodal como Práctica Académica, Revista
Internacional de Metodología de la Investigación Social vol. 14, No. 3, mayo de 2011, 191-206.

https://multimodalstudies.wordpress.com/readings-and-references/

ALFABETIZACIÓN
MULTIMODAL
1. ¿Qué es la Alfabetización
Multimodal?
La alfabetización multimodal, propuesta por primera vez por Jewitt y Kress
(2003), trata sobre la
comprensión de las diferentes formas de representación del conocimiento y
la
creación de significado .
La alfabetización multimodal "se centra en el diseño del discurso
investigando las contribuciones de recursos semióticos específicos (por
ejemplo, lenguaje, gestos, imágenes) desplegados conjuntamente a través de
diversas modalidades (por ejemplo, visual, auditiva, somática), así como su
interacción e integración en la construcción de un texto coherente ".
Lim, FV, KL O'Halloran, S. Tan y MKL E (2015: 917), 'Teaching Visual Texts
with Multimodal Analysis Software', Educational Technology Research and
Development 63 (6), 915-935.

"El enfoque multimodal tiene en cuenta cómo las elecciones lingüísticas y

visuales (y otras) cumplen los propósitos del texto, la audiencia y el contexto,
y cómo esas elecciones trabajan juntas en la organización y el desarrollo de
la información y las ideas".
Lim, FV y Tan, KYS (2017). Investigación Translacional Multimodal:
Enseñanza de Textos Visuales. IN Seizov, O. & Wildfeuer, J. (EDS.), Nuevos
estudios en multimodalidad: elaboraciones conceptuales y
metodológicas (PP.175-200). Londres / Nueva York: Bloomsbury.

"Un estudiante 'multimodal alfabetizado' debe estar sensibilizado con el

potencial de significado y las opciones ofrecidas en la producción del texto,
mejorando la capacidad de tomar decisiones deliberadas y efectivas en la
construcción y presentación del conocimiento".
O'Halloran, KL & Lim, FV (2011), "Dimensioner af Multimodal
Literacy", Viden om Læsning 10, septiembre de 2011: 14-21, Copenhague,
Dinamarca: Nationalt Videncenter para Laesning.

“ 1 st Dimensión de Multimodal Alfabetización: Media Literacy

La primera dimensión es con respecto a la prevalencia de textos multimodales,
específicamente a través de textos multimedia proporcionados por los medios
digitales, por lo tanto, destaca la necesidad de una alfabetización para producir y
acceder a la información.
La alfabetización multimodal reconoce la importancia de todos los recursos y
modalidades semióticos en la construcción del significado. Los recursos
semióticos no se reducen a recursos paralingüísticos que son auxiliares del
lenguaje, sino que se consideran recursos semióticos que tienen el mismo estatus
que el lenguaje y son igual de efectivos en la semiosis.
También se consideran las posibilidades funcionales y las limitaciones de cada
recurso semiótico y su contribución al discurso multimodal. Como O'Halloran &
Smith (en prensa-b) reflejan, "[d] los recursos semióticos diferentes traen consigo
sus propias posibilidades y limitaciones, tanto individualmente como en
combinación, así como los desafíos analíticos en términos de la naturaleza de
estos medios, el detalle y el alcance del análisis, y las complejidades que surgen
de la integración de los recursos semióticos a través de los medios ". Por
ejemplo, Kress (1999: 79) argumenta que el lenguaje "es necesariamente un
modo organizado temporal y secuencialmente ... [t] a visual por contraste es un
modo organizado espacialmente y simultáneamente".
A partir de esto, se puede deducir que un alumno "multimodal alfabetizado" debe
sensibilizarse al potencial de significado y a las opciones ofrecidas en la
producción del texto, mejorando la capacidad de tomar decisiones deliberadas y
efectivas en la construcción y presentación del conocimiento . Armados con tal
comprensión, los estudiantes no solo se convertirán en consumidores exigentes
de textos multisemióticos, sino que también se convertirán en competentes
productores de textos multimodales.
2 nd Dimensión de Multimodal Alfabetización: Experiencia Multisemiotic
La segunda dimensión se refiere al reconocimiento de que la experiencia de la
enseñanza y el aprendizaje es intrínsecamente multisemótica y
multimodal. Como observa O'Toole (1994: 15), "[e] n 'leemos' a la gente en la
vida cotidiana: rasgos faciales y expresión, postura, gesto, acciones típicas y
vestimenta".
Mientras la nueva tecnología de medios ha enfocado la naturaleza multimodal de
nuestra comunicación, los significados siempre han sido construidos e
interpretados multimodales mediante el uso de recursos semióticos como
lenguaje y recursos corpóreos como gestos y posturas en diferentes modalidades
sensoriales a través de la vista, el olfato, el gusto y el tacto. Norris (2004: 2)
observa que "[a] todos los movimientos, todos los ruidos y todos los objetos
materiales llevan significados de interacción tan pronto como son percibidos por
una persona". En este sentido, toda interacción es multimodal. Nuestra
comunicación es más de lo que se dice y escucha, pero por lo que percibimos a
través de expresiones, miradas, gestos y movimientos.
Por lo tanto, es necesario comprender cómo se construye la experiencia de la
lección a través del uso por parte del docente de un repertorio de recursos
semióticos tal como se materializa en su pedagogía. Apreciar las posibilidades y
limitaciones funcionales de estos recursos y modalidades semióticos, así como la
forma en que se implementan conjuntamente en la orquestación de la lección,
puede proporcionar interpretaciones que pueden conducir a una enseñanza y
aprendizaje más efectivos en el aula (véase, por ejemplo, Lim, 2010, Lim,
O'Halloran & Podlasov, presentado para publicación, Lim, de próxima
aparición).
Desde las perspectivas duales de la alfabetización multimodal en el texto
multimodal y en la experiencia multisemótica, la infusión de la alfabetización
multimodal tiene dos aspectos.
Son 1) la inculcación de habilidades de análisis del discurso multimodal para
estudiantes y 2) la sensibilización en el uso de recursos multimodales (las
posibilidades y limitaciones que cada uno trae, su orquestación (relaciones
contextualizadoras) y su potencial para dar forma a la experiencia de la lección)
en el aula para los maestros ".
O'Halloran, KL & Lim, FV (2011). Dimensioner af Alfabetización
multimodal. Viden om Læsning. Número 10, septiembre de 2011, pp. 14-
21. Nationalt Videncenter para Laesning: Dinamarca "
 2. Enseñanza de la Alfabetización
Multimodal
"El enfoque sistémico para la enseñanza de textos visuales enfatiza la
enseñanza explícita de las características genéricas de los textos visuales e
introduce las estrategias multimodales comunes utilizadas para atraer a los
espectadores. Su objetivo es proporcionar un conjunto de andamios
pedagógicos, informados por la teoría sistémico-funcional y las ideas de la
investigación multimodal, para proporcionar a los estudiantes una
estructura y un metalenguaje apropiado para interpretar textos visuales ".
"El enfoque sistémico se denomina así, dado su origen en el Análisis de
discurso multimodal sistémico-funcional (SFMDA) (Jewitt, Bezemer y
O'Halloran 2016; O'Halloran y Lim, 2014), que es una aplicación de lo
sistémico-funcional Teoría desarrollada por Halliday (1985). Como observan
O'Halloran y Lim, "El término 'sistémico' también describe la organización
subyacente de los recursos semióticos que permite que los recursos se
utilicen para diferentes propósitos. Los sistemas de significado se modelan
típicamente como "redes de sistemas" interrelacionadas (Halliday y
Matthiessen 2004; Martin 1992; Kress y van Leeuwen, (2006) para describir
los potenciales de significado de los recursos semióticos (O'Halloran y Lim,
2014: 138). ). "
Lim, FV, y Tan, KYS (2017). Investigación Translacional Multimodal:
Enseñanza de Textos Visuales. IN Seizov, O. & Wildfeuer, J. (EDS.), Nuevos
estudios en multimodalidad: elaboraciones conceptuales y
metodológicas (PP.175-200). Londres / Nueva York: Bloomsbury.

La pedagogía del Enfoque Sistémico para la enseñanza de textos multimodales

implica que los alumnos aprendan las diferentes opciones de sistema disponibles
en lenguaje e imágenes. Esto se hace a través de la introducción de
las opciones del sistema disponibles para el productor del texto a través de
las redes del sistema .
A los estudiantes se les enseña a identificar estas elecciones en el texto
multimodal seleccionado y a explicar cómo estas elecciones llevan a ciertos
significados. Esto se puede facilitar en diversos grados anotando el texto con las
herramientas tecnológicas que se enumeran a continuación. Las herramientas más
avanzadas, como la imagen / video de análisis multimodal, también brindan
opciones para la visualización del análisis.
Se alienta a los estudiantes a apoyar sus interpretaciones de los textos
multimodales citando evidencias textuales de su análisis. Esto se logra a través de
hojas de trabajo diseñadas con preguntas para guiar a los estudiantes desde la
descripción textual hasta el análisis textual (ver Ejemplo de la lección).
Finalmente, los estudiantes tienen la oportunidad de articular sus puntos de vista
y discutir las ideologías en el texto multimodal mediante la identificación de las
estrategias utilizadas para atraer al lector. Los estudiantes pueden ser invitados a
presentar su análisis y defender su interpretación del texto a la clase.
Recursos
Jewitt, C., y Kress, G. (Eds.). (2003). Alfabetización multimodal . Nueva York: Peter
Lang. Kress, G., Jewitt, C., Bourne, J., Franks, A., Hardcastle, J., Jones, K. y Reid, E.
(2005). Inglés en las aulas urbanas: una perspectiva multimodal de la enseñanza y el
aprendizaje . Londres, Reino Unido: RoutledgeFalmer.Lim, FV & O'Halloran, KL
(enviado para su publicación). Enseñanza de la alfabetización multimodal: un estudio
exploratorio. En el Journal of Information Technology Education: innovaciones en la
práctica.
Lim. FV, O'Halloran, KL, y Podlasov. A. (2012). Pedagogía espacial: mapeo de los
significados en el uso del espacio del aula. En Cambridge Journal of Education, 42: 2,
235-251.
Lim, FV y O'Halloran, KL (2012). El maestro ideal: análisis de un anuncio de
reclutamiento de maestros en Semiotica.Vol 189. No 1/4, pp. 229-254
O'Halloran, KL & Lim, FV (2014). Análisis del discurso multimodal funcional
sistémico. En Norris, S & Maier C. Texto, Imágenes e Interacciones: un lector en
multimodalidad. De Gruyter
O'Halloran, KL, Podlasov, A., Chua, A., Tisse, C.-L. y Lim, FV (2015). Retos y
soluciones al análisis multimodal: tecnología, teoría y práctica . En Y. Fang y J. Webster
(eds). Desarrollo de lingüística funcional sistémica: teoría y aplicación. Londres: Equinox
Tan, S., E, Marissa KL, y O'Halloran, KL (2012). Imagen de análisis multimodal (edición
de maestro y edición de estudiante). Compañía de análisis multimodal: Singapur.
Walsh, M. (2009). Potenciales pedagógicos de la alfabetización multimodal. En Tan, WH
L., y Subramanian, R. (Eds.), Handbook of Research on New Media Literacy at the K-12
Level: Issues and Challenges . EE. UU .: Science Reference, Hershey.

[1] Halliday, MAK, y CMIM Matthiessen (2004). Una introducción a la

gramática funcional , 3d ed. Londres, Arnold
[2] Debate del Comité de Suministro para el año fiscal 2012: Primera respuesta
del Sr. Heng Swee Keat, Ministro de Educación sobre educación centrada en el
estudiante y basada en valores: Nutrir un Singapur más inclusivo y
fuerte http://www.moe.gov.sg/media /speeches/2012/03/08/fy-2012-committee-
of-supply-debate-1st-reply.php
[3] O'Halloran, KL, Tan, S., Smith, BA, y Podlasov, A. (2010). Desafíos en el
diseño de interfaces digitales para el estudio de fenómenos
multimodales. Information Design Journal , 18 (1), 2-12.
[4] O'Halloran, KL & Lim, FV (2011). Dimensioner af Alfabetización
multimodal. Viden om Læsning . Número 10, septiembre de 2011, pp. 14-
21. Nationalt Videncenter para Laesning: Dinamarca.

3. Enfoque Sistémico
4. Marco FAMILIAR
 5. Recursos de enseñanza y
aprendizaje
RECURSOS DEL TALLER SOBRE LA VISIÓN CRÍTICA DE LOS
TEXTOS VISUALES
 http://bit.ly/criticalviewing

RECURSOS DE TALLER SOBRE LA VISIÓN CRÍTICA DE LOS

TEXTOS DE LA PELÍCULA
 http://bit.ly/criticalviewing2

RECURSOS DE LA LECCIÓN
Enseñanza de diapositivas para Lecciones 1 y 2 de Critical Viewing por
Carissa Chui y Charmaine Goh de Jurong West Secondary School ( Descargar )
Diapositivas didácticas para la Lección 3 de Critical Viewing de Carissa Chui
y Charmaine Goh de Jurong West Secondary School ( Descargar )
Diapositivas de enseñanza para la Lección 4 de Critical Viewing de Carissa
Chui y Charmaine Goh de Jurong West Secondary School ( Descargar )
Opciones del sistema y glosario de términos en el enfoque sistémico de la
visualización crítica de la División de Tecnología Educativa, Ministerio de
Educación ( Descargar )
Diapositivas de presentación sobre visualización crítica en eduLab @ AST
por Educat Download ional Technology Division, Ministry of Education
( Descargar )
Auto guía para el uso de Marqueed by Educational Technology Division,
Ministerio de Educación ( Descargar )
Autogestión del enfoque sistémico de la visión crítica de la División de
Tecnología Educativa, Ministerio de Educación ( Descargar )
Diapositivas de presentación en Jurong West Secondary School,
Departamento de Inglés ( Descargar ) por División de Tecnología Educativa,
Ministerio de Educación
Diapositivas de presentación en el Instituto Nacional de Educación,
'Rediseño de la Conferencia Pedagogía 2013' ( Descargar ) por la División de
Tecnología Educativa, Ministerio de Educación
Diapositivas de desarrollo profesional sobre el enfoque sistémico para la
enseñanza de imágenes ( Descargar ) por la División de Tecnología Educativa,
Ministerio de Educación
El desarrollo profesional se desliza sobre el enfoque sistémico de la
enseñanza del informe de noticias ( descarga ) por la División de Tecnología
Educativa, Ministerio de Educación
Diapositivas de presentación sobre un enfoque multidisciplinario en la
enseñanza de la alfabetización mediática en escuelas
secundarias ( Descargar ) por Jurong Secondary School
Libro de recursos de imágenes de análisis multimodal ( descargue el capítulo
1 ) por el laboratorio de análisis multimodal, Universidad Nacional de Singapur
Ejemplo de la lección sobre la enseñanza de anuncios ( Descargar ) por la
División de Tecnología Educativa y la Escuela Secundaria Jurong, Ministerio de
Educación
Plantilla para preguntas orientadoras para enseñar anuncios ( descargar )
por División de Tecnología Educativa, Ministerio de Educación
Hoja de trabajo ejemplar para la enseñanza de anuncios (Kinder
Bueno) ( Descargar ) por Jurong Secondary School, Ministry of Education
Hoja de trabajo ejemplar para enseñanza de anuncios (SPCA) ( descarga )
por Jurong Secondary School, Ministry of Education
Libros y Revistas
Publicación de acceso libre sobre multimodalidad que acaba de lanzarse (agosto
de 2013).
Descargue los capítulos de "Estudios en multimodalidad"
https://periodicos.ufsc.br/index.php/desterro/issue/ atview / 2014 / showToc
De interés, por favor vea el trabajo de Len Unsworth sobre RE-
CONFIGURACIÓN DE LAS RELACIONES IMAGEN-LENGUAJE Y
POSIBILIDADES INTERPRETATIVAS EN LOS LIBROS DE IMÁGENES
COMO PELÍCULAS ANIMADAS: UN SITIO PARA EL DESARROLLO DE
LA PEDAGOGÍA DE ALFABETIZACIÓN MULTIMODAL.
Descargar PDF desde:
https://periodicos.ufsc.br/index.php/desterro/article/view/2175-
8026.2013n64p15/25078

6. Estudios de Alfabetización
Multimodal

Comprender el análisis del discurso multimodal funcional sistémico

O'Halloran, KL y Lim-Fei, V. (2014). Análisis del discurso multimodal funcional
sistémico. En S, Norris. & C. Maier (Eds.), Textos, Imágenes e Interacciones: Un
lector en multimodalidad. De Gruyter.
Enseñanza de la visualización crítica de textos visuales
Lim-Fei, V., y Tan, KYS (manuscrito en preparación). Investigación
translacional multimodal: la enseñanza de textos visuales en O. Seizov y J.
Wildfeuer (Eds.) Métodos de investigación multimodales en estudios de medios,
IGI Global.
Lim-Fei, V., Chui, J, Y, C. y Goh, C, Z, C. (manuscrito en preparación). Un
estudio sobre el enfoque sistémico para enseñar textos visuales en una escuela de
Singapur. En MC Hagood. & EN, Skinner (Eds.), Revista de Alfabetización de
Adolescentes y Adultos. Wiley-Blackwell.
Lim-Fei, V., O'Hallloran, KL, Tan, S. y E, MKL (2015). Enseñanza de textos
visuales con software de análisis multimodal. Investigación y desarrollo de
tecnología educativa . Diciembre de 2015 , Volumen 63, Número 6,
páginas 915-935. Descargar
Lim-Fei, V., Tan, C. y Dong, G. (2014). Visión crítica En V, Lim-Fei., SY, Foo.,
HL, Soon., Chia, L., XT, Tan. Y C. Tan. (Eds.), Yo en la Práctica II. División de
Tecnología Educativa, Ministerio de Educación, Singapur. pp. 11-15. Descargar
Lim-Fei, V. (2013). Alfabetización multimodal. En V, Lim-Fei., L, Chia., YZ,
Ang., YCJ, Phua., D, Toh. & N, Chong. (Eds.), Yo en la práctica. División de
Tecnología Educativa, Ministerio de Educación, Singapur. pp. 52-57. Descargar

Victor Lim Fei, Investigación translacional

multimodal: enseñanza de textos visuales
El campo emergente de la investigación multimodal ha producido una rica
comprensión de los significados complejos en los textos multimodales. También se
han desarrollado muchos marcos analíticos y herramientas para comprender los
fenómenos multisemióticos.

Esta presentación describe los esfuerzos de investigación traslacional realizados

para aplicar las teorías y la comprensión desarrolladas en la academia para informar
la enseñanza y el aprendizaje en el entorno K-12. Específicamente, describe el viaje
para desarrollar estrategias de instrucción para la enseñanza de textos visuales en
el contexto de la Escuela Secundaria de Singapur que está informada por la
investigación en multimodalidad y teoría funcional sistémica.
Dibujando los marcos del discurso multimodal desarrollados por O'Toole
(1994/2010), Kress & van Leeuwen (1996/2006), y luego ampliado por Lim-Fei y
O'Halloran (2012) y Tan, Marissa y O'Halloran et al. (2010), desarrollamos un
enfoque para la enseñanza de textos visuales dirigidos a estudiantes de secundaria
en Singapur. Esta presentación describe los esfuerzos de traducción en el
desarrollo de estrategias de instrucción para la enseñanza de textos multimodales
(en este caso, anuncios impresos). Se aplica un método de investigación de método
mixto para estudiar la utilidad del enfoque sistémico en una escuela secundaria.

El enfoque sistémico contribuye a la comprensión de los textos multimodales al

explicar las elecciones del sistema que realizan las metafunciones Ideacional,
Interpersonal y Textual. Apoya a los estudiantes a citar evidencias textuales para su
interpretación del texto y desarrollar la facultad de razonamiento crítico de los
estudiantes y las habilidades de análisis del discurso, ya que son capaces de
explicar las elecciones hechas en el texto y presentar un argumento para su
interpretación.