Documente Academic
Documente Profesional
Documente Cultură
Franois Rastier
Centre national de recherche scientifique (CNRS)
Marc Cavazza
Universit de Teeside (Royaume-Uni)
1
Morris et Carnap ont expos leur programme dans lEncyclopdia of Unified
Science (1938). Unified Sience traduit le Einheitswissenschaft du Cercle de
Vienne. Les symboles dont il sagit ici sont les symboles au sens logique du
terme. Par dfinition, on peut oprer sur eux sans tenir compte de leur
contenu. Ils ne sont donc pas des signes, en ceci que leur contenu est
dissoci de leur expression, et surtout ne leur est pas propre (il peut relever
dun autre langage ou dun autre niveau de la ralit). Cette dfinition
purement syntaxique du symbole nempche pas, bien au contraire que le
169
MEI Mdiation et information , n 15, 2001
170
Smiotique et interactivit F. Rastier & M. Cavazza
1. Texte et multimodalit
Linteraction entre les contenus linguistiques et les contenus vhiculs
par dautres systmes smiotiques est un des problmes les plus diffi-
ciles pour une thorie de linterprtation comme pour les implmenta-
tions qui sen inspirent. Or, certaines applications pratiques imposent
de tenir compte des rapports entre le texte et des performances smio-
tiques dans dautres modalits. Cest le cas videmment des interfaces
multimodales, mais aussi des recherches plus rcentes en ralit virtuelle
ou augmente.
Le problme de la multimodalit relve de plein droit de la smiotique.
Quelques claircissements seront utiles. Sous le nom de multimodalit, on
confond deux sortes dinteractions : celle de canaux perceptifs diff-
rents, et celle de systmes smiotiques htrognes. Linteraction de
canaux perceptifs diffrents peut ne mettre en jeu quun seul systme de
1
Nous en sommes rests aux relations internes au plan smiotique de la pra-
tique, dont tmoignent les usages linguistiques, mais il est vident que
lordre rfrentiel comme lordre hermneutique mettent en jeu le plan
physique comme le plan reprsentationnel.
171
MEI Mdiation et information , n 15, 2001
signes, une mme langue par exemple, comme cest le cas pour les
conversions automatiques graphmes-phonmes. Les notions de mul-
timodalit et de multimdia ne rfrent quau plan de lexpression, celui
des signifiants, et ne suffisent donc pas rendre compte de la diversit
des signes, ni a fortiori, des signifis.
Les problmes de la communication multimdia ou multimodale une
fois replacs dans leur cadre smiotique, ils ne peuvent tre traits dans
labstrait. Il sagit dtudier comment les divers systmes de signes inter-
agissent au sein de la strate smiotique de la pratique sociale tudie.
Leurs modes dinteraction dpendent gnralement du type de pra-
tique : par exemple le rapport de la parole et du geste ne sera videm-
ment pas du mme ordre dans une activit didactique ou dans un rituel
religieux.
Or, pour une smantique linguistique se pose le problme de la spcifi-
cit : convenons, sans argumenter encore, que le sens linguistique est
distinct mais compatible avec le sens dune image ou dune musique.
Mais cette compatibilit ne prjuge aucunement de lexistence dun
niveau conceptuel amodal 1. Nous avons formul au contraire
lhypothse de reprsentations multimodales, qui sont les corrlats psy-
chiques des perceptions multimodales et des parcours interprtatifs
polysmiotiques.
Pour aborder le problme des interactions polysmiotiques, plusieurs
voies souvrent. En smiotique, on a traditionnellement class les types
de signes en icnes, index, symboles, etc. Cette entreprise taxinomique
se justifie, mais quelles que soient les catgories de signes retenues, elle
se heurte deux difficults : les signes ne fonctionnent pas isolment ;
leur type mme varie avec les situations et les modes dinterprtation.
Ainsi un index pourra fonctionner comme symbole ou comme icne
selon les contextes. Les types de signes ne seraient-ils pas la rification
de divers parcours interprtatifs ?
La smiotique depuis Saussure a mis laccent sur la typologie des sys-
tmes de signes. Cette entreprise complte et dpasse la typologie des
signes. Mais elle a nglig le caractre polysmiotique des langues : un
signe de ponctuation ou une intonation, par exemple, ne fonctionne pas
comme un morphme, un morphme comme une lexie, etc. Il nest
mme pas certain que tous les morphmes aient le mme fonctionne-
ment smiotique (ou smiosis).
Bref, la smiotique des systmes doit tre rgie par une smiotique des
processus. Les processus smiotiques complexes que sont les textes
exigent une rflexion sur les instances systmatiques qui les rgissent :
cest pourquoi nous avons propos trois sries de distinctions compl-
1
Au sens que la psychologie cognitive donne ce qualificatif : indpendant
de toute modalit perceptive.
172
Smiotique et interactivit F. Rastier & M. Cavazza
2. Intersmiotique et praxologie
Les diffrents systmes de signes ne trouvent leur unit et leur mode
dinteraction que dans des actions que lon appelle des pratiques smio-
tiques : un texte ou un film peuvent tre considrs comme des exem-
ples de telles pratiques. Corrlativement, on peut dcrire une pratique
smiotique comme une coordination voire une optimisation des
contraintes propres aux divers systmes de signes en jeu, en fonction
dun objectif et dune situation. Plutt que la multimodalit, qui
tmoigne de linteraction entre plusieurs canaux sensoriels, mais ne
dfinit pas une interaction entre systmes de signes (par exemple, la
lecture haute voix traite le mme texte visuellement et auditivement),
lintersmioticit est un problme fondateur pour les sciences de la
culture : lexception des algbres qui par dfinition ne relvent que
dun seul systme de signes et dont linterprtation peut tre diffre le
temps du calcul, toutes les performances smiotiques et les objets cultu-
rels qui en rsultent procdent de la mise en interaction rgle de plu-
sieurs systmes de signes. Ce nest que dans laction cratrice et inter-
prtative que les divers systmes smiotiques trouvent leurs accords ou
discords : par exemple, le chant conjoint les paroles et la musique, qui
173
MEI Mdiation et information , n 15, 2001
174
Smiotique et interactivit F. Rastier & M. Cavazza
b) Linteractivit narrative
Ltude de linteractivit narrative reprsente un des enjeux les plus
importants pour lanalyse des nouveaux mdias et la conception
duvres interactives. Plusieurs directions dtude souvrent devant
nous.
En premier lieu, il convient de rexaminer le rle du spectateur-inter-
acteur. Alors que lon est spontanment port considrer que linter-
activit confre au spectateur une partie du rle des acteurs (au sens
traditionnel du terme, celui de personnage), il semble au contraire
[Bolter & Grusin, 1999] que lutilisateur dun mdia interactif tend
cumuler le rle de spectateur avec celui de metteur en scne. Cela
engage une rflexion sur le niveau auquel linteraction narrative doit
prendre place ; en effet, le metteur en scne, plus que lacteur, situe son
travail au niveau de lintrigue et dans une chelle de temps qui permet
un travail rflexif sur laction reprsente. Il en rsulte un premier para-
doxe des mdias interactifs : les paradigmes dinteraction actuels, qui
sont en majorit physiques et en temps rel ne permettent pas
doprationnaliser la rgie narrative.
Il faut donc tudier comment lutilisateur pourrait accder ce rle de
rgie. Cest traditionnellement lexistence dvnements critiques dans le
rcit qui dtermine, lintrieur dun ensemble de choix possibles
prdfinis, le tour que prendra la suite du rcit. Les premires tentatives
de cinma interactif offraient ainsi des droulements et des fins diff-
rents selon que le spectateur choisissait, un moment critique qui lui
tait signal, de voir tel acteur effectuer ou non une action dtermine.
Les moments critiques correspondent aux points de bifurcation narra-
tive que Barthes dcrivait sous le nom de dispatchers (en anglais dans le
texte). Si lon retient la notion de dispatcher pour concevoir et impl-
menter linteractivit narrative, on doit interroger leur caractre mani-
feste ou non. Hors les cas o ils seraient explicitement signals au
175
MEI Mdiation et information , n 15, 2001
176
Smiotique et interactivit F. Rastier & M. Cavazza
177
MEI Mdiation et information , n 15, 2001
178
Smiotique et interactivit F. Rastier & M. Cavazza
Bibliographie
Andler, D. et al. (1992). Philosophie et cognition. Colloque de Cerisy. Bruxelles :
Mardaga.
Bolter, J. D. & Grusin, R., 1999. Remediation : Understanding New Medias.
Cambridge : MIT Press.
179
MEI Mdiation et information , n 15, 2001
180