ENSAD 2008 D e s i g n g r a p h i q u e M u lt i M D i a

A U D I O = V I S I O N U n e v o l U t i o n d e s s y s t m e s d e c o r r e s p o n d a n c e s e n t r e la U d i t i f e t l e v i s U e l Rmi ENGEL sous la Direction De Jean-Franois Depelsenaire

page 9. page 10. page 12.

introDuction. ce Dont on parle. structure.

page 52. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35

catalogue Des artistes Wassily KanDinsKy. paul Klee. thoMas WilFreD. hans richter et ViKing eggeling. pierre schaeFFer osKar Fischinger. John Whitney. Michel gonDry. Bill Viola. steina et WooDy VasulKa. naM June paiK. la Monte young et Marian ZaZeela. iannis XenaKis carsten nicola. charles carcopino et Franois-euDes chanFrault. eVelina DoMnitch et DMitry gelFanD. D-Fuse et scanner. colDcut et heXstatic. aDDictiVe tV Valerio spoletini. uniteD Visual artists. hector ZaZou et BernarD caillauD. roBert hoDgin. MeMo. u&i soFtWare. atau tanaKa. Joshue ott. aMit pitaru chris o shea. squiDsoup. tetsuya MiZuguchi. golan leVin. MasaKi FuJihata. the Music technology group. toshio iWai.

page 16. page 18. page 22. page 26.

quelques Bases thoriques. le son. la couleur. la synesthsie.

page 32. page 35. page 37. page 39. page 42. page 44. page 47.

une Volution Des systMes De corresponDances entre lauDitiF et le Visuel. les origines. la Musique Visuelle. le signal analogique ViDo. la perForMance. le nuMrique. linteractiVit.

page 164. page 166. page 168. page 175.

conclusion. leXique technique. BiBliographie. cD.

Toute uvre dart est lenfant de son temps et, bien souvent, la mre de nos sentiments. Ainsi de chaque re culturelle nat un art qui lui est propre et qui ne saurai tre rpt. Wassily Kandinsky Du Spirituel dans lart

A lorigine de ce mmoire, il y a la dcouverte en 2001 dun jeu vido conu par le japonais Tetsuya Mizuguchi qui revendique clairement sa position part dans le panorama vidoludique de lpoque : Rez. Totalement en dcallage par rapport aux standards des productions grand public, le jeu se veut une uvre dart experimentale, une manifestation contemporaine des systmes de correspondance entre les couleurs et la musique imagins par Wassily Kandinsky au dbut du XX sicle. Afin dvoluer dans les niveaux de Rez, le joueur entretient une relation rythmique avec les sons synthtiques qui se superposent aux explosions colores provoques par ses interventions. Lenvironnement est immersif et rapidement hypnotique. Mais indpendamment de la qualit de lexprience propose, le concept nous renvoie une srie de questionnements. Comment le support interactif se rapproprie-t-il la notion que Kandinsky appelle la synesthsie ? Que signifie-t-elle rellement ? Et quel parcours a connu cette fascination artistique pour les correspondances entre le son et limage pendant le sicle qui spare le peintre russe de lomniprsence des interfaces interactives que lon connat actuellement ?

( Par convention, nous appelerons correspondances les phnomnes qui nous intressent, limage des correspondances possibles entre les diffrentes stimulations sensorielles, imagines par Charles Baudelaire )

Synesthsie : Trouble de la perception sensorielle caractris par la perception dune sensation supplmentaire celle perue normalement, dans une autre rgion du corps ou concernant un autre domaine.

Que cherche-t-on derrire les correspondances et la synesthsie ? On imagine aisment la correspondance intuitive entre certains sons et certaines couleurs, partir dassimilations de sensations qui nous paraissent comparables. Mais les artistes voient en ces appellations une porte ouverte vers des systmes universels dquivalence entre limage et le son, la couleur et la musique. La mise en place de lois objectives qui nous permettraient de passer de lun lautre. En pratique, il nen est rien. Car tous ceux qui sy sont essay ont t influenc par des facteurs historiques, culturels, politiques, et personnels qui ont faonn leur dmarche. Et si empiriquement les phnomnes d auditions colors sont indniables nos sens peuvent nous jouer bien des tours , le visuel et le sonore se dploient dans des dimensions bien trop htrognes pour devenir un jour parfaitement quivalents. Intrinsquement ingnralisables, les correspondances donnent pourtant lieu des expriences saisissantes. Certaines uvres les articulant mieux que dautres. Cette qualit du rapport entre limage et le son un niveau sensoriel, la capacit simuler une exprience au plus proche de la synesthsie, rside dans un premier temps dans la dcomposition de ce qui est directement peru en des lments de base comparables. Cest ce qui pousse Kandinsky, inspir par limmaterialit et la spiritualit de la musique, vers labstraction en peinture. Et cest, dune manire gnrale, ceux qui sefforcent se dfaire de lillustration figurative, de la narration et de leur culture personnelle, qui mettent au point les pices les plus aptes nous toucher directement. Il y a certes de nombreuses exceptions dues lmergence de nouveaux standards culturels et aux variations des modes de rception des uvres, des conditions dimmersion et dinteraction du spectateur. Mais cest une piste qui nous permet de cerner le type de rapport qui nous intresse : quand une uvre nous touche sensoriellement et emotionnellement avant mme nous laisser rationnaliser son contenu, par lefficacit des systmes qui font correspondre le visuel au sonore. Des moyens puiss en gnral dans labstraction, et qui semblent souvent frler luniversalit. On pourrait comparer le mode de perception de ces correspondances un jeu que nous connaissons tous : il sagit de rpter un mot en boucle, sans cesse, jusqu ce quil se vide de son sens et quil nen reste que la sonorit. Il devient une forme sonore abstraite, et sa perception en est totalement modifie. Un tat proche de la transe provoqu par laccumulation de stimulations sensorielles, qui nous dleste progressivement du langage et de notre bagage culturel, et nous rapproche de la pure sensation physique. Il sagit alors de faire correspondre diffrentes stimulations, jusqu donner limpression de vivre une exprience totale , dtre face une forme de vrit universelle. Et lon peut envisager des systmes de correspondances qui nous touchent facilement. Dune manire trs simple, prenons deux sonorits bien distinctes : Kuik et Boumou . Et choisissons de les associer chacunes deux formes basiques : un rond ou bien un triangle. La grande majorit du commun des mortels associera la douceur de Boumou aux formes gnreuses du rond, et la violence de Kuik aux angles aiguiss du triangle. Les artistes qui nous intressent mettent en place des sytmes dquivalence entre les dimensions visuelles et sonores des niveaux ifiniment plus complexes pour jouer avec nos sens et nous faire croire en la possibilit dune exprience sensorielle totale, empiriquement troublante mais universellement invrifiable. Ces systmes pourraient paratre proches des critures musicales, et ils en sont pourtant les parfaits opposs. Les critures musicales constituent un langage qui joue avec des signes reconnaissables et pr-tablis, qui ncessite non seulement un apprentissage, mais porte galement des valeures bien trangres nos proccupations premires : celles de mmorisation, de communication, en vue dune interprtation. Rendre la sensation intelligible. Or les correspondances qui nous intressent se traduisent par un assaut sensoriel immdiat, cartant toute possibilit de rationnalisation. Mais il est vrai quaujourdhui, la frontire devient plus difficile cerner, lheure ou les technologies mettent en place des nouveaux standards de communication et dinteraction universels.

ceDONtONpArle

10

11

Peut-on traduire les images en son, et rciproqument ? A cette question qui a fascin lesthtique romantique, lart du XX sicle apporte une multitude de rponses contrastes. Et ce travers des systmes de correspondances entre le visuel et le sonore dont lvolution est videmment troitement lie la croissance logarithimique des avances technologiques qui ont marqu le sicle dernier. Reste explorer en quoi ces progrs techniques ont permis la mise en place dexpriences toujours plus proches de la synesthsie. Kandinsky explique dj au dbut du XX sicle que dans tout type dart, la dernire manifestation abstraite reste le nombre. On imagine alors tout de suite ses thories trouver leur place dans les lois chiffrables qui rgissent lorganisation de nos ordinateurs. Mais il y a un monde entre les supports fixes des peintres abstraits clairement limits pour articuler simultanment des perceptions sonores et visuelles et nos supports numriques runissant tous les mdia dans limmaterialit du langage binaire. Un sicle marqu par une succession dinnovations technologiques majeures le cinma, lanimation, le signal vido, linteractivit qui sont autant dtapes marquant de nouvelles manire denvisager limage et le son, et darticuler leurs possibles correspondances. Des moyens techniques nouveaux qui touchent galement la position du spectateur et les conditions de rception de luvre en redfinissant constamment son mode dinteraction avec son environnement. Il y a donc un parcours quasiment linaire raconter, celui de lvolution des correspondances entre le visuel et le sonore paralllement aux avances technologiques. La manire dont les nouveaux mdia prennent le relai de ce mythe ancestral qui a motiv lessor de labstraction. Et il y a lexploration dtaille des systmes de correspondances que les artistes mettent en place, leurs concepts et leurs ides se rpondant, se compltant, sinfluenant au fil des annes et souvent mme plusieurs gnrations dcart. Une double histoire, donc, qui a dtermin la structure de ce mmoire. Afin de mieux situer notre discours autour dun vaste sujet dont il nest possible de rendre compte que partiellement. Il sagit dabord de poser brivement quelques bases thoriques sur les notions de son, de couleur, et de correspondances. Puis un texte synthtise le coeur des recherches, en articulant chronologiquement le parcours de notre problmatique dans lhistoire des arts depuis lapparition des auditions colores, paralllement lvolution des supports et des technologies selon quelques tapes majeures. Mais ce parcours renvoie constamment des artistes et des oeuvres, quil est question danalyser individuellement dans un catalogue qui rfrence les artistes en question. Chaque article reprend alors plus ou moins en dtail leur dmarche, leurs oeuvres, et dune manire gnrale leur rle prcis dans cette grande volution. Leur slection sest faite selon deux critres majeurs : dune part, certains incontournables qui ont largement contribu lexploration des correspondances ne pouvaient tre oubli. Dautre part, certains artistes parfois moins connus, mais qui soit ont fait lactualit pendant mes recherches ( et jai donc directement pu me confronter leurs ralisations lors dexpositions ou de festivals ), soit mont inspir personnellement et sont lorigine de mon intret pour la problmatique, ont fait lobjet dune selection beaucoup plus subjective. Ils sont, dans tous les cas, accompagns dune documentation photo ou vido autour des uvres commentes, runie sur DVD. Mais lvolution du traitement des correspondances nest pas si linaire, et ces artistes eux-mme se renvoient les uns aux autres travers les gnrations, dans leurs inspirations, leurs concepts, leurs modes de pense. Des liens sont donc tisss entre leurs dmarches ou leurs oeuvres ( annots en marge ) afin de permettre une seconde lecture, moins chronologique et plus conceptuelle.

S t r U c t Ur e

12

13

14

15

QUelQUeSbASeS

t h O r I Q Ue S

le son. la couleur. la synesthsie.

page 18. page 22. page 26.

16

17

Le son est une onde produite par la vibration mcanique dun support fluide ou solide, la propagation dune perturbation dans un milieu matriel mais sans transport de matire. Cette onde sonore, propage grce llasticit du milieu environnant, touche eventuellement loreille o elle donne matire des sensations auditives, et peut galement atteindre dautres parties du corps o elle provoque des vibrations plus diffuses. Physiquement parlant, le son est cet branlement du milieu propagateur. Mais par extension physiologique, le son dsigne plus communment la sensation auditive laquelle cette vibration est susceptible de donner naissance.

p r o p a g at i o n e t t r a n s M i s s i o n
Dans un milieu compressible, le son se propage sous forme dune variation de pression cre par la source, ou corps sonore. Dans lair, londe sonore se propage la vitesse de 340 mtres par seconde, soit un million de fois plus lentement que la lumire. Notons que seule la compression se dplace et non les molcules dair, si ce nest de quelques micromtres. Dans leau, le son se propage plus vite ( 1500 m/s ) et ne dplace le milieu que verticalement ( lorsque lon observe des ronds dans leau, les vagues la compression se dplacent, mais leau reste au mme endroit ), mais il devient monophonique et sentend principalement par conduction osseuse. Le son se propage galement dans les solides sous forme de vibrations. L encore, seule la vibration se propage, et non les atomes qui ne font que vibrer trs faiblement autour de leur position dquilibre. Ce sont les matires dures ou tendues qui permettent ces transmissions solidiennes. Si le milieu est mou ou sil ny a pas de matire pour transmettre londe sonore ( le vide physique ), il ny a pas de son. Le son se propage autour de sa source dune manire circulaire ou sphrique, dans toutes les directions ( phases successives de compression et de dilatation du milieu), mais saffaiblit avec le temps proportionnelement au carr de la distance parcourue. Son parcours est tributaire des particularits physiques du milieu : lorsquelle rencontre un obstacle, une partie de londe sonore peut le contourner, ou tre reflchie si cette surface ne labsorbe pas compltement ( rverberations, cho... ).

le

SON

Loreille externe est compose chez lhumain du pavillon et du conduit auditif qui permet au son datteindre loreille moyenne. On la considre comme un dispositif de rsonance et de protection contre les corps susceptibles dentrer dans loreille et les phnomne capables de brouiller laudition ( comme le vent ). Le pavillon dirige les ondes vers le tympan et favorise par sa forme les frquences dans la zone de parole, liminant ou attnuant les sons les plus susceptibles de gner la comprhension verbale ( souvent les frquences graves ). Faire bouger ses oreilles pour localiser et isoler certains sons est un privilge rserv certains flins et rongeurs, pour qui le reprage spatial des suraigus est vital pour la dtection dun danger ou dune proie. Loreille moyenne est le dispositif intrieur constitu du tympan et de la chane des osselets ( l e marteau, lenclume, los lenticulaire et ltrier ). La perception du son est le rsultat de vibrations de lair dans le conduit auditif qui a pour effet de faire vibrer le tympan. Ces vibrations sont ensuite transmises le long de la chane ossiculaire, puis loreille interne via la fentre ovale. Cette tape amplifie les composantes spectrales de londe sonore ayant une frquence moyenne, et tente de protger loreille interne de ceux qui dpassent le seuil daudition. Mais cette protection nest pas toujours efficace, par exemple pour les composantes de frquence aigue ou lorsque les contrastes dintensit sont trop forts. Enfin vient loreille interne, contenant non seulement lorgane de louie ( la cochle ), mais des organes de lquilibre, dont le vestibule responsable de la perception de la position angulaire de la tte et de son acclration. Les vibrations de la fentre ovale mettent en mouvement leur tour le milieu liquide ainsi que les organes contenus lintrieur de la cochle, dont environ 3500 cellules cilies connectes 30 000 neurones, rparties le long de la membrane basilaire. Chaque cellule rpond prfrentiellement une certaine frquence, pour permettre au cerveau de diffrencier la hauteur des sons.

Frquence et hauteur
La frquence de londe sonore ( le nombre doscillations par seconde exprim en Hertz ) est directement lie la hauteur dun son peru, mais dans certaines limites. Un son grave correspond en principe une frquence faible, et un son aigu correspond une frquence leve. Ces limites sont tout dabord celles de loreille humaine, qui entend globalement et avec de grosses variations individuelles ( selon lge, la culture... ) de 20 20 000 Hz. En dessous, les sons sont qualifis dinfrasons. Au del, on les appelle des ultrasons. De la mme manire, tout tre vivant dot dune oue ne peut percevoir quune partie du spectre sonore ( jusqu 25 kHz pour les chat, 35 kHz pour les chiens, et

l o r e i l l e , o r g a n e a u D i t i F
Loreille humaine nest pas un organe homogne uniquement vou la fonction auditive, et on la divise communment en oreille externe, moyenne, et interne.

18

19

100 kHz pour les chauve-souris et les dauphins ). Par ailleurs, notre oreille rserve une sensibilit prfrentielle certaines rgions du champ des hauteurs. De mme que les nuances de couleurs ne se peroivent de manire optimale que dans des conditions particulires de luminosit, loreille entend les nuances de hauteurs bien mieux dans la zone moyenne, entre 800 et 4 000 Hz. Laudition est galement plus aise et fine une intensit sonore basse.

et le temps, puisque que le son est une onde qui se propage dans lespace au cours du temps. Ainsi, les proprits du son et leurs variations nous conduisent automatiquement en localiser la source, et sa mobilit. Il est par ailleurs possible de considrer tout son comme la combinaison dun ensemble de sons purs , qui correspondent alors spatialement des sinusodes. Il existe galement un seuil temporel minimum de perception sonore de 40 millisecondes, en dessous du quoi loreille ne peroit rien.

aMplituDe et intensit perception

Lamplitude est une autre caractristique importante de londe sonore. Lintensit perue dpend entre autres de lamplitude : le son peut tre fort ou doux. Dans lair, lamplitude correspond aux variations de pression de londe. L o habituellement la pression est mesure en pascals, en acoustique lintensit se mesure en dcibels. Le rapport entre le son le plus faible peru par loreille et le son le plus fort provoquant la douleur tant de plusieurs milliards, il a fallu imaginer une chelle arithmtique qui rende compte de variations aussi grandes. Lchelle dcibel est donc une chelle logarythmique permettant davoir des chiffres aisment manipulables, qui permettent de tenir compte des carts en restant raisonnables. Une approche qui donne lieu des rapports inhabituels entre les nombres : pour exprimer le doublement de puissance dun bruit, il suffit dajouter trois dcibels. De plus, la notion de niveau sonore ne donne quune vague ide de la sensation perue, car il faut prendre en compte la sensibilit de loreille, qui varie principalement selon la frquence du son ( loreille est moins sensible aux basses frquences ) : si la variation dintensit se produit sur des sons situs dans une certaine rgion du spectre, elle nest pas perue avec la mme force que dans dautres rgions, do la cration dunits comme le dcibel pondr dBA, senses tenir compte de la courbe de rponse de loreille. A noter que 0 dB correspond au minimum que loreille humaine peut percevoir, et non au silence absolu. Le seuil de douleur est de 130 dB, mais loreille peut subir des dommages partir de 85 dB. Louie, contrairement la vue, nest pas directionnelle. Il est donc beaucoup plus difficile dchapper un son, car on ne peut pas dvier laudition comme on dvie le regard, ou mme fermer les oreilles comme on ferme les yeux. Si la hauteur et lamplitude du son peuvent tre perus plus ou moins diffremment selon lindividu et le contexte, on sest longtemps repos sur lide de la perception sonore comme de celle dune ralit physique objective . Mais la sensation auditive nest pas le simple compte-rendu des variations de sa cause vibratoire, et lon pourrait tre tent dexpliquer simplement cette subjectivit de la perception par la loi de Weber-Fechner : la sensation crot comme le logarithme de lexcitation . Il existe une caractristique qui permet de dfinir un son ( plutt musical ) de manire unique : le timbre. Deux sons peuvent avoir la mme frquence fondamentale et la mme intensit, mais jamais le mme timbre. Aussi appel couleur dune voix ou dun instrument, il serait li la physiologie de la source sonore et aux conditions dcoute. Enfin, le son est intrinsquement bi-sensoriel, comme lexplique Michel Chion dans Le Son. Le son sadresse principalement la fentre auditive , dans laquelle une vibration est susceptible de produire une sensation acoustique localise dans loreille mais peut galement saccompagner de co-vibrations dans le corps . Certains sons, comme ceux dintensits moyenne dans la zone medium-aigu, sadressent uniquement la fentre auditive. Michel Chion propos alors le terme de co-vibration pour dsigner le phnomne en vertu duquel une partie de notre corps co-vibre en sympathie avec le son, notamment pour les frquences graves . La co-vibration concerne donc tout ce qui, dans le son, touche le corps, et peut tre ressentie par les sourds. Lexprience sonore est alors bi-sensorielle, mais communment identifie sous une appellation unique, les deux sensations tant ressenties comme leffet de mme causes et se produisent simultanment. Les covibrations, purement rythmiques, ont par ailleurs des proprits perceptives bien plus difficiles discerner.

le

SON

espace et teMps
Le son, part de rares cas o il est un phnomne stable et constant, est un lment entirement li au temps, changeant tout le temps en intensit et en frquences. Il est dot de proprits instables dont les modes de variations sont autant si ce nest plus importants que leurs valeurs propres. Il existe mme des relations trs troites entre lespace

20

21

La couleur est la perception par loeil dune ou plusieurs frquences donde lumineuse, onde electromagntique visible par loeil humain, dfinissant une teinte, une valeur, et une saturation. Il est important de diffrencier la notion perceptive de couleur ( telle que la traduit loeil humain ) de la ralit physique de la longueur donde ( diffrentes longueurs dondes pouvant tre perues par loeil comme la mme couleur ). Il existe de nombreuses manires de qualifier et comparer les couleurs, et diffrentes mthodes de synthse pour les reconstituer.

le spectre Des couleurs

Lensemble des longueurs dondes lumineuses forme le spectre des teintes. La frquence dune onde lumineuse est directement conditionne par sa longueur et sa clrit. Ces ondes constituent la lumire visible, et le spectre des teintes est aussi appel spectre visible ou spectre optique : il sagit de la partie du spectre electromagntique qui est visible par loeil humain. Au del du spectre optique, on trouve les infrarouges, puis les ondes radar, micro-ondes, et radio. En de, on trouve les ultraviolets, puis les rayons X et Y. Le tableau des teintes donne lillusion dun nombre fini de couleurs, mais les teintes peuvent tre combines pour atteindre une infinit de nuances colores. couleur infrarouge rouge orange jaune vert bleu violet ultraviolet longueur donde ( nm ) frquence ( THz ) > 740 < 405 625 - 740 480 - 405 590 - 625 510 - 480 565 - 590 530 - 510 520 - 565 580 - 530 446 - 520 690 - 580 380 - 446 790 - 690 < 380 > 790

lAcOU

leUr

Lil humain sadapte tout dabord la lumire ambiante. Lhomme peut ainsi percevoir avec une sensibilit quivalente en plein soleil ou sous la lumire de la pleine lune. Les acteurs de la perception lumineuse sont situs dans les parties antrieures et postrieures du globe oculaire, tandis que tout un groupe dorganes annexes assurent la protection et le bon fonctionnement de loeil ( paupires, glandes lacrymales... ). Dans la partie antrieure, la corne est le hublot de loeil, lentille oculaire qui capte et focalise la lumire sur le cristallin. Ce dernier est une lentille biologique responsable de laccomodation, la mise au point assurant la nettet de limage de lobjet visualiser projete sur la rtine. Luve comprend liris, permettant ladaptation la lumire via la modification de la luminosit entrante, et en son centre, la pupille. Dans la partie postrieure du globe oculaire, la rtine est une membrane regroupant les cellules nerveuses photorceptrices (sensibles la lumires) servant la transformation de londe lectromagntique lumineuse en impulsions lectriques, pour traitement des images par le systme nerveux. Ces photorcepteurs sont composs des cnes et des btonnets. Il existe trois types de cnes : les cnes L sensibles aux ondes longues ( 700nm ) / rouges les cnes M sensibles aux ondes moyennes ( 546nm ) / vertes les cnes S sensibles aux ondes courtes ( 546nm ) / jaunes Tout rayonnement de lumire visible est donc transform en trois impulsions nerveuses de valeur variable achemines vers le cerveau. De cette dcomposition du spectre des couleurs selon trois sensibilits dominantes de loeil humain dcoule la mthode de synthse additive RVB. Les batnnets sont quant eux plutt sensibles lintensit lumineuse, plus ractifs que les cnes.

Frquence et teinte
La teinte dune couleur est lensemble des frquences engendrant limpression chromatique. Si en gnral plusieurs frquences donde coexistent, elles nont quune seule rsultante chromatique dominante. Par exemple, la rtine est incapable de faire la diffrence entre un jaune monochromatique ( une seule frquence donde ) et un jaune bichromatique n de la synthse additive de vert et de rouge ( deux frquences donde lumineuse diffrentes ). Physiquement, les deux lumires sont diffrentes, car leur composition spectrale est diffrente, mais limpression pour loeil, et donc la couleur, est la mme. Larc-en-ciel est le spectre des longueurs dondes monochromatiques ( il contient galement des longueurs dondes invisibles loeil humain ). Le rose, par exemple, ny figure pas car il ne peut tre constitu que par laccumulation de plusieurs ondes monochromatiques.

l o e i l , o r g a n e V i s u e l
Loeil est lorgane de la vision, permettant danalyser la lumire pour pouvoir interagir avec lenvironnement. Chez les animaux, il existe plus dune quarantaines de types d yeux aux capacits trs variables. Cette diversit pose la question de lorigine de la perception visuelle. Les yeux les plus simples sont tout juste capables de dceler la diffrence entre lumire et obscurit tandis que les yeux les plus complexes, comme lil humain, permettent de distinguer les formes et les couleurs.

22

23

a M p l i t u D e e t Va l e u r
Lamplitude lumineuse dtermine la valeur de la couleur. Plus lamplitude est faible, plus la valeur est proche du noir. Plus lamplitude est leve, plus la valeur est proche du blanc. Les divers gris sont considrs comme des couleurs sans teinte, et sont obtenus par synthse dgale proportion et avec la mme valeur des trois couleurs primaires rouge, vert, et bleu ( pour la synthse additive ) ou des trois couleurs fondamentales cyan, magenta, et jaune ( pour la synthse soustractive ). Le noir est alors un gris de valeur nulle et correspond labsence totale de lumire. Le blanc est un gris de valeur maximale et peut tre considr comme une plnitude de couleurs ( lensemble des frquences donde lumineuse est reu par loeil avec une valeur maximale ). Le blanc et le noir ne sont pas des couleurs, mais des valeurs, qui rappellent les notions de plein et de vide.

ennent de plus en plus sombre. On parle alors de synthse soustractive, base sur le systme CMJ pour cyan, magenta, jaune. En thorie, lutilisation de ces trois couleurs fondamentales permettrait dobtenir le bleu, le vert et le rouge, mais en pratique la synthse soustractive ne permet pas dobtenir lensemble des couleurs visibles par loeil humain. On obtient en gnral bien la teinte dsire, mais celle-ci perd en vivacit et lajout de blanc la dsature encore plus. Lorsque lon ajoute les trois composantes cyan, magenta, et jaune, on obtient du noir. Deux couleurs sont dites complmentaires si leur association donne du noir en synthse soustractive ( par exemple magenta et vert ).

perception
Les couleurs que lon voit sur les objets au quotidien correspondent aux longueurs dondes lumineuses quils rflechissent. Sans lumire, pas de couleurs. Tous les corps opaques, lorsquils sont clairs, rflechissent donc une partie ou toute la lumire quils reoivent, et absorbent le reste. Un objet noir absorbe donc toutes les ondes lumineuses, tandis quun objet blanc rflechit le spectre dans son intgralit. Et cest aussi le principe de la synthse soutractive qui, en mlangeant des pigments, filtre une partie du spectre qui claire lobjet. La diffrence entre deux couleurs pour loeil humain varie en fonction des gens, et parfois mme trs lgrement entre les deux yeux dune mme personne. Une diffrence infime pour la majorit des gens pourra ainsi paratre nulle pour un daltonien ( dont un ou plusieurs des cnes de la rtine sont dficients, conduisant une mauvaise peception des couleurs ), ou au contraire norme pour quelquun qui compose quotidiennement avec les couleurs, comme un peintre ou un imprimeur. Les bbs ont une vision prcoce et latralise de la couleur, contrle par loeil gauche dans la prime enfance, puis par loeil droit chez lenfant et ladulte, cest dire dans lhmisphre gauche du cerveau o est galement situe laire du langage. Il a ainsi t prouv scientifiquement que lacuit de la perception des couleurs est fortement augmente dans les groupes ethniques qui disposent dune langue riche en vocabulaire descriptif des nuances colores. Les nuances sont galement plus rapidement dtectes quand les mots pour les dcrire existent dans la langue. Les tapissiers distingueraient ainsi cinq cents nuances de rouge. Les inuits auraient dix-sept mots diffrents pour dsigner le blancs, tandis que les islandais utiliseraient le mme mot pour le bleu et le vert.

synthse aDDitiVe
La synthse additive est une mthode de reconstitution, pour loeil humain, de lquivalent de toute couleur visible donc au niveau de lapparence par addition de lumire provenant de trois sources monochromatiques. Ce sont les physiciens Newton et Young qui ont mis en vidence la possibilit de dcomposer et recomposer la lumire du soleil partir de seulement trois sources : rouge, vert, et bleu, trois longueurs dondes optimales que lon appelle couleurs primaires, compltement satures, et dont les teintes correspondent au maximum de sensibilit des trois types de cellules en forme de cne qui tapissent la rtine de loeil humain normal. Ce systme RVB fonctionne donc par lajout direct de composants lumineux lmission, et est celui utilis sur nos crans pour reconstituer toutes les couleurs. Il peut aussi tre exprim selon le systme TSL pour teinte, saturation, et luminosit. Lorsque lon ajoute les trois composantes rouge, vert, bleu, on obtient du blanc. Labsence de composante donne du noir. Les couleurs secondaires sont le cyan ( bleu et vert ), le magenta ( rouge et bleu ) et le jaune ( vert et rouge ). Deux couleurs sont dites complmentaires si leur association donne du blanc en synthse additive ( par exemple jaune et bleu ).

lAcOU

leUr

synthse soustractiVe
En imprimerie ou en peinture, on ne peut additionner des couleurs par mlange de lumire, mais plutt par couleurs de pigments. Les pigments qui se mlangent abosrbent de plus en plus de lumire et devi-

24

25

M o D a l i t s e t a s s o c i at i o n s
La synesthsie ( du grec syn union et aesthesis sensation ) est une condition neurologique par laquelle deux ou plusieurs sens sont associs par une mme stimulation. Alors que des mtaphores exprimant un croisement de sens sont parfois qualifies de synesthtiques , une vraie synesthsie dorigine neurologique est involontaire et concernerait environ 4% de la population. Le phnomne capte pour la premire fois lintrt de la communaut scientifique dans les annes 1880, mais se fait oublier au bout de quelques dcennies en raison des difficults rencontres pour prouver et mesurer des expriences totalement internes et subjectives. Dans les annes 1980, alors que la rvolution cognitive commence rendre ltude de la conscience nouveau possible, les scientifiques se mettent rexaminer ce phnomne fascinant. La synesthsie peut-tre bimodale, multimodale, ou cognitive. La synesthsie bimodale concerne le croisement entre deux modalits sensorielles, et est gnralement unidirectionnelle : par exemple une couleur dclenche une perception sonore, mais pas linverse. La synesthsie multimodales concerne le croisement dau moins trois modes sensoriels, et est par contre gnralement bi-directionnelle. La synesthsie cognitive associe une reprsentation mentale un mode sensoriel : par exemple une couleur associe une lettre. En raison de la grande varit des diffrents types dassociations, les chercheurs ont adopt une convention indiquant le type de synesthsie en utilisant la notation x y, dans laquelle x est le dclencheur de lexprience synesthtique, et y est lexprience additionnelle. Bien que toutes les combinaisons de sens soient thoriquement possibles, certains types de synesthsie sont plus rpandus que dautres : Synesthsie graphmes couleurs Les lettres individuelles de lalphabet et les nombres sont teints dune certaine couleur. Alors que deux synesthtes ne vont pas rapporter les mmes couleurs pour chaque lettre, des tudes montrent que certaines tendances se rptent ( la lettre A est par exemple souvent rouge chez les synesthtes anglophones ). Un synesthte graphmes couleurs diffrencie instantanment les chiffres 2 des chiffres 5 sur les deux images au centre, car il les voit teintes dune couleur diffrente. Synesthsie musique couleurs Des couleurs sont perues en rponse des sons. Les changements de couleurs impliquent plusieurs critres : la teinte, la luminosit, et la saturation. Souvent, les couleurs changent ou se dplacent dans lespace. Les experiences varient galement dun synesthte lautre, mais demeurent constantes : test des mois plus tard, un synesthte va toujours rapporter les mmes expriences. Synesthsie numrique Il sagit dune carte mentale des nombres qui apparat automatiquement et involontairement lorsque le synesthte pense des nombres ou des units temporelles. Ainsi, les nombres peuvent tre aligns selon un axe montant, et les mois de lanne peuvent former un demi-cercle. Synesthsie lexicale gustative Les mots individuels ainsi que les phonmes du langage parl voquent des sensations de gots dans la bouche. Le sens du mot joue parfois un rle dans le got qui lui est attribu : le bleu peut avoir un got dencre.

une particularit gntique

Les tudes suggrent que la synesthsie a une origine gntique, car certaines familles recensent beaucoup plus de cas de synesthsie que dautres, et le mode dhrdit serait plus particulirement li au chromosome X. Par ailleurs, des facteurs dveloppementaux tels que lexpression dun gne ou lenvironnement jouent certainement un rle dans la dtermination du type de phnomne quun synesthte va dvelopper. Les neurologues Richard Cytowic et Kevin Dann identifient les critres suivants afin de diagnostiquer la synesthsie : la synesthsie est involontaire et automatique, les images synesthtiques apparaissent spatialement, les perceptions synesthtiques sont consistantes et gnriques, la synesthsie est mmorable, les perceptions synesthtiques ont une charge motionnelle, la synesthsie nest pas linguistique et en quelque sorte ineffable, le cerveau dun synesthte ne prsente aucun signe de maladie. Le fait que la synesthsie soit involontaire et consistante montre que celle-ci est une exprience relle, tel point que certains synesthtes nont parfois mme pas conscience de leur particularit. Mais malgr les gnralits que permet dtablir la dfinition du phnomne, les expriences individuelles varient en de nombreuses faons. Si elle nest acquise ds la naissance, la synesthsie peut aussi rsulter de la prise de drogues hallucinognes. On parle alors dhallucinations synesthtiques. Il convient toutefois de faire une distinction entre la ralit physique, la ralit perceptive, et la simulation : le synesthte ne simule pas, cela est prouv scientifiquement. Mais les caractristiques physiques des stimuli ( ralit physique ) sont indpendantes des stimulations perues ( ralit perceptive ) par exemple, une lettre crite en noir et vue en bleu na pas la longueur donde correspondant au bleu.

l ASyNeS

t h S Ie

26

27

r a p p o r t la r t
Les synesthtes semblent tre plus enclins participer des activits cratives. Ainsi, de nombreux artistes clbres seraient synesthtes : la pianiste Hlne Grimaud ferait des associations musique couleurs, lauteur Vladimir Nabokov des associations graphmes couleur... Des synesthtes, limage de Kandinsky ( couleurs musique ), peuvent tenter dutiliser leur propre exprience du phnomne pour crer des uvres, voir la faire ressentir par leur art. Cest ainsi que nat lexploration ( mme par des non synesthtes ) de lvocation des associations synesthtiques chez une audience compose de non-synesthtes. Une sorte de simulation du phnomne. Et la synesthsie dsigne alors cette mtaphore, ce procd potique ou artistique qui permet de mettre en relief une image en faisant appel dautres modalits sensorielles, comme le clbre exemple des Correspondances de Baudelaire.

critique De la synesthsie
Michel Chion rdige dans L Audio-Vision une critique de la notion de synesthsie : Nous sommes pour notre part trs sceptique, non sur le phnomne indniable des auditions colores et autres synesthsies, mais sur le caractre utilisable et gnralisable dune thorie ce sujet. Messiaen disait et pourquoi douter de sa parole entendre en couleur les accords, non les notes ; et pour dautres ( nous-mmes, par exemple, mais aussi dautres musiciens ou mlomanes que nous avons rencontrs ), ce sont les timbres dinstruments ; pour Scriabine, ctait le degr du son dans la gamme. Bref, chacun ses correspondances personnelles. Ce qui nous amne penser que celles-ci peuvent tre influencs par de puissants facteurs culturels, individuels, historiques, prendre chaque fois en considration . La synesthsie est pour nous une base scientifique tmoignant du phnomne vident des correspondances image / son, que nous voulons explorer dans leur diversit.

auDitions colores la trans-sensorialit

La synesthsie qui nous intresse ici, savoir musique couleurs, a longtemps t connue sous le nom dauditions colores. Mais un autre niveau, plus accessible, les rapprochements faits entre les perceptions de luminosit et les perceptions de hauteurs sonore semblent souvent videntes. On les fait intuitivement ( un son sombre, un son clair ), en faisant correspondre quelques part les proprits physiques ( frquence, amplitude ) des ondes sonores et des ondes lumineuses. Cest dailleurs clairement mis en pratique dans la construction dun spectrogramme sonore, o la frquence et lintensit dun son sont reprsents en fonction du temps travers un sytme inspir du spectre des couleurs. Mais le terme de synesthsie est-il bien appropri pour traiter des correspondances en art entre le visuel et le sonore ? Et Michel Chion appelle trans-sensorielles les perceptions qui ne sont daucun sens en particulier, mais peuvent emprunter le canal dun sens ou dun autre, sans que leur contenu et leur effet soient enferms dans les limites de ce sens. Un mot lu ou un mot entendu relve de la sphre du langage, mme si les modalits de sa transmission ( graphisme de lcriture, timbre de la voix, etc. ) touchent paralllement des dimensions propres chaque sens. En dautres termes, parler de transsensorialit, cest rappeler quil serait erron de penser que tout ce qui est auditif nest quauditif, et dire que les sens ne sont pas des entits fermes sur elles-mmes . Le rythme, la texture, le grain, ou mme lespace sont alors des dimensions trans-sensorielles. En ouvrant le domaine dapplication de chaque sens des perceptions qui ne sont plus homognes, les notions de synesthsie, et mme de correspondance, perdent de leur sens. Lambiguit de linfluence constante quont nos sens les uns sur les autres provient sans doute aussi de notre incapacit toujours analyser instantanment nos expriences sensorielles, tre toujours conscients de ce que nos sens nous transmettent. Une immediatet qui est la force des correspondances, cette nergie inexplicable mais indniable des rapports sonores et visuels que lon se propose danalyser. Cest pourquoi nous nhsiterons pas utiliser les termes de synesthsie ( dans son sens metaphorique ), transsensorialit, correspondances, ou encore multimodalit, pour dsigner les phnomnes qui nous intressent.

l ASyNeS

t h S Ie

28

29

30

31

Il faut bien lavouer, lide dune fusion artistique de limage et du son est loin dtre un concept rvolutionnaire. Lhistoire de lart explore depuis des sicles les correspondances possibles entre la vue et loue, imaginant chaque fois de nouvelles manires de les interprter selon des courants esthtiques et sociopolitiques en constante mutation, et des moyens techniques qui ne cessent dvoluer. Il sagit donc de dresser les enjeux et aboutissements de ce long parcours en le retraant dune manire presque chronologique, afin de montrer de quelle manire chaque poque a su adaptater les recherches autour du concept mtaphorique de synesthsie des environnements constamment rvalus et rinvents par le temps. Des premiers temoignages dune perception multimodale intuitive lanalyse plus dtaille du panorama contemporain, domin par linterchangeabilit du numrique et la participation active du spectateur, nous dcouperons ce rcit en quelques sous-parties par souci de clart. Le catalogue dartistes situ en seconde partie et les multiples annotations en marge, reliant les concepts, inspirations, et collaborations travers les gnrations, soulignent neanmoins limpossibilit de retranscrire le parcours de notre problmatique de manire strictement linaire.

les origines.

page 35.

Tandis que le visuel et le sonore sont articuls sur des supports htrognes, certaines thories et recherches visuelles ou sonores prfigurent de lvolution future des correspondances.

la Musique Visuelle.

page 37.

La naissance du cinma permet larticulation de limage et du son en simultan et sur le mme support, bouleversant notre rapport limage en lui confrant la temporalit du son.

le signal analogique ViDo.

page 39.

Le systme vido consacre lapparition dun traitement unique du visuel et du sonore : le signal lectrique. Une mme matire peut desormais devenir image ou son.

U Ne V O l U t I O N D e S S y S t m e S De c O r r e S

p O N D A N c e S e N t r e l A U D I t If e t l e V I S U e l
la perForMance page 42.

Le monde du spectacle runi depuis des sicles les conditions optimales de rception duvres fantasmes totales par leur habilit se dployer en direct, visuellement et musicalement.

le nuMrique.

page 44.

La possibilit de convertir tout medium en donnes chiffrables redfini les correspondances entre limage et le son en les rendant facilement calculables et manipulables.

linteractiVit.

page 47.

Le passage du spectateur passif lutilisateur / joueur actif ouvre de nouvelles dimensions de correspondances sensorielles, lorsque le corps devient directement vecteur des rapports du visuel et du sonore.

32

33

les origines.
Lintret pour les expriences trans-sensorielles remonte au moins au XVII sicle. En 1690, le philosophe anglais John Locke relate sa rencontre avec un aveugle se vantant de comprendre la signification de ladjectif carlate : ctait, selon lui, comme le son dune trompette . Dans les dcennies qui suivent, les medecins sintressent de trs prs aux patients qui semblent percevoir la stimulation dun sens travers un autre par exemple quand un son provoque la visualisation dune couleur. Ce phnomne se fait connatre sous le nom de synesthsie, et est dfini comme une condition particulire dans laquelle une stimulation sensorielle en voque une autre. La multiplication des tudes publies autour du phnomne devient considrable au milieu du XIX sicle, tandis que la synesthsie gagne rapidement lattention du petit monde de la recherche scientifique, mais aussi du domaine artistique. Dune manire gnrale, les artistes ne se passionnent pas directement pour la condition physiologique en soi, mais y voient une manifestation des effets psychologiques de lintersection dinformations sensorielles visuelles et auditives. La fusion des diffrents sens est une fascination pistemologique, source de toute une srie de questionnements sur la manire dont nous percevons et comprenons notre monde. Pour les artistes visuels et les musiciens, le rendu mtaphorique de cette union de perceptions sensorielles (conues alors comme phnomnes physiques objectifs) provoque le mme type de questionnements, en nous confrontant directement notre propre conscience de ce que lon coute et de ce que lon voit.

34

35

Voir Wassily Kandinsky, page 56.

La synesthsie envahit donc rapidement le milieu de lart. En littrature tout dabord, Baudelaire invente en 1857 le terme de correspondances dans son pome ponyme, dont est issue son clbre ver : Les parfums, les couleurs et les sons se rpondent . Puis les tentatives dvoquer un rapport trans-sensoriel seront portes limage ds 1910 par le peintre russe Wassily Kandinsky. Convaincu de la possibilit dentendre les couleurs, il affirme linfluence spirituelle de la musique sur louverture de la peinture vers labstraction, dont il est lun des prcurseurs. Le rythme et la composition sont pour lui des expriences sensorielles pures, manifestations artistiques les plus proches du fait mme dtre en vie. Des sensations par essence multimodales dont il propose de faire lexprience visuellement. Kandinsky revendique alors clairement lingalable potentiel spirituel de lart, capable de rgnrer la socit par ses pouvoirs transcendants qui touchent les spectateurs emotionnellement en leur permettant de faire lexprience visuelle de la musique. Francis Picabia se passionne aussi pour les parallles entre la musique et la peinture, en signant son tableau manifeste La musique est comme la peinture en 1916, inspir par la thse de Marie Curie sur les rayons alpha. Dj, les correspondances sont destines mler thories scientifiques et exprimentations artistiques. Car cette qute de la quatrime dimension dans limage est particulirement prsente depuis lapparition de la thorie de la relativit imagine par Einstein en 1905. Le premier quart du sicle est ainsi riche en exprimentations picturales inspire par limmaterialit de la musique. Delaunay est lun des premiers tudier les rapports entre couleurs et progression musicale comme issus dune perception simultane, limage de la srie Fentres de 1912. Les synchromies des amricains Morgan Russel et Stanton MacDonald Wright en 1914 tendent consacrer la dimension temporelle de luvre peinte. Les cubistes et les futuristes mettent tout lespace pictural en vibration, par explosion et fragmentation des rgles classiques, le construisant comme la partition dun nouvel espace sonore. Ils mettent en fait tous en place des rgles de systmatique esthtique en vue dune visualisation de la polyphonie.

Mais ces euphories visuelles tendent se rationnaliser radicalement partir des annes 1920, tandis que Kandinsky et Paul Klee dveloppent au Bauhaus des thories de composition lmentaire. En dbarrassant les systmes de composition picturale de toutes leurs impurets, ils dduisent de leurs premires exprimentations des lments de base et des rgles quasiment mathmatiques en vue de rendre visible la fugue musicale. Joseph Albers et Piet Mondrian suivent alors des lois beaucoup plus strictes dans la construction de leurs uvres minimalistes voquant mme des systmes dcritures musicales. Mais Klee, qui souligne la dimension spatio-temporelle de limage par des sries de motifs et de progressions de voix qui se superposent, se heurte rgulirement aux limites du support fixe. Car la peinture se montre incapable de se doter du dynamisme et de la mobilit de la progression musicale. Tandis que limage sinspire de la musique pour appuyer son expression abstraite, on peut illustrer le mouvement inverse travers la thorisation plus tardive de la musique concrte par Pierre Schaeffer. Derrire ce nom, il imagine une nouvelle forme de musique puisant ses sources dans le dtournement perceptif li laccumulation de bruits enregistrs. Des morceaux musicaux dun type nouveau qui mettent en place une trange forme de synesthsie dans laquelle des sons facilement reconnaissables nous renvoient involontairement la visualisation dun vnement ou dune action.

Voir Paul Klee, page 60.

Voir Pierre Schaeffer, page 66.

la Musique Visuelle.
Des analogies entre les proprits physiques des ondes lumineuses et des ondes acoustiques commencent tre concrtement envisages ds le XIX sicle, soit bien avant lessor de labstraction. Lide dinstrumentaliser le son et les couleurs remonte quant elle au Clavecin Oculaire du Pre Castel. En 1725, Louis Bertrand Castel, convaincu des limites statiques de la peinture, rve dun clavecin pour les yeux dans lequel les sons sont remplacs par lapparition de couleurs : Il ne sagit pas de rveiller simplement lide de parole et de son par des caractres arbitraires et imagins, tels que sont les lettres de lalphabet ou les notes de musique ; mais de peindre ce son et toute la musique dont il est capable ; [] de les rendre sensibles et prsents aux yeux, comme ils le sont aux oreilles de manire quun sourd puisse jouir et juger de la beaut dune musique [...] et quun aveugle puisse juger par les oreilles de la beaut des couleurs. Le systme doit nourrir le sentiment dexistence du spectateur par un renouvellement systmatique des couleurs. Dj, les correspondances sensorielles sont envisages comme reponsables dune vibration corporelle vivante. La succession hypnotique des couleurs re-

36

37

Voir la Performance, page 42.

Voir Thomas Wilfred, page 64.

dfinit la position du spectateur dans la salle de concert, ouvrant sur les vertues immersives de la performance. De nombreuses exprimentations se succdent, donnant naissance une multitude dinstruments sonolumineux ou kalidoscopiques, runis sous le nom de Color Music. Le franais Louis Favre imagine en 1885 un Clavier de Couleurs, o chaque touche est assimile une teinte, permettant un contrle de lintensit lumineuse par un variateur lectrique. Langlais Bainbridge Bisgop conoit peu aprs le Color Organ. Ces instruments sont directement inspirs par le contexte culturel qui explore les intersections entre la technologie et linconscient. La perception du dploiement spatio-temporel des couleurs est assimile une stimulation dordre musicale, comme si nos sens gnraient des correspondances bien avant la rationnalisation mme de cette dimension sensorielle. Une musique colore abstraite qui, selon Ricciotto Canudo, projette le spectateur hors de soi et du monde dans une nouvelle harmonie qui permet doublier la vision du monde par la sensation . Des systmes consacrs dans les annes 1910 par les sries de Lumias et autres Clavilux de Thomas Wilfred. Mais paralllement, les peintres abstraits sont rapidement attirs vers les techniques cinmatographiques alors mergentes, susceptibles de permettre une visualisation de phnomnes musicaux. Limage acquiert non seulement la temporalit du son, la manire des progressions lumineuses de la Color Music, mais peut galement tre directement synchronise avec une piste sonore. A travers le XX sicle, les ralisateurs de films exprimentaux sont alors les pionniers de la reprsentation visuelle de comportements temporels propres la musique. Bien que leurs intentions et les moyens mis en uvre soient extrmement varis, on runi souvent leur travaux sous le nom de Visual Music. Dans ce domaine, les artistes articulent des compositions rythmiques dans des films muets, ou bien superposent des images en mouvement (souvent animes) des compositions musicales dans le but de crer une forme nouvelle, ne de la synthse des deux media. Car pour la premire fois, les deux arts se rejoignent sur un mme support : la pellicule cinmatographique. Les premires tentatives voient le jour chez les futuristes italiens. Les frres Bruno Corra et Arnaldo Ginna utilisent directement la pellicule cinmatographique pour raliser la main des jeux chromatiques baptiss Accordo Cromatico sur la musique de Chopin. En France, Leopold Survage publie en 1914 son manifeste Rythme Color, o il tabli la notion de rythme visuel par analogie au rythme sonore. Mais ce sont Hans Richter et Vikking Eggeling qui synthtisent ces deux derniers procds en ralisant autour de 1920 avec Symphonie Diagonale et la srie des Rythmus le vritable passage en animation visuelle de structures inspires par le rythme et la polyphonie musicale. Oskar Fischinger, pionnier allemand

dans les techniques du cinma danimation, na quant lui cess de parfaire ses systme de synchronisation entre composition visuelle et sonore, redfinissant sa manire les moyens de sapprocher de la synesthsie. Il est galement lun des premiers imaginer un systme de conversion direct de formes visuelles en sons, bien avant lapparition du signal vido analogique, en dessinant directement sur la bande-son des pellicules cinmatographiques dans ses Sound Ornaments. Fischinger, malgr un parcours difficile, laisse derrire lui une rputation de matre auprs de la jeune gnration de cinastes danimation abstrait comme Harry Smith ou James Whitney. Ses mthodes inspirent Normal McLaren qui pousse les correspondances vers un rapport plus sonore que musical dans Loops, Dots, et Neighbours. Len Lye explore la dimension rythmique en grattant directement la pellicule dans Free Radicals. Mais au tournant des annes 60, lanimation exprimentale commence sappuyer sur toute une panoplie de nouvelles technologies. Paul Sharits utilise le flicker comme base de son travail cinmatographique, un appareil qui agresse directement la rtine de lil et renvoie ainsi la vision une sensation proche de laudition. Il tablit galement par des subversions autour des attentes du spectateurs et du montage image / son des analogies opratoires entre des manires de voir et dentendre . Mary Ellen Bute et Ben Laposky utilisent loscilloscope cathodique comme outil de composition visuelle. John Whitney dveloppe ses outils de visualisation sonore exclusivement grce un ordinateur analogique, allant jusqu faire la transition avec le numrique dans les anns 80.

Voir John Whitney, page 76.

le signal analogique ViDo

Avec lapparition des systmes de traitement vido la fin des annes 60, il ne sagit plus de simplement superposer limage et le son, car il devient techniquement possible de les manipuler directement par un signal de nature unique. Larrive des machines de traitement analogique runit sonore et visuel dans une mme matire : les ondes sonores et lumineuses sont transforms en ondes lectriques. Les supports de diffusion se dploient chelle mondiale. Cest la naissance dun nouvel tat desprit, parfaitement ressenti par le pionnier de lart vido Nam June Paik. Lorsquil lui est demand de dfinir la diffrence entre le son et limage, il rtorque que le son monte 20 000 Hertz et la video 60 000 000 Hertz. Cest l lunique diffrence.

Voir Nam June Paik, page 88.

Voir Hans Richter et Vikking Eggeling, page 68.

Voir Oskar Fischinger, page 72.

38

39

Outre la ralisation de bandes vido qui permet de prolonger les explorations animes, les grandes rvolutions du signal lectrique analogique seffectuent sur deux niveaux distincts. Cest dabord la production massive de camras et de moniteurs qui redistribue les positions de lartiste et du spectateur face limage audiovisuelle en les mettant dans des situations nouvelles. En raction lmergence de la culture de masse et lomniprsence de la tlvision faisant la promotion de la consommation, les artistes se rfugient dans les possibilits nouvelles mises disposition par les signaux lectriques audio et vido pour imaginer des nouveaux types de compositions. Car dautre part, lelectricit nest pas simplement le vehicule des effets audiovisuels, mais le facteur de cette transmission, dont limmediatet opre en dea du langage. Linstantanit de linterchangeabilit entre les signaux auditifs et visuels intgre la prsence physique du spectateur et de son systme sensoriel en tant porteuse dune correspondance objective et immdiate entre deux perceptions sensorielles htrognes. Ces deux paramtres sont lorigine de nouvelles formes dart caractrises par la possibilit de lenregistrement, et les valeures dinstantanit et de simultanit de ces nouveaux instruments, permettant des correspondances entre le sonore et le visuel plus systmatiques que jamais. Et ce grce une relation toujours plus troite avec les dernires dcouvertes technologiques et lavance des recherches scientifiques. Voir Steina et Woody Vasulka, page 84. Steina et Woody Vasulka mettent au point de nombreux systmes de traitement direct de limage par un signal audio, sonore. Les correspondances se font alors conceptuellement, au sein du medium, avant mme datteindre le spectateur. Les Vasulka agissent directement sur les proprits physiques des ondes lectromagntiques sonores et lumineuses, jouant avec les frquence et les amplitudes comme des matriaux modulables volont. Bill Viola cr un nouveau type de compositions audiovisuelles en enregistrant sur bande magntique des sons et des images quil redispose ensuite dans une reprsentation du monde mtaphorique fonde sur limagination, la conscience, les rves, et la mmoire, jusqu former de vritables pomes visuels. Mais cest par les jeux dechelle de ses installations audiovisuelles quil joue le plus avec les correspondances sensorielles. A la dmocratisation de la prsence de lcran, par laquelle la confrontation directe limage audiovisuelle devient une habitude, Viola rpond en immergeant nos sens dans la monumentalit de ses environnements. Le rapport entre le son et limage devient avant tout physique.

Voir Bill Viola, page 82.

Cette dmarche tmoigne galement des nouvelles possibilits dexplorations des qualits spatiales des phnomnes sonores rendues possibles par les dvelopement de llectronique. Dans la Dream House de La Monte Young et Marian Zazeela, les mouvements du spectateur modulent la fois le son et la lumire de la pice. Une exprience sensorielle qui nourri le sentiment dexistence du public par la confrontation un espace physique presque vivant. Lespace architectural prend vie dune manire comparable dans la rcente collaboration de Charles Carcopino et Franois-Eudes Chanfrault, Equalize Me !, cela prs que les dplacements du spectateurs nont cette fois-ci aucune influence directe sur le droulement de luvre. La salle est inonde de projections lumineuses qui sont en fait des visualisations des ondes lectromagnetiques lorigine des vibrations sonores qui rythment lexprience. Visuel et sonore sont encore une fois associs dans leur traitement lectronique, avant de venir envahir lespace physique du spectateur de leurs stimulations correspondantes. Avec des moyens radicalement diffrents, Michel Gondry utilise pour le clip du morceau Star Guitar les dernires technologies de traitement et de retouche vido afin dincruster dans le dfilement dun paysage urbain une relation parfaitement systmatique entre les progressions de limage le dploiement dun espace visuel raliste et de la musique. Les signaux analogiques audio et vido permettent aussi de rendre sensible limperceptible. Carsten Nicola propose au spectateur de se confronter physiquement des ondes acoustiques qui sont en dea du seuil daudition humaine. Les vibrations sonores perdent alors pour nos oreilles leurs qualits acoustiques, mais se manifestent sous nos yeux dune manire entirement diffrente. Des correspondances qui relvent bien de la trans-sensorialit au sein mme du traitement du medium, quand la stimulation dun sens passe par les canaux dun autre. De la mme manire, grce une collaboration pousse avec diffrents laboratoires scientifiques, Evelina Domnitch et Dmitry Gelfand permettent au public de faire lexprience de la sonoluminescence : dans un milieu acqueux trs particulier, les ultra-sons deviennent audibles et lumineux. Ce systme est lorigine dune srie de performances qui fait le tour du monde depuis 2007.

Voir La Monte Young et Marian Zazeela, page 90.

Voir Charles Carcopino et Franois-Eudes Chanfrault, page 100.

Voir Michel Gondry, page 80.

Voir Carsten Nicola, page 96.

Voir Evelina Domnitch et Dmitry Gelfand, page 102.

40

41

Voir Carsten Nicola, page 96.

Voir Iannis Xenakis, page 92.

Mais Carsten Nicola est aussi un musicien exprimental reconnu, sous le pseudonyme dAlva Noto. Car tandis que les technologies mettent disposition des moyens toujours plus accessibles de traiter limage et le son, la frontire entre lartiste visuel et le musicien sefface progressivement. Ils se retrouvent naturellement pousss jouer des images comme on joue de la musique. Le traitement audiovisuel sintgre de plus en plus aisment des installations, mais galement des performances, limage des Polytopes de Iannis Xenakis, manifestations sonolumineuses monumentales aux correspondances dployes dans le temps comme une succession dvnements parfaitement matrise.

la perForMance
Le compositeur allemand Richard Wagner emploie dans Luvre dart de lavenir publi en 1849 le terme gesamtkunstwerk , ou uvre dart total, en rfrence sa vision dune dramaturgie musicale porte par le dploiement simultan du son, de la couleur, de la lumire, et du mouvement. La grande oeuvre dart unifie elle ne peut tre perue comme une ncessit arbitraire et individuelle, mais comme linvitable uvre dassociation de lhumanit, pour le futur. Bien quil tente de la concrtiser dans LAnneau des Nibelung, cette ide reste lpoque parfaitement utopique. Mais il souligne ainsi limportance de la scne dans lintgration de la multimodalit et lunification des diffrentes formes dart. Mme la notion d intermedia* , introduite dans les annes 60 par Dick Higgins du groupe Fluxus pour dcrire les intersections possibles entre les diffrents arts dans loptique den faire la fusion, renvoie directement aux ides de Wagner. En 1915, le russe Scriabine runit Color Music et spectacle dans Promethe, o la scne est claire par un clavier chromatique proche du Color Organ. Chaque touche est relie une lampe projetant une couleur correspondante dans la salle. Les couleurs se succdent selon des lois dfinies par lvolution narrative souhaite par le compositeur, ractivant par sa frie chromatique la passion pour lutopie dune unification artistique et sociale.

Selon Marcel Duchamp, une uvre dart nest complte qu partir du moment o le spectateur y prte attention. Or la performance tend forcer lattention du public, et runi ainsi des conditions de rception optimale de luvre fortement amplifies par le phnomne dexcitation de masse limage de la loi de Weber-Fechner. Une immersion souvent relaye par des systmes agissant directement sur lorganisme travers la mise en place de vritables environnements audiovisuels. La force de cette intensit provoque par une accumulation extrmement dense dimages jusqu en devenir drangeante a t tablie en 1920 par le dadaste Kurt Schwitters dans son art total Merz embrassant architecture, thtre, et posie. Schwitters voit alors le thtre comme un moyen de combiner diffrents mediums dans un espace grande chelle, dans le but de raliser un assaut physique total des sens et ainsi revaloriser chez le spectateur la conscience du milieu environnant. De plus en plus, les artistes tendent accorder une grande importance limpact emotionnel direct dun vnement ponctuel sur un public, avant mme toute possibilit de traitement rationnel. Dans les annes 60 aux Etats-Unis, les jeux de lumire qui accompagnent les concerts deviennent aussi importants que les musiciens. Senss traduire visuellement l aurore borale interne des tats de transe provoqus par la prise de LSD, ces spectacles tmoignent de lextase de la priode psychdlique porte par Timothy Leary et leuphorie lectrique des groupes la recherche dune fusion totale des tres, dune unit mondiale. Limage vido est alors utilise comme procd hypnotique, quasiment hallucinogne. Ces manifestations monumentales prennent le relai des obsessions wagneriennes, limage de lopra rock The Wall des Pink Floyd et sa panoplie deffets visuels ou encore des habillages complexes raliss plus rcemment par le collectif United Visual Artists pour les dernires tournes de U2 et Massive Attack. La grande diffusion des nouveaux supports de stockage audio reproductibles voit galement merger au dbut des annes 80 un nouveau type de musicien : le DJ*. Si leur rle se limite au dbut selectionner la musique quils diffusent, les DJs* commencent rapidement dcouper les morceaux, les enchaner et les superposer, crant ainsi de nouvelles compositions. Larrive des outils numrique consacre cette dconstruction du morceau musical et largi progressivement le champ daction du DJ* tout en ouvrant la porte de nouvelles mthodes de traitement sonore et toute une varit de nouvelles musiques lectroniques. Les DJs* se multiplient, se produisent dans les botes de nuit, les raves et les festivals, et sont progressivement appuys dans leur performance par le VJ*, leur homologue visuel. Le duo DJ* / VJ* incarne aujourdhui sur cette nouvelle scne les deux ples des correspondances entre le visuel et le sonore.

Voir la loi de Weber-Fechner propos de la perception du son, page 21.

Voir UVA, page 114.

Voir Le Numrique, page suivante.

42

43

Voir D-Fuse et Scanner, page 106. Voir Coldcut et Hexstatic, page 108.

Voir Addictive TV, page 110.

Voir Joshue Ott, page 132.

Voir Hector Zazou et Bernard Caillaud, page 118.

Voir Valerio Spoletini, page 112.

Si la varit de ses interventions peut tre vaste, le VJ* est pourtant encore frquemment subordonn caler des images en rythme sur la musique du DJ*. Cest donc gnralement la musique qui gnre les images dans ce type de performance, dans la mesure ou les technologies utilises analysent les variations sonores en temps rel* pour faire varier simultanment un contenu visuel prdfini par le VJ*. Ce contenu peut tre photographique, vido, ou mme entirement programm et donne alors souvent lieu des compositions abstraites. Toutefois de nombreuses collaboration DJ* /VJ*, limage de D-Fuse et Scanner qui travaillent ensemble depuis des annes, mettent au point des systmes de correspondances rflechis et efficaces. Dans Timber, Coldcut et Hexstatic calent sur un morceau constitu dune superposition de bruits ( une dmarche proche de la musique concrte ) une reprsentation directe des actions les provoquant. Dans le mme esprit, le duo Addictive TV utilise des samples* vido, construisant une nouvelle musique avec la bande-son tout conservant les images qui leur correspondent directement. Ils jouent ainsi avec cette propension du VJ* tre le penchant visuel directement illustratif du DJ*. Certains resistent mme la tentation de tout automatiser via le numrique : Joshue Ott imagine avec Superdraw un outil que le VJ* manipule tel un instrument pour dessiner les visuels dune manire extrmement dynamique, tout en restant lui-mme le maillon essentiel de la relation entre la musique et sa reprsentation. Il substitue ses rflexes aux calculs systmatiques de la machine et devient le rcepteur de stimulations sonores quil tente de traduire instantanment en stimulations visuelles correspondantes. Hector Zazou et Bernard Caillaud sinfluencent mutuellement au fil des performances, la musique de lun inspirant les visuels de lautre et rciproquement, jusqu rendre compte de leur collaboration mrement compose dans Quadri {+} Chromies. Enfin, Valerio Spoletini imagine un systme mettant directement en relation les interventions du DJ* avec un vocabulaire danimations programmes. DJ* et VJ* ne font alors plus quun dans la mesure o un unique geste gnre simultanment musique et visuels correspondants.

Un ordinateur est une machine au fonctionnement logique et programmable, qui ne traite que des valeurs numriques binaires (0 et 1). Le codage numrique consistant convertir un support physique en une suite de nombres finis, le traitement informatique ne concerne ainsi que de linformation. Mais le passage de lanalogique au numrique est surtout celui dun mode de stockage continu et matriel un autre, discontinu et immatriel. Les consquences sur la nature et les possibilits de traitement du contenu sont multiples. Le numrique fragmente linformation en la rendant quantifiable ( tout comme lalphabet phontique fragmente la parole ). Ceci implique dabord une possibilit de dgradation ou de perte de linformation, ce qui explique que pendant longtemps, la puissance de nos ordinateurs et leur capacit de stockage limite ne permettaient pas de traiter des images et des sons daussi bonne qualit visuelle ( au niveau de la rsolution lapparition du pixel ) et acoustique ( au niveau de lchantillonnage ) que les mthodes analogique. Mais en contrepartie, toute information est prcisment mesurable et manipulable, le numrique constituant un langage universel longtemps fantasm, rpondant des systmes de lois mathmatiques. Les supports physiques numriss sont tous situs au mme niveau, tout est compatible, duplicable linfini, et lon peut traiter indiffrement de limage, du texte, du son, ou encore de la vido. On tend ainsi transposer dans limmatrialite du support informatique toute notre culture sous forme de donnes manipulables. A ce niveau, le numrique est bien plus quune simple technologie : cest une vritable conception du monde insuffle par la science. Lordinateur simule la peinture, la photographie, la vido, les instruments de musique, ou mme la voix humaine en mettant en uvre chaque seconde une quantit de calculs monumentale qui nous chappe totalement. Frank Popper souligne quen tant algorithmique, limage entretient avec dautres manifestations esthtiques, tels le son et la musique, mais aussi avec le langage, une relation immdiate et nouvelle. Le raisonnement numrique en soi indpendamment des possibilits interactives ne bouleverse pas lexprience purement sensorielle de la synesthsie, mais prolonge les possibilits de correspondances au sein mme du medium inities par le signal lectrique. On peut par ailleurs discerner deux nouvelles manires darticuler les correspondances entre le visuel et le sonore par le numrique.

le nuMrique
Le potentiel unificateur des nombres et du calcul, en tant quultimes manifestations abstraites de la logique, hante nos esprits au moins depuis la Grce Antique. Pythagore inventait dj des systmes de lois mathmatiques afin de mettre en relation la longueur de la corde dun instrument de musique et le son produit.

44

45

Voir Iannis Xenakis, page 92. Voir U&I Software, page 124. Voir Squidsoup, page 138.

Voir Robert Hodgin, page 120, et Memo, page 122.

La premire est la transformation directe dun son en une image fixe, faisant passer la temporalit sonore dans la spatialit du visuel. Cette conversion peut se faire directement au sein du medium par exemple en faisant interprter par un logiciel dimage un fichier sonore , mais tout comme une conversion lectrique directe, le rsultat est inattendu et difficilement interprtable au-del de la fascination conceptuelle. Le dveloppement du Data Visualization* permet de construire des graphiques trs prcis en deux ou trois dimensions partir de bases de donnes numriques complexes. On peut ainsi matraliser les variations de frquence et damplitude sonore dans le temps sous la forme dune image, ou au contraire construire son propre graphique comme une composition visuelle afin de le transformer en son selon un algorithme prdfini. Le numrique permet alors une varit et une grande prcision des modes de traitements, et introduit ainsi des outils visuels de manipulation sonore dun nouveau genre. Des sytmes dont Iannis Xenakis et son Upic sont les prcurseurs, et qui sont aujourdhui bien plus rpandus limage des logiciels permettant de dessiner directement le spectre sonore, comme Metasynth de U&I Software. Dans Altzero, le collectif Squidsoup imagine de vritables univers en 3 dimension dans lesquels lutilisateur peut naviguer, genrs automatiquement partir de fichiers sonores. Mais le numrique permet surtout danimer par la mise en place dalgorithmes mathmatiques lvolution dune composition visuelle en temps rel* en fonction des variations des diffrents paramtres sonores. Cest de cette manire que son construits les visualiseurs sonores* qui accompagnent les lecteurs musicaux de nos ordinateurs, et cest ce type doutils que manipulent en gnral les VJ*, dans le cas o la musique gnre directement des visuels. La nouvelle image de synthse numrique est ainsi caractrises par la prsence du pixel et de la 3D texture. La grande prcision de ces correspondances mathmatiques donne naissance des progressions audiovisuelles impressionnantes de dynamisme, mais souvent ancres dans des systmes trop limits, limage des travaux de Robert Hodgin et Memo. On est en effet encore loin de la libert et de la spontanit des animations de Fischinger, mais cest la matrise technique que requiert la manipulation des systmes numriques et leur logique parfaitement systmatique (proche dun langage dcriture musicale conventionnel, quand un signe dtermine linterprtation) qui brident les cratifs. Notre gnration voit ainsi lmergence dun nouveau type dartiste multimdia , matrisant la fois limage, le son, et la complexit des langages informatiques, dont mme les plus simples (Processing*, Actionscript*, Max/Msp*) ncessitent un minimum de connaissances mathmatiques.

La visualisation directe dinformation sonore demeure une exprience inhabituelle que le numrique rend toujours plus prcise. Le trouble cr par la transposition directe dun sens lautre pousse la contemplation, comme si nous essayions de rsoudre lenigme de lefficacit immdiate des correspondance. Une des grandes forces de linformatique est galement, de par son omniprsence, une intgration aise dans tous types de dispositifs et dinstallations. De cette manire, Atau Tanaka construit dans Bondage un environnement complet autour de la conversion directe dune photographie en son travers Metasynth. Chris OShea imagine pour la sortie de Muon un gigantesque plateau de diodes lectroluminescentes qui dessinent au sol la propagation de la musique, controles par un programme informatique. Et le groupe United Visual Artists installe un vritable jardin de colonnes sonolumineuses, Volume, qui ragit en harmonie avec les mouvements des spectateurs.

Voir Atau Tanaka, page 128. Voir Chris OShea, page 134.

Voir UVA, page 114.

l i n t e r a c t i V i t
Linnovation majeure du support informatique par rapport aux techniques traditionnelles est incontestablement la possibilit dinteragir avec lutilisateur. Lordinateur sait imiter nos modes de perception, nos comportements et cerner certains aspects de notre intelligence grce un dialogue constant entre des interfaces de saisie corporelle et son raisonnement logique. Il est par ailleurs important de distinguer ces deux aspects de lexprience interactive. Il y a dune part linterface corporelle porteuse dune nouvelle dimension sensorielle. Lutilisateur questionne en effet la machine par la manipulation physique ( tactile ou orale ). Et il y a dautre part la reflexivit du raisonnement numrique ( un programme informatique utilise une reprsentation de lui-mme pour raisonner sur son propre comportement ), ancre dans limmatrialit du logiciel informatique, par laquelle lordinateur construit ses rponses. Deux paramtres tributaires des limites technologiques, porteuses de lvolution constante de lexprience interactive. Une exprience qui redfinit les modes de conception et de rception de luvre. Le programme informatique desormais capable de rivaliser avec le raisonnement humain est dorigine culturelle : cest lhomme qui, en conceptualisant les lois dune nature insaisissable, est parvenu grce des reprsentations physiques et logiques crer une entit rationnelle dote de reflexivit. La conscration de lhomme-crateur soumis aux lois physique dun monde infini qui lui chappe, donnant naissance son semblable dans un univers virtuel numrique dont il contrle, cette fois-ci, le fonctionnement par des lois consciemment tablies. En ce sens, linteractivit peut simuler des expriences de linteraction humaine, ou en imaginer de nouvelles issues de conceptualisations culturelles.

46

47

Le spectateur devenu utilisateur face une uvre interactive est donc destin questionner la dmarche du concepteur par la saisie corporelle, les rponses de la machines tant instantanes. Une ralit alternative est mise en place, dans laquelle le spectateur actif se soumet volontairement des lois programmes, les assimilant au fur et mesure de ses manipulations jusqu voluer aisment dans ce monde virtuel il sagit apprendre en jouer pour provoquer les rponses attendues. Une jouabilit qui redouble le sentiment dexistence de lutilisateur, en simulant une activit crative au sein de lois mathmatiques fermes. Lexprience interactive tend ainsi placer celui qui la manipule au plus proche de livresse de la cration, ouvrant sur des nouvelles possibilits dimmersion sensorielle. De nombreux artistes explorent les multiples manires de capter les mouvements de lutilisateur acte de saisie informatique en vue de les rinterprter en temps rel* sous forme de sons et dimages. On assiste la naissance dinterfaces qui sont de vritables instruments de synthse audiovisuelle : le Sonic Wire Sculptor dAmit Pitaru permet de dessiner directement le son en 3 dimensions laide dune palette graphique*, Golan Levin imagine pour Scribble et les Manual Input Sessions diffrents objets audiovisuels manipulables, prolongeant les Sensors Sonic Sights dAtau Tanaka, et enfin lintgralit du corps humain entre en jeu pour gnrer les progressions sonores et visuelles correspondantes du Freq2 de Squidsoup. Si les correspondances se font au sein de la machine qui transforme la saisie gestuelle en effets audiovisuels, la relation physique que lutilisateur / joueur entretient avec linterface provoque lillusion quil en est lui-mme le gnrateur. Il est alors directement projet dans une exprience multimodale hypnotique, par la stimulation simultane dau moins trois de ses sens selon des systmes dquivalences numriques. Plus difficiles matriser, les compositions visuelles et musicales du Small Fish de Masaki Fujihata semblent doues dune vie propre que lutilisateur vient perturber en essayant dvaluer chaque instant limpact quauront ses interventions, ou au contraire en laissant libre cours la construction spontane dun rsultat inattendu. Luvre interactive se performe et se joue, un aspect autour duquel Toshio Iwai conoit ses installations manipulables dont la prise en main immdiate sert des systmes de correspondances surprenants, mlangeant habilement stimulations tactiles, visuelles et sonores.

Voir Amit Pitaru, page 136. Voir Golan Levin, page 148. Voir Atau Tanaka, page 128. Voir Squidsoup, page 138.

La dimension ludique nous renvoie galement au jeu vido, support lgment en retrait de par son statut de produit de divertissement, dont les ambitions sont pourtant parfois trs proches de notre problmatique. Plus que tout autre support interactif, le jeu vido est tributaire des capacits des machines sur lesquels il tourne, dans la mesure o elles proposent des interfaces de saisie corporelle et une puissance limites afin de pouvoir trouver leur place dans le foyer moyen. Mais en consquence, lexprience vidoludique est plus intime, et peut galement se permettre de mettre en place des rgles dinteraction plus complexes, le joueur ayant plus de temps pour sapproprier lunivers virtuel dans lequel il volue. Le jeu de tir Rez de Tetsuya Mizuguchi propose ainsi de btir des compositions musicales et colores inspires des thories de Wassily Kandinsky au fil de lvolution dans les niveaux, partir dun gameplay* relativement classique. Une relation purement sensorielle se met progressivement en place entre les reflexes physiques du joueur, ce quil voit, et ce quil entend, jusqu limmerger entirement dans une multimodalit hypnotique. Finalement, la rencontre des sytmes de correspondances et des interfaces interactives est en train de donner naissance toute une nouvelle gnration dinstruments de musique. Axs sur la manipulation dlments visuels simples en vue de superposer et moduler des compositions sonores dune grande complexit, ils tirent parti des correspondances sensorielles possibles pour sorienter vers une prise en main intuitive et surprenante. A limage de la Reactable du Music Technology Group, diffrents systmes de tables tactiles sont imagins afin dorganiser et de manipuler visuellement des couches de samples* sonores. Le Tenori On, fruit dune longue collaboration entre Toshio Iwai et Yamaha, est un instrument de musique lectronique dont la manipulation gnre progressivement sur son clavier une grille de diodes lectroluminescentes des squences danimations dynamiques, reprsentations visuelles directes des mlodies et rythmes composs. Lexprience sensorielle elle seule, superposition de stimulations correspondantes saisissantes, vaut presque plus que la possibilit den faire un outil de performance. Car on manipule un vritable instrument multimodal.

VoirTetsuya Mizuguchi, page 142. VoirWassily Kandinsky, page 56.

Voir The Music Technology Group, page 154. Voir Toshio Iwai, page 156.

Voir Masaki Fujihata, page 152.

Voir Toshio Iwai, page 156.

48

49

50

51

eXeMple Wassily KanDinsKy. paul Klee. thoMas WilFreD. pierre schaeFFer hans richter et ViKing eggeling. osKar Fischinger. John Whitney. Michel gonDry.

page 54. page 56. page 60. page 64. page 66. page 68. page 72. page 76. page 80.

page 108. page 110. page 112. page 114. page 118. page 120. page 122 page 124. page 128.

colDcut et heXstatic. aDDictiVe tV Valerio spoletini. uniteD Visual artists. hector ZaZou et BernarD caillauD. roBert hoDgin. MeMo. u&i soFtWare. atau tanaKa.

c AtAlOgUe

De SArtIS teS

Bill Viola. steina et WooDy VasulKa. naM June paiK. la Monte young et Marian ZaZeela. iannis XenaKis carsten nicola. charles carcopino et Franois-euDes chanFrault. eVelina DoMnitch et DMitry gelFanD. D-Fuse et scanner.

page 82. page 84. page 88. page 90. page 92. page 96. page 100. page 102. page 106.

page 132. page 134. page 136. page 138. page 142. page 148. page 152. page 154. page 156.

Joshue ott. aMit pitaru chris o shea. squiDsoup. tetsuya MiZuguchi. golan leVin. MasaKi FuJihata. the Music technology group. toshio iWai.

52

53

 Titre de luvre Anne Medium

Titre dune autre uvre Anne Medium

Titre dune autre uvre Anne Medium

Titre dune autre uvre Anne Medium

NOmDe l A r t I S t e
Introduction. Introduction. Introduction. Introduction.

sous-titre
Texte. Texte. Texte. Texte. Texte. Texte. Texte. Texte. Texte. Texte. Texte. Texte. Texte

Rapport avec un autre artiste ( page XXX )

54

55

 Improvisation 31 (Bataille Navale) 1913 Peinture

Jaune Rouge Bleu 1925 Peinture

WA S S I l y K AND IN S K y
Wassily Kandinsky (1866-1944), pionnier et thoricien de lart abstrait, a toujours revendiqu linfluence majeure de son rapport la musique sur ses uvres. Lvolution de son travail pictural et thorique demeure pourtant paradoxal : dabord attir par des correspondances immdiates et spontanes (il tait de tout vidence synesthte musique - couleurs), il sefforce par la suite mettre en place des systmes de correspondances gometriques beaucoup plus rflechis.

la ncessit intrieure
En coutant Lohengrin, lopra de Richarg Wagner, Kandinsky prend conscience du pouvoir emotionnel de la musique et dcide de ddier sa vie lart. Kandinsky se dit bloui par la musique de Wagner, toutes ses couleurs se dploient sous ses yeux, des lignes extravagantes se dessinent devant lui. Il dcouvre alors dans lart en gnral une puissance insoupconne, et il lui parat vident que la peinture possde des forces dexpressions et des moyens aussi puissants que ceux de la musique . Mais cet enthousiasme est rapidement remplac par un sentiment damertume : Kandinsky se sent incapable de dcouvrir lui-mme ces moyens picturaux. Cest en faisant lexprience de labstraction quils surmonte cette desillusion. Il lexplicite alors dans son uvre thorique majeure, Du Spirituel dans lart, et dans la peinture en particulier ( 1912 ). Cest pour lui le manifeste dune nouvelle spiritu-

Voir lart total de Wagner( page 42 ).

56

57

Nam June Paik ( page 88 ) sest tourn vers lart vido par ncessit historique .

alit, qui oriente les artistes vers le monde immateriel et pur des sons, encourag par lmergence des recherches interdisciplinaires. Il admire la manire dont la musiqe a, de tout temps, utilis ses moyens non pour reprsenter les phnomnes de la nature, mais pour exprimer la vie spirituelle de lartiste et crer une vie propre des sons musicaux . Cette volont du musicien exprimer son monde intrieur devient pour lui une ncessit en tant quartiste, et des ces constations dcoulent la recherche actuelle de la peinture dans le domaine du rythme, des mathmatiques, et des constructions abstraites, la valeur que lon accorde maintenant la rptition du ton color et la manire dont la peinture est mise en mouvement . Les couleurs de la peinture produisent selon lui un double effet : tout dabord un effet purement physique de lil, charm par la beaut des couleurs. Mais cet effet peut devenir beaucoup plus profond et entrane alors une motion et une vibration de lme, une rsonance intrieure, un effet purement spirituel par lequel la couleur atteint lme. Il dresse alors des systmes de correspondances gnrales partir des gammes colores, qui dfinissent des principes dentre en contact efficace de la forme avec lme humaine. Fortement influenc par la synesthsie, ces systmes traduisent graphiquement des motions inities par lexprience immaterielle de la musique. Chaque couleur peut devenir un mouvement ( horizontal, vertical, centrifuge ou centripte... ), un tat ( le rouge est vif et agit, le bleu calme et profond... ). La matrise de ce contenu doit devenir pour lartiste une ncessit intrieure, et lui offre alors une libert illimite et un rle social majeur : il est le porteur de la vie spirituelle de lhumanit. Mais cet enseignement doit imprativement dpasser lextrieur et porter sur les principes. Cest la aussi une des limites de linter-influence des domaines artistiques : un art doit apprendre dun autre comment il utilise ses moyens afin dutiliser ses propres moyens selon les mmes principes, cest dire selon le principe qui lui est propre. Lartiste ne doit pas oublier que chaque moyen implique un mode dutilisation particulier et que cest ce mode qui est dcouvrir .

Les peintures de Kandinsky sont durant cette priode dynamiques, colores, et dune force extraordinaire rvlatrice dune euphories spontane. Il met en pratique ses systmes sur la toile, et intitule ses oeuvres partir de termes volontairement emprunts au vocabulaire de la composition musicale (Composition, Improvisation, Concert...). Les masses colores sont trs expressives et voluent indpendamment des points et des lignes qui ne servent pas les dlimiter ou les mettre en valeur, mais se combinent avec elles, se suprposent et se chevauchent.

le point et la ligne
Laprs-guerre est pour Kandinsky la priode dun changement radical. Il enseigne au Bauhaus aux cts de Klee, reprend sa thorie des couleurs dans le cadre de son cours de peinture murale et y intgre de nouveaux lments sur ltude de la forme, en particulier concernant le point et les diffrentes formes de lignes. En 1926, il crit Point et ligne sur plan. Cette nouvelle analyse des lments de la peinture donne naissance des principes dorganisation et de composition en fonction des tensions issues de lorientation des lignes et du format du tableau. Les lments gomtriques prennent dans son enseignement comme dans sa peinture une importance grandissante, en particulier le cercle, le demi-cercle, langle et les lignes droites ou courbes. Les formules deviennent numriques, et ce travail mthodique a pout but ultime un trait de la composition dpassant les limites des arts distincts et valable pour lart en gnral. Cette volont dordonner la composition en rendant le propos plus scientifique, proccupation partage par ses contemporains ( constructivistes, suprematisme ), rend ses toiles plus calcules et moins intuitives. Alors quil dfendait limportance dune pratique prcdant toujour la thorie, il semble remplacer la valeur transcendante de lart par des forces chiffrables et des formules numriques. Dans Jaune Rouge Bleu ( 1925 ), la complexit des lments gometriques, des couleurs, et de leurs relations conserve pourtant cette grande harmonie densemble. Lorganisation de la toile est plus que jamais symphonique, plus rythme, plus structure. La dualit de loeuvre de Kandinsky, entre euphorie spirituelle et beauts mathmatiques, nest que plus fascinante au regard de la nature que prendront les correspondances inter-disciplinaires avec lavnement de linformatique. Car il avait anticip, dans Du Spirituel, que les arts se rejoindraient un jour dans le numrique : dans tout art, la dernire manifestation abstraite reste le nombre .

Voir Klee ( page 60 ).

Rez de Tetsuya Mizuguchi ( page 142 ) est un uvre numrique et interactive qui sinspire directement des thories de Kandinsky.

58

59

 Fuge In Rot 1921 Peinture

pA Ul

K lee

Grand thoricien de lart moderne, Paul Klee (1879-1940) tait galement un excellent violoniste. Si le vritable impact de la musique sur son travail plastique a longtemps t discut, surtout ses dbuts, il ne fait aucun doute que sa connaissance de la composition musicale a toujours nourri ses compositions graphiques. Son point de vue ambigu sur les correspondances possibles entre les deux domaines nen est que plus passionnant.

peintre et Musicien
Paul Klee est fascin par la musique et lide dune correspondance entre les arts. Il ne le dveloppe pourtant pas toujours explicitement. Linfluence de la musique sur son travail graphique est de nature trs varie, parfois mme trs illustrative : il reprsente des personnages lyriques, rels, invents ( Lohengrin, Fiordiligi, Dr.Bartolo, Falstaff ), ralise des illustrations comiques ou symboliques de musiciens et dobjets musicaux ( instruments fantastiques ). Mais il y a surtout, dans la composition de ses uvres les plus abstraites, des rfrences videntes la composition musicale. Comme Kandinsky, il fait rfrence des termes emprunts au lexique de la musique pour dfinir ses travaux, chant , son , harmonie , rythme . Theodor Daubler dit mme que sa peinture est un reflet indniable de ses talents de musiciens, que tous ses dessins se font lillustration dtats dme suscits par la musique,

Voir Kandinsky ( page 56 ).

60

61

Lorchestration polyphonique fascine aussi Hans Richter et Viking Eggeling ( page 68 ).

laquelle lentrane jusquaux extravagances les plus inoues . Pourtant, Klee a longtemps t trs critique sur ces associations entre ses deux talents. Comme sil nassumait pas la musicalit de ses uvres, comme si les correspondances possibles entre musique et peinture lui semblaient trop floues pour tre thorises. Sil est difficile de dissocier lart de Klee de la musique, la relation prcise quils entretiennent est insaisissable. Alors quil enseigne au Bauhaus aux cts de Kandinsky, les notes de ses cours seront publies plus tardivement sous le titre de Contributions la thorie de la forme picturale. La structure musicale et le rythme transposs en formes spatiales occupent alors une grande place dans les dmontrations quil fait ses tudiants. Plus qu la forme finale de ses toiles, cest au processus intellectuel qui conduit son travail que la musique semble contribuer. Richard Verdi, auteur de Musical Influences of the Art of Paul Klee dclare que cest la rigueur et la discipline de la composition musicale qui lattirent le plus. Ces qualits sont leur tour celles qui apparaissent le plus clairement dans les frquentes analogies que fait Klee entre la musique et les arts visuels . Cest donc de la composition musicale que Klee dduit des modles utilisables en peinture. Comme si son bagage musical tait une source danalogies o les notions dordre, de mouvement, et de rythmes se manifestent de manire semblable. Le ct formel de la musique laide a ordonner ses compositions, lui inspirent ses progressions colores, ses motifs rpts, sa rgularit mathmatique. Il imagine une peinture polyphonique qui surpasse la musique dans la mesure ou le temporel est davantage spatial et dont Fuge In Rot ( Fuges en Rouge )est lemblme. Une dmarche qui se rapproche de lcriture musicale, mais o il ny a aucun signe interprter musicalement. Essayer de transposer cette polyphonie dans le domaine de limage naurait en soi rien de particulier. Mais dduire de la musique certaines rgles sur le caractre propre aux chefs-duvres polyphoniques et pntrer profondment cette sphre cosmique pour en ressortir en observateur avis du phnomne art, puis runir ces lments dans limage, voil qui serait dj mieux .

espace et teMps
Lespace physique de la toile est donc une contrainte aux correspondances possibles entre limmatrialit de la musique et la spatialit de limage. Pourtant Klee considre lart figuratif comme temporel. Les parallles entre musique et art figuratif simposent de plus en plus fortement mon esprit. Mais aucune analyse naboutit. Ces deux arts sont temporels, cela est certain et se prouve aisment. Chez Knirr on parlait juste titre de lxecution dun tableau, et lon entendait par l quelque chose de tout fait temporel : les mouvements expressifs du pinceau, la gense de leffet . Cette position est dautant plus intressante quelle nous pousse considrer les correspondances entre son et images de deux point de vue : celui de lartiste, et celui du spectateur. Le parcours de Klee illustre parfaitement cette correspondance aise entre la temporalit musicale et celle de lxecution dune composition picturale. Il est tout fait lgitime quil soit influenc par sa formation musicale lorsquil ralise ses toiles, quil ressente instinctivement une similitude dans le processus dexcution. Mais cest dans la rception de loeuvre que les contraintes physique de la toile limitent limmediatet et le bien-fond des correspondances intuitives. Tant que lespace et le temps seront articuls sur des supports diffrents, la musicalit dune image peinera simposer face sa spatialit.

62

63

 Opus 46 1909 Lumia

Clavilux 1919 Clavier lumineux

thOmA S W I l f r e D
Les couleurs ne sont que le reflet de la lumire. Sans lumire, on ne pourrait pas voir les objets, et les arts visuels nexisteraient pas. Plutt que de se reposer sur les proprits colores des matriaux classiques, lartiste amricano-danois Thomas Wilfred ( 1889-1968 ) imagine au dbut du XX sicle un nouveau type duvres en sculptant directement la lumire. Un procd quil baptise Lumia et quil considre comme le huitime des beaux-arts .

art luMineuX
Thomas Wilfred est le premier considrer la lumire comme une forme dart part entire. Une Lumia est une composition de lumires, de couleurs, et de formes qui volue lentement dans le temps. Une vaste palette dintensits lumineuses et tout un spectre de couleurs se succdent dlicatement au fil de luvre. Elles possdent une sensibilit extrment difficile capturer en images et lon dit souvent quil faut les voir en personne pour en faire rellement lexprience. Wilfred rend mme ses Lumias contrlables en mettant au point le Clavilux, un vritable instrument lumineux compos dun clavier qui permet un interprte de manipuler directement les compositions lumineuses. Sil tient ce que ces pices restent silencieuses, elles sont souvent compares une musique visuelle dans la mesure ou elles articulent dans le temps des lumires comme le musicien articule des sons. Voir lutilisation de la lumire dans Camera Lucida de Evelina Domnitch et Dmitry Gelfand( page 102 ), les Polytopes de Xenakis ( page 92 ) et les installations de UVA ( page 114 ). Oskar Fischinger ( page 72 ) conoit galement un instrument lumineux qui ne sera jamais commercialis.

64

65

tude n 2 Impose ou tude aux chemins de fer 1948 Musique

p I e r r e SchAeffer
Fils de musicien, le franais Pierre Schaeffer (1910-1995) devient tour tour ingnieur, chercheur, thoricien, compositeur, et crivain en articulant ses travaux autour de la substance et de la matrialit de llment sonore, quil analyse en utilisant le terme dobjet sonore. Homme de radio, il est le pre de la musique concrte, de la musique lectro-acoustique, et le fondateur du Groupe de Recherches Musicales (GRM), aujourdhui encore trs actif.

Musique concrte
Tandis que les arts visuels sinspirent de labstraction de la musique, Pierre Schaeffer prend conscience lcoute dun fragment sonore rpt du changement de perception produit par la capacit de loreille dcontextualiser un son. Contrairement la musique abstraite qui ncessite un medium pour tre ensuite interprte, le compositeur de musique concrte travaille directement sur le son en lui-mme. Grce larrive des techniques denregistrement, Schaffer rcolte des sons. A partir de ces objets sonores, il organise un projet de structure clairement dfini. Et cest par le moyen du montage, des transformations, et du mixage, que ses sons acquirent le statut dobjets musicaux. Des morceaux composs de sons du quotidien, qui nous renvoient directement la visualisation dun vnement ou dune action, limage de ltude aux chemins de fer cre en 1948 dans un concert de bruits sur la radio RTF.

On retrouve lutilisation de samples* vidos afin de composer de bruits chez Addictive TV ( page 110 ) et Coldcut et Hexstatic ( page 108 ).

66

67

 Rythm 21 1921 Animation

Symphonie Diagonale 1926 Animation

Rythm 23 1923 Animation

h A N S r I c h t e r & V IK IN g e g g e l IN g
Peintres de formation, lallemand Hans Richter ( 1888-1976 ) et le sudois Viking Eggeling ( 1880-1925 ) se lient damiti autour dun fantasme commun : la thorisation dun systme de composition gometrique bas sur les rgles de la composition polyphonique, un systme universel qui permettrait de matriser lexpression abstraite alors mergente. Leurs recherches les poussent dpasser progressivement les limites de la toile, et se tourner vers limage en mouvement.

la B s t r a c t i o n c o M M e l a n g a g e u n i V e r s e l
Hans Richter peintre est lun des membres fondateurs du mouvement Dada. Influenc par limpressionisme ( il qualifie luvre de Manet de musique absolument cleste ), lexpressionisme, et le prcubisme, il peint des paysages et des scnes de vie urbaine jusquen 1919. Il rencontre alors Viking Eggeling. Si la reprsentation figurative est progressivement laisse de ct partir de 1910, limmense libert des formes abstraites , pures, absolues , et universelles qui lui succdent sont porteuses selon Richter de grandes responsabilits. Il sagit de dfinir le principe universel qui sauvera lhumanit des horizons infinis de la combinaison formelle, pour parvenir matriser cette nouvelle matire et justifier cette nouvelle libert. Le bouleversement de la Premire Guerre est li la volont de mettre en place un nouvel ordre mondial, et il apparait ensuite ncessaire darticuler le chaos avec

68

69

une extrme simplicit. Cest dans cet esprit que Malevitch en Russie dcide de tout reprendre au commencement, avec son Carr Blanc sur Fond Blanc, que Mondrian et Doesburg dcouvrent lquivalence plastique des contraires , bas sur des oppositions horizontales et verticales. Lorsquils se rencontrent, Richter et Eggeling explorent chacun de leur ct des compositions gometriques simples, bases sur des contrastes positif-ngatif. Mais Eggeling a dj dvelopp une thorie complte de ses systmes. Fond sur les techniques d orchestration picturale du douanier Rousseau ( superposition et disposition musicale des lments dans ses peintures ), il tente de retranscrire graphiquement la notion de contrepoint ( superposition organise de lignes mlodiques distinctes ). Son approche, presque scientifique, le conduit analyser le comportement des lments formels fondamentaux sous diffrentes conditions. Son but est de dcouvrir les expressions que prend chaque forme sous linfluences de formes contraires. Il en tire des analogies et des oppositions pour mettre en relation ses formes. Le contrepoint est pour Richter et Eggeling une rponse aux proccupations de leur poque. Sils admirent le travail de Kandinsky, ils trouvent ses premires improvisations abstraites trop libres. Il est pour eux ncessaires de mettre au point une mthode dexploitation de cette nouvelle forme dexpression. Ils crivent en 1920 Universelle Sprache ( Langage Universel ), un pamphlet qui explicite les enjeux emotionels et intellectuels de lexprience abstraite, une exprience qui redonnerait lart sa fonction sociale. Ils tentent datteindre une solution objective, de sacrifier toute expression spontane et personnelle dans le but de clarifier et purifier les matriaux, forme et couleur, jusqu ce que le principe lui-mme devienne expressif. De procder de la mme manire que la Nature organise la matire, mais en utilisant uniquement ses principes, et non ses formes , daprs Eggeling.

De la peinture la pellicule
Ils en tirent de nombreux dessins formant un large vocabulaire de formes tablies selon des rgles polyphoniques : superposition, opposition, transformation. Ils les appellent leurs instruments, par analogies avec la musique. Les instruments dun orchestre de la forme . Ces systmes danalogies et doppositions formelles les oblige a penser chaque instrument sous diffrents tats, dans sa relation par rapport aux autres, avec une ide de continuit entre les uns et les autres. Ils travaillent alors sur de longs rouleaux de papier en juxtaposant les lments et ralisent rapidement que le mouvement continu de loeil relie les formes. Ils devient alors ncessaire de librer lnergie de leurs compositions en donnant un rel mouvement leurs instruments : le passage sur pellicule apparait comme laboutissement logique de leur dmarche. Ils travaillent alors sparment sur leur premier film, en articulant partir de leurs alphabets de formes respectifs des systmes dvolution temporelle bien diffrents. Dans Symphonie Digitale, Eggeling sappuie sur llgance graphique de ses instruments, en leur confrant des transformations et des mouvements bien dfinis. Il sen tient donc l orchestration formelle. Dans Rythm 21, Hans Richter se proccupe plus de lvolution temporelle de ses compositions. Il utilise le cadre rectangulaire de la pellicule comme lment de base et reproduit les systmes quil mettait en place sur ses toiles quelques annes plus tt : soumettre ses formes toutes sortes de relations dopposition et danalogie , dun point de vue formel mais desormais galement temporel. Ce faisant, il dcouvre la sensation de rythme visuel, qui selon lui domine toute forme dexpression du mouvement. Leurs films silencieux illustrent donc parfaitement le passage du graphisme statique laudiovisuel anim dans les recherches sur les analogies image / son. Richter et Eggeling analysent les paramtres de la composition musicale, tentent den dterminer les quivalences graphiques, et aboutissent naturellement sur des images animes. A travers ces systmes de formes en mouvement ( un langage quils veulent universel ), ils retirent leurs images limmobilit de la peinture, et articulent visuellement des sensations propre lvolution temporelle qui taient jusqualors reserves au son. Lorchestration polyphonique fascine aussi Paul Klee ( page 60 ). On manipule un orchestre de formes visuelles dans Small Fish de Masaki Fujihata( page 152 ).

La transformation formelle dun lment avec le temps, voir Amoeba Dance de Memo( page 122 ).

70

71

 Ornament Sound Experiments 1932 Gravure sur pellicule

Komposition in Blau 1935 Animation

Allegretto 1936 Animation

OSK Ar f I S c hIN g e r
N en Allemage puis exhil aux Etats-Unis lorsquHitler prend le pouvoir, Oskar Fischinger (1900-1967) partage son parcours entre Berlin et les studios hollywoodiens. Convaincu du potentiel transcendental de lart abstrait, il peint et ralise des dizaines de films exprimentaux, la recherche des formes visuelles que peut revtir la musique. Il est galement lun des premiers avoir voulu inverser le procd, en essayant de dessiner directement un son.

n a r r at i o n M u s i c a l e
La dvotion de Fischinger pour son art est exemplaire, tel point que le sens global de son travail et ses motivations relles restent aujourdhui encore mystrieuse. Entre ralisateur visionnaire et puriste fanatique, il se coupe du monde, ne parvient pas sadapter lunivers des grosses productions amricaines, et ne jure que par la gomtrie et les couleurs pures. Il suit en Allemagne une ducation scientifique et technique, mais sa passion pour la musique le pousse devenir apprenti pour un fabricant dorgues, avant dobtenir un diplme dingnieur. En 1921, il dcouvre le premier film abstrait de Walter Ruttmann, Opus I, et quitte rapidement son travail lusine pour se consacrer lanimation. Il exprimente alors beaucoup avec des liquides colors et des matriaux en volume, tels que la cire et la pte modeler, et collabore avec le compositeur Alexander Lazlo sur Farblicht-musik, un spectacle musical et lu-

72

73

Les instruments lumineux les plus connus sont les Lumias et Clavilux de Thomas Wilfred (page 64 ).

mineux. En 1928, il travaille sur les effets spciaux du Frau im Monde de Fritz Lang, mais laisse tout tomber pour se consacrer ses propres films temps plein En trois ans, il produit une remarquable srie dtudes en noir et blanc, trs soigneusement synchronises la musique. Ces Studies font le tour du monde, et le Studio Fischinger commence se faire connatre. Tandis quil termine ses chefs duvre en couleur, dont Komposition in Blau et Allegretto, il est contact par la Paramount qui lui propose un contrat aux Etats-Unis. Hitler arrive au pouvoir en Allemagne, et labstraction devient un art dgnr. Fischinger part pour Hollywood et ne remettra plus les pieds sur sa terre natale. Les annes qui suivent sont difficiles, son temprament indpendant et ses difficults avec la langue anglaise lempchent de spanouir, bien quil ait loportunit de travailler avec les studios Paramount, MGM, Disney, et mme Orson Welles. La frustration de ne pas pouvoir produire ses propres films indpendants le renvoie vers la peinture, et il ralise Motion Painting no.I, avant dimaginer dans les annes 50 le Lumigraph, un instrument lumineux, sorte dorgane de couleur, qui ne sera jamais commercialis. Son comportement singulier, emprunt de mysticisme, en font une personnalit part qui ne peut se rsoudre accepter le fonctionnement des studios amricains.

Selon William Moritz, biographe de Fischinger, ce derniere na nanmoins jamais eu lintention dillustrer la musique. Lorsquil commence synchroniser ses images sur une bande sonore, dans les annes 20 et 30, il pense lutiliser comme une analogie pour le public encore rticent envers lart abstrait, afin de lgitimer ces nouvelles formes visuelles. Il esprait que le spectateur, conscient de limmatrialit du son, accepterait plus aisment la libert de ses formes graphiques en les synchronisant parfaitement au son. Et si son succs sest peut-tre forg sur une mauvaise interprtation de ses intentions plus mystiques quillustratives il a tout de mme influenc toute la jeune gnration de ralisateurs amricains : James Whitney, Jordan Belson, ou encore Harry Smith.

Dessiner le son
Oskar Fischinger a galement t un pionnier de la synthse sonore, en dessinant des figures rptitives et en les photographiant sur la bande-son dune pellicule. Il voulait voir si lesprit interne de ces Sounding Ornaments, qui dtermine leur forme visuelle, pouvait galement avoir des qualits sonores quivalentes. Comme si chaque objet contenait son esprit sonore intrinsque. Fischinger voit en ses ornements une musique dessine : ils sont sonores. Quand on les enclenche dans un projecteur, ces sons graphiques diffusent des tonalits dune puret jamais entendue, et ouvrent de toute vidence des possibilits fantastiques pour lavenir de la composition musicale. Lartiste devenu peintre et musicien la fois peut alors contrler chaque nuance sonore, et jouer directement avec la matire musicale. Fischinger en dfinit mme des techniques dutilisation : On trace des traits et des tches de diverses formes sur la bande sonore dune pellicule de 35mm vierge. Le rapprochement des traits dtermine la hauteur du son : plus ils sont rapprochs plus le son est lev. Lepaisseur des traits assure le volume : plus ils sont gros, plus le son est fort. Dautre part, la densit de lencre peut aussi modifier le volume. Lencre de chine produit un son fort, lencre pale un son faible : le timbre du son dpend de la forme des traits et des tches. Les formes arrondies produisent des sons velouts, les formes anguleuses des sons aigres. On obtient par ce procd de sons de percussion et des notes non soutenues qui constituent un petit orchestre de cliquetis, de bourdonnements, de flocs et de roulements de tambour d une porte de six octaves chromatiques. Et la combinaison des ornements sonores avec les formes et les mouvements visuels correspondants sacrera enfin lunion dfinitive de tous les arts .

s y n c h r o n i s at i o n a u D i o V i s u e l l e
Fischinger sopposait en thorie toute reprsentation figurative. Dans lesprit dun art totalement abstrait, il maintenait que ses principaux films taient des expriences absolues en soi, et non des reprsentations dobjets ou dexpriences extrieures. Mme son rapport prcis la musique et le rle quil lui donne nest jamais clair. Plus que quiconque avant lui, il est minutieux, met en image des structures complexes et fastidieuses, compose avec attention chaque dtail visuel ( mme quand la musique dfinit le rythme ), afin datteindre des rponses audiovisuelles videntes, des dialogues entre limage et le son qui sarticulent dans une progression parfois la limite du narratif. Contrairement Kandinsky, il na jamais tent de rationnaliser la pense abstraite et dexprimenter sans relche pour en dfinir des rgles. Fischinger semble n dans un monde abstrait, et sait exactement o il va, et comment il veut mener ses projets. Il est convaincu de sa force, et na pas peur de manipuler des formes non-figuratives, de combiner des multiples techniques plastiques en les synchronisant au son, pour crer un mlange abstrait saisissant de dramaturgie.

Le premier vritable outil de musique dessine est le clbre Upic de Iannis Xenakis(page 92 ).

Voir Kandinsky (page 56 ).

74

75

 Catalog 1961 Film

Arabesque 1975 Animation

Permutations 1966 Animation

J O hN W hI t Ne y
Considr comme lun des pres de lanimation gnre par ordinateur, John Whitney tait avant tout un brillant inventeur passionn par la musique. En ralisant des films laide dun ordinateur analogique ds les annes 50, il a des dcennies davance sur les proccupations artistiques de son temps et thorise au fur et mesure de ses exprimentations de nouvelles manires denvisager les relations image / son grce la machine.

la r t D e l a g u e r r e
Les premiers ordinateurs ont lorigine t conus par les forces armes anglaises et amricaines lors de la Seconde Guerre Mondiale. Le jeune John Whitney soccupe alors de recherches documentaires sur les missiles tte chercheuse et ralise que les armes de dfense anti-missile calculent des trajectoires quils convertissent en valeurs numeriques prcisment controles. Il imagine utiliser un tel procd de calcul des fins plus artistiques, pour organiser des compositions graphiques ou diriger des mouvements visuel. Aprs la guerre, Whitney produit des douzaines de films danimation plus ou moins traditionnelle, parmi lesquels une dizaine de visualisation musicales abstraites. Il sappuie souvent sur des machines quils construit lui mme : un pantrographe automatis qui laide a raliser avec Saul Bass les images du gnrique du Sueurs Froides dHitchcock, ou encore un systme de

76

77

pendule qui est lorigine de la bande son de Five Film Exercises quil ralise avec son frre James, cinaste exprimentale suivant les traces de Richter et Fischinger. Ce nest qua la fin des annes 50 que les ordinateurs analogiques issus des systme de contrle arien de 39-45 sont mis sur le march. Il met alors au point les premiers Motion Graphics, combine animation et typographie, et perfectionne avec le temps sa gamme deffets visuels analogiques. Il construit lui mme ses outils de travail, et va jusqu colorer ses films en post-ptoduction laide dune imprimante optique. Il est extrmement sollicit et ralise beaucoup de vidos pour la tlvision, compiles dans son Catalog de 1961, qui deviendra un classique de la priode psychdlique. James Whitney utilise galement lordinateur de son frre pour concevoir sa pice majeure, Lapis, dans laquelle il utilise la puissance de la machine pour multiplier des milliers de points.

Il pense trouver dans lordinateur les outils dexpression dun art aussi temporel que la musique. Le rythme, la frquence, la tonalit, lintensit, sont des paramtre priodiques caractristiques de la musique. Or Whitney croit en une nouvelle forme dart, issue des nouvelles technologies, capable de traiter laspect visuel selon de tels paramtres. Les hommes se sont efforcs faire le lien entre les univers de la musique et de lart travers la danse et le thtre, mais lordinateur est le premier instrument qui peut intgrer et manipuler limage et le son dune manire quivalente au niveau de la perception visuelle et auditive . La machine contient tous les rpertoires de linstrumentations musicale, et est loutil ultime pour gnrer cette nouvelle forme dimage numrique. Selon Whitney, la premire moiti du XX sicle a vu beaucoup dartistes se tourner vers le cinma et autres nouvelles technologies pour tenter darticuler lorganisation dynamique de lnergie et de la force de lart. Mais personne ne semble remarquer que la proccupation principale de ces cent dernires annes a t celle dune musicalisation des arts visuels. Car le besoin de produire des structures abstraites mallables dans des espaces visuels nest autre que laspiration voir natre un double de la musique dans le monde visible.

progression harMonique
A partir de la fin des annes 60, les films de Whitney se concentrent alors progressivement sur un but commun : tablir des systmes de base pour le traitement audiovisuel des vnements musicaux, quil appelle progression harmonique . Ses prochains films, dont Permutations et Arabesque, explorent cette notion. Dans Arabesque ( programm par Larry Cuba, qui lon doit le mme type dexprimentations ), Whitney fait varier selon la progression sonore les proprits physiques de courbes inspires des arabesques de larchitecture arabe.

instruMent De Musique et DiMages

Whitney a alors dfinitivement abandonn lanalogique au profit du numrique, et explore les harmonies numriques , tel quil lexplique dans Digital Harmony : On the Complimentarity of Music and Visual Art, la recherche dune relation spciale entre le design musical et le design visuel. A la fin des annes 80, il se concentre sur la conception dun instrument informatique capable de composer sons et images simultanment et en temps rel*. Avec laide du programmeur Jerry Reed, il cr RDTD ( pour Radius-Differential Theta Differential ) le synthtiseur du futur , un logiciel permettant aux artistes de crer des formes musicales entremles de formes visuelles se correspondant ton pour ton. Whitney considre avoir enfin russi concrtiser sa vision des correspondances audiovisuelles, lunion de la couleur et de la tonalit est un cadeau trs spcial des technologies informatiques . Le RDTD, quil met constamment jour, est lorigine de ses derniers films. Jim Bumgardner ( coverpop.com ), un programmeur passionn par les thories de Whitney, a rcemment mis en ligne sous le nom de Whitney Music Box une srie de matrialisations en flash des expriences numriques dcrites par Whitney dans Digital Harmony.

Whitney est le premier mettre au point des animations programmes en fonction la progression sonore, telles que les manipulent aujourdhui Robert Hodgin (page 120 ) et Memo( page 122 ).

78

79

 Star Guitar 2002 Clip

mI c he l g O ND r y
Le ralisateur franais, a qui lon doit de nombreux clips pour Bjrk, Massive Attack, Radiohead, Daft Punk, ou encore les Rolling Stones, imagine en 2002 un voyage en train synesthtique pour accompagner la sortie du titre Star Guitar du duo anglais The Chemical Brothers. Minutieusement construites comme une partition musicale, les correspondances entre le paysage sonore et musical sont saisissantes.

transilien Musical
La camra sur le rebord de la fentre, le train de banlieue suit son parcours le long de la ville. Rapidement, on constate que certains lments lextrieur sont rpts en rythme avec la musique. Ce rapport systmatique lie lapparition de chaque unit du dcor (un poteau, un pont, une maison...) lintervention dun son spcifique dans la musique. Le clip est construit comme une partition qui serait interprte en mme temps visuellement et musicalement, et lattention porte aux dtails entre la composition du paysage et les variations de la musique est impressionante. La grande force de Gondry est de noyer un systme de correspondances automatiques dans un univers non plus abstrait mais figuratif - et dun point de vue contemplatif la limite du clich. Brouillant les pistes et dployant progressivement son nergie, le dfilement du paysage rpond avec automatisme la temporalit du morceau. Bjrk utilise sur scne le Tenori-On de Toshio Iwai ( page 156 ) et la reacTable du Music Technology Group ( page 154 ). Le collectif United Visual Artists ( page 114 ) ralise les habillages vido et lumineux des concerts de Massive Attack.

80

81

 Five Angels for the Millennium 2001 Installation

The Great Below 2000 Habillage Vido

b Il l VIOl A
Considr comme lune des figures dominantes de lart vido, Bill Viola utilise des jeux dchelle autour de limage et du son pour projeter les spectateur dans des environnements narratifs monumentaux qui les confrontent des expriences humaines universelles : de la naissance, la conscience, la mort, ses inspirations prennent racine dans lhistoire de lart occidental, oriental, et les traditions mystiques ( soufisme, bouddhisme zen ).

V i B r at i o n M o n u M e n ta l e
Fascin par la musique et la continuit du signal vido par rapport lattente quinduit le dveloppement de pellicule , Viola aborde le son et limage sous forme de signaux lectroniques.. Pour lui, techniquement, limage est le son. Pourtant il travaillt plus sur la force de la sensation corporelle que provoquent ses uvres. Aux co-vibrations corporelles de ses bandes-son puissantes repond la monumentalit de lenvironnement vido dans lequel le spectateur est immerg. A limage de son Five Angels for the Millennium, o des hommes tombent successivement dans leau sur cinq crans gants installs dans le noir. Lexprience est une confrontation limage et au son, un engagement instantanment physique et profondment touchant, vehicule dune certaine universalit. Viola conoit galement le gigantesque habillage vido qui accompagne la tourne And All That Could Have Been de Nine Inch Nails.

Le groupe Nine Inch Nails, converti des images directement en son grce au logiciel Metasynth de U&I Software ( page 124 ) fin de les cacher ensuite dans leurs morceaux.

82

83

 Soundsize 1974 Vido

Violin Power 1978 Vido

S t e IN A & W O O D y VA S Ul K A
Steina, musicienne et critique islandaise, et Woody, musicien de jazz tchquoslovaque, migrent aux Etats-Unis dans les annes 60 sintressent trs vite au processus de la vido en tant que matriau nouveau, une image lectronique mallable. Ils ne tardent alors pas jouer sur lambivalence visuelle et sonore du signal lectronique, et fondent en 1971 The Kitchen, lieu de performance ddi lart vido.

iMage sonorise
Les Vasulka ont une approche conceptuelle de la plasticit de la vido. Ils sont en premier lieu fascins par le fait que limage vido soit constitue dnergie lectrique, organise dans le temps selon divers voltages et frquences. Lorsquils ralisent que ces deux paramtres constituent un matriau unique capable de produire galement des sons, ils jouent rapidement sur la relation entre le visuel et le sonore, lun dterminant la forme de lautre. Mais cette poque, les mthodes de traitement dimage par llectronique sont trs peut dveloppes, et ils se tournent donc vers les systmes daudiosynthse, beaucoup plus rpandue, pour manipuler limage par le son : il tait clair quil nexistait pas vritablement de matriel vido pour faire du traitement dimages. Nous nous rendions compte que les bases taient les mmes pour laudio et le vido : les ondes. [] Nous tions donc en mesure denvoyer ou de gnrer des

Le son et limage comme matire mallable, voir Golan Levin ( page 148 ).

84

85

images par le biais de signaux audio0,9167 in. Ils trouvent dans cette unicit du matriau une dcouverte fondamentale pour lunification de limage et du son : les diffrents arts avaient dj depuis longtemps essay dunifier son et image. Avec nos instruments, nous tions enfin en mesure datteindre une vritable harmonie . Dans Violin Power ( 1978 ), Steina Vasulka, qui a suivie une formation musicale classique, joue du violon face la camra et utilise le son rsultant, transform en signal lectronique, pour dformer sa propre image vido en temps rel*. Si limage nest pas intgralement gnre par les variations sonores, le son et les vibrations du violon affectent limage de Steina en la rendant plus ou moins abstraite au rythme du morceau. Des vibrations sonores et visuelles qui touchent directement limage physique de la jeune femme, nous renvoyant la ralit multimodale de la perception sonore. Une pice que Steina aime qualifier de cassette de dmonstration pour jouer de la vido sur du violon .

synthse auDio /Visuelle

Dans Soundsize, il est par contre plus difficile de deviner intuitivement lequel, du signal sonore ou du signal vido, dtermine lautre. Les deux sont en fait simultanment affects par un signal lectrique unique, issu dun synthtiseur sonore : Un motif de points gnrs est affich sur un processeur balayage. Les cycles alatoires des tensions de contrle dun synthtiseur de sons permettent de contrler la fois la hauteur de son et la dimension de limage . On est alors au plus proche dune quivalence entre le visuel et le sonore, au niveau de la composition du signal qui dtermine leurs formes respectives. Des images qui apparaissent comme des erreurs daffichage, des sons qui sont plus proche du bruit que de la musique. Un systme de synchronisation audiovisuelle lgitim par lmergence des nouveaux mdia, mais totalement inattendu, des kilomtres des associations imagines quelques dcennies plus tt par les prcurseurs de lanimation. Et cest aussi sans doute la raison pour laquelle Steina Vasulka ne considre pas explorer les relations image / son comme le font des gnrations dartistes fascins par la synesthsie. Car sa synesthsie est base sur un signal. Cest un phnomne du quotidien quelque chose que vous vous attendez voir et entendre lorsque vous regardez et coutez un orateur, ou une tasse qui tombe. Hollywood adore ajouter de la musique sur des visuels, principalement pour vous dicter ce quil faut ressentir. Une manire de proclamer que dans leur travail le son et limage ne sinfluencent pas, car ils sont semblables, ns dun mme signal, dune mme stimulation.

Voir le dtournement de limage et du son par le signal lectrique dans Equalize Me ! de Carcopino et Chanfrault( page 100 ) et Telefunkun de Carsten Nicola ( page 96 ).

86

87

 Paik / Abe Video Synthesizer 1971 Synthtiseur Vido

Beatles Electronique 1969 Vido

N A m J UNe pA IK
Nam June Paik, clbre artiste nord-coren, pionnier de lart vido et fidle de Fluxus, sest tourn vers la manipulation dimages vido par ncessit historique . Sil avait pu, il aurait t violoniste, mais il ntait pas dou en musique. Alors il joue dans ses installations avec limage du support le plus mergent du moment : la tlvision, et son rapport la culture de masse. Mais il conoit galement lun des premiers synthtiseurs vido.

synthtiseur DiMages
En partant du principe dun synthtiseur de sons ( gnrateurs de sons lectriques purs ), Nam June Paik met au point en 1971 avec laide de lingnieur Shuya Abe le Paik /Abe Video Synthesizer, qui a pour but de moduler des images par signal analogique. Ses nombreux composants permettent de manipuler avec finesse la modulation magntique de limage, le retour vido, la colorisation Il en resulte des images dun type nouveau, souvent trs satures. Cet outil de synthse visuelle est le premier dune longue srie, car lide de la retouche vido analogique fascine les vidastes des annes 70. Les artistes vido Bill Etra et Steve Rutt sortent par exemple leur propre Rutt-Etra Video Synthesizer en 1972. Parmi loeuvre gigantesque de Paik, retenons aussi Beatles Electronique, (sur une musique de Kenneth Werner) o le son et les images des mdia de masse se rejoignent dans le brouillage, lerreur du signal analogique. Pour Kandinsky ( page 56 ), lartiste doit tre motiv par une ncessit intrieure.

Dans 9m14s Over Vietnam, Autau Tanaka ( page 128 ) critique galement les mdia de masse.

88

89

 Dream House 1980 Installation

l Am O N t e y O UN g & m A r I A N Z A Z e e l A
Le compositeur amricain La Monte Young, chef de file du mouvement minimaliste aux cts de Terry Riley, Steve Reich ou encore Philip Glass, et lartiste new-yorkaise Marian Zazeela, connue pour ses travaux o elle manipule la lumire, collaborent sur de nombreux projets. Le plus connu reste la Dream House, une installation aujourdhui situe au 275 Church St New York, un espace unique o son et lumire deviennent indissociables.

M u s i q u e h a B i ta B l e
Une salle entire baigne dans une lumire colore tamise et une frquence sonore unique. Chaque mouvement des spectateurs dans la salle, chaque choix dune situation dans lespace devient partie intgrante dun projet global, de la lente volution des ondes sonores et lumineuses travers le temps. Le moindre geste peut provoquer un changement dans les relations des sons et des lumires, dans les ombres projetes et la hauteur du son. Lespace devient dans la Dream House capable dadhrer un projet auditif et visuel, luvre prend son existence dans le temps, devient un organisme vivant part entire. Le son et la lumire deviennent habitables dans cette maison de rve, vritable centre de mditation pour les habitus. Comme si tous nos sens se retrouvaient dans les variations subtiles et continues des stimulations visuelles et auditives correspondantes, mettant notre corps dans un tat dapaisement intense. Les correspondances investissent galement toute une salle dans Equalize Me ! de Charles Carcopino et F-E Chanfrault ( page 100 ).

Lespace architectural devienet galement vivant dans Volume dUVA ( page 114 ).

90

91

 Polytope de Cluny 1972-1974 Performance

Upic 1977 Interface

IANNIS XeNAKIS
Compositeur considr comme lun des pionniers de la musique lectronique et numrique, le grec Iannis Xenakis ( 19222001) est lorigine architecte, et travaille en collaboration avec Le Corbusier. Profond marqu par la dualit entre sa formation scientifique et sa passion pour les arts, Xenakis dfend lide dune synthse des arts, selon laquelle toute intention artistique peut-tre ralise dans nimporte quel medium grce aux mathmatiques.

architecture Musicale
Dans loeuvre de Xenakis, la dimension spatiale et physique de la musique trouve sa premire grande manifestation lorsquil conoit larchitecture du Pavillon Phillips en Hollande avec Le Corbusier. Car cest partir de la structure de sa pice musicale Metstasis ( 1953-1954 ), premire vision de surfaces rgles dans lespace sonore , quil imagine les btiments du pavillon. Jean-Yves Bosseur les dcrits dans Le Visuel et le Sonore comme une manifestation de la relation analogique qui peut exister entre les surfaces rgles de loeuvre architecturale et les effets de masse des glissandi des instruments corde. Le projet prsente une exprience exceptionnelle de la synthse du son, de la lumire, et de larchitecture, premire tape de ce que Xenakis nommera un geste lectronique et dont les futurs Diatopes et Polytopes prsenteront des extensions dcisives . Cest en effet dans les Polytopes, chevauchements de sons et de lumires La dimension spatiale et physique de la musique est galement au centre de luvre de Carsten Nicola ( page 96 ).

92

93

Lhabillage du Kabarets Prophecy par UVA ( page 114 ) relve aussi un effet global trans-sensoriel.

dans des structures immenses, pices phmres entre performance audiovisuelle et vision cosmique, que Xenakis dveloppe clairement les compositions lumineuses visuelles et musicales en parallle, dans lespace. Des vnements qui verront le jour aux quatre coins du monde ( de Montral en 1967 Mycnes en 1978 en passant par Cluny en 1972 et 1974 ), et dont il ne reste aujourdhui que leur musique. De poly, plusieurs, et topos, lieu ; littralement: lieu multiple. En effet, il y a beaucoup de choses diffrentes au mme endroit. Non seulement la lumire et le son mais les structures de la pense, les systmes choisis, les moyens adopts, les techniques Tout se passe sur plusieurs niveaux, dans lespace comme dans limagination, explique Xenakis pour dfinir sa dmarche. La technologie devient le moyen de la synthse des arts, de son meta-art comme il le nomme, pour atteindre des dimensions bien suprieures celles de la perception humaine. Il ny a aucune raison pour que lart ne sorte, lexemple de la science, dans limmensit du cosmos, et pour quil ne puisse modifier, tel un paysagiste cosmique, lallure des galaxies. Cest grce au contrle rigoureux de chaque itinraire du son et de la lumire, aussi bien dans la programmation des trajectoires des rayons lumineux que des vnements sonores, que Xenakis nourrit un effet global trans-sensoriel : Les masses dvnements sonores ou les masses dvnements visuels (les points qui salignent, qui steignent en masse), sont comparables du point de vue de la structure et mme du point de vue du traitement ; on peut les traiter de la mme faon, avec les mmes principes, bien sr en prenant en compte les phnomnes de temps etc. Lorganisation mathmatique logique de lorchestration runi le visuel et le sonore dans un espace en constante mtamorphose qui marque limagination du spectateur en lui permettant dentrevoir la transcendance dune synthse des arts. Pourtant, les Polytopes prservent une certaine htrognit du traitement du son et de la lumire, une indpendance des deux niveaux que Xenakis revendique car pour lui, cest la perception humaine qui fait immdiatement le lien entre les deux : Dans le domaine de lespace, jai deux dimensions, ou trois, plus le temps ; en musique, je peux avoir plus dune dimension en changeant, par exemple, les timbres par rapport aux hauteurs. Avec les timbres cela donne deux dimensions, avec le temps, trois; plus lintensit. Je peux donc avoir trois dimensions, plus le temps. Mais il ne faut pas les assimilier de manire simpliste, il faut faire attention car la faon dont on intercepte les phnomnes visuels ou sonores est diffrente. Les correspondances entre le visuel et le sonore surpassent donc la thorie chez Xenakis. Elles naissent dans lexprience empirique, dans la confrontation sensorielle des phnomnes synesthtiques. Un point de vue quil illustre en expliquant quun cercle visuel visuel est rond, mais quun cercle auditif correspondrait une sinusode.

u n i t e p o lya g o g i q u e i n F o r M at i q u e D u c e M a M u
Xenakis dveloppe galement au sein du CEMAMu ( Centre dtudes de Mathmatique et Automatique Musicales, quil fonde en 1972) un outil informatique de composition musicale via une interface visuelle, baptis Upic. Il sagit dune grande table graphique sur laquelle lutilisateur dessine laide dun stylet lectromagntique, le trac tant ensuite converti en donnes numriques puis en son. La composition dun son se fait en deux tapes : tout dabord, lutilisateur dessine une forme donde en deux dimensions ( laxe vertical correspondant la tonalit et laxe horizontal la dure ), puis il trace des enveloppes damplitude, dfinissant les variation dintensit. Il est ensuite possible de juxtaposer et superposer plusieurs sons dans le temps, et de les mixer comme le permettent les logiciels de cration musicale actuels. Une invention largement en avance sur son temps, qui nous intresse par son utilisation prcoce de la conversion numrique directe entre un trac visuel et une onde sonore. Un systme mathmatique que Xenakis voulait universel : Nimporte qui, mme vous, moi, ou un enfant peut dessiner des lignes et des formes, et elles sont directement transformes en son par un ordinateur . Une sorte de rve qui lobsdait depuis ses premiers dessins pour Metastasis : celui dun systme qui puisse directement traduire lide musicale sans passer par des notes, et que la technologie lui permet enfin de raliser. Pourtant il dit ne pas en avoir besoin pour avancer dans ses thories, et pense lavoir fait plus pour les autres compositeurs, et par fascination pour le concept qui propose de dessiner prcisment une volution sonore sans passer par linterprtation. Car les sons issus de Upic nont pas la chaleur des instruments plus classiques. Ce qui nempche pas de nombreux compositeurs de sessayer cette fascinante machine qui prfigure la musique numrique. En 1987, le CEMAMu met au point une version convertissant limage en son en temps rel*, transformant lUpic en vritable instument de performance. Par ailleurs, un album regroupant des travaux composs avec lUpic parat en 2005, sous le nom de Xenakis, UPIC, Continuum.

Le trac gnre du son en temps rel* dans le Sonic Wire Sculptor dAmit Pitaru ( page 136 ).

94

95

 Milch 2000 Impressions sur aluminium

Wellenwanne 2000 Installation

Telefunken 2000 Installation

Transrapid, Transvision, Transspray 2004-2005 Musique

c Ar S teN NI c O l A
Sous le pseudonyme dAlva Noto, il construit sa musique en jouant avec les lois physiques et en manipulant directement la matire lectrique de londe sonore. Sous son vrai nom, Carsten Nicola est un artiste plasticien qui utilise le son comme lment de base de ses recherches et de ses installations, par lesquelles il se propose dexlorer la matrialit, la spatialit, et les possibles de visualisation de la musique.

sentir les onDes

A une poque obsde par linterchangeabilit de toutes les formes de medium en donnes numriques, les proccupations de Nicola semblent parfois anachroniques. Ses recherches autour du son ont donn naissance une grande varits de rsultats : en dehors de ses compositions lectroniques minimales, on trouve de nombreux travaux plastiques qui explorent la reprsentation spatiale du son en refusant toute forme de conversion numrique. Nicola cherche transformer la nature invisible du son en une prsence physique, un matriau, une trace. Dans Wellenwanne ( 2000 ), de trs fins bacs en aluminium sont remplis deau et poss sur quatre enceintes qui transmettent des compositions sonores par vibration, partir dun lecteur cd, jusqu la surface de leau. Les vagues gnres par les ondes sonores forment alors un motif incroyablement rgulier, presque dcoratif. Le son devient une forme graphique en

La notion de trace est galement prsente chez Chris OShea ( page 134 ).

96

97

Carsten Nicola collabore avec Evelina Domnitch et Dmitry Gelfand ( page 102 ) autour du phnomne de sonoluminescence dondes sonores inaudibles.

Voir le dtournement de limage et du son par les signaux lectriques dans Equalize Me ! de Carcopino et Chanfrault( page 100 ) et les travaux des Vasulka ( page 84 ).

mouvement, conversion directement physique de sa nature ondulatoire. Une dimension dcorative qui est encore plus vidente dans Milch, o les vagues provoques la surface de lait par des ondes de trs basses frquences ( de 10 150 Hz ) sont directement photographis et imprimes sur des panneaux en aluminium. Dans les deux cas, des ondes peine audibles pour un humain et intrinsquement invisibles en tant que son sont captures et reproduites sous une forme visuelle abstraite, un motif rgulier et graphique, mais li sa cause vibratoire comme nos empreintes digitales sont lies nos gnes. Une dmarche qui rappelle la spatialit thorique de londe sonore, et nous pousse la visualiser dans lespace, nous imaginer ses dplacements, et la manire dont elle nous atteint. Une ouverture vers la dimension tactile de louie, et la faon dont londe nous touche dans sa ralit vibratoire les co-vibrations de Michel Chion. Les vibrations du lait et de la surface de leau deviennent alors des reprsentations mtaphoriques de nos propres corps immergs dans le son, des corps qui ne sont plus seulement dous daudition, mais de tout un rseau complexe de sens interconnects. Dans Telefunken (2000), la conversion du son en images ne se manifeste pas sous une forme aussi classique que la trace visuelle, mais vite toujours les facilits de la mediation numrique. Il sagit dune conversion electrique directe entre les signaux audio et vido : la piste audio dun CD divers tests sonores gnrs par des ondes de frquences, damplitudes, et de formes variables, parfois mme la limite de laudible produit simultanment sur des crans une srie de lignes horizontales saccades dont la largeur varie en fonction de la frquence de londe sonore. En redirigeant le signal audio dun lecteur CD vers le signal video dune tlvision, Nicola ne propose pas un nouveau systme de visualisation sonore, mais rvle le potentiel cach et imprvisible de la connexion entre deux media existant, et qui se manifeste presque sous la forme dune erreur. Tout comme dans Wellenwanne et Milch, ce qui apparat comme une image abstraite totalement dtache de la ralit physique est en fait une manifestations directe et analogique du son, une des nombreuses manires de percevoir un matriau insaisissable et pourtant prsent depuis la nuit des temps.

Ces travaux poursuivent parfaitement la fascination artistique envers les correspondances sonores et visuelles, et le statut rel de la notion de synesthsie. Mais ils ne sinscrivent pas dans cette tradition qui consiste sappuyer sur limmatrialit de la musique comme point de rfrence pour la mise en place de systmes visuel abstrait. Au contraire, les formes abstraites prsentes ici sont de lordre du rferencement photographique, dune image analogique issue dun contact physique direct. Qui souligne alors la matrialit des frquences acoustiques, et la possibilit dune exprience sonore tactile et corporelle.

Kandinsky ( page 56 ), grand thoricien des correspondances, revendique linspiration de limmaterialit de la musique.

Musique physique
Ce qui nempche pas Nicola, derrire le masque dAlva Noto, de sintresser lnergie synesthtique de la performance audiovisuelle. En tant que musicien, il est la tte du label allemand de musique lectronique Raster Noton ( fond en 1996 avec Frank Bretschneider et Olaf Bender ), et collabore avec les plus grands ( Ryuichi Sakamoto, Robin Scanner Rimbaud ). Mais l encore, ses techniques de composition empruntent au domaine scientifique. En assimilant les ralits physiques, mathmatiques, et acoustiques de londe sonore, il cherche de nouvelles pistes de cration et de communication. Son travail musical, ou plutt sonore, est difficile daccs, mais incroyablement riche lorsque lon accepte de se soumettre ses univers rythmiques saccads. Sa musique se dploie comme un virus, cr des formes et des images tranchantes et aggressives, entre lectro minimale et bruitisme numrique. Dune certaine manire, lcouter consiste regarder avec les oreilles, se concentrer sur des rythmes et des cadences qui se manifestent comme des formes, presque visuelles. Ive Stevenheydens dclare dailleurs dans son essai Seeing with the Ear : Some Points of Focus in Carsten Nicolas Sound Work qu lcoute de Transrapid, Transvision et Transspray ( 2004-2005 ) dAlva Noto, il ne peut sempcher de penser aux niveaux de valeurs de gris dans le spectre sonore du noir et du blanc, une polarit gradue . Un jeu sur la polarit que Nicola revendique, aussi bien dans son travail artistique que musical. Il joue sur les contrastes visible / invisible, audible / inaudible, spatial / temporel, ou encore permanent / ephmre. Une manire pour lui dexplorer des potentiels infinis et universels travers la musique pour atteindre une puret et une abstraction dcharge de toute intention politique. Aux antipodes de lAllemagne propagandiste dans laquelle il a grandi.

Toshio Iwai( page 156 ), et Hector Zazou et Bernard Caillaud ( page 118 ) ont galement collabor avec Ryuichi Sakamoto. Voir D-Fuse et Scanner ( page 106).

98

99

 Equalize Me ! 2004 Installation

c h A r l e S c A r c O p IN O & f r A N O I S - e U D e S c h A Nf r A Ult
Charles Carcopino est designer vido. Franois-Eudes Personal Computer Music Chanfrault est un musicien franais, responsable de nombreuses bandes originales de films, et tiraill entre un parcours classique et une passion pour la musique lectronique et ses correspondances visuelles. En 2004, ils collaborent pour le spectacle Alarme de Blanca Li, et donnent naissance linstallation Equalize Me !

proMenaDe parMi les onDes

Une onde est une perturbation qui se dplace. Il y a la londe sonore, auditive, qui reprsente le processus de restitution mcanique du son. Et londe lectromagntique, source de lumire. Carcopino et Chanfrault proposent ici une ballade parmi les ondes, en noyant une salle dans un univers sonore illumin par sa correspondance visuelle directe. Il y a donc une loi qui dtermine la relation entre la musique et la projection dans cet espace : limage reprsente la forme de londe sonore au moment prcis ou elle se joue. Musique et visuel ont alors la mme source, ne reprsentent quun seul objet, dclin et transform au moyen de toutes les techniques de traitement moderne. Afin dobtenir ce canevas complexe de surimpressions, sonores et visuelles, o le spectateur baigne dans une lumire saccade en accord parfait avec la structure sonore, comme si les deux se confondaient.

Les correspondances investissent galement toute une salle dans la Dream House de La Monte Young et Marian Zazeela ( page 90 ).

Voir le dtournement des sources de signaux audio et vido dans Telefunken de Carsten Nicola ( page 96 ) et les travaux des Vasulka ( page 84 ).

100

101

 Camera Lucida 2005 Performance

e V e l IN A D O mNI t c h & DmI t r y g e l f A ND

Evelina Domnitch et Dmitry Gelfand conoivent des environnements dimmersion sensorielle , combinant physique, chimie, informatique, et philosophie. Fascins par les mcanismes complexes et irrationels de la conscience, ils alimentent leurs travaux des recherches scientifiques autour de la perception. Dans Camera Lucida, ils donnent voir des ondes sonores transformes en sources lumineuses.

onDes sonoluMineuses
Des ondes sonores de trs haute frquence, plonges dans une substance fluide infus de gaz, sont immdiatement transformes en missions lumineuses. Ce phnomne, appel sonoluminescence, a t dcouvert en 1934. Mais ce nest qu la fin du XX sicle que nat la sonochimie, et ltude approfondie de ces phnomnes lie lnergie acoustique des ultrasons. Toute vibration acoustique gnre des vides oscillants, comprenant les anti-nud, ou passages dune onde sonore. Si la longueur de londe est suffisamment courte, et lamplitude suffisament grande, ces poches de vide engendrent la formation et limplosion de micro-bulles dans un liquide. Lapparition soudaine de ces bulles provoque une diffrence de pression considrable entre leur vide intrieur et la substance liquide environnante. De ce fait, les bulles implosent rapidement sous la pression du liquide ( plus de quatre fois la vitesse de la

Une reprsentation fluide du son est visible parmi les travaux de Toshio Iwai ( page 156 ) et Chris OShea ( page 134).

102

103

Le pionnier de la sculpture de lumire est Thomas Wilfred ( page 64 ).

lumire ), et le gaz quil contient est rduit un corps si dense quil atteint des tempratures aussi leves que sur le soleil (10 000 degrs Kelvin). Cest cet instant, qui dure pourtant moins dun milliardime de seconde, que la lumire est mise du centre de la bulle. Mais le phnomne peut etre rpt, et les cycles sonores peuvent se reproduire jusqu des centaines de millers de fois par seconde. En rsum, la sonoluminescence se produit lorsquune onde sonore de frquence suffisante fait se contracter rapidement une cavit gazeuse prsente dans un liquide. Sil est clairement tabli que la source lumineuse nat lintrieur de la bulle, la srie dvnements prcis qui relie leffondrement de la bulle lemission de photons demeure encore inconnu. Comme pour tout les phnomnes qui ont lieu dans des intervalles despace-temps aussi infimes, le scientifiques sont limits par leur matriel de mesure. Do les rcuprations philosophiques et artistiques de ces procds, o la confrontation avec limperceptible et linconcevable librent limagination du poids de la raison.

o B s e r Vat o i r e s o n o c h i M i q u e
En rejetant toute forme de medium fixe ou enregistr, les installations de Domnitch et Gelfand deviennent des expriences instables observer, des phnomnes en perptuelle transformation. Elles se manifestent directement sous les yeux du spectateur, sans avoir t transformes, manipules, et aplaties par un cran. Lexprience est alors sensorielle et immdiate. Dans Camera Lucida, les spectateurs sont plongs dans le noir. Au centre, une chambre de verre entirement transparente, sorte daquarium devenu pour loccasion un observatoire de sonochimie, est remplie dun liquide infus de gaz. Sur les parois, des transducteurs dultrasons gnrent un environnement sonochimique en constante mutation. En shabituant lentement lobscurit, on visualise progressivement et en temps rel* la transformation des vibrations sonores en missions de lumire, les formes trs dtailles et les lents mouvements de ces vibrations soniques lumineuses. Le projet a t dvelopp en collaboration avec des laboratoires scientifiques japonais, allemands, russes, belges, et americains. De nombreux artistes sonores ( Alva Noto, Kenneth Kirschner, Matmos, Carter Tutti... ) ont galement t appels pour participer aux diffrentes compositions sonochimiques conues partir de cette installation. Il leur a fallu travailler avec des phnomnes acoustiques et des ondes sonores normalement inaudibles ( de 22 140 kHz ). Les compositions sont ensuite enregistres en direct par un hydrophone, un microphone sensible aux hautes frquences pouvant tre immerg. Il traduit alors le son mis par les transducteurs et le bruit des centaines de milliers de bulles qui implosent dans le spectre des ondes audibles par lhomme. Prsent lors de nombreux festivals ( Ars Electronica 07, Exit 08 en France... ), Camera Lucida offre voir un procd quil tait jusqualors impossible dobserver en dehors des laboratoires spcialiss. Les spectateurs ont la possibilit dexprimenter ce phnomne rare, non plus comme une exprience scientifique, mais comme un vritable spectacle sonique en trois dimensions, o les lois de la nature transforment le son en lumire et en mouvement. Le visuel et le sonore se rejoignent la limite du perceptible.

Voir Alva Noto, alias Carsten Nicola ( page 96 ), qui travaille galement avec des ondes sonores inaudibles.

104

105

 Light Turned Down 2001 Vido

D - f U S e & S c A NNe r
D-Fuse est un collectif de designers polyvalents bas Londres et form en 1996. Leur champ daction est assez vaste, allant du web la performance en passant par le print ou le film, ils restent nanmoins spcialiss dans laccompagnement visuel de compositions sonores et plus particulirement le VJaying. Ils ont notamment collabor avec Robin Rimbaud, alias Scanner, musicien lectronique et artiste multimedia londonien.

s y n e s t h e s i e c i ta D i n e
Scanner sest fait connatre en dtournant les nouvelles technologies dune manire trs personnelle : son pseudonyme proviendrait du fait quil recueillait ses dbuts des conversations de tlphones portables et de radios de police ( police scanners ) pour alimenter ses morceaux et ses performances sceniques. Ses travaux plus rcents se concentrent sur les sons cachs des grandes mtropoles modernes. Une dmarche galement applique pour la construction visuelle de sa collaboration avec D-Fuse, Light Turned Down. A partir dimages de traffic nocturne, ils construisent un univers de formes plus ou moins abstraites. Le dtournement dimages et de sons de la vie urbaine renforc par le rapport vident entre ce continuel travelling avant, formant avec le temps un tunnel de lumire hypnotique, et le morceau lectronique au rythme enttant aspirent lentement le spectateur dans lunivers de Light Turned Down. Valerio Spoletini ( page 112 ) runit en un seul outil les instruments du VJaying et du DJaying.

Le travelling avant comme facteur dimmersion, voir Rez de Tetsuya Mizuguchi ( page 142 ).

106

107

 Timber 1997 Vido

cOlD c U t & he X S tAt I c

Coldcut et Hexstatic, duos de musiciens electroniques anglais, commencent leur collaboration sur le projet Natural Rhythms Trilogy en 1997. Stuart Warren Hill du groupe Hexstatic contacte alors directement Greenpeace afin dobtenir le droit dutiliser leurs images darchives pour raliser des montages vidos. Il en rsulte une srie de clips (Frog Jam, Natural Rhythm, et Timber) qui construisent une structure rythmique autour des bruitages de la vie sauvage.

W h at y o u s e e i s W h at y o u h e a r ( 1 )
Timber est un collage audiovisuel unique, dans la mesure ou le visuel et le sonore sont indissociables. Ce que vous voyez est ce que vous entendez : dans Timber, chaque lment sonore co-existe avec son quivalent visuel direct. Il en ressort un stimulation sensorielle envotante et hypnotique. Du solo de trononneuse lappel SOS en morse, la force des images et le rythme effren du dcoupage servent les qualits immersives et immdiates du rapport son / image. Le message politique est alors clair : la dforestation devient un acte barbare et systmatique, limage du montage quasiment subliminal. Les qualits fantasmes universelles des correspondances fonctionnent ici en mettant en scne une assimilation immdiate non plus entre un son et une reprsentation abstraite, mais entre une action et le bruit quelle produit, tel quon en fait lexprience au quotidien.

Ce que vous voyez est ce que vous entendez , voir Addictive TV ( page 110 ).

La musique concrte de Pierre Schaeffer ( page 66 ) puise ses origines dans le dtournement perceptif li laccumulation de bruits.

108

109

 Sportive 2007 Vido

Jacks Back (Get Carter Redux) 2006 Vido

A DDIc tI V e tV
Duo virtuose du remix audio/vido, Addictive TV a acquis une grande rputation comme lun des groupes fer de lance de la scne audio/visuelle actuelle. Suivant la devise ce que vous voyez est ce que vous entendez , limage du Timber de Coldcut et Hexstatic, ils prsentent des sets dtonants tout autour du globe, nourris de samples* enchans, dcoups, et rpts sur une rythmique breakbeat.

W h at y o u s e e i s W h at y o u h e a r ( 2 )
A partir dextraits audiovisuels de sources varis, Addictive TV dfie les conventions de la narration cinmatographiques en appliquant les techniques du sampling pour crer de nouvelles syntaxes. Il est intressant denvisager la manire dont le son dirige le montage vido du projet. En utilisant la bande sonore dun film, en la dcoupant, en la samplant, en la rptant, ils crent une nouvelle pice sonore, sur laquelle les images correspondant aux samples* sont simplement plaques. En jouant avec nos habitudes de narration, la sensation de correspondance audiovisuelle est tonnament puissante et immdiate. Une de leurs pices plus rcentes, Sportive, utilise notamment par Adidas pour promouvoir les Jeux Olympiques 2008 en Chine, se construit autour de laccumulation de bruits trs caractristiques, intrinsquement visuels, lis la pratique du sport. Ce que vous voyez est ce que vous entendez , voir Coldcut et Hexstatic ( page 108).

La musique concrte de Pierre Schaeffer ( page 66 ) est constitue de sons intrinsquement visuels.

110

111

 V-Scratch 2006 Environnement de performance audiovisuelle

VA l e r IO S p Ol e t INI
Dans le cadre de son projet de diplme de fin dtude lUniversit dArt & Design de Lausanne (ECAL) en Media & Interactivit, Valerio Spoletini dcide de combiner DJaying et VJaying, deux activits quil pratique depuis plusieurs annes. Nourris de cette fusion, ses recherches donnent naissance une troisime entit : le V-Scratch, qui dveloppe lide originale de scratch visuel .

le geste auDio/Visuel
Le systme de V-Scratch offre une transcription visuelle de chaque lment utilis pour la composition dun scratch, geste du DJ* qui mixe sur des platines. Chaque nuance cre par la rotation du disque et ses aller-retours successifs ( capts par une souris optique ), la variation de vitesse, le spectre audio, ou encore le volume, est transmise un ordinateur. Toutes ces variables sont alors interprtes par un programme crit en Java* et en Processing*, dans le but de gnrer les visuels. Les animations extrmement intenses, faites dlments gomtriques aux formes minimales, deviennent hypnotiques au fil de la performance. Un seul et unique geste est lorigine non seulement de la forme visuelle, mais aussi sonore. Limage et le son fusionnent alors dans un espace aux possibilits infinies. Un systme hybride que lon peut aborder comme un musicien, ou comme un artiste visuel. Les collaborations entre VJ *et DJ* sont frquentes, limage de D-Fuse et Scanner ( page 106 ) .

112

113

 Vertigo Tour 2005-2006 Performance

Kabaret 2004 Installation

Amplitude 2007 Installation

Tonto 2007 Vido

U VA
Lactivit actuelle du collectif anglais United Visual Artists stend de linstallation architecturale la performance scnique en passant par des installation ractives et interactives. Si les projets sont de natures trs vastes, ils collaborent particulirement avec le monde de la musique pour concevoir des environnements visuels en liaison avec la musique diffrentes chelles, de la vido linstallation monumentale.

l e c t r o l u M i n e s c e n c e M o n u M e n ta l e
UVA sont des producteurs, des ralisateurs et des designers de performance vido, environnements graphiques et logiciels de traitement en temps rel* pour toute une varit de media . On pourrait plus simplement les qualifier dartistes multimedia monumentaux, de musiciens visuels, ou encore de sculpteurs de lumire. Il est difficile de cerner clairement leur champ dactivit tant il est vaste, mais lon peut tenter de dfinir dans un premier temps les moyens quils mettent en jeu pour articuler les correspondances entre musique et visuels. Il y a dans les travaux dUVA une importance de la confrontation physique la lumire. Leur grande matrise technique, lectronique et numrique les pousse la conception despaces gigantesques, souvent constitus de milliers de diodes lectroluminescentes, dans lesquels le rapport dchelle pour le spectateur est saisissant. Cest certainement la raison pour laquelle ils ra-

Le pionnier de la sculpture de lumire est Thomas Wilfred ( page 64 ).

Chris OShea ( page 134 ) a aussi ralis pour Muon une installation de diodes lectroluminescentes.

114

115

Bill Viola ( page 82 ) a galement conu des habillages vido pour des concerts de groupes de rock.

Les Polytopes de Iannis Xenakis ( page 92 ) nourrissent aussi un effet global trans-sensoriel.

lisent beaucoup denvironnements scniques ractifs la musique pour des performances musicales de trs grande envergure. Pour les trois dernires tournes du groupe Massive Attack ils passent de la conception de panneaux gants affichant en accord avec la musique diffrents types dinformations crites (pour le 100th Window Tour en 2003), celle dun espace purement lumineux beaucoup plus organique se transofrmant au rythme de la musique (pour la tourne mondiale 2006). Pour le Vertigo World Tour de U2 en 2005-2006, ils imaginent un rideau de diodes lectroluminescentes faisant le tour de la scne, et modul en temps rel* par un programme de contrle de lumires dans lespace baptis D3, quils ont eux-mme conu. Ils mettent galement au point un systme de camra qui rassemble des squences du public pendant le concert et les diffuse toutes simultanment pour former une mosaque sur les crans gants qui surplombent la scne. Pour la performance des Chemical Brothers Trafalgar Square Londres en 2007, ils gnrent en live* une srie de visuels grce leur logiciel Dragonfly, constitue daplats, de lignes et de formes minimales passant en rythme de la 2D la 3D, agrment dune constellation de spots lumineux. Finalement, limmersion dans leurs environnements musicaux lumineux atteint son apoge dans Kabarets Prophecy, un dcor spcialement conu pour la bote de nuit du mme nom dans le quartier de Soho Londres. Une installation permanente qui recouvre tous les murs du club de panneaux de diodes lectroluminescentes de basse rsolution (dans la mesure o elles gnrent des images proches du pixel art), contrle par leur VJ* chaque soire du Kabarets Prophecy. Les murs deviennent la source principale de lumire, faisant vibrer tout le club au rythme de la musique. Un papier peint numrique graphique et anim qui illustre parfaitement la monumentalit des moyens novateurs mis en oeuvre par United Visual Artists pour proposer aux spectateurs une exprience toujours plus proche de la synesthsie. En tapissant les murs dimages, le public est oblig de se soumettre aux rythmes visuel. Si habituellement, il peut dtourner le regard mais pas loreille il est au Kabarets Prophecy assailli par un effet global trans-sensoriel.

i n s ta l l at i o n c o n t e M p l at i o n
Mais UVA ralisent aussi des installations plus personnelles, souvent exposes dans des muses ou des lieux publics. Pour le Victoria & Albert Museum, ils conoivent en 2007 Volume, une installation semipermanente, ractive, lumineuse et sonore. Dans le jardin John Madejski du muse, un champ de colonnes de diodes lectroluminescentes ragit directement lactivit humaine environnante. Diffrentes squences lumineuses et musicales sont gnres sur lensemble des colonnes selon le nombres de spectateurs prsents, leur position, et leurs dplacements. Un systme qui confre lenvironnement une dimension potique, envotante, travers la lente volution synchronise des composants sonores et visuels. Lexprience sensorielle est unique, comme si lon se promenait dans un champ nergtique lui mme dou de perception et vivant au rythme des spectateurs, sexcitant et sapaisant successivement, honorant la prsence physique du public dune stimulation auditive et visuelle complmentaire. Un systme de colonnes ractives qui a galement t repris pour la ralisation du clip du morceau Tonto, du groupe amricain Battles. Le champ de colonnes bleues prend alors part la performance du groupe en rythmant visuellement lespace en accord avec la musique. Un exemple qui tmoigne encore une fois de la diversit des mdia par lesquels les membres dUVA sexpriment. Mme si finalement, leur dmarche associe toujours sophistication technique et correspondances efficaces. Il en rsulte des expriences sensorielles uniques et chalheureuses, o leur esthtique minimaliste sassocie aux stimulations auditives dans des environnements immersifs, pour sadresser directement toute lenveloppe corporelle du spectateur.

Lespace architectural devienet galement vivant dans la Dream House de La Monte Young et Marian Zazeela ( page 90 ).

116

117

 Quadri{+}Chromies 2006 Musique et Vido

he c t O r Z A Z O U & b e r N A r D c A Il l A U D

Hector Zazou est un musicien et compositeur eclectique, mlant volontiers musique du monde, musique classique, et lectronique. Bernard Caillaud est peintre et artiste numrique - parfois mme qualifi de peintre numrique. Pendant plus de deux ans, ils construisent le projet Quadri{+}Chromies travers le monde, exprimentant de spectacle en spectacle la recherche de la meilleure synesthsie possible entre leurs deux pratiques.

peintures Musicales
Les lignes dansent et les couleurs respirent, entre bugs visuels et parasites sonores, il savre difficile daffirmer laquelle de la musique ou de limage guide lautre. La fusion est suprenante et puise son nergie dans la complementarit du binme. Les deux hommes composent selon leurs registres respectifs, construisent chacun leur propre alphabet, sinfluencent constamment. En live* ils improvisent lun partir de lautre, la musique invente des formes et des couleurs, les images construisent des sons. Au rythme lent de la mlodie rpond la progression dun langage multicolore. Des compositions emprunts dune puret et dune froideur propre au numrique (aussi bien dans les formes visuelles que sonores, auxquelles participent notamment Brian Eno et Ryuchi Sakamoto, grands habitus des correspondances audiovisuelles), qui seffacent devant lexcitation et la chaleur de la fusion.

Joshue Ott ( page 132 ) explore aussi limprovisation graphique partir de la musique, sur scne. Toshio Iwai( page 156 ), et Carsten Nicola alias Alva Noto ( page 96 ) ont galement collabor avec Ryuichi Sakamoto

118

119

 Magnetosphere 2007 Visualiseur sonore*

rOber t h O D gIN
Actif depuis la fin des annes 90 sur son site flight404.com, Robert Hodgin a commenc programmer en Flash avant de monter son propre studio de design interactif, baptis the Barbarian Group, Boston. Aujourdhui, il est plus connu pour ses vidos en Processing* qui mlangent systmes de particules et analyse de spectre sonore pour donner naissance des visualiseurs musicaux extrmement complexes.

particules Musicales
Ses systmes de particules, colors, solides, liquides, gazeux, dansent autour du centre, du coeur de la musique, en accord avec les variations sonores. Sils pourraient tre gnrs en temps rel* ( Magnetosphere est par ailleurs disponible en visualiseur pour iTunes ) ils sont gnralement prrendus en raison du nombre impressionnant de paramtres visuels mis en jeu ( plus de 20 000 lments se dplacent en rythme ). Les crations de Robert Hodgin, entirement programmes en Processing* jusquau montage vido lorsque le point de vue change mettent en avant le dynamisme et la complexit que permettent les correspondances numriques. Mais aussi la rigidit des rgles programmes, systmatiques, qui pourtant voluent avec la progression musicale. Par rapport a des supports plus classiques, les correspondances gagnent en complexit et en prcision objective , mais perdent souvent en expressivit. Memo ( page 122 ) joue galement avec des animations programmes en fonction des variations sonores. Le prcurseur de ces correspondances numrique est John Whitney (page 76 ).

120

121

 Amoeba Dance 2008 Visualiseur sonore*

me m O
Memo a trs tt jou avec les rapports numriques entre musique et visuels sur de vieilles machines (Apple IIe, Amiga 500...). Il est aujourdhui freelance, et expose ses travaux sur son blog, memo.tv. Si la plupart de ses ralisations commerciales sont des vidos pr-rendues, il prfre exprimenter autour des correspondances image /son dans des langages de programmation pure (Actionscript*, Processing*, Java*...).

quartZ coMposer, glsl, et VDMX

Sa dernire realisation, Amoeba Dance, simple test technologique , est une boule en 3 dimensions qui se dforme en temps rel* en fonction des variations sonores. Ce sont les frquences de 9 canaux audio qui sont analyses en mme temps, permettant une grande prcision de rendu. Le morceau choisi pour la dmonstration, Caliper Remote du groupe de musique lectronique Autechre, possde un rythme particulirement saccad et permet dapprcier la ractivit du systme programm. Si le fond de la dmarche nest pas sans rappeler la Symphonie Diagonale dEggeling ( dformation formelle dun lment avec le temps, en rapport une structure musicale ), le rendu est esthetiquement beaucoup plus limit. Avant datteindre un rendu en temps rel* plus complexe, des rgles de correspondances prenant en compte bien plus de paramtres devront tre tablies. Robert Hodgin ( page 120 ) joue galement avec des animations programmes en fonction des variations sonores. Le prcurseur de ces correspondances numrique est John Whitney (page 76 ).

Voir Viking Eggeling ( page 68 ).

122

123

 Metasynth 2000 Programme

U & I S O f t WA r e
U&I Software a t fonde en 1997 par le graphiste/musicien/programmeur franais Eric Wenger. Son but est de librer lartiste/utilisateur des contraintes des interfaces classiques en imaginant des logiciels de cration novateurs, o linterface, les fonctionnalits, et la prise en main poussent lexploration et la crativit. Ils mettent alors au point Metasynth, un synthtiseur bas sur le dessin du spectre sonore qui permet une conversion directe de limage au son, et inversement.

spectrograMMie
Un spectrogramme est un diagramme associant chaque instant dun signal sonore son spectre de frquences. On lutilise souvent pour identifier des sons, des cris danimaux, dinstruments de musique, ou mme dans le domaine de la reconnaissance de la parole. En gnral, laxe horizontal du diagramme reprsente le temps, et laxe horizontal la frquence (et donc la tonalit). Lintensit de chaque point indique lamplitude ( le niveau sonore ) de cette frquence particulire ce moment donn. Cette intensit est souvent reprsente par des variations des valeurs de gris, mais peut aussi se traduire par points plus ou moins pais, ou des variations colores. Les axes du temps et de la frquence peuvent tre linaires ou logarithmiques selon lutilisation qui est faite du diagramme. Mais sans rentrer dans toutes les spcifications techniques de la construction dun spectrogramme, Metasynth est globalement un logiciel permet-

124

125

Voir Atau Tanaka ( page 128 ).

Bill Viola ( page 82 ) a ralis des habillages vido pour les concerts de Nine Inch Nails.

tant de gnrer de tels diagrammes partir dun fichier sonore. Ou au contraire de lire un fichier image comme un spectrogramme, gnrant alors une piste audio partir de la correspondance numrique entre les variations colores de limage de gauche droite, et les variations de frquence et dintensit sonore dans le temps. Il est galement possible de peindre le son , de dessiner directement un spectrogramme laide de diffrents outils, ou den modifier un existant comme avec un logiciel de retouche dimage, pour directement sculpter le son. Le logiciel ajoute mme au spectrogramme un paramtre spatial, permettant de grer le dplacement stro du son en faisant correspondre un spectre vertjaune-rouge aux positions droite-centre-gauche. Finalement, Metasynth permet de synthtiser le timbre dun instrument ou dune voix partir dune source sonore, afin de lajouter ensuite une composition et diversifier les rsultats possibles partir dun mme spectrogramme. Un moyen galement denrichir la nature intrinsquement peu chalheureuse du son numrique. La spectrogrammie et Metasynth mettent en place des systmes de correspondances complets, permettant une interchangeabilit image / son extrmement aise, que seul le numrique pouvait mettre port de tous. Metasynth permet la construction immdiate de nouvelles varits de sons et dimages, travers une dmarche mi-chemin entre auditions colores et Data Visualization*. Sil existe dautres programmes capables de passer de limage au son et du son limage via la spectrogrammie ( Coagula, Enscribe, JavOICe ), Metsynth est lheure actuelle le plus performant, et surtout le seul clairement utilis par des artistes. Cest ainsi quAtau Tanaka sassocie directement Eric Wenger en 2004 pour transformer une photographie en diffrentes compositions sonores dans Bondage. Mais certains musiciens utilisent directement ces mthodes pour composer des morceaux ou moduler certains sons, en modifiant directement la tonalit et lintensit dans le temps. Et dautres utilisent Metasynth pour construire des sons partir dimages toutes faites, sans mme les modifier. Cest ainsi que le clbre musicien lectronique Aphex Twin cache dans la deuxime piste de son EP Windowlicker ( 2000 ) un visage effrayant visible uniquement en analysant le spectre sonore du morceau, et quil construit une partie de la premire piste du mme album partir dune spirale dessine sur Metasynth. De la mme manire, la chanson Look issue de lalbum Songs About my Cat de Venetian Snares contient plusieurs photos de ses chats, et le morceau 3recurring de Plaid contient dans son spectre une succession de chiffres 3 que lon retrouve dans le logo de son album Not For Threes. En 2007, le groupe Nine Inch Nails met en place un jeu de pistes en ligne autour de la sortie de leur nouvel album ( procd de marketing viral* communment appel Jeu en Ralit Alterne ) au cours duquel certains des indices sont visuellement cachs dans le spectre de fichiers sonores tlecharger.

126

127

 Bondage 2004 Installation

9m14s Over Vietnam 1996 Son

Sensors Sonic Sights (S.S.S) 2003 Performance

AtA U tA N A K A
Profondment marqu par sa rencontre avec John Cage dans les annes 80, Atau Tanaka construit son parcours entre Tokyo et Paris en sefforant faire le pont entre les cultures orientales et occidentales, la musique et les nouvelles technologies. A la fois compositeur, interprte, et inventeur de nouveaux instruments, il construit sa musique avec des capteurs de mouvements, des rseaux, ou encore des images.

photographies Musicales
En 1996, Tanaka invite le public dcouvrir le son dune image en utilisant la clbre photo du vietnamien Nick Ut La Fille de la Photo, laurate prix Pulitzer en 1973, o la jeune Kim Phuc court pour chapper au bombardement de son village. Cette image est lunique source sonore de la pice quen tire Atau Tanaka, baptise 9m14s Over Vietnam. A partir dune reproduction dans un magazine, Tanaka numrise la photo. Il la manipule ensuite de deux manires : tout dabord, en modifiant les enttes du fichier (qui dterminent la nature dun fichier numrique), il peut lire directement limage numrise (donc une suite binaire) comme un son. Ensuite, il utilise limage comme un spectre sonore grce au logiciel Metasynth, transformant les niveaux de gris en variations de frquence, synthtisant une toute nouvelle pice sonore. Dans les deux cas, la photo est le son. Le silence que lon entend correspond par exemple

Voir Metasynth de U&I Software ( page 124 ).

128

129

MouVeMents auDioVisuels
au centre de limage, cette enfant brle qui court vers lobjectif. Tanaka dcoupe finalement certains lments de ces deux pices pour en crer une troisime, de 9 minutes et 14 secondes au dessus du Vietnam . Les manipulations spatiales et temporelles qui donnent naissance ces diffrentes compositions sont pour lui reprsentatives du pouvoir de la reprsentation et de la dformation dans les mdia de masse. Un systme de conversion numrique directe de limage en son quil poursuit dans lune de ses pices majeures, Bondage, en 2004. La source sonore est cette fois-ci une photographie du japonais Nobuyoshi Araki reprsentant une femme attache. En la resynthtisant sur Metasynth, les variations des valeurs de limage deviennent encore une fois celles des frquences sonores. Mais limage et le son sont ensuite rutiliss dans une installation de grande envergure. La photographie retouche ( les valeurs sont ngatives ) est dcoupe et projete sur une grille de panneaux en bois et en papier dune lgance typique des intrieurs japonais. Et le son est gnr et diffus simultanment par lanalyse directe de limage, de manire indpendante dans chaque panneau. La prsence du spectateur rvle sur les panneaux des segments positifs ( non-retouchs ) de la photo originale, modifie limage, et le son qui en rsulte. Le spectateur devient voyeur, et en en brouillant les pistes entre lanalogique et le numrique, le traditionnel et le technologique, Atau Tanaka cr un espace mystrieux et fantastique o le son et limage se rencontrent et se compltent, de la conception la rception. Mais Tanaka exprimente galement beaucoup avec des instruments de musique quil conoit lui-mme. En 1990, il prsente le BioMuse, un instrument bio-lectrique qui construit des sons partir de lactivit musculaire et neuronale. La tension des muscles est capture et module en un signal numrique dans lordinateur. Des postures de concentration et de mditation crnt alors des sons organiques et lectroniques. Il accumule diffrents sons, des tons pures, des bruits, quil sculte et filtre par le mouvement de ses bras. En se dplaant dans lespace, il cr des sculptures sonores virtuelles. En 1993, il monte le spectacle Sensorband, accompagn de Zbigniew Karkowski qui manipule une cage invisible de rayons infrarouges enclenchant des samples* sonores lorsquelle est brise, et Edwin Van der Heide qui contrle un synthtiseur midi laide dun joystick. Dix ans plus tard, il ritre lexprience avec une nouvelle quipe et de nouveaux instruments. La performance, baptise Sensors Sonic Sights ou S.S.S prend une dimension visuelle. Ccile Babiole, Laurent Dailleau et Atau Tanaka forment ce trio lorigine dun environnement dynamique sonore et visuel gnr en temps rel*. Une conversation trois qui module des pulsions sonores et lumineuses travers des capteurs qui convertissent les mouvements corporelles en donnes numriques. Les visuels sont gnrs par des capteurs dultrasons qui mesurent la distance entre les mains de lutilisateur et sa machine, lui permettant darticuler des images en 3 dimensions, de tailles, de couleurs, et de textures diffrentes. Le fantasme dun son et dune image pures, issus dune source unique : les mouvements du corps humain. Conception dinstruments de musique base sur les correspondances, voir Tenori-On de Toshio Iwai ( page 156 ).

Dans Beatles Electronique, Nam June Paik ( page 88 ) dtourne les images des media de masse.

130

131

 superDraw 2006 Logiciel

J O S h Ue Ott
Lartiste new-yorkais pluridisciplinaire Joshue Ott met au point des systmes dimprovisation visuelle qui nourrissent ses collaborations sceniques avec des musiciens. Son outil de prdilection est superDraw, un logiciel dont il est le crateur, qui permet de manipuler en temps rel* et la main des formes plus ou moins pr-dfinies. Une manire de rejeter lexcs dautomatisme quimplique souvent le numrique.

super Dessin
superDraw est un logiciel de dessin programm en Processing*, renforc par toute une palette deffets qui modifient laspect visuel de la ligne tout moment. Il explore en fait lide de gnrer diffrentes animations partir dune seule ligne dessine. Un programme utilis en live* laide dune palette graphique*, comme un vritable instrument quil faut apprendre matriser afin de construire des visuels dynamiques en accord avec la musique. Aucun paramtre numrique gnr par le son ne vient perturber lutilisateur, qui dessine en direct et peut contrler son trac avec une grande souplesse. Linteraction physique est donc au centre des correspondances audiovisuelles. Joshue Ott veut encourager lutilisateur ragir ce quil coute, il est le rcepteur de sensations musicales et les rinterprte, combinant linstantanit et la diversit du traitement numrique son propre ressenti subjectif. Hector Zazou et Bernard Caillaud ( page 118 ) explorent aussi limprovisation visuelle et sonore sur scne. Dans Sonic Wire Sculptor, Amit Pitaru ( page 136 ) utilise galement la palette graphique* comme outil de saisie.

132

133

 Muon 2007 Installation

c hr I S O S he A
Artiste et designer, Chris OShea conoit des espaces interactifs aussi bien pour des institutions publiques que pour des compagnies prives. Il se concentre sur des projets de collaboration ludiques et novateurs, qui mettent lpreuve nos sens dans la confrontation lespace physique. Pour la sortie du systme denceintes Muon de KEF Audio, il imagine une gigantesque installation au sol qui gnre en temps rel* des formes colores fluides en rponse une stimulation muscale.

surFace sono / receptrice

Avril 2007, dans la salle principale du Muse Nationale de la Science et de la Technologie de Milan, les deux enceintes monumentales en aluminium dominent lespace. A leurs pieds, un panneau de 10 mtres sur 5 contenant 73 728 diodes lectroluminescentes colores dessine des formes fluides qui manent des deux enceintes et se dplacent au sol, changeant de vitesse et dintensit lumineuse selon les variations du son. Le programme analyse en fait les frquences sonores, reprant les pics damplitude dans la musique pour faire voluer la composition abstraite. Chris OShea combine limmdiatet de la conversion numrique la puissance sonore et la monumentalit et de lespace dinstallation pour faire merger une trace physique de lvolution musicale, comme si les ondes sortant des enceintes venaient se diffuser au sol, et provoquer une stimulation sensorielle complte et envotante. Le collectif United Visual Artists ( page 114 ) ralise aussi des installations de diodes lectroluminescentes. Une reprsentation fluide du son est visible parmi les travaux de Toshio Iwai ( page 156 ) et Evelina Domnitch et Dmitry Gelfand ( page 102 ).

La notion de trace est galement prsente chez Carsten Nicola ( page 96 ).

134

135

 Sonic Wire Sculptor 2007 Outil

AmIt p I tA r U
Amit Pitaru est artiste et chercheur, matrisant la musique, le design graphique, la programmation logicielle, et llectronique. Il conoit des outils de cration plus que des uvres, laissant la possibilit des artistes ou des associations ( il a notamment imagin des jeux interactifs pour les enfants handicaps ) de les utiliser pour appuyer leurs propres recherches. Il met au point en 2007 le Sonic Wire Sculptor, un programme en Java* combinant dessin et synthse sonore.

sculptures sonores
Cest un outil de dessin en 3D fil de fer et un instrument de musique unique, mais le plus important pour Pitaru, cest que le Sonic Wire Sculptor est tout simplement amusant utiliser . Lutilisateur trace une ligne la palette graphique* dans un espace en trois dimensions, gnrant simultanment selon sa position dans lespace des frquences sonores. Mais lespace forme une boucle, et permet avec le temps de superposer les lignes et les sons jusqu crer une scultpture visuelle et sonore. Si le Sonic Wire Sculptor tait la base destin aux performances de Pitaru, lenthousiasme du public la pouss concevoir une version accessible tous. Immdiat et ludique, le procd fascine et est mme sorti des galleries dart pour devenir un outil dapprentissage dans les coles primaires, le temps dune dmonstration. Une installation qui rappelle trangement lUpic de Xenakis, mais en 3D, et en temps rel*. Dans superDraw, Joshue Ott ( page 132 ) utilise galement la palette graphique* comme outil de saisie. Quand un motif sonore peut tre rpt en boucle, voir le Tenori-On de Toshio Iwai ( page 156 ).

Voir Xenakis, ( page 92 ).

136

137

 Altzero 1999-2003 Visualiseur sonore*

Freq2 2006 Installation interactive

S Q UID S O Up
Squidsoup est un collectif de designers interactifs, dartistes, et de musiciens londonien form en 1997 dans le but dexplorer ltendue des possibilits immersives de linteractivit. Leurs travaux combinent son, espace physique, et mondes virtuels pour produire des expriences sensorielles o lutilisateur est toujours actif. Certains de leur travaux et logiciels peuvent tre directement tlchargs sur leur site : squidsoup.org.

n aV i g at e u r s o n o r e
A partir de la manire dont les musiciens lectroniques deconstruisent puis reconstruisent le son, les membres de Squidsoup se sont questionns sur les lments qui constituent rellement un morceau et notre manire de les couter. Afin de rompre avec la linearit bidimensionnelle des visualiseurs sonores* classiques, ils proposent un logiciel capable de gnrer des espaces virtuels tridimensionnels, des paysages sonores , partir dun fichier son : Altzero. Une manire pour eux de faire le lien entre les technologies vidoludiques et la composition musicale. Ils crent des environnements de navigation simples ou la construction sonore est la matrice de lespace dans lequel lutilisateur se dplace. Les visuels deviennent alors une nouvelle rfrence pour lauditeur. En explorant linterface et en voyant chaque lment qui constitue ce quil entend, lutilisateur dconstruit, analyse, et comprend la construction de la composition sonore. Autour de la dconstruction numrique du son et de limage, voir Rez de Tetsuya Mizuguchi ( page 142 ).

138

139

Limage devient un moyen de clarifier la structure musicale, la manire dune partition, et linteractivit une manire de dcouvrir des correspondances auditives et visuelles videntes, tout en donnant vie un espace virtuel abstrait. Altzero a donn lieu a de nombreuses collaborations avec des musiciens, les rsultats tant naviguables directement sur le site du collectif. On peut galement y tlcharger Altzero-Compose, le logiciel qui permet de crer les espaces interactifs dAltzero.

p ay s a g e o r c h e s t r a l e
Freq est une sries dexprimentations autour de lide de dessiner du son. Sa dernire dclinaison, Freq2, est une installation intractive qui utilise tout le corps pour construire le son. Instrument la fois de musique et dimages, le dispositif capte la silhouette de lutilisateur pour gnrer la fois des variations sonores, et un paysage polygonal qui dfile et permet de visualiser en simultan les effets de la silhouette sur la forme du son ( par variation de la hauteurs des lignes ). En faisant des gestes amples tel un chef dorchestre, le spectateur / interprte gnre londe sonore en temps rel* et la dforme, la composition visuelle effaant progressivement la trace, la mmoire des gestes prcdents. Le rapport entre le paysage sonore et le paysage visuel simple extrusion temporelle dune ligne correspondant aux hauteurs du son qui dfile lentement vitesse constante en devient contemplatif et envotant. Freq2 utilise lintgralit du corps pour faire le lien entre une composition visuelle minimale en constante volution et les modulations sonores correspondantes.

Pour mettre au point The Manuel Input Sessions, Golan Levin ( page 148 ) capte la silhouette des mains de lutilisateur.

140

141

 Rez 2001 Jeu Vido

t e t S U yA mI Z U g U c hI
Jusquen 2003, le game designer* Tetsuya Mizuguchi travaille pour la branche United Game Artists de Sega. Grand amateur de musique, il imagine des concepts de jeux de rythme, lheure o le genre est encore mergent sur les supports vidoludiques. Il signe ainsi Space Channel 5 en 2000 et Rez en 2001 avant de fonder son propre studio de dveloppement en 2003, Q Entertainement.

rhythM gaMe
Cest en participant la conception du jeu de simulation automobile Sega Rally Championship en 1995 que Tetsuya Mizuguchi se fait un nom. Il est alors rapidement charg de diriger son premier projet, Space Channel 5. Dans un univers Space Opera kitsch et survitamin, le joueur suit les aventures dune reporter intergalactique qui combat les extraterrestres en rptant en rythme leurs chorgraphies. Le gameplay* trs limit est comparable au jeu de socit Simon, icone des annes 80 qui proposait de mmoriser et rpter les squences sonores de quatre gros boutons colors. Une exprience par ailleurs autant visuelle que sonore, puisque lon peut mmoriser aussi bien la squence de couleurs (ou de mouvements pour Space Channel 5), que la squence de sons. Ou bien se laisser transporter par le rythme jusqu ce que chaque intervention devienne quasiment automatique.

142

143

Voir Kandinsky ( page 56 ).

Lambiance du premier jeu musical de Mizuguchi charme le public et le succs est au rendez-vous. Il met alors en chantier le projet dont il a toujours rv : K-Project, un jeu vido inspir des thories de Kandinsky, une exprience sensorielle se rapprochant le plus possible de la synesthsie. Le projet volue et change de nom : il devient Rez, en rfrence Tron, super-production audiovisuelle de Disney donnant vie des programmes informatiques sous les traits dacteurs. Dans Tron, quand un programme - et donc un protagoniste - est dtruit, on dit quil est deRez. Par opposition cette mort dans la machine, Rez serait la naissance dune vie. Dans lordinateur.

K(anDinsKy)-proJect
Rez voit le jour en 2001 sur la console Dreamcast de Sega, et est rdit lanne suivante sur la Playstation2 de Sony suite lechec commercial de son premier support. Sil fallait le classer parmi les genres de jeux vidos reconnus, on dirait que cest un shootem up* : ces jeux dans lesquels il fautt abattre des vagues dennemis en leur tirant dessus, limage du trs clbre Space Invaders. Un systme basique que Rez ne complexifie pas vraiment, une poque o les produits tendent offrir au joueur de plus en plus de libert. Le gameplay* reste trs simple et la prise en main est donc immdiate. Visuellement trs abstrait en comparaison aux standards de la production vidoludique, Rez ne donne voir que ce quil est, un shootem up*. Comprenez par l quil ny a rien, ou trs peu, reconnatre. Il y a lentit du joueur et les ennemis, qui sont de formes et de couleurs distinctes, mais qui ne reprsentent rien dautre que leur fonction de base : permettre au joueur didentifier tous moment ce quil dirige et qui il doit abattre, sans se proccuper dune quelconque figuration. Ou plus prcisment, car il faut bien que limage communique au joueur le droulement de laction, Rez puise sa forme dans deux sources majeures. Tout dabord les premiers codes graphiques des jeux vidos, lpoque o les visuels taient intgralement programm s (3D fil de fer , aplats et formes polygonales) un genre de beaut mathmatique. Et dautre part la thorie des couleurs de Kandinsky il y aurait trs certainement une tude comparative exhaustive trs intressante faire pour mettre en relation les formes et couleurs en mouvement limage et leurs significations dans Du Spirituel dans lart de Kandinsky. Une inspiration revendique que Mizuguchi a souvent explicite : Dans loeuvre [de Wassily Kandinsky], ce sont ses thories qui ont influenc le dveloppement du jeu. Personnellement, je comprends son concept, chaque son a une couleur, une dynamique, une forme. Jai essay dimaginer, sil tait vivant, si son me de crateur tait vivante aujourdhui, quel genre de jeu vido il ferait. Il y a cent ans,

Otocky de Toshio Iwai ( page 156 ) possde un gameplay* qui rappelle beaucoup Rez .

il ny avait pas les mdias numriques, pas dordinateurs la peinture tait le seul moyen pour lui de sexprimer. Je pense que ses thories sont intemporelles. Cest donc plus prcisment sur les correspondances que Kandinsky tabli entre couleur, forme, mouvement et son, et sur sa description de lexprience synesthtique ( la stimulation dun sens simultanment celle dun autre sens sans que celui-ci nait t spcifiquement stimul ) que Mizuguchi fonde son concept. Rez est une composition en mouvement de formes simples, lments graphique purs, et de sons lectroniques dconstruits, que le joueur vient dclencher chaque fois quil intervient, et qui viennent eux-mme se superposer une trame sonore de fond, plus continue, qui volue en fonction de la progression dans le jeu. Il ne sagit pas pour autant dinteragir en rythme avec la musique. Rez peut se jouer comme un jeu de tir classique, en ciblant nerveusement chaque ennemi, et les sons et les couleurs sentremlent mesure des interventions, en harmonie ou en arythmie totale, construisant le parcours audiovisuelle du joueur. Si devant les oeuvres abstraites de Wassily Kandinsky, le spectateur reste passif, il vient dans Rez superposer directement le son la couleur. Et cest dans le rapport hypnotique qui sinstalle entre limage, la musique, et la relation physique que le joueur entretient avec cette superposition que lexprience devient synesthtique. La simplicit du gameplay* de Rez est alors une de ses grandes forces conceptuelles, limmdiatet de la prise en main aspirant directement le joueur dans un continuel travelling avant. Ce dernier devient acteur de la composition, et par ses manipulations, explore les enjeux saisissants de luvre. Il anticipe, rflechit, ragit, et est progressivement envahi par la sensation de donner vie une composition abstraite. Le spectateur devenu joueur est, le temps dune partie, plong dans la peau de lartiste, mais dans un univers virtuel. Il joue avec un programme informatique, avec des lois limites tablies par les concepteurs, l ou lartiste dfie les lois irrationnelles de la nature. Le support interactif est alors un moyen pour lartiste / concepteur de faire ressentir au spectateur / joueur livresse de la cration. En simulant ici une exprience synesthtique.

Autour de la dconstruction numrique du son et de limage, voir Altzero de Squidsoup ( page 138).

Le travelling avant comme facteur dimmersion, voir Light Turned Down de D-Fuse et Scanner ( page 106 ).

proJect eDen
Nous ne nous attarderons pas sur le message de Rez une leon sur la dmatrialisation de la culture mis en scne dans les quelques textes qui interviennent la fin du parcours et construisent un semblant de narration la qute dEden, une forme de vie dans un ordinateur, contrepoint parfait cette exprience sensorielle jouissive et stimulante,

144

145

dmonstration suffisante dune forme nouvelle de sensations dans le numrique. Composition interactive vivante et auto-suffisante, Rez est aussi le fantasme de voir les concepteurs de jeux vido se pencher enfin sur leur histoire plutt que de projeter dans leurs crations les attentes matrialistes des joueurs. Mais comme nous le rappelle le peintre russe, la priode matrialiste [...] a form un spectateur qui est incapable de se placer simplement en face de limage [...] et qui cherche y trouver toutes sortes de choses, sans chercher cependant ressentir la vie intrieure de limage, et sans laisser limage agir directement sur luimme. Rez a t chec commercial relatif, et un succs critique mitig, assez mal acueilli par la presse dite spcialise (parce que trop court et limit , donc pas assez rentable), mais encens par les critiques plus gnralistes qui traitent des mdias numrique et voient en Rez un OVNI vidoludique fascinant. Il a cependant acquis avec les annes un fort succs destime, et a rcemment t rdit en haute dfinition* sur les consoles nouvelles gnration. Tetsuya Mizuguchi a continu combiner musique et gameplay* hypnotique dans certaines de ses dernires productions vidoludiques ( Lumines, Every Extend Extra ), et pense un jour mettre au monde le successeur de Rez.

146

147

 Audiovisual Environment Suite 2000 Installation

The Manual Input Sessions 2004 Performance

Scribble 2000 Performance

g O l A N l e V IN
Golan Levin suit les cours de John Maeda au MIT Media Lab en 2000, et imagine depuis des systmes de cration et de manipulation simultane de limage et du son, souvent tourns vers la performance. A travers ses pices numriques, ses environnements virtuels et ses performances synesthtiques, souvent imagins en collaboration, il questionne notre relation lordinateur et explore les intersections entre des modes de communication abstraits et linteractivit.

s u B s ta n c e a u D i o V i s u e l l e
Ds 2000, Golan Levin conoit lAudiovisual Environment Suite (AVES), constitu de septs programmes interactifs capable de gnrer des animations abstraites et des sons synthtiques partir des gestes de l;utilisateur. Chaque environnement se veut ludique et ergonomique tout en proposant une infinit de manires de sexprimer, aussi bien visuellement que musicalement. Le systme repose en fait sur une substance audiovisuelle qui peut tre manipule, dforme, ou efface comme on peint une image. Chaque instrument fonctionne dune manire diffrente, confrant cette mtaphore de lobjet audiovisuel manipulable une structure dont la forme visuelle et lanimation dcoulent directement. Le son et limage sont eux-mme intimement lis par un systme trs simple de synthse sonore, aussi mallable que limage. Ces objets visuels et sonores gnrs par un geste unique se transor-

Limage comme matire mallable, voir Steina et Woody Vasulka ( page 84 ).

148

149

Une autre performance qui gnre sons et images partir de diffrents intruments qui interprtent les mouvements est S.S.S. dAtau Tanaka ( page 128 ).

ment rapidement en outils de performance, puisquune reprsentation scnique en collaboration avec Gregory Shakar et Scott Gibbons voit le jour loccasion du festival Ars Electronica 2000, sous le nom de Scribble. Loccasion pour le public de dcouvrir le potentiel synesthtique des substances de Levin, entre interprtation minutieuse de morceaux dj composs et improvisation dbride.

saisies sonores
The Manual Input Sessions ( Les sessions de saisie manuelle ) est une autre performance de Golan Levin traitant directement de la conversion de limage en son, en collaboration avec Zachary Lieberman. Il sagit dune srie de vignettes audiovisuelles explorant les possibilits dextensions visuelles et musicales de gestes manuelles. A laide dune combinaison de projecteurs analogiques, numriques, de capteurs et de logiciels spcialement conus pour lvnement, la silhouette des mains de linterprte est analyse en temps rel* et projete sur un cran. Les positions successives se transforment alors en une srie de paramtres numriques qui gnrent des formes et des sons synthtiques, allant de pair avec les mouvements manuels. Ces rponses sont directement projetes sur la silhouette, faisant apparatre un objet audiovisuel virtuel dans les mains de linterprte. Un principe proche de la ralit augmente* qui confirme la volont de Golan Levin denvisager les correspondances audiovisuelles comme un objet physique. Le fantasme dun instrument manipulable fait dondes sonores et lumineuses synthtiques,que la technologie lui permet de matrialiser lcran et, dune certaine manire, entre ses mains.

Freq2 de Squidsoup ( page 138 ) capte galement la silhouette de lutilisateur.

150

151

 Small Fish 1999 Interface interactive

mA SAK I f UJIh AtA

Pionnier de lart des nouveaux mdia japonais dans les annes 80, Masaki Fujihata explore depuis des annes les possibilits de communication au sein despaces virtuels. Il estime que ralit et virtualit ne sont pas en conflit elles sont deux aspects complmentaires dun mme espace de vie. Il collabore en 1999 avec Kiyoshi Furukawa et Wolfgang Muench sur Small Fish, une interface qui confronte la ralit physique dun espace son extension visuelle et sonore virtuelle.

petit poisson
Que ce soit sur un cran, sur une table, ou dans toute une pice, lutilisateur manipule dans Small Fish une srie dobjets, d obstacles , entre lesquels se dplace mcaniquement un lment audiovisuel, tel un lectron libre, souvent reprsent par un petit poisson . Chacun de ses mouvements et chacune de ses collisions avec les obstacles provoque un son et construit au fur et mesure une composition musicale et visuelle que le joueur module en dplaant les objets, devenus de vritables instruments. Des limites videntes des correspondances directes entre un vocabulaire graphique simple et des paramtres de variations sonores basiques nat une infinit de possibilits de constructions virtuelles de la musique et de limage par la manipulation physique relle. Une exprience sensorielle fascinante au droulement souvent inattendu, comme quand un enfant essaie dattraper un poisson. reacTable du Music Technology Group ( page 154 ) est galement une table interactive musicale . Quand les obstacles dun parcours modifient la composition musicale, voir Composition on the Table de Toshio Iwai( page 156 ).

152

153

 reacTable 2007 Synthtiseur sonore

t he m U S I c t e c hN O l O g y gr O Up
La reacTable nat aprs de longues annes de dvelopement sein du Music Technology Group, une division de luniversit espagnole Pompeu Fabra Barcelone. Cette table musicale et tactile fait rapidement parler delle grce linventivit de son interface visuelle et corporelle. Elle fait le tour du monde des expositions et festivals ( Ars Electronica, Snar, SIGGRAPH ) et est alors repre par Bjrk qui lutilise en tourne depuis 2007.

ta B l e a c o u s t i q u e
Considre comme un instrument lectro-acoustique, la reacTable cache en fait un synthtiseur modulaire qui permet dinter-connecter diffrentes sources sonores des effets qui les modulent directement. Il sagit dune table ronde rtroclaire qui sutilise uniquement dans lobscurit. En posant des blocs appels tangibles par rapport au centre de la table symbole de la sortie audio lutilisateur modifie les diffrentes composantes du synthtiseur modulaire. Une camra place sous la table identifie et capte en temps rel* la positions des diffrents tangibles, afin non seulement de faire varier les paramtres du synthtiseur, mais galement de projeter sur la table des visuels relatifs linterconnexion des tangibles entre eux, aux variations de londe sonore et sa dformation par les modules. Un instrument ludique la prise en main immdiate, fruit de la fusion audio / visuel dans linteractif.

Small Fish de Masaki Fujihata ( page 152 ) est galement une table interactive musicale .

Bjrk a galement utilis en tourne le Tenorio-On de Toshio Iwai( page 156 ).

154

155

 Electroplankton 2006 Jeu Vido

Tenori-On 2007 Instrument de musique

Otocky 1987 Jeu Vido

Piano as Image Media 1995 Installation

t O S hI O I WA I
Si lartiste multimedia japonais Toshio Iwai sexprime dans toute une varit de supports ( installations interactives, jeux vidos, missions tlvise ), la majorit de son uvre se construit autour de la manipulation synchronise de limage et du son. De ses premires exprimentations sa rcente collaboration avec Yamaha, il propose lutilisateur des systmes ludiques de composition visuelle et sonore, proche en un sens de systmes dcritures musicales interactifs.

JeuX auDitiFs colors

Le jeune Toshio Iwai est profondment marqu par les films exprimentaux de Norman McLaren, et ralise ses dbuts des petits films danimation et des zootropes en volume, qui lui vaudront plusieurs prix dans les annes 80. Mais ses pices restent silencieuses, car il se sent incapable de comprendre les langages dcriture musicale et de composer des vrais morceaux. Cest en travaillant avec des botes musique il suffit alors de faire des trous dans des feuilles pour construire une mlodie quil commence envisager des systmes purement visuels de composition musicale. En 1987, Iwai conoit son premier jeu vido, Otocky, pour un driv de la console NES de Nintendo disponible uniquement au Japon. Si le jeu passe relativement inaperu sa sortie, il est aujourdhui considr comme un prcurseur du Rez de Tetsuya Mizuguchi. Shootem up* basique dans son fonctionnement, Otocky met en place 15

Voir Rez de Tetsuya Mizuguchi ( page 142 ).

156

157

Quand une direction visuelle modifie la composition musicale, voir Small Fish de Masaki Fujihata ( page 152 ).

ans avant Rez une relation directe entre chaque action du joueur a lcran et la bande-son qui laccompagne. Si la matrise de la composition sonore nest absolument pas un facteur de russite ( les morceaux rsultants sont au contraire particulirement arythmiques ), le jeu prfigure des possibilits synesthtiques des relations corporelles, visuelles, et auditives synchronises en superposant aux reflexes du joueur toute une varit de sons dans les limites des technologies de lpoque. Bien que la progression dans le jeu se fasse visuellement, lutilisateur se retrouve contraint dimproviser en mme temps des mlodies 8-bit gnres par association directe de ses faits et gestes. Cest dans cette articulation ludique du rapport son / image que Toshio Iwai souhaite mettre disposition de tous des outils de composition audiovisuelle novateurs et divertissants. Il acquiert dans les annes 90 une renomme internationale en mettant au point une srie dinstallations interactives initie lors de sa rsidence au ZKM ( Centre pour lArt et les Media ) en Allemagne. Resonance of 4 ( 1994 ) propose quatres utilisateurs de composer simultanment des morceaux musicaux en dplaant via des ordinateurs des lments sur une grille dispose sur le sol. Le rapport entre les sons et la simplicit du visuel est immdiat. Dans Piano - As Image Media ( 1995 ), le piano devient un medium visuel par une conversion directe de sons en lumires evanescentes. Les spectateurs manipulent une trackball* situe quelques mtres du piano, qui propulse des points lumineux le long dune surface en direction de linstrument. Au contact du clavier, ces points enfoncent les touches et jouent les notes correspondantes, gnrant en mme temps des formes graphiques propulses en lair le long dune surface verticale au dessus du piano. La manipulation extrment simple du trackball* devient un moyen immdiat pour composer des formes sonolumineuses. Les points lumineux, allant de lutilisateur vers les cieux en passant par le piano, sont propulss telle une extension corporelle du spectateur. La possibilit dun acte de cration audiovisuelle mis porte de tous, et celle dtre instantanment le vecteur dune exprience synesthtique. Car la volont de Toshio Iwai est clairement de surprendre le spectateur par une stimulation multimodale directe trouvant son origine dans une manipulation simple et ludique. Dans Composition on the Table ( 1998-1999 ), les spectateurs agissent directement sur une grille de lignes qui sentrecroisent, modifiant chaque point dintersection la direction dlments graphiques correspondant un son, construisant ainsi une superposition de mlodies improvise. La simplicit et la jouabilit des interfaces est toujours au cur des installations de Toshio Iwai, comme si les technologie actuelles avaient donn naissance des outils de composition ludiques, universels et immdiats.

Le systme de correspondance visuelle des notes de Piano - As Image Media a par ailleurs t repris lors dune performance en collaboration avec Ryuichi Sakamoto intitule Music Plays Images x Images Plays Music en 1997. Pour le concert, dont il ne reste malheureusement que trs peu de traces, Iwai a imagin toute une panoplie dinstruments de musique visuelle et de systmes transformant directement la musique de Sakamoto en formes graphiques. Enfin en 2005, il conoit pour la console portable Nintendo DS un jeu vido baptis Electroplankton. Un produit particulirement original dans la mesure ou il sagit plus dun outil de composition sonore et visuelle que dun jeu proprement parler il ny a pas rellement de progression, ni de but atteindre. Electroplankton est constitu dune succession de tableaux que le joueur explore laide dun stylet, proposant des systmes de manipulation mettant directement en relation limage et les son le fonctionnement de lun des tableaux est par ailleurs trs proche de Composition on the Table. Le tout dans une ambiance colore minimale, un univers aquatique fluide et apaisant quIwai trouve particulirement compatible avec les nouveaux mondes du son et de la lumire. Electroplankton est une vritable curiosit qui se dmarque totalement des standards vidoludiques actuels, et a ainsi beaucoup fait parler de lui sa sortie.

Ryuichi Sakamoto, a galement collabor avec Hector Zazou et Bernard Caillaud ( page 118), et Carsten Nicola alias Alva Noto ( page 96 ).

Chris OShea ( page 138 ) et Evelina Domnitch et Dmitry Gelfand, ( page 102 ) ont galement travaill avec une reprsentation fluide du son.

i n s t r u M e n t D e l r e n u M r i q u e
Le dernier projet de Toshio Iwai a rcemment vu le jour aprs plusieurs annes de gestation en collaboration avec le constructeur dinstruments de musique Yamaha. Fort de ses recherches sur les outils de compositions dimages et de son en parallle, Iwai a ressenti la ncessit presque historique de concevoir un vritable instrument, dans le sens classique du terme : Il fut un temps ou un instrument de musique devait avoir une certaine beaut, une certaine forme, en plus dun son. Il devait correspondre linterprte dune manire quasiment organique. [] Les instruments lectroniques actuels nont plus cette relation invitable entre la forme, le son, et linterprte. Jai donc tent de retrouver ces lments et de construire avec un vritable instrument pour lre numrique. Cest ainsi quil imagine le Tenori-On, commercialis en 2008 dans le monde entier. Un instrument qui dans sa manipulation simprgne fortement de ses prcdentes exprimentations. Tandis que les outils de composition lectronique et numrique actuel sont souvent fonds sur des interfaces informatiques qui permettent superposition, modulation et mixage sonore, le Tenori-On runi toute une varit de manipulations sonores propres lre numrique dans un vritable instrument de musique et de performance. Sa prise en main ludique nest dailleurs

Conception dinstruments de musique base sur les correspondances, voir Biomuse dAtau Tanaka ( page 128 ).

158

159

Quand un motif sonore peut tre rpt en boucle, voir le Sonic Wire Sculptor dAmit Pitaru ( page 136 ).

Le matre de la synchronisation visuelle et musicale est sans aucun doute Oskar Fischinger ( page 72 ).

Bjrk a galement utilis en tourne la reacTable du Music Technology Group ( page 154 ).

pas sans rappeler les multiples exprimentations dIwai dans le domaine. Linstrument se prsente comme une grille / cran de 16 sur 16 boutons lectroluminescents qui peuvent tre activs de nombreuses manires pour construire un paysage sonore volutif. Comprenez par l quune intervention peut-tre ponctuelle, et ne provoquer quun son qui disparat plus ou moins rapidement, ou au contraire activer un motif sonore qui se rpetera alors dans le temps selon un certain tempo. La grande force du Tenori-On est dafficher visuelle la construction et lvolution du morceau, et ce de diffrentes manires selon le mode de composition. Il est par exemple possible de considrer la grille de diodes lectroluminescentes comme une boucle temporelle balayant les sons activs de la droite vers la gauche, puis de passer dans un autre mode qui permettra dintervenir par-dessus le morceau dj constitu, en superposant un son rptitif qui change de tonalit en rebondissant de bas en haut, ou bien un son plus lourd dont lintensit augmente proportionnellement au nombre de diodes actives. Chacun des modes propose une manipulation du son trs instinctive, et la navigation se fait aisment par diffrents boutons et un petit cran LCD* sur le cadre en aluminium. Mais le plus impressionnant reste de voir comment les diodes saniment dans le temps, synchronises de manire extrment dynamique avec lvolution musicale. La prcision de la dformation des formes par rapport au son rappelle presque les premires exprimentations animes du dbut du sicle en bien plus basse rsolution. Un instrument unique qui clt parfaitement le parcours dIwai, en synthtisant tous ses systmes de correspondances interactives entre le visuel et le sonore dans un outil de composition et de performance audiovisuelle unique, dj utilis sur scne par de nombreux artistes, par exemple lors de la dernire tourne de Bjrk.

160

161

162

163

Les diffrents supports dexpression artistique ont articul au cours du sicle dernier deux composants essentiels des correspondances entre le visuel et le sonore : dune part la conception de systmes dquivalence thorique entre les deux domaines, et dautre part les moyens physiques qui permettent de les transmettre sensoriellement au spectateur. Tous deux ont connu une volution considrable grce des technologies permettant de les rapprocher directement. Les supports de communication et de stockage dinformation ont rapidement pris le relai des correspondances intuitives qui fascinaient Wassily Kandinsky et Paul Klee. Un nouveau type de relation objective entre le sonore et le visuel prend racine au sein mme du medium. Par change de matire via le signal lectrique dans un premier temps, mais ce matriau inattendu est difficilement manipulable. Cest donc dans limmatrialit quantifiable du langage numrique que des systmes de correspondances prcisment calculs peuvent tre mis en place. Mais il reste justement se dfaire de la logique trop systmatique du raisonnement informatique, laissant parfois peu de place des interprtations euphoriques et spontanes caractristiques fondamentales de lexprience synesthtique. Il sagit nanmoins dune technologie rcente, dont les limites sont encore chaque jour repousses. Paralllement, les manifestations de ces supports dans notre environnement physique se diversifient. Les installations sont de plus en plus monumentales et les modes dimmersion sensorielle redoublent dinventivit pour concurrencer les nouveaux standards de relation limage et au son qutablit continuellement une socit en plein progrs technologique. Les exprimentations se dveloppent aujourdhui dans linteractivit, qui redfinit intgralement nos rapport aux autres et la communication. Notre manipulation des interfaces corporelles est interprte comme une intention, que les artistes ne tardent pas convertir en cration audivisuelle pure. Des images et des sons synthtiques issus de nos gestes, comme un moyen sensoriel darticuler les correspondances relayes dans le raisonnement numrique de la machine. Une sensation en stimule dautres, qui saccumulent jusqu trouver un quilibre hypnotique entre la matrise du geste et la stimulation sensorielle dsire. Les relations logiques parfaitement systmatiques tablies par le langage numrique nous rapprochent des langages dcriture musicale et constituent pour lartiste une manire rvolutionnaire denvisager la composition dune uvre. A partir des recherches sur les correspondances intuitives et thoriques, ils repoussent sans cesse les limites de lergonomie et mettent au point des nouveaux instruments de musique visuelle destins la performance synesthtique. Des outils novateurs dont la manipulation seule relve dune exprience multimodale saisissante qui se rapproche progressivement dune vritable quivalence sensorielle. Depuis lessor de labstraction, lart sefforce de proposer des modes de perceptions nouveaux issus de conceptualisations culturelles, qui scartent de nos relations habituelles avec notre environnement naturel physique et social. Lexprience multimodale en est aujourdhui une extension, un moyen de voyager au plus prt des systmes de perception et du fonctionnement humain, laissant entrevoir dans lextase dune relation sensorielle totale une ouverture vers une union des sens, des arts, et de lhumanit. Ces valeurs l, quant elles, nont pas chang.

cONclUSION

164

165

Actionscript*

Langage de programmation utilis au sein des applications Adobe Flash et Adobe Flex.. ( Visualisation de Donnes ) Cration dimages, diagrammes, graphiques, animations partir des valeurs et paramtres dune base de donnes. ( Disc Jockey ) lorigine, cest une personne qui slectionne et diffuse de la musique destination dun public.

Palette Graphique*

Outil de saisie informatique issu de la transposition de la palette du peintre sur lcran dun ordinateur, aussi appele tablette graphique. Langage de programmation particulirement adapt la cration plastique et graphique interactive, prolongement multimdia de Design by numbers, lenvironnement de programmation graphique dvelopp par John Maeda au Media Lab du MIT. Systme informatique)qui rend possible la superposition dun modle virtuel 3D ou 2D la perception que nous avons naturellement de la ralit et en temps rel. La ralit augmente peut aussi bien sappliquer la perception visuelle (superposition dimage virtuelle aux images relles) quaux perceptions proprioceptives comme les perceptions tactiles ou auditives.. ( chantillon ) Extrait de musique ou son rutilis en dehors de son contexte dorigine afin de recrer une nouvelle composition musicale. Littralement mitraillez-les , type de jeu vido daction pure, orient vers le tir de projectiles sur des hordes dennemis.

Data Visualization*

Processing*

DJ*

Ralit Augmente* Gameplay* Terme caractrisant des lments dune exprience vidoludique. Il nexiste pas de rel quivalent en franais. Le gameplay serait les rgles du jeu, la manire dont le joueur est cens y jouer, la fluidit de ces rgles une fois appliques lenvironnement du jeu, et galement la manire dont le joueur peut jouer, les possibilits offertes par lenvironnement. Sample* Game Designer* Haute dfinition* Personne qui conoit un jeu vido, du concept au gameplay. Ou HD , norme de vido numrique, dont la dfinition dimage est augmente par rapport la rfrence dite SD (Standard Definition) qui est celle notamment du DVD en PAL. Shootem Up*

le X IQUe
Intermedia* Ouverture de la pense cratrice en-dehors de toute restriction un seul domaine de lart. Langage de programmation informatique orient objet. Les programmes crits en Java sont trs facilement portables sur plusieurs systmes dexploitation tels que Unix, Microsoft Windows, Mac OS ou Linux ( Liquid Crystal Display ) cran cristaux liquides, principal composant des moniteurs plats pour linformatique et la tlvision, qui assure aussi la fonction daffichage dun grand nombre de dispositifs portables. Anglicisme utilis principalement dans le milieu du spectacle et des mdias. Il fait en gnral rfrence un concert, une reprsentation musicale, ou la notion de direct (par rapport un enregistrement). Dvelopp par lIRCAM dans les annes 80, logiciel musical permettant de faire de la synthse sonore, de lanalyse, de lenregistrement, ainsi que du contrle dinstrument MIDI.

t e chNIQUe
Temp rel* Temps de calcul numrique si court quil parat instantan pour lutilisateur.

Java*

Trackball*

( boule de commande ) Outil de saisie informatique permettant de dplacer des objets virtuels en fonction des dplacements dune sphre intgre dans cet outil.. ( Video Jockey ) Personne lorigine dune animation visuelle projete sans plus dindication sur les techniques utilises ou les choix graphiques effectus. Crateur dexprience visuelle, il travaille en troite collaboration avec lenvironnement sonore dont il est lexpression visuelle. Gnrateur danimations partir dalgorithmes appliqus aux variations dun fichier sonore. Correspond souvent une fonction prsente dans les lecteurs multimedia des ordinateurs.

LCD*

VJ*

Live*

Visualiseur sonore*

Max / Msp*

166

167

Du Spirituel dans lArt et dans la peinture en particulier . Wassily Kandinsky Point et Ligne sur Plan . Wassily Kandinsky Thorie de lArt Moderne . Paul Klee Le Son . Michel Chion LAudio-Vision : Son et Image au Cinma . Michel Chion Le Sonore et le Visuel . Jean-Yves Bosseur What Sound Does a Color Make ? . Kathleen Forde Jouable : Art, Jeu et Interactivit . HES Genve / ENSAD / Ciren Paris VIII La Relation comme Forme . Jean-Louis Boissier Esthtique des Arts Mdiatiques . Louise Poissant Sons & Lumires : Une histoire du Son dans lArt du XXe sicle . Centre Pompidou Sonic Process Une Nouvelle Geographie Des Sons . Christine Van Assche / Centre Pompidou Easel Scroll Film . Hans Richter Digital Harmony : The Life of John Whitney . William Moritz Optical Poetry: The Life and Work of Oskar Fischinger . William Moritz Non-Objective Film : the Second Generation . William Moritz Audio Visual Spaces . Stedelijk Museum voor Actuele Kunst Maeda @ media . John Maeda VJ: Audio-Visual Art And VJ Culture . Micheal Faulkner

Festival OFFF . New York ( BMCC Tribeca Performing Arts Center ), Novembre 2007 Festival Exit. Crteil ( MAC ), Mars / Avril 2008 Festival Nmo . Paris, Avril 2008 Optronica : Hybridations Sonores et Visuelles . Issy-les-moulineaux ( Le Cube ), Janvier / Juillet 2008 Soire de lancement Tenori-On . Paris ( Maison de la Villette ), Avril 2008

b Ib l I O

g r A p h Ie

www.centerforvisualmusic.org www.createdigitalmotion.com www.gametrailers.com www.generatorx.no www.pixelsumo.com www.wikipedia.fr

+ Divers Magazines . Chronicart, Les Cahiers du Cinma

+ les sites internet des artistes rfrencs

168

169

170

171

ENSAD 2008 D e s i g n g r a p h i q u e M u lt i M D i a