Les robots, les hommes et la paix

Esquisse d’une évaluation éthique de la robotique contemporaine

Dominique Lambert
Université de Namur
Académie Royale de Belgique

1 Une société transformée par la robotique

1.1 Qu’est-ce qu’un robot ?

Il importe de fixer le cadre de notre réflexion en adoptant d’entrée de jeu une définition du
robot. Ce dernier est un système caractérisé par trois composantes en interaction1.

La première est la composante « perceptive ». Le robot possède nécessairement des capteurs

lui permettant d’acquérir des informations sur son environnement. Il peut s’agir de
« senseurs » pouvant détecter des ondes (électromagnétiques, acoustiques, etc.) ou des
substances chimiques, radiologiques, …

La deuxième composante est celle qui permet le stockage et le traitement de l’information. Un

robot possède des outils d’intelligence artificielle permettant de réaliser une analyse des
données recueillies par les senseurs et de mettre en œuvre, à partir de ces dernières, des
capacités de déduction, d’inférence, de raisonnement, automatisés. Cette composante peut
renfermer aussi, dans certains cas, des moyens d’apprentissage. Ceci permet au robot de
modifier ses propres logiciels pour intégrer des informations qu’il n’avait pas au préalable,
mais qui se sont révélées importantes pour son adaptation à un type d’environnement donné.
Une telle mise en œuvre est possible aujourd’hui grâce au développement des algorithmes
génétiques et à la théorie des réseaux de neurones.

La troisième composante est tout à fait essentielle au robot. On pourrait dire que c’est elle qui
définit véritablement le système robotisé. Elle est constituée d’ « effecteurs », c’est-à-dire de
systèmes qui peuvent agir et rétroagir sur l’environnement.

Un robot est nécessairement un système complexe. Ses comportements peuvent être

automatiques (un seul type de comportement correspondant à une tâche précise, à l’instar des
robots des chaînes de montage dans les usines), automatisés (plusieurs types de
comportements programmés en tant que réactions à des informations bien précises et bien
identifiées venant de l’environnement ; un pilote automatique est un exemple d’un tel
système) ou même autonomes (le comportement du robot n’est dans ce cas pas
nécessairement préprogrammé, il peut être innovant, créatif). Il est très important, dans la
pratique, de réaliser que les questions juridiques et éthiques que l’on se pose lorsqu’on met en
œuvre des systèmes robotisés sont très différentes selon que l’on considère des robots aux
comportements automatiques ou automatisés, d’une part, et autonomes, d’autre part.

1
On retrouve assez naturellement cette caractérisation du robot dans les réflexions de Norbert
Wiener (cfr N. Wiener, Cybernétique et société. L’usage humain des êtres humains
(présentation R. Le Roux ; traduction, P.-Y. Mistoulon), Paris, Seuil, 2014, pp. 55-57), mais
au fond cette définition renvoie à l’idée qui sous-tend depuis longtemps le vieux mythe de
l’automate.

1
Remarquons, en passant, qu’il n’est pas obligatoire qu’un robot soit très mobile. L’action du
robot peut être, non pas mécanique (c’est-à-dire se déployant dans un espace géographique),
mais bien électrique ou encore électronique. Le robot est alors un système qui recueille de
l’information, la traite et puis commande des procédures d’action via un réseau, par exemple
informatique.

1.2 L’invasion robotique

Il nous faut prendre aujourd’hui toute la mesure de la révolution introduite dans nos sociétés
par la robotique. On a pu qualifier cela en utilisant, de manière amusante, l’expression de
« robolution »2 ! En effet, un grand nombre d’activités de la vie courante son réglées
aujourd’hui par des machines ayant une capacité d’analyse et d’action, en grande partie
indépendante de l’humain. Il ne peut être question ici de faire un tour d’horizon ne fût-ce
qu’approximatif des diverses applications de la robotique dans nos sociétés, dont l’importance
économique et financière devient chaque jour de plus en plus importante (on estime que le
marché de la robotique s’élèverait aux environs de 30 milliards de dollars en 2015) 3. Le
champ d’application de la robotique est celui des activités ennuyeuses et répétitives, ou
dépassant les limites physiques de l’humain (force musculaire, taille du corps, résistance,
précision des gestes,…), des tâches précises devant être réalisées dans des milieux pollués
(chimiquement ou radiologiquement) et enfin des travaux dangereux (présence d’explosifs,
…). La robotique est donc un outil qui permet d’assister l’homme dans ses travaux, mais aussi
d’ouvrir le champ de ses perceptions en multipliant les points de vues que l’homme ne
pouvait atteindre. Mais la robotique a pris aussi un tour plus ludique ou éducatif avec l’ère des
robots de compagnie4 qui sont sensés tenir la place d’éducateur, de garde-malade, de
surveillant, … Les robots « compagnons de vie »5 sont en train de modifier certaines de nos
conceptions des relations humaines, ce qui pose bien entendu un certain nombre de questions
cruciales, éthiques ou anthropologiques.

Un des aspects les plus visibles de la robotique de ces derniers temps est le « drone »
(désigné ainsi en raison du bourdonnement de son moteur) utilisé par les militaires, mais aussi
par les chaînes de télévision ou par le cinéma6, pour obtenir des vues inédites, et également
par de plus en plus de particuliers (pilotant par exemple de petits « quadricoptères » grâce à
une tablette ou à un Smartphone). La robotique met en jeu des collaborations très
interdisciplinaires et il est intéressant de noter au passage que la biologie joue un rôle

2
B. Bonnell, Viva la robolution. Une nouvelle étape pour l’humanité, Paris, JC Lattès, 2010.
3
De nombreuses publications font écho chaque mois aux progrès de la robotique (cfr par
exemple, P. Devuyst, « Les robots : plus qu’un rêve, une réalité », Athena, mai 2014, pp. 38-
41). Cfr aussi les sites : http://www.ifr.org (de l’International Federation of Robotics) et
http://www.eu-robotics.net (de la european Robotics Association).
4
« En compagnie des robots » (enquête de Popular Science) in Courrier international
(édition Belgique), 18-31 décembre 2014, pp. 36-42.
5
Cfr the spécial issue « The social life of robots. From automatons to co-workers and
companions » in Science, 10 october 2014, pp. 178-203.
6
Signalons ici l’Oscar décerné, à Hollywood, par l’Académie des Arts et des Sciences du
Cinéma (AMPAS) , à la société Flying-Cam (fondée à Liège, en 1988, par Emmanuel
Prévinaire) pour son système de prise de vue aérienne sans pilote. Ce système a été utilisé
pour des films aussi célèbres que Harry Potter ou James Bond !

2
d’inspiration très important pour le développement des engins robotisés imitant des animaux
de toute taille7.

Dans cet article, nous allons aborder certaines questions que suscite la robotisation croissante
des activités de notre société. En effet, une technologie de cette nature modifie en profondeur
les relations entre les personnes humaines et donc engendre progressivement un mode
nouveau de société et peut-être aussi une autre manière de concevoir l’humain. Sans
technophobie, il importe néanmoins d’être attentif aux types de structures sociales et aux
genres d’anthropologies que peuvent nous imposer, sans que nous le sachions ou que nous le
voulions, des révolutions technologiques aux dimensions planétaires. Cette attention est
d’autant plus importante que la fascination pour les performances inédites des robots pourrait
nous faire oublier, dans l’éblouissement de leurs prouesses, quelque prudence élémentaire.

2 Des robots au service de l’homme ?

2.1 L’homme réparé et assisté

La robotisation a des aspects indubitablement positifs pour l’humain. Des prothèses robotisées
permettent aujourd’hui à des personnes handicapées de retrouver l’usage de leurs membres
amputés ou paralysés8. On peut en effet connecter au cerveau des systèmes informatiques qui
commandent des prothèses ou des exosquelettes reproduisant les actions et les fonctions de
ces membres absents ou déficients. Pour ne citer qu’un exemple récent le Applied Physics
Laboratory de la Johns Hopkins University a réussi récemment à faire greffer deux prothèses
à une personne amputée des deux bras. Ces prothèses commandées par un logiciel adéquat
relié au cerveau lui permettent aujourd’hui de retrouver un usage de ses bras.

Un autre aspect de la robotisation de la médecine est celui de l’introduction de

« nanorobots » dans le corps. Ceux-ci permettraient de surveiller en temps réel les paramètres
physiologiques et donc de signaler l’irruption d’une pathologie. Ces nanomachines pourraient
répondre instantanément aux problèmes médicaux en injectant automatiquement des
médicaments ou en se chargeant de la destruction de tumeurs par exemple.

Aujourd’hui les robots d’assistance aux opérations chirurgicale sont de plus en plus courants.
Ils permettent une précision et un contrôle des gestes du chirurgien, mais également une
possibilité d’opération à distance dans des régions où les spécialistes sont absents9. Ces robots
nécessitent la présence d’un opérateur, celui-ci est largement aidé par un système doué d’une
réelle autonomie. L’assistance robotisée en médecine est illustrée aussi par des machines qui
peuvent alléger le rôle des infirmiers ou des infirmières, en aidant au transport des patients, en
allant porter les médicaments dans leurs chambres, enregistrant éventuellement leurs désirs ou
leurs récriminations. Mais cette assistance peut aller encore plus loin quand on tente de
remplacer la présence humaine par des robots auprès des personnes âgées ou auprès d’enfants
souffrant de pathologies comme l’autisme par exemple.

7
Cfr A. Guillot, J.-A. Meyer, Poulpe Fiction. Quand l’animal inspire l’innovation, Paris,
Dunod, 2014. Ce livre contient des exemples tout à fait étonnants de « bio-inspiration » en
robotique.
8
Cfr le numéro spécial : « L’homme 2.0. L’être humain réparé, transformé, augmenté…
Jusqu’où ? » de Pour la Science, n°422, Décembre 2012.
9
Un exemple : le robot Da Vinci vendu par la firme Intuitive Surgical.

3
Toutes ces réussites exceptionnelles de la robotisation nous font presque oublier une
robotisation devenue aujourd’hui presque courante dans nos maisons ou nos jardins : robots
aspirateurs, robots tondeuses à gazon, mécanismes robotisés qui permettent à votre voiture de
se garer sans vous,… Au fond les robots sont partout,… du moins dans les sociétés
économiquement riches !

2.2 Fractures et oublis

Il est certain que l’on ne peut que se réjouir des possibilités offertes par la robotique, dans
notre vie de tous les jours et dans les cliniques, aux patients et aux médecins. Ces techniques
peuvent de fait contribuer au bien-être de l’homme et, à ce titre, elles doivent faire l’objet de
recherches de plus en plus poussées. Cependant, il convient de réfléchir maintenant à
quelques questions engendrées par l’irruption de ces possibilités exceptionnelles.

Une première question concerne les personnes qui auront accès à ces technologies
d’assistance robotisée. Il est à peu près certain que l’on va voir apparaître des fractures entre
les pays et entre les personnes, liées aux moyens financiers. On verra aussi, si l’on n’y prend
pas garde, se développer ce genre de faille entre les personnes « alphabétisées
technologiquement » et celle qui sombrent petit à petit dans l’analphabétisme, n’ayant que
peu de capacités à manipuler les techniques robotisées.

Ceci se constate déjà avec l’informatique, on parle ici de fracture numérique. L’usage de plus
en plus important et exclusif des ordinateurs, des tablettes ou des Smartphones, pour la
transmission d’informations essentielles, écarte certaines populations pauvres ou les acculent
à un endettement (par une publicité harcelante) et produit une dépendance d’une grande partie
de la population par rapport aux industries qui produisent ce genre d’objets technologiques.
On écarte aussi des personnes qui, tout en ayant les moyens, n’ont pas ou plus la capacité de
vraiment comprendre et faire usage de ces techniques. On présuppose que tout le monde est à
son aise pour manipuler les technologies informatiques (on le présupposera demain pour les
robots !), mais il n’en est rien. Il suffit de penser à une personne âgée atteinte d’un début de
maladie de Parkinson et obligée de prendre son billet de train à un automate sophistiqué d’une
gare de province (l’imprécision des gestes, la difficulté de comprendre la particularité du
vocabulaire utilisé à l’écran, …, peuvent être autant d’obstacles à l’utilisation de cette
technique). On peut veiller à réduire ou à atténuer ces fractures numériques ou robotiques.
Cependant, les motivations qui poussent à propager les nouvelles technologies (augmentation
des profits en diminuant le nombre d’emplois dans les gares, dans les banques, dans les
hôpitaux,…) sont aussi celles qui entravent la mise en place de moyens humains permettant
de réduire ces fractures. On risque donc de voir se développer un nouveau « quart-monde
technologique », c’est-à-dire un nouveau groupe de pauvres et une nouvelle forme de
pauvreté. A la base de cela, il y a un présupposé que souvent l’on ne veut pas prendre en
compte : financièrement, physiquement ou mentalement, les personnes ne sont pas égales du
point de vue de l’achat et de l’utilisation de techniques qui progressivement envahissent notre
société, souvent en raison d’impératifs seulement économiques.

Le remplacement de l’homme par la machine peut avoir, dans beaucoup de situations, un

aspect réellement positif. Il serait stupide et dangereux de le nier. Mais, on ne peut passer sous
silence des effets secondaires négatifs indissociablement liés à ce remplacement. Un de ces
aspects est la question de l’abandon des personnes. Il peut être amusant de donner à des
pensionnaires d’une maison de repos et de soins des robots de compagnie qui s’agitent,
dansent, chantent et répondent quand on leur parle. Dans le fond, il s’agit d’une forme

4
technologiquement avancée des ours en peluche. Néanmoins, cela peut conduire, petit à petit,
à une attitude qui reviendrait, avec une bonne conscience, à ne plus s’occuper
qu’épisodiquement de ces pensionnaires, sous prétextes qu’ils ont leurs robots de compagnie !
On pourra, à juste titre, objecter que le rapport aux robots de compagnie diffère de culture à
culture et que certaines personnes s’accommodent bien de la seule compagnie de la machine
comme elles peuvent s’accommoder aussi bien de leur seul animal de compagnie. Mais, on ne
peut s’empêcher de s’insurger contre un abandon des personnes, justifié par des impératifs de
rentabilité économique ou par une conception autoritaire décidant que telle ou telle personne
n’aurait plus besoin, ou ne pourrait plus avoir, de réelles relations humaines, et que dès lors
des machines lui suffiraient. Dans ce remplacement de l’homme par les robots se joue au fond
la nature et la valeur de l’homme lui-même et des relations qu’il peut nouer avec ses
semblables. Toute l’éthique des nouvelles technologies va donc devoir prendre position quant
à cette valeur et quant aux exigences qui en découlent.

2.4 L’homme transformé : robots et phantasmes posthumanistes

Nous venons de dire qu’une réflexion sur la robotisation doit à, un moment ou à un autre,
rencontrer la question profonde de la nature de l’homme10. Un indice de cela est que les
mouvements qui remettent profondément en question la nature humaine (et la pertinence
même de ce concept) sont fortement liés aux avancées et possibilités de la robotique.

De fait, les robots donnent un appui sans précédent aux idées transhumanistes ou
posthumanistes11. Les « transhumanistes » envisagent une « amélioration » de l’homme en
vue de son épanouissement et les « posthumanistes » rêvent d’une « transformation » radicale
de l’humain, considéré seulement comme une étape transitoire d’une évolution sans finalité.
L’amélioration des conditions de vie de l’homme par le robot ne fait pas problème. L’homme
est un être créateur d’outils, de techniques et de technologies variées. Cependant, on ne peut
pas s’empêcher de songer qu’il y a quelque chose de contradictoire dans le fait, pour
l’homme, de vouloir transformer et même d’abandonner sa condition pour devenir autre chose
que lui.

Un phantasme polarise le posthumain : celui d’une liberté totale (la technologie me donne les
moyens de réaliser tout ce que je veux, quand je le veux ; y compris la liberté de modifier ou
d’échapper complètement aux contraintes anatomiques par exemple).

Mais ce phantasme rencontre un obstacle conceptuel. Soit je pense mon devenir en songeant à
me remplacer progressivement par des machines que j’ai moi-même créées. Je me libère en
devenant une « super-machine », qui n’est au fond qu’une construction soumise aux limites
de l’homme. Soit, je rêve d’un moment où une innovation radicale, une « singularité » va
arriver, et où je serai transformé en autre chose que je ne connais pas et avec laquelle je n’ai
pas de commune mesure. Dans les deux cas, je nie véritablement ma liberté : dans le premier

10
Cfr par exemple : D. Lambert, « L’homme robotisé et le robot humanisé: défis
anthropologiques et éthiques » in L’Homme, un animal comme les autres? (sous la dir. de J.
Reisse et M. Richelle), Bruxelles, Académie Royale de Belgique, 2014, pp. 67-89 ; D.
Lambert, « Noi robot. L’antropologia cristiana nell’epoca dei cyborg », Il Regno, N. 1163, 15
marzo 2014, pp. 203-209.
11
Cfr G. Hottois, Le transhumanisme est-il un humanisme, Bruxelles, Académie Royale de
Belgique, 2014, L’Académie en poche ; J.-M. Besnier, Demain les posthumains, Paris,
Pluriel, 2012.

5
cas je deviens une « super-machine » crée par l’homme, dans le deuxième cas je
m’abandonne à ce que je ne connais pas et que je ne saurais librement désirer. Le
posthumanisme risque donc de se retrouver dans une contradiction performative. En
prétendant exalter la liberté fondamentale de l’homme, il l’asservit.

Cet obstacle nous donne déjà un élément pour penser une éthique de la robotique. Il est
parfaitement légitime de promouvoir tout ce qui peut déployer les potentialités de l’homme et
de sa liberté. Mais, en vertu du refus d’une situation contradictoire (qui ne correspondrait au
fond à aucune réalité consistante), on ne peut adhérer à une conception qui conduirait à nier
l’homme et sa liberté tout en affirmant promouvoir la seconde et valoriser le premier. Ceci
revient à refuser une conception de la robotisation qui ferait de l’homme « augmenté » un
homme « diminué et enchaîné »!

3 Des robots décideurs : finance, guerre et paix

3.1 Finance et robotisation

Un des domaines où la robotisation est la plus préoccupante est celui de la finance. Les robots
financiers sont des machines qui captent en temps réel des informations concernant les
marchés. Ces robots analysent ensuite ces dernières, en calculant les stratégies financières qui
permettraient, avec un minimum de risque, de maximiser les profits. Enfin, ils agissent ou
rétroagissent sur le marché en donnant des ordres d’achat et de vente avec une vitesse
hallucinante. Ces robots-traders nous font entrer dans le champ d’une économie tout à fait
virtuelle. En généralisant l’usage de ces machines financières, ont abandonne un pouvoir de
décision important impliquant la sécurité des sociétés et des ménages à des logiciels et à leurs
programmes. Nous n’entrerons pas dans l’étude détaillée de ces robots et des problèmes qu’ils
posent, nous voudrions seulement signaler trois problèmes.

Premièrement le comportement des robots-traders dépend de leurs logiciels (par exemple

pour un calcul de risque). Mais ceux-ci sont programmés en tenant compte de présupposés qui
sont porteurs des limites de la connaissance humaine, mais aussi des présupposés
idéologiques de leurs concepteurs. Le danger, qui existe de manière générale dans toutes les
technologies modernes, c’est, avec l’usage, l’habitude et les réussites brillantes, l’oubli
progressif de ces limites et de ces présupposés. Une sorte de fausse neutralité ou objectivité
s’instaure, entourant le fonctionnement des machines.

Prenons un exemple. Un expert, un ingénieur financier, peut très bien (parce qu’on lui a
toujours appris à faire de la sorte lors de sa formation) implémenter dans un robot un
programme de calcul de risque d’une transaction boursière basé sur une description
« brownienne » des cours de la bourse. Or on sait que, de temps à autre, cette description n’est
pas valable (il peut y avoir de larges fluctuations non-browniennes, qui sont rares, mais dont
les conséquences financières sont extrêmement graves). Mais l’expert n’a pas nécessairement
appris les outils mathématiques décrivant ces situations non-browniennes (le « vol de Lévy »
par exemple) dont l’implémentation ne lui est pas habituelle12. Avec le temps, on va
s’habituer à ne plus remettre en question les algorithmes qui ont fait leur preuve la plupart du
temps, en oubliant que parfois ces programmes peuvent très bien ne plus correspondre à la

12
Nous renvoyons le lecteur à M.F. Shlesinger, J. Klafter, G. Zumofen, « Above, below and
beyond Brownian motion », American Journal of Physics, 67 (1999) 1253-1259.

6
réalité13. On est confronté ici à un problème classique : le robot est fait par l’homme, mais
l’homme, au bout d’un moment, est tellement fasciné par les réussites de son robot qu’il en
oublie qu’il en a été le créateur avec toutes les limites que cela comporte.

Notre propos n’est bien entendu pas ici de nier le rôle et l’importance des ingénieurs
financiers et des experts en général. Les garants fiables de la construction et du
fonctionnement des machines sont les experts (et il ne viendrait pas à l’idée d’une personne
responsable de confier la gestion d’un outil technologique avancé à quelqu’un qui n’est pas un
expert !). Mais l’expert reste un humain soumis à des limites cognitives et à des options
dictées par un pouvoir qui souvent n’a rien de scientifique.

Un deuxième problème vient de la vitesse des transactions. Celle-ci fait qu’en cas de
disfonctionnement, de grandes pertes peuvent être occasionnées pendant le temps nécessaire à
l’arrêt de la machine (il suffit de penser à une situation assez réaliste où, pour arrêter un robot
qui effectue 100 000 transactions à la seconde, il faudrait une demi minute !) Nous pouvons
constater ici que la vitesse de l’outil technologique devient un danger et que la lenteur (toute
relative) des transactions boursières classiques peut être un gage de sécurité financière.
Certains gouvernements mettent d’ailleurs en place des législations qui limitent la vitesse des
transactions (pour éviter des stratégies offensives et déloyales, d’introduction et de retrait
ultra-rapides d’ordres).

Ce deuxième problème en amène un troisième, qui est la perte progressive du sens de la

finance induite par sa robotisation. L’outil technologique avec ses performances tellement
éloignées de celles de l’humain crée une situation dans laquelle les finalités de l’économie
réelle sont perdues14. On peut se demander si la technologie de l’electronic trading n’a pas
engendré un monde virtuel qui n’a plus que des liens très éloignés avec ce que devrait être un
marché financier. Nous voyons poindre ici une question centrale qui est celle des finalités. La
société ne peut pas se contenter de suivre une technologie parce que son développement était
possible ou simplement rentable pour une petite partie de sa population. Une réflexion de
fond doit être menée pour savoir où va nous mener, et ce que va engendrer, à terme
l’introduction d’un nouveau dispositif technologique. Dans le cas que nous envisageons, si un
outil technologique qui devrait être au service d’une économie mondiale juste devient une
instance tyrannique, incontrôlable et dangereuse pour la stabilité financière des états et des

13
« L’efficacité opératoire des mathématiques browniennes, alliée à l’informatique, a permis
d’automatiser de nombreuses opérations. Elle a facilité cette évolution qui a accéléré les
transactions financières au point de les rendre impossibles à appréhender par l’homme.
L’illusion brownienne est en phase de transformer les humains en machines… La titrisation à
grande échelle, facilitée par les progrès techniques a estompé la dimension de responsabilité
humaine du métier de banquier: se sent-on responsable d’un crédit dont le risque a été
distribué sur une longue chaîne d’acteurs, au point où l’on ne sait même plus qui couvre quoi?
La financiarisation générale de l’économie tend à créer de toutes pièces des marchés de plus
en plus artificiels. Tous ces effets sont aggravés par une représentation dans laquelle les
acteurs humains, assimilés à des automates rationnels, perdent leur substance. Cela a des
conséquences majeures pour la réflexion éthique, réactualisée par la crise. Un automate est-il
responsable? Peut-il être soumis à des interdits? » (Ch. Walter, M. de Pracontal, Le virus B.
Crise financière et mathématiques, Paris, Seuil, 2009, pp.114-115). Cet ouvrage est de notre
point de vue extrêmement éclairant.
14
Cfr N. Bouleau, Mathématiques et risques financiers, Paris, Odile Jacob, 2009.

7
particuliers, il importe de soumettre cet outil à une critique approfondie. Ici, comme dans tous
les autres cas qui impliquent des robots, la machine doit rester au service de l’humain et non
l’inverse. Cependant, l’homme se place parfois dans des situations où, sans l’avoir
nécessairement recherché, il devient comme l’esclave de la technologie qu’il a inventée.

3.2 Une robotisation du droit et de la politique ?

Le droit n’échappe pas non plus à des projets de robotisation. La constitution d’un droit
international présuppose la gestion et la mise en système d’un très grand nombre de corpus de
lois enracinés dans des traditions juridiques très différentes. Des machines pourraient se
charger de la récolte d’informations juridiques et de leur synthèse afin d’aider par exemple les
juges des tribunaux pénaux internationaux à rendre leurs arrêts. Cependant, comme l’a bien
montré Mireille Delmas-Marty, professeur au Collège de France, dans une étude intitulée
« La justice entre le robot et le roseau »15 :

« une telle synthèse est impossible à l’homme ordinaire. Elle doit porter sur
les ‘divers systèmes juridiques du monde’ […] eux-mêmes confrontés à
l’ensemble du droit international. C’est pourquoi l’assistance informatique
sera indispensable […] »

Cette assistance devra avoir une nature non seulement « informatique », mais réellement
« robotique ». En effet, il ne s’agit pas seulement de créer des bases de données juridiques très
complètes. Il s’agit aussi d’analyser l’information, pour en dégager des principes de
comparaison et de mise en système, évitant de privilégier consciemment ou inconsciemment
une tradition juridique par rapport à l’autre. Comme le dit très justement Madame Mireille
Delmas-Marty16 :

« Si l’on veut éviter de favoriser ainsi une conception parfois qualifiée de

néocolonialiste de la justice mondiale, il faudra mettre au point des
méthodes d’hybridation qui systématisent l’étude comparative des divers
systèmes nationaux et internationaux pour en tirer des méta-principes, une
sorte de grammaire hybride, autour de laquelle établir des règles communes.

Dans une perspective aussi ambitieuse, l’assistance des robots devra aller
bien au-delà de l’apport documentaire, afin de dégager les points de
convergence et de concevoir des programmes de mise en compatibilité, en
contribuant à l’harmonisation des dispositifs nationaux, car cette justice
internationale passe aussi par les juges nationaux (compétence
universelle). »

Et le caractère « robotique » se justifie pleinement, dans la mesure où les juges des instances
internationales auront besoin, outre la récolte et l’analyse (par intelligence artificielle) des
informations nationales, de systèmes automatisés d’aide à la décision, proposant aux juges les
sentences adéquates.

15
M. Delmas-Marty, « La justice entre le robot et le roseau » in L’homme artificiel (Colloque
annuel du Collège de France, sous la dir. de J.-P. Changeux), Paris, Odile Jacob, 2006, p. 243.
16 M. Delmas-Marty, « La justice entre le robot et le roseau », op.cit., p. 243.

8
Le professeur Delmas-Marty a contribué, de manière très éclairante, à montrer que si la
robotisation sera incontournable, elle ne pourra pas faire l’économie de la présence d’un
acteur humain. Celui-ci reste indispensable pour l’interprétation et la sélection des
informations que l’on juge indispensables aux robots. Ceux-ci ne peuvent aisément créer ou
dégager les critères pertinents pour effectuer une telle sélection et une telle interprétation.

Mais la présence irréductible de l’humain est liée aussi au fait que ce dernier, avec ses
« imperfections », peut être une protection contre des dérives et des dysfonctionnements.
C’est là un des apports très importants de Mireille Delmas-Marty17 :

« Derrière l’idée d’une justice assistée par l’informatique, surgit la crainte

des juges robots, appliquant de façon mécanique les règles inscrites dans les
textes et reproduites par l’ordinateur. En somme, la crainte d’une justice
trop sûre d’elle-même (…) Mais l’informatisation rend plus difficilement
réversibles certains dysfonctionnements. C’est ici que, paradoxalement, les
imperfections de la justice doivent rester une protection du justiciable ».

Nous retrouvons ici un des aspects que nous avons soulignés lors de l’analyse de la
robotisation de la finance. Les limites de l’humain (lenteur, ignorance, doute,…) peuvent se
révéler être une protection contre certains emballements des systèmes automatisés. Mireille
Delmas-Marty définit ici une position très intéressante qui ne renonce en aucun cas aux
possibilités intéressantes des techniques de robotisation, mais qui montre la nécessité de
l’acteur humain comme garant de la sécurité d’un système qui doit rester à son service. Dans
un très beau passage où elle évoque le « roseau pensant » de Pascal, Madame Delmas-Marty
affirme que18 :

« L’assistance des robots sera indispensable à la justice pour maîtriser la

complexité croissante des systèmes de droit et contribuer à l’émergence
d’une justice à la fois nationale, régionale et mondiale. Mais la fragilité et la
flexibilité du roseau lui restent d’autant plus nécessaires que le doute est la
condition d’une justice qui accepte parfois de renoncer à punir précisément
« au bénéfice du doute » ou même de renoncer à juger pour permettre le
pardon qui conditionne la réconciliation. »

Au fond, le juge ne peut être remplacé complètement par une machine, car il existe des
situations où le jugement doit être rendu malgré l’incomplétude ou l’incertitude des
informations disponibles, malgré les conflits liés à des interprétations contradictoires, … Dans
de telles situations, le jugement ne peut être fondé sur des règles toutes faites ou des principes
a priori. Les algorithmes sont donc, dans ces cas, largement inopérants.

Dans ces situations, le juge doit décider d’appliquer des règles générales à des situations très
singulières, inédites. Il fait appel ici à ce que la tradition philosophique appelle, à la suite
d’Aristote, la « prudence » (phronesis). Thomas d’Aquin qualifie cette « vertu » en disant19 :
« prudentia appliquat universalem cognitionem ad particularia ». Elle est indispensable dans
la mesure où, comme le rappelle le Docteur Angélique, « l’homme ne peut être dirigé par des
vérités absolues et nécessaires, mais selon des règles dont le propre est d’être vraies dans le

17
Ibid., pp. 244-245.
18
M. Delmas-Marty, La justice entre le robot et le roseau, op.cit., p. 246.
19
Summa Theologiae, IIa, IIae, q.49, a.1., ad primum.

9
plus grand nombre de cas »20. Et c’est bien là le problème que pourraient rencontrer les
algorithmes des robots juges. La décision d’appliquer telle règle à telle situation ne relève pas
elle-même d’une règle ou d’une procédure pouvant être standardisées. Cette décision n’est
pas non plus aléatoire (dans ce cas on pourrait modéliser la décision à l’aide d’un algorithme
« probabiliste »). La décision prudente repose au fond sur l’expérience, sur une perception
assez globale d’un contexte, sur des valeurs, sur une pratique de l’interprétation, qui n’est pas
automatisable.

Dans ces situations, comme le montre bien la citation ci-dessus, le juge doit parfois s’interdire
d’appliquer la loi. Il doit parfois transgresser certaines règles, pour préserver l’esprit du droit
qui va bien au-delà de sa lettre. Mais comment envisager de programmer une machine pour
qu’elle sache comment transgresser ses propres règles pour en sauver l’esprit ? On pourrait
envisager de lui faire subir un apprentissage, mais dans quels contextes, suivant quelles
procédures ?

La question des limites de la robotisation du droit renvoie à un débat assez ancien concernant
la pertinence d’une formalisation logique complète de la décision juridique, sous la forme par
exemple, d’une logique déontique21. Une réflexion adéquate sur la logique déontique22 et ses
divers paradoxes, ainsi qu’une approche de la rhétorique juridique23, montre que la
formalisation complète d’un jugement n’est ni adéquate ni souhaitable pour un
fonctionnement de la justice.

Dès le début de la robotique et de la cybernétique, il est intéressant de signaler que s’est posée
aussi la question de la robotisation de la décision politique. Peu après la publication, en 1948,
du livre important de Norbert Wiener, Cybernetics or Control and Communication in the
Animal and the Machine24, le dominicain Dominique Dubarle, publiait, dans Le Monde, un
article intitulé : « Une nouvelle science : la cybernétique. Vers la machine à gouverner ? »25.
Le dominicain se posait la question suivante26 :

« Ne pourrait-on imaginer une machine à collecter tel ou tel type

d'information, les informations sur la production et le marché par exemple,

20
Summa Theologica, Iia, IIae, q. 49, a. 1., respondeo.
21
Cfr Ch. Perelman, L. Tyteca, La nouvelle rhétorique. Traité de l’argumentation, t. I, t. II,
Paris, P.U.F., 1958 ; Les objections de Perelman ont été présentées, entre autres, lors du
quatorzième Congrès international de Philosophie à Vienne en septembre 1968 (Akten des
XIV Internationalen Kongress für Philosophie, t. II, Wien, Herder, 1968, pp. 269-311).
22
P. E. Navarro, J.L. Rodriguez, Deontic Logic and Legal Systems, Cambridge University
Press, 2014.
23
Il sera utile de consulter à ce propos le livre de R. Schmetz, L’argumentation selon
Perelman. Pour une raison au cœur de la rhétorique, Namur, Presses Universitaires de
Namur, 2000.
24
Paris, Hermann/ M.I.T. Press, 1948. Une traduction française est disponible : N. Wiener, La
cybernétique. Information et régulation dans le vivant et la machine (trad. par R. Le Roux, R.
Vallée et N. Vallée-Lévi ; présenté par R. Le Roux), Paris, Seuil, 2014, Sources du Savoir.
25
Le Monde, 28 décembre 1948, pp. 47-49. Pour une analyse de la réaction de Wiener à cet
article cfr : la présentation de R. Le Roux de la traduction du livre de N. Wiener,
Cybernétique et société. L’usage humain des êtres humains (trad. par P.-Y. Mistoulon), Paris,
Seuil, 2014, pp. 29-30.
26
p. 49.

10
 puis à déterminer en fonction de la psychologie moyenne des hommes et des
mesures qu'il est possible de prendre à un instant déterminé, quelles seront
les évolutions les plus probables de la situation? Ne pourrait-on même
concevoir un appareillage d'état couvrant tout le système de décisions
politiques, soit dans un régime de pluralité d'Etats se distribuant la terre, soit
dans le régime apparemment beaucoup plus simple, d'un gouvernement
unique de la planète? Rien n'empêche aujourd'hui d'y penser. Nous pouvons
rêver à un temps ou une machine à gouverner viendrait suppléer - pour le
bien ou pour le mal, qui sait? - l'insuffisance aujourd'hui patente des têtes et
des appareils coutumiers de la politique ».

Un tel robot pourrait être programmé en assimilant la vie politique à un « jeu », au sens que
lui donne la théorie mathématique des jeux27 :

« les processus humains qui font l'objet du gouvernement sont assimilables

à des jeux au sens où von Neumann les a étudiés mathématiquement,
seulement à des jeux incomplètement réglés, jeux en outre à assez grand
nombre de meneurs et à données assez multiples. La machine à gouverner
définirait alors l'Etat comme le meneur le plus avisé sur chaque plan
particulier, et comme l'unique coordinateur suprême de toutes les décisions
partielles. Privilèges énormes qui, s'ils étaient scientifiquement acquis,
permettraient à l'Etat d'acculer en toutes circonstances tout joueur au "jeu de
l'homme" autre que lui à ce dilemme: ou bien la ruine quasi immédiate, ou
bien la coopération suivant le plan. Et cela rien qu'en jouant le jeu, sans
violence étrangère. Les amateurs de « meilleur des mondes » ont bien de
quoi rêver... »

A la fin de son article, Dubarle attire l’attention sur les risques d’un tel robot politique dont
l’efficacité pourrait fasciner ceux qui sont effrayés par les turbulences ou les instabilités des
sociétés humaines. Mais qui seraient les programmeurs d’un tel robot ? Quelles philosophies
politiques et quelles valeurs présideraient à sa programmation ? Une telle machine à
gouverner pourrait mener à la manipulation des foules sous couvert d’une neutralité ou d’une
efficacité technologique et, comme le dit Dubarle, au « surgissement d'un prodigieux
Léviathan politique. Celui de Hobbes n'était du reste qu'agréable plaisanterie. »28

Aujourd’hui, certaines des interrogations de Dubarle prennent une réalité très concrète,
lorsqu’on sait que certains groupes délèguent à des robots le soin d’engendrer ou de disperser
sur le Web des messages soutenant ou critiquant certaines opinions politiques. Une véritable
guerre électronique d’idées gérée par des machines autonomes mises au service de
propagandes les plus diverses n’est donc plus du tout de l’ordre de la fiction.

Wiener, comme l’a bien souligné Pierre Cassou-Noguès dans son livre Les rêves
cybernétiques de Norbert Wiener29, avait bien perçu que ce type de machine à gouverner
pourrait obscurcir grandement le problème des responsabilités politique. C’est un problème

27
Idem. Pour une introduction rapide à la théorie des jeux, nous renvoyons le lecteur non-
spécialiste au numéro hors-série « Théorie des jeux. Stratégies et tactiques », Tangente, HS
n°46, Paris, 2013.
28
Idem.
29
Paris, Seuil, 2014, pp. 132-133.

11
devenu courant aujourd’hui dans l’utilisation des robots autonomes. Lors de
disfonctionnement, celui qui le met en action peut toujours se retrancher dans une position où
il se disculpe en invoquant les défaillances du système.

La fascination pour les performances des robots peut induire et sembler légitimer un transfert
de pouvoirs décisionnels importants de l’homme vers la machine. Dans un deuxième temps,
ce transfert peut s’accompagner d’une décharge ou d’un oubli (conscient ou non) des
responsabilités impliquées par la mise en œuvre des robots autonomes. Comme le
recommande Wiener, il importe de garder à l’œil le fait que les utilisateurs de robots
(économistes, juges ou politiciens), pourraient30 :

« éviter de prendre une responsabilité personnelle dans une décision

dangereuse et désastreuse en déplaçant cette responsabilité (…) dans un
dispositif mécanique que l’on ne comprend pas entièrement mais qui a une
objectivité supposée. »

Norbert Wiener nous invitait à la prudence dans ce domaine, lorsqu’il affirmait31 :

« Si nous sommes assez stupides pour abdiquer en tant qu’êtres humains et

refuser le respect à nos congénères au nom de considérations douteuses sur
l’efficacité et l’intelligence des machines, alors en effet l’humanité quittera
la scène et le mérite bien. Ce qui importe est de préserver un mode de vie
humain, et aucune des perfections attribuées à la machine ne peut modifier
substantiellement notre responsabilité à ce propos ».

Un problème supplémentaire surgit ici. Les systèmes robotisés que nous avons évoqués sont
largement autonomes. Par définition donc, ils peuvent avoir des comportements
imprévisibles, inédits lorsqu’ils sont placés dans tel ou tel environnement. La question se pose
donc de savoir si l’on peut laisser agir un tel système autonome dont les actions imprévues
peuvent entraîner des conséquences potentiellement graves (en termes de vie ou de mort
physique ou économique). Nous pensons que nous touchons ici à l’une des limites
importantes de l’usage des robots autonomes. On peut admettre une réelle autonomie lorsque
ses conséquences, balisées a priori, n’induisent pas de comportement qui seraient réprouvés
dans le cadre éthique adopté par l’utilisateur. Mais, dans le cas contraire, il importe de ne pas
mettre en jeu le mode autonome de fonctionnement. Ce qui implique l’existence d’une
procédure (habituel ou d’urgence) permettant de sortir de ce mode.

3.3 Une guerre robotisée sans visage et sans responsable ?

L’utilisation des robots autonomes dans le cadre économique, juridique ou politique pose déjà
des questions importantes du point de vue éthique. Leurs usages dans le domaine de la
sécurité et de la défense étendent et aggravent ces questions. De nombreuses publications ont
été consacrées ces derniers temps à ce sujet. Nous nous contenterons d’épingler seulement
quelques problèmes cruciaux32.

30 N. Wiener, God and Golem, cité de P. Cassou-Noguès, Les rêves cybernétiques de Norbert
Wiener, op.cit., p. 133.
31
N. Wiener, brouillon pour God and Golem, cité de P. Cassou-Noguès, Les rêves
cybernétiques de Norbert Wiener, op.cit., pp. 165-166.
32
Nous renvoyons ici le lecteur aux publications suivantes : P.W. Singer, Wired for War. The

12
L’usage des robots dans ce domaine peut se concevoir au niveau de missions logistiques
(transport de matériel ou de personnel), de surveillance et de reconnaissance, ou encore de
combat. Il est essentiel de distinguer dans le domaine militaire les robots aux comportements
automatisés et ceux qui seraient autonomes.

Les exemples les plus connus de « warbots » sont les drones aériens. Aujourd’hui, ces robots
armés sont téléopérés, c’est-à-dire, commandés à distance par des opérateurs. Ils ne sont donc
pas entièrement autonomes, même s’ils sont largement automatisés pour toute une série de
tâches et de comportements. Il existe par ailleurs des robots armés qui sont automatisés sans
être téléopérés. Nous allons envisager successivement les questions que posent les robots
armés téléopérés, automatisés et autonomes.

Les questions juridiques et éthiques posées par les drones téléopérés sont largement les
mêmes que celles qui émergent avec les armes classiques33. En effet, il n’existe pas de
différence fondamentale, du point de vue éthique, entre un bombardement d’une cible par un
drone téléopéré ou par un chasseur-bombardier ou encore par un missile de croisière. Ces
opérations sont réalisées sous la supervision d’opérateurs (situés tous à plus ou moins grande
distance de la cible) via une médiation technologique extrêmement sophistiquée. Les
questions sont en fait aussi graves et similaires dans tous ces cas. Bien entendu, il convient de
ne pas simplifier les problèmes. Le fait qu’un drone puisse être facilement piraté et récupéré
par des puissances ennemies ou que sa mise en œuvre soit plus simple que certains autres
systèmes d’armes (avec les risques de prolifération et d’utilisation par des groupes
malveillants), posent des questions particulières qu’il convient de ne pas négliger et qui
viennent se surajouter à celles que posent l’emploi des armes classiques auxquelles nous
faisions allusion.

En plus de ces questions, certains problèmes se posent spécifiquement lorsque l’on utilise les
armes téléopérées comme les drones aériens. Des rapports importants ont été consacrés à
l’impact des actions de drones sur les populations34. On pourrait dire que ces armes ont un

Robotics Revolution and 21st Century Conflict, New York, Penguin, 2009 ; «War Machines»,
Scientific American, July 2011, pp. 36-43 ; « Robotique militaire. La révolution est en
marche», DSI (Défense et Sécurité internationale) Hors-Série, n°10, Février-Mars, 2010.
Robots on the Battlefield. Contemporary Issues and Implications for the Future (R. Doaré, D.
Danet, J.-P. Hanon, G. de Boisboissel, eds), Fort Leavenworth, Combat Studies Institute
Press/ Ecoles de Saint-Cyr Coëtquidan, 2014 ; P. Lin, G Bekey, K. Abney, « Autonomous
Military Robotics : Risk, Ethics, and Design », rapport à destination du US Department of
Navy, Office of Naval Research, 2008, California Polytechnic State University, « Ethics +
Emerging Sciences Group », San Luis Obispo (disponible sur le Web).
33
Cfr les deux ouvrages suivants aux orientations très différentes voire antagonistes : Killing
by remote control. The ethics of an unmanned military (B. J. Strawser, ed.), Oxford
University Press, 2013 ; G. Chamayou, Théorie du drone, Paris, La Fabrique, 2013 (une
recension intéressante de ce dernier ouvrage par J.-B. Jeangène Vilmer est disponible sur le
site : http://jbjv.com).
34
Cfr par exemple : « Living Under Drones: Death, Injury and Trauma to Civilians from US
Drone Practices in Pakistan », International Human Rights and Conflict Resolution Clinic de
la Stanford Law School (Stanford Clinic) ; Global Justice Clinic à la New York University
School of Law (NYU Clinic) : http://www.livingunderdrones.org/report/; rapport d’Amnesty

13
impact psychologique spécifique35. Le fait, par exemple, d’entendre en permanence le
bourdonnement de machines susceptibles de faire feu peut avoir un impact non négligeable
pour ce qui est du stress induit sur les populations civiles36. De plus, les moyens sophistiqués
de détection et d’acquisition d’information peuvent entraîner des abus au niveau du respect de
la vie privée, ressentie plus ou moins gravement selon les cultures.

Envisageons à présent le cas des robots automatisés (mais non téléopérés). Un exemple
d’arme automatisée est donné par des systèmes de protection des navires37, capables
d’identifier et de détruire automatiquement des missiles, ou encore par des systèmes de
protection des installations capables de contrer des tirs de mortiers. Un autre exemple est celui
des systèmes d’armes protégeant des frontières, comme celui qui est déployé dans la zone
démilitarisée qui sépare les deux Corées38. Dans les deux cas, les types et les espaces de
réaction sont strictement définis. En fait, l’automaticité implique, d’une part, que l’on ait
précisé et borné rigoureusement l’environnement du robot et que, d’autre part, l’on soit en
mesure de prédire et de contrôler les réponses possibles du système armé. Dans ce cas, on
reste dans le cadre d’un contrôle effectif et efficace (indirect dans le cas de l’automaticité) par
une autorité humaine39, même si un opérateur n’est pas requis en permanence. Le point
crucial, d’un point de vue éthique ou juridique, que l’on soit dans le cadre de la téléopération
ou de l’automaticité, c’est de veiller à ce que la maîtrise technologique du système soit
toujours assurée et balisée et que les comportements de ce dernier respectent le droit et les
valeurs morales que l’on défend.

Venons-en au cas des robots autonomes armés. Ceux-ci pourraient être définis, en première
approximation, comme des robots capables de rechercher, d’identifier et d’utiliser des armes
(létales ou non) sans médiation humaine, dans un environnement non limité (ouvert), ni
prescrit a priori, avec la capacité de s’y adapter (éventuellement par apprentissage).

L’usage de ces systèmes d’armes (appelées LAWS, Lethal Autonomous Weapon Systems)
inquiète, à juste titre, toute une série de groupes et d’institutions de nos sociétés40. Une
conférence de l’ONU à Genève a été spécifiquement dédiée à cette question41.

International sur les frappes de drones au Pakistan : Will I be next ?US Drone Strike in
Pakistan, october 2013.
35
On pourrait rappeler ici, pour la compréhension, que le Stuka était un chasseur-bombardier
comme un autre (quoique relativement lent), mais le fait que sa sirène terrorisait les
populations civiles posait, à son propos, des questions éthiques supplémentaires.
36
Un effet analogue avait été noté durant la seconde guerre mondiale par le survol des V1, au
bruit caractéristique (lié à son pulsoréacteur), et dont on ne savait jamais où ils allaient
tomber. La population guettait avec angoisse le moment où le moteur allait s’arrêter indiquant
l’imminence de la chute.
37
Le système Phalanx par exemple.
38
Ce système est produit par Samsung Techwin.
39
Les robots armés automatisés (dont l’autonomie est restreinte à des environnements et à des
ensembles de comportements bien balisés) doivent être également soumis à un examen légal
et éthique poussé. Le critère de leur utilisation doit toujours être soumis à la volonté de
protéger l’être humain et de rester dans le cadre du droit humanitaire international.
40
Cfr N. Sharkey, « Robots wars are reality », The Guardian, 18 August 2007.
41
Convention on prohibitions or restrictions on the use of certain conventional weapons
which may be deemed to be excessively injurious or to have indiscriminate effects (CCW):
Meeting of Experts on Lethal Autonomous Weapons Systems – LAWS, United Nations,

14
Supposons que des puissances fassent usage de tels robots armés largement autonomes. Il
serait presque impossible qu’ils puissent satisfaire adéquatement aux exigences du droit
international humanitaire42 et de décider ce qu’est une réponse proportionnelle, ce qui est ou
non une nécessité militaire43. Car, pour ce faire, il faudrait que le robot puisse faire intervenir
des considérations qui sont difficilement traductibles en algorithmes ou intégrables dans une
mémoire.

La décision militaire est toujours une décision dans l’incertitude44, dans le brouillard (« the
fog of war »). Il faut non seulement anticiper les évolutions futures du conflit (en partie sur la
base de ce que l’on connaît du passé mais pas seulement), mais aussi décider le niveau de
risque que l’on est prêt à accepter pour les personnes ou le patrimoine (industriel, culturel, …)
des pays en conflit. Cette anticipation et la détermination du niveau de risque ne sont pas
entièrement calculables, car elles dépendent soit d’une capacité intuitive et prospective soit
des valeurs que l’on défend. Même dans les sciences de l’ingénieur, on peut très bien réaliser
un calcul mathématique fiable d’un risque technologique, mais la décision d’accepter ou non
tel niveau de risque n’est pas elle-même calculable. Elle procède en effet de choix fondés sur
des principes ou sur des données qui ne font nullement l’objet de lois nécessaires ou de
régularités mathématisables.

En conclusion, sans vouloir freiner des recherches en robotique, si elles sont orientées vers
l’aide et la sécurité de l’homme, il nous semble que l’on doive interdire la prolifération
d’armes dont le comportement n’est pas, par définition, bien contrôlé45. Par définition et
construction, en effet, l’arme totalement autonome est justement celle dont le comportement
peut à un certain moment innover et faire ce que le concepteur n’avait pas décidé46. Il importe
donc d’en interdire le développement et l’usage.

Geneva (14-06-2014). La Croix-Rouge, le Saint-Siège et un certain nombre d’ONG ont attiré

l’attention sur les dangers de ce genre de technologies militaires. Cfr aussi : R. Stone,
«Scientists Campaign Against Killer Robots », in Science, 342 (2013) 1428-1429.
42
Cfr par exemple le document de Pax Christi, Deadly Decisions. 8 Objections to Killer
Robots », Utrecht, PAX, 2014 ; cfr également l’intervention de Mgr S.M. Tomasi,
représentant permanent du Saint-siège à l’ONU, durant le Meeting of experts on lethal
autonomous weapons systems of the High contracting parties to the CCW, May 2014 : «Can
machines –well-programmed with highly sophisticated algorithms to make décisions on the
batllefield which seek to comply with the IHL (International humanotiry law) – truly replace
humans in decisions over life and death. The answer is no. »
43
Les principes classiques de la théorie de la « guerre justifiée » seraient aisément
inapplicables. Pour ce qui est de la « guerre juste » nous renvoyons aux livres très éclairants
de C. Ceulemans, Over oorlog en ethiek. De traditie van de rechtvaardige oorlog in theorie
en praktijk, Antwerpen/Apeldoorn, Garant, 2011 ; et de B. Coppieters, N. Fotion (eds.),
Moral Constraints on War. Principles and Cases (second edition), Lanham/Md, Lexington
Books, 2008.
44
V. Desportes, Décider dans l’incertitude, Paris, Economica, 2011.
45
On pourrait ajouter ici une autre source d’incertitude : un tel système complexe est
susceptible de multiples « bugs » et aussi de piratages qui pourraient conduire à une perte de
contrôle et à une imprédictibilité.
46
Les armes autonomes pourraient produire de manière imprédictible des dégâts collatéraux
importants. On est ici dans une situation assez similaire à celle des mines anti-personnel,

15
Il y a un autre risque qui nous pousserait à interdire ces armes autonomes. Si celles-ci
produisent des dégâts collatéraux, il est aisé, pour les autorités qui les ont mis en œuvre, de se
dissimuler derrières des listes interminables de responsables possibles (le concepteur, le
fabricant,…). Ce genre d’arme ouvre donc trop facilement la voie à des stratégies de
dissimulation des vrais responsables, sous le couvert de défaillances technologiques. Le
principe de juridique qui imputerait la responsabilité de ces dégâts à celui qui a ordonné
l’usage de ces robots autonomes est clair, mais dans la pratique on peut voir poindre le risque
d’une dilution des responsabilités47. C’est là le risque peut-être le plus concret et le plus
insidieux de l’utilisation de ce genre de système.

Certains ont suggéré que les robots armés complètement autonomes n’avaient pas de
pertinence. En effet, selon eux, aucun militaire sérieux ne voudrait mettre en œuvre une arme
qu’il ne peut maîtriser, sachant, de plus, que le politique et l’opinion publique exigent de plus
en plus un contrôle strict de toute activité militaire. Il ne faudrait donc pas s’attarder à la
question de ces LAWS. C’est peut-être aller un peu vite. En effet, il existe des situations où
l’utilisation de ces systèmes serait très « tentante ». Par exemple, dans le domaine sous-marin,
où la téléopération des engins est impossible à grande profondeur, ou encore pour des
missions qui doivent être effectuées, très loin, à très grande vitesse, dans des environnements
difficiles (de nuit, à basse altitude et dans un paysage montagneux par exemple). Nous
pensons qu’il est important de réfléchir à ces situations très particulières où l’on pourrait voir
l’homme s’effacer, abandonnant la maîtrise d’un système technologique susceptible de
prendre des décisions de vie ou de mort.

Le refus des LAWS signifie que l’on doit absolument maintenir ou réintroduire, à certains
moments décisifs qu’il faudrait préciser, lors de la mise en œuvre de robots armés, une
présence humaine, car, la relation humaine, avec ce qu’elle implique de compassion, de
possibilité de pardon, de transgression des règles pour préserver les vies et la dignité de
l’homme, s’est montrée diplomatiquement et militairement souvent plus performante dans un
certains nombre de cas historiques anciens ou récents. Même la lenteur de l’acteur humain
peut, dans certains cas, et à certains endroits de la boucle décisionnelle, s’avérer être un gage
de sécurité permettant de contrer l’emballement des processus militaires. Nous avons
d’ailleurs déjà souligné ce fait dans le contexte des robots financiers.

Le maintien (direct ou indirect) de cette présence humaine peut-être satisfaite si l’on fait un
usage rigoureux de robots téléopérés ou automatisés de sécurité ou de défense. Cependant, il
convient d’assurer que l’automaticité ne dérive pas (volontairement ou en raison d’une faille
technique) vers une entière délégation du pouvoir décisionnel à la machine.

abandonnées sur le terrain, elles tuent de manière aveugle, imprédictible, sans discrimination
du caractère de combattant ou non. On pourrait trouver un appui pour refuser les LAWS dans
le « Guide de l’examen de la licéité des nouvelles armes et des nouveaux moyens de guerre.
Mise en œuvre des dispositions de l’article 36 du protocole additionnel (aux conventions de
Genève de 1949) 1 de 1977 », CICR, janvier 2006.
47
Le problème se pose déjà avec des technologies non militaires. Nous renvoyons ici à
l’ouvrage de X. Thunis, Xavier Thunis, Responsabilité du banquier et automatisation des
paiements, Presses Universitaires de Namur, 1996, Trav. Fac. De Droit 19 : « L’interposition
d’un objet technique complexe change profondément les termes dans lesquels la
responsabilité du banquier doit être posée et résolue » (p. 301).

16
L’obtention d’une paix authentique et durable nécessite de sortir d’une logique calculatoire,
basée sur la seule efficacité militaire, ou de renoncer à la force, à la puissance, pour arriver à
une sorte de conversion des esprits et des cœurs. Mais le robot armé totalement autonome
représente au fond symboliquement le contraire de cette attitude. Il cristallise, dans un objet
technologique sophistiqué, une approche seulement nomologique et calculatoire des conflits.
Dans le domaine de la sécurité et de la défense, il convient donc de garder un équilibre entre
une utilisation rigoureuse et balisée de la robotique et des systèmes automatisés (qui
prémunissent contre des menaces que l’humain ne peut surveiller et contrer sans eux) et un
prudent maintien de l’acteur humain évitant les dérives d’une délégation absolue des pouvoirs
de décision à une machine.

3.4 Le mythe de l’éthique algorithmique : l’éthique n’est pas le fruit d’un calcul

Dans le contexte du développement des robots autonomes (armés ou non), on a vu, de

manière assez étonnante, se développer des projets de création de logiciels visant, non
seulement l’aide à la décision éthique, mais aussi la modélisation de la décision éthique elle-
même. On est passé de l’éthique de la robotique48 à une sorte de robotisation de l’éthique.

Ce genre d’idées, dont on trouve des traces dans la science-fiction49, s’est d’abord développé
dans le domaine de la robotique médicale50, puis elle a atteint les autres domaines engendrant
le champ des « moral machines »51 ou des « autonomous moral agents ». Dans le domaine
militaire, Ron Arkin défend l’implémentation, dans les LAWS, de ce genre d’algorithmes
éthiques52 censés reproduire adéquatement le comportement moral d’un combattant
exemplaire. En fait, l’idée n’est pas neuve. Elle remonte certainement à Leibniz, mais plus
près de nous à la tentative de Jeremy Bentham de créer une « arithmétique morale »53.

48
« Ethics in Robotics », IRIE (International Review of Information Ethics), vol. 6, n°12,
2006 ; Cfr F. Operto, « Ethics in Advanced Robotics », in IEEE Robotics & Automation
Magazine, 18 (2011), p. 72-78. Cet article contient un grand nombre de références
importantes en éthique de la robotique.
49
Nous renvoyons ici le lecteur aux fameuses « lois d’Asimov » : (1) Un robot ne peut faire
du tort à un être humain ni permettre qu'un être humain soit mis en danger (par négligence,
par manque d’assistance ou de prévoyance par exemple). (2) Un robot doit obéir strictement
aux ordres que lui donne un être humain, sauf si ces ordres entrent en conflit avec la première
loi. (3) Un robot est tenu de se protéger sauf si cette protection entre en conflit avec les deux
autres lois. (Cfr I. Asimov, I Robot, New York, Doubleday & Company, 1950 ; les lois
apparaissent d’abord dans Runaround en 1942).
50
M. Anderson, S. Anderson, C. Armen, « MedEthEx : Toward a Medical Ethics Advisor »,
in Proceedings of the AAAI 2005 Fall Symposium on Caring Machine : AI in Eldercare,
Arlington (VA), 2005.
51
W. Wallach and C. Allen, Moral Machines, Oxford University Press, 2008.
52
Cfr R. Arkin, Governing Lethal Behavior in Autonomous Robots, Boca Raton, CRC Press,
2009.
53
J. Bentham, Traités de législation civile et pénale, tactique des assemblées politiques
délibérantes, traité des sophismes politiques, Volume 1, Société Belge de Librairie, 1840,
« Principes de législation. Chapitre 1 : « Du principe de l’utilité », p. 11.

17
On ne peut nier l’intérêt de systèmes d’aide à la décision juridique et éthique qui peuvent
étudier de manière automatique la satisfaction de certains principes où la cohérence de
certaines actions avec un corpus, bien identifié, de règles juridiques, et éviter leur
transgression (dans des situations où le stress ou l’ignorance pourraient conduire à des actions
que l’éthique ou le droit réprouvent). Cependant, tout autre est la question de savoir si l’on
peut obtenir, avec un robot, un équivalent pertinent du jugement moral humain. Dans quelles
situations la décision éthique pourrait-elle faire l’objet d’un traitement algorithmique ?

Ce serait premièrement le cas si le jugement moral pouvait s’apparenter à un « calcul ». C’est

à cette situation que pense Bentham. Il faut rappeler que le contexte de sa réflexion est
l’utilitarisme, pour lequel la bonne décision éthique est celle qui est la solution d’un calcul
visant à maximiser le bien-être et à minimiser le mal-être. Ce calcul d’optimum n’est possible
que si l’on peut quantifier le bien-être et le mal-être et que si le calcul d’optimisation a une
solution algorithmique. Or, ces deux points sont contestables. Il n’existe aucune quantification
des ces états de bien ou de mal-être et l’on montre, en mathématique, que les problèmes
complexes d’optimisation n’admettent pas toujours des solutions générales algorithmiques54.
Il nous faut remarquer ici qu’il n’est nullement évident de réduire l’éthique à une conception
utilitariste. Le choix de principes éthiques guidant les algorithmes des « moral machines »
sont donc largement arbitraires et le fruit d’une décision qui n’est pas elle-même formalisable.
Le choix d’une éthique dépend du concepteur du « programme moral »55. Au contraire de
l’utilitarisme, certaines éthiques ne sont pas aisément formalisables ou pas formalisables du
tout. Il pourrait se faire que ces dernières s’avèrent néanmoins importantes pour traiter de
questions cruciales en politique, en économie, en droit ou dans le domaine de la défense. Cela
montrerait que le domaine de l’éthique algorithmique n’est au fond que la traduction formelle
d’une éthique très particulière, l’utilitarisme ; éthique qui pourrait bien être la seule à être
formalisable et « algorithmisable ».

Deuxièmement, la décision éthique pourrait faire l’objet d’un traitement algorithmique si l’on
pouvait, immédiatement et systématiquement, vérifier que telle règle éthique s’applique à tel
cas particulier. Cependant, une telle application est difficilement descriptible à l’aide d’une
procédure mécanique. En effet, une interprétation est souvent nécessaire pour apprécier, dans
tel ou tel contexte très particulier, si telle ou telle loi s’applique. Mais l’interprétation requiert
une démarche très différente de celle qui consiste à manipuler mécaniquement des symboles.
Ce point a déjà été envisagé lorsque nous avons parlé plus haut de la « prudence » qui est
requise lors de l’application des règles universelles à des cas particuliers. On mesure aussi
l’importance de la prudence dans le traitement des conflits de valeurs ou de biens. Dans ces
cas, la machine ne peut certainement pas faire mieux que l’humain, vu que ces règles

54
J.-P. Delahaye, « Les problèmes NP sont-ils si compliqués ? », Dossier Pour La Science,
n°74, janvier-mars 2012, pp. 18-25.
55
Le robot est porteur des richesses, des biais et des limites de la pensée de son concepteur. Il
ne peut jamais auto-justifier les présupposés particuliers qui sous-tendent son programme
(alors que le concepteur peut éventuellement rendre raison de ses choix et donner
éventuellement une justification critique de ses présupposés au moyen d’arguments, comme la
« réfutation performative » par exemple, qui demandent de sortir du niveau purement formel).
Cfr G. Isaye, « Les robots et l’esprit », NRT, novembre 1953, pp. 912-936 ; G. Isaye, « La
cybernétique et la méthode réflexive » in 2ème Congrès international de cybernétique (Namur,
3-10 septembre 1958), Namur, Association internationale de cybernétique, pp. 850-865.

18
conduisent à des situations où deux solutions sont aussi mauvaises (ou bonnes) l’une que
l’autre. Pour décider, il faut aller au-delà des règles et ce qui est requis pour cela (pour que la
décision ne soit pas simplement un tirage au hasard) ne peut être formalisé aisément (le
recours aux valeurs, à une certaine appréciation du contexte, un rapport à l’expérience, …)

En fait, une traduction purement formelle, informatique, de l’évaluation éthique de la décision

ne pourrait se concevoir que si l’on disposait d’une science complètement prédictive et
quantitative du comportement humain et des décisions humaines. Or, de nombreux arguments
s’élèvent contre la constitution d’une telle science. Nous pourrions nous inspirer des
réflexions du grand philosophe Aasdair Macintyre au sujet des sources de l’imprédictibilité
dans les affaires humaines56, pour montrer qu’il est impossible de vraiment cerner, par une
approche nomologique et prédictive, la décision humaine et son évaluation morale.

On touche ici un argument important. Si l’éthique ne peut être entièrement automatisée,

« algorithmisée », alors on doit en déduire que l’on ne peut laisser agir totalement un système
robotisé autonome. En effet, si l’on acceptait des système radicalement autonomes, c’est-à-
dire soustrait au contrôle humain, on admettrait implicitement, puisque l’on ne peut garantir
l’éthicité de son comportement (vu qu’il n’y a pas d’éthique algorithmique satisfaisante), que
l’on accepte de laisser agir des machines dont le comportement peut éventuellement violer
des principes et valeurs fondamentales pour l’homme. Ceci signifie donc que les arguments
contrant la pertinence d’une complète algorithmisation de l’éthique sont donc des arguments
qui s’opposent à la pertinence morale des robots totalement autonomes !

5 Enjeux éthiques fondamentaux

La réflexion que nous avons menée ici exclut la technophobie. La robotisation peut contribuer
de manière importante au bien-être des personnes et à leur sécurité. S’en priver serait une
erreur. Mais, le refus de la technophobie ne doit pas nous conduire à une technolâtrie où
l’homme se verrait devenir l’esclave de ses propres réalisations techniques. Refusant à la fois
la technophobie et la technolâtrie, nous allons, dans cette partie conclusive, proposer quelques
repères pour une gestion de la robotisation de nos vies et de nos sociétés.

Premier repère : la cohérence anthropologique

Il est important que tout objet technique ou toute technologie reste au service de l’homme et
ne devienne pas un moyen de destruction ou d’asservissement de l’humain. Il en va d’une
certaine logique : on ne peut défendre la robotique comme facteur d’« augmentation de
l’homme » tout en admettant que cet outil conduise au fond à le « diminuer » ou à le brimer.
Certains n’acceptent pas cette réflexion, en prétextant qu’elle repose sur une conception
dépassée et figée de la nature de l’homme. Mais, nous pourrions faire remarquer que
l’exigence d’une cohérence anthropologique ne signifie nullement un fixisme. Elle n’interdit
pas une évolution des technosciences ou ne signifie pas un refus d’apporter à l’homme une
aide technologique. Elle signifie qu’une évolution (bio-technologique) de l’homme perdrait
tout son sens si elle se traduisait par une auto-destruction de l’homme et donc, par voie de
conséquence, des conditions de possibilité de cette évolution.

56
A. Macintyre, After Virtue. A Study in Moral Theory, London, Bloomsbury, 2011 (première
édition 1981), cfr le chapitre « The Character of Generalizations in Social Science », pp. 103-
125.

19
Deuxième repère : détecter les phantasmes de puissance

Un technologie qui permet de conférer à l’homme des capacités physique ou cognitives

inédites peut être très fructueuse à l’humanité. Mais il convient d’être attentif à certaines
dérives utilisant la robotique par exemple pour laisser libre cours à une imagination débridée
au service des phantasmes de puissance de certains individus ou groupes. Les exosquelettes
robotisés sont extrêmement utiles pour rendre la mobilité à des personnes handicapées ou
pour permettre le transport de lourdes charges dans les entreprises. Mais on comprend
facilement que l’usage de ce genre de technologie robotisée doit être régulé compte tenu du
fait que certains pourraient les utiliser simplement pour démultiplier, par plaisir, leur force et
l’imposer à d’autres. On doit retrouver cette vigilance dans toutes les techniques qui
complètent ou augmentent les capacités humaines, par exemple dans le domaine des
« cyborgs »57 ou du « bodyhacking »58.

On pourrait se demander ce qui motive notre insistance sur cette vigilance. En fait, c’est
l’hypothèse que nous faisons, que le propre de l’humain se révèle, entre autres, dans une
capacité de mettre un frein, une limite, à sa puissance. L’humanité dans ce qu’elle a de plus
profond et de plus grand se reconnaît dans le choix, à certains moments de son histoire, d’un
renoncement à la capacité d’exercer une force, pour laisser être le vulnérable. La barbarie, au
contraire, se signale par une tendance à écraser le faible et le pauvre par le déploiement d’une
puissance sans retenue. La technologie, robotisée en particulier, si l’on accepte le premier
repère se doit de rester pleinement cohérente avec l’humain. Elle doit donc tenir à l’œil et être
prêt à refuser les projets qui viseraient à autoriser l’exercice d’une force sans limite.

L’établissement de la paix et de la justice exige souvent un renoncement à la logique de la

puissance ou d’ailleurs à celle des calculs d’intérêts particuliers d’un individu ou d’un groupe.
Le deuxième repère invite donc à concevoir les robots de sécurité ou de défense dans une
optique qui ne va pas unilatéralement vers une sorte d’équilibre de la « surpuissance »
technologique ; équilibre souvent instable et dangereux qui attise plutôt qu’apaise les conflits.

Troisième repère : gérer l’effet d’éblouissement lié à la performance

La robotisation a ouvert des perspectives étonnantes en termes de vitesse d’acquisition ou de

traitement de l’information, et de célérité d’action et de réaction. La fascination grisante pour
les performances de la machine peut avoir comme effet chez l’homme, le développement d’un
complexe d’infériorité. Celui-ci peut aller jusqu’à une justification de l’abandon de pouvoirs
de décision important à un robot. L’exemple de l’electronic trading a montré qu’il faut se
méfier de la performance des machines financières. Si celle-ci est cruciale lorsqu’elle reste au
service de l’économie réelle, elle peut devenir aussi un danger énorme.

57
Il s’agit de cas d’hybridation « homme-machine » : injections à un humain des puces
électroniques lui permettant d’ouvrir des portes à distances, d’effectuer des paiements de
manière automatique,… ; greffes sur les zones du cerveau d’organes étendant les capacités
perceptives : capteurs infrarouge,…
58
Ce terme désigne les essais de modifications du corps humain. Laissant libre cours à leurs
idées, certaine personnes en arrivent à vouloir modifier la forme leur corps (par des implants,
des greffes d’appendices artificiels,…) Cfr par exemple : B. Duarte, « Entangled Agencies:
New Individual Practices of Human-Technology Hybridism Through Body Hacking »,
NanoEthics, 8 (3) (2014) 275-285.

20
Ce troisième repère devrait attirer notre attention sur le fait que la performance des robots ne
doit jamais conduire à priver l’être humain d’un pouvoir décisionnel dans les domaines où la
survie des individus, des groupes ou des nations est en jeu.

L’éblouissement pour les performances conduit aussi parfois à oublier les présupposés qui ont
présidés à la programmation des machines. Il conduit aussi à minimiser les risques d’un
disfonctionnement toujours possible des systèmes complexes (bugs, hacking,…) Il faut donc
réinterroger régulièrement ces présupposés et se rappeler que le robot est porteur des limites
propres de son concepteur.

Quatrième repère : l’attention aux fractures technologiques induites par la robotisation

Une des questions essentielles lors du développement de nouvelles technologies est de savoir
qui y aura accès. Le prix ou la complexité d’utilisation peut induire une division entre les
personnes. De nouvelles formes d’injustice peuvent se développer auxquelles il convient
d’être attentif. De nouvelles et profondes divisions peuvent apparaître ou se renforcer, au
niveau géopolitique, liées à la possession ou non de robots de surveillance ou d’attaque.

Les techniques robotiques provoquent également des fractures par isolement. La distribution
de robots de compagnie dans les hôpitaux ou dans les maisons de repos peut être intéressants
pour certaines raisons. Mais elle peut devenir aussi une excuse pour laisser seuls les malades
ou les personnes âgées sous prétexte qu’elles sont assistées par les machines. Des pathologies
d’enfermement dans un monde virtuel pourraient se développer, à l’instar de ce qui se passe
déjà aujourd’hui avec les ordinateurs.

Cinquième repère : les effets relationnels de la robotisation

L’invasion de la robotique dans tous les domaines de la société risque d’estomper

l’importance et la valeur de la relation humaine. Or le grand philosophe Emmanuel Levinas a
montré, de manière très éclairante, que c’est dans la rencontre du visage de l’autre que
s’origine la responsabilité morale. Dans un dialogue où Philippe Nemo lui disait59 : « Les
récits de guerre nous disent (…) qu’il est difficile de tuer quelqu’un qui vous regarde de
face », Levinas répond : « la relation au visage est d’emblée éthique. Le visage est ce que l’on
ne peut tuer, ou du moins ce dont le sens consiste à dire : ‘Tu ne tueras point’ ». Le visage
d’autrui vient briser le cercle de mon égoïsme et opposer aux fantasmes de puissance, une
vulnérabilité qui invite à la responsabilité. François Poirié, dans un ouvrage consacré à
Lévinas60, affirme dans ce sens : « Le visage d’autrui donne, ou plutôt est le sens – l’inflexion
– moral de mon existence. Il m’appelle, il m’oblige à être pour-l’autre. » On comprend que
dans ce contexte, la paix et la justice ne peuvent se construire que dans des relations vraiment
humaines, où chacun peut rencontrer l’autre face-à-face.

Notre cinquième repère veut rendre attentif au fait que la multiplication des robots éliminant,
dans les relations, le vrai visage humain risque d’entraîner une déshumanisation et une
angoisse. Dans les pires conflits, les lueurs d’humanité peuvent surgir lorsque deux visages se
croisent et s’interpellent. Dans un monde où les automates remplacent les humains dans les
gares ou les banques, on constate que la perte de la relation humaine se traduit par une

59
E. Levinas (Dialogues avec Ph. Nemo), Ethique et Infini, Paris, Fayard/France Culture,
1982, p. 81.
60
F. Poirié, Emmanuel Lévinas, Paris, Editions La Manufacture, 1992, p. 27.

21
angoisse (surtout chez des personnes fragilisées par l’âge ou par le handicap). Il ne faudrait
jamais oublier de trouver une manière de maintenir, au sein de tout monde techno-assisté,
robotisé, une place pour l’être humain afin de diminuer les effets du stress et de l’angoisse.

Ceci dit, notre propos n’est pas contradictoire avec le fait que dans certaines circonstances,
l’emploi de robots peut avoir des effets bénéfiques du point de vue relationnel (cela a été
montré dans certains cas d’autisme par exemple). Ce que nous visons est une attitude qui
viserait à remplacer progressivement et systématiquement la médiation humaine par celle des
machines.

Sixième repère : déjouer les pièges de la déresponsabilisation

Nous avons vu que la robotisation donne prise à des stratégies de camouflage des véritables
responsabilités. Si un chasseur-bombardier lance une bombe par erreur sur des civils, ont
identifiera et jugera assez vite le responsable. Mais si un drone provoque des dégâts
collatéraux ou se trompe de cible, certains pourront évoquer des disfonctionnements
mécaniques, électroniques ou informatiques qui leur serviront d’écran de fumée dissimulant
ou diluant leur véritable responsabilité. Notre repère est là pour attirer l’attention sur le fait
que la médiation robotique ne change en rien au vieux principe qui dit que celui qui agit par la
médiation d’un autre, agit comme s’il avait fait par lui-même (« qui facit per alium, est
perinde ac si facit per se ipsum »).

Septième repère : conserver la maîtrise de l’objet robotique

On pense de plus en plus à introduire des robots autonomes. Par définition et conception, ces
machines peuvent adopter des comportements totalement inédits et imprévus. Ceci pose, nous
l’avons dit, des problèmes épineux. Peut-on en effet laisser agir un robot en sachant qu’il peut
éventuellement porter atteinte à la vie d’une personne. On comprend qu’une arme dont on n’a
pas la maîtrise ne peut être légitimement et moralement mise en œuvre. C’est d’ailleurs, en
partie pour cette raison, que le deuxième Concile de Latran (1139)61 avait interdit l’usage de
l’arbalète !

Le repère qu’il nous faut mettre en place ici est le suivant. Si l’on utilise des robots
autonomes, ceux-ci ne peuvent opérer que dans des espaces bien balisés et suivant des
ensembles de comportements dûment classifiés. Ces engins autonomes ne peuvent être mis en
oeuvre que si l’on peut attester qu’ils resteront, dans ces espaces et en adoptant ces
comportements, en conformité avec le droit et le respect de la dignité des personnes. En-
dehors de ces espaces et de ces ensembles, une machine purement autonome devrait être
strictement prohibée. Nous voyons ici s’ouvrir un champ de réflexion (technique, juridique et
éthique) relatif à un concept d’« autonomie balisée », qui se situerait au-delà de la notion
d’automaticité, mais en-deçà de celle d’autonomie pure et simple.

Huitième repère : l’attention aux effets culturels de la robotisation

Le rapport à la machine ou au robot peut varier de culture à culture62. En Asie, par exemple,
le robot semble être mieux intégré dans la culture qu’en Europe. On peut attribuer cela aux

61
Canon 29.
62
Cfr C. Bartneck, T. Suzuki, T. Kanda, T. Nomura, « The influence of people’s culture and
prior experiences with Aibo on their attitude towards robots », AI & Soc (2006) DOI

22
diverses traditions philosophiques qui ont implicitement marqué les cultures (dans une culture
moniste où l’on ne distingue pas nettement le monde inanimé et le monde vivant par exemple,
la compagnie d’un robot peut être mieux acceptée). Il importe de ne pas sous-estimer ce
repère. L’usage des robots de surveillance peut aussi heurter fortement la sensibilité de
personnes dont les cultures attachent une importance très grande à l’intimité personnelle et
familiale. On dispose aujourd’hui de résultats de recherches concernant les phénomènes
d’attachement ou de répulsion voire d’effroi provoqués par la proximité de robots androïde ou
non. Il nous semble important d’en tenir compte dans toute utilisation de robots civils ou
militaires.

Neuvième repère : une attention aux aspects économiques de la robotisation

Il est clair qu’un outil technologique complexe induit toujours des conséquences
économiques. Il crée des dépendances financières et modifie la structure de l’emploi. C’est un
point sur lequel il faut être attentif, car la machine censée aider l’homme peut très bien, en le
remplaçant, lui créer d’énormes problèmes professionnels. Maintenant, on pourra objecter que
des reconversions et des transferts de postes sont concevables, mais cela n’est pas toujours
aussi simple. Ce qui doit être finement analysé c’est le lien entre robotisation et finalité
profonde de l’activité économique. L’utilisation du robot peut être présenté comme une
simple nécessité technique, mais il peut aussi, sous couvert d’objectivité technologique,
cacher des implicites financiers ou économiques. L’outil technologique performant peut se
révéler être un écran dissimulant, derrière ses réussites et ses performances inouïes, des
logiques de maximisation d’intérêts partisans irrespectueux de toute une série de personnes
dans nos sociétés.

Dixième repère : garder la maîtrise humaine des décisions et de l’évaluation éthique dans les
domaines où la vie de l’homme et des sociétés sont en jeu.

Nous avons vu que la décision éthique ou juridique n’était pas entièrement algorithmisable. Il
importe donc de se méfier de la confiance que l’on pourrait mettre dans des « moral
machines ». La décision relative à une action qui met en jeu la vie ou la mort de personnes ou
des sociétés ne peut être laissée à des robots ou à des programmes d’intelligence artificielle.
Ceci ne signifie pas qu’il ne soit pas intéressant de développer et d’utiliser des systèmes
d’aide à la décision dans des contextes complexes et fluctuants. C’est même une nécessité
dans certaines circonstances63. Cependant les conflits de valeurs ou de biens montrent
nettement les limites de ces systèmes d’aide à la décision.

La décision éthique autant que juridique demande, dans les situations d’incertitude,
d’informations incomplètes ou d’hésitation, de percevoir le sens de certains comportements et
de faire référence à des valeurs fondamentales ou à une longue expérience. Or, cette exigence
ne peut se traduire facilement au moyen d’algorithmes et cela vient en partie du fait qu’une
sémantique univoque ne peut être produite seulement par une syntaxe formelle64.

10.1007/s00146-006-0052-7.
63
Dans toute une série de situations, la sécurité civile ou militaire dépend de la vitesse
d’analyse et de réaction, ce qui rend de fait inévitables les médiations technologiques
sophistiquées. Il faut voir, dans chaque cas, comment gérer de manière rigoureuse les limites
de ces médiations.
64
Si l’on analyse la situation en restant au cœur de la logique, un programme est un système
formel. Une sémantique interprétant ce système est donnée par un modèle de ce système

23
Cette décision demande, nous l’avons dit aussi, de pouvoir transgresser les règles pour
pouvoir en sauver l’esprit ou pour oser des gestes inédits de réconciliation. Un robot peut
difficilement être conçu pour percevoir les situations où il peut déroger à ses propres
procédures pour prendre le risque de tels gestes.

6 Des robots au service de l’humanité

Dans la mesure où la technologie, robotisée ou autre, reste au service de l’homme, de la paix

et de la justice, elle ne peut qu’être valorisée et développée.

Mais une veille technologique doit nous rendre attentifs aux réalisations actuelles ou aux
recherches programmées qui concernent des systèmes robotisés qui conduiraient en définitive
les humains sur des pentes glissantes. Celles de l’incitation à la guerre « sans risque » (d’un
côté !) et « sans responsable », celles qui créent de nouvelles fractures technologiques ou de
nouvelles formes de pauvreté et d’exclusion. Celles enfin qui conduisent les sociétés à
détricoter le tissu relationnel, isolant de plus en plus les hommes et les femmes de notre
temps.

Cette veille demandera un travail et des équipes réellement interdisciplinaires. En 1948 déjà,
Norbert Wiener, après la lecture de l’article du P. Dubarle, cité plus haut, sur la « machine à
gouverner », déclarait65 :

« Le père Dubarle a attiré l’attention des savants sur la mécanisation

croissante du monde militaire et politique, telle un grand appareil surhumain
basé sur les principes de la cybernétique. En vue d’en éviter les multiples
dangers, à la fois internes et externes, il a raison d’insister sur le besoin de
philosophes et d’anthropologues. Autrement dit, on doit, en tant que
scientifique, avoir une idée de la nature humaine et de ses buts essentiels,
quand bien même il faudrait manier cette connaissance en soldat ou en
homme d’Etat… »

Si nous restons attentifs aux repères que nous avons esquissés, nous sommes convaincus que
l’on peut développer très loin la robotique. Une robotique qui reste au service de l’humanité
est tout à fait possible. Son élaboration ne contribuera, non pas à retreindre les recherches,
mais au contraire contribuera à les stimuler par des contraintes exigeantes et auto-cohérentes
avec le progrès des sciences et de l’être humain.

c’est-à-dire une collection d’objets intuitivement connus sur laquelle les axiomes du système
formel s’interprètent comme vrais. Mais en général, un tel système (suffisamment riche)
admet une infinité de modèles non isomorphes de toutes les cardinalités (théorème de
Löwenheim, Skolem et Tarski ; cfr J.N. Crossley, et al., What is Mathematical logic ?New
York, Dover, 1972, pp. ). On pourrait dire que le formalisme (décrivant une situation) n’est
pas capable seul d’indiquer de manière univoque son sens. Une pluralité de sens non
équivalents est disponible et un choix non formel est requis pour reconnaître le modèle qui
fait sens dans la situation décrite par le formalisme.
65
N. Wiener, Cybernétique et société, op.cit., p. 208.

24