Il y avait eu "Dans les griffes du Tigre", plusieurs articles depuis (dans la revue Inflexions et ailleurs), et maintenant "Robots tueurs - que seront les soldats de demain ?" (chez Armand Colin).
Souhaitant accompagner au mieux une évolution en cours plutôt que s'y opposer par principe ou l'accepter sans réfléchir aux éventuelles conséquences, Brice Erbland lance la réflexion sur la question du comportement au combat des systèmes d'armes létaux autonomes (SALA dans le texte, et non "robots tueurs" limitant toutes réflexions).
Il a bien voulu répondre à quelques unes des nos questions, pour présenter un ouvrage où expérience opérationnelle, formation scientifique et réflexion éthique se combinent pour accompagner pas à pas le lecteur entre différents mondes : art guerrier, éthique, prospective, programmation, etc.
1/ Que faut-il comme évolutions pour que les futurs SALA, comme vous les définissez, apportent des ruptures fondamentales sur le champ de bataille à la guerre comme activité humaine ?
Les SALA sont souvent présentés comme la future révolution dans les affaires militaires. Mais je ne suis pas sûr que ce sera le cas ; je pense que ces machines, si elles sont un jour utilisées sur le champ de bataille, seront un gamechanger de plus au niveau tactique, mais n’introduiront sans doute pas une nouvelle façon de mener une guerre. Vouloir annoncer une rupture fondamentale sur le champ de bataille est un truisme récurrent à chaque nouvel outil militaire. Mais il suffit de regarder en arrière pour se rendre compte que malgré les outils, la nature intrinsèque de la guerre ne varie pas. Même si une machine pleinement autonome - à la fois dans la prise en compte de son environnement, la décision de ses mouvements et la décision d’ouverture du feu - est employée sur un champ de bataille, elle sera toujours incluse dans un contexte opérationnel fait de décisions humaines. La façon de l’employer sera avant toutes choses décidée par un état-major, les ordres qu’elle recevra seront avant toute chose réfléchis par un chef tactique. Je ne vois pas de rupture fondamentale dans tout cela, sauf à employer ces machines en remplacement complet du soldat humain sur le champ de bataille. Mais nous touchons là à l’une des deux lignes rouges que je défini dans mon livre : un SALA devra être employé en accompagnement de soldats humains uniquement, et devra être doté d’un module d’éthique artificielle qui le rendra moralement autonome.
2/ Qu'est ce qui différenciera dans l'action au combat ces systèmes des hommes plongés tous deux dans le même chaos guerrier ?
La première différence qui vient souvent à l’esprit est l’absence d’émotions. C’est d’ailleurs le principal argument des défenseurs du SALA : ce type de machine n’aura pas peur, ne connaîtra pas le sentiment de vengeance, n’aura aucune haine de l’ennemi ou de la population locale. A suivre cette logique, un SALA pourrait être moralement plus stable qu’un homme, puisque dépourvu de toute faiblesse dans ce domaine. Mais c’est trop vite oublier ce que la guerre développe chez le soldat humain : le courage, la cohésion, l’instinct, et ce que je nomme le discernement émotionnel. C’est sur cette dernière vertu que je base la différence principale entre l’homme et la machine, et donc ce qu’il faut chercher à imiter pour que la machine soit au moins aussi efficace que l’homme.
La seconde grande différence réside bien entendu dans la nature même du SALA : ce n’est qu’un matériel. Son endommagement ou sa destruction sera loin d’être une catastrophe, comparé à la mort d’un soldat humain. Mais un matériel autonome, s’il a en plus une apparence anthropomorphique, peut susciter de l’empathie. Il faudra se prémunir d’une empathie trop marquée de la part des soldats humains, au risque de voir l’un d’eux être blessé ou mourir pour sauver la machine…
Nous pouvons croire également que ces systèmes seront bien plus rapides et détecteront mieux et plus loin que les humains. Ce pourrait d’ailleurs être l’unique raison de s’équiper de telles machines : pouvoir riposter à temps face à des drones ou des SALA ennemis…
3/ Quelle nécessité à une telle éthique appliquée ?
Nous pourrions nous contenter de programmer les lois et procédures qui régissent le combat : droit international humanitaire, convention de Genève, règles d’engagements, définition des missions, procédures tactiques, etc. Théoriquement, toutes ces règles suffisent à cadrer ce qu’il faut faire et ce qu’il ne faut pas faire sur un champ de bataille. Le processus de décision du SALA serait donc en "Top-Down", appliquant un filtre de règles et procédures à une situation donnée. Mais tout soldat ayant une expérience de combat sait très bien qu’il y a de nombreuses situations dans lesquelles ces règles et procédures deviennent très ambigües. Dans bien des cas, le soldat - ou au moins le chef tactique - se retrouve dans un flou de procédure, et doit faire preuve de créativité, ou dans une impasse légale, et doit faire appel à sa propre morale, à son discernement émotionnel, pour décider. Il faut donc que le SALA puisse lui aussi être moralement autonome, afin d’être apte à décider non pas uniquement selon les règles, mais également selon la situation, selon le contexte. Car dans certaines situations, ce qui est légal n’est pas forcément moral. Il faut que son processus de décision, en plus d’être "Top-Down", soit également "Bottom-Up", c’est-à-dire que l’analyse de chaque situation nouvelle lui apporte un nouveau raisonnement. En plus d’être capable de décider de façon autonome, il faut donc qu’un SALA soit moralement autonome.
4/ Cette éthique artificielle n'est-elle pas d'autant plus essentielle que les combats du futur pressentis ne seront pas que machines/machines, mais bien SALA avec ou face à des humains, et sur des champs de batailles avec présence humaine ?
C’est bien entendu la présence de la population civile sur le champ de bataille, en premier lieu, qui dicte le besoin d’une éthique artificielle pour éviter un usage abusif de la force. Et cette nécessité est présente même si les combattants ne sont que des machines (ce qui, en passant, est un non-sens : si seules les machines combattent, la première cible sera l’état-major qui leur donne des ordres, et il y aura in fine des combats incluant des humains). Mais dans le cas d’un champ de bataille dénué de toute population civile, cette éthique artificielle a encore un sens. Car le but premier du combat tactique n’est pas de tuer le plus de soldats ennemis possible ; la guerre à l’échelle du soldat n’est pas incompatible avec la clémence. Une machine ayant la capacité de choisir des actions menant vers une désescalade de la violence pourrait être un atout tactique, selon les cas.
5/ Et au final, quelle est la faisabilité technique d'un tel algorithme d'éthique artificielle, appelé de vos vœux ?
J’ai bon espoir que l’architecture de programmation de l’éthique artificielle que je propose puisse fonctionner. Mais la réelle difficulté réside en la capacité de traduire une situation de combat perçue par des capteurs de toutes natures en données nécessaires à cette éthique artificielle. Toutefois, cette traduction sera également nécessaire à une autonomie de mouvement ou d’interaction avec les humains pour tous les types de robot.
Se pose ensuite la question de "l’éducation" de cette éthique artificielle, car une casuistique inductive nécessite d’être corrigée afin d’améliorer "son raisonnement". Le jugement de la moralité des décisions du module d’éthique artificielle risque de ne pas être le même en deux êtres humains. Qui décidera alors de la correction à apporter ? Beaucoup de questions restent encore sans réponse. Mais ce travail est à mes yeux un premier pas concret pour définir ce dont nous avons besoin et quelles limites nous voulons fixer pour que de tels systèmes soient utilisables.
PS : penser à la publication / diffusion de son travail de recherche à l'Ecole de Guerre (ce qui est le cas de cet ouvrage), mais également au sein d'autres structures (écoles de formation initiale, de spécialité ou complémentaire en milieu de carrière), en voilà une bonne idée... Les supports sont aujourd'hui divers (format papier, numérique, livres, papers plus courts, articles encore plus courts, etc.), certaines structures étant généralement demandeuses, dès lors que la production respecte certains canons de forme (en plus d'avoir un intérêt dans le fond). Savoir-faire et faire savoir...
Pour le rendre moins flippant, on reste sur un discours "il y a toujours un homme dans la boucle":
RépondreSupprimerhttps://www.areion24.news/2020/05/08/lintegration-humains-systemes-pour-le-scaf/