L’opération militaire menée par Tsahal dans la bande de Gaza a mis sur le devant de la scène une évolution militaire que l’on ne pensait pas si d’actualité immédiate à savoir le recours à des logiciels d’IA pour définir des cibles et les éliminer de façon automatique pour ne pas dire indépendante de toute action humaine. Un logiciel répondant au doux nom de Lavande identifie, repère et détruit des cibles jugées intéressantes. Les dommages collatéraux ne sont pas pris en considération au détriment des femmes, enfants et surtout non-combattants qui auraient le tort d’être dans l’environnement immédiat de la frappe. Après les drones tueurs ou kamikazes qui ont fait leur apparition lors du conflit Arménie-Azerbaïdjan puis entre l’Ukraine et la Russie, nous entrons dans une nouvelle dimension de la gestion technologique d’un conflit.
La guerre étant un laboratoire à ciel ouvert des progrès technologiques, scientifiques qui peuvent être réalisés et qui pourront ensuite infuser les pratiques civiles, il n’est pas illogique de se poser la question de cette transposition d’une réponse IA à des problématiques de sécurité privée.
Dans un article récent, nous avions évoqué la vidéosurveillance algorithmique qui permet d’identifier des comportements ou des personnes pouvant représenter un danger ou un risque pour la sécurité publique. Maintenant, à ce jour, la réponse sécuritaire à de telles observations repose sur des téléopérateurs humains qui disposent de la faculté d’analyse des images, d’un superviseur qui les contrôle et de règles de mise en œuvre qui sont là pour éviter justement des dommages collatéraux.
Maintenant l’équilibre qui est ainsi créé entre l’homme et la machine est pour le moins fragile, car la confiance, parfois excessive, placée dans la technologie n’est pas exempte de risque. D’où l’importance de cette mémoire humaine qui permet une mise en perspective de certaines situations pour éviter une réponse erronée.
Les excès du logiciel utilisé par Tsahal nous donnent un excellent aperçu des failles d’une approche par trop technologique de la sécurité.
La protection de la vie privée et de la confidentialité des données n’est assurément pas la préoccupation première de telles solutions.
Ces dernières collectent et analysent des quantités massives de données personnelles, de toutes natures pouvant aller d’historiques de navigation, les interactions sur les réseaux sociaux et les déplacements physiques. Là-bas c’est pour les cibler, ici cela pourra être aussi le cas comme ce l’est d’ailleurs en Chine.
Ces données couplées avec des algorithmes de profilage peuvent être utilisées pour créer des profils détaillés des individus, révélant des informations privées telles que les préférences politiques, religieuses ou sexuelles, sans leur consentement explicite, ce qui va sans dire.
Un autre souci de l’IA est le risque de discrimination et de biais algorithmique. Là encore, l’opération à Gaza nous en a donné un exemple avec le ciblage d’humanitaires dont les véhicules et les mouvements des passagers ont été interprétés comme présentant une menace de nature terroriste. L’absence de contrôle humain a entrainé une réaction automatique du logiciel qui a entrainé plusieurs frappes sur les véhicules concernés. Le mythe de la technologie neutre et objective perdure, il doit être combattu, car toute technologie est le fruit des pensées, opinions, préjugés de ses concepteurs.
Il ne serait pas étonnant que des systèmes de surveillance de masse puissent cibler de manière disproportionnée certaines communautés ou groupes démographiques, entraînant des pratiques discriminatoires et des violations des droits de l’homme. Pourquoi le logiciel conçu dans une optique sécuritaire ne reproduirait pas les usages des forces de sécurité qui sont sur le terrain, le contrôle au « faciès » souvent dénoncé peut tout autant être technologique qu’humain.
Le recours à l’IA dont la surveillance algorithmique est l’avatar le plus pointu présente des défis complexes. Pour une société démocratique, il y a une quête permanente d’un équilibre entre protection de la vie privée et risques de discrimination et encadrement du contrôle de l’information. Ces technologies offrent des avantages indéniables en termes de sécurité, il serait donc illusoire de croire qu’elles seront abandonnées. Elles sont aussi efficaces dès lors que leur utilisation est encadrée, contrôlée, réglementée. Et même dans un tel cadre, les questions ayant trait au respect des droits individuels et de la dignité humaine ne sont jamais très éloignées.
La mémoire de l’homme que nous mettons en avant pour ces réflexions sur la sécurité est peut-être, là encore, d’un grand secours. Nous devons nous rappeler que très rares sont les cas où une technologie ou une arme n’ont pas été utilisées en dehors du cadre pour lequel elles ont été conçues. Ce qui se passe sur un théâtre d’opérations a généralement vocation à se retrouver pour le meilleur – en matière de soins médicaux et de chirurgie réparatrice par exemple – ou pour le pire dans notre vie de tous les jours. Le principe de la sécurité étant érigé comme une doxa incontournable assurant le bien-être du plus grand nombre. L’intérêt particulier mis de côté en somme au profit de la garantie d’un intérêt général. Discutant de la Russie stalinienne, Romain Rolland expliquait à Panait Istrati que « l’on ne faisait pas d’omelette sans casser des œufs » ce à quoi Istrati répondit « mais où est l’omelette ? ». Il peut être parfois bon de relativiser et ramener de grands débats fumeux et technologiques à d’aussi simples proportions, mais qui posent réellement le sujet.
