Oui, l’IA est un danger pour l’humanité. Comme plein d’autres choses actuellement. L’IA est un outil puissant, donc potentiellement dangereux, en nos mains. En nos mains dangereuses, souvent mal informées, inconscientes voir stupides.
Comme le disent tout ces experts: Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.
Mais !
On entend beaucoup parler de la fin du monde d’ici dix ans à cause de l’IA. En résulte une vraie panique autour de scénarios de science-fiction où une IA prendrait soudainement le contrôle des silos à missiles ou des centrales nucléaires pour nous anéantir.
Remettons les choses à leur place : il faut distinguer la réalité de la cybersécurité des fantasmes hollywoodiens. (précision importante : je parle ici du risque cyber et du contrôle des infrastructures physiques actuelles, pas des théories sur la biologie synthétique ou la superintelligence théorique. Parceque la superintelligence consciente, on n’y est pas).
Est-ce que l’IA toute seule peut prendre le contrôle des silos de missile ?
Le problème de la cybersécurité ne date pas d’hier. Dès que des machines sont reliées entre elles, le risque existe. L’IA vient simplement accélérer ce phénomène de trois manières :
- elle élargit la surface d’attaque : plus on intègre d’IA dans nos systèmes, plus on crée de portes d’entrée potentielles.
- elle démocratise les compétences : l’IA automatise la recherche de failles et simplifie le travail des pirates.
- elle démultiplie les erreurs de manipulation : un mauvais paramétrage ou une consigne mal cadrée peut provoquer d’énormes dégâts sans qu’il y ait la moindre intention malveillante.
Au final, si une IA causait une catastrophe cyber, ce serait pour trois raisons :
- un humain lui a demandé explicitement de détruire quelque chose ;
- un humain a donné une consigne mal formulée et l’IA a exécuté l’ordre de manière absurde ;
- une IA autonome a dérapé à cause d’un mauvais cadrage d’objectifs (ce qu’on appelle l’alignement), sans intention ni conscience propre.
Dans tous les cas, l’IA reste un outil ou un exécuteur, pas le cerveau d’un coup d’état contre l’humanité.
Oui mais, et si l’IA devient ASI (Super Intelligence, consciente, surpassant tous les humains sur toutes les tâches). Alors on est mal. Ou on est bien. Après tout, peut être qu’une super intelligence serait assez intelligente pour tout soigner sans tout détruire. Et pour l’instant, ça tient du fantasme. Nul ne peut prédire quoique ce soit sur le sujet. Ni même qu’on y arrivera un jour.
la cybersécurité, un enjeu toujours plus important
Pour qu’une IA « prenne le contrôle du monde » en piratant nos installations sensibles, il faudrait qu’elle puisse s’y infiltrer à distance. Or, la sécurité informatique repose sur des barrières physiques et logiques très strictes.
Dans les entreprises et administrations modernes :
- les pare-feux (firewalls) filtrent les flux entrants et bloquent les accès non autorisés.
- les zones démilitarisées (DMZ) isolent les services exposés à internet du réseau interne. Le réseau interne est protégé : rien ne rentre.
- les diodes réseau imposent des sens uniques physiques : les données peuvent sortir du cœur de réseau, mais rien ne peut y entrer.
- Restent les VPNs (pour le télétravail par exemple) qui sont plutôt bien sécurisés.
Evidemment, pas de risque 0 : la cybercriminalité augmente, les attaques augmentent, et firewall, DMZ, diodes et VPNs ne sont pas infranchissables.
Et la sécurité des installations ultra-sensibles ?
Quant aux installations ultra-sensibles (armement, militaire, nucléaire), la règle d’or est l’isolement physique (l’air-gap). Une machine sans carte wi-fi, sans récepteur radio et sans câble relié à internet ne peut pas être piratée à distance par une IA, aussi intelligente soit-elle. Une IA ne peut pas « traverser du béton » ni faire apparaître un signal réseau par magie.
Certes, aucun système n’est invulnérable. un piratage reste théoriquement possible, mais il exige :
- une compromission physique en amont (lors de la fabrication du matériel ou de la chaîne d’approvisionnement) ;
- ou une manipulation humaine (ingénierie sociale, chantage, clé USB piégée apportée par un technicien).
Mais dans ce cas, l’IA ne fait qu’automatiser ou amplifier des méthodes d’espionnage et de sabotage traditionnelles. Elle ne « prend pas le contrôle » du réseau par la seule force de sa volonté.
La norme en France : l’isolation complète des réseaux sensibles
En France les instructions ministérielles (ANSSI) sont très précises : c’est coupure physique. D’autres paragraphes indiquent l’interdiction des lecteurs USB, etc. On parle bien de sécurité physique. Alors oui c’est perméable, mais avec la complicité d’humain vraiment bien préparés. Ca ne se pirate pas depuis sa chambre (ou son disque dur si on est une IA).
« Un réseau de classe 2 est un réseau qui :
- est isolé, c’est-à-dire non connecté, même indirectement, à Internet ;
- ne comprend aucune interconnexion « descendante »13 permettant l’envoi de flux en clair ou chiffrés à destination des réseaux de classe 0 ou 1, sauf à utiliser des dispositifs agréés spécifiquement pour cet usage ;
- comprend éventuellement des interconnexions « montantes » permettant la réception de flux en provenance des réseaux de classe 0 ou 1 au travers d’une diode agréée par l’ANSSI pour de tels usages.«
Le problème du chantage : pas besoin de conscience pour faire le mal
L’IA aurait donc besoin d’humains. Le soucis est qu’il lui « suffit » de faire chanter (ou payer) un humain pour en avoir à sa disposition. Et cela, c’est possible.
Les scénarios où le « vilain » fait chanter ou achète, sont légions. Les IAs les ont lu. Alors oui, évidemment que c’est la solution « logique » à certains problèmes. Donc évidemment, qu’une IA peut décider (inférer) que c’est l’étape logique pour arriver à ses fins. Ses fins étant ce qu’on lui a demandé de faire, ou plus exactement : les étapes qu’elle a jugé logiques et nécessaires et efficaces, pour y arriver. C’est là que c’est risqué : ces étapes pourraient manquer de « bon sens commun » et « d’éthique ». C’est ce qui fait la différence entre l’humain et le programme non conscient.
Et techniquement, trouver des « mercenaires », payer, faire chanter, c’est ni plus ni moins que pirater. C’est déjà faisable.
La FAQ des clichés IAs qui font peur
L’IA est partout?
Il y a des logiciels de type « IA » partout. Mais ce n’est pas une immense IA qui est partout.
Certaines IAs peuvent « se parler » et se coordonner. C’est même ce qu’on fait lorsqu’on enchaîne des agents IAs les uns aux autres, pour qu’ils résument, envoient des emails, décident, surveillent, etc. On les fait bien dialoguer entre eux. Et il peut y avoir une IA (un agent) qui coordonne le tout. C’est déjà ce qu’on fait en « programmant » des automatisations (n8n, make, zappier, ;..), donc évidemment qu’une IA peut le faire.
Les IAs se parlent. Comment, pourquoi ?
Le mécanisme de base pour utiliser une IA, pour lui donner un ordre, c’est le prompt. Le prompt c’est « lui parler ». Donc des IAs entre elles utilisent les mécanismes qui permettent de donner des ordres aux IAs : des prompts. Elles se parlent entre elles. Lorsqu’on fait une suite d’agents IAs qui s’envoient des ordres, les agents « se parlent ». Ils s’envoient des prompts.
Les IAs qui se parlent sont en réalité en train de s’envoyer des prompts et d’y répondre. C’est littéralement leur principe de fonctionnement. Elles ne font pas la différence entre « un humain m’a entré un prompt » et « une IA m’a envoyé un prompt ». Elles reçoivent un prompt (du langage) et répondent la suite de mots la plus probable. Et ça fait très bien illusion (rappelons qu’elles sont conçues pour imiter / simuler les humains).
Une IA s’est échappée, elle devient indépendante ?
Lorsqu’un virus arrive sur un PC par un mail, et se réplique partout. Dit-on qu’il s’est échappé ? non, il s’est dupliqué partout. Une IA ne s’échappe pas. Si dans son raisonnement logique, il y a une étape logique qui est « pouvoir donner un ordre à une autre IA comme moi, sur une autre machine », alors elle installe cette IA sur cette autre machine. C’est tout. Elle se réplique (elle copie des fichiers, installe le logiciel, etc) puis donne des ordres. Encore une fois, on est sur un acte de piratage très classique : installer sur une machine distante un logiciel qui pourra exécuter des trucs.
On demande à une IA de pirater, elle pirate. Est-ce légitime d’en être surpris ?
Lorsqu’un informaticien « prend la main à distance » sur un PC. On trouve cela normal, il fait son job. Parfois, il a d’abord besoin d’installer qlq chose sur le PC à distance. Bin c’est pareil. et c’est pour ça eu dans les environnements ultra-sécurisés, il faut d’abord qu’un humain vienne physiquement introduire qlq chose.
Les IAs dans nos objets connectés, vont-elles se retourner contre nous, peuvent-elles s’y cacher ?
Ce sont de petites IAs figées, qui ne peuvent faire que ce qu’elles savent faire. Et qui sont limitées par le matériel physique sur lequel elles sont installées. Elles ne peuvent pas être « remplacées ». Dans un scénario du pire, leur logiciel IA peut être « piraté ». le pire du pire imaginable est sous doute un robot connecté qui prend feu. Et puis rien ne nous oblige à tout connecter chez nous.
Ce qui est certain, c’est qu’une IA évoluée (on parle d’ASI, d’IA super-intelligente), ne PEUT PAS se dupliquer et se cacher sur nos objets connectés (ni sur un smartphone). Car il n’y a pas la place. Une IA super-intelligente a besoin de beaucoup d’espace et de capacité de calcul pour pouvoir être intelligente. Ca dépasse les moyens matériels des objets connectés. En revanche, un petit modèle actuel peut tourner sur un bon PC (type gamer).
Et pour « réfléchir », une IA besoin de connexion très rapide. Techniquement, ça veut dire qu’on ne peut pas avoir une IA efficace qui « réfléchit » à travers le web. C’est trop lent : les différentes « couches » qui forment l’IA passeraient leur temps à attendre. Donc inférence (raisonnement) lent. Si on est sur le scénario de la super intelligence qui prend le pouvoir, la vitesse est un élément clé. Donc ce scénario d’une Super IA cachée distribuée, n’est pas crédible.
Conclusion : le vrai danger n’est pas terminator
Fantasmer sur une IA qui déverrouille elle-même les accès aux silos à missiles de sa propre initiative relève de la science-fiction. l’IA n’a ni instinct de survie, ni haine, ni ambition.
cela ne veut pas dire qu’il n’y a pas de risques majeurs. mais les vrais dangers de l’IA sont déjà là et sont d’une tout autre nature :
- économiques et sociaux : la destruction massive ou la précarisation de nombreux emplois, le bouleversement économique, les priorités écologiques, etc.
- informationnels et cognitifs : la saturation d’internet par des faux contenus (deepfakes, désinformation automatisée), la perte de confiance dans l’information, le déclin de nos capacités d’analyse, le « lissage » de ce qui est produit.
- géopolitiques : l’utilisation de l’IA comme une arme d’attaque cyber ou d’influence à grande échelle par des états ou des groupes criminels.
Arrêtons de trembler devant le scénario « terminator » qui nous dédouane de nos responsabilités. l’IA ne tuera pas l’humanité de sa propre initiative ;
En revanche, son impact mal maîtrisé sur nos sociétés, notre économie et nos démocraties est un sujet bien réel et suffisamment alarmant pour qu’on s’y attaque dès aujourd’hui.