Il y a quelques années, presque personne n'avait entendu parler de Chat GPT. Aujourd'hui, beaucoup l'utilisent quotidiennement.

Il y a quelques années, les modèles d'IA coûtaient extrêmement cher et ne produisaient que des curiosités. Aujourd'hui, on peut générer du texte et des images gratuitement sur internet.

Source : Brundage et al. (2018).

En janvier 2022, l'expert français Yann LeCun affirmait avec conviction que certaines tâches resteraient toujours inaccessibles aux modèles de langage (aussi appelés les GPTs) même les plus avancés. Il prenait pour exemple la question suivante :

«Je mets un objet sur une table, et je pousse la table. Qu’arrive-t-il à l’objet ?»

En novembre 2022, ChatGPT 3.5 répondait sans la moindre hésitation à cette question.

L'émergence fulgurante d'une technologie puissante entraîne nécessairement un certain nombre de risques. Dans le cadre de l'intelligence artificielle, on peut citer la désinformation, les biais et discriminations, la cybercriminalité, et les pertes massives d'emplois.

Mais le problème est potentiellement encore plus grave. Les experts qui font avancer le domaine n'excluent pas la possibilité que les IA les plus avancées pourraient un jour dépasser les capacités humaines et devenir difficiles à contrôler.

Faut-il s'inquiéter ?

L'importance de prendre en compte les risques que nous mentionnons ci-dessous vient principalement de l'ampleur des enjeux, et du niveau d'incertitude. Nous n'affirmons pas que les dangers que craignent les expert·es vont obligatoirement se réaliser, mais au contraire qu'il est primordial de s'en prémunir. Voici quelques grandes catégories de risques.

La technologie avance très vite

L’intelligence artificielle connaît actuellement un développement fulgurant. Les systèmes d’IA les plus avancés, tels que ChatGPT ou Midjourney, sont capables de mener des conversations, de créer des images extrêmement réalistes, de coder des programmes basiques et même d’expliquer des blagues à partir d’une image. Ces progrès étourdissants entraînent à leur tour des investissements conséquents. En moins d'un an, Chat GPT est passé des derniers 10% des candidats au top 10% des meilleurs à l'examen du barreau.

Photo par Gerd Altmann sur Pixabay

Personne ne comprend vraiment comment les IA fonctionnent

Le domaine avance extrêmement vite, et même les expert·es ont du mal à prédire de quoi les IA seront capables. Les systèmes développés sont souvent des boîtes noires qui deviennent plus puissantes et complexes au fur et à mesure qu’on ajoute y des données et de la puissance de calcul. Même les ingénieur·es des entreprises qui développent ces modèles ne savent pas vraiment expliquer pourquoi telle ou telle capacité apparaît.

Image par Pete Linforth sur Pixabay

Les IA prennent de plus en plus de responsabilités

Chaque jour, des tâches auparavant réservées aux humains deviennent moins chères à faire exécuter par des IA. Parmi celles-ci, de plus en plus sont des tâches à haute responsabilité. Mais les modèles développés aujourd'hui sont faillibles. Il y a déjà aujourd'hui beaucoup d'exemples de vrais accidents liés à l'IA : des erreurs de diagnostiques graves, des dossiers judiciaires avec éléments complètement inventés...

Photo by Dylan Calluy on Unsplash

Les IA profitent aussi aux acteurs malveillants

La prolifération de modèles très puissants donne à des utilisateurs malveillants de nombreux outils pour agir. Les sécurités mises en place sont pour l'instant faciles à contourner, et beaucoup de modèles sont mêmes distribués en libre accès sur internet. L'IA permet déjà d'automatiser des arnaques en ligne, de trouver des failles dans les systèmes informatiques, et de distribuer des connaissances scientifiques dangereuses (synthèse d'armes biologiques, d'explosifs...)

Photo par Towfiqu barbhuiya sur Unsplash

Les IA ne font pas toujours ce que nous voulons qu'elles fassent

Les IA suivent les consignes qui leur sont données, mais cela ne les conduit pas nécessairement à agir selon nos valeurs. Un exemple courant est celui d'une IA a qui l'on a demandé de ne pas perdre au jeu Tetris. Au lieu de s'entrainer et de s'améliorer, elle a vite découvert qu'en mettant le jeu sur pause, elle pouvait prolonger indéfiniment sa partie. Appliqué dans une situation réelle, ce genre de comportement pourrait conduire une IA à provoquer de vrais désastres, si cela lui permet de respecter la consigne donnée.

Les risques liés à l'IA sont très nombreux. Les risques ci-dessus sont les plus prévisibles et connus, mais il y en a un grand nombre, certains seulement supposés, et d'autres déjà avérés.

Qu'est-ce qu'on peut y faire ?

Les efforts pour prévenir les risques liés à l'IA sont actuellement insuffisants. Il y a un manque de compréhension des défis techniques et éthiques, ainsi qu'un manque de réglementation appropriée. Il est également difficile d'attirer des talents qualifiés dans ce domaine, en raison du manque de sensibilisation et de la concurrence avec le secteur plus lucratif de l’amélioration des performances de l'IA.

Nous devons relever deux défis pour faire en sorte que l'IA soit bénéfique pour tous :

  • Le défi technique : comment s'assurer que les puissants systèmes d'IA fassent ce que nous voulons ?
  • Le défi politique : comment inciter les entreprises d'IA à construire des systèmes d'IA sûrs, et comment faire en sorte que la richesse créée par l'IA soit répartie équitablement ?

Pour aborder ces défis, nous devons investir dans la recherche sur les risques et la sécurité, développer des stratégies de gouvernance efficaces, promouvoir une coopération internationale et attirer des talents dans ce domaine. Il est également crucial de sensibiliser le public et les décideur·euses à ces enjeux.

Les défis techniques, mentionnés ci-dessus, peuvent impliquer de travailler sur l’intégration des valeurs humaines au sein de ces systèmes, faire de la recherche sur l'interprétabilité (pour comprendre ce qui se passe à l'intérieur d'un réseau de neurones), ou améliorer la robustesse des réseaux de neurones.

Cependant, même si nous acquérons la capacité à résoudre les problèmes techniques ci-dessus, la mise en place dépend en partie de la manière dont le développement de l'IA est régulée. Si le développement de cette technologie ne vise qu'à réaliser des profits, les entreprises seront incitées à progresser rapidement plutôt que de manière sécurisée. De plus, même si l'IA est techniquement sûre, des systèmes d'IA puissants mais mal gouvernés pourraient entraîner une inégalité des richesses sans précédent, ou représenter les valeurs (potentiellement indésirables) d'une poignée de personnes, sans consultation du public.

Sur ce sujet, la gouvernance de l’IA vise à influencer les décisions ayant un impact sur le développement de cette technologie, incluant les politiques publiques, régulations, institutions et normes, pour s’assurer de la mise en place de normes de sécurité et que les bénéfices de tels systèmes contribuent au bien de tous.

Faut-il prioriser cette cause ?

L’altruisme efficace préconise des principes et des méthodes, pas des conclusions. Nous présentons ces causes prioritaires selon la communauté, mais nous vous encourageons à réfléchir vous-même pour déterminer quelles causes sont les plus urgentes, en fonction de vos connaissances et vos valeurs. Voici quelques raisons éventuelles de ne pas prioriser cette cause, que nous ne voulions pas passer sous silence.

Il est possible que vous soyez sceptique quant à l'urgence ou à la gravité des risques liés à l'IA. Certaines personnes pensent que l'IA avancée est encore trop lointaine pour justifier une attention immédiate, ou que la technologie évoluera d'une manière qui rendra ces risques gérables.

Cependant, il est important de considérer que les risques liés à l'IA ont le potentiel de causer des dommages irréversibles à une échelle massive. De plus, le travail préventif doit commencer maintenant, car une fois que ces technologies seront développées, il sera peut-être trop tard pour mettre en place des mesures de sécurité adéquates. Beaucoup de personnes n'étaient pas convaincues par le problème au début, mais ont changé d’avis en creusant le sujet. Geoffrey Hinton estimait que ce sujet ne serait pas d’actualité dans les 40-50 prochaines années, avant de changer sa vision des choses récemment et de calibrer à la hausse son niveau d’urgence.

Par ailleurs, certains estiment que d'autres problèmes sociaux ou environnementaux sont plus urgents, plus faciles à résoudre, ou encore comportent moins d’incertitudes. D'autres estiment que si ce problème est avéré, ce serait un risque en termes de morts, mais moins en termes de souffrances, et préfèrent alors se soucier des problèmes qui font surtout souffrir des individus. D’autres enfin estiment que leurs capacités ne sont pas adaptées au travail dans ce domaine.

En fonction de votre vision du monde, vous choisirez peut-être de donner la priorité à d'autres types de problèmes plutôt qu'à l'IA. Voir notre page sur les causes prioritaires pour d'autres domaines d'action.

Je veux aider !

S’investir dans ce domaine

Tout d’abord, il est possible de faire du bénévolat pour contribuer au sujet. Même sans bagage technique avancé, il est possible d’aider, par exemple en faisant des traductions.

Les carrières sont une manière importante d’avoir un fort impact positif sur le sujet, surtout dans les organisations travaillant directement sur la question. Comme indiqué ci-dessus, il va falloir des chercheur·euses et développeur·euses travaillant sur l’IA. Du côté de la gouvernance, les personnes travaillant sur l’élaboration et la mise en place de politiques vont avoir un rôle à jouer. Parmi les domaines d’intérêt pour la recherche en gouvernance de l’IA, on trouve les sciences politiques (y compris politique internationale), en droit, en économie, en éthique/philosophie, en sciences sociales, en sécurité nationale…

Néanmoins, le domaine étant vaste, un grand nombre d’autres postes sont à combler. En effet, même dans un organisme de recherche, près de la moitié du personnel effectue d'autres tâches essentielles pour que l'organisme fonctionne au mieux et ait un impact. Cela peut inclure la gestion des opérations, le travail d'assistant exécutif, l’ingénierie et le développement logiciel (même non spécialisé IA), la communication, la construction de la communauté…

Les dons sont une manière simple d'avoir un fort impact positif sur le sujet. Les recherches orientées vers la sécurité de l'IA sont ridiculement peu financées face aux recherches qui visent à augmenter les capacités de l'IA. Vos dons peuvent faire une vraie différence.

En France, le récent Centre pour la Sécurité de l'IA, propose des articles pour cerner le sujet, et des cours pour comprendre les enjeux actuels plus en détail. Ils organisent aussi des cours dans les écoles normales supérieures sur le sujet (les Séminaires Turing), maintiennent une liste des projets de recherche à réaliser, et cherchent des profils dans ce domaine. Si vous souhaitez découvrir plus en profondeur le paysage de la sécurité de l'IA en France, n'hésitez pas à les contacter ou à leur destiner une partie de vos dons.

La page de 80,000 Hours offre aussi des conseils de carrière, y compris sur les risques liés à l'IA. Elle vous permettra de voir si vous pouvez contribuer à ce domaine, ou si vous pouvez acquérir les compétences nécessaires pour le faire. Ils répertorient également des offres d'emploi sur cette page. Si vous êtes en milieu de carrière, vous pouvez aussi visiter Successif qui fournit un accompagnement pour démarrer une transition vers ce domaine.

Dans tous les cas, la première étape consiste à en apprendre beaucoup plus sur les technologies, les problèmes et les solutions possibles. Voici ci-dessous une liste de ressources pertinentes.

Organisations prometteuses sur ce sujet

Il existe plusieurs organisations qui travaillent à la prévention des risques liés à l'IA. Ces organisations mènent des recherches de pointe, développent des stratégies de gouvernance et sensibilisent le public à ces questions.

Recommandation conjointe de Founders Pledge, Giving What We Can et Longview Philanthropy :

Recommandation de Founders Pledge :

Recommandation de Giving What We Can :

En France, vous pouvez découvrir la section dédiée au Centre pour la Sécurité de l'IA dans notre page des organisations recommandées.

Si ce sujet vous parle, vous intrigue ou vous touche, en parler autour de vous pour sensibiliser les gens est une manière rapide d'avoir de l'impact. N'hésitez pas à partager !

Approfondir le sujet

Il est difficile de résumer en quelques paragraphes tous les défis posés par ce champ de recherche, et les explications ci-dessus vous semblent probablement incomplètes. Voici donc de quoi aller plus loin.

En anglais, la page de 80,000 Hours référencée ci-dessus explique le sujet de manière plus détaillée et précise qu’ici. Le site web AI Safety répond également à l’essentiel des interrogations régulièrement formulées, sous forme de FAQ. Vous y trouverez sûrement des réponses aux interrogations que vous pouvez avoir.

Le manuel en ligne AI Safety Atlas est aussi une ressource très à jour et complète pour découvrir et comprendre les enjeux d'un point de vue plus techniques.

Ressources

Ressources anglophones :

Le Forum Altruisme Efficace est un lieu d’échanges et de discussion portant sur ces sujets. La section AI Safety contient des ressources introductives sur le sujet, ainsi qu’une liste des posts considérés comme étant parmi les plus intéressants. Plus spécialisé, il y a également l’Alignment Forum, notamment les “Recommended Sequences” sur la page d’accueil.

Voici également une liste de ressources pertinentes, triées par degré de connaissance sur le sujet, allant de débutant à très technique.

Pour ceux voulant débuter sur le sujet, la page AI safety starter pack vise à indiquer des ressources et des conseils, selon leurs compétences.

Nous recommandons enfin les lectures et ressources suivantes :

Ressources francophones :

En français, voici des contenus qui pourraient vous intéresser :

Enfin, beaucoup d’organismes et de ressources sont présents dans ce domaine, au point qu’une carte a été créée (en anglais) : aisafety.world. Une version sous forme de liste est également disponible. Elle contient des liens vers des ressources, des communautés, des formations, des organismes…

Communautés sur le sujet

Il existe plusieurs communautés en ligne dédiées à l'étude et à la discussion des risques liés à l'IA. En anglais, il y a notamment :

Enfin, il y a un groupe Discord francophone dédié à la sûreté de l’IA.

Programmes

Pour ceux qui souhaitent approfondir leurs connaissances, plusieurs programmes de formation spécialisés sont proposés.

Ce site regroupe une liste de programmes de formations, d’évènements et de conférences sur le sujet : aisafety.training

Par exemple, le site AGI Safety Fundamentals propose des cours sur 12 semaines pour acquérir les fondamentaux et pour se connecter avec des professionnels du domaine.