Cet page est une traduction adaptée de l'article AI governance and policy par Cody Fenwick.

Alors que le progrès des capacités de l'IA a reçu beaucoup d’attention en fin d’année 2022 et en 2023, l'intérêt porté à la gouvernance et à la réglementation de ces systèmes s'est accru. Le débat autour des risques catastrophiques potentiels d'une IA non alignée ou incontrôlable a pris de l'ampleur, ouvrant potentiellement la voie à des mesures politiques susceptibles d'atténuer les menaces.

Un grand nombre d'incertitudes subsistent quant à savoir quelles seraient les meilleures stratégies de gouvernance de l'IA. Beaucoup ont proposé des politiques et des stratégies visant à réduire les risques les plus importants, que nous examinons ci-après.

Cependant, il est impossible de s’appuyer sur des repères établis. Le débat sur les mesures à prendre est loin d'être clos et il se peut que nous n'ayons pas encore trouvé les meilleures idées dans ce domaine. Quoi qu'il en soit, il reste encore beaucoup à faire pour déterminer la manière dont les politiques et les stratégies prometteuses fonctionneraient en pratique. Nous espérons voir davantage de personnes entrer dans ce domaine pour développer une expertise et des compétences qui contribueront à une gouvernance et à une politique de l'IA qui réduisent les risques.

Résumé

En bref: Les systèmes d'IA avancés pourraient avoir des répercussions massives sur l'humanité et potentiellement causer des risques catastrophiques mondiaux. La gouvernance de l'IA, un vaste domaine, offre des opportunités de façonner favorablement la manière dont la société répond et se prépare aux défis posés par la technologie. Compte tenu de l'importance des enjeux, poursuivre cette carrière pourrait être l'option au plus fort impact pour beaucoup. Mais il convient de faire preuve d'une grande prudence afin de ne pas accidentellement accroître les menaces au lieu de les atténuer.

Recommandation

Si cette carrière est adaptée à votre profil, il pourrait s'agir de la meilleure façon pour vous d'avoir un impact social.

Bilan actuel

Sur la base d’une enquête approfondie1.

Ce que vous faites présente un gigantesque potentiel et un gigantesque danger. — Joe Biden, président des États-Unis, aux dirigeants des plus grandes entreprises d'IA

Pourquoi s’intéresser à la gouvernance de l’IA ?

L'intelligence artificielle a progressé rapidement. En 2022 et 2023, de nouveaux modèles de langage et de génération d'images ont fortement attiré l'attention par leurs capacités, surpassant nettement ce qui se faisait jusqu'à lors.

Et leurs applications sont toutes récentes ; avec davantage d'ajustements et d'intégration dans la société, les systèmes d'IA existants pourraient devenir plus faciles à utiliser et plus omniprésents.

Nous ignorons où tous ces développements nous mèneront. Il y a des raisons d'être optimiste et de penser que l'IA finira par nous aider à résoudre de nombreux problèmes mondiaux en augmentant le niveau de vie et en nous aidant à construire une société plus florissante.

Mais il existe aussi des risques importants. L'IA avancée pourrait être utilisée pour causer beaucoup de tort. Et nous craignons qu'elle ne conduise accidentellement à une catastrophe majeure — et peut-être même qu'elle ne provoque un fort affaiblissement ou une extinction de l’humanité. Nous examinons les arguments en faveur de l'existence de ces risques dans notre profil de problème approfondi.

En raison de ces risques, nous encourageons les gens à s'efforcer de trouver des moyens de réduire le danger par la recherche technique et l'ingénierie.

Mais des stratégies variées sont nécessaires pour réduire les risques. En particulier, des politiques publiques et une gouvernance des entreprises pourraient être requises pour faire en sorte que l'IA avancée soit largement bénéfique et présente moins de risques.

Le terme de gouvernance renvoie en général aux processus, structures et systèmes qui assurent la qualité des prises de décision à un niveau élevé pour les organisations et les sociétés. Dans le cas de l'IA, les structures de gouvernance les plus importantes seront probablement les gouvernements nationaux et les organisations qui développent l'IA — ainsi que certaines organisations internationales et peut-être des gouvernements infranationaux.

Les objectifs de la gouvernance de l'IA pourraient être les suivants :

  • Empêcher le déploiement de tout système d'IA présentant un risque significatif et direct de catastrophe.
  • Limiter l'impact néfaste de la technologie de l'IA sur d'autres risques de catastrophe, tels que ceux relatifs aux armes nucléaires et à la biotechnologie
  • Encadrer l'intégration de la technologie de l'IA dans notre société et notre économie au bénéfice du plus grand nombre et en limitant les dommages
  • Réduire le risque d'une « course aux armements de l'IA » entre les nations et entre les entreprises
  • Veiller à ce que les développeurs d'IA avancées soient incités à être coopératifs et soucieux de la sûreté
  • Ralentir le développement et le déploiement de nouveaux systèmes si les progrès sont susceptibles d'aller plus vite que notre capacité à les garder sans danger et sous contrôle.

Il est nécessaire d'établir une communauté de spécialistes qui comprennent les systèmes d'IA modernes et le domaine politique, ainsi que les menaces graves et les solutions potentielles. Ce secteur est encore jeune ; de nombreuses pistes ne sont pas clairement définies et ne sont pas sûres d'aboutir. Mais il existe des parcours professionnels pertinents qui vous fourniront un capital professionnel précieux pour une variété de postes et de types de fonctions.

La suite de cet article explique en quoi consiste le travail dans ce domaine, comment vous pouvez développer votre capital professionnel et tester votre adéquation, et présente quelques pistes prometteuses.

Quels sont les métiers existants ?

Il existe de nombreuses façons de poursuivre des stratégies de gouvernance de l'IA, et à mesure que le domaine gagnera en maturité, les voies devraient se clarifier et se consolider.

En règle générale, nous pensons que les personnes en début de carrière ne devraient pas chercher à obtenir un emploi spécifique à fort impact. Elles devraient plutôt chercher à développer des compétences, de l’expérience, des connaissances, une capacité de jugement, des réseaux et des qualifications — ce que nous appelons le capital professionnel — dont elles pourront se servir plus tard pour avoir un impact.

Cela peut impliquer de suivre un parcours de carrière standard ou d’évoluer dans différents types de fonctions. Parfois, il suffit de postuler à de nombreux postes différents et de tester son aptitude à effectuer différents types de missions avant de savoir ce que l'on sait faire. Plus important encore, vous devriez essayer d'exceller dans un domaine avec lequel vous avez une forte adéquation personnelle et qui vous permettra de contribuer à la résolution de problèmes pressants.

Dans le domaine de la gouvernance de l'IA, nous avons identifié au moins six grandes catégories d’activités que nous jugeons importantes :

Réfléchir aux différents types de capital professionnel qui sont utiles pour les catégories d’activités qui vous attirent peut vous indiquer les prochaines étapes de votre parcours. (Nous examinons ci-dessous comment évaluer votre aptitude et intégrer un domaine.)

Il se peut que vous souhaitiez passer d'une catégorie d’activité à l'autre à différents moments de votre carrière. Vous pouvez également tester votre aptitude à occuper différents postes en effectuant des stages, des missions, des contrats temporaires, en occupant des emplois de premier échelon, ou même en effectuant des recherches indépendantes, autant d'activités qui peuvent servir de capital professionnel pour toute une série de parcours.

Nous avons également examiné les possibilités de carrières dans la recherche et l'ingénierie en matière de sûreté technique de l'IA, la sécurité de l'information et l'expertise relative au matériel nécessaire au fonctionnement des IA, qui peuvent être cruciales pour réduire les risques liés à l'IA. Ces domaines peuvent également jouer un rôle important dans un programme de gouvernance efficace. Les personnes qui envisagent sérieusement de faire carrière dans la gouvernance de l'IA devraient également se familiariser avec ces domaines.

Travail gouvernemental

Occuper un poste au sein d'un gouvernement influent pourrait vous aider à jouer un rôle important dans l'élaboration, la promulgation et l'application de politiques en matière d'IA.

Il est généralement admis que le gouvernement fédéral américain est l'acteur le plus important de la gouvernance de l'IA dans un avenir proche. Cela est dû à son influence mondiale et à sa juridiction sur une grande partie de l'industrie de l'IA, y compris les entreprises d'IA les plus importantes telles que Anthropic, OpenAI et Google DeepMind. Les États-Unis ont également autorité sur des éléments clés de la chaîne d'approvisionnement en puces d'IA. Une grande partie de cet article se concentre donc sur la politique et le gouvernement des États-Unis2.

Mais d'autres gouvernements et institutions internationales sont également concernés. Par exemple, le gouvernement britannique, l'Union européenne, la Chine, et d'autres peuvent fournir des opportunités pour un travail de gouvernance de l'IA à fort impact. Certains gouvernements d'États américains, comme la Californie, peuvent offrir la possibilité d'avoir un fort impact et d'acquérir un capital professionnel.

De façon générale, les personnes souhaitant influencer positivement la politique de l’IA devraient acquérir des compétences et de l’expérience permettant d’accéder aux sphères du gouvernement qui ont un lien avec la politique de l'IA ou des technologies émergentes.

Il peut s'agir de postes dans les organes législatifs, la réglementation nationale, la sécurité nationale, la diplomatie, l’allocation et la planification budgétaire, ou d'autres domaines politiques.

Si vous pouvez obtenir un emploi qui traite déjà directement de ce sujet, par exemple dans un institut de sûreté de l'IA, cela pourrait être une excellente opportunité.

Sinon, vous devriez chercher à en apprendre le plus possible sur le fonctionnement des politiques et sur les postes gouvernementaux qui pourraient vous permettre d'avoir le plus fort impact. Essayez d'établir une bonne connaissance du paysage politique de l'IA. Occuper presque n'importe quel poste gouvernemental significatif qui touche à un aspect de l'IA, ou posséder des qualifications impressionnantes en lien avec l'IA, peut suffire pour aller assez loin.

L'une des façons de faire progresser votre carrière au sein du gouvernement sur un sujet spécifique consiste à « gagner en visibilité ». Il s'agit d'utiliser votre position pour vous renseigner sur le milieu et pour entrer en contact avec les protagonistes et les institutions du domaine politique. Il vous faudra établir des liens avec d'autres acteurs du monde politique, être invité à des rencontres avec d'autres fonctionnaires et organismes, et recevoir des sollicitations pour contribuer aux décisions. Si vous parvenez à vous imposer comme spécialiste reconnu sur un aspect important mais négligé de la question, vous aurez plus de chances de participer aux discussions et événements clés.

On peut schématiquement répartir les carrières au sein de l'administration publique comme suit :

  • Trajectoire gouvernementale classique : Il s'agit d'entrer dans l'administration à un poste relativement modeste et de gravir les échelons de la hiérarchie. Pour avoir le plus d'impact possible, l'idéal est d'atteindre les échelons supérieurs en faisant preuve de persévérance, en nouant des relations, en acquérant des compétences et de l'expérience, et en obtenant des promotions. Vous pouvez évoluer entre les différentes agences, les départements ou les services.
  • Capital carrière spécialisé : Vous pouvez également entrer et sortir de l'administration publique tout au long de votre carrière. Les personnes qui suivent cette trajectoire travaillent alternativement dans des organisations à but non lucratif, des groupes de réflexion, le secteur privé, des entreprises publiques, des partis politiques, des universités et d'autres organisations. Mais elles s'efforceront avant tout de devenir des experts dans un domaine spécifique. Il peut être plus difficile d'obtenir de l'ancienneté de cette manière, mais la valeur de l'expertise est parfois supérieure à la valeur de l'ancienneté.
  • Travail à impact direct : Certaines personnes accèdent à des postes dans l'administration, sans avoir de plan à long terme de construire un capital professionnel, parce qu'elles y voient une opportunité d'avoir un impact direct et immédiat. Il peut s'agir de se voir confier la direction d'une commission importante ou d'apporter une contribution précieuse à un projet urgent. Cette stratégie ne constitue pas nécessairement un plan de carrière, mais il est bon de savoir qu'il s'agit d'une option éventuellement intéressante.

Pour en savoir plus sur la manière d'évaluer votre adéquation et de commencer à développer un capital professionnel utile, consultez notre article sur les compétences politiques.

Recherche en politique et stratégie en IA

Il reste beaucoup de recherches à effectuer sur les stratégies de gouvernance de l'IA et leur mise en œuvre. Des mesures politiques plus concrètes sont nécessaires pour commencer à s'attaquer aux menaces les plus sérieuses. L'élaboration de telles politiques et l'approfondissement de notre compréhension des besoins stratégiques de la gouvernance de l'IA sont des priorités majeures.

D'autres recherches appropriées pourraient inclure des sondages d'opinion publique et de spécialistes, des recherches juridiques sur la faisabilité des politiques proposées, des recherches techniques sur des questions telles que la gouvernance du calcul, et même des recherches théoriques de plus haut niveau sur des questions relatives aux implications sociétales de l'IA avancée.

Certaines recherches, comme celles menées par Epoch AI, sont axées sur la prévision de l'évolution de l'IA, ce qui peut influencer les décisions en matière de gouvernance de l'IA.

Cependant, plusieurs spécialistes avec lesquels nous nous sommes entretenus nous ont averti qu'un grand nombre de recherches sur la gouvernance de l'IA pourraient s'avérer inutiles. Il est donc important de faire preuve de réflexion et de solliciter les opinions d'autres personnes du domaine pour savoir quel type de contribution vous pouvez apporter. Nous répertorions plusieurs organismes de recherche ci-dessous qui, selon nous, poursuivent des recherches prometteuses sur ce sujet et pourraient fournir un accompagnement utile.

Pour tester votre aptitude à ce travail — surtout au début —, vous pouvez par exemple rédiger des analyses et des réponses aux travaux existants sur la politique en matière d'IA ou étudier certaines questions dans ce domaine qui n'ont pas reçu beaucoup d'attention. Vous pouvez ensuite partager votre travail publiquement, le soumettre à l'avis de personnes travaillant dans ce domaine, et évaluer dans quelle mesure vous appréciez ces sujets et comment vous pourriez contribuer à ce domaine.

Mais ne passez pas trop de temps à tester votre aptitude sans faire beaucoup de progrès, et notez que certaines personnes sont plus à même de contribuer lorsqu'elles travaillent en équipe. N'investissez donc pas trop dans le travail indépendant, surtout s'il y a peu de signes qu'il vous convient particulièrement bien. Ce type de projet peut se justifier pour un mois ou un peu plus, mais il est peu probable que ce soit une bonne idée d'y consacrer beaucoup plus de temps sans financement ou sans des retours vraiment encourageant de la part des personnes travaillant dans ce domaine.

Si vous avez l'expérience nécessaire pour occuper un poste de recherche, vous pouvez travailler sur la gouvernance de l'IA dans les universités, les organisations à but non lucratif et les groupes de réflexion. Certaines agences et commissions gouvernementales effectuent également des recherches utiles.

Notez que les universités et les milieux académiques ont leurs propres priorités et incitations qui ne sont souvent pas alignées sur la production de travaux à fort impact. Si vous êtes un chercheur déjà établi et titularisé, il peut être très utile de vous tourner vers des travaux sur la gouvernance de l'IA — votre position peut même vous donner une plateforme crédible à partir de laquelle vous pouvez défendre des idées importantes.

Mais si vous commencez tout juste une carrière dans la recherche et que vous souhaitez vous concentrer sur ces questions, vous devriez évaluer attentivement si c’est au sein du monde académique que vous recevrez le meilleur soutien. Par exemple, si vous connaissez un programme spécifique avec des mentors particuliers qui vous aideront à trouver des réponses à des questions cruciales dans ce domaine, cela pourrait être intéressant. Nous sommes moins enclins à encourager les personnes qui suivent cette voie pour occuper des postes universitaires génériques sans avoir une idée claire de la manière dont elles peuvent mener des recherches importantes sur la gouvernance de l'IA.

Des diplômes d'études supérieures en politique ou dans des domaines techniques pertinents peuvent cependant s'avérer utiles — voir plus de détails à ce sujet dans la section comment évaluer votre adéquation et démarrer.

Vous pouvez également en apprendre davantage dans notre article (en anglais) sur comment faire carrière dans la recherche.

Travail dans l’industrie

Les politiques internes et la gouvernance de l'IA au sein même des plus grandes entreprises d'IA sont également importantes pour atténuer les risques liés à l'IA.

Au plus haut niveau, décider qui siège aux conseils d'administration des entreprises, quel type d'influence ont ces conseils et quelles incitations orientent l'organisation peut avoir un fort impact sur les choix effectués par une entreprise. Nombre de ces postes sont occupés par des personnes ayant une grande expérience de gestion et de direction d’organisations, par exemple en ayant fondé et dirigé des entreprises.

Si vous rejoignez l'équipe décisionnelle d'une grande entreprise, vous pouvez modéliser les menaces et contribuer à l'élaboration, à la mise en œuvre et à l'évaluation de propositions visant à réduire les risques. De plus, vous pouvez établir un consensus autour des meilleures pratiques, telles qu'une sécurité de l'information solide, le recours à des évaluateurs externes pour trouver les vulnérabilités et les comportements dangereux dans les systèmes d'IA (simulation d'adversité), et l'expérimentation des dernières techniques issues du domaine de la sécurité de l'IA.

Et si, comme nous nous y attendons, les entreprises d'IA sont confrontées à une surveillance croissante de la part des gouvernements, assurer la conformité avec les lois et réglementations appropriées sera une priorité majeure. Communiquer avec les acteurs gouvernementaux et faciliter la coordination depuis l'intérieur des entreprises pourrait constituer un travail à fort impact.

En général, il semble préférable que les entreprises d'IA soient très coopératives entre elles3 et avec les groupes extérieurs qui cherchent à minimiser les risques. Et cela ne semble pas être un vœu pieux — de nombreux chefs de file de l'industrie ont exprimé leur inquiétude quant aux risques catastrophiques et ont même appelé à une réglementation de la technologie pionnière qu'ils sont en train de créer.

Cela dit, la coopération demandera probablement beaucoup d'efforts. Les entreprises qui fabriquent des systèmes d'IA puissants pourraient être tentées de résister à certaines politiques de réduction des risques, car elles sont fortement incitées à commercialiser leurs produits. Il sera donc bénéfique d'obtenir l'adhésion des principaux acteurs du milieu, d'accroître la confiance et le partage d'informations, et de parvenir à un consensus autour de stratégies de sécurité de haut niveau.

Plaidoyer et lobbying

Les personnes extérieures au gouvernement ou aux entreprises d'IA peuvent influencer les politiques publiques et la gouvernance des entreprises par des actions de plaidoyer et de lobbying.

Le plaidoyer est un terme général pour désigner les efforts visant à promouvoir certaines idées et à façonner le discours public, souvent autour de sujets liés à la politique. Le lobbying est un effort plus ciblé visant à influencer la législation et la réglementation, souvent en dialoguant avec des législateurs et des fonctionnaires.

Si vous pensez que les entreprises d'IA seraient disposées à plaider en faveur d'une réglementation globalement bénéfique, une collaboration avec elles pourrait pousser les gouvernements à adopter des politiques spécifiques. Il est plausible que les entreprises d'IA soient celles qui comprennent le mieux la technologie, ainsi que les risques, les mécanismes de défaillance et les voies les plus sûres — et qu'elles soient donc les mieux placées pour informer les décideurs politiques.

D'un autre côté, les entreprises d'IA pourraient avoir trop d'intérêts directs dans le contenu des réglementations pour plaider de manière fiable en faveur de politiques bénéfiques au plus grand nombre. Dans ce cas, il peut être préférable de rejoindre ou de créer des organisations de défense des intérêts sans lien avec l'industrie — éventuellement soutenues par des dons — qui peuvent adopter des positionnements opposés aux intérêts commerciaux.

Par exemple, certaines personnes estiment qu'il serait préférable de ralentir ou de stopper délibérément le développement de modèles d'IA de plus en plus puissants. Les partisans de cette mesure pourraient l'exiger des entreprises elles-mêmes ou des pouvoirs publics. Mais promouvoir cette mesure pourrait être difficile pour les personnes impliquées dans les entreprises qui créent des systèmes d'IA avancés.

Il est également possible que ce soit l’équilibre entre les perspectives internes et externes à l'industrie qui aboutisse aux meilleurs résultats.

Le plaidoyer peut aussi :

  • Mettre en lumière des approches négligées mais prometteuses de la gouvernance qui ont été découvertes par la recherche
  • Faciliter le travail des décideurs politiques en montrant que le public soutient les mesures de gouvernance
  • Créer des passerelles entre la recherche, les décideurs politiques, les médias et le public en communiquant des idées complexes de manière accessible
  • Faire pression sur les entreprises pour qu'elles agissent avec plus de prudence
  • Changer le sentiment du public à l'égard de l'IA et décourager les comportements irresponsables des acteurs individuels

Notez toutefois que le plaidoyer peut parfois avoir des effets contraires à ceux escomptés, car il n'est pas facile de prédire comment une information sera reçue. Sachez que :

  • Attirer l'attention sur un domaine d'action peut parfois déclencher un retour de bâton
  • Certains styles de rhétorique peuvent aliéner les gens ou polariser l'opinion publique
  • La diffusion de messages erronés peut vous discréditer et discréditer les autres

Il est important de garder ces risques à l'esprit et de consulter d'autres personnes (en particulier celles que vous respectez mais avec lesquelles vous pourriez être en désaccord sur le plan tactique). Vous devez également vous informer en profondeur sur le sujet avant de le présenter au public.

Nous vous recommandons de lire notre article sur les façons dont les personnes qui essaient de faire le bien aggravent parfois accidentellement les choses et comment éviter cela. Enfin, il peut être utile de lire notre article sur les compétences nécessaires pour communiquer sur des idées importantes.

Étude de cas : la déclaration du Center for AI Safety

En mai 2023, le Center for AI Safety a publié une déclaration ne comportant qu’une seule phrase : « Atténuer le risque d'extinction par l'IA devrait constituer une priorité mondiale au même titre que d’autres risques pour nos sociétés, tels que les pandémies et la guerre nucléaire ».

Fait notable, la déclaration a été soutenue par plus de 100 signataires, dont des responsables de grandes entreprises d'IA, notamment OpenAI, Google Deepmind et Anthropic, ainsi que des chercheurs de premier plan dans le domaine, Geoffrey Hinton et Yoshua Bengio. Y figurent également un membre du Congrès américain, d'autres fonctionnaires, des économistes, des philosophes, des responsables d'entreprises etc.

Cette déclaration a attiré l'attention des médias du moment, et le Premier ministre britannique Rishi Sunak et le secrétaire de presse de la Maison Blanche ont tous deux réagi à la déclaration en exprimant leur inquiétude. Le gouvernement britannique et le gouvernement américain ont depuis lors pris des mesures pour commencer à faire face à ces risques.

La déclaration a également contribué à clarifier et à éclairer le discours sur les risques de l'IA, en montrant que s'inquiéter de catastrophes de l'ampleur de l'extinction humaine n'est pas une préoccupation marginale.

Audit et évaluation par des tiers

Si des mesures réglementaires pour réduire les risques de l'IA avancée sont instaurées, certaines agences et organisations extérieures devront auditer les entreprises et les systèmes pour s'assurer que les réglementations sont respectées.

Les gouvernements s'appuient souvent sur des auditeurs tiers dans le cadre de la réglementation, car ils ne disposent pas d'une grande partie de l'expertise dont dispose le secteur privé. À notre connaissance, il n'existe pas beaucoup d'opportunités dans l'audit lié à l'IA, alors que ces fonctions jouent un rôle essentiel dans le cadre d'une gouvernance de l'IA efficace.

Les entreprises d'IA et les systèmes d'IA qu'elles créent peuvent faire l'objet d'audits et d'évaluations par souci de sûreté.

Une organisation à but non lucratif, Model Evaluation and Threat Research (METR, anciennement ARC Evals), a été à l'avant-garde des travaux visant à évaluer les capacités des modèles d'IA avancés4. Début 2023, l'organisation s'est associée à deux entreprises d'IA de premier plan, OpenAI et Anthropic, pour évaluer les capacités des dernières versions de leurs modèles de chatbot avant leur mise en circulation. Ils ont cherché à déterminer si les modèles avaient des capacités potentiellement dangereuses dans un environnement contrôlé.

Les entreprises ont volontairement coopéré avec le METR pour ce projet, mais à l'avenir, ces évaluations pourraient être légalement requises.

D'autres types d'audit et d'évaluation pourraient également être exigés. Le METR a déclaré qu'il avait pour projet de développer des méthodes pour déterminer quels modèles sont correctement alignés — c'est-à-dire que leur comportement est conforme aux attentes des usagers — avant leur mise sur le marché.

Les gouvernements peuvent également faire appel à des auditeurs pour évaluer la puissance de calcul à laquelle les développeurs d'IA ont accès, leurs pratiques en matière de sécurité de l'information, l'utilisation des modèles, les données utilisées pour former les modèles, etc.

Acquérir les compétences techniques et les connaissances nécessaires pour réaliser ce type d'évaluations, et rejoindre les organisations qui seront chargées de les réaliser, pourrait être le point de départ d'une carrière à fort impact. Ce type de travail devra probablement être effectué par des personnes sachant faire face à des relations complexes entre l'industrie et les pouvoirs publics. Une personne ayant de l'expérience dans les deux secteurs pourrait avoir beaucoup à apporter.

Certaines de ces fonctions peuvent se recouper avec le travail dans la recherche sur la sûreté technique de l'IA.

Travail et coordination au niveau international

États-Unis/Chine

Si vous avez le profil adéquat, travailler à développer la coordination avec la Chine sur le développement sûr de l'IA pourrait être une carrière particulièrement forte en impact.

Le gouvernement chinois joue un rôle majeur dans le financement de l'IA, et le pays compte des entreprises technologiques géantes qui pourraient potentiellement stimuler les avancées.

Compte tenu des tensions entre les États-Unis et la Chine, et des risques posés par l'IA avancée, il y a beaucoup à gagner à accroître la confiance, la compréhension et la coordination entre les deux pays. Le monde se portera probablement beaucoup mieux si nous pouvons éviter un conflit entre grandes puissances et si les acteurs les plus importants des technologies émergentes peuvent éviter d'aviver tout risque mondial.

Nous avons écrit une revue de carrière distincte qui explore plus en profondeur les voies liées à la sûreté et la gouvernance de l'IA en relation avec la Chine.

Autres gouvernements et organisations internationales

Comme indiqué précédemment, notre attention porte principalement sur la politique des États-Unis et les rôles des gouvernements. Cela s'explique en grande partie par le fait que nous pensons que les États-Unis sont aujourd'hui l'acteur le plus important en matière de réglementation de l'IA et qu'ils continueront probablement à l'être, quoique la Chine puisse faire exception, comme évoqué dans la section précédente.

Le Royaume-Uni, toutefois, pourrait receler d'excellentes possibilités de travailler sur la politique de l'IA en complément du travail mené aux États-Unis. De hauts responsables britanniques ont exprimé leur intérêt pour l'élaboration d'une politique de l'IA, une nouvelle agence internationale et la réduction des risques existentiels. Et le gouvernement britannique a annoncé en 2023 la création d'un groupe de travail sur les modèles d’IA de fondation pour faire avancer la recherche sur la sûreté.

L'Union européenne a démontré que ses normes de protection des données — le Règlement général sur la protection des données (RGPD) — affectent le comportement des entreprises bien au-delà de ses frontières géographiques. Les responsables de l'UE ont également fait avancer la réglementation de l'IA, et certaines recherches ont exploré l'hypothèse selon laquelle l'impact des réglementations de l'UE en matière d'IA s'étendra bien au-delà du continent — ce que l'on appelle l'« effet Bruxelles ».

En outre, tout pays relativement riche pourrait financer une partie de la recherche en sûreté de l'IA, bien qu'une grande partie de cette recherche nécessite de disposer des meilleures compétences et d'une technologie de pointe. Toute avancée significative dans la recherche en sûreté de l'IA pourrait orienter la recherche portant sur les modèles les plus puissants.

D'autres pays pourraient également élaborer des critères de responsabilité pour les concepteurs de systèmes d’IA, ce qui inciterait les entreprises à faire preuve de prudence avant de mettre des modèles sur le marché.

Enfin, à terme, des traités sur l'IA et des réglementations internationales pourraient voir le jour, tout comme la communauté internationale a créé l'Agence internationale de l'énergie atomique, la Convention sur les armes biologiques et le Groupe d'experts intergouvernemental sur l'évolution du climat afin de coordonner et d'atténuer d'autres menaces planétaires catastrophiques.

Les efforts visant à inciter les gouvernements du monde entier à appréhender et à partager les informations relatives aux menaces posées par l'IA pourraient s'avérer extrêmement importants dans certains scénarios futurs. L'Organisation de coopération et de développement économiques, par exemple, a déjà créé l'Observatoire des politiques d'IA.

Des pays tiers pourraient également être en mesure de faciliter la coopération et de réduire les tensions entre les États-Unis et la Chine, tant au niveau de l'IA que d'autres sujets sensibles potentiels.

Quelles politiques existent déjà ?

Les personnes travaillant dans la politique de l'IA ont proposé une série d'approches visant à réduire les risques à mesure que les systèmes d'IA deviennent plus puissants.

Nous n'approuvons pas nécessairement toutes les idées présentées ci-dessous, mais voici une liste d'approches politiques importantes qui pourraient viser à réduire les plus grands dangers liés à l'IA5 :

  • Politiques de développement raisonné : certaines grandes entreprises d'IA ont déjà commencé à élaborer des dispositifs internes d'évaluation de sûreté à mesure qu'elles augmentent les capacités de leurs systèmes. Ces dispositifs introduisent des mesures de protection destinées à devenir de plus en plus strictes à mesure que les systèmes d'IA deviennent potentiellement plus dangereux, et ils veillent à ce que les capacités des systèmes d'IA ne dépassent pas les capacités des entreprises à assurer la sécurité des systèmes. Beaucoup affirment que ces politiques internes ne sont pas suffisantes pour assurer la sûreté, mais elles peuvent représenter une étape prometteuse pour réduire les risques. Vous pouvez consulter des versions de ces politiques chez Anthropic, Google DeepMind et OpenAI.
  • Critères et évaluation : les gouvernements pourraient élaborer des critères de référence et des protocoles d’évaluation à l'échelle de l'industrie pour évaluer si les systèmes d'IA présentent des risques majeurs. L'organisme à but non lucratif METR et le UK AI Safety Institute figurent parmi les organismes qui développent actuellement ces protocoles pour tester les modèles d'IA avant et après leur mise sur le marché. Cette démarche peut inclure la création de métriques standardisées pour évaluer les capacités et le potentiel de nuisance d'un système d'IA, ainsi que sa propension à la recherche de pouvoir ou au désalignement.
  • Dossiers de sécurité : cette pratique consiste à exiger des développeurs d'IA qu'ils fournissent une documentation complète démontrant la sûreté et la fiabilité de leurs systèmes avant leur déploiement. Cette approche est similaire aux dossiers de sécurité utilisés dans d'autres secteurs à haut risque comme l'aviation ou l'énergie nucléaire6. Cette idée est abordée dans un article de Clymer et al et dans un article de Geoffrey Irving du UK AI Safety Institute.
  • Normes de sécurité de l'information : nous pourrions établir des normes solides pour protéger les données, les algorithmes et l'infrastructure liés à l'IA contre l'accès ou la manipulation non autorisés — en particulier les « poids » (weights) des modèles d'IA. Rand a publié un rapport détaillé analysant les risques associés à la sûreté des grandes entreprises d'IA, notamment de la part d'acteurs étatiques.
  • Droit de la responsabilité : le droit existant impose déjà une certaine responsabilité aux entreprises qui créent des produits dangereux ou causent des dommages importants au public, mais son application aux modèles d'IA et à leurs risques en particulier n'est pas claire. Clarifier les modalités d'application de la responsabilité aux entreprises qui créent des modèles d'IA dangereux pourrait les inciter à prendre des mesures supplémentaires pour réduire les risques. Le professeur de droit Gabriel Weil a écrit sur ce sujet.
  • Gouvernance du calcul : les gouvernements peuvent réglementer l'accès et l'utilisation des ressources de calcul à haute performance nécessaires à l'entraînement des grands modèles d'IA. Les restrictions imposées par les États-Unis à l'exportation de puces de pointe vers la Chine sont un exemple de ce type de politique, et d'autres sont possibles. Les entreprises pourraient également être tenues d'installer des dispositifs de sûreté au niveau du matériel directement dans les puces ou les processeurs d'IA. Ces dispositifs pourraient être utilisés pour tracer les puces et s'assurer qu'elles n'entrent pas en possession d'un acteur inadéquat, ou à d'autres fins. Pour en savoir plus sur ce sujet, consultez notre entretien avec Lennart Heim et ce rapport du Centre pour une nouvelle sécurité américaine.
  • Coordination internationale : il pourrait être crucial de favoriser la coopération internationale en matière de gouvernance de l'IA afin de garantir des normes cohérentes. Cela pourrait passer par des traités, des organisations internationales ou des accords multilatéraux sur le développement et le déploiement de l'IA. Nous abordons certaines considérations connexes dans notre article sur les carrières en sûreté de l'IA et gouvernance en relation avec la Chine.
  • Adaptation sociétale : préparer nos sociétés à l'intégration généralisée de l'IA et aux risques potentiels qu'elle pose pourrait être d'une importance cruciale. Par exemple, il pourrait être nécessaire de développer de nouvelles mesures de sécurité de l'information pour protéger les données importantes dans un monde où le piratage est facilité par l'IA ; ou encore, de mettre en place des mécanismes de contrôle rigoureux pour éviter de remettre des décisions sociétales clés à des systèmes d'IA7.
  • Mettre en pause le développement si nécessaire : Certaines personnes estiment que nous devrions actuellement interrompre tout développement supplémentaire des modèles d'IA en raison des dangers que présente la technologie. Nous avons discuté de cette idée dans notre podcast. Il semble difficile de savoir si et à quel moment cette idée serait bonne. Si elle est mise en œuvre, elle pourrait impliquer des accords à l'échelle de l'industrie ou des mandats réglementaires pour interrompre les efforts de développement.

Les détails, les avantages et les inconvénients de bon nombre de ces idées n'ont pas encore été entièrement définis. Il est donc essentiel que nous poursuivions nos recherches et que nous obtenions davantage de contributions de la part de parties prenantes bien informées. Et cette liste n'est pas exhaustive — il existe probablement d'autres interventions politiques et stratégies de gouvernance importantes qui méritent d'être poursuivies.

Vous pouvez également consulter une liste d'idées politiques potentielles de Luke Muehlhauser d'Open Philanthropy8, un article sur les propositions politiques en matière d'IAG de Dylan Matthews de Vox, et une enquête d'opinion d'experts sur les meilleures pratiques en matière de sûreté de l'IA et de gouvernance.

Quelques exemples de personnes ayant suivi cette voie

Helen Toner

Helen a suivi des études d'ingénieur avant d'obtenir un poste de chercheur à GiveWell, puis à Open Philanthropy. Elle a ensuite exploré quelques domaines d'action et a finalement déménagé à Pékin pour se former sur les intersections entre la Chine et l'IA. Lorsque le Center for Security and Emerging Technology (CSET) a été fondé, elle a été recrutée pour participer à la mise en place de l'organisation. Depuis, le CSET est devenu un groupe de réflexion de premier plan à Washington au sujet de l'intersection des technologies émergentes et de la sécurité nationale.

En savoir plus

Ben Garfinkel

Ben a été diplômé de Yale en 2016, où il s'est spécialisé dans la physique, les mathématiques et la philosophie. Après avoir obtenu son diplôme, Ben est devenu chercheur au Centre for Effective Altruism, puis a rejoint le Centre for the Governance of AI, dont il est devenu le directeur.

En savoir plus.

Comment évaluer son adéquation et se lancer ?

Si vous êtes en début de carrière, vous devriez d'abord vous concentrer sur l'obtention de compétences et d'un capital professionnel pour contribuer avec succès à une bonne gouvernance et réglementation de l'IA.

Il existe plusieurs manières d’acquérir du capital professionnel. D'une manière générale, travailler ou étudier dans des domaines tels que la politique, le droit, les relations internationales, la communication et l'économie peut être un atout pour intégrer le secteur politique.

Une expertise dans le domaine de l'IA elle-même, acquise en étudiant et en travaillant dans l'apprentissage automatique et la sûreté technique de l'IA, ou dans des domaines potentiellement connexes tels que le matériel informatique et la sécurité de l'information, devrait également vous conférer un avantage considérable.

Tester son adéquation

Essayez de trouver des tests qui soient relativement « peu coûteux » pour évaluer votre adéquation avec différentes voies. Vous pourriez, par exemple, suivre un stage en politique, postuler à une bourse, effectuer une courte période de recherche indépendante ou suivre des cours sur l'apprentissage automatique ou l'ingénierie informatique.

Vous pourriez également vous entretenir avec des personnes exerçant un certain emploi et découvrir l'expérience quotidienne du travail et les compétences requises.

Tous ces facteurs peuvent être difficiles à prévoir à l'avance. Bien que nous ayons regroupé le « travail gouvernemental » dans une seule catégorie ci-dessus, cette étiquette couvre un large éventail de rôles. Trouver le bon poste peut prendre des années, et cela peut dépendre de facteurs indépendants de votre volonté, tels que les collègues avec lesquels vous travaillez en étroite collaboration. C'est l'une des raisons pour lesquelles il est utile de se constituer un capital professionnel de bonne qualité qui vous offre davantage d'options.

Ne sous-estimez pas l'intérêt de postuler à de nombreux postes pertinents dans le domaine et le secteur que vous visez pour évaluer les résultats. Cette stratégie vous exposera probablement à de nombreux rejets, mais vous serez en mesure de mieux évaluer votre adéquation aux postes en voyant votre progression dans les processus de recrutement. Cela peut vous apporter plus d'informations que d'essayer de deviner si vous avez l'expérience requise.

Essayez d'exclure certains types d'emplois si vous avez la preuve que vous ne correspondez pas bien à la situation. Par exemple, si vous investissez beaucoup d'efforts pour essayer d'entrer dans des universités réputées ou des organismes à but non lucratif pour faire de la recherche sur la gouvernance de l'IA, mais que vous ne recevez aucune offre prometteuse et peu d'encouragements, cela pourrait être un signal que vous avez peu de chances de réussir et de vous épanouir dans cette voie.

Cela ne signifie pas que vous n'avez rien à apporter, mais que votre avantage comparatif peut se situer ailleurs.

Lisez la section de notre guide des carrières consacrée à la recherche d'un emploi qui vous corresponde

Différents types de capital professionnel

La gouvernance de l'IA nécessite un mélange de personnes ayant une expertise technique et politique — et certaines personnes qui possèdent les deux.

Bien que toute personne impliquée dans ce domaine doive entretenir une compréhension des détails techniques et politiques, vous commencerez probablement par vous concentrer sur les compétences soit politiques soit techniques afin d’obtenir un capital professionnel.

Cette section couvre :

La plupart de ces conseils sont axés sur les emplois aux États-Unis, mais ils peuvent s'avérer pertinents dans d'autres contextes.

Capital professionnel généralement utile

Le chapitre du Guide Carrière de 80 000 Hours consacré au capital professionnel énumère cinq éléments clés qui seront utiles dans n'importe quel parcours : les compétences et connaissances, le réseau, les diplômes, la personnalité et le matelas de sécurité.

Pour la plupart des emplois liés à la politique, les compétences sociales, le réseau et les compétences — faute d'un meilleur terme — politiques seront un atout majeur. Ce sont des choses qu’on peut probablement acquérir dans une certaine mesure, mais certaines personnes risquent de découvrir qu'elles ne possèdent pas ce type de compétences et qu'elles ne peuvent pas ou ne veulent pas les acquérir.

Ce n'est pas grave : il existe de nombreuses autres voies pour mener une carrière épanouissante et ayant un fort impact, et certains postes au sein de cette voie peuvent nécessiter ces compétences dans une bien moindre mesure. C'est pourquoi il est important de tester votre adéquation.

Lire la section complète du guide de carrière sur le capital professionnel.

Capital professionnel politique

Pour acquérir des compétences en matière de politique, vous pouvez vous former dans de nombreux domaines pertinents, tels que les sciences politiques, l'économie et le droit.

De nombreux cursus de master proposent des cours spécifiques sur les politiques publiques, la science et la société, la sécurité, les relations internationales et autres ; le fait d'être titulaire d'un diplôme d'études supérieures ou d'un diplôme de droit vous donnera une longueur d'avance pour de nombreux postes.

Si vous aimez le travail gouvernemental et politique, que vous impressionnez vos collègues et que vous progressez dans votre carrière, il se peut que vous soyez un bon candidat. Le simple fait de réussir et de s'épanouir dans le travail gouvernemental peut constituer un avantage comparatif précieux.

Capital professionnel technique

L'expérience technique en matière d'apprentissage automatique, de matériel d'IA et de domaines connexes peut constituer un atout précieux pour une carrière dans la gouvernance de l'IA. Il sera donc très utile d'avoir étudié dans un domaine pertinent dans le cadre d'un diplôme de premier ou de deuxième cycle, ou d'avoir suivi un programme d'études indépendant particulièrement productif.

Nous proposons un guide des carrières en sûreté technique de l'IA, qui explique comment apprendre les bases de l'apprentissage automatique.

Travailler dans une entreprise ou un laboratoire d'IA dans des postes techniques, ou dans d'autres entreprises qui utilisent des systèmes et du matériel d'IA avancés, peut également fournir un capital professionnel conséquent pour le travail politique en lien avec l’IA. Lisez notre étude de carrière qui discute des avantages et des inconvénients de travailler dans une entreprise d'IA de premier plan.

Nous avons également publié une revue de carrière qui affirme que devenir spécialiste en matériel d'IA pourrait s'avérer très utile dans le domaine de la gouvernance de l’IA.

De nombreux responsables politiques et législateurs sont des généralistes, car leurs fonctions les amènent à travailler dans de nombreux domaines et sur différents types de problèmes. Cela signifie qu'ils devront s'appuyer sur des connaissances spécialisées lorsqu'ils élaboreront et mettront en œuvre des politiques relatives à des technologies d'IA qu'ils ne comprennent pas entièrement. Par conséquent, si vous pouvez leur fournir ces informations, en particulier si vous êtes capable de les communiquer clairement, vous pouvez potentiellement jouer un rôle influent.

Certaines personnes qui étaient initialement intéressées par une carrière dans la sûreté technique de l'IA, mais qui ont constaté qu'elles n'étaient plus intéressées par cette voie ou qui ont trouvé des opportunités politiques plus prometteuses, pourraient également décider de se tourner vers une carrière politique.

Néanmoins, le travail politique ne convient pas à tout le monde — de nombreux experts techniques peuvent ne pas avoir la bonne prédisposition ou les bonnes compétences. Les personnes qui s'engagent dans la voie de la politique ont souvent intérêt à posséder de solides compétences rédactionnelles et sociales, à être à l'aise dans la bureaucratie et à travailler avec des personnes ayant des motivations et des visions du monde très différentes.

Ernest Moniz : de l'expertise scientifique à la politique

Ernest Moniz a commencé sa carrière en tant que physicien, devenant professeur au MIT dans les années 1970. Il a acquis de l'expérience de gestion en tant que chef de département et dirigeant du conseil de recherche du MIT. Dans les années 1990, il a occupé le poste de directeur associé pour la science au sein du bureau de la politique scientifique et technologique de la Maison-Blanche.

Il est ensuite devenu sous-secrétaire au ministère de l'Énergie, ce qui lui a permis d'accéder au poste de secrétaire à l'Énergie sous la présidence de Barack Obama — un poste très influent où il a mis à profit son expertise technique dans les négociations internationales sur les armes nucléaires.

L’exemple de Moniz montre à quel point une personne ayant une formation technique peut influencer le secteur politique — mais bien sûr, il n'est pas nécessaire d'être professeur au MIT ou de diriger une agence fédérale pour avoir un fort impact.

Autres formes spécifiques de capital professionnel

Il existe d'autres façons d'acquérir un capital professionnel utile qui pourrait s'appliquer à ce plan de carrière.

  • Si vous possédez ou acquérez d'excellentes compétences en communication en tant que journaliste ou militant, par exemple, ces compétences pourraient s'avérer très utiles pour le plaidoyer et le lobbying dans le domaine de la gouvernance de l'IA.
  • Le plaidoyer autour des questions d'IA n'en étant qu'à ses débuts, des personnes ayant une expérience dans d'autres domaines d'action importants et pouvant partager leurs connaissances et leurs compétences seront probablement d’autant plus précieuses.
  • Vous pouvez travailler dans une entreprise ou un laboratoire d'IA à des postes non techniques, ce qui vous permettra de vous familiariser avec la technologie, le secteur et cet environnement.
  • Vous pouvez travailler sur des campagnes politiques et vous impliquer dans la politique de parti. C'est une façon de s'impliquer dans la législation, d'en apprendre plus sur la politique et d'aider les législateurs importants, et vous pouvez aussi potentiellement aider à façonner le discours autour de la gouvernance de l'IA. Notez cependant qu'il existe le risque de potentiellement polariser l'opinion publique au sujet des politiques de l'IA, comme (discuté plus loin) ; et intégrer la politique de parti peut limiter votre potentiel d'impact chaque fois que le parti que vous avez rejoint ne détient pas le pouvoir.
  • Vous pouvez même essayer de devenir un représentant élu vous-même, bien que ce soit compétitif. Si vous empruntez cette voie, assurez-vous de trouver des conseillers dignes de confiance et bien informés pour développer votre expertise en IA, car les politiciens ont de nombreuses autres responsabilités et ne peuvent pas se concentrer autant sur une question particulière.
  • Vous pouvez vous concentrer sur le développement d'ensembles de compétences spécifiques qui pourraient être utiles dans la gouvernance de l'IA, comme la sécurité de l'information, le travail de renseignement, la diplomatie avec la Chine, etc.
  • Autres compétences : Les compétences organisationnelles, entrepreneuriales, de gestion, diplomatiques et bureaucratiques se révéleront probablement aussi très précieuses dans cette carrière. Il peut y avoir de nouvelles agences d'audit à créer ou des mesures politiques à mettre en œuvre. Une personne ayant travaillé à des niveaux élevés dans d'autres secteurs à fort enjeu, créé une entreprise influente ou coordonné des négociations complexes entre différents groupes, amènerait des compétences importantes.

Vous souhaitez obtenir des conseils personnalisés sur ce parcours ?

Puisqu'il s'agit de l'un de nos parcours prioritaires, si vous pensez qu'il s'agit d'une option intéressante pour vous, nous apprécierions particulièrement de pouvoir vous conseiller individuellement sur les prochaines étapes. Nous pouvons vous aider à examiner vos options, à établir des liens avec d'autres personnes travaillant dans le même domaine, et peut-être même vous aider à trouver un emploi ou des possibilités de financement.

Demander conseil

Où ce genre de travail peut-il être effectué ?

Nous vous invitons à consulter la version la plus à jour de cette section sur l’article original.

Ce à quoi il faut faire attention

Causer du tort involontairement

Comme nous l'expliquons dans notre article sur les dommages involontaires, il existe de multiples manières de nuire à un nouveau domaine dans lequel vous travaillez alors que vous essayez de faire le bien, et cela peut signifier que votre impact est négatif plutôt que positif. (Vous pouvez également lire notre article sur les carrières nocives.)

Il est très possible de causer du tort par inadvertance dans le domaine émergent de la gouvernance de l'IA. Nous avons évoqué certaines possibilités dans la section plaidoyer et lobbying. Voici d'autres possibilités :

  • Promouvoir une politique donnée au détriment d'une politique qui serait préférable
  • Communiquer sur les risques de l'IA d’une manière qui attise les tensions géopolitiques
  • Promulguer une politique qui a l’effet inverse de l'effet escompté
  • Créer des précédents politiques qui pourraient être exploités par des acteurs dangereux à l'avenir
  • Financer des projets d'IA qui s'avèrent dangereux
  • Envoyer le message, implicite ou explicite, que les risques sont maîtrisés alors qu'ils ne le sont pas, ou qu'ils sont moins élevés qu'ils ne le sont en réalité
  • Supprimer une technologie qui serait en réalité extrêmement bénéfique pour la société

Nous devons agir avec des informations incomplètes, et il se peut donc que l'on ne sache jamais très bien quand ou si les personnes chargées de la gouvernance de l'IA tombent dans ces pièges. Le fait d’avoir conscience qu'il s'agit de moyens potentiels de causer du tort vous aidera cependant à faire attention à ces possibilités, et vous devriez rester ouvert à un éventuel changement de cap si vous trouvez des preuves que vos actions peuvent être préjudiciables.

Nous recommandons aussi de garder à l'esprit les conseils généraux suivants, tirés de notre article sur les dommages involontaires :

  1. Idéalement, éliminez les moyens d’action susceptibles d'avoir un fort impact négatif.
  2. Ne soyez pas un « optimisateur naïf ».
  3. Faites preuve d'humilité.
  4. Développez votre expertise, formez-vous, constituez un réseau et profitez de la sagesse accumulée dans votre domaine.
  5. Respectez les normes de coopération.
  6. Adaptez vos capacités à votre projet et à votre influence.
  7. Évitez les actions difficilement réversibles.

S’épuiser à la tâche

Nous pensons que ce travail est exceptionnellement urgent et précieux, et nous encourageons donc les personnes qui pourraient être intéressées à tester leur adéquation avec le domaine de la gouvernance. Mais il peut être particulièrement difficile d'entrer dans l'administration publique. Certaines personnes que nous avons conseillées se sont lancées dans la politique avec l'espoir d'avoir un fort impact, avant de finir par s'épuiser et de passer à autre chose.

En même temps, de nombreux décideurs politiques trouvent leur travail très utile, intéressant et varié.

Certaines fonctions au sein du gouvernement peuvent être particulièrement exigeantes pour les raisons suivantes :

  • Le rythme de travail peut être très soutenu, ce qui cause du stress et implique de longues heures de travail. Ceci est particulièrement vrai dans les postes de direction de l'exécutif, mais beaucoup moins dans les groupes de réflexion ou dans les agences subalternes.
  • Il faut parfois beaucoup de temps pour accéder à des postes dotés d'une certaine autonomie ou d'un pouvoir de décision.
  • Les progrès sur les questions qui vous tiennent à cœur peuvent être lents et vous devez souvent travailler sur d'autres priorités. Les membres du personnel du Congrès, en particulier, ont généralement des portefeuilles politiques très vastes.
  • Le travail au sein des bureaucraties se heurte à de nombreuses limites, ce qui peut être frustrant.
  • Il peut être démotivant de travailler avec des personnes qui ne partagent pas vos valeurs. Notez toutefois que la politique peut attirer des personnes altruistes, même si elles ont des convictions différentes sur la manière de faire le bien.
  • Le travail n'est généralement pas bien rémunéré par rapport à des postes comparables en dehors du gouvernement.

Nous vous recommandons donc de parler à des personnes qui occupent le type de postes que vous pourriez viser afin de vous faire une idée de la pertinence de cette carrière pour vous. Et si vous décidez de poursuivre dans cette voie, soyez attentif aux signes indiquant que ce travail peut avoir un impact négatif sur vous et cherchez le soutien de personnes qui comprennent ce qui vous tient à cœur.

Si vous finissez par vouloir ou devoir quitter votre travail et vous engager dans une nouvelle voie, ce n'est pas nécessairement une perte ou un motif de regret. Vous établirez probablement des liens importants et obtiendrez beaucoup d'informations et de compétences utiles. Ce capital professionnel peut vous être utile lors de votre transition vers un autre poste, peut-être en poursuivant une approche complémentaire de la gouvernance de l'IA.

Pourquoi une telle attention sur l’IA ?

Les risques posés par l'IA nous préoccupent depuis des années. En nous appuyant sur les arguments selon lesquels cette technologie pourrait potentiellement provoquer une catastrophe planétaire, et avoir par ailleurs un impact dramatique sur les générations futures, nous avons conseillé à de nombreuses personnes de s'efforcer d'atténuer ces risques.

Nous ne pensons pas que les arguments en faveur du risque soient sans failles. Mais ils méritent d'être pris au sérieux et, compte tenu du fait que peu de personnes dans le monde semblaient consacrer du temps à déterminer l'ampleur de la menace ou les moyens de l'atténuer (alors que, en parallèle, les progrès réalisés pour rendre les systèmes d'IA plus puissants s'accéléraient), nous avons conclu qu'il valait la peine de classer cette question parmi nos priorités principales.

Maintenant que l'IA fait l'objet d'une attention accrue, certains pourraient en conclure qu'elle est moins négligée et qu'il est donc moins urgent de s'y intéresser. Toutefois, l'attention accrue portée à l'IA augmente le potentiel d’amélioration de nombreuses interventions, car les décideurs politiques et d'autres acteurs sont plus ouverts à l'idée d'élaborer des réglementations en matière d'IA.

Et si l'on accorde désormais plus d'attention à l'IA, il n'est pas certain que cette attention se concentre sur les risques les plus importants. Il y a donc probablement encore une large marge de manœuvre pour que des travaux importants et urgents façonnent positivement l'élaboration de la politique en matière d'IA.

Pour continuer la lecture

Si cette carrière vous intéresse, nous vous recommandons de consulter les articles suivants.

  • Working in us AI policy (Travailler dans la politique de l'IA américaine)

    Le gouvernement américain est susceptible d'être un acteur clé dans la façon dont l'IA avancée est développée et utilisée dans la société, que ce soit directement ou indirectement.

  • Should you work at a frontier AI company? - Career review (Devriez-vous travailler dans une entreprise d'IA de pointe ?)

    Travailler dans une entreprise d'IA de pointe est une option de carrière importante à envisager, mais l'impact d'un poste donné est complexe à évaluer.

Preventing an AI-related catastrophe (Prévenir une catastrophe liée à l'IA) L'IA pourrait être source d'énormes bienfaits — à condition d'en éviter les risques.

En savoir plus

Principales recommandations

Autres recommandations

Ressources de 80 000 Hours

Autres ressources

À lire ensuite

Vous envisagez d'autres voies ? Consultez notre liste des carrières à fort impact selon nos recherches.

  1. Nous avons interrogé au moins cinq personnes ayant une expertise pertinente sur ce parcours, passé au moins une semaine à lire les meilleurs conseils existants, et fait une enquête approfondie sur plusieurs de nos incertitudes clés concernant ce parcours (ou d'autres similaires). Certaines de nos opinions auront fait l'objet de recherches approfondies, même s'il est probable qu'il reste des lacunes dans notre compréhension.
  2. Si vous n'êtes pas citoyen américain mais que vous souhaitez travailler dans le domaine de la politique américaine, nous pensons que cet article offre des conseils avisés.
  3. Il peut y avoir de bons arguments en faveur de la coopération des entreprises pour réduire les risques, mais il peut aussi y avoir des obstacles juridiques à certaines formes de coopération — comme les lois antitrust. Trouver comment les entreprises peuvent agir de manière responsable tout en se conformant à toutes les lois pertinentes peut être un plan d'action à fort impact.
  4. Le METR a pour conseiller Holden Karnofsky, cofondateur d'Open Philanthropy, qui est le plus grand bailleur de fonds de 80 000 Hours.
  5. Cette liste n'est pas exhaustive. Il existe probablement de nombreuses autres approches politiques qu'il serait à la fois utile et justifié de poursuivre, mais qui ne visent pas à réduire les risques les plus importants.
    Bien que ces politiques méritent probablement d'être menées parallèlement à celles qui réduisent les risques catastrophiques, elles ne constituent pas l'objet principal de cet article.
  6. Voir, par exemple : Peter Bishop et Robin Bloomfield (1998) A methodology for safety case development, dans Felix Redmill et Tom Anderson (éds.), Industrial Perspectives of Safety-Critical Systems, London: Springer London, p. 194–203.
  7. Pour plus d'informations, voir : Jamie Bernardi et al. (2024) Societal adaptation to advanced ai, arXiv:2405.10295 [cs].
  8. Open Philanthropy est le principal bailleur de fonds de 80 000 Hours.