Nous menons trois types d’activités : recherche et développement, sensibilisation, et formation.
Nos projets visent à atténuer les risques induits par l'IA.

Recherche

Notre programme de recherche vise à identifier et corriger les comportements problématiques des modèles d'IA en développant des outils de monitoring et des solutions adaptées. Nos analyses et évaluations de modèles pourront éclairer les décisions de leurs concepteurs, et favoriser l'innovation et l’industrialisation des techniques de pointe en sécurité de l’IA.

Nous visons à mettre en évidence les risques actuels, mais aussi à explorer les défis que pourraient poser les futurs modèles d'IA, pour que notre recherche facilite des progrès responsables dans le domaine.

Notre premier projet consiste à développer un système de supervision évolutif pour les agents basés sur LLM. Les agents LLM actuels montrent déjà divers types de modes de défaillance. En apprenant à les détecter dès maintenant en utilisant des modèles moins avancés, nous pouvons commencer à itérer pour créer des systèmes de surveillance robustes et évolutifs pour les futurs agents.

Les étapes du projet sont les suivantes :
  • Conception de l'ensemble de données

Création d'un ensemble de données complet de traces d'agents LLM contenant des comportements inattendus chez ces agents, tels que l'injection de prompts, la tromperie et une autonomie excessive. L'ensemble de données est divisé pour garder de côté des classes de comportements destinées aux tests des systèmes de supervision.

  • Supervision évolutive

Expérimentation avec différentes architectures de supervision pour surveiller les agents LLM avancés en utilisant des modèles moins avancés, dans le but de détecter des anomalies cachées sans connaissance préalable explicite de ces comportements.

  • Collecte d'exemples réels

Création d'un outil open-source qui s'intègre facilement aux architectures d'agents LLM existantes, facilitant les boucles de rétroaction et testant la robustesse dans des conditions réelles grâce à la collecte de données issues de la communauté.

Formation

Malgré des investissements massifs dans l’IA ces dernières années, l’offre de formation en sécurité de l’IA demeure très insuffisante au regard des enjeux. Pour combler cette lacune, nous offrons des programmes de différents formats visant à former les chercheurs et ingénieurs aux dernières avancées dans le domaine.

Cours accrédités dans les ENS

Nous enseignons à l’ENS Paris et au Master MVA de l'ENS Paris-Saclay un cours sur la sécurité de l’IA, intitulé “Séminaire Turing”. Ce cours accrédité comprend la présentation d'articles, la réalisation de projets de recherche, et occasionnellement l'organisation de débats et de discussions. Les séances sont conçues pour enrichir l'expérience éducative et encourager une interaction dynamique et approfondie avec le sujet étudié.

Bootcamps ML4Good

Ces bootcamps intensifs de 10 jours sont conçus pour des étudiants particulièrement talentueux en mathématiques et en informatique, provenant de France et d'ailleurs, dans le but de renforcer leurs compétences en machine learning et en sécurité de l'IA.

L'objectif est de les sensibiliser à ces thématiques à travers des présentations et lectures, de les engager sur des projets relatifs à la sécurité de l'IA, et de les encourager à poursuivre leur carrière dans ce domaine essentiel mais négligé.

Sensibilisation

Les capacités des intelligences artificielles augmentent à grande vitesse, mais les aspects de sécurité ont un train de retard. Il est donc crucial de mettre en évidence le besoin de recherche en IA de confiance, puisque l’état de l’art est insuffisant pour l’industrialisation dans de nombreux domaines (notamment santé, transport, défense…). C'est pourquoi, en parallèle de notre travail de recherche et de formation, nous faisons de la sensibilisation et de la diffusion d'informations auprès du grand public et des acteurs de l'IA.

Événements

À l'interface entre la sensibilisation et la recherche, nous organisons des hackathons axés sur les défis de la sécurité en IA. Ces événements permettent d’explorer ce domaine et de développer des solutions pour une IA plus sûre. Ces hackathons sont de différents formats, certains étant plus introductifs, d'autres plus avancés et axés sur la recherche.

Nous organisons aussi une variété d’événements (conférences, tables-rondes, ateliers) abordant les enjeux liés aux progrès de l’IA. Les sujets couvrent entre autres les défis actuels et à venir, les challenges techniques, ou encore la gouvernance.

Publications

Nous publions des articles, rapports et synthèses pour éclairer les chercheurs, décideurs et citoyens sur l'évolution de l'IA.

S'inscrire à notre newsletter
Merci ! Votre soumission a été reçue !
Un problème est survenu lors de l'envoi du formulaire.