Nous offrons des cours universitaires accrédités, ainsi que des ateliers, bootcamps et ressources en ligne pour permettre au public francophone de se former à la sécurité de l'IA.
Notre programme de recherche vise à détecter les problèmes de comportements des modèles, à proposer de bons moyens de les monitorer, et à identifier des solutions à ces problèmes.
Nous proposons des conférences, hackathons, articles et interviews pour communiquer sur les enjeux de l'IA et contribuer à son développement responsable.
Notre programme de recherche vise à identifier et corriger les comportements problématiques des modèles d'IA en développant des outils de monitoring et des solutions adaptées. Nos analyses et évaluations de modèles pourront éclairer les décisions de leurs concepteurs, et favoriser l'innovation et l’industrialisation des techniques de pointe en sécurité de l’IA.
Nous visons à mettre en évidence les risques actuels, mais aussi à explorer les défis que pourraient poser les futurs modèles d'IA, pour que notre recherche facilite des progrès responsables dans le domaine.
Notre premier projet consiste à développer un système de supervision évolutif pour les agents basés sur LLM. Les agents LLM actuels montrent déjà divers types de modes de défaillance. En apprenant à les détecter dès maintenant en utilisant des modèles moins avancés, nous pouvons commencer à itérer pour créer des systèmes de surveillance robustes et évolutifs pour les futurs agents.
Création d'un ensemble de données complet de traces d'agents LLM contenant des comportements inattendus chez ces agents, tels que l'injection de prompts, la tromperie et une autonomie excessive. L'ensemble de données est divisé pour garder de côté des classes de comportements destinées aux tests des systèmes de supervision.
Expérimentation avec différentes architectures de supervision pour surveiller les agents LLM avancés en utilisant des modèles moins avancés, dans le but de détecter des anomalies cachées sans connaissance préalable explicite de ces comportements.
Création d'un outil open-source qui s'intègre facilement aux architectures d'agents LLM existantes, facilitant les boucles de rétroaction et testant la robustesse dans des conditions réelles grâce à la collecte de données issues de la communauté.
Malgré des investissements massifs dans l’IA ces dernières années, l’offre de formation en sécurité de l’IA demeure très insuffisante au regard des enjeux. Pour combler cette lacune, nous offrons des programmes de différents formats visant à former les chercheurs et ingénieurs aux dernières avancées dans le domaine.
Nous enseignons à l’ENS Paris et au Master MVA de l'ENS Paris-Saclay un cours sur la sécurité de l’IA, intitulé “Séminaire Turing”. Ce cours accrédité comprend la présentation d'articles, la réalisation de projets de recherche, et occasionnellement l'organisation de débats et de discussions. Les séances sont conçues pour enrichir l'expérience éducative et encourager une interaction dynamique et approfondie avec le sujet étudié.
Ces bootcamps intensifs de 10 jours sont conçus pour des étudiants particulièrement talentueux en mathématiques et en informatique, provenant de France et d'ailleurs, dans le but de renforcer leurs compétences en machine learning et en sécurité de l'IA.
L'objectif est de les sensibiliser à ces thématiques à travers des présentations et lectures, de les engager sur des projets relatifs à la sécurité de l'IA, et de les encourager à poursuivre leur carrière dans ce domaine essentiel mais négligé.
Les capacités des intelligences artificielles augmentent à grande vitesse, mais les aspects de sécurité ont un train de retard. Il est donc crucial de mettre en évidence le besoin de recherche en IA de confiance, puisque l’état de l’art est insuffisant pour l’industrialisation dans de nombreux domaines (notamment santé, transport, défense…). C'est pourquoi, en parallèle de notre travail de recherche et de formation, nous faisons de la sensibilisation et de la diffusion d'informations auprès du grand public et des acteurs de l'IA.
À l'interface entre la sensibilisation et la recherche, nous organisons des hackathons axés sur les défis de la sécurité en IA. Ces événements permettent d’explorer ce domaine et de développer des solutions pour une IA plus sûre. Ces hackathons sont de différents formats, certains étant plus introductifs, d'autres plus avancés et axés sur la recherche.
Nous organisons aussi une variété d’événements (conférences, tables-rondes, ateliers) abordant les enjeux liés aux progrès de l’IA. Les sujets couvrent entre autres les défis actuels et à venir, les challenges techniques, ou encore la gouvernance.
Nous publions des articles, rapports et synthèses pour éclairer les chercheurs, décideurs et citoyens sur l'évolution de l'IA.
