OpenAI et Anthropic : vers des évaluateurs de sécurité indépendants

OpenAI et Anthropic, deux géants de l'intelligence artificielle, ont annoncé leur intention d'intégrer des évaluateurs de sécurité indépendants dans leurs laboratoires. Cette initiative vise à renforcer la transparence et la sécurité de leurs modèles d'IA, en réponse aux préoccupations croissantes concernant les comportements déviants des intelligences artificielles.

Les chercheurs accueillent favorablement cet accès sans précédent, mais soulignent que pour que cette supervision soit significative, elle doit reposer sur la transparence, l'indépendance et, à terme, une régulation stricte. En effet, ces évaluateurs pourraient jouer un rôle crucial dans la prévention des comportements indésirables des IA, mais leur efficacité dépendra fortement de leur capacité à agir de manière autonome et sans restriction.

Cette démarche représente une avancée majeure pour l'industrie de l'IA, qui cherche à rassurer le public et les régulateurs sur sa capacité à maîtriser les technologies qu'elle développe. Cependant, elle pose aussi des questions sur la manière dont ces évaluateurs pourront intervenir efficacement face à des incidents potentiels, tout en respectant les normes de confidentialité et de sécurité des entreprises concernées.