Le papier de sécurité AGI de DeepMind ne influence pas les sceptiques

Le mercredi, Google DeepMind a publié un document de 145 pages explorant en profondeur leur approche de la sécurité de l'AGI. L'AGI, ou intelligence artificielle générale, est le type d'IA capable de réaliser n'importe quelle tâche humaine, et c'est un sujet brûlant dans le monde de l'IA. Certains pensent que c'est juste un fantasme, tandis que d'autres, comme les grands noms chez Anthropic, estiment que c'est imminent et pourrait causer de sérieux problèmes si les mesures de sécurité ne sont pas au point.

Le document de DeepMind, rédigé avec l'aide du cofondateur Shane Legg, estime que l'AGI pourrait apparaître d'ici 2030 et entraîner ce qu'ils appellent un « préjudice grave ». Ils ne le précisent pas exactement, mais ils utilisent des termes effrayants comme « risques existentiels » qui pourraient « détruire définitivement l'humanité ».

« Nous parions sur l'apparition d'une AGI exceptionnelle avant la fin de cette décennie », notent les auteurs. « Une AGI exceptionnelle est un système capable d'égaler les compétences des 1 % d'adultes les plus performants dans une série de tâches non physiques, y compris des choses complexes comme l'apprentissage de nouvelles compétences. »

Dès le départ, le document compare la manière dont DeepMind gère le risque de l'AGI avec celle d'Anthropic et d'OpenAI. Il indique qu'Anthropic n'est pas aussi axé sur « un entraînement robuste, une surveillance et une sécurité », tandis qu'OpenAI mise sur « l'automatisation » d'un type de recherche sur la sécurité de l'IA appelé recherche d'alignement.

Le document critique également l'idée d'une IA superintelligente — une IA meilleure que n'importe quel humain dans n'importe quel travail. (OpenAI a récemment déclaré qu'ils réorientaient leur attention de l'AGI vers la superintelligence.) Sans percées majeures, les auteurs de DeepMind ne croient pas que des systèmes superintelligents arriveront de sitôt — ou peut-être jamais.

Mais ils pensent qu'il est possible que nos méthodes actuelles mènent à une « amélioration récursive de l'IA », où l'IA effectue ses propres recherches sur l'IA pour créer des systèmes encore plus intelligents. Et cela, avertissent-ils, pourrait être extrêmement dangereux.

En somme, le document suggère qu'il faut développer des moyens de tenir les mauvais acteurs à l'écart de l'AGI, mieux comprendre ce que font les systèmes d'IA, et rendre les environnements où l'IA opère plus sécurisés. Ils admettent que beaucoup de ces idées sont encore à leurs débuts et présentent des « problèmes de recherche ouverts », mais ils exhortent à ne pas ignorer les questions de sécurité qui pourraient se poser.

« L'AGI pourrait apporter des avantages incroyables ou des préjudices graves », soulignent les auteurs. « Ainsi, pour développer l'AGI correctement, il est crucial que les principaux développeurs d'IA planifient à l'avance et s'attaquent à ces grands risques. »

Cependant, tout le monde n'adhère pas aux idées du document.

Heidy Khlaaf, scientifique en chef de l'IA à l'institut à but non lucratif AI Now Institute, a déclaré à TechCrunch qu'elle trouve le concept d'AGI trop flou pour être « évalué scientifiquement de manière rigoureuse ». Un autre chercheur en IA, Matthew Guzdial de l'Université de l'Alberta, a indiqué qu'il n'est pas convaincu que l'amélioration récursive de l'IA soit réalisable actuellement.

« L'amélioration récursive est à la base des arguments sur la singularité de l'intelligence », a déclaré Guzdial à TechCrunch, « mais nous n'avons jamais vu de preuve que cela fonctionne réellement. »

Sandra Wachter, qui étudie la technologie et la régulation à Oxford, souligne une inquiétude plus pressante : l'IA qui se renforce avec des « sorties inexactes ».

« Avec de plus en plus de contenu généré par l'IA en ligne et des données réelles remplacées, les modèles apprennent de leurs propres sorties pleines d'inexactitudes ou d'hallucinations », a-t-elle déclaré à TechCrunch. « Puisque les chatbots sont principalement utilisés pour rechercher et trouver la vérité, nous risquons toujours d'être nourris d'informations fausses présentées de manière très convaincante. »

Aussi complet soit-il, le document de DeepMind ne mettra probablement pas fin aux débats sur la probabilité réelle de l'AGI — et sur les problèmes de sécurité de l'IA qui nécessitent le plus d'attention actuellement.