Le PDG de Microsoft fustige les laboratoires d'IA au sujet de la « distillation »

Satya Nadella, PDG de Microsoft, accuse les laboratoires d'IA d'hypocrisie face aux critiques concernant la distillation des modèles, une remarque largement interprétée comme visant Anthropic. Crédit : Getty Images

Satya Nadella, PDG de Microsoft, reproche aux développeurs d'IA de limiter la distillation des modèles tout en exploitant simultanément les données publiques et celles de leurs clients pour entraîner leurs propres systèmes.

Satya Nadella, de Microsoft, a publiquement critiqué certains laboratoires d’IA non nommés du secteur technologique pour leur position contradictoire sur la « distillation » en IA, une technique consistant à entraîner un modèle plus petit à partir des résultats d’un système plus grand et plus puissant.

Dans un message publié sur X, Satya Nadella affirme que les créateurs de modèles qui se plaignent de la distillation font preuve d’hypocrisie quant au processus plus large d’entraînement de l’IA.

Il reconnaît que « la grande innovation qui découle du fait que les fournisseurs de modèles disposent de droits d’utilisation équitables pour entraîner leurs modèles à partir de données publiques est nécessaire », mais trouve « ironique » que le consensus du secteur impose des « conditions restrictives » à la distillation.

Et ce, alors même que ces entreprises se réservent le droit d’exploiter elles-mêmes les données d’utilisation et d’interaction de leurs clients.

« Si l’apprentissage ne va que dans un seul sens, la valeur économique converge vers les propriétaires de l’infrastructure d’apprentissage plutôt que vers les créateurs de la connaissance elle-même », note Nadella.

Les attaques d’Anthropic mettent en lumière un conflit croissant sur l’approvisionnement

Anthropic, OpenAI et Google DeepMind s’appuient sur des contenus tiers pour entraîner leurs modèles d’IA. ChatGPT, Claude et Gemini puisent leurs informations dans des textes, des images et des données accessibles au public.

Nombreux sont ceux qui ont soulevé des préoccupations d’ordre éthique et de droits d’auteur concernant cette méthode d’entraînement, ce qui a conduit à des poursuites judiciaires de la part de grands créateurs de contenu.

Par exemple, BBC News a rapporté que la BBC poursuivait Anthropic en justice pour utilisation de données sans consentement.

Bien que Nadella n’ait pas cité Anthropic directement, tout porte à croire que ce message visait clairement cette entreprise spécialisée dans l’IA. Sa critique fait suite à un précédent article d’Anthropic intitulé « Détecter et prévenir les attaques par distillation ».

Dans une lettre adressée en juin au sénateur de Caroline du Sud Tim Scott et à la sénatrice du Massachusetts Elizabeth Warren, Anthropic a affirmé qu’Alibaba avait récemment mené la « plus grande attaque par distillation jamais connue » contre ses données.

Dans cette déclaration, la société affirmait que des concurrents pourraient utiliser la distillation pour acquérir « des capacités puissantes provenant d’autres laboratoires en une fraction du temps et à une fraction du coût qu’il faudrait pour les développer de manière indépendante ». Alibaba n’a pas encore répondu à ces accusations.

Des entreprises telles que la BBC et Reddit ont intenté un procès à Anthropic, l’accusant d’utiliser leurs données pour entraîner son modèle Claude sans leur consentement (Crédit : Anthropic)

L’externalisation des modèles comporte des risques commerciaux majeurs

Dans ce même message publié sur X, Nadella met en garde contre le fait que les entreprises qui s'appuient sur de grands modèles d'IA accordent aux sociétés spécialisées dans l'IA l'accès à leurs données propriétaires.

Il souligne que les entreprises doivent être propriétaires de leur infrastructure d’IA et de leur expertise sectorielle plutôt que de dépendre d’un seul fournisseur de modèles.

Nadella conseille aux entreprises de mener leurs propres évaluations et de mettre en place une « boucle d’apprentissage » afin de s’assurer que leur technologie d’IA évolue et s’améliore au fil du temps.

Les entreprises ont besoin de paramètres de sécurité stricts pour protéger leurs développements propriétaires. Nadella affirme que les entreprises ont besoin d’une véritable « frontière de confiance » pour que leur capital humain et leur capital symbolique puissent fructifier.

Il ajoute que cette frontière ne doit être franchie par personne ni par rien, « pas même les données résiduelles de l'intelligence artificielle, sans consentement ».

De même, Elon Musk a publiquement critiqué les pratiques d’Anthropic en matière d’approvisionnement en données pour l’entraînement de ses modèles d’IA.

Dans un message publié en février sur X, Musk a accusé Anthropic de « voler des données d’entraînement à très grande échelle », prédisant que l’entreprise devrait faire face à des « règlements à hauteur de plusieurs milliards de dollars » pour vol.

« C'est tout simplement un fait », ajoute-t-il.