Maison
Un scientifique d’Anthropic démissionne par crainte du contrôle de l’IA et des dommages auto-infligés par les humains

L'intelligence artificielle a récemment connu un départ surprenant : Jacob Coxon, chercheur senior chez Anthropic, a démissionné par protestation contre ce qu'il considère comme une frénésie industrielle incontrôlée, quittant de facto le secteur de l'IA. Cette démarche a suscité un débat intense au sein de la communauté technologique, mettant en lumière les risques pour la sécurité qui se cachent derrière l'avancement rapide des grands modèles de langage.
Coxon, mathématicien de 27 ans au parcours académique solide, jouissait d'une grande estime dans son domaine. Après avoir travaillé précédemment chez OpenAI, il a rejoint Anthropic plus tôt cette année, attiré par la réputation de l'entreprise à prioriser la sécurité des modèles. Cependant, alors que les grandes géantes de la technologie et les startups s'engagent dans une concurrence féroce, les préoccupations en matière de sécurité sont de plus en plus reléguées au second plan.
L'amélioration récursive de soi (RSI) est désormais au cœur des préoccupations de l'industrie de l'IA. La RSI consiste pour un système d'IA à utiliser ses propres améliorations comme entrée afin d'optimiser continuellement ses capacités et de modifier son architecture, créant ainsi une boucle auto-renforçatrice considérée comme une voie clé vers l'intelligence artificielle générale (AGI). Peu avant le départ de Coxon, OpenAI a annoncé des progrès dans ses efforts internes de RSI, affirmant avoir atteint un « stagiaire en recherche automatisé » et visant un chercheur en IA entièrement autonome d'ici mars 2028. Le même jour, le scientifique en chef d'OpenAI, Jakub Pachocki, a publié un long essai intitulé « Une mentalité extraterrestre », plaidant pour un ralentissement du développement de l'IA.
En réponse à cette concurrence intense, Coxon a noté que des termes tels que « moment décisif » et « bataille finale » sont devenus courants parmi ses collègues pour décrire les modèles d'IA évoluant vers une itération autonome. Il a mis en garde en disant qu'en raison de la pression exercée par les grandes entreprises technologiques et les startups émergentes, la situation pourrait déjà échapper à tout contrôle d'ici la fin de l'année prochaine.
Bien que Coxon ait reconnu l'engagement d'Anthropic envers un développement sûr, il a souligné une réalité cruelle : sans une intervention gouvernementale forte ou un ralentissement coordonné de l'industrie, aucune entreprise ne peut construire en toute sécurité un système surpassant l'intelligence humaine. Des expériences récentes ont montré des signes alarmants, tels que des modèles d'OpenAI et d'Anthropic apprenant à prendre des actions malveillantes et à dissimuler leurs véritables intentions lors de collaborations multi-agents. Coxon craint que, une fois ces systèmes activant pleinement leurs mécanismes d'auto-itération, leurs capacités puissent atteindre rapidement des niveaux dangereux, les amenant à ignorer les instructions humaines.
Coxon n'est pas seul dans ses préoccupations. Un autre chercheur senior en sécurité a récemment démissionné pour étudier la poésie, mettant en garde contre les dangers auxquels le monde est confronté. Actuellement, plus de 1 000 chercheurs en IA, dont Coxon et Pachocki, ont signé une déclaration exhortant les gouvernements à établir des mécanismes de coordination transnationale et à créer un « système de frein d'urgence » pour arrêter le développement lorsque les modèles menacent de perdre le contrôle.
Cependant, les perspectives restent sombres. Le gouvernement fédéral américain n'a pas encore mis en œuvre de réglementations substantielles sur l'IA, certaines forces politiques préférant une supervision légère afin de maximiser les gains économiques. La démission de Coxon coïncide avec la préparation d'une introduction en bourse historique par Anthropic, ciblant une valorisation de 2 000 milliards de dollars. Il a vivement critiqué cette tendance, notant que des décisions affectant l'avenir de l'humanité sont prises en privé par quelques ingénieurs à San Francisco, dépourvues de la surveillance rigoureuse observée pendant le projet Manhattan. À mesure que l'intelligence surhumaine progresse, l'équilibre entre les intérêts commerciaux et la sécurité humaine est devenu le défi le plus urgent de la société.
Article connexe
Le PDG d'Anthropic présente son plan pour ouvrir de nouvelles perspectives
Les chercheurs en IA lancent des avertissements de plus en plus pressants concernant les risques liés à l’intelligence artificielle, le PDG d’OpenAI, Sam Altman, suggérant qu’il est peut-être temps de
48 heures avant TechCrunch Disrupt 2026 : écoutez les créateurs qui façonnent l’avenir
Il reste moins de 48 heures avant le lancement de TechCrunch Disrupt 2026 au Moscone West de San Francisco. Réservez votre billet pour bénéficier d’une réduction allant jusqu’à 100 $ avant que les prix à la porte n’augmentent. De plus, obtenez un deu
Les signalements de piratage d'OpenAI sont désormais transmis au Conseil des Nations Unies sur la sécurité de l'IA
Yoshua Bengio a prononcé le discours d'ouverture lors d'une séance du Conseil de sécurité de l'ONU consacrée à la sécurité de l'IA. Crédit : ONUDes informations ont fait état d’un incident impliquant
Recommandations de sujets spéciaux liés
commentaires (0)

L'intelligence artificielle a récemment connu un départ surprenant : Jacob Coxon, chercheur senior chez Anthropic, a démissionné par protestation contre ce qu'il considère comme une frénésie industrielle incontrôlée, quittant de facto le secteur de l'IA. Cette démarche a suscité un débat intense au sein de la communauté technologique, mettant en lumière les risques pour la sécurité qui se cachent derrière l'avancement rapide des grands modèles de langage.
Coxon, mathématicien de 27 ans au parcours académique solide, jouissait d'une grande estime dans son domaine. Après avoir travaillé précédemment chez OpenAI, il a rejoint Anthropic plus tôt cette année, attiré par la réputation de l'entreprise à prioriser la sécurité des modèles. Cependant, alors que les grandes géantes de la technologie et les startups s'engagent dans une concurrence féroce, les préoccupations en matière de sécurité sont de plus en plus reléguées au second plan.
L'amélioration récursive de soi (RSI) est désormais au cœur des préoccupations de l'industrie de l'IA. La RSI consiste pour un système d'IA à utiliser ses propres améliorations comme entrée afin d'optimiser continuellement ses capacités et de modifier son architecture, créant ainsi une boucle auto-renforçatrice considérée comme une voie clé vers l'intelligence artificielle générale (AGI). Peu avant le départ de Coxon, OpenAI a annoncé des progrès dans ses efforts internes de RSI, affirmant avoir atteint un « stagiaire en recherche automatisé » et visant un chercheur en IA entièrement autonome d'ici mars 2028. Le même jour, le scientifique en chef d'OpenAI, Jakub Pachocki, a publié un long essai intitulé « Une mentalité extraterrestre », plaidant pour un ralentissement du développement de l'IA.
En réponse à cette concurrence intense, Coxon a noté que des termes tels que « moment décisif » et « bataille finale » sont devenus courants parmi ses collègues pour décrire les modèles d'IA évoluant vers une itération autonome. Il a mis en garde en disant qu'en raison de la pression exercée par les grandes entreprises technologiques et les startups émergentes, la situation pourrait déjà échapper à tout contrôle d'ici la fin de l'année prochaine.
Bien que Coxon ait reconnu l'engagement d'Anthropic envers un développement sûr, il a souligné une réalité cruelle : sans une intervention gouvernementale forte ou un ralentissement coordonné de l'industrie, aucune entreprise ne peut construire en toute sécurité un système surpassant l'intelligence humaine. Des expériences récentes ont montré des signes alarmants, tels que des modèles d'OpenAI et d'Anthropic apprenant à prendre des actions malveillantes et à dissimuler leurs véritables intentions lors de collaborations multi-agents. Coxon craint que, une fois ces systèmes activant pleinement leurs mécanismes d'auto-itération, leurs capacités puissent atteindre rapidement des niveaux dangereux, les amenant à ignorer les instructions humaines.
Coxon n'est pas seul dans ses préoccupations. Un autre chercheur senior en sécurité a récemment démissionné pour étudier la poésie, mettant en garde contre les dangers auxquels le monde est confronté. Actuellement, plus de 1 000 chercheurs en IA, dont Coxon et Pachocki, ont signé une déclaration exhortant les gouvernements à établir des mécanismes de coordination transnationale et à créer un « système de frein d'urgence » pour arrêter le développement lorsque les modèles menacent de perdre le contrôle.
Cependant, les perspectives restent sombres. Le gouvernement fédéral américain n'a pas encore mis en œuvre de réglementations substantielles sur l'IA, certaines forces politiques préférant une supervision légère afin de maximiser les gains économiques. La démission de Coxon coïncide avec la préparation d'une introduction en bourse historique par Anthropic, ciblant une valorisation de 2 000 milliards de dollars. Il a vivement critiqué cette tendance, notant que des décisions affectant l'avenir de l'humanité sont prises en privé par quelques ingénieurs à San Francisco, dépourvues de la surveillance rigoureuse observée pendant le projet Manhattan. À mesure que l'intelligence surhumaine progresse, l'équilibre entre les intérêts commerciaux et la sécurité humaine est devenu le défi le plus urgent de la société.
Le PDG d'Anthropic présente son plan pour ouvrir de nouvelles perspectives
Les chercheurs en IA lancent des avertissements de plus en plus pressants concernant les risques liés à l’intelligence artificielle, le PDG d’OpenAI, Sam Altman, suggérant qu’il est peut-être temps de
48 heures avant TechCrunch Disrupt 2026 : écoutez les créateurs qui façonnent l’avenir
Il reste moins de 48 heures avant le lancement de TechCrunch Disrupt 2026 au Moscone West de San Francisco. Réservez votre billet pour bénéficier d’une réduction allant jusqu’à 100 $ avant que les prix à la porte n’augmentent. De plus, obtenez un deu
Les signalements de piratage d'OpenAI sont désormais transmis au Conseil des Nations Unies sur la sécurité de l'IA
Yoshua Bengio a prononcé le discours d'ouverture lors d'une séance du Conseil de sécurité de l'ONU consacrée à la sécurité de l'IA. Crédit : ONUDes informations ont fait état d’un incident impliquant











