Visite exclusive du laboratoire Trainium d'Amazon : Chip l'emporte face à Anthropic, OpenAI et Apple

Peu après qu’Andy Jassy, PDG d’Amazon, eut dévoilé le partenariat d’investissement historique de 50 milliards de dollars entre AWS et OpenAI, l’entreprise m’a proposé une visite privée du laboratoire de développement de puces, qui est au cœur de cet accord, en prenant en charge la quasi-totalité des frais.

Les observateurs du secteur suivent de près la puce Trainium d’Amazon, fabriquée dans ces locaux, en raison de son potentiel à réduire le coût de l’inférence IA et, éventuellement, à remettre en cause le quasi-monopole de Nvidia.

Intrigué, j’ai accepté l’invitation.

Mes guides pour la journée étaient le directeur du laboratoire, Kristopher King (photo ci-dessous à droite), le directeur de l’ingénierie, Mark Carroll (à gauche), et le responsable des relations publiques de l’équipe qui a organisé la visite, Doron Aronson (que l’on voit à mes côtés plus loin dans cet article).

Mark Carroll et Kristopher King, responsables du laboratoire AWS Chip.Crédits photo :TechCrunch/Julie Bort

AWS est la principale plateforme cloud d’Anthropic depuis les débuts du laboratoire d’IA — une relation suffisamment solide pour avoir résisté lorsque Anthropic a par la suite ajouté Microsoft à ses partenaires cloud, et alors même qu’Amazon renforçait ses liens avec OpenAI.

L’accord avec OpenAI désigne AWS comme fournisseur exclusif de « Frontier », le nouvel outil de création d’agents IA du développeur de modèles — un outil qui pourrait devenir indissociable de l’activité d’OpenAI si les agents répondent aux attentes de la Silicon Valley. Reste à voir si cette exclusivité sera maintenue comme annoncé. Le Financial Times a rapporté cette semaine que Microsoft pourrait faire valoir que l’accord avec Amazon enfreint son propre accord avec OpenAI, en particulier le fait que Redmond détient des droits sur l’ensemble des modèles et de la technologie d’OpenAI.

Pourquoi OpenAI trouve-t-il AWS si attractif ? Dans le cadre de ce pacte, le géant du cloud s’est engagé à fournir à OpenAI 2 gigawatts de capacité de calcul Trainium — un engagement colossal, si l’on considère qu’Anthropic et le service Bedrock d’Amazon consomment déjà les puces Trainium plus vite qu’Amazon ne peut les produire.

La puce Trainium3 d’Amazon.Crédits image :Amazon

Trainium vs Nvidia

Au-delà d’offrir une alternative aux GPU de Nvidia, en rupture de stock et difficiles à trouver, Amazon affirme que ses nouvelles puces, qui fonctionnent sur ses serveurs spécialisés Trn3 UltraServers, offrent des performances comparables à un coût pouvant être inférieur de 50 % à celui des serveurs cloud traditionnels.

Parallèlement à Trainium3, lancé en décembre, l’équipe AWS a également mis au point de nouveaux commutateurs Neuron. Selon M. Carroll, cette combinaison est révolutionnaire.

« Cela nous apporte quelque chose d’énorme », a déclaré M. Carroll. Ces commutateurs permettent à chaque puce Trainium3 de communiquer avec toutes les autres puces au sein d’une architecture maillée, réduisant ainsi la latence. « C’est pourquoi Trainium3 bat tous les records », notamment en termes de « rapport prix/puissance », a-t-il ajouté.

Lorsque des billions de jetons sont traités quotidiennement, ces améliorations ont un impact considérable.

En effet, l’équipe chargée des puces chez Amazon a reçu les éloges d’Apple en 2024. Dans un rare moment de franchise pour cette entreprise habituellement très discrète, le directeur de l’IA chez Apple a publiquement décrit comment Apple utilisait une autre puce de cette équipe : Graviton, un processeur de serveur ARM à faible consommation d’énergie et la première puce révolutionnaire conçue par l’équipe. Apple a également salué Inferentia, une puce spécialement conçue pour l’inférence, et a fait l’éloge de Trainium, qui était encore tout nouveau à l’époque.

Ces puces suivent la stratégie classique d’Amazon : identifier les besoins des clients, puis développer une alternative en interne capable de rivaliser sur le plan des prix.

Historiquement, le défi pour les puces réside dans les coûts de migration. Les applications écrites pour les puces de Nvidia doivent être repensées pour fonctionner avec d’autres — un processus chronophage qui décourage les développeurs de changer de plateforme.

Mais l’équipe chargée des puces chez AWS m’a fièrement annoncé que Trainium prenait désormais en charge PyTorch, un framework open source très populaire pour la création de modèles d’IA. Cela inclut de nombreux modèles hébergés sur Hugging Face, une vaste bibliothèque où les développeurs partagent des modèles open source.

Selon M. Carroll, la transition nécessite « essentiellement de modifier une ligne de code, puis de recompiler, avant d’exécuter le code sur Trainium ». En d’autres termes, Amazon s’efforce de grignoter la domination de Nvidia sur le marché partout où cela est possible.

AWS a également annoncé ce mois-ci un partenariat avec Cerebras Systems, visant à intégrer la puce d’inférence de cette société sur des serveurs équipés de Trainium, ce qui, selon Amazon, permettra d’obtenir des performances d’IA ultra-puissantes et à faible latence.

Mais les ambitions d’Amazon vont au-delà des puces elles-mêmes. L’équipe conçoit également le serveur qui héberge ces puces. En plus des composants réseau, elle a créé « Nitro », une combinaison matériel-logiciel qui offre la virtualisation (permettant à de nombreuses instances logicielles de s’exécuter séparément sur le même serveur) ; un nouveau système de refroidissement par liquide à la pointe de la technologie ; et les châssis de serveurs (illustrés ci-dessous) qui accueillent l’équipement.

Tout cela vise à maîtriser les coûts et à optimiser les performances.

Visite du laboratoire de puces AWS à Austin, châssis avec composants.Crédits photo :TechCrunch/Julie Bort

Travailler 24 h/24 et 7 j/7 sur la « mise en service »

L’unité d’Amazon dédiée à la conception de puces sur mesure a vu le jour lorsque le géant du cloud a racheté le concepteur de puces israélien Annapurna Labs en janvier 2015 pour environ 350 millions de dollars. L’équipe consacre donc plus d’une décennie à la conception de puces pour AWS. L’unité conserve ses racines et son nom d’origine, Annapurna — son logo est omniprésent dans les locaux.

Ce laboratoire de puces est installé dans un immeuble rutilant aux fenêtres chromées, situé dans le quartier huppé du Domain à Austin, un quartier piétonnier regorgeant de boutiques et de restaurants, parfois surnommé la « Silicon Valley d’Austin ».

Les bureaux dégagent une ambiance typique des entreprises technologiques : des bureaux en open space, des espaces de rencontre et des salles de réunion. Mais c’est au fond d’un étage élevé que se cache le véritable laboratoire, offrant une vue imprenable sur la ville.

Ce laboratoire rempli d’étagères, d’une superficie équivalente à celle de deux grandes salles de réunion, est un espace industriel bruyant en raison des ventilateurs des équipements. Il ressemble à un mélange entre un atelier de technologie de lycée et un décor hollywoodien représentant un laboratoire de pointe — à la différence près que les ingénieurs portent des jeans au lieu de blouses blanches.

Laboratoire de puces AWS d’Austin.Crédits photo :TechCrunch/Julie Bort

Laboratoire de puces AWS d’Austin.Crédits photo :TechCrunch/Julie Bort

À noter que les puces ne sont pas fabriquées ici ; il n’y a donc pas besoin de combinaisons blanches de protection. La Trainium3 est une puce de pointe en 3 nanomètres produite par TSMC, sans doute le leader de la fabrication en 3 nanomètres, tandis que d’autres puces sont fabriquées par Marvell.

Mais c’est dans cette salle que s’opère la magie du « bring-up ».

« Le "bring-up" d’une puce, c’est quand on reçoit la puce pour la première fois, et ça ressemble à une grande soirée qui dure toute la nuit. On reste ici, comme si on était enfermés », explique King. Après 18 mois de travail, la puce est activée pour la première fois afin de vérifier qu’elle fonctionne comme prévu. L’équipe a même filmé une partie de la mise en service du Trainium3 et l’a publiée sur YouTube.

Attention, spoiler : ça ne se passe jamais sans accroc.

Pour le Trainium3, le prototype de puce était à l’origine refroidi par air, comme les versions précédentes. La puce actuelle est désormais refroidie par liquide, ce qui offre des avantages énergétiques et a constitué un véritable exploit technique.

Lors de la mise en service, les cotes de fixation de la puce au dissipateur thermique à refroidissement par air étaient erronées, ce qui a empêché son activation.

Sans se laisser décourager, l’équipe « a immédiatement pris une meuleuse et s’est mise à meuler le métal », a déclaré King. Pour ne pas perturber l’ambiance de la soirée pizza organisée pour la mise en service, ils se sont éclipsés discrètement et ont effectué le meulage dans une salle de réunion.

Passer la nuit blanche à résoudre des problèmes, « c’est ça, la mise en service d’une puce », a déclaré King.

Le laboratoire dispose même d’un poste de soudure, où Isaac Guevara, ingénieur en matériel et maître soudeur, a fait la démonstration du soudage de minuscules composants de circuits intégrés sous microscope. Ce travail est si difficile que Carroll, l’un des responsables, a ouvertement admis qu’il n’en était pas capable, provoquant l’hilarité de Guevara et des autres ingénieurs présents dans la pièce.

Visite du laboratoire de puces AWS d’Austin, poste de soudure.Crédits photo :TechCrunch/Julie Bort

Le laboratoire dispose également d’outils sur mesure et commerciaux destinés à tester et analyser les problèmes liés aux puces. Voici Arvind Srinivasan, ingénieur en signaux, qui montre comment le laboratoire teste chaque minuscule composant de la puce :

Visite du laboratoire de puces d’AWS à Austin, équipement de test.Crédits photo :TechCrunch/Julie Bort

Les « sleds » sont la vedette du laboratoire

Mais la vedette du laboratoire est une rangée entière présentant chaque génération de « sleds » conçus par l’équipe.

Visite du laboratoire de puces AWS d'Austin : le mur des « sleds ».Crédits photo :TechCrunch/Julie Bort

Les « sleds » sont les plateaux qui accueillent les puces d’IA Trainium, les puces CPU Graviton, ainsi que les cartes et composants associés. Empilez-les sur un rack avec le composant réseau — lui aussi conçu sur mesure par cette équipe — et vous obtenez les systèmes qui sont au cœur du succès d’Anthropic Claude.

Voici le « sled » présenté lors de la conférence AWS re:Invent en décembre :

Visite du laboratoire de puces AWS d’Austin, « sled » Trainium3.Crédits photo :TechCrunch/Julie Bort

Validé par Anthropic et OpenAI

Je m’attendais à ce que mes guides se vantent de l’accord avec OpenAI pendant la visite. Mais ils ne l’ont pas fait.

Cette réticence pourrait s’expliquer par le flou juridique potentiel entourant cet accord. Mais j’ai eu l’impression que ces ingénieurs de terrain — qui travaillent actuellement à la conception de la prochaine version, Trainium4 — n’ont pas encore eu beaucoup l’occasion de collaborer avec OpenAI. Jusqu’à présent, leur travail quotidien s’est concentré sur les besoins d’Anthropic et d’Amazon.

Actuellement, la majeure partie des puces Trainium2 est déployée dans le cadre du projet Rainier — l’un des plus grands clusters de calcul d’IA au monde —, qui a été mis en service fin 2025 avec 500 000 puces. Il est utilisé par Anthropic.

Mais un écran mural dans le bureau principal affichait une citation expliquant comment OpenAI allait utiliser Trainium. La fierté était palpable, même si elle restait subtile.

En plus de ce laboratoire, l’équipe dispose de son propre centre de données privé dédié à la qualité et aux tests. Situé à quelques minutes en voiture, il ne traite pas les charges de travail des clients ; il est donc hébergé dans un centre de colocation, et non dans un centre de données AWS.

La sécurité est renforcée : des protocoles stricts régissent l’accès au bâtiment et à la zone Amazon qui s’y trouve.

Le système de refroidissement du centre de données est si bruyant que le port de bouchons d’oreille est obligatoire, et l’air est chargé d’une odeur âcre de métal chauffé. Ce n’est pas un endroit agréable où s’attarder pour le commun des mortels.

Voici Aronson et moi-même au centre de données du laboratoire de puces AWS d’Austin, en train de nous protéger les oreilles à côté de serveurs en fonctionnement.Crédits photo :TechCrunch / Julie Bort

Dans ce centre de données, des rangées et des rangées de serveurs sont remplies de « sleds » intégrant toutes les dernières puces sur mesure d’Amazon : le processeur Graviton, le Trainium3 refroidi par liquide, l’Amazon Nitro — toutes ronronnant à plein régime. Le liquide circule dans un système fermé, ce qui signifie qu’il est réutilisé, ce qui devrait contribuer à réduire l’impact environnemental, ont expliqué les ingénieurs.

Voici à quoi ressemble un Trn3 UltraServer actuel : plusieurs châssis en haut et en bas, avec des commutateurs Neuron au milieu. On voit ici David Martinez-Darrow, ingénieur en développement matériel, en train d’effectuer la maintenance d’un châssis :

Visite du laboratoire de puces AWS d’Austin dans le centre de données.Crédits photo :TechCrunch/Julie Bort

Si cette équipe a toujours fait l’objet d’une grande attention, elle est désormais soumise à une surveillance encore plus étroite.

Andy Jassy, PDG d’Amazon, suit de près ce laboratoire et vante publiquement ses produits comme un parent fier de ses enfants. En décembre, il a déclaré que Trainium représentait déjà une activité de plusieurs milliards de dollars pour AWS et l’a qualifié de technologie AWS qui l’enthousiasme le plus. Il a également mis en avant cette puce lors de l’annonce de l’accord avec OpenAI.

L’équipe ressent elle aussi la pression. Les ingénieurs travaillent 24 heures sur 24, 7 jours sur 7, pendant trois à quatre semaines avant chaque événement de mise en service, afin de résoudre les problèmes et de permettre la production en série et le déploiement des puces dans les centres de données.

« Il est très important que nous agissions le plus vite possible pour prouver que cela va réellement fonctionner », a déclaré Carroll. « Jusqu’à présent, nous nous en sortons très bien. »

*Divulgation : Amazon a pris en charge le billet d’avion et une nuit dans un hôtel local. Conformément à son principe de leadership « Frugalité », il s’agissait d’un siège au milieu de l’avion, à l’arrière, et d’une chambre modeste. TechCrunch a pris en charge les autres frais de voyage, tels que les courses en Uber et les frais de bagages. (Oui, j’ai enregistré un bagage pour un voyage d’une nuit. Je suis un peu exigeant sur ce point.)