Exklusive Führung durch das Trainium Lab von Amazon: Chip setzt sich gegen Anthropic, OpenAI und Apple durch

Kurz nachdem Amazon-CEO Andy Jassy die bahnbrechende 50-Milliarden-Dollar-Investitionspartnerschaft von AWS mit OpenAI vorgestellt hatte, bot mir das Unternehmen eine private Führung durch das Chip-Entwicklungslabor an, das im Mittelpunkt des Deals steht – und zwar größtenteils auf eigene Kosten.

Branchenbeobachter verfolgen den in dieser Einrichtung entwickelten „Trainium“-Chip von Amazon mit großem Interesse, da er das Potenzial hat, die Kosten für KI-Inferenz zu senken und möglicherweise das Quasi-Monopol von Nvidia in Frage zu stellen.

Neugierig geworden, nahm ich die Einladung an.

Meine Begleiter an diesem Tag waren Laborleiter Kristopher King (unten rechts im Bild), der technische Leiter Mark Carroll (links) sowie der PR-Ansprechpartner des Teams, der den Besuch organisiert hatte, Doron Aronson (später in diesem Artikel zusammen mit mir abgebildet).

Die Leiter des AWS-Chip-Labors, Mark Carroll und Kristopher King.Bildnachweis:TechCrunch/Julie Bort

AWS ist seit den Anfängen des KI-Labors die wichtigste Cloud-Plattform von Anthropic – eine Beziehung, die so stark ist, dass sie auch Bestand hatte, als Anthropic später Microsoft als Cloud-Partner hinzufügte und Amazon seine Verbindungen zu OpenAI vertiefte.

Die Vereinbarung mit OpenAI bestimmt AWS als exklusiven Anbieter des neuen KI-Agenten-Builders des Modellentwicklers, „Frontier“ – ein Tool, das für das Geschäft von OpenAI von entscheidender Bedeutung werden könnte, sollten die Agenten die Erwartungen des Silicon Valley erfüllen. Ob diese Exklusivität wie angekündigt Bestand hat, bleibt abzuwarten. Die „Financial Times“ berichtete diese Woche, dass Microsoft argumentieren könnte, der Amazon-Deal verstoße gegen seine eigene Vereinbarung mit OpenAI, insbesondere hinsichtlich des Anspruchs von Redmond auf alle Modelle und Technologien von OpenAI.

Warum findet OpenAI AWS so attraktiv? Im Rahmen dieses Pakts hat sich der Cloud-Riese verpflichtet, OpenAI mit 2 Gigawatt Trainium-Rechenkapazität zu versorgen – ein gewaltiges Versprechen, wenn man bedenkt, dass Anthropic und Amazons eigener „Bedrock“-Dienst die Trainium-Chips bereits schneller verbrauchen, als Amazon sie produzieren kann.

Amazons Trainium3-Chip.Bildnachweis:Amazon

Trainium vs. Nvidia

Amazon bietet nicht nur eine Alternative zu den ausverkauften und schwer zu beschaffenden GPUs von Nvidia, sondern gibt auch an, dass seine neuen Chips, die auf den speziellen Trn3-UltraServern laufen, eine vergleichbare Leistung bei bis zu 50 % geringeren Kosten als bei der Nutzung herkömmlicher Cloud-Server liefern.

Neben dem im Dezember vorgestellten Trainium3 hat das AWS-Team auch neue Neuron-Switches entwickelt. Carroll bezeichnet diese Kombination als bahnbrechend.

„Das verschafft uns einen enormen Vorteil“, sagte Carroll. Die Switches ermöglichen es jedem Trainium3-Chip, mit jedem anderen Chip in einer Mesh-Konfiguration zu kommunizieren, wodurch die Latenz reduziert wird. „Deshalb bricht Trainium3 alle möglichen Rekorde“, insbesondere beim „Preis pro Leistung“, fügte er hinzu.

Wenn täglich Billionen von Token verarbeitet werden, machen sich solche Verbesserungen deutlich bemerkbar.

Tatsächlich erntete das Chip-Team von Amazon im Jahr 2024 Lob von Apple. In einem seltenen Moment der Offenheit für das sonst so geheimnisvolle Unternehmen beschrieb Apples Direktor für KI öffentlich, wie Apple einen weiteren Chip des Teams einsetzte – Graviton, eine stromsparende, ARM-basierte Server-CPU und den ersten eigenständig entwickelten Chip, den das Team entworfen hatte. Apple lobte zudem „Inferentia“, einen speziell für Inferenzaufgaben entwickelten Chip, und würdigte „Trainium“, das damals noch neu war.

Diese Chips folgen dem klassischen Amazon-Rezept: herausfinden, was Kunden wollen, und dann eine hauseigene Alternative entwickeln, die preislich konkurrenzfähig ist.

In der Vergangenheit lagen die Herausforderungen bei Chips vor allem in den Umstellungskosten. Anwendungen, die für Nvidias Chips geschrieben wurden, müssen neu programmiert werden, um mit anderen zu funktionieren – ein zeitaufwändiger Prozess, der Entwickler davon abhält, zu wechseln.

Doch das AWS-Chip-Team teilte mir stolz mit, dass Trainium nun PyTorch unterstützt, ein beliebtes Open-Source-Framework zur Erstellung von KI-Modellen. Dazu gehören viele Modelle, die auf Hugging Face gehostet werden, einer umfangreichen Bibliothek, in der Entwickler Open-Source-Modelle austauschen.

Die Umstellung, so Carroll, erfordere „im Grunde eine Änderung von einer Zeile, anschließend eine Neukompilierung und dann die Ausführung auf Trainium“. Mit anderen Worten: Amazon untergräbt Nvidias Marktdominanz, wo immer dies möglich ist.

AWS kündigte diesen Monat außerdem eine Partnerschaft mit Cerebras Systems an, bei der der Inferenz-Chip dieses Unternehmens in Server mit Trainium integriert wird – laut Amazon für eine extrem leistungsstarke KI-Performance mit geringer Latenz.

Doch Amazons Ambitionen gehen über die Chips selbst hinaus. Das Team entwickelt auch den Server, in dem die Chips untergebracht sind. Zusammen mit Netzwerkkomponenten haben sie „Nitro“ entwickelt, eine Hardware-Software-Kombination, die Virtualisierung ermöglicht (wodurch viele Software-Instanzen separat auf demselben Server laufen können), eine neue, hochmoderne Flüssigkeitskühlung sowie die Server-Schlitten (siehe Abbildung unten), in denen die Hardware untergebracht ist.

All dies zielt darauf ab, Kosten und Leistung zu optimieren.

Führung durch das AWS-Chip-Labor in Austin, Schlitten mit Komponenten.Bildnachweis:TechCrunch/Julie Bort

Rund um die Uhr am „Bring-up“ arbeiten

Die Abteilung für kundenspezifisches Chipdesign bei Amazon entstand, als der Cloud-Riese im Januar 2015 den israelischen Chipentwickler Annapurna Labs für rund 350 Millionen Dollar übernahm. Das Team entwickelt also seit über einem Jahrzehnt Chips für AWS. Die Abteilung behält ihre Wurzeln bei Annapurna und den Namen bei – ihr Logo ist überall im Büro zu sehen.

Dieses Chip-Labor befindet sich in einem glänzenden Gebäude mit verchromten Fenstern im gehobenen Domain-Viertel von Austin, einem fußgängerfreundlichen Viertel voller Geschäfte und Restaurants, das manchmal auch als Austins Silicon Valley bezeichnet wird.

Die Büros strahlen die klassische Atmosphäre eines Tech-Unternehmens aus: Schreibtische in Kabinen, Treffpunkte und Konferenzräume. Doch versteckt im hinteren Teil einer der oberen Etagen befindet sich das eigentliche Labor mit weitem Blick über die Stadt.

Das mit Regalen gefüllte Labor, etwa so groß wie zwei große Konferenzräume, ist dank der Lüfter der Geräte ein lauter Industriebereich. Es sieht aus wie eine Mischung aus einem Werkunterrichtsraum an einer Highschool und einer Hollywood-Kulisse für ein High-End-Labor – nur dass die Ingenieure Jeans statt weißer Laborkittel tragen.

AWS-Chip-Labor in Austin.Bildnachweis:TechCrunch/Julie Bort

AWS-Chip-Labor in Austin.Bildnachweis:TechCrunch/Julie Bort

Da hier keine Chips hergestellt werden, waren keine weißen Schutzanzüge erforderlich. Der Trainium3 ist ein hochmoderner 3-Nanometer-Chip, der von TSMC – dem wohl führenden Hersteller im 3-Nanometer-Bereich – produziert wird, während andere Chips von Marvell stammen.

Aber dies ist der Raum, in dem die Magie des „Bring-up“ geschieht.

„Ein Silizium-Bring-up findet statt, wenn man den Chip zum ersten Mal erhält, und es ist wie eine große Nachtparty. Man bleibt hier, sozusagen unter Verschluss“, erklärt King. Nach 18 Monaten Arbeit wird der Chip zum ersten Mal aktiviert, um zu überprüfen, ob er wie vorgesehen funktioniert. Das Team hat sogar einen Teil des Trainium3-Bring-ups gefilmt und auf YouTube veröffentlicht.

Spoiler-Alarm: Es läuft nie ganz reibungslos.

Bei Trainium3 war der Prototyp-Chip ursprünglich luftgekühlt, wie frühere Versionen. Der aktuelle Chip ist nun flüssigkeitsgekühlt, was energetische Vorteile bietet und eine beachtliche technische Meisterleistung darstellte.

Während des Inbetriebnahmevorgangs stimmten die Maße für die Befestigung des Chips am Luftkühlkörper nicht überein, sodass der Chip nicht aktiviert werden konnte.

Unbeeindruckt davon holte das Team „sofort eine Schleifmaschine und fing einfach an, das Metall abzuschleifen“, sagte King. Um die ausgelassene Stimmung der Inbetriebnahme-Pizza-Party nicht zu stören, zogen sie sich in einen Konferenzraum zurück und führten dort die Schleifarbeiten durch.

Die ganze Nacht durchzumachen und Probleme zu lösen, „das ist es, worum es bei der Inbetriebnahme von Silizium geht“, sagte King.

Das Labor verfügt sogar über eine Schweißstation, an der der Hardware-Laboringenieur und Schweißmeister Isaac Guevara das Schweißen winziger integrierter Schaltkreiskomponenten unter dem Mikroskop demonstrierte. Diese Arbeit ist so schwierig, dass der leitende Manager Carroll offen zugab, dass er sie nicht beherrsche, was Guevara und die anderen Ingenieure im Raum zum Lachen brachte.

Führung durch das AWS-Chip-Labor in Austin, Schweißstation.Bildnachweis:TechCrunch/Julie Bort

Das Labor verfügt zudem sowohl über maßgeschneiderte als auch über handelsübliche Werkzeuge zum Testen und Analysieren von Chip-Problemen. Hier demonstriert der Signalingenieur Arvind Srinivasan, wie das Labor jede winzige Komponente auf dem Chip testet:

Führung durch das AWS-Chiplabor in Austin, Testausrüstung.Bildnachweis:TechCrunch/Julie Bort

Die „Sleds“ sind der Star des Labors

Doch der Star des Labors ist eine ganze Reihe, in der jede Generation der vom Team entworfenen „Sleds“ präsentiert wird.

AWS-Chiplabor-Führung in Austin: Wand mit Sleds.Bildnachweis:TechCrunch/Julie Bort

„Sleds“ sind die Trays, in denen Trainium-KI-Chips, Graviton-CPU-Chips sowie unterstützende Platinen und Komponenten untergebracht sind. Steckt man sie zusammen mit der Netzwerkkomponente – die ebenfalls von diesem Team speziell entwickelt wurde – in ein Rack, erhält man die Systeme, die das Herzstück des Erfolgs von Anthropic Claude bilden.

Hier ist der „Sled“, der während der AWS re:Invent-Konferenz im Dezember vorgestellt wurde:

Führung durch das AWS-Chip-Labor in Austin, Trainium3-Sled.Bildnachweis:TechCrunch/Julie Bort

Von Anthropic und OpenAI bewiesen

Ich hatte erwartet, dass meine Führer während der Führung mit dem OpenAI-Deal prahlen würden. Das taten sie jedoch nicht.

Diese Zurückhaltung könnte mit der potenziellen rechtlichen Unklarheit im Zusammenhang mit dem Deal zusammenhängen. Mein Eindruck war jedoch, dass diese Ingenieure vor Ort – die derzeit an der nächsten Version, Trainium4, arbeiten – bisher noch kaum Gelegenheit hatten, mit OpenAI zusammenzuarbeiten. Ihr Arbeitsalltag konzentrierte sich bislang auf die Anforderungen von Anthropic und Amazon.

Derzeit wird der größte Teil der Trainium2-Chips im „Project Rainier“ eingesetzt – einem der weltweit größten KI-Rechencluster –, das Ende 2025 mit 500.000 Chips in Betrieb genommen wurde. Es wird von Anthropic genutzt.

Doch auf einem Wandmonitor im Hauptbüro war ein Zitat darüber zu sehen, wie OpenAI Trainium nutzen wird. Der Stolz war spürbar, wenn auch subtil.

Zusätzlich zu diesem Labor verfügt das Team über ein eigenes privates Rechenzentrum für Qualitätssicherung und Tests. Da es nur eine kurze Autofahrt entfernt liegt und keine Kunden-Workloads ausführt, ist es in einer Colocation-Einrichtung untergebracht und nicht in einem AWS-Rechenzentrum.

Die Sicherheitsvorkehrungen sind streng: Es gelten strenge Protokolle für den Zutritt zum Gebäude und den Zugang zum Amazon-Bereich im Inneren.

Das Kühlsystem des Rechenzentrums ist so laut, dass Ohrstöpsel Pflicht sind, und die Luft ist schwer vom beißenden Geruch erhitztes Metalls. Für den Durchschnittsmenschen ist es kein angenehmer Ort, um sich dort aufzuhalten.

Hier sind Aronson und ich im Chip-Lab-Rechenzentrum von AWS in Austin, wo wir neben laufenden Servern unsere Ohren schützen.Bildnachweis:TechCrunch / Julie Bort

In diesem Rechenzentrum sind Reihen über Reihen von Servern mit „Sleds“ bestückt, in denen alle neuesten maßgeschneiderten Chips von Amazon integriert sind: Graviton-CPU, flüssigkeitsgekühlter Trainium3, Amazon Nitro – alle surren vor sich hin. Die Flüssigkeit zirkuliert in einem geschlossenen System, was bedeutet, dass sie wiederverwendet wird, was laut den Ingenieuren dazu beitragen soll, die Umweltbelastung zu verringern.

So sieht ein aktueller Trn3 UltraServer aus: mehrere Sleds oben und unten, mit Neuron-Switches in der Mitte. Der Hardware-Entwicklungsingenieur David Martinez-Darrow ist dabei zu sehen, wie er Wartungsarbeiten an einem Sled durchführt:

Führung durch das AWS-Chip-Labor in Austin.Bildnachweis:TechCrunch/Julie Bort

Zwar stand das Team schon immer im Rampenlicht, doch in letzter Zeit hat die Aufmerksamkeit deutlich zugenommen.

Amazon-CEO Andy Jassy behält dieses Labor genau im Auge und prahlt öffentlich mit dessen Produkten wie ein stolzer Vater. Im Dezember sagte er, Trainium sei für AWS bereits ein milliardenschweres Geschäft und bezeichnete es als eine der AWS-Technologien, auf die er sich am meisten freue. Auch bei der Bekanntgabe der OpenAI-Vereinbarung lobte er den Chip ausdrücklich.

Auch das Team spürt den Druck. Die Ingenieure arbeiten rund um jedes „Bring-up“-Ereignis drei bis vier Wochen lang rund um die Uhr daran, Probleme zu beheben, damit die Chips in Serie produziert und in Rechenzentren eingesetzt werden können.

„Es ist sehr wichtig, dass wir so schnell wie möglich vorankommen, um zu beweisen, dass es tatsächlich funktionieren wird“, sagte Carroll. „Bisher sind wir wirklich gut vorangekommen.“

*Offenlegung: Amazon hat die Flugkosten übernommen und eine Übernachtung in einem örtlichen Hotel bezahlt. Getreu seinem Führungsprinzip der Sparsamkeit handelte es sich dabei um einen Mittelsitz im hinteren Teil des Flugzeugs und ein bescheidenes Zimmer. TechCrunch übernahm die übrigen Reisekosten wie Uber-Fahrten und Gepäckgebühren. (Ja, ich habe für eine Übernachtungsreise ein Gepäckstück aufgegeben. In dieser Hinsicht bin ich etwas anspruchsvoll.)