Visita exclusiva ao Trainium Lab da Amazon: Chip supera a Anthropic, a OpenAI e a Apple

Logo após o CEO da Amazon, Andy Jassy, ter anunciado a parceria histórica de investimento de US$ 50 bilhões da AWS com a OpenAI, a empresa me ofereceu uma visita guiada privada ao laboratório de desenvolvimento de chips que está no centro do acordo, custeada em grande parte por ela mesma.

Observadores do setor estão acompanhando de perto o chip Trainium da Amazon, fabricado nessas instalações, devido ao seu potencial para reduzir o custo da inferência de IA e, possivelmente, desafiar o quase monopólio da Nvidia.

Intrigado, aceitei o convite.

Meus guias naquele dia foram o diretor do laboratório, Kristopher King (na foto à direita abaixo), o diretor de engenharia, Mark Carroll (à esquerda), e o contato de relações públicas da equipe que organizou a visita, Doron Aronson (que aparece comigo mais adiante na matéria).

Os líderes do laboratório de chips da AWS, Mark Carroll e Kristopher King.Créditos da imagem:TechCrunch/Julie Bort

A AWS tem sido a principal plataforma de nuvem da Anthropic desde os primórdios do laboratório de IA — uma relação forte o suficiente para perdurar mesmo quando a Anthropic posteriormente adicionou a Microsoft como parceira de nuvem e à medida que a Amazon aprofundava seus laços com a OpenAI.

O acordo com a OpenAI designa a AWS como fornecedora exclusiva do “Frontier”, o novo criador de agentes de IA da empresa — uma ferramenta que pode se tornar parte essencial dos negócios da OpenAI caso os agentes atendam às expectativas do Vale do Silício. Resta saber se essa exclusividade se manterá conforme anunciado. O Financial Times noticiou esta semana que a Microsoft pode argumentar que o acordo com a Amazon viola seu próprio contrato com a OpenAI, especificamente que a empresa de Redmond tem direito a todos os modelos e à tecnologia da OpenAI.

Por que a OpenAI considera a AWS tão atraente? Como parte desse pacto, a gigante da nuvem se comprometeu a fornecer à OpenAI 2 gigawatts de capacidade de computação do Trainium — um compromisso gigantesco, considerando que a Anthropic e o próprio serviço Bedrock da Amazon já estão consumindo os chips Trainium mais rápido do que a Amazon consegue produzi-los.

Chip Trainium3 da Amazon.Créditos da imagem:Amazon

Trainium x Nvidia

Além de oferecer uma alternativa às GPUs da Nvidia, que estão com pedidos em atraso e são difíceis de encontrar, a Amazon afirma que seus novos chips, rodando em seus servidores especializados Trn3 UltraServers, oferecem desempenho comparável a um custo até 50% menor do que o uso de servidores em nuvem tradicionais.

Juntamente com o Trainium3, lançado em dezembro, a equipe da AWS também desenvolveu novos switches Neuron. Carroll afirma que essa combinação é transformadora.

“O que isso nos proporciona é algo enorme”, disse Carroll. Os switches permitem que cada chip Trainium3 se comunique com todos os outros chips em uma configuração em malha, reduzindo a latência. “É por isso que o Trainium3 está quebrando todos os tipos de recordes”, especialmente em “custo por potência”, acrescentou ele.

Quando trilhões de tokens são processados diariamente, essas melhorias fazem toda a diferença.

De fato, a equipe de chips da Amazon recebeu elogios da Apple em 2024. Em um raro momento de transparência para a empresa, conhecida por seu sigilo, o diretor de IA da Apple descreveu publicamente como a Apple utilizou outro dos chips da equipe — o Graviton, uma CPU de servidor baseada em ARM de baixo consumo de energia e o primeiro chip de sucesso projetado pela equipe. A Apple também elogiou o Inferentia, um chip desenvolvido especificamente para inferência, e reconheceu o Trainium, que ainda era novidade na época.

Esses chips seguem o manual clássico da Amazon: identificar o que os clientes querem e, em seguida, desenvolver uma alternativa interna que concorra em preço.

Historicamente, o desafio para os chips tem sido os custos de migração. Aplicativos escritos para os chips da Nvidia precisam ser reestruturados para funcionar com outros — um processo demorado que desestimula os desenvolvedores a mudar.

Mas a equipe de chips da AWS me disse com orgulho que o Trainium agora oferece suporte ao PyTorch, uma popular estrutura de código aberto para a construção de modelos de IA. Isso inclui muitos modelos hospedados no Hugging Face, uma vasta biblioteca onde desenvolvedores compartilham modelos de código aberto.

A transição, disse Carroll, requer “basicamente uma alteração de uma linha, seguida de recompilação e, então, execução no Trainium”. Em outras palavras, a Amazon está minando o domínio de mercado da Nvidia sempre que possível.

A AWS também anunciou este mês uma parceria com a Cerebras Systems, integrando o chip de inferência dessa empresa em servidores que rodam o Trainium para o que a Amazon promete ser um desempenho de IA superpotente e de baixa latência.

Mas as ambições da Amazon vão além dos próprios chips. A equipe também projeta o servidor que abriga os chips. Juntamente com componentes de rede, eles criaram o “Nitro”, uma combinação de hardware e software que oferece virtualização (permitindo que várias instâncias de software sejam executadas separadamente no mesmo servidor); um novo sistema de resfriamento líquido de última geração; e os “sleds” de servidor (foto abaixo) que sustentam o equipamento.

Tudo isso visa controlar custos e desempenho.

Visita ao laboratório de chips da AWS em Austin, sled com componentes.Créditos da imagem:TechCrunch/Julie Bort

Trabalhando 24 horas por dia, 7 dias por semana, na “implantação”

A unidade de projeto de chips personalizados da Amazon teve início quando a gigante da nuvem adquiriu a empresa israelense de projeto de chips Annapurna Labs, em janeiro de 2015, por cerca de US$ 350 milhões. Assim, a equipe vem dedicando mais de uma década ao projeto de chips para a AWS. A unidade mantém suas raízes e o nome da Annapurna — seu logotipo está por toda parte no escritório.

Esse laboratório de chips fica em um prédio reluzente com janelas cromadas no sofisticado bairro de Domain, em Austin — uma área onde dá para andar a pé, repleta de lojas e restaurantes, às vezes chamada de “Silicon Valley de Austin”.

Os escritórios têm uma atmosfera clássica de empresa de tecnologia: cubículos, áreas de convivência e salas de reunião. Mas, escondido no fundo de um andar alto, está o laboratório propriamente dito, com vistas panorâmicas da cidade.

O laboratório repleto de prateleiras, com o tamanho aproximado de duas grandes salas de conferência, é um espaço industrial barulhento devido aos ventiladores dos equipamentos. Parece uma mistura entre uma aula de marcenaria do ensino médio e um set de Hollywood para um laboratório de ponta — exceto que os engenheiros usam jeans em vez de jalecos brancos.

Laboratório de chips da AWS em Austin.Créditos da imagem:TechCrunch/Julie Bort

Laboratório de chips da AWS em Austin.Créditos da imagem:TechCrunch/Julie Bort

Observe que os chips não são fabricados aqui, portanto, não foram necessários trajes de proteção brancos. O Trainium3 é um chip de última geração de 3 nanômetros produzido pela TSMC, indiscutivelmente líder na fabricação de chips de 3 nanômetros, enquanto outros chips são fabricados pela Marvell.

Mas esta é a sala onde acontece a magia do “bring-up”.

“O ‘bring-up’ de um chip de silício é quando você recebe o chip pela primeira vez, e é como uma grande festa que dura a noite toda. Você fica aqui, como se estivesse trancado”, explica King. Após 18 meses de trabalho, o chip é ativado pela primeira vez para verificar se funciona conforme projetado. A equipe chegou a filmar parte do “bring-up” do Trainium3 e postou no YouTube.

Alerta de spoiler: nunca é isento de problemas.

No caso do Trainium3, o protótipo do chip era originalmente resfriado a ar, como as versões anteriores. O chip atual agora é resfriado a líquido, o que oferece vantagens energéticas e representou um feito considerável de engenharia.

Durante a inicialização, as dimensões de como o chip se encaixava no dissipador de calor com refrigeração a ar estavam erradas, de modo que o chip não pôde ser ativado.

Sem se abalar, a equipe “pegou imediatamente uma esmerilhadeira e começou a lixar o metal”, disse King. Para não atrapalhar o clima de festa de pizza da fase de inicialização, eles saíram discretamente e fizeram o trabalho em uma sala de conferências.

Ficar acordado a noite toda e resolver problemas “é a essência da inicialização de silício”, disse King.

O laboratório conta até com uma estação de soldagem, onde o engenheiro de laboratório de hardware e mestre soldador Isaac Guevara demonstrou a soldagem de minúsculos componentes de circuitos integrados sob um microscópio. Esse trabalho é tão difícil que o líder sênior Carroll admitiu abertamente que não conseguiria fazê-lo, o que provocou risadas de Guevara e dos outros engenheiros presentes na sala.

Visita ao laboratório de chips da AWS em Austin, estação de soldagem.Créditos da imagem:TechCrunch/Julie Bort

O laboratório também conta com ferramentas personalizadas e comerciais para testar e analisar problemas em chips. Aqui está o engenheiro de sinais Arvind Srinivasan demonstrando como o laboratório testa cada minúsculo componente do chip:

Visita ao laboratório de chips da AWS em Austin, equipamentos de teste.Créditos da imagem:TechCrunch/Julie Bort

Os “sleds” são a estrela do laboratório

Mas a estrela do laboratório é uma fileira inteira que exibe cada geração dos “sleds” projetados pela equipe.

Visita ao laboratório de chips da AWS em Austin: parede de “sleds”.Créditos da imagem:TechCrunch/Julie Bort

Os “sleds” são as bandejas que abrigam os chips de IA Trainium, os chips de CPU Graviton e as placas e componentes de suporte. Empilhe-os em um rack com o componente de rede — também projetado sob medida por essa equipe — e você terá os sistemas que estão no centro do sucesso do Anthropic Claude.

Aqui está o “sled” exibido durante a conferência AWS re:Invent em dezembro:

Visita ao laboratório de chips da AWS em Austin, “sled” do Trainium3.Créditos da imagem:TechCrunch/Julie Bort

Comprovado pela Anthropic e pela OpenAI

Eu esperava que meus guias se gabassem do acordo com a OpenAI durante a visita. Mas eles não o fizeram.

Essa reticência pode estar relacionada à possível incerteza jurídica em torno do acordo. Mas a impressão que tive foi de que esses engenheiros que estão na linha de frente — atualmente projetando a próxima versão, o Trainium4 — ainda não tiveram muitas oportunidades de trabalhar com a OpenAI. Seu dia a dia tem se concentrado, até agora, nas necessidades da Anthropic e da Amazon.

Atualmente, a maior parte dos chips Trainium2 está implantada no Projeto Rainier — um dos maiores clusters de computação de IA do mundo —, que entrou em operação no final de 2025 com 500 mil chips. Ele é utilizado pela Anthropic.

Mas um monitor na parede do escritório principal exibia uma citação sobre como a OpenAI usará o Trainium. O orgulho estava lá, ainda que sutil.

Além desse laboratório, a equipe possui seu próprio data center privado para controle de qualidade e testes. Localizado a uma curta distância de carro, ele não executa cargas de trabalho de clientes, por isso está instalado em uma instalação de colocalização, e não em um data center da AWS.

A segurança é rigorosa: protocolos estritos para entrar no prédio e acessar a área da Amazon dentro dele.

O sistema de refrigeração do data center é tão barulhento que o uso de tampões de ouvido é obrigatório, e o ar está impregnado com o cheiro acre de metal aquecido. Não é um lugar agradável para uma pessoa comum ficar por lá.

Aqui estamos eu e Aronson no data center do laboratório de chips da AWS em Austin, protegendo nossos ouvidos ao lado de servidores em operação.Créditos da imagem:TechCrunch / Julie Bort

Nesse data center, fileiras e mais fileiras de servidores estão repletas de “sleds” que integram todos os mais novos chips personalizados da Amazon: a CPU Graviton, o Trainium3 com resfriamento a líquido e o Amazon Nitro — todos zumbindo sem parar. O líquido circula em um sistema fechado, o que significa que é reutilizado, o que deve ajudar a reduzir o impacto ambiental, segundo os engenheiros.

Veja como é um Trn3 UltraServer atual: vários sleds na parte superior e inferior, com switches Neuron no meio. O engenheiro de desenvolvimento de hardware David Martinez-Darrow é visto realizando manutenção em um sled:

Visita ao laboratório de chips da AWS em Austin, no data center.Créditos da imagem:TechCrunch/Julie Bort

Embora a atenção voltada para a equipe sempre tenha sido grande, o escrutínio realmente aumentou recentemente.

O CEO da Amazon, Andy Jassy, acompanha de perto esse laboratório, gabando-se publicamente de seus produtos como um pai orgulhoso. Em dezembro, ele disse que o Trainium já era um negócio de vários bilhões de dólares para a AWS e o chamou de uma das tecnologias da AWS que mais o entusiasma. Ele também destacou o chip ao anunciar o acordo com a OpenAI.

A equipe também sente a pressão. Os engenheiros trabalham 24 horas por dia, 7 dias por semana, durante três a quatro semanas em torno de cada evento de implantação para corrigir problemas, de modo que os chips possam ser produzidos em massa e implantados nos data centers.

“É muito importante que consigamos, o mais rápido possível, provar que isso realmente vai funcionar”, disse Carroll. “Até agora, temos nos saído muito bem.”

*Divulgação: a Amazon forneceu a passagem aérea e cobriu uma noite em um hotel local. Honrando seu Princípio de Liderança da Frugalidade, foi um assento no meio da fileira de trás do avião e um quarto modesto. O TechCrunch cobriu outros custos de viagem, como corridas de Uber e taxas de bagagem. (Sim, despachei uma mala para uma viagem de uma noite. Sou exigente nesse sentido.)