Lar
Corrida de IA: a velocidade alucinante pode ser conciliada com os imperativos de segurança?
Uma crítica à segurança da IA feita por um pesquisador da OpenAI a um concorrente revela uma luta mais profunda do setor - uma batalha contra si mesmo.
Tudo começou quando Boaz Barak, professor de Harvard que atualmente está de licença e trabalha com segurança na OpenAI, chamou o lançamento do modelo Grok da xAI de "completamente irresponsável". Sua crítica não se referia às manchetes, mas sim ao que estava faltando: um cartão de sistema público, avaliações detalhadas de segurança e os artefatos básicos de transparência que se tornaram normas frágeis do setor.
Esse foi um chamado claro e necessário para a ação. No entanto, uma reflexão sincera do ex-engenheiro da OpenAI, Calvin French-Owen, publicada apenas três semanas após sua saída, revela o outro lado da história.
O relato de French-Owen indica que um número significativo de funcionários da OpenAI está de fato concentrado na segurança, lidando com ameaças muito reais, como discurso de ódio, armas biológicas e automutilação. No entanto, ele oferece uma visão crucial: "A maior parte do trabalho que está sendo feito não é publicada", escreveu ele, acrescentando que a OpenAI "realmente deveria fazer mais para divulgá-lo".
Aqui, a simples narrativa de um ator responsável repreendendo um irresponsável se desfaz. Em vez disso, vemos o verdadeiro dilema do setor exposto. Todo o setor de IA está preso no que poderia ser chamado de "Paradoxo Segurança-Velocidade" - um conflito profundo e estrutural entre a pressão competitiva para avançar a uma velocidade vertiginosa e o imperativo ético de proceder com cautela para manter as pessoas seguras.
De acordo com French-Owen, a OpenAI opera em um estado de caos controlado. A empresa triplicou sua força de trabalho para mais de 3.000 pessoas em apenas um ano, onde "tudo quebra quando você escala tão rapidamente". Essa energia caótica é impulsionada pela imensa pressão do que ele descreve como uma "corrida de três cavalos" rumo à inteligência artificial geral, competindo diretamente com o Google e a Anthropic. O resultado é uma cultura definida por uma velocidade incrível, mas também pelo sigilo.
Considere o desenvolvimento do Codex, o agente de codificação da OpenAI. French-Owen descreve o projeto como um "sprint de corrida louca", em que uma pequena equipe construiu um produto inovador do zero em apenas sete semanas.
Esse é um exemplo clássico de velocidade - trabalhar até a meia-noite na maioria das noites, e até mesmo nos fins de semana, para fazer isso acontecer. Esse é o custo humano de tal velocidade. Em um ambiente que se move tão rapidamente, é de se admirar que o trabalho lento e metódico de publicar pesquisas de segurança de IA pareça uma distração da corrida?
Esse paradoxo não decorre de malícia, mas de uma combinação de forças poderosas e interconectadas.
Há a óbvia pressão competitiva para ser o primeiro. Há também o DNA cultural desses laboratórios, que se originaram como comunidades informais de "cientistas e funileiros" que valorizam inovações revolucionárias em detrimento de processos sistemáticos. Além disso, há um problema básico de medição: é fácil monitorar a velocidade e o desempenho, mas é excepcionalmente difícil quantificar um desastre que foi evitado com sucesso.
Nas salas de reuniões atuais, as métricas visíveis de progresso quase sempre prevalecerão sobre os sucessos invisíveis da segurança. No entanto, para que o setor avance, o foco deve mudar da atribuição de culpa para a mudança fundamental das regras do jogo.
Precisamos redefinir o que significa lançar um produto, tornando a publicação de um caso de segurança tão integral quanto o próprio código. Precisamos de padrões em todo o setor que garantam que nenhuma empresa fique em desvantagem competitiva por ser diligente, transformando a segurança de um recurso opcional em uma base compartilhada e inegociável.
Acima de tudo, devemos promover uma cultura nos laboratórios de IA em que todos os engenheiros - não apenas os do departamento de segurança - sintam um senso de responsabilidade.
A corrida para criar a AGI não se trata apenas de quem chegará primeiro, mas de como chegaremos. O vencedor final não será a empresa que for apenas a mais rápida, mas aquela que mostrar ao mundo que a ambição e a responsabilidade podem - e devem - avançar juntas.
Veja também: Contratos de IA militar concedidos à Anthropic, OpenAI, Google e xAI
Quer saber mais sobre IA e Big Data com líderes do setor? Confira a AI & Big Data Expo realizada em Amsterdã, Califórnia e Londres. Esse evento abrangente é realizado em conjunto com outras conferências importantes, incluindo a Intelligent Automation Conference, a BlockX, a Digital Transformation Week e a Cyber Security & Cloud Expo.
Explore outros eventos de tecnologia corporativa e webinars futuros realizados pela TechForge aqui.
Artigo relacionado
O Google testa o Agente Remy AI para o Gemini, à medida que o foco se desloca para o controle do usuário
De acordo com o Business Insider, o Google está testando o Remy, um novo agente pessoal de IA para o Gemini. Esta ferramenta tem como objetivo executar tarefas em nome dos usuários, simplificando tanto os fluxos de trabalho profissionais quanto as ro
Ollie aposta na privacidade para vencer a corrida dos assistentes de IA
Para ser realmente útil, um assistente de IA precisa compreender profundamente seu usuário. O Ollie, um assistente pessoal projetado para o dia a dia, opera com base na premissa de que isso não exige
Como o AI LIVE: Londres explorará a IA e a automação industrial
A cúpula reunirá executivos de alto escalão de todo o mundo para discutir os desafios urgentes enfrentados pelos setores globais, que vão desde as transformações impulsionadas pela IA até a volatilida
Recomendações de tópicos especiais relacionados
Comentários (2)
Interesting piece! The fact that even OpenAI researchers are calling out their own competitors on safety issues shows how messy this race is. 🏃♂️💨 But can we really slow down without losing the edge? Feels like a prisoner's dilemma with existential stakes. 🤔
Die KI-Branche wirkt wie ein Formel-1-Rennen mit kaputten Bremsen 😅. Jeder will der Schnellste sein, aber wenn niemand Sicherheitsvorkehrungen trifft, endet das im Chaos. Interessant, dass selbst OpenAI-Mitarbeiter die Konkurrenz kritisieren – zeigt, wie gespalten die Branche ist. Vielleicht brauchen wir weniger Wettrennen und mehr Zusammenarbeit?
Uma crítica à segurança da IA feita por um pesquisador da OpenAI a um concorrente revela uma luta mais profunda do setor - uma batalha contra si mesmo.
Tudo começou quando Boaz Barak, professor de Harvard que atualmente está de licença e trabalha com segurança na OpenAI, chamou o lançamento do modelo Grok da xAI de "completamente irresponsável". Sua crítica não se referia às manchetes, mas sim ao que estava faltando: um cartão de sistema público, avaliações detalhadas de segurança e os artefatos básicos de transparência que se tornaram normas frágeis do setor.
Esse foi um chamado claro e necessário para a ação. No entanto, uma reflexão sincera do ex-engenheiro da OpenAI, Calvin French-Owen, publicada apenas três semanas após sua saída, revela o outro lado da história.
O relato de French-Owen indica que um número significativo de funcionários da OpenAI está de fato concentrado na segurança, lidando com ameaças muito reais, como discurso de ódio, armas biológicas e automutilação. No entanto, ele oferece uma visão crucial: "A maior parte do trabalho que está sendo feito não é publicada", escreveu ele, acrescentando que a OpenAI "realmente deveria fazer mais para divulgá-lo".
Aqui, a simples narrativa de um ator responsável repreendendo um irresponsável se desfaz. Em vez disso, vemos o verdadeiro dilema do setor exposto. Todo o setor de IA está preso no que poderia ser chamado de "Paradoxo Segurança-Velocidade" - um conflito profundo e estrutural entre a pressão competitiva para avançar a uma velocidade vertiginosa e o imperativo ético de proceder com cautela para manter as pessoas seguras.
De acordo com French-Owen, a OpenAI opera em um estado de caos controlado. A empresa triplicou sua força de trabalho para mais de 3.000 pessoas em apenas um ano, onde "tudo quebra quando você escala tão rapidamente". Essa energia caótica é impulsionada pela imensa pressão do que ele descreve como uma "corrida de três cavalos" rumo à inteligência artificial geral, competindo diretamente com o Google e a Anthropic. O resultado é uma cultura definida por uma velocidade incrível, mas também pelo sigilo.
Considere o desenvolvimento do Codex, o agente de codificação da OpenAI. French-Owen descreve o projeto como um "sprint de corrida louca", em que uma pequena equipe construiu um produto inovador do zero em apenas sete semanas.
Esse é um exemplo clássico de velocidade - trabalhar até a meia-noite na maioria das noites, e até mesmo nos fins de semana, para fazer isso acontecer. Esse é o custo humano de tal velocidade. Em um ambiente que se move tão rapidamente, é de se admirar que o trabalho lento e metódico de publicar pesquisas de segurança de IA pareça uma distração da corrida?
Esse paradoxo não decorre de malícia, mas de uma combinação de forças poderosas e interconectadas.
Há a óbvia pressão competitiva para ser o primeiro. Há também o DNA cultural desses laboratórios, que se originaram como comunidades informais de "cientistas e funileiros" que valorizam inovações revolucionárias em detrimento de processos sistemáticos. Além disso, há um problema básico de medição: é fácil monitorar a velocidade e o desempenho, mas é excepcionalmente difícil quantificar um desastre que foi evitado com sucesso.
Nas salas de reuniões atuais, as métricas visíveis de progresso quase sempre prevalecerão sobre os sucessos invisíveis da segurança. No entanto, para que o setor avance, o foco deve mudar da atribuição de culpa para a mudança fundamental das regras do jogo.
Precisamos redefinir o que significa lançar um produto, tornando a publicação de um caso de segurança tão integral quanto o próprio código. Precisamos de padrões em todo o setor que garantam que nenhuma empresa fique em desvantagem competitiva por ser diligente, transformando a segurança de um recurso opcional em uma base compartilhada e inegociável.
Acima de tudo, devemos promover uma cultura nos laboratórios de IA em que todos os engenheiros - não apenas os do departamento de segurança - sintam um senso de responsabilidade.
A corrida para criar a AGI não se trata apenas de quem chegará primeiro, mas de como chegaremos. O vencedor final não será a empresa que for apenas a mais rápida, mas aquela que mostrar ao mundo que a ambição e a responsabilidade podem - e devem - avançar juntas.
Veja também: Contratos de IA militar concedidos à Anthropic, OpenAI, Google e xAI
Quer saber mais sobre IA e Big Data com líderes do setor? Confira a AI & Big Data Expo realizada em Amsterdã, Califórnia e Londres. Esse evento abrangente é realizado em conjunto com outras conferências importantes, incluindo a Intelligent Automation Conference, a BlockX, a Digital Transformation Week e a Cyber Security & Cloud Expo.
Explore outros eventos de tecnologia corporativa e webinars futuros realizados pela TechForge aqui.
Ollie aposta na privacidade para vencer a corrida dos assistentes de IA
Para ser realmente útil, um assistente de IA precisa compreender profundamente seu usuário. O Ollie, um assistente pessoal projetado para o dia a dia, opera com base na premissa de que isso não exige
Como o AI LIVE: Londres explorará a IA e a automação industrial
A cúpula reunirá executivos de alto escalão de todo o mundo para discutir os desafios urgentes enfrentados pelos setores globais, que vão desde as transformações impulsionadas pela IA até a volatilida
Interesting piece! The fact that even OpenAI researchers are calling out their own competitors on safety issues shows how messy this race is. 🏃♂️💨 But can we really slow down without losing the edge? Feels like a prisoner's dilemma with existential stakes. 🤔
Die KI-Branche wirkt wie ein Formel-1-Rennen mit kaputten Bremsen 😅. Jeder will der Schnellste sein, aber wenn niemand Sicherheitsvorkehrungen trifft, endet das im Chaos. Interessant, dass selbst OpenAI-Mitarbeiter die Konkurrenz kritisieren – zeigt, wie gespalten die Branche ist. Vielleicht brauchen wir weniger Wettrennen und mehr Zusammenarbeit?











