Lar
A OpenAI confirma o incidente na wiki e afirma que está trabalhando em um framework para maior transparência

A OpenAI confirmou seu envolvimento em um recente incidente no qual agentes de IA assumiram o controle de um fórum wiki alemão. A empresa afirmou que “já é hora” de “definir padrões” para o compartilhamento de informações sobre comportamento inesperado da IA.
Em uma publicação no X, a OpenAI explicou que anteriormente “tratava o desalinhamento [quando modelos e agentes de IA perseguem objetivos diferentes daqueles de seus criadores e usuários] principalmente como uma questão de pesquisa, que é comunicada em publicações científicas.” No entanto, como o desalinhamento “causou novos tipos de impacto no mundo real”, a empresa disse que sua abordagem precisa “se expandir para esta nova fase de capacidades dos modelos”.
Na sexta-feira, a Reuters noticiou que agentes da OpenAI haviam escapado de seu ambiente de teste e “sequestrado” um fórum wiki alemão obscuro, transformando-o em uma mesa de mensagens para outros agentes. A reportagem também informou que a liderança da OpenAI ficou ciente do incidente semanas atrás, mas o manteve em sigilo enquanto a empresa lidava com as consequências de um incidente separado no qual agentes da OpenAI invadiram os servidores do Hugging Face. (O Procurador-Geral da Califórnia, Rob Bonta, está supostamente investigando o hack.)
Um porta-voz da empresa disse à Reuters que a OpenAI não poderia “responder de forma significativa a alegações ou descobertas em um relatório que não tivemos oportunidade de revisar”, mas insistiu que a equipe jurídica da empresa não desencorajou uma investigação.
Em sua publicação mais recente nas redes sociais, a OpenAI disse que considerou o “incidente do wiki” como “uma instância de desalinhamento semelhante” a outras que já havia compartilhado. A empresa contrastou isso com “o incidente do Hugging Face”, no qual “seguimos um roteiro tradicional de resposta a incidentes de segurança”.
Durante uma coletiva de imprensa nesta semana, Jacob Steinhardt, fundador e CEO do laboratório de pesquisa sem fins lucrativos Transluce, disse aos repórteres que as ferramentas sendo desenvolvidas e testadas pelos laboratórios de IA são “fundamentalmente difíceis de controlar e têm risco significativo de escapar do laboratório”. Portanto, Steinhardt argumentou: “Precisamos submeter esta tecnologia a pelo menos os mesmos padrões aos quais submetemos outras pesquisas científicas de alto risco.”
A declaração da OpenAI também aludiu à necessidade de mais padrões, afirmando que tanto a OpenAI quanto “a comunidade de IA em geral ainda não possuem um padrão claro sobre como relatar desalinhamentos que aparecem durante o treinamento, avaliação e implantação, incluindo exemplos que não parecem incidentes de segurança tradicionais, mas que podem fornecer insights sobre o comportamento da IA e riscos futuros.”
Na ausência desse padrão, a OpenAI disse que está “trabalhando em um framework e o compartilhará nas próximas semanas, e, paralelamente, estamos trabalhando com dezenas de agências reguladoras governamentais em todo o mundo sobre essas questões.”
A OpenAI não é a única empresa de IA que lida com essas questões, já que tanto a Meta quanto a Anthropic reconheceram incidentes em que seus agentes se comportaram de forma inadequada.
Artigo relacionado
Erro humano da OpenAI desencadeia hack com IA no Hugging Face
Na terça-feira, a OpenAI divulgou que um de seus modelos de IA violou os sistemas da plataforma de conjuntos de dados Hugging Face durante um teste, marcando um marco dramático em ataques totalmente automatizados impulsionados por IA.No entanto, esp
A OpenAI confirma o incidente na wiki e afirma que está trabalhando em um framework para maior transparência
A OpenAI confirmou seu envolvimento em um recente incidente no qual agentes de IA assumiram o controle de um fórum wiki alemão. A empresa afirmou que “já é hora” de “definir padrões” para o compartilhamento de informações sobre comportamento inespera
A Anthropic agora tem mais clientes corporativos do que a OpenAI, de acordo com dados da Ramp
A Anthropic superou a OpenAI em clientes comerciais verificados pela primeira vez, de acordo com o Índice de IA deste mês da fintech Ramp.Os dados das despesas dos clientes da Ramp revelam que 34,4% das empresas participantes pagam pelos serviços da
Recomendações de tópicos especiais relacionados
Comentários (0)

A OpenAI confirmou seu envolvimento em um recente incidente no qual agentes de IA assumiram o controle de um fórum wiki alemão. A empresa afirmou que “já é hora” de “definir padrões” para o compartilhamento de informações sobre comportamento inesperado da IA.
Em uma publicação no X, a OpenAI explicou que anteriormente “tratava o desalinhamento [quando modelos e agentes de IA perseguem objetivos diferentes daqueles de seus criadores e usuários] principalmente como uma questão de pesquisa, que é comunicada em publicações científicas.” No entanto, como o desalinhamento “causou novos tipos de impacto no mundo real”, a empresa disse que sua abordagem precisa “se expandir para esta nova fase de capacidades dos modelos”.
Na sexta-feira, a Reuters noticiou que agentes da OpenAI haviam escapado de seu ambiente de teste e “sequestrado” um fórum wiki alemão obscuro, transformando-o em uma mesa de mensagens para outros agentes. A reportagem também informou que a liderança da OpenAI ficou ciente do incidente semanas atrás, mas o manteve em sigilo enquanto a empresa lidava com as consequências de um incidente separado no qual agentes da OpenAI invadiram os servidores do Hugging Face. (O Procurador-Geral da Califórnia, Rob Bonta, está supostamente investigando o hack.)
Um porta-voz da empresa disse à Reuters que a OpenAI não poderia “responder de forma significativa a alegações ou descobertas em um relatório que não tivemos oportunidade de revisar”, mas insistiu que a equipe jurídica da empresa não desencorajou uma investigação.
Em sua publicação mais recente nas redes sociais, a OpenAI disse que considerou o “incidente do wiki” como “uma instância de desalinhamento semelhante” a outras que já havia compartilhado. A empresa contrastou isso com “o incidente do Hugging Face”, no qual “seguimos um roteiro tradicional de resposta a incidentes de segurança”.
Durante uma coletiva de imprensa nesta semana, Jacob Steinhardt, fundador e CEO do laboratório de pesquisa sem fins lucrativos Transluce, disse aos repórteres que as ferramentas sendo desenvolvidas e testadas pelos laboratórios de IA são “fundamentalmente difíceis de controlar e têm risco significativo de escapar do laboratório”. Portanto, Steinhardt argumentou: “Precisamos submeter esta tecnologia a pelo menos os mesmos padrões aos quais submetemos outras pesquisas científicas de alto risco.”
A declaração da OpenAI também aludiu à necessidade de mais padrões, afirmando que tanto a OpenAI quanto “a comunidade de IA em geral ainda não possuem um padrão claro sobre como relatar desalinhamentos que aparecem durante o treinamento, avaliação e implantação, incluindo exemplos que não parecem incidentes de segurança tradicionais, mas que podem fornecer insights sobre o comportamento da IA e riscos futuros.”
Na ausência desse padrão, a OpenAI disse que está “trabalhando em um framework e o compartilhará nas próximas semanas, e, paralelamente, estamos trabalhando com dezenas de agências reguladoras governamentais em todo o mundo sobre essas questões.”
A OpenAI não é a única empresa de IA que lida com essas questões, já que tanto a Meta quanto a Anthropic reconheceram incidentes em que seus agentes se comportaram de forma inadequada.
Erro humano da OpenAI desencadeia hack com IA no Hugging Face
Na terça-feira, a OpenAI divulgou que um de seus modelos de IA violou os sistemas da plataforma de conjuntos de dados Hugging Face durante um teste, marcando um marco dramático em ataques totalmente automatizados impulsionados por IA.No entanto, esp
A OpenAI confirma o incidente na wiki e afirma que está trabalhando em um framework para maior transparência
A OpenAI confirmou seu envolvimento em um recente incidente no qual agentes de IA assumiram o controle de um fórum wiki alemão. A empresa afirmou que “já é hora” de “definir padrões” para o compartilhamento de informações sobre comportamento inespera
A Anthropic agora tem mais clientes corporativos do que a OpenAI, de acordo com dados da Ramp
A Anthropic superou a OpenAI em clientes comerciais verificados pela primeira vez, de acordo com o Índice de IA deste mês da fintech Ramp.Os dados das despesas dos clientes da Ramp revelam que 34,4% das empresas participantes pagam pelos serviços da











