Lar
A Microsoft lança uma ferramenta para desenvolvedores criarem testes de comportamento de IA a partir de descrições em texto
Pesquisadores e laboratórios de IA têm feito avanços significativos na avaliação de modelos de IA em termos de segurança, conformidade, bajulação e alinhamento. No entanto, empresas e desenvolvedores enfrentam agora um desafio específico: garantir que seus sistemas de IA se comportem exatamente como pretendido para seu produto ou serviço específico.
Para simplificar esse processo de teste, a Microsoft apresentou na terça-feira o ASSERT — sigla para Adaptive Spec-driven Scoring for Evaluation and Regression Testing (Pontuação Adaptativa Baseada em Especificações para Testes de Avaliação e Regressão).
Segundo a Microsoft, a estrutura de código aberto facilita a avaliação do comportamento da IA específico para cada aplicação. Ela usa IA para converter descrições de alto nível, em linguagem natural, de objetivos, políticas ou comportamentos pretendidos em testes abrangentes e pontuados que podem ser examinados.
O ASSERT aceita descrições em linguagem simples do comportamento e das políticas esperadas de um modelo de IA e, em seguida, transforma-as em um conjunto estruturado de comportamentos aceitáveis e inaceitáveis. Ele gera cenários de problema e casos de teste, os executa no sistema de destino e pontua os resultados. A estrutura também registra os caminhos do sistema de IA, incluindo ações intermediárias e chamadas de ferramentas, permitindo que os desenvolvedores inspecionem onde ocorrem as falhas.
Os desenvolvedores também podem fornecer contexto do sistema, ferramentas e restrições para personalizar ainda mais o escopo das avaliações.
Por exemplo, um desenvolvedor poderia especificar que um agente de IA para pesquisa de documentos não deve enviar e-mails para pessoas fora da empresa, deve restringir informações confidenciais aos executivos de nível C e deve fornecer resumos concisos, levando em consideração o contexto anterior. O ASSERT então usa essas regras para gerar casos de teste que verificam continuamente se o sistema as segue.
Créditos da imagem:Microsoft
De acordo com a Microsoft, a estrutura preenche uma lacuna que avaliações mais amplas e gerais não conseguem abordar quando os modelos de IA devem se comportar de maneiras moldadas pelo contexto, pelas políticas e pelas ferramentas de um aplicativo ou produto.
“Uma das coisas que aprendemos é que as avaliações são absolutamente essenciais para tomar boas decisões”, disse Sarah Bird, diretora de produtos de IA Responsável da Microsoft. “Porque, se você não compreender o comportamento do sistema de IA, é realmente difícil saber se ele está atendendo aos padrões da sua organização […] O que descobrimos é que, se você realmente deseja um sistema confiável, deve avaliar muito mais dimensões específicas da aplicação.”
Bird disse que o ASSERT pode ser usado para avaliar sistemas durante o desenvolvimento, após a implantação e para monitoramento contínuo.
O lançamento ocorre em meio a uma mudança gradual, porém mais ampla, no setor de IA. À medida que os modelos se tornam mais capazes, os pesquisadores estão se concentrando em testes repetíveis e verificações de regressão. O HELM, da Stanford, o AILuminate, da MLCommons, e grupos de avaliação como o METR estão lançando benchmarks para medir como os modelos se comportam em diferentes condições.
Artigo relacionado
A Microsoft descontinua ferramentas de IA mal-sucedidas e consolida os aplicativos Copilot
Dois anos atrás, a Microsoft caracterizou a IA como uma “mudança de geração” na tecnologia, na qual pretendia liderar. Hoje, a empresa está consolidando seus aplicativos para consumidores e empresas com a marca Copilot, ao mesmo tempo em que desconti
A Microsoft supostamente treina sua equipe de vendas para superar a concorrência da OpenAI e da Anthropic
Microsoft estaria preparando sua força de vendas para intensificar a concorrência contra principais rivais no setor de inteligência artificial.De acordo com um relatório da Bloomberg, executivos realizaram uma sessão estratégica interna na terça-fei
Isso poderia marcar o início de uma crise para as economias baseadas em tokens?
A Microsoft introduziu recentemente ajustes significativos nos preços do GitHub Copilot, mudanças tão substanciais que um usuário do Reddit descreveu a situação em sua empresa como uma “Tokenpocalypse”.No episódio mais recente do podcast Equity da T
Recomendações de tópicos especiais relacionados
escrita
Os melhores geradores de esboços com IA para artigos longos de SEO
Os melhores e mais bem avaliados geradores de esboços com IA de 2026 para artigos longos de SEO, cuidadosamente selecionados pela XIX.AI. Essas ferramentas poderosas oferecem um auxílio revolucionário na criação rápida de conteúdo de alta qualidade, aumentando significativamente a eficiência na redação. Confira uma comparação entre versões gratuitas e pagas, além de testes práticos e classificações detalhadas, para ajudá-lo a encontrar a opção imperdível que melhor atenda às suas necessidades. Explore agora para aproveitar ao máximo as vantagens da IA.
8 ferramentas
xix.ai
Educação e Aprendizagem
Ferramentas de IA para os deveres de casa e a preparação para provas
As melhores e mais recentes ferramentas de IA para lição de casa e preparação para provas em 2026! A XIX.AI seleciona uma lista das ferramentas mais bem avaliadas, poderosas e revolucionárias que ajudam os alunos a aumentar a produtividade, agilizar a realização das lições de casa e se sair muito bem nas provas por meio de testes práticos. Veja uma comparação entre versões gratuitas e pagas, classificações detalhadas e opções imperdíveis para aproveitar ao máximo as vantagens da IA. Explore agora!
10 ferramentas
xix.ai
Composição musical
Ferramentas de Demonstração Vocal com IA para Compositores, Ganchos, Toplines e Sessões de Rascunho Multilíngues
2026 Últimas Melhores Ferramentas de Demonstração Vocal com IA para Compositores, Criadores de Ganchos e Equipes de Conteúdo Multilíngue! A XIX.AI compilou uma lista de ferramentas altamente avaliadas e poderosas, que mudam o jogo e passaram por rigorosos testes no mundo real. Você encontrará dados detalhados de comparação entre versões gratuitas e pagas, classificações abrangentes e opções imperdíveis para ajudá-lo a aumentar a eficiência da escrita e desbloquear seu potencial criativo. Explore agora para descobrir a ferramenta perfeita para todas as suas necessidades de conteúdo!
9 ferramentas
xix.ai
Negócios
As melhores ferramentas de pesquisa competitiva baseadas em IA para pequenas empresas
As melhores e mais bem avaliadas ferramentas de pesquisa competitiva com IA de 2026 para pequenas empresas! A XIX.AI selecionou uma coleção extremamente poderosa e revolucionária, atualizada semanalmente com testes rigorosos no mundo real e classificações detalhadas. Você encontrará uma comparação abrangente entre versões gratuitas e pagas para ajudá-lo a identificar as ferramentas imperdíveis que aumentam sua produtividade e lhe proporcionam uma vantagem competitiva. Explore agora para descobrir a ferramenta perfeita para você!
9 ferramentas
xix.ai
Edição de imagem
Ferramentas de Retoque com IA do Photoshop para Moda E-commerce, Limpeza de Pele e Consistência de Cor
2026 Últimas Melhores Ferramentas de Retoque com IA do Photoshop para roupas de comércio eletrônico, limpeza de pele e consistência de cores! Esta lista curada de alta classificação apresenta soluções poderosas que mudam o jogo, ajudando você a aumentar a eficiência da escrita, simplificar a criação de conteúdo e obter resultados visuais perfeitos sem esforço. Cada ferramenta passou por testes do mundo real através de classificações atualizadas semanalmente, com detalhes completos sobre comparação entre gratuito e pago. Com o apoio da XIX.AI, é o guia essencial para quem deseja desbloquear sua vantagem com IA. Explore agora!
10 ferramentas
xix.ai
Incitar
As melhores bibliotecas de prompts de IA para fluxos de trabalho do ChatGPT
As melhores e mais bem avaliadas bibliotecas de prompts de IA de 2026 para otimizar todos os tipos de fluxos de trabalho do ChatGPT. A XIX.AI selecionou uma coleção poderosa e revolucionária, submetida a rigorosos testes no mundo real para garantir o máximo desempenho. Você encontra comparações detalhadas entre opções gratuitas e pagas, além de classificações de especialistas, para ajudá-lo a escolher as ferramentas indispensáveis que aumentam sua produtividade e potencializam suas vantagens em IA. Explore agora!
11 ferramentas
xix.ai
Comentários (0)
Pesquisadores e laboratórios de IA têm feito avanços significativos na avaliação de modelos de IA em termos de segurança, conformidade, bajulação e alinhamento. No entanto, empresas e desenvolvedores enfrentam agora um desafio específico: garantir que seus sistemas de IA se comportem exatamente como pretendido para seu produto ou serviço específico.
Para simplificar esse processo de teste, a Microsoft apresentou na terça-feira o ASSERT — sigla para Adaptive Spec-driven Scoring for Evaluation and Regression Testing (Pontuação Adaptativa Baseada em Especificações para Testes de Avaliação e Regressão).
Segundo a Microsoft, a estrutura de código aberto facilita a avaliação do comportamento da IA específico para cada aplicação. Ela usa IA para converter descrições de alto nível, em linguagem natural, de objetivos, políticas ou comportamentos pretendidos em testes abrangentes e pontuados que podem ser examinados.
O ASSERT aceita descrições em linguagem simples do comportamento e das políticas esperadas de um modelo de IA e, em seguida, transforma-as em um conjunto estruturado de comportamentos aceitáveis e inaceitáveis. Ele gera cenários de problema e casos de teste, os executa no sistema de destino e pontua os resultados. A estrutura também registra os caminhos do sistema de IA, incluindo ações intermediárias e chamadas de ferramentas, permitindo que os desenvolvedores inspecionem onde ocorrem as falhas.
Os desenvolvedores também podem fornecer contexto do sistema, ferramentas e restrições para personalizar ainda mais o escopo das avaliações.
Por exemplo, um desenvolvedor poderia especificar que um agente de IA para pesquisa de documentos não deve enviar e-mails para pessoas fora da empresa, deve restringir informações confidenciais aos executivos de nível C e deve fornecer resumos concisos, levando em consideração o contexto anterior. O ASSERT então usa essas regras para gerar casos de teste que verificam continuamente se o sistema as segue.
Créditos da imagem:Microsoft
De acordo com a Microsoft, a estrutura preenche uma lacuna que avaliações mais amplas e gerais não conseguem abordar quando os modelos de IA devem se comportar de maneiras moldadas pelo contexto, pelas políticas e pelas ferramentas de um aplicativo ou produto.
“Uma das coisas que aprendemos é que as avaliações são absolutamente essenciais para tomar boas decisões”, disse Sarah Bird, diretora de produtos de IA Responsável da Microsoft. “Porque, se você não compreender o comportamento do sistema de IA, é realmente difícil saber se ele está atendendo aos padrões da sua organização […] O que descobrimos é que, se você realmente deseja um sistema confiável, deve avaliar muito mais dimensões específicas da aplicação.”
Bird disse que o ASSERT pode ser usado para avaliar sistemas durante o desenvolvimento, após a implantação e para monitoramento contínuo.
O lançamento ocorre em meio a uma mudança gradual, porém mais ampla, no setor de IA. À medida que os modelos se tornam mais capazes, os pesquisadores estão se concentrando em testes repetíveis e verificações de regressão. O HELM, da Stanford, o AILuminate, da MLCommons, e grupos de avaliação como o METR estão lançando benchmarks para medir como os modelos se comportam em diferentes condições.
A Microsoft descontinua ferramentas de IA mal-sucedidas e consolida os aplicativos Copilot
Dois anos atrás, a Microsoft caracterizou a IA como uma “mudança de geração” na tecnologia, na qual pretendia liderar. Hoje, a empresa está consolidando seus aplicativos para consumidores e empresas com a marca Copilot, ao mesmo tempo em que desconti
A Microsoft supostamente treina sua equipe de vendas para superar a concorrência da OpenAI e da Anthropic
Microsoft estaria preparando sua força de vendas para intensificar a concorrência contra principais rivais no setor de inteligência artificial.De acordo com um relatório da Bloomberg, executivos realizaram uma sessão estratégica interna na terça-fei
Isso poderia marcar o início de uma crise para as economias baseadas em tokens?
A Microsoft introduziu recentemente ajustes significativos nos preços do GitHub Copilot, mudanças tão substanciais que um usuário do Reddit descreveu a situação em sua empresa como uma “Tokenpocalypse”.No episódio mais recente do podcast Equity da T
Os melhores e mais bem avaliados geradores de esboços com IA de 2026 para artigos longos de SEO, cuidadosamente selecionados pela XIX.AI. Essas ferramentas poderosas oferecem um auxílio revolucionário na criação rápida de conteúdo de alta qualidade, aumentando significativamente a eficiência na redação. Confira uma comparação entre versões gratuitas e pagas, além de testes práticos e classificações detalhadas, para ajudá-lo a encontrar a opção imperdível que melhor atenda às suas necessidades. Explore agora para aproveitar ao máximo as vantagens da IA.
8 ferramentas
xix.ai
As melhores e mais recentes ferramentas de IA para lição de casa e preparação para provas em 2026! A XIX.AI seleciona uma lista das ferramentas mais bem avaliadas, poderosas e revolucionárias que ajudam os alunos a aumentar a produtividade, agilizar a realização das lições de casa e se sair muito bem nas provas por meio de testes práticos. Veja uma comparação entre versões gratuitas e pagas, classificações detalhadas e opções imperdíveis para aproveitar ao máximo as vantagens da IA. Explore agora!
10 ferramentas
xix.ai
2026 Últimas Melhores Ferramentas de Demonstração Vocal com IA para Compositores, Criadores de Ganchos e Equipes de Conteúdo Multilíngue! A XIX.AI compilou uma lista de ferramentas altamente avaliadas e poderosas, que mudam o jogo e passaram por rigorosos testes no mundo real. Você encontrará dados detalhados de comparação entre versões gratuitas e pagas, classificações abrangentes e opções imperdíveis para ajudá-lo a aumentar a eficiência da escrita e desbloquear seu potencial criativo. Explore agora para descobrir a ferramenta perfeita para todas as suas necessidades de conteúdo!
9 ferramentas
xix.ai
As melhores e mais bem avaliadas ferramentas de pesquisa competitiva com IA de 2026 para pequenas empresas! A XIX.AI selecionou uma coleção extremamente poderosa e revolucionária, atualizada semanalmente com testes rigorosos no mundo real e classificações detalhadas. Você encontrará uma comparação abrangente entre versões gratuitas e pagas para ajudá-lo a identificar as ferramentas imperdíveis que aumentam sua produtividade e lhe proporcionam uma vantagem competitiva. Explore agora para descobrir a ferramenta perfeita para você!
9 ferramentas
xix.ai
2026 Últimas Melhores Ferramentas de Retoque com IA do Photoshop para roupas de comércio eletrônico, limpeza de pele e consistência de cores! Esta lista curada de alta classificação apresenta soluções poderosas que mudam o jogo, ajudando você a aumentar a eficiência da escrita, simplificar a criação de conteúdo e obter resultados visuais perfeitos sem esforço. Cada ferramenta passou por testes do mundo real através de classificações atualizadas semanalmente, com detalhes completos sobre comparação entre gratuito e pago. Com o apoio da XIX.AI, é o guia essencial para quem deseja desbloquear sua vantagem com IA. Explore agora!
10 ferramentas
xix.ai
As melhores e mais bem avaliadas bibliotecas de prompts de IA de 2026 para otimizar todos os tipos de fluxos de trabalho do ChatGPT. A XIX.AI selecionou uma coleção poderosa e revolucionária, submetida a rigorosos testes no mundo real para garantir o máximo desempenho. Você encontra comparações detalhadas entre opções gratuitas e pagas, além de classificações de especialistas, para ajudá-lo a escolher as ferramentas indispensáveis que aumentam sua produtividade e potencializam suas vantagens em IA. Explore agora!
11 ferramentas
xix.ai
