Guia de implementação do Enterprise RAG: .NET AI encontra o Azure SQL

No cenário atual centrado em dados, é fundamental aproveitar a IA para obter insights valiosos a partir dos dados empresariais. A Retrieval Augmented Generation (RAG) é uma técnica altamente eficaz para esse fim. Este artigo detalha como implementar a RAG em seus dados usando .NET AI e Azure SQL, transformando suas informações em um recurso interativo e inteligente. Abordaremos especificamente a construção de poderosas pesquisas vetoriais híbridas que mesclam a pesquisa vetorial semântica com a pesquisa e filtragem de texto completo convencionais. Ao utilizar o Azure SQL como seu banco de dados central de IA, você pode incorporar facilmente recursos de IA em seus aplicativos empresariais atuais.

Pontos principais

Compreenda os fundamentos da Retrieval Augmented Generation (RAG) e entenda suas vantagens para os dados empresariais.

Examine o Azure SQL como um banco de dados relacional multimodelo contemporâneo, projetado para gerenciar diversos formatos de dados.

Aprenda a metodologia para criar uma abordagem de pesquisa híbrida, integrando a pesquisa semântica vetorial com a pesquisa de texto completo e filtros.

Descubra como utilizar bibliotecas de IA .NET para criar incorporações vetoriais e realizar pesquisas de similaridade diretamente no Azure SQL.

Crie um aplicativo RAG completo do início ao fim usando o Azure Functions, Static Web Apps e Azure OpenAI.

Empregue o criador de API de dados para disponibilizar entidades de banco de dados como pontos de extremidade REST e GraphQL.

Veja uma demonstração prática da criação de um assistente de IA para conferências para explorar os benefícios e a adaptabilidade para os dados da sua empresa.

Identifique os vários cenários em que a integração da IA com o SQL se mostra altamente benéfica.

Descubra como as vantagens e a adaptabilidade do Azure SQL podem atender aos complexos requisitos de armazenamento de dados da sua organização.

Desbloqueando o potencial do RAG com .NET AI e Azure SQL

O que é o Azure SQL?

O Azure SQL é um serviço de banco de dados relacional moderno que oferece uma experiência multimodelo genuína

. Esse recurso permite que ele lide com dados JSON, gráficos, XML, geoespaciais e de armazenamento em colunas. Ele pode ser dimensionado para até 100 terabytes com 80 núcleos e suporta 30 réplicas. O Azure SQL inclui recursos de segurança e auditoria de nível empresarial e se integra perfeitamente aos serviços comuns do Azure, .NET EF Core, .NET Aspire, LangChain e Semantic Kernel. Sua verdadeira força reside na integração com as tecnologias que sua equipe de desenvolvimento já conhece e confia. Para aproveitar a IA em seus dados, o Azure SQL oferecerá suporte a vetores em uma prévia para usuários pioneiros, o que significa que você pode solicitar acesso à prévia privada e explorar seus recursos.

Destaques do Azure SQL:

• Banco de dados relacional moderno
• Suporte verdadeiramente multimodelo (JSON, gráfico, XML, geoespacial, armazenamento em colunas)
• Escalável para 100 TB, 80 v-Cores, 30 réplicas
• Suporte para vetores (versão prévia para usuários pioneiros)
• Recursos de segurança e auditoria de nível empresarial
• Integração com serviços comuns do Azure
• Integração com bibliotecas populares para desenvolvedores (.NET EF Core, .NET Aspire, LangChain, Semantic Kernel etc.)

Casos de uso de IA + SQL para os dados da sua empresa

A combinação de IA com o Azure SQL abre inúmeras possibilidades de aplicações que podem transformar os dados da sua empresa em um ativo estratégico

. Aqui estão vários cenários importantes em que essa integração se destaca:

• Pesquisa híbrida: combina pesquisa vetorial (semântica) com pesquisa de texto completo e filtros. Essa ferramenta poderosa permite a extração precisa de insights de dados. Por exemplo, você pode “Encontrar todos os documentos do cliente Acme criados por John Doe relacionados às novas políticas de segurança”.
• Memórias do chatbot: use o Azure SQL para armazenar e gerenciar históricos de conversas do chatbot, permitindo interações mais personalizadas e sensíveis ao contexto. Aprimorar as memórias do chatbot pode melhorar significativamente o suporte ao produto e ao cliente, proporcionando uma vantagem competitiva.
• Geração aumentada de recuperação (RAG): essa é a técnica que demonstraremos construir. O RAG aprimora a qualidade e a relevância do conteúdo gerado por IA, ancorando-o em seus dados específicos.

Arquitetura RAG de alto nível usando o Azure SQL

Essa abordagem combina de maneira ideal a pesquisa vetorial, a pesquisa semântica e outros filtros em um único local

. O processo envolve recuperar dados relevantes e, em seguida, usar um LLM de IA para formular a resposta. As etapas necessárias são:

1. Recuperar dados do banco de dados MSSQL usando uma pesquisa por similaridade.
2. Injetar os resultados da sessão recuperados como contexto e enviá-los para o AI LLM.
3. O AI LLM gera e entrega uma resposta.

Criação de um recomendador de sessões: um exemplo detalhado

Visão geral da arquitetura

O sistema de recomendação de sessões utiliza vários serviços do Azure para fornecer uma experiência RAG perfeita

:

• Aplicativos clientes: permitem que os usuários insiram perguntas usando linguagem natural.
• Back-end:
  • Construtor de API de dados: expõe entidades do banco de dados.
  • APIs GraphQL/REST: fornecem a interface que conecta os dados ao cliente.
  • Azure Functions: acionam o pipeline de processamento de IA.

Configurando gatilhos do Azure Functions

As Funções do Azure podem monitorar e ser acionadas por alterações nos dados SQL

. Essa automação garante que os dados novos ou atualizados sejam processados para disponibilidade imediata. A configuração envolve:

1. Criação da função do Azure.
2. Gerar vetores que representam tópicos a partir dos nossos dados.
3. Salvar esses vetores em seu banco de dados para permitir pesquisas de similaridade eficientes.

   Ao automatizar a conversão de dados em vetores, aproveitamos totalmente o potencial e a utilidade do Azure SQL.

Implementação do Data API Builder para RAG

Utilizando o Data API Builder

Para integrar todos os componentes, é necessária uma configuração adequada

. Isso envolve configurar o banco de dados e definir entidades como tabelas e visualizações com as quais o SQL possa trabalhar de forma confiável. O Data API Builder simplifica esse processo, tornando o acesso aos dados mais direto. Também precisamos configurar os Static Web Apps, que hospedarão nossas funções. Os comandos principais para este projeto são:

• linha de comando azdt
• data-api builder init
• data-api builder add
• azdt start

Preços do Azure SQL

Escolhendo o nível certo do Azure SQL

O Azure SQL oferece um nível gratuito para novos usuários do Azure. Esse nível gratuito é permanente, permitindo que qualquer pessoa experimente o Azure SQL e desenvolva novas soluções dentro do ecossistema do Azure sem compromisso financeiro de longo prazo

. Com o Azure SQL, você pode implementar soluções de nível empresarial sem um custo proibitivo.

Suporte à pesquisa vetorial no Azure SQL: avaliando as vantagens e desvantagens

Prós

Uma plataforma de banco de dados relacional moderna para soluções versáteis.

Recursos de segurança de nível empresarial.

Altamente escalável para necessidades de desempenho exigentes.

Contras

O suporte a vetores ainda está em fase inicial de desenvolvimento.

A estrutura de preços pode ser complexa, dependendo do consumo de recursos.

A integração com outros modelos de dados pode introduzir complexidade.

Principais recursos do Azure SQL

Soluções empresariais com o Azure SQL

Como um serviço gerenciado, o Azure SQL oferece soluções para os complexos requisitos de dados de uma ampla gama de empresas. Isso inclui segurança robusta, já que o Azure gerencia os principais aspectos de segurança

. Com várias opções de criptografia de dados e fácil conectividade com bibliotecas populares de desenvolvedores, o Azure SQL continua sendo uma solução abrangente para iniciativas que priorizam os dados. Seus recursos de banco de dados de IA empresarial oferecem integração profunda com .NET EF Core, .NET Aspire, LangChain, Semantic Kernel e muito mais.

Azure AI e SQL: transformando setores

Seguros

Um caso de uso principal envolve pesquisa vetorial combinada com filtragem. Por exemplo, uma seguradora pode precisar localizar contratos que atendam a critérios específicos. Uma pesquisa vetorial aprimorada com filtros é perfeitamente adequada para essa tarefa.

Perguntas frequentes

Esses recursos podem funcionar localmente?

Sim, o .NET, o Azure SQL e muitas outras ferramentas que usamos são totalmente funcionais em um ambiente de desenvolvimento local. Isso torna o projeto acessível independentemente da sua conectividade, permitindo que você aproveite a IA em seus dados em qualquer lugar.

Perguntas comuns

Por que transferir a IA para os dados?

O princípio é levar a IA aos dados, em vez de mover grandes quantidades de dados para a IA. Isso é feito por meio da pesquisa vetorial, que nos permite incorporar a compreensão semântica diretamente nas consultas, o que simplifica a filtragem. Essa abordagem é ainda mais otimizada pela integração com serviços do Azure, como o Azure Functions.