A IA transforma a ciência de dados: automatize suas consultas SQL

No campo em rápida evolução da ciência de dados, a eficiência é essencial. A automação de tarefas repetitivas libera tempo valioso para análises mais profundas e desenvolvimento de modelos. Este guia explica como usar a IA para automatizar consultas a bancos de dados SQL, reduzindo o trabalho manual necessário para a recuperação e preparação de dados. Ao integrar a IA aos fluxos de trabalho SQL, os cientistas de dados podem acelerar seus processos, aumentar a precisão e dedicar mais tempo à descoberta de insights significativos. Este artigo apresenta uma nova abordagem para esse desafio, demonstrando como a IA generativa pode aumentar a produtividade em suas operações SQL.

Pontos principais

Explore um novo método baseado em IA para automatizar consultas a bancos de dados SQL.

Descubra como configurar um agente de IA para gerar e executar código SQL.

Aprenda a usar a “Equipe de Ciência de Dados de IA” para acessar agentes de IA prontos para uso.

Descubra como simplificar seu fluxo de trabalho de análise de dados automatizando tarefas SQL.

Aprenda a ativar a configuração do agente usando sua chave OpenAI.

Desbloqueando a eficiência: automatizando SQL com IA

O poder do SQL automatizado

Os cientistas de dados frequentemente dedicam grande parte do seu dia de trabalho a escrever e executar consultas SQL. Essa abordagem manual pode ser lenta e propensa a erros. Automatizar consultas SQL com IA traz vários benefícios importantes:

• Maior eficiência: a IA gera automaticamente o código SQL, economizando um tempo considerável para os cientistas de dados.
• Maior precisão: os agentes com IA ajudam a reduzir erros no código SQL.
• Análise de dados mais rápida: as consultas SQL automatizadas aceleram a recuperação e a análise de dados, agilizando todo o processo de ciência de dados.
• Foco em insights: a automação de tarefas SQL permite que os cientistas de dados se concentrem em trabalhos de maior valor, como interpretar dados, construir modelos e extrair insights acionáveis.

Este artigo explora o lado prático da implementação da automação SQL impulsionada por IA, oferecendo um guia passo a passo para configurar e usar um agente de IA para interações com bancos de dados. O uso de um agente SQL para automatizar consultas elimina os aspectos tediosos da escrita de código SQL. Ele permite que você se concentre em áreas como aprendizado de máquina e análise de dados, em vez de gerar o SQL propriamente dito.

Apresentando a equipe de ciência de dados de IA da Copilots

A “Equipe de Ciência de Dados de IA” é um projeto que dá aos cientistas de dados acesso a agentes de IA pré-construídos, projetados para automatizar tarefas comuns de dados. Imagine ter uma equipe de assistentes de IA prontos para lidar com diferentes partes do seu fluxo de trabalho de dados!

Este projeto foi criado para melhorar a eficiência e aumentar a produtividade, tornando as tarefas de dados significativamente mais rápidas.

• Agente de organização de dados: mescla, une e prepara os dados para análise.
• Agente de engenharia de recursos: transforma dados preparados em formatos prontos para ML. Adiciona recursos para melhorar o poder preditivo dos modelos de aprendizado de máquina.
• Agente de limpeza de dados: lida com etapas de preparação de dados, como gerenciamento de valores ausentes, outliers e conversões de tipos de dados.
• Agente de banco de dados SQL: conecta-se a bancos de dados SQL para importar dados para o ambiente de ciência de dados. Cria pipelines para automatizar a extração de dados. Executa junções, agregações e outras operações SQL.

Repositório GitHub: A base do processo de automação SQL impulsionado por IA é um repositório GitHub bem organizado com quase 400 estrelas, que serve como um recurso central para acessar os agentes de IA pré-construídos. Ele fornece várias ferramentas, incluindo:

• Agente de limpeza de dados
• Tutorial do agente SQL
• Agente de banco de dados SQL

Automatizando interações SQL com o agente de banco de dados SQL

O agente de banco de dados SQL é uma parte central da "Equipe de Ciência de Dados de IA",

oferecendo uma maneira fácil de interagir com bancos de dados SQL usando consultas em linguagem natural. Esse agente elimina a necessidade de cientistas de dados escreverem manualmente códigos SQL complexos. Um banco de dados ERP de amostra foi criado para conectar o banco de dados do cliente e automatizar os fluxos de trabalho de ciência de dados. O banco de dados foi projetado para:

• Gerar código de consulta SQL.
• Criar funções Python para executar código SQL.
• Executar o código do agente na conexão SQL.

Guia passo a passo: automatizando consultas SQL com IA

Etapa 1: Configurando seu ambiente

Antes de iniciar o processo de automação, é importante configurar seu ambiente com as ferramentas e bibliotecas necessárias.

1. Instale o pacote AI Data Science Team:

   pip install git+https://github.com/business-science/ai-data-science-team.git --upgrade

   Este comando instala a versão mais recente do pacote “AI Data Science Team”, dando a você acesso ao SQL Database Agent e a outros agentes de IA pré-construídos.

2. Importar bibliotecas:

Para gerenciar o agente de forma eficaz, certifique-se de que estas bibliotecas estejam disponíveis:

from langchain_openai import ChatOpenAIimport pandas as pdimport sqlalchemy as sqlimport osimport yamlimport pprintfrom ai_data_science_team.agents import make_sql_database_agent

3. Estabeleça a conexão com o banco de dados: use uma ferramenta como o SQLAlchemy para ajudar:

engine = sql.create_engine('sqlite:///'+PATH_ROOT+'/northwind.db')conn = engine.connect()

Etapa 2: Criar e configurar o agente SQL

A próxima etapa é criar e configurar o agente SQL para interação com o banco de dados.

Isso envolve a configuração do modelo de linguagem e das chaves API.

1. Configurar o LLM: Conecte-se a um provedor LLM para habilitar a análise de código. Aqui está um exemplo:

   llm = ChatOpenAI(model = MODEL)

2. Configurar o agente: você precisa de uma chave OpenAI para habilitar a configuração do agente.

os.environ["OPENAI_API_KEY"] = "YOUR_OPENAI_API_KEY"os.environ["OPENAI_API_KEY"] = yaml.safe_load(open('./credentials.yml'))['openai']

Aviso: certifique-se de configurar as credenciais adequadas com sua chave OpenAI para evitar erros. Isso economiza tempo que pode ser melhor aproveitado para melhorar os modelos de aprendizado de máquina.

Etapa 3: Executando o SQL Agent e recuperando dados

Com o SQL Agent configurado, agora você pode executar consultas e recuperar dados do seu banco de dados.

Primeiro, conecte sua fonte de dados para recuperar os dados.

1. O que há no banco de dados? Uma tarefa comum é identificar o número de tabelas. Use este prompt:

   response = sql_agent.invoke({"user_instructions": "Quais tabelas estão no banco de dados?"})

   O agente cria um banco de dados SQL para ajudar a buscar as tabelas relevantes.

2. Exiba a chave: você pode extrair objetos importantes como:

   • Mensagens
   • Banco de dados SQL
   • Função do banco de dados SQL

3. Criar estrutura de dados: gere uma estrutura de dados salva em um diretório do curso. A partir dessa resposta, podemos extrair todos os dados das diferentes chaves.

Preços da Open AI: Entendendo os custos

Considerações para usar a API Open AI.

Embora a automação de consultas SQL com IA ofereça grandes vantagens,

é importante estar ciente dos custos associados ao uso de LLMs. A OpenAI cobra com base no uso de tokens, que pode variar de acordo com a complexidade da consulta e o tamanho dos dados. Tenha em mente estas estratégias de preços:

• Custo-benefício: escolha um modelo OpenAI eficiente e econômico para manter os custos baixos.
• Defina limites de tokens: controle o uso do OpenAI para permanecer dentro do seu orçamento.
• Amostras limitadas: forneça amostras suficientes para que a consulta ao banco de dados funcione corretamente. Nem sempre é necessário fornecer todas as amostras.

SQL Agent: ponderando as opções

Prós

Automatiza o pipeline de engenharia de dados.

O tempo de configuração é reduzido com a equipe de ciência de dados.

Aumenta a produção de dados.

Contras

Pode ser caro devido à chave OpenAI necessária.

Os bancos de dados de amostra costumam ser grandes, exigindo tempo para configurar de acordo com as necessidades do usuário.

Principais recursos do SQL Agent

Quais são os principais recursos do SQL Agent

Aqui estão os principais recursos do SQL Agent:

• Código de consulta SQL: usa linguagem natural para orientar as funções do SQL Agent.
• Função Python: emprega funções Python para executar código SQL que pode ser salvo na pasta do usuário.
• Executa código do agente: executa código na conexão SQL.

Perguntas frequentes

O que é um agente SQL?

Um agente SQL é uma ferramenta de IA que automatiza a criação e execução de consultas, reduzindo o trabalho rotineiro e aumentando os insights acionáveis.

Quais são os benefícios de usar o SQL automatizado por IA?

Melhora a produtividade e a precisão. Permite que você se concentre na análise de dados, modelagem de ML e insights de negócios.

Que tipo de ciência de dados preciso fazer para começar a usar um agente SQL?

Um cientista de dados de IA generativa é especializado em IA generativa e LLMs para ciência de dados. Esse subconjunto está em crescente demanda.

Perguntas relacionadas

Como os copilotos de IA se conectam ao SQL?

Empresas como OpenAI, NVIDIA, Walmart e Home Depot conectam bancos de dados de clientes com grandes modelos de linguagem. Para configurar isso, você precisa configurar o grande modelo de linguagem, a chave OpenAI e a chave API.