Руководство по внедрению Enterprise RAG: .NET AI встречает Azure SQL

В современном мире, ориентированном на данные, использование искусственного интеллекта для извлечения ценной информации из корпоративных данных имеет решающее значение. Для этой цели очень эффективно подходит метод RAG (Retrieval Augmented Generation, генерация с расширением поиска). В этой статье подробно описано, как реализовать RAG для ваших данных с помощью .NET AI и Azure SQL, превратив вашу информацию в интерактивный интеллектуальный ресурс. В частности, мы рассмотрим создание мощных гибридных векторных поисков, которые объединяют семантический векторный поиск с традиционным полнотекстовым поиском и фильтрацией. Используя Azure SQL в качестве центральной базы данных искусственного интеллекта, вы можете без труда встроить возможности искусственного интеллекта в ваши текущие корпоративные приложения.

Ключевые моменты

Освойте основы Retrieval Augmented Generation (RAG) и поймите его преимущества для корпоративных данных.

Изучите Azure SQL как современную мультимодельную реляционную базу данных, предназначенную для управления разнообразными форматами данных.

Изучите методологию создания гибридного подхода к поиску, интегрирующего векторный семантический поиск с полнотекстовым поиском и фильтрами.

Узнайте, как использовать библиотеки .NET AI для создания векторных вложений и выполнения поиска по схожести непосредственно в Azure SQL.

Создайте полноценное приложение RAG от начала до конца с помощью Azure Functions, Static Web Apps и Azure OpenAI.

Используйте конструктор Data API, чтобы сделать сущности базы данных доступными в качестве конечных точек REST и GraphQL.

Пройдите практическую демонстрацию по созданию ИИ-помощника для конференций, чтобы изучить преимущества и адаптируемость для данных вашего предприятия.

Определите различные сценарии, в которых интеграция ИИ с SQL оказывается весьма выгодной.

Узнайте, как преимущества и адаптируемость Azure SQL могут удовлетворить сложные требования вашей организации к хранению данных.

Раскрытие потенциала RAG с помощью .NET AI и Azure SQL

Что такое Azure SQL?

Azure SQL — это современный сервис реляционных баз данных, предлагающий подлинную мультимодельную поддержку

. Эта возможность позволяет ему обрабатывать данные JSON, графы, XML, геопространственные данные и данные столбцового хранилища. Он масштабируется до 100 терабайт с 80 ядрами и поддерживает 30 реплик. Azure SQL включает в себя функции безопасности и аудита корпоративного уровня и легко интегрируется с распространенными службами Azure, .NET EF Core, .NET Aspire, LangChain и Semantic Kernel. Его истинная сила заключается в интеграции с технологиями, которые ваша команда разработчиков уже знает и которым доверяет. Чтобы использовать ИИ для ваших данных, Azure SQL предложит поддержку векторов в предварительной версии для ранних пользователей, что означает, что вы можете запросить доступ к частной предварительной версии и изучить ее возможности.

Основные особенности Azure SQL:

• Современная реляционная база данных
• Поддержка нескольких моделей (JSON, Graph, XML, Geospatial, Columnstore)
• Масштабируемость до 100 ТБ, 80 виртуальных ядер, 30 реплик
• Поддержка векторов (предварительная версия для ранних пользователей)
• Функции безопасности и аудита корпоративного уровня
• Интеграция с распространенными службами Azure
• Интеграция с популярными библиотеками для разработчиков (.NET EF Core, .NET Aspire, LangChain, Semantic Kernel и т. д.)

Примеры использования AI + SQL для данных вашего предприятия

Сочетание ИИ и Azure SQL открывает множество возможностей для преобразования данных вашего предприятия в стратегический актив

. Вот несколько ключевых сценариев, в которых эта интеграция показывает себя с лучшей стороны:

• Гибридный поиск: сочетает векторный (семантический) поиск с полнотекстовым поиском и фильтрами. Этот мощный инструмент позволяет точно извлекать полезную информацию из данных. Например, вы можете «найти все документы от клиента Acme, автором которых является Джон Доу, связанные с новыми политиками безопасности».
• Память чат-бота: используйте Azure SQL для хранения и управления историей разговоров чат-бота, что позволит сделать взаимодействие более персонализированным и контекстно-зависимым. Улучшение памяти чат-бота может значительно повысить качество поддержки продуктов и клиентов, что даст вам конкурентное преимущество.
• Retrieval Augmented Generation (RAG): это техника, которую мы продемонстрируем. RAG повышает качество и релевантность контента, генерируемого ИИ, закрепляя его в ваших конкретных данных.

Высокоуровневая архитектура RAG с использованием Azure SQL

Этот подход оптимально сочетает векторный поиск, семантический поиск и другие фильтры в одном месте

. Процесс включает в себя поиск релевантных данных, а затем использование AI LLM для формулирования ответа. Необходимые шаги:

1. Извлечение данных из базы данных MSSQL с помощью поиска по схожести.
2. Внесите найденные результаты сеанса в качестве контекста и отправьте их в AI LLM.
3. AI LLM генерирует и предоставляет ответ.

Создание рекомендателя сеансов: подробный пример

Обзор архитектуры

Система рекомендаций сеансов использует несколько служб Azure для обеспечения бесперебойной работы RAG

:

• Клиентские приложения: позволяют пользователям вводить вопросы с использованием естественного языка.
• Бэкэнд:
  • Конструктор API данных: предоставляет доступ к объектам базы данных.
  • API GraphQL/REST: предоставляют интерфейс, соединяющий данные с клиентом.
  • Azure Functions: запускают конвейер обработки ИИ.

Настройка триггеров Azure Function

Azure Functions может отслеживать изменения в данных SQL и запускаться при их появлении

. Эта автоматизация гарантирует, что новые или обновленные данные обрабатываются для немедленной доступности. Настройка включает в себя:

1. Создание Azure Function.
2. Генерацию векторов, представляющих темы из наших данных.
3. Сохранение этих векторов в базе данных для обеспечения эффективного поиска по схожести.

   Автоматизируя преобразование данных в векторы, мы полностью используем потенциал и полезность Azure SQL.

Внедрение Data API Builder для RAG

Использование Data API Builder

Для интеграции всех компонентов требуется правильная настройка

. Это включает настройку базы данных и определение сущностей, таких как таблицы и представления, с которыми SQL может надежно работать. Data API Builder упрощает этот процесс, делая доступ к данным простым. Нам также необходимо настроить статические веб-приложения, которые будут хостить наши функции. Ключевые команды для этого проекта:

• Командная строка azdt
• data-api builder init
• data-api builder add
• azdt start

Цены на Azure SQL

Выбор подходящего уровня Azure SQL

Azure SQL предлагает бесплатный уровень для новых пользователей Azure. Этот бесплатный уровень является постоянным, что позволяет любому пользователю опробовать Azure SQL и разрабатывать новые решения в экосистеме Azure без долгосрочных финансовых обязательств

. С Azure SQL вы можете внедрять решения корпоративного уровня без непомерных затрат.

Поддержка векторного поиска в Azure SQL: взвешивание преимуществ и недостатков

Плюсы

Современная платформа реляционных баз данных для универсальных решений.

Функции безопасности корпоративного уровня.

Высокая масштабируемость для требовательных задач.

Минусы

Поддержка векторов все еще находится на ранней стадии разработки.

Структура ценообразования может быть сложной, в зависимости от потребления ресурсов.

Интеграция с другими моделями данных может привести к усложнению.

Основные функции Azure SQL

Корпоративные решения с Azure SQL

Как управляемый сервис, Azure SQL предоставляет решения для сложных требований к данным широкого спектра предприятий. Это включает надежную безопасность, поскольку Azure управляет основными аспектами безопасности

. Благодаря нескольким вариантам шифрования данных и простому подключению к популярным библиотекам разработчиков Azure SQL остается комплексным решением для инициатив, ориентированных на данные. Его возможности корпоративной базы данных искусственного интеллекта обеспечивают глубокую интеграцию с .NET EF Core, .NET Aspire, LangChain, Semantic Kernel и другими.

Azure AI и SQL: трансформация отраслей

Страхование

Основной вариант использования включает векторный поиск в сочетании с фильтрацией. Например, страховой компании может потребоваться найти контракты, отвечающие определенным критериям. Векторный поиск, дополненный фильтрами, идеально подходит для этой задачи.

Часто задаваемые вопросы

Могут ли эти ресурсы работать локально?

Да, .NET, Azure SQL и многие другие инструменты, которые мы используем, полностью функциональны в локальной среде разработки. Это делает проект доступным независимо от вашего подключения к сети, позволяя вам использовать ИИ для обработки ваших данных в любом месте.

Часто задаваемые вопросы

Зачем переносить ИИ в данные?

Принцип заключается в том, чтобы применить ИИ к данным, а не переносить огромные объемы данных в ИИ. Это достигается за счет векторного поиска, который позволяет нам включать семантическое понимание непосредственно в запросы, что упрощает фильтрацию. Этот подход еще более оптимизируется за счет интеграции с такими службами Azure, как Azure Functions.