storing-and-querying-vectors

О storing-and-querying-vectors

storing-and-querying-vectors — это руководство по использованию Amazon S3 Vectors, экономичного сервиса AWS для масштабного хранения и запросов векторных вложений в рамках собственного пространства имен API s3vectors. Он оптимизирован для долгосрочного хранения с задержкой менее секунды при холодных запросах и всего 100 мс при тёплых, что делает его подходящим для RAG и других рабочих нагрузок с нечастыми запросами. Руководство по выбору решений направляет пользователей к другим решениям, когда это целесообразно: к OpenSearch — для сотен или тысяч непрерывных запросов в секунду или для гибридного поиска и агрегации (по желанию с использованием S3 Vectors в качестве механизма хранения), а также к многоуровневой архитектуре, сочетающей S3 Vectors с OpenSearch Serverless для задач в режиме реального времени.

Рабочий процесс включает создание векторного бакета, создание индекса, опциональное генерирование вложений с помощью Amazon Bedrock, запись векторов и выполнение запросов к ним, при этом предпочтение отдаётся серверным инструментам AWS MCP, а в качестве резервного варианта используется AWS CLI. Постоянной темой является неизменяемость: шифрование корзины (SSE-S3 или SSE-KMS) и все параметры индекса, включая размерность (от 1 до 4096), метрику расстояния (косинусная или евклидова) и до десяти нефильтруемых ключей метаданных, не могут быть изменены после создания, поэтому их необходимо подтвердить заранее. Размерность вложения должна соответствовать индексу, а для хранения и запросов должна использоваться одна и та же модель.

Указаны эксплуатационные ограничения: не более 500 векторов на один вызов put-vectors, повторные попытки с отсрочкой при ограничении 429, а также фильтрация метаданных с помощью --filter или --return-metadata, для которой требуются оба разрешения: s3vectors:QueryVectors и s3vectors:GetVectors. В таблице устранения неполадок ошибки, такие как DimensionMismatch, 403 и AccessDenied (сервис использует пространство имён s3vectors, а не s3), сопоставляются с конкретными способами устранения, а сопутствующие справочные материалы охватывают ограничения, модели многопользовательской архитектуры и фильтрацию метаданных.

Часто задаваемые вопросы

Когда S3 Vectors является правильным выбором по сравнению с OpenSearch?

S3 Vectors подходит для экономичного долгосрочного хранения данных с редкими запросами и RAG; для сотен или тысяч устойчивых QPS, гибридного поиска или агрегаций навык рекомендует OpenSearch, опционально с S3 Vectors в качестве механизма хранения.

Какие параметры индекса являются неизменяемыми?

Все параметры индекса являются неизменяемыми после создания: размерность (от 1 до 4096), метрика расстояния (косинусная или евклидова) и до десяти ключей метаданных, не поддающихся фильтрации, равно как и шифрование корзины.

Сколько векторов можно записать за один вызов?

Не более 500 векторов на один вызов put-vectors; рекомендуется использовать пакетную обработку, а для массовых операций следует использовать SDK, а не CLI.

Какие разрешения IAM требуются для фильтров метаданных?

Для использования опций --filter или --return-metadata требуются как s3vectors:QueryVectors, так и s3vectors:GetVectors; без GetVectors эти опции возвращают код ошибки 403. Сервис использует пространство имён s3vectors, а не s3.

Как генерируются и сопоставляются вложения?

С помощью вызова модели Bedrock (например, Titan или Cohere); размер вложения должен соответствовать индексу, и для хранения и запросов должна использоваться одна и та же модель.

Все файлы