storing-and-querying-vectors

Acerca de storing-and-querying-vectors

storing-and-querying-vectors Esta es una guía práctica para utilizar Amazon S3 Vectors, un servicio rentable de AWS destinado al almacenamiento y la consulta de representaciones vectoriales a gran escala bajo su propio espacio de nombres de API, s3vectors. Está optimizado para el almacenamiento a largo plazo, con una latencia inferior a un segundo en consultas «frías» y de tan solo 100 ms en consultas «cálidas», lo que lo hace idóneo para RAG y otras cargas de trabajo con consultas poco frecuentes. Una guía de decisión orienta a los usuarios hacia otras opciones cuando procede: OpenSearch para cientos o miles de consultas sostenidas por segundo o para búsquedas híbridas y agregaciones (opcionalmente con S3 Vectors como motor de almacenamiento), y un modelo por niveles que combina S3 Vectors con OpenSearch Serverless para necesidades en tiempo real.

El flujo de trabajo consiste en crear un bucket de vectores, crear un índice, generar opcionalmente representaciones con Amazon Bedrock, escribir vectores y consultarlos, dando prioridad a las herramientas de servidor de AWS MCP y recurriendo a la CLI de AWS como alternativa. Un tema recurrente es la inmutabilidad: el cifrado del bucket (SSE-S3 o SSE-KMS) y todos los parámetros del índice, incluidas la dimensión (de 1 a 4096), la métrica de distancia (coseno o euclidiana) y hasta diez claves de metadatos no filtrables, no pueden modificarse tras su creación, por lo que deben confirmarse desde el principio. La dimensión de incrustación debe coincidir con el índice y debe utilizarse el mismo modelo tanto para el almacenamiento como para las consultas.

Se señalan los límites operativos: un máximo de 500 vectores por llamada «put-vectors», reintento con retardo ante la limitación 429 y filtrado de metadatos mediante «--filter» o «--return-metadata», lo que requiere los permisos «s3vectors:QueryVectors» y «s3vectors:GetVectors». Una tabla de resolución de problemas asocia errores como «DimensionMismatch», «403» y «AccessDenied» (el servicio utiliza el espacio de nombres «s3vectors», no «s3») a soluciones concretas, y las referencias complementarias abordan los límites, los patrones multitenant y el filtrado de metadatos.

Preguntas frecuentes

¿Cuándo es S3 Vectors la opción adecuada frente a OpenSearch?

S3 Vectors es adecuado para el almacenamiento a largo plazo rentable con consultas poco frecuentes y RAG; para cientos o miles de QPS sostenidos, búsqueda híbrida o agregaciones, la skill recomienda OpenSearch, opcionalmente con S3 Vectors como motor de almacenamiento.

¿Qué parámetros de índice son inmutables?

Todos los parámetros del índice son inmutables tras su creación: la dimensión (de 1 a 4096), la métrica de distancia (coseno o euclidiana) y hasta diez claves de metadatos no filtrables, al igual que el cifrado del bucket.

¿Cuántos vectores puedo escribir por llamada?

No más de 500 vectores por llamada «put-vectors»; se recomienda el procesamiento por lotes y, para las operaciones masivas, se debe utilizar un SDK en lugar de la CLI.

¿Qué permisos de IAM requieren los filtros de metadatos?

El uso de --filter o --return-metadata requiere tanto s3vectors:QueryVectors como s3vectors:GetVectors; sin GetVectors, estas opciones devuelven un error 403. El servicio utiliza el espacio de nombres s3vectors, no s3.

¿Cómo se generan y se emparejan las representaciones?

A través de «invoke-model» de Bedrock (por ejemplo, Titan o Cohere); la dimensión de la incrustación debe coincidir con el índice, y debe utilizarse el mismo modelo tanto para el almacenamiento como para la consulta.

Todos los archivos