amazon-bedrock

О amazon-bedrock

Экспертиза в области создания генеративных ИИ-приложений на Amazon Bedrock. Она охватывает вызов моделей через Converse API и InvokeModel, генерацию с использованием баз знаний, агенты Bedrock, обеспечение безопасности контента с помощью Guardrails, а также развертывание и масштабирование агентов с помощью AgentCore. Используйте его при вызове моделей, настройке баз знаний, создании агентов, применении механизмов защиты Guardrails, развертывании в AgentCore, устранении ошибок Bedrock, таких как ThrottlingException и AccessDeniedException, или при выборе между моделями, такими как Claude, Llama, Nova и Titan. Кроме того, в ней рассматриваются такие темы, как кэширование подсказок, проверка работоспособности квот, отслеживание затрат, миграция моделей, стратегии разбиения на фрагменты и AgentCore Payments, однако она явно не предназначена для обучения пользовательских моделей, Rekognition или Comprehend. Поскольку API Bedrock, идентификаторы моделей и параметры конфигурации часто меняются, скрипт настаивает на том, чтобы перед ответом сначала прочитать прилагаемые справочные файлы в качестве основного достоверного источника информации.

Одной из основных тем является архитектура API Bedrock, которая предоставляет пять отдельных конечных точек, неправильное использование которых является распространённой причиной ошибок: bedrock control plane для перечисления моделей и управления доступом; bedrock-runtime для вызова моделей через Converse или InvokeModel; bedrock-mantle для API, совместимых с OpenAI (рекомендуется для новых пользователей); а также bedrock-agent и bedrock-agent-runtime для настройки и вызова агента. AgentCore — это отдельный сервис со своими собственными конечными точками плоскости управления и плоскости данных. Скилл рекомендует сервер AWS MCP для выполнения в изолированной среде и ведения журнала аудита, но работает с любым агентом, имеющим доступ к AWS CLI.

В нем особое внимание уделяется критическим предупреждениям и практикам безопасности. Параметр `maxTokens` всегда следует задавать явно, поскольку его отсутствие приводит к резервированию гораздо большего объема квоты, чем необходимо, и вызывает непредвиденное ограничение пропускной способности; маскировка персональных данных (PII) с помощью Guardrails применяется только к ответам, в то время как немаскированный контент по-прежнему регистрируется в CloudWatch; также требуются последние версии boto3 и AWS CLI v2. В рекомендациях по безопасности отдается предпочтение ролям IAM перед пользователями, разрешениям с ограниченной областью действия, Secrets Manager, защите от «confused deputy» и рассмотрению параметров, сгенерированных агентом, в качестве недоверенных входных данных. API Converse предпочтительнее InvokeModel благодаря унифицированному формату запросов и ответов, а таблицы возможностей и выбора моделей содержат ссылки на более подробные справочные файлы.

Часто задаваемые вопросы

Какой API Bedrock следует использовать для вызова модели?

На конечной точке bedrock-runtime навык рекомендует использовать Converse API вместо InvokeModel, поскольку он обеспечивает унифицированный формат запроса/ответа для всех моделей. InvokeModel зарезервирован для редких функций, специфичных для конкретных поставщиков, а bedrock-mantle рекомендуется для новых проектов, совместимых с OpenAI.

Почему при каждом вызове так важно задавать параметр maxTokens?

Если параметр maxTokens не указан, по умолчанию используется максимальное значение для данной модели (например, 64K для Claude Sonnet), и система незаметно резервирует гораздо больше квоты, чем необходимо, что часто становится причиной непредвиденных исключений ThrottlingException.

Сколько существует конечных точек API Bedrock и для чего они нужны?

Пять: bedrock (управляющая плоскость), bedrock-runtime (вызов моделей), bedrock-mantle (API, совместимые с OpenAI), bedrock-agent (настройка агентов и баз знаний) и bedrock-agent-runtime (вызов агентов и запросы к базам знаний). AgentCore — это отдельный сервис со своими собственными конечными точками.

О чём предупреждает навык в отношении Guardrails и PII?

Маскировка PII в рамках системы защиты Guardrails применяется только к ответам API; исходное немаскированное содержимое, включая PII, по-прежнему регистрируется в виде открытого текста в CloudWatch Logs. Для обеспечения соответствия требованиям HIPAA/GDPR рекомендуется шифровать эти журналы с помощью KMS и ограничивать к ним доступ.

Подходит ли этот навык для обучения пользовательских моделей или использования Rekognition?

Нет. В описании явно указано, что он не предназначен для обучения пользовательских моделей, работы с Rekognition или Comprehend. Он ориентирован на вызов моделей, RAG, агентов, защитные меры и AgentCore.

Все файлы