MIGRAÇÃO DE INFERÊNCIA DE LLM
Leve sua inferência de LLM para o Amazon Bedrock
Usa OpenAI, Azure OpenAI, a API da Anthropic ou OpenRouter? No Amazon Bedrock essa inferência entra na sua fatura da AWS, onde os créditos da AWS podem cobri-la. Você mantém seu modelo onde o Bedrock o oferece e, para empresas elegíveis, a AWS financia o trabalho.
Por que levar a inferência para a AWS
Os créditos podem cobri-la
Inferência no Bedrock é consumo da AWS, então os créditos da AWS podem cobri-la, conforme os termos de cada crédito. Com tags desde o início, ela também conta para o MAP.
Os modelos que você usa, uma só fatura
Claude, os modelos da OpenAI, Amazon Nova, Llama, DeepSeek e mais, atrás de uma única API na sua fatura da AWS.
Seus dados ficam na sua conta
As requisições rodam na sua conta da AWS e nas suas regiões, sob as suas políticas de IAM e registradas no CloudTrail. Prompts e respostas nunca treinam os modelos.
Controle de latência e capacidade
Perfis de inferência regionais e entre regiões, cotas dimensionadas para a sua carga e throughput provisionado para tráfego estável.
Como funciona a migração
Já está na AWS? Roda na sua conta, com novos papéis de IAM marcados com tags para que o consumo conte. Ainda não? Primeiro montamos a base.
Avaliar
- Cada chamada a modelos mapeada
- Metas de custo e latência
- Um golden dataset do seu tráfego
- Modelos comparados lado a lado
Comprovar com o seu próprio tráfego
Mobilizar
- Prompts ajustados por modelo
- Endpoints e SDKs trocados
- Autenticação no AWS IAM
- Tags do MAP desde o início
Preparar seu app para o Bedrock
Migrar e modernizar
- Tráfego migrado modelo por modelo
- Testes de regressão
- Um caminho de volta
- Custos visíveis, com alertas
Rodar na sua fatura da AWS
Vale a pena para você?
Quando compensa
Você paga por token por meio de uma API, o consumo está crescendo, ou você quer tudo em uma só fatura com o resto da sua stack.
Quando esperar
Você usa uma assinatura com preço fixo, e migrar pode custar mais, ou depende de um modelo ou recurso que o Bedrock ainda não oferece. Dizemos isso na primeira conversa.
Financiado pela AWS, para empresas elegíveis
O trabalho de migração
Para empresas elegíveis, a AWS pode financiar nosso trabalho, em parte ou integralmente, por meio dos seus programas para parceiros.
Seu consumo do Bedrock
O consumo que começa antes de um engajamento do MAP não conta para ele, então fale com a gente antes de mover mais tráfego.
Elegibilidade, valores e prazos são definidos pelos termos dos programas da AWS. Confirmamos tudo com o seu time de conta da AWS antes de começar.
Perguntas frequentes
Precisamos de contas novas na AWS para isso?
Não, se você já está na AWS: roda na sua conta, com novos papéis de IAM marcados com tags. Se não está, primeiro montamos a base.
Nossos prompts vão funcionar como estão?
Muitas vezes com pequenas mudanças, que encontramos com benchmarks antes de trocar.
Precisamos reescrever o código?
Normalmente pouco. O Bedrock oferece APIs compatíveis com a OpenAI e com a Anthropic, então muitas aplicações trocam um endpoint e a autenticação.
Parte do tráfego pode ficar onde está?
Sim. O tráfego migra modelo por modelo, com um caminho de volta até você ter confiança.
Já começamos a chamar o Bedrock. É tarde demais?
Não, mas o consumo de antes de um engajamento do MAP não conta para ele, então fale com a gente antes de mover mais.
De quais provedores vocês migram?
OpenAI, Azure OpenAI, a API da Anthropic, OpenRouter e outras APIs compatíveis com a OpenAI.
Gasta com APIs de LLM? Vamos olhar a fatura.
Conte o que você chama e quanto paga, e mostramos a migração para o Bedrock.