Cache de Prompt

​

1. Benefícios

• Menor custo Prompts repetidos não exigem mais inferência completa. Apenas taxas mínimas de tokens de cache são cobradas.
• Menor latência Resultados em cache são retornados instantaneamente, sem executar o modelo.
• Maior throughput Em cenários de alto QPS, o Prompt Cache reduz a carga computacional e melhora a capacidade geral do sistema.
• Transparente para sua aplicação nenhuma lógica adicional nem alterações no sistema são necessárias.

​

2. Modelos compatíveis

​

3. Casos de uso

• Geração baseada em templates
  • Resumos em formato fixo
  • Reescrita orientada por templates
  • Prompts reutilizados entre tarefas
• Classificação de texto e extração de campos
  • Classificação de tipo de conteúdo
  • Extração de tags ou informações-chave
• Moderação de conteúdo
  • Revisão de comentários, anúncios ou títulos
  • Muitos prompts de moderação se repetem entre usuários e ao longo do tempo
• Prompts de sistema repetidos em aplicações de chat
  • Definições de persona de chatbot
  • Regras globais de conversa
  • Informações de contexto reutilizadas em várias interações
• Prompts de fluxo de trabalho / estilo assistente
  • Assistentes de geração de SQL
  • Assistentes de correção de código
  • Assistentes de resumo com formatos de saída fixos

​

4. Exemplos de resposta

{
    "prompt_tokens": 3295,
    "completion_tokens": 137,
    "total_tokens": 3432,
    "prompt_tokens_details":
    {
        "audio_tokens": 0,
        "cached_tokens": 448,
        "cache_creation_Prompt_tokens": 0,
        "cache_read_Prompt_tokens": 0
    }
}