Prompt-Cache

​

1. Vorteile

• Niedrigeren Kosten Wiederholte Prompts erfordern keine vollständige Inferenz mehr. Es werden nur minimale Cache-Token-Gebühren berechnet.
• Geringerer Latenz Zwischengespeicherte Ergebnisse werden sofort zurückgegeben, ohne das Modell auszuführen.
• Höherem Durchsatz In Szenarien mit hohem QPS reduziert Prompt Cache die Rechenlast und verbessert die Gesamtkapazität des Systems.
• Transparenz für Ihre Anwendung Es sind keine zusätzliche Logik oder Systemänderungen erforderlich.

​

2. Unterstützte Modelle

​

3. Anwendungsfälle

• Vorlagenbasierte Generierung
  • Zusammenfassungen mit festem Format
  • Vorlagengesteuertes Umschreiben
  • Über Aufgaben hinweg wiederverwendete Prompts
• Textklassifizierung und Feldextraktion
  • Klassifizierung von Inhaltstypen
  • Extraktion von Tags oder wichtigen Informationen
• Content-Moderation
  • Prüfung von Kommentaren, Anzeigen oder Titeln
  • Viele Moderations-Prompts wiederholen sich über Benutzer und Zeit hinweg
• Wiederholte System-Prompts in Chat-Anwendungen
  • Definitionen von Chatbot-Personas
  • Globale Konversationsregeln
  • Hintergrundinformationen, die über mehrere Turns hinweg wiederverwendet werden
• Workflow- / Assistant-artige Prompts
  • Assistenten zur SQL-Generierung
  • Assistenten zur Code-Reparatur
  • Zusammenfassungsassistenten mit festen Ausgabeformaten

​

4. Antwortbeispiele

{
    "prompt_tokens": 3295,
    "completion_tokens": 137,
    "total_tokens": 3432,
    "prompt_tokens_details":
    {
        "audio_tokens": 0,
        "cached_tokens": 448,
        "cache_creation_Prompt_tokens": 0,
        "cache_read_Prompt_tokens": 0
    }
}