プロンプトキャッシュ

​

1. メリット

• 低コスト 繰り返しのプロンプトに対して、フル推論を実行する必要がなくなります。最小限のキャッシュトークン料金のみが課金されます。
• 低レイテンシ モデルを実行せずに、キャッシュされた結果が即座に返されます。
• 高スループット 高 QPS のシナリオでは、プロンプトキャッシュにより計算負荷が軽減され、システム全体の処理能力が向上します。
• アプリケーションに対して透過的 追加のロジックやシステム変更は不要です。

​

2. 対応モデル

​

3. ユースケース

• テンプレートベースの生成
  • 固定形式の要約
  • テンプレート主導のリライト
  • タスク間で再利用されるプロンプト
• テキスト分類とフィールド抽出
  • コンテンツタイプ分類
  • タグまたは重要情報の抽出
• コンテンツモデレーション
  • コメント、広告、タイトルのレビュー
  • 多くのモデレーションプロンプトが、ユーザーや時間をまたいで繰り返されます
• チャットアプリケーションにおける繰り返しのシステムプロンプト
  • チャットボットのペルソナ定義
  • グローバルな会話ルール
  • 複数ターンで再利用される背景情報
• ワークフロー / アシスタント形式のプロンプト
  • SQL 生成アシスタント
  • コード修復アシスタント
  • 固定出力形式の要約アシスタント

​

4. レスポンス例

{
    "prompt_tokens": 3295,
    "completion_tokens": 137,
    "total_tokens": 3432,
    "prompt_tokens_details":
    {
        "audio_tokens": 0,
        "cached_tokens": 448,
        "cache_creation_Prompt_tokens": 0,
        "cache_read_Prompt_tokens": 0
    }
}