> ## Documentation Index
> Fetch the complete documentation index at: https://novita.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# LLM モニタリング

> 新しいファイルの説明。

Novita AI は、大規模言語モデル（LLM）API の使用状況に関する包括的なモニタリング指標を提供します。これらの指標により、LLM API リクエストの可用性とパフォーマンスについて深い洞察を得ることができます。

モニタリング指標は [LLM モニタリングページ](https://novita.ai/models-console/llm-metrics) で確認できます。

## 指標の説明

<Note>
  すべての指標は **model** ごとに分類され、**分単位**でサンプリングされます。ただし、選択した時間間隔によっては、すべての分のサンプルが表示されない場合があります。そのような場合、値は選択した時間範囲全体で平均化されます。
</Note>

* **Requests Per Minute (RPM)**

1 分あたりに送信された API リクエスト数を表示します。これにより、使用パターンと API の同時実行レベルを把握できます。

* **Request Success Rate**

1 分あたりの成功した API レスポンス（5xx 以外のステータスコード）の割合を表示し、API の可用性を示します。

* **Average Token Count per Request**

1 分あたりのリクエストごとの入力トークン数と出力トークン数の平均を表示し、トークン消費パターンの監視に役立ちます。

* **End-to-End (E2E) Latency**

1 分あたりの各リクエストで、モデルが完全なレスポンスを生成するために必要な合計時間を表示します。指標には、99 パーセンタイル、95 パーセンタイル、および平均レイテンシが含まれます。

* **Time to First Token (TTFT)**

<Note>
  stream=true のストリーミングリクエストのみ追跡されます。
</Note>

1 分あたりの各リクエストで、プロンプトを処理し、最初の出力トークンを生成するまでにかかる時間を表示します。99 パーセンタイル、95 パーセンタイル、および平均レイテンシが含まれます。

* **Time Per Output Token (TPOT)**

<Note>
  stream=true のストリーミングリクエストのみ追跡されます。
</Note>

1 分あたりの各リクエストで、連続する出力トークン間の平均時間を表示します。99 パーセンタイル、95 パーセンタイル、および平均レイテンシが含まれます。