Novita AI は、大規模言語モデル（LLM）API の使用状況に関する包括的なモニタリング指標を提供します。これらの指標により、LLM API リクエストの可用性とパフォーマンスについて深い洞察を得ることができます。
モニタリング指標は LLM モニタリングページ で確認できます。
指標の説明
すべての指標は model ごとに分類され、分単位でサンプリングされます。ただし、選択した時間間隔によっては、すべての分のサンプルが表示されない場合があります。そのような場合、値は選択した時間範囲全体で平均化されます。
- Requests Per Minute (RPM)
1 分あたりに送信された API リクエスト数を表示します。これにより、使用パターンと API の同時実行レベルを把握できます。
1 分あたりの成功した API レスポンス（5xx 以外のステータスコード）の割合を表示し、API の可用性を示します。
- Average Token Count per Request
1 分あたりのリクエストごとの入力トークン数と出力トークン数の平均を表示し、トークン消費パターンの監視に役立ちます。
1 分あたりの各リクエストで、モデルが完全なレスポンスを生成するために必要な合計時間を表示します。指標には、99 パーセンタイル、95 パーセンタイル、および平均レイテンシが含まれます。
- Time to First Token (TTFT)
stream=true のストリーミングリクエストのみ追跡されます。
- Time Per Output Token (TPOT)
stream=true のストリーミングリクエストのみ追跡されます。
