LLM API メトリクス

Novita AI は、LLM API の使用状況に関する包括的な監視メトリクスを提供します。これらのメトリクスにより、LLM API リクエストの可用性とパフォーマンスについて洞察を得ることができます。 これらのメトリクスには、LLM Metrics Console からアクセスできます。

​

利用可能なメトリクス

Request Per Minute (RPM) 1 分あたりに行われた API リクエスト数を示し、使用パターンと API の同時実行レベルを把握するのに役立ちます。 Request Success Rate 1 分あたりに行われた成功した API レスポンス（非 5xx ステータスコード）の割合を示し、API の可用性を表します。 Average Token Count Per Request 1 分あたりに行われたリクエストごとの入力トークン数と出力トークン数の平均を示し、トークン消費パターンを把握するのに役立ちます。 End-to-end (E2E) Latency 1 分あたりに行われたリクエストについて、モデルが完全なレスポンスを生成するまでにかかる全体の時間を示します。99 パーセンタイル、95 パーセンタイル、平均レイテンシのメトリクスが含まれます。 Time to First Token (TTFT) 1 分あたりに行われたリクエストについて、プロンプトを処理し、最初の出力トークンを生成するまでに必要な時間を示します。99 パーセンタイル、95 パーセンタイル、平均レイテンシのメトリクスが含まれます。 Time Per Output Token (TPOT) 1 分あたりに行われたリクエストについて、連続する出力トークン間の平均時間を示します。99 パーセンタイル、95 パーセンタイル、平均レイテンシのメトリクスが含まれます。