Skip to main content
Novita AI bietet umfassende Monitoring-Metriken für Ihre LLM-API-Nutzung. Diese Metriken geben Ihnen Einblicke in die Verfügbarkeit und Leistung Ihrer LLM-API-Anfragen. Sie können auf diese Metriken über die LLM Metrics Console zugreifen.

​
Verfügbare Metriken

Alle folgenden Metriken sind nach Modell dimensioniert und werden minütlich erfasst. Je nach ausgewähltem Intervall werden die Abtastpunkte jedoch möglicherweise nicht pro Minute angezeigt. In solchen Fällen werden die Abtastpunkte innerhalb dieses Zeitintervalls vor der Anzeige gemittelt.
Anfragen pro Minute (RPM) Zeigt die Anzahl der pro Minute gestellten API-Anfragen an und hilft Ihnen, Nutzungsmuster und API-Parallelitätsniveaus zu verstehen. Erfolgsrate der Anfragen Zeigt den Prozentsatz erfolgreicher API-Antworten (Nicht-5xx-Statuscodes) pro Minute an und gibt Aufschluss über die API-Verfügbarkeit. Durchschnittliche Token-Anzahl pro Anfrage Zeigt die durchschnittliche Anzahl von Eingabe- und Ausgabe-Tokens pro Anfrage pro Minute an und ist nützlich, um Muster beim Token-Verbrauch zu verstehen. End-to-end (E2E) Latency Zeigt die Gesamtzeit an, die das Modell benötigt, um die vollständige Antwort für pro Minute gestellte Anfragen zu generieren. Enthält Metriken für das 99. Perzentil, das 95. Perzentil und die durchschnittliche Latenz. Time to First Token (TTFT)
Diese Metrik wird nur für Streaming-Anfragen erfasst, wenn der Parameter stream=true aktiviert ist.
Zeigt die Zeit an, die benötigt wird, um den Prompt zu verarbeiten und das erste Ausgabe-Token für pro Minute gestellte Anfragen zu generieren. Enthält Metriken für das 99. Perzentil, das 95. Perzentil und die durchschnittliche Latenz. Time Per Output Token (TPOT)
Diese Metrik wird nur für Streaming-Anfragen erfasst, wenn der Parameter stream=true aktiviert ist.
Zeigt die durchschnittliche Zeit zwischen aufeinanderfolgenden Ausgabe-Tokens für pro Minute gestellte Anfragen an. Enthält Metriken für das 99. Perzentil, das 95. Perzentil und die durchschnittliche Latenz.
Zuletzt geändert am 15. Mai 2026