Novita AI biedt uitgebreide monitoringmetrieken voor je LLM API-gebruik. Deze metrieken geven je inzicht in de beschikbaarheid en prestaties van je LLM API-verzoeken.
Je hebt toegang tot deze metrieken via de LLM Metrics Console.
Beschikbare metrieken
Alle onderstaande metrieken zijn gedimensioneerd per model en worden per minuut gesampled, maar afhankelijk van het interval dat je selecteert, worden de samplingpunten mogelijk niet per minuut weergegeven. In zulke gevallen worden de samplingpunten binnen dat tijdsinterval gemiddeld voordat ze worden weergegeven.
Deze metriek wordt alleen bijgehouden voor streamingverzoeken waarbij de parameter stream=true is ingeschakeld.
Deze metriek wordt alleen bijgehouden voor streamingverzoeken wanneer de parameter stream=true is ingeschakeld.
