Novita AI fournit des métriques de surveillance complètes pour votre utilisation de l’API LLM. Ces métriques vous donnent des informations sur la disponibilité et les performances de vos requêtes à l’API LLM.
Vous pouvez accéder à ces métriques via la console des métriques LLM.
Métriques disponibles
Toutes les métriques suivantes sont dimensionnées par modèle et échantillonnées à la minute, mais selon l’intervalle que vous sélectionnez, les points d’échantillonnage peuvent ne pas être affichés à la minute. Dans ce cas, les points d’échantillonnage au sein de cet intervalle de temps seront moyennés avant d’être affichés.
Cette métrique n’est suivie que pour les requêtes en streaming lorsque le paramètre stream=true est activé.
Cette métrique n’est suivie que pour les requêtes en streaming lorsque le paramètre stream=true est activé.
