Guide utilisateur des Deployments Novita

Navigation : Models Console → Deployments S’applique à : Version de production actuelle Dernière mise à jour : 2026-04-20

Table des matières

Que sont les Deployments
Démarrage rapide (mise en production en 5 minutes)
Créer un Deployment
- 3.1 Nommer
- 3.2 Sélectionner un modèle
- 3.3 Sélectionner une instance GPU
- 3.4 Configurer l’autoscaling
- 3.5 Paramètres du moteur (avancé)
Cycle de vie et état d’un Deployment
Autoscaling en détail
Prise en charge des adaptateurs LoRA
Facturation
FAQ et dépannage

1. Que sont les Deployments

Un Deployment est le produit de point de terminaison d’inférence IA dédié de Novita. Contrairement aux endpoints Serverless qui partagent les ressources de calcul avec d’autres utilisateurs, chaque Deployment vous fournit :

GPU exclusif : toutes les ressources de calcul vous appartiennent — pas de voisins bruyants
SLA de performance prévisible : le calcul dédié garantit une latence d’inférence constante et anticipable
Sources de modèles flexibles : déployez n’importe quel modèle depuis Hugging Face ou le catalogue de modèles Novita
API Chat compatible OpenAI : pour l’inférence texte pure, remplacez simplement base_url et model pour migrer vos intégrations OpenAI existantes
Facturation à la seconde : vous n’êtes facturé que lorsque l’endpoint est actif. La facturation se met automatiquement en pause lorsque Scale-to-Zero s’active

Quand utiliser les Deployments :

Cas d’utilisation	Pourquoi c’est adapté
Services API en production	Latence stable, isolation complète des autres utilisateurs
Service de modèles privés ou fine-tuned	Déployez n’importe quel modèle HuggingFace personnalisé
Inférence à forte concurrence	Mise à l’échelle automatique vers plusieurs réplicas
Charges de travail sensibles aux coûts	Scale-to-Zero arrête la facturation pendant les périodes d’inactivité

2. Démarrage rapide (mise en production en 5 minutes)

Étape 1 — Accéder aux Deployments Connectez-vous à Novita → barre latérale gauche → Models Console → Models APIs → Deployments Étape 2 — Créer un Deployment Cliquez sur + New Deployment et renseignez :

Un nom de Deployment (par ex. my-llama3-endpoint)
Source du modèle (le catalogue de modèles Novita est recommandé pour la configuration la plus rapide)
Instance GPU (le système recommande automatiquement une spécification adaptée à votre modèle)
Paramètres d’autoscaling

Étape 3 — Attendre le démarrage du Deployment Le temps de démarrage varie selon la taille du modèle, généralement 5 à 60 minutes, et progresse en trois phases :

Demande de GPU
Téléchargement du modèle
Initialisation du moteur

Une fois que l’état affiche RUNNING, l’endpoint est prêt à recevoir des requêtes. Étape 4 — Appeler l’API Accédez à la page de détail du Deployment → panneau Quick Start → copiez l’extrait de code prêt à l’emploi.

Gérez vos API Keys sous Settings → API Keys.

3. Créer un Deployment

Cliquez sur + New Deployment pour ouvrir le formulaire de création, qui comporte quatre sections de configuration.

3.1 Nommer

Format de nommage recommandé : {model}-{environment}-{purpose} — par ex. llama3-prod-chatbot.

3.2 Sélectionner un modèle

Deux sources de modèles sont prises en charge :

Catalogue de modèles Novita (recommandé)

Choisissez dans la liste de modèles hébergés par Novita — aucun token requis, fonctionne immédiatement. Couvre tous les principaux modèles open source (Llama 3, Qwen, DeepSeek, Mistral, et bien d’autres).

Novita prévalide la compatibilité des modèles et applique des optimisations du moteur, ce qui permet un démarrage plus rapide et une meilleure stabilité.

Modèles Hugging Face

Saisissez un ID de dépôt HuggingFace (par ex. meta-llama/Meta-Llama-3-8B-Instruct).

Modèles publics : aucun token nécessaire, déploiement direct
Modèles privés ou Gated : un HuggingFace Access Token doit d’abord être lié

Comment lier votre HF Token :

Accédez à HuggingFace → Settings → Access Tokens et créez un token
Dans le champ Model du formulaire Create Deployment, cliquez sur Integrate HF Token
Collez et enregistrez le token

Si votre token expire ou est révoqué, les Deployments actifs qui en dépendent ne parviendront pas à retélécharger le modèle. Maintenez votre token à jour.

Adaptateur LoRA (facultatif)

Après avoir sélectionné un Base Model, vous pouvez attacher un ou plusieurs LoRA Adapters depuis HuggingFace. Plusieurs adaptateurs peuvent s’exécuter sur le même Deployment sans nécessiter de ressources GPU supplémentaires. Consultez la Section 6 — Prise en charge des adaptateurs LoRA pour plus de détails. Exigences de format des fichiers de modèle (pour les modèles HuggingFace personnalisés) :

3.3 Sélectionner une instance GPU

Le système recommande automatiquement une configuration GPU selon la taille de votre modèle.

Avertissement TIGHT MEMORY : si le GPU sélectionné dispose d’une VRAM limitée pour le modèle choisi, le système affiche un avertissement TIGHT MEMORY. Augmentez le nombre de GPU ou contactez le support Novita.

Le type de GPU ne peut pas être modifié après la création d’un Deployment. Pour changer de type de GPU, supprimez et recréez le Deployment.

3.4 Configurer l’autoscaling

L’autoscaling contrôle le nombre de réplicas exécutés en réponse au trafic.

Activer l’autoscaling (recommandé)

Utilisez le curseur à deux poignées pour définir la plage de réplicas :

Paramètre	Description	Valeur par défaut
Min Replicas	Nombre minimal de réplicas actifs en permanence. Définissez à 0 pour activer Scale-to-Zero	1
Max Replicas	Nombre maximal de réplicas pendant les pics de trafic	3
Scale-down Delay	Nombre de secondes à attendre après la baisse du trafic avant de réduire l’échelle (évite les oscillations)	300s (minimum)

Scale-to-Zero (Min Replicas = 0) :

Après une période d’inactivité supérieure au Scale-down Delay, le Deployment passe à l’état SLEEPING et la facturation est suspendue
La première requête entrante le réveille automatiquement
Temps de démarrage à froid : généralement 5 minutes selon la taille du modèle
⚠️ Convient mieux aux charges de travail de développement/test ou à faible fréquence. Pour la production, gardez Min Replicas ≥ 1

Désactiver l’autoscaling

Exécute un nombre fixe de réplicas. Idéal pour les charges de travail avec des SLA de latence stricts qui ne peuvent tolérer aucun délai de mise à l’échelle.

3.5 Paramètres du moteur (avancé)

Novita prend en charge deux moteurs d’inférence — vLLM et SGLang — associés automatiquement à votre modèle. Ces paramètres sont masqués par défaut lors de la création du Deployment.

Max Concurrency par réplica

Contrôle le nombre de requêtes qu’un seul réplica traite simultanément.

Paramètre	Effet
Inférieur à la recommandation	Latence plus faible, mais débit limité
Égal à la recommandation	Équilibre optimal entre débit et latence (recommandé)
Supérieur à la recommandation	Débit plus élevé, mais latence accrue par requête

Le système calcule une valeur recommandée selon votre instance GPU. La valeur par défaut est 16.

Suffix Decoding

Décodage spéculatif basé sur les N-grammes qui prégénère les futurs tokens pour accélérer l’inférence.

Plus efficace pour les formats de sortie hautement prévisibles (par ex. génération de code, JSON structuré)
Apporte un bénéfice limité pour les conversations libres ; des valeurs excessivement élevées peuvent en réalité augmenter la latence

4. Cycle de vie et état d’un Deployment

Diagramme de transition d’état

Create
  │
  ▼
PENDING ──── Waiting for GPU resource allocation
  │
  ▼
DEPLOYING ── Three sub-phases:
  │            ├─ Requesting GPU
  │            ├─ Downloading Model
  │            └─ Engine Initializing
  │
  ├──────────────── FAILED (deployment failed)
  │
  ▼
RUNNING ──── Live and accepting requests
  │
  ├─ Zero traffic + Scale-to-Zero enabled ──► SLEEPING
  │                                               │
  │                                 First request ──► DEPLOYING ──► RUNNING
  │
  ├─ Config update ──► ROLLING (zero-downtime rolling update)
  │
  ├─ Traffic change ──► SCALING (autoscaling in progress)
  │
  └─ Manual terminate ──► TERMINATING ──► TERMINATED (can be redeployed or deleted)

Quand la facturation commence : seuls les réplicas en cours d’exécution sont facturés. Les instances encore en cours de déploiement et les réplicas encore en montée en charge ne sont pas comptabilisés dans les frais.

5. Autoscaling en détail

Fonctionnement

L’autoscaling de Novita surveille le trafic en direct et ajuste dynamiquement le nombre de réplicas dans la plage Min–Max :

Scale-Up : file d’attente de requêtes détectée → ajout de réplicas → davantage de GPU traitent les requêtes en parallèle
Scale-Down : baisse du trafic → attente de l’expiration du Scale-down Delay → réduction du nombre de réplicas
Scale-to-Zero : lorsque Min Replicas = 0 et que le Deployment est resté inactif au-delà du délai, il passe à SLEEPING et la facturation s’arrête

Compromis entre coût et disponibilité

Configuration	Coût	Disponibilité	Idéal pour
Min=0, Max=N	Le plus faible (aucun frais en cas d’inactivité)	Délai de démarrage à froid (5 min)	Charges de travail de développement/test, à faible fréquence
Min=1, Max=N	Moyen	Toujours disponible, mise à l’échelle à la demande	La plupart des charges de travail de production ✅
Min=N, Max=N (fixe)	Le plus élevé	Aucun délai de mise à l’échelle	Exigences de SLA à latence ultra-faible

Coût par réplica

Chaque réplica supplémentaire ajoute un coût au même tarif GPU que le réplica de base. Exemple : un Deployment 2× H100 qui passe à 2 réplicas double le coût GPU.

Bonnes pratiques

Définissez Min Replicas = 1 en production afin d’éviter que les démarrages à froid n’impactent les utilisateurs finaux
Le Scale-down Delay par défaut de 300s (5 minutes) fonctionne bien dans la plupart des cas ; augmentez-le si votre trafic est très variable
Définissez Max Replicas à une valeur ne dépassant pas 1,5× votre valeur attendue (QPS de pic / QPS par réplica) afin d’éviter les pics de coûts inattendus

6. Prise en charge des adaptateurs LoRA

Qu’est-ce que LoRA

LoRA (Low-Rank Adaptation) est une technique de fine-tuning économe en paramètres qui ajoute des couches d’adaptateur légères au-dessus d’un Base Model afin de le personnaliser pour des tâches spécifiques — sans réentraîner le modèle complet.

Utiliser LoRA dans les Deployments Novita

Ajouter des adaptateurs lors de la création : Dans Create Deployment → champ Model → après avoir sélectionné un Base Model, cliquez sur + Add Adapter et saisissez l’ID du dépôt HuggingFace de l’adaptateur LoRA. Afficher les adaptateurs à l’exécution : Dans le panneau Engine Configuration, un badge +N LoRA apparaît à côté du Model ID. Survolez-le pour voir la liste complète des adaptateurs attachés.

Multi-LoRA : plusieurs adaptateurs sur un seul Deployment

Un seul Deployment peut exécuter plusieurs adaptateurs LoRA simultanément. Spécifiez quel adaptateur utiliser par requête via le champ model :

Multi-LoRA ne nécessite aucune ressource GPU supplémentaire. Tous les adaptateurs partagent en mémoire une seule copie des poids du Base Model.

7. Facturation

Unité de facturation

Facturation en GPU-seconde : nombre de GPU × secondes d’exécution × prix unitaire.

Quand la facturation commence et s’arrête

Événement	Détails
Début de la facturation	Après la fin de l’allocation GPU pendant DEPLOYING (c.-à-d. lorsque le téléchargement du modèle commence)
Arrêt de la facturation	Lorsque le Deployment passe à l’état SLEEPING ou TERMINATED
Facturation continue	Un Deployment RUNNING est facturé même lorsqu’il ne reçoit aucune requête API

Tarification GPU

Pour connaître les derniers tarifs, consultez la page de tarification Novita.

Exemple de facturation

Scénario : un client déploie l’instance de modèle X sur un seul RTX 4090 (tarifé à $0.61/GPU/hour), avec l’autoscaling défini sur Min=0, Max=5. Utilisation et frais pour 9:00–10:00 :

9:00:00 – 9:15:40 — L’instance est SLEEPING. Frais : $0.00
9:15:41 – 9:16:45 — 1 réplica en cours d’exécution sert le trafic (65 secondes). Frais : ( $0.61 ÷ 3600) × 1 réplica × 65s = **$ 0.011**
9:16:46 – 10:00:00 — 2 réplicas en cours d’exécution servent le trafic (1 994 secondes). Frais : ( $0.61 ÷ 3600) × 2 réplicas × 1 994s = **$ 0.676**

Total pour 9:00–10:00 : $0 +$ 0.011 + $0.676 =$ 0.687

Conseils de maîtrise des coûts

Activez Scale-to-Zero (Min Replicas = 0) pour les charges de travail à faible fréquence — coût nul en cas d’inactivité
Auditez régulièrement votre liste de Deployments et supprimez les Deployments inutilisés
Limitez Max Replicas de manière prudente afin d’éviter des pics de coûts inattendus dus à un autoscaling incontrôlé
L’état TERMINATED ne coûte rien — terminez et redéployez à la demande

8. FAQ et dépannage

Problèmes de Deployment

Q : Mon Deployment est bloqué en DEPLOYING depuis longtemps — que dois-je faire ?

Requesting GPU : les ressources GPU peuvent être limitées. Attendez 5 à 10 minutes, ou essayez un autre type de GPU
Downloading Model : les grands modèles (70B+) peuvent prendre plus de 10 minutes à télécharger
Engine Initializing : devrait se terminer en moins de 5 minutes dans des conditions normales

Q : Mon Deployment affiche FAILED — quelles sont les causes courantes ?

Le modèle n’est pas au format .safetensors (.bin n’est pas pris en charge)
Le HuggingFace Token est invalide ou ne dispose pas de l’accès à un modèle gated
VRAM GPU insuffisante pour le modèle (configuration TIGHT MEMORY)
L’architecture du modèle n’est pas encore prise en charge

Étapes de débogage : consultez le journal des modifications dans l’onglet Settings → vérifiez le format des fichiers du modèle → validez le HF Token → augmentez le nombre de GPU et recréez le Deployment. Q : Mon Deployment est SLEEPING — comment le réveiller ? Envoyez-lui n’importe quelle requête API. Le Deployment se réveille automatiquement. La première requête attend la fin du démarrage à froid avant de recevoir une réponse.

Problèmes d’API

Q : Que signifient les codes d’erreur HTTP courants ?

Code	Cause	Résolution
`400`	Requête mal formée	Validez le JSON de votre requête ; assurez-vous que tous les champs requis sont présents
`401`	API Key manquante ou invalide	Incluez une clé valide dans `Authorization: Bearer <Key>`
`403`	L’API Key n’a pas accès à cet endpoint	Vérifiez que la clé appartient au même compte que celui qui possède le Deployment
`404`	Endpoint URL ou Model ID incorrect	Recopiez l’URL et le Model ID depuis le panneau Quick Start
`422`	Valeur de paramètre invalide (par ex. max_tokens trop grand)	Ajustez le paramètre — essayez de réduire max_tokens
`429`	Limite de débit dépassée	Réduisez la fréquence des requêtes, ou contactez Novita pour augmenter votre limite
`500`	Erreur interne du serveur	Réessayez après une courte attente ; si le problème persiste, contactez le support Novita

Q : Où trouver mon API Key ? Accédez à Settings → API Keys pour créer ou gérer les clés. Une clé n’est affichée qu’une seule fois lors de sa création — enregistrez-la immédiatement.

Problèmes de facturation

Q : Pourquoi suis-je facturé alors qu’il n’y a aucune requête ? Un Deployment RUNNING occupe continuellement des ressources GPU, quel que soit le volume de requêtes. Correction : activez l’autoscaling et définissez Min Replicas = 0. Le Deployment se mettra automatiquement en veille et arrêtera la facturation lorsqu’il sera inactif. Q : Comment arrêter complètement tous les frais ? Deux options :

Scale-to-Zero : laissez l’autoscaling se déclencher naturellement (nécessite que l’autoscaling soit activé avec Min = 0)
Terminate : cliquez sur Terminate sur la page de détail du Deployment pour libérer immédiatement le GPU

Annexe : Glossaire

Terme	Définition
Deployment	Produit de point de terminaison d’inférence dédié de Novita
Replica	Une instance en cours d’exécution du service d’inférence ; plusieurs réplicas s’exécutent en parallèle
Scale-to-Zero	Définir Min Replicas à 0 afin que l’endpoint se mette en veille lorsqu’il est inactif et que la facturation s’arrête
Scale-down Delay	Période d’attente avant la réduction d’échelle, évitant les oscillations lors d’un trafic variable
LoRA Adapter	Plugin de fine-tuning léger superposé à un Base Model
Endpoint URL	L’adresse d’accès API pour ce Deployment
Endpoint ID	Identifiant unique de ce Deployment
Base Model	Le modèle fondation sous-jacent servi
Max Concurrency	Nombre maximal de requêtes simultanées qu’un seul réplica traite
Suffix Decoding	Décodage spéculatif N-gramme pour accélérer l’inférence sur des sorties prévisibles
GPU-second	Unité de facturation : 1 GPU exécuté pendant 1 seconde

Pour obtenir de l’aide, contactez l’équipe Novita à : support@novita.ai

​Table des matières

​1. Que sont les Deployments

​2. Démarrage rapide (mise en production en 5 minutes)

​3. Créer un Deployment

​3.1 Nommer

​3.2 Sélectionner un modèle

​Catalogue de modèles Novita (recommandé)

​Modèles Hugging Face

​Adaptateur LoRA (facultatif)

​3.3 Sélectionner une instance GPU

​3.4 Configurer l’autoscaling

​Activer l’autoscaling (recommandé)

​Désactiver l’autoscaling

​3.5 Paramètres du moteur (avancé)

​Max Concurrency par réplica

​Suffix Decoding

​4. Cycle de vie et état d’un Deployment

​Diagramme de transition d’état

​5. Autoscaling en détail

​Fonctionnement

​Compromis entre coût et disponibilité

​Coût par réplica

​Bonnes pratiques

​6. Prise en charge des adaptateurs LoRA

​Qu’est-ce que LoRA

​Utiliser LoRA dans les Deployments Novita

​Multi-LoRA : plusieurs adaptateurs sur un seul Deployment

​7. Facturation

​Unité de facturation

​Quand la facturation commence et s’arrête

​Tarification GPU

​Exemple de facturation

​Conseils de maîtrise des coûts

​8. FAQ et dépannage

​Problèmes de Deployment

​Problèmes d’API

​Problèmes de facturation

​Annexe : Glossaire