Gebruikershandleiding voor Novita Deployments

Navigatie: Models Console → Deployments Van toepassing op: Huidige productieversie Laatst bijgewerkt: 2026-04-20

Inhoudsopgave

Wat zijn Deployments
Quick Start (live in 5 minuten)
Een Deployment maken
- 3.1 Naamgeving
- 3.2 Een model selecteren
- 3.3 Een GPU-instantie selecteren
- 3.4 Autoscaling configureren
- 3.5 Engine-instellingen (geavanceerd)
Deployment-levenscyclus en status
Autoscaling in detail
Ondersteuning voor LoRA-adapters
Facturering
FAQ en probleemoplossing

1. Wat zijn Deployments

Een Deployment is Novita’s product voor dedicated AI-inference-endpoints. In tegenstelling tot Serverless-endpoints die compute-resources delen met andere gebruikers, geeft elke Deployment je:

Exclusieve GPU: Alle compute-resources zijn alleen van jou — geen hinderlijke buren
Voorspelbare performance-SLA: Dedicated compute betekent consistente, voorspelbare inferentielatentie
Flexibele modelbronnen: Deploy elk model van Hugging Face of uit de Novita-modelcatalogus
OpenAI-compatibele Chat API: Voor pure tekstinferentie hoef je alleen base_url en model te vervangen om bestaande OpenAI-integraties te migreren
Facturering per seconde: Er worden alleen kosten in rekening gebracht terwijl het endpoint actief is. De facturering pauzeert automatisch wanneer Scale-to-Zero wordt geactiveerd

Wanneer gebruik je Deployments:

Use case	Waarom het past
Productie-API-services	Stabiele latentie, volledig geïsoleerd van andere gebruikers
Private of fine-tuned model serving	Deploy elk aangepast HuggingFace-model
Inferentie met hoge concurrency	Schaal automatisch naar meerdere replica’s
Kostengevoelige workloads	Scale-to-Zero stopt de facturering tijdens inactieve periodes

2. Quick Start (live in 5 minuten)

Stap 1 — Navigeer naar Deployments Log in bij Novita → linkerzijbalk → Models Console → Models APIs → Deployments Stap 2 — Maak een Deployment Klik op + New Deployment en vul in:

Een Deployment-naam (bijv. my-llama3-endpoint)
Modelbron (de Novita-modelcatalogus wordt aanbevolen voor de snelste configuratie)
GPU-instantie (het systeem beveelt automatisch een geschikte specificatie voor je model aan)
Autoscaling-instellingen

Stap 3 — Wacht tot de Deployment start De opstarttijd varieert afhankelijk van de modelgrootte, doorgaans 5–60 minuten, en verloopt via drie fasen:

GPU aanvragen
Model downloaden
Engine initialiseren

Zodra de status RUNNING toont, is het endpoint klaar om requests te ontvangen. Stap 4 — Roep de API aan Ga naar de detailpagina van de Deployment → paneel Quick Start → kopieer het direct uitvoerbare codefragment.

Beheer je API Keys onder Settings → API Keys.

3. Een Deployment maken

Klik op + New Deployment om het aanmaakformulier te openen, dat vier configuratiesecties bevat.

3.1 Naamgeving

Aanbevolen naamgevingsindeling: {model}-{environment}-{purpose} — bijv. llama3-prod-chatbot.

3.2 Een model selecteren

Er worden twee modelbronnen ondersteund:

Novita Model Catalog (aanbevolen)

Kies uit Novita’s gehoste modellenlijst — geen token vereist, werkt direct. Omvat alle belangrijke open-source modellen (Llama 3, Qwen, DeepSeek, Mistral en meer).

Novita valideert modelcompatibiliteit vooraf en past engine-optimalisaties toe, wat resulteert in sneller opstarten en hogere stabiliteit.

Hugging Face Models

Voer een HuggingFace repository ID in (bijv. meta-llama/Meta-Llama-3-8B-Instruct).

Publieke modellen: Geen token nodig, direct deployen
Private of Gated modellen: Er moet eerst een HuggingFace Access Token worden gekoppeld

Je HF Token koppelen:

Ga naar HuggingFace → Settings → Access Tokens en maak een token aan
Klik in het Model-veld op het Create Deployment-formulier op Integrate HF Token
Plak het token en sla het op

Als je token verloopt of wordt ingetrokken, kunnen actieve Deployments die ervan afhankelijk zijn het model niet opnieuw ophalen. Houd je token up-to-date.

LoRA Adapter (optioneel)

Na het selecteren van een Base Model kun je een of meer LoRA Adapters van HuggingFace koppelen. Meerdere adapters kunnen op dezelfde Deployment draaien zonder extra GPU-resources te vereisen. Zie Sectie 6 — Ondersteuning voor LoRA-adapters voor details. Vereisten voor modelbestandsindeling (voor aangepaste HuggingFace-modellen):

3.3 Een GPU-instantie selecteren

Het systeem beveelt automatisch een GPU-configuratie aan op basis van de grootte van je model.

TIGHT MEMORY-waarschuwing: Als de geselecteerde GPU beperkte VRAM heeft voor het gekozen model, toont het systeem een TIGHT MEMORY-waarschuwing. Verhoog het aantal GPU’s of neem contact op met Novita support.

Het GPU-type kan niet worden gewijzigd nadat een Deployment is gemaakt. Verwijder en maak de Deployment opnieuw om van GPU-type te wisselen.

3.4 Autoscaling configureren

Autoscaling bepaalt hoeveel replica’s er draaien als reactie op verkeer.

Autoscaling inschakelen (aanbevolen)

Gebruik de schuifregelaar met twee handgrepen om het replicabereik in te stellen:

Parameter	Beschrijving	Standaard
Min Replicas	Minimumaantal actieve replica’s op elk moment. Stel in op 0 om Scale-to-Zero in te schakelen	1
Max Replicas	Maximumaantal replica’s tijdens piekverkeer	3
Scale-down Delay	Aantal seconden wachten nadat verkeer afneemt voordat wordt afgeschaald (voorkomt flapping)	300s (minimum)

Scale-to-Zero (Min Replicas = 0):

Na langer inactief te zijn dan de Scale-down Delay, krijgt de Deployment de status SLEEPING en pauzeert de facturering
De eerste binnenkomende request wekt deze automatisch
Cold start-tijd: doorgaans 5 minuten, afhankelijk van de modelgrootte
⚠️ Het meest geschikt voor ontwikkel/test of workloads met lage frequentie. Houd voor productie Min Replicas ≥ 1

Autoscaling uitschakelen

Draait een vast aantal replica’s. Het meest geschikt voor workloads met strikte latentie-SLA’s die geen enkele schaalvertraging kunnen tolereren.

3.5 Engine-instellingen (geavanceerd)

Novita ondersteunt twee inferentie-engines — vLLM en SGLang — die automatisch aan je model worden gekoppeld. Deze instellingen zijn tijdens het maken van een Deployment standaard verborgen.

Max Concurrency per Replica

Bepaalt hoeveel requests één replica gelijktijdig verwerkt.

Instelling	Effect
Onder aanbevolen	Lagere latentie, maar beperkte throughput
Gelijk aan aanbevolen	Optimale balans tussen throughput en latentie (aanbevolen)
Boven aanbevolen	Hogere throughput, maar verhoogde latentie per request

Het systeem berekent een aanbevolen waarde op basis van je GPU-instantie. De standaardwaarde is 16.

Suffix Decoding

Op N-gram gebaseerde speculatieve decoding die toekomstige tokens vooraf genereert om inferentie te versnellen.

Het meest effectief voor zeer voorspelbare uitvoerindelingen (bijv. codegeneratie, gestructureerde JSON)
Biedt beperkt voordeel voor vrije conversatie; te hoge waarden kunnen de latentie juist verhogen

4. Deployment-levenscyclus en status

Diagram van statusovergangen

Create
  │
  ▼
PENDING ──── Waiting for GPU resource allocation
  │
  ▼
DEPLOYING ── Three sub-phases:
  │            ├─ Requesting GPU
  │            ├─ Downloading Model
  │            └─ Engine Initializing
  │
  ├──────────────── FAILED (deployment failed)
  │
  ▼
RUNNING ──── Live and accepting requests
  │
  ├─ Zero traffic + Scale-to-Zero enabled ──► SLEEPING
  │                                               │
  │                                 First request ──► DEPLOYING ──► RUNNING
  │
  ├─ Config update ──► ROLLING (zero-downtime rolling update)
  │
  ├─ Traffic change ──► SCALING (autoscaling in progress)
  │
  └─ Manual terminate ──► TERMINATING ──► TERMINATED (can be redeployed or deleted)

Wanneer facturering start: Alleen draaiende replica’s worden gefactureerd. Instanties die nog worden gedeployd en replica’s die nog opschalen tellen niet mee voor kosten.

5. Autoscaling in detail

Hoe het werkt

Novita autoscaling monitort live verkeer en past het aantal replica’s dynamisch aan binnen het Min–Max-bereik:

Scale-Up: Achterstand in request-wachtrij gedetecteerd → replica’s toevoegen → meer GPU’s verwerken requests parallel
Scale-Down: Verkeer neemt af → wachten tot Scale-down Delay verloopt → replica’s verminderen
Scale-to-Zero: Wanneer Min Replicas = 0 en de Deployment langer dan de vertraging inactief is geweest, gaat deze naar SLEEPING en stopt de facturering

Afweging tussen kosten en beschikbaarheid

Configuratie	Kosten	Beschikbaarheid	Het meest geschikt voor
Min=0, Max=N	Laagst (geen kosten bij inactiviteit)	Cold start-vertraging (5 min)	Ontwikkel/test, workloads met lage frequentie
Min=1, Max=N	Gemiddeld	Altijd beschikbaar, schaalt op aanvraag	Meeste productie-workloads ✅
Min=N, Max=N (vast)	Hoogst	Helemaal geen schaalvertraging	Ultra-lage-latentie SLA-vereisten

Kosten per replica

Elke extra replica voegt kosten toe tegen hetzelfde GPU-tarief als de basisreplica. Voorbeeld: een 2× H100 Deployment die schaalt naar 2 replica’s verdubbelt de GPU-kosten.

Best practices

Stel Min Replicas = 1 in productie in om te voorkomen dat cold starts eindgebruikers beïnvloeden
De standaard Scale-down Delay van 300s (5 minuten) werkt goed voor de meeste situaties; verhoog deze als je verkeer zeer variabel is
Stel Max Replicas in op niet meer dan 1,5× je verwachte (piek-QPS / QPS per replica) om onverwachte kostenpieken te voorkomen

6. Ondersteuning voor LoRA-adapters

Wat is LoRA

LoRA (Low-Rank Adaptation) is een parameterefficiënte fine-tuningtechniek die lichtgewicht adapterlagen boven op een Base Model toevoegt om het voor specifieke taken aan te passen — zonder het volledige model opnieuw te trainen.

LoRA gebruiken in Novita Deployments

Adapters toevoegen tijdens het maken: Klik in Create Deployment → Model-veld → na het selecteren van een Base Model op + Add Adapter en voer de HuggingFace repository ID van de LoRA-adapter in. Adapters bekijken tijdens runtime: In het paneel Engine Configuration verschijnt een +N LoRA-badge naast de Model ID. Beweeg eroverheen om de volledige lijst met gekoppelde adapters te bekijken.

Multi-LoRA: meerdere adapters op één Deployment

Eén Deployment kan meerdere LoRA-adapters gelijktijdig draaien. Geef per request op welke adapter je wilt gebruiken via het veld model:

Multi-LoRA vereist geen extra GPU-resources. Alle adapters delen één kopie van de Base Model-gewichten in het geheugen.

7. Facturering

Factureringseenheid

In rekening gebracht per GPU-seconde: aantal GPU’s × draaiende seconden × eenheidsprijs.

Wanneer facturering start en stopt

Gebeurtenis	Details
Facturering start	Nadat GPU-toewijzing is voltooid tijdens DEPLOYING (d.w.z. wanneer Downloading Model begint)
Facturering stopt	Wanneer de Deployment de status SLEEPING of TERMINATED krijgt
Doorlopende facturering	Een RUNNING Deployment wordt gefactureerd, zelfs wanneer deze nul API-requests ontvangt

GPU-prijzen

Raadpleeg voor de nieuwste prijzen de Novita-prijspagina.

Factureringsvoorbeeld

Scenario: Een klant deployt modelinstantie X op één RTX 4090 (geprijsd op $0.61/GPU/hour), met autoscaling ingesteld op Min=0, Max=5. Gebruik en kosten voor 9:00–10:00:

9:00:00 – 9:15:40 — Instantie is SLEEPING. Kosten: $0.00
9:15:41 – 9:16:45 — 1 draaiende replica die verkeer bedient (65 seconden). Kosten: ( $0.61 ÷ 3600) × 1 replica × 65s = **$ 0.011**
9:16:46 – 10:00:00 — 2 draaiende replica’s die verkeer bedienen (1.994 seconden). Kosten: ( $0.61 ÷ 3600) × 2 replica's × 1.994s = **$ 0.676**

Totaal voor 9:00–10:00: $0 +$ 0.011 + $0.676 =$ 0.687

Tips voor kostenbeheersing

Schakel Scale-to-Zero in (Min Replicas = 0) voor workloads met lage frequentie — geen kosten bij inactiviteit
Controleer je Deployment-lijst regelmatig en verwijder ongebruikte Deployments
Beperk Max Replicas conservatief om onverwachte kostenpieken door ongecontroleerde autoscaling te voorkomen
TERMINATED-status kost niets — beëindig en redeploy op aanvraag

8. FAQ en probleemoplossing

Deployment-problemen

Q: Mijn Deployment zit al lange tijd vast in DEPLOYING — wat moet ik doen?

Requesting GPU: GPU-resources kunnen beperkt beschikbaar zijn. Wacht 5–10 minuten of probeer een ander GPU-type
Downloading Model: Grote modellen (70B+) kunnen meer dan 10 minuten nodig hebben om te downloaden
Engine Initializing: Zou onder normale omstandigheden binnen 5 minuten moeten worden voltooid

Q: Mijn Deployment toont FAILED — wat zijn de veelvoorkomende oorzaken?

Model heeft niet de .safetensors-indeling (.bin wordt niet ondersteund)
HuggingFace Token is ongeldig of heeft geen toegang tot een gated model
Onvoldoende GPU-VRAM voor het model (TIGHT MEMORY-configuratie)
Modelarchitectuur wordt nog niet ondersteund

Debuggingstappen: controleer het wijzigingslog in het tabblad Settings → verifieer de modelbestandsindeling → valideer het HF Token → verhoog het aantal GPU’s en maak de Deployment opnieuw. Q: Mijn Deployment is SLEEPING — hoe wek ik deze? Stuur er een willekeurige API-request naar. De Deployment wordt automatisch gewekt. De eerste request wacht tot de cold start is voltooid voordat er een response wordt ontvangen.

API-problemen

Q: Wat betekenen de veelvoorkomende HTTP-foutcodes?

Code	Oorzaak	Oplossing
`400`	Ongeldig gevormde request	Valideer je request-JSON; zorg dat alle vereiste velden aanwezig zijn
`401`	Ontbrekende of ongeldige API Key	Neem een geldige key op in `Authorization: Bearer <Key>`
`403`	API Key heeft geen toegang tot dit endpoint	Bevestig dat de key hoort bij hetzelfde account dat eigenaar is van de Deployment
`404`	Verkeerde Endpoint URL of Model ID	Kopieer de URL en Model ID opnieuw vanuit het Quick Start-paneel
`422`	Ongeldige parameterwaarde (bijv. max_tokens te groot)	Pas de parameter aan — probeer max_tokens te verlagen
`429`	Rate limit overschreden	Verlaag de requestfrequentie of neem contact op met Novita om je limiet te verhogen
`500`	Interne serverfout	Probeer het na een korte wachttijd opnieuw; neem contact op met Novita support als het aanhoudt

Q: Waar vind ik mijn API Key? Ga naar Settings → API Keys om keys te maken of te beheren. Een key wordt slechts één keer getoond bij het maken — sla deze direct op.

Factureringsproblemen

Q: Waarom worden er kosten in rekening gebracht als er geen requests zijn? Een RUNNING Deployment bezet continu GPU-resources, ongeacht het requestvolume. Oplossing: Schakel Autoscaling in en stel Min Replicas = 0 in. De Deployment gaat automatisch slapen en stopt de facturering wanneer deze inactief is. Q: Hoe stop ik alle kosten volledig? Twee opties:

Scale-to-Zero: Laat autoscaling op natuurlijke wijze triggeren (vereist dat Autoscaling aan staat met Min = 0)
Terminate: Klik op Terminate op de detailpagina van de Deployment om de GPU onmiddellijk vrij te geven

Appendix: Verklarende woordenlijst

Term	Definitie
Deployment	Novita’s product voor dedicated inference-endpoints
Replica	Eén draaiende instantie van de inferentieservice; meerdere replica’s draaien parallel
Scale-to-Zero	Min Replicas instellen op 0 zodat het endpoint slaapt wanneer het inactief is en de facturering stopt
Scale-down Delay	Wachttijd voordat wordt afgeschaald, om flapping bij variabel verkeer te voorkomen
LoRA Adapter	Lichtgewicht fine-tuningplugin die boven op een Base Model wordt geplaatst
Endpoint URL	Het API-toegangsadres voor deze Deployment
Endpoint ID	Unieke identifier voor deze Deployment
Base Model	Het onderliggende foundation model dat wordt bediend
Max Concurrency	Maximumaantal gelijktijdige requests dat één replica verwerkt
Suffix Decoding	N-gram speculatieve decoding om inferentie op voorspelbare uitvoer te versnellen
GPU-second	Factureringseenheid: 1 GPU die 1 seconde draait

Neem voor ondersteuning contact op met het Novita-team via: support@novita.ai

​Inhoudsopgave

​1. Wat zijn Deployments

​2. Quick Start (live in 5 minuten)

​3. Een Deployment maken

​3.1 Naamgeving

​3.2 Een model selecteren

​Novita Model Catalog (aanbevolen)

​Hugging Face Models

​LoRA Adapter (optioneel)

​3.3 Een GPU-instantie selecteren

​3.4 Autoscaling configureren

​Autoscaling inschakelen (aanbevolen)

​Autoscaling uitschakelen

​3.5 Engine-instellingen (geavanceerd)

​Max Concurrency per Replica

​Suffix Decoding

​4. Deployment-levenscyclus en status

​Diagram van statusovergangen

​5. Autoscaling in detail

​Hoe het werkt

​Afweging tussen kosten en beschikbaarheid

​Kosten per replica

​Best practices

​6. Ondersteuning voor LoRA-adapters

​Wat is LoRA

​LoRA gebruiken in Novita Deployments

​Multi-LoRA: meerdere adapters op één Deployment

​7. Facturering

​Factureringseenheid

​Wanneer facturering start en stopt

​GPU-prijzen

​Factureringsvoorbeeld

​Tips voor kostenbeheersing

​8. FAQ en probleemoplossing

​Deployment-problemen

​API-problemen

​Factureringsproblemen

​Appendix: Verklarende woordenlijst