LiteLLM

LiteLLM is een open-source Python-bibliotheek en proxyserver die toegang, uitgaventracking en fallbacks biedt voor meer dan 100 LLM’s via een uniforme interface in OpenAI-indeling. Door gebruik te maken van de geavanceerde modellen van Novita AI, versterkt de integratie met LiteLLM uw AI-applicaties met naadloos wisselen tussen modellen, betrouwbare fallbacks en intelligente routering van verzoeken—allemaal via een gestandaardiseerde completion-API die compatibiliteit tussen meerdere providers garandeert. Deze gids laat zien hoe u snel aan de slag kunt met het integreren van Novita AI en LiteLLM, zodat u deze krachtige combinatie kunt instellen en uw workflow eenvoudig kunt stroomlijnen.

Novita AI integreren met LiteLLM

Stap 1: Installeer LiteLLM

Installeer de LiteLLM-bibliotheek met pip om een uniforme interface te creëren voor het werken met verschillende taalmodellen.

pip install litellm

Stap 2: Stel uw API-referenties in

Stap 3: Structureer uw basis-API-aanroep

Maak een completion-verzoek naar de modellen van Novita AI via de gestandaardiseerde interface van LiteLLM.

from litellm import completion
import os

## set ENV variables. Visit https://novita.ai/settings/key-management to get your API key
os.environ["NOVITA_API_KEY"] = "novita-api-key"

response = completion(
  model="novita/deepseek/deepseek-r1",
  messages=[{ "content": "Hello, how are you?","role": "user"}]
)

Stap 4: Implementeer streaming voor een betere gebruikerservaring

Schakel streamingmodus in voor interactievere applicaties of bij het verwerken van langere antwoorden.

from litellm import completion
import os

## set ENV variables. Visit https://novita.ai/settings/key-management to get your API key
os.environ["NOVITA_API_KEY"] = "novita_api_key"

response = completion(
  model="novita/deepseek/deepseek-r1",
  messages = [{ "content": "Hello, how are you?","role": "user"}],
  stream=True,
)

Get started

Model APIs

Agent Sandbox

GPUs

Observability

Resources

Novita AI integreren met LiteLLM

Stap 1: Installeer LiteLLM

Stap 2: Stel uw API-referenties in

Stap 3: Structureer uw basis-API-aanroep

Stap 4: Implementeer streaming voor een betere gebruikerservaring

​Novita AI integreren met LiteLLM

​Stap 1: Installeer LiteLLM

​Stap 2: Stel uw API-referenties in

​Stap 3: Structureer uw basis-API-aanroep

​Stap 4: Implementeer streaming voor een betere gebruikerservaring

Novita AI integreren met LiteLLM

Stap 1: Installeer LiteLLM

Stap 2: Stel uw API-referenties in

Stap 3: Structureer uw basis-API-aanroep

Stap 4: Implementeer streaming voor een betere gebruikerservaring