LiteLLM

​

So integrieren Sie Novita AI mit LiteLLM

​

Schritt 1: LiteLLM installieren

• Installieren Sie die LiteLLM-Bibliothek mit pip, um eine einheitliche Schnittstelle für die Arbeit mit verschiedenen Sprachmodellen zu erstellen.

pip install litellm

​

Schritt 2: Ihre API-Anmeldeinformationen einrichten

• Melden Sie sich bei der Schlüsselverwaltungsseite in Novita AI an und klicken Sie auf Add New Key, um Ihren API-Schlüssel zu generieren.

​

Schritt 3: Ihren grundlegenden API-Aufruf strukturieren

• Erstellen Sie eine Completion-Anfrage an die Modelle von Novita AI über die standardisierte Schnittstelle von LiteLLM.

from litellm import completion
import os

## set ENV variables. Visit https://novita.ai/settings/key-management to get your API key
os.environ["NOVITA_API_KEY"] = "novita-api-key"

response = completion(
  model="novita/deepseek/deepseek-r1",
  messages=[{ "content": "Hello, how are you?","role": "user"}]
)

​

Schritt 4: Streaming für eine bessere Benutzererfahrung implementieren

• Aktivieren Sie den Streaming-Modus für interaktivere Anwendungen oder wenn Sie längere Antworten verarbeiten.

from litellm import completion
import os

## set ENV variables. Visit https://novita.ai/settings/key-management to get your API key
os.environ["NOVITA_API_KEY"] = "novita_api_key"

response = completion(
  model="novita/deepseek/deepseek-r1",
  messages = [{ "content": "Hello, how are you?","role": "user"}],
  stream=True,
)