LiteLLM

LiteLLM es una biblioteca Python de código abierto y un servidor proxy que proporciona acceso, seguimiento de gastos y mecanismos de respaldo para más de 100 LLMs mediante una interfaz unificada en formato OpenAI. Al aprovechar los modelos de vanguardia de Novita AI, la integración con LiteLLM potencia tus aplicaciones de IA con cambio de modelos fluido, respaldos confiables y enrutamiento inteligente de solicitudes, todo a través de una API de completions estandarizada que garantiza compatibilidad entre múltiples proveedores. Esta guía te mostrará cómo comenzar rápidamente a integrar Novita AI y LiteLLM, lo que te permitirá configurar esta potente combinación y optimizar tu flujo de trabajo con facilidad.

Cómo integrar Novita AI con LiteLLM

Paso 1: Instala LiteLLM

Instala la biblioteca LiteLLM usando pip para crear una interfaz unificada para trabajar con diferentes modelos de lenguaje.

pip install litellm

Paso 2: Configura tus credenciales de API

Inicia sesión en la página de gestión de claves en Novita AI y haz clic en Add New Keypara generar tu clave de API.

Paso 3: Estructura tu llamada básica a la API

Crea una solicitud de completion a los modelos de Novita AI mediante la interfaz estandarizada de LiteLLM.

from litellm import completion
import os

## set ENV variables. Visit https://novita.ai/settings/key-management to get your API key
os.environ["NOVITA_API_KEY"] = "novita-api-key"

response = completion(
  model="novita/deepseek/deepseek-r1",
  messages=[{ "content": "Hello, how are you?","role": "user"}]
)

Paso 4: Implementa streaming para una mejor experiencia de usuario

Habilita el modo streaming para aplicaciones más interactivas o al gestionar respuestas más largas.

from litellm import completion
import os

## set ENV variables. Visit https://novita.ai/settings/key-management to get your API key
os.environ["NOVITA_API_KEY"] = "novita_api_key"

response = completion(
  model="novita/deepseek/deepseek-r1",
  messages = [{ "content": "Hello, how are you?","role": "user"}],
  stream=True,
)

Get started

Model APIs

Agent Sandbox

GPUs

Observability

Resources

Cómo integrar Novita AI con LiteLLM

Paso 1: Instala LiteLLM

Paso 2: Configura tus credenciales de API

Paso 3: Estructura tu llamada básica a la API

Paso 4: Implementa streaming para una mejor experiencia de usuario

​Cómo integrar Novita AI con LiteLLM

​Paso 1: Instala LiteLLM

​Paso 2: Configura tus credenciales de API

​Paso 3: Estructura tu llamada básica a la API

​Paso 4: Implementa streaming para una mejor experiencia de usuario

Cómo integrar Novita AI con LiteLLM

Paso 1: Instala LiteLLM

Paso 2: Configura tus credenciales de API

Paso 3: Estructura tu llamada básica a la API

Paso 4: Implementa streaming para una mejor experiencia de usuario