LiteLLM

LiteLLM é uma biblioteca Python open-source e um servidor proxy que fornece acesso, rastreamento de gastos e fallbacks para mais de 100 LLMs por meio de uma interface unificada no formato OpenAI. Ao aproveitar os modelos de ponta da Novita AI, a integração com LiteLLM capacita seus aplicativos de IA com troca de modelos sem interrupções, fallbacks confiáveis e roteamento inteligente de solicitações — tudo por meio de uma API de completion padronizada que garante compatibilidade entre vários provedores. Este guia mostrará como começar rapidamente a integrar Novita AI e LiteLLM, permitindo que você configure essa poderosa combinação e simplifique seu fluxo de trabalho com facilidade.

Como integrar Novita AI com LiteLLM

Etapa 1: Instale o LiteLLM

Instale a biblioteca LiteLLM usando pip para criar uma interface unificada para trabalhar com diferentes modelos de linguagem.

pip install litellm

Etapa 2: Configure suas credenciais de API

Faça login na página de gerenciamento de chaves na Novita AI e clique em Add New Keypara gerar sua chave de API.

Etapa 3: Estruture sua chamada básica de API

Crie uma solicitação de completion para os modelos da Novita AI por meio da interface padronizada do LiteLLM.

from litellm import completion
import os

## set ENV variables. Visit https://novita.ai/settings/key-management to get your API key
os.environ["NOVITA_API_KEY"] = "novita-api-key"

response = completion(
  model="novita/deepseek/deepseek-r1",
  messages=[{ "content": "Hello, how are you?","role": "user"}]
)

Etapa 4: Implemente streaming para uma melhor experiência do usuário

Ative o modo de streaming para aplicativos mais interativos ou ao lidar com respostas mais longas.

from litellm import completion
import os

## set ENV variables. Visit https://novita.ai/settings/key-management to get your API key
os.environ["NOVITA_API_KEY"] = "novita_api_key"

response = completion(
  model="novita/deepseek/deepseek-r1",
  messages = [{ "content": "Hello, how are you?","role": "user"}],
  stream=True,
)

Get started

Model APIs

Agent Sandbox

GPUs

Observability

Resources

Como integrar Novita AI com LiteLLM

Etapa 1: Instale o LiteLLM

Etapa 2: Configure suas credenciais de API

Etapa 3: Estruture sua chamada básica de API

Etapa 4: Implemente streaming para uma melhor experiência do usuário

​Como integrar Novita AI com LiteLLM

​Etapa 1: Instale o LiteLLM

​Etapa 2: Configure suas credenciais de API

​Etapa 3: Estruture sua chamada básica de API

​Etapa 4: Implemente streaming para uma melhor experiência do usuário

Como integrar Novita AI com LiteLLM

Etapa 1: Instale o LiteLLM

Etapa 2: Configure suas credenciais de API

Etapa 3: Estruture sua chamada básica de API

Etapa 4: Implemente streaming para uma melhor experiência do usuário