Novita AI を LiteLLM と統合する方法
ステップ 1: LiteLLM をインストールする
- pip を使用して LiteLLM ライブラリをインストールし、さまざまな言語モデルを扱うための統一インターフェースを作成します。
ステップ 2: API 認証情報を設定する
-
Novita AI のキー管理ページにログインし、
Add New Keyをクリックして API キーを生成します。
ステップ 3: 基本的な API 呼び出しを構成する
- LiteLLM の標準化されたインターフェースを通じて、Novita AI のモデルへの completion リクエストを作成します。
ステップ 4: より良いユーザー体験のためにストリーミングを実装する
- よりインタラクティブなアプリケーションや、長いレスポンスを処理する場合に備えて、ストリーミングモードを有効にします。