概要
推論モデルは、複雑な問題解決タスクに最適化された高度な言語モデルです。詳細な推論ステップ(chain-of-thought)を生成することで、分析的なシナリオにおける回答の精度を向上させます。典型的なユースケース
- 複雑な問題解決: 数学や科学的推論など、段階的なロジックを必要とするタスクに適しています。
- 意思決定支援システム: 詳細な推論プロセスを提供することで、結論に至るロジックの説明に役立ちます。
- 教育とトレーニング: 導出プロセスを明確に提示することで、学習者が複雑な概念を理解するのを支援します。
インストールとセットアップ
推論モデルを使用する前に、最新の OpenAI SDK がインストールされていることを確認してください。API の使用方法
推論モデルを呼び出すには、/chat/completions エンドポイントを使用します。
リクエストパラメータ
max_tokens: モデルが返すことのできるトークンの最大数を設定します。temperature: 創造性と論理性のバランスを取るため、0.5 から 0.7 の間を推奨します(推奨値: 0.6)。top_p: 推奨値は 0.95 です。
サンプルコード
ストリーミングレスポンス
非ストリーミングレスポンス
コンテキスト管理
推論出力は、次の対話ラウンドに自動的に引き継がれません。メッセージ履歴を手動で維持する必要があります。サポートされているモデル
現在、Novita プラットフォームでは以下の推論モデルがサポートされています。料金
- 料金は、入力と出力の両方のトークン数に基づいて計算されます。
- 具体的な課金ルールとトークン換算の詳細については、各モデルの料金ページを参照してください。
注意事項とベストプラクティス
- 推論に関する指示を
systemメッセージに含めることは避けてください。代わりに、userメッセージで意図を明確にしてください。 - 数学タスクでは、たとえば「ステップごとに推論し、最終回答を提示してください」のように、モデルへ明確に指示してください。
- モデルが推論ステップを省略するのを防ぐため、最終回答の前に改行を入れるよう依頼することを検討してください。