Llama 3 8B Instruct
meta-llama/llama-3-8b-instruct
Meta's latest class of model (Llama 3) launched with a variety of sizes & flavors. This 8B instruct-tuned version was optimized for high quality dialogue usecases. It has demonstrated strong performance compared to leading closed-source models in human evaluations.
機能
サーバーレス API
ドキュメント
meta-llama/llama-3-8b-instruct is available via Novita's serverless API, where you pay per token. There are several ways to call the API, including OpenAI-compatible endpoints with exceptional reasoning performance.
オンデマンドデプロイメント
ドキュメント
On-demand deployments allow you to use meta-llama/llama-3-8b-instruct on dedicated GPUs with high-performance serving stack with high reliability and no rate limits.
利用可能なサーバーレス
クエリをすぐに実行し、使用した分だけお支払い
入力$0.04 / M Tokens
出力$0.04 / M Tokens
以下のコード例を使用して、当社の API と統合してください:
1from openai import OpenAI
2
3client = OpenAI(
4 api_key="<Your API Key>",
5 base_url="https://api.novita.ai/openai"
6)
7
8response = client.chat.completions.create(
9 model="meta-llama/llama-3-8b-instruct",
10 messages=[
11 {"role": "system", "content": "You are a helpful assistant."},
12 {"role": "user", "content": "Hello, how are you?"}
13 ],
14 max_tokens=8192,
15 temperature=0.7
16)
17
18print(response.choices[0].message.content)情報
プロバイダー
Llama
量子化
bf16
サポートされている機能
コンテキスト長
8192
最大出力
8192
Serverless
サポートされています
Structured Output
サポートされています
入力機能
text
出力機能
text
本番環境向けAIを構築するために必要なすべて。
200以上のモデル、オンデマンド GPUs、安全なエージェントランタイムを、1つの API に統合。無料で始められ、成長に合わせてスケールできます。