Llama 3 8B Instruct
meta-llama/llama-3-8b-instruct
Meta's latest class of model (Llama 3) launched with a variety of sizes & flavors. This 8B instruct-tuned version was optimized for high quality dialogue usecases. It has demonstrated strong performance compared to leading closed-source models in human evaluations.
Funktionen
Serverless API
Dokumentation
meta-llama/llama-3-8b-instruct is available via Novita's serverless API, where you pay per token. There are several ways to call the API, including OpenAI-compatible endpoints with exceptional reasoning performance.
On-Demand-Bereitstellungen
Dokumentation
On-demand deployments allow you to use meta-llama/llama-3-8b-instruct on dedicated GPUs with high-performance serving stack with high reliability and no rate limits.
Verfügbare Serverless
Abfragen sofort ausführen, nur für die Nutzung bezahlen
Eingabe$0.04 / M Tokens
Ausgabe$0.04 / M Tokens
Verwenden Sie die folgenden Codebeispiele, um unsere API zu integrieren:
1from openai import OpenAI
2
3client = OpenAI(
4 api_key="<Your API Key>",
5 base_url="https://api.novita.ai/openai"
6)
7
8response = client.chat.completions.create(
9 model="meta-llama/llama-3-8b-instruct",
10 messages=[
11 {"role": "system", "content": "You are a helpful assistant."},
12 {"role": "user", "content": "Hello, how are you?"}
13 ],
14 max_tokens=8192,
15 temperature=0.7
16)
17
18print(response.choices[0].message.content)Info
Anbieter
Llama
Quantisierung
bf16
Unterstützte Funktionalität
Kontextlänge
8192
Maximale Ausgabe
8192
Serverless
Unterstützt
Structured Output
Unterstützt
Eingabefähigkeiten
text
Ausgabefähigkeiten
text
Alles, was Sie brauchen, um produktionsreife AI zu entwickeln.
Über 200 Modelle, GPUs auf Abruf und sichere Agent-Runtimes — vereint unter einer API. Kostenlos zum Einstieg, skaliert mit Ihrem Wachstum.