Llama 3.3 70B Instruct
meta-llama/llama-3.3-70b-instruct
The Meta Llama 3.3 multilingual large language model (LLM) is a pretrained and instruction tuned generative model in 70B (text in/text out). The Llama 3.3 instruction tuned text only model is optimized for multilingual dialogue use cases and outperforms many of the available open source and closed chat models on common industry benchmarks.
Supported languages: English, German, French, Italian, Portuguese, Hindi, Spanish, and Thai.
Funktionen
Serverless API
Dokumentation
meta-llama/llama-3.3-70b-instruct is available via Novita's serverless API, where you pay per token. There are several ways to call the API, including OpenAI-compatible endpoints with exceptional reasoning performance.
On-Demand-Bereitstellungen
Dokumentation
On-demand deployments allow you to use meta-llama/llama-3.3-70b-instruct on dedicated GPUs with high-performance serving stack with high reliability and no rate limits.
Verfügbare Serverless
Abfragen sofort ausführen, nur für die Nutzung bezahlen
Eingabe$0.135 / M Tokens
Ausgabe$0.4 / M Tokens
Verwenden Sie die folgenden Codebeispiele, um unsere API zu integrieren:
1from openai import OpenAI
2
3client = OpenAI(
4 api_key="<Your API Key>",
5 base_url="https://api.novita.ai/openai"
6)
7
8response = client.chat.completions.create(
9 model="meta-llama/llama-3.3-70b-instruct",
10 messages=[
11 {"role": "system", "content": "You are a helpful assistant."},
12 {"role": "user", "content": "Hello, how are you?"}
13 ],
14 max_tokens=120000,
15 temperature=0.7
16)
17
18print(response.choices[0].message.content)Info
Anbieter
Llama
Quantisierung
bf16
Unterstützte Funktionalität
Kontextlänge
131072
Maximale Ausgabe
120000
Serverless
Unterstützt
Function Calling
Unterstützt
Structured Output
Unterstützt
Eingabefähigkeiten
text
Ausgabefähigkeiten
text
Alles, was Sie brauchen, um produktionsreife AI zu entwickeln.
Über 200 Modelle, GPUs auf Abruf und sichere Agent-Runtimes — vereint unter einer API. Kostenlos zum Einstieg, skaliert mit Ihrem Wachstum.