Llama 3.1 8B Instruct
meta-llama/llama-3.1-8b-instruct
Meta's latest class of models, Llama 3.1, launched with a variety of sizes and configurations. The 8B instruct-tuned version is particularly fast and efficient. It has demonstrated strong performance in human evaluations, outperforming several leading closed-source models.
Recursos
API serverless
Documentação
meta-llama/llama-3.1-8b-instruct is available via Novita's serverless API, where you pay per token. There are several ways to call the API, including OpenAI-compatible endpoints with exceptional reasoning performance.
Implantações sob demanda
Documentação
On-demand deployments allow you to use meta-llama/llama-3.1-8b-instruct on dedicated GPUs with high-performance serving stack with high reliability and no rate limits.
Serverless disponível
Execute consultas imediatamente, pague apenas pelo uso
Entrada$0.02 / M Tokens
Saída$0.05 / M Tokens
Use os exemplos de código a seguir para integrar com nossa API:
1from openai import OpenAI
2
3client = OpenAI(
4 api_key="<Your API Key>",
5 base_url="https://api.novita.ai/openai"
6)
7
8response = client.chat.completions.create(
9 model="meta-llama/llama-3.1-8b-instruct",
10 messages=[
11 {"role": "system", "content": "You are a helpful assistant."},
12 {"role": "user", "content": "Hello, how are you?"}
13 ],
14 max_tokens=16384,
15 temperature=0.7
16)
17
18print(response.choices[0].message.content)Informações
Provedor
Llama
Quantização
fp8
Funcionalidades compatíveis
Comprimento do contexto
16384
Saída máxima
16384
Serverless
Compatível
Structured Output
Compatível
Capacidades de entrada
text
Capacidades de saída
text
Tudo o que você precisa para criar IA de produção.
Mais de 200 modelos, GPUs sob demanda e ambientes de execução de agentes seguros — unificados em uma única API. Grátis para começar, escala conforme você cresce.