Modelos de Linguagem de Grande Porte

​

Capacidades dos modelos

• Geração de texto LLMs podem gerar conteúdo logicamente coerente com base no contexto e ajustar o estilo da saída conforme necessário.
• Compreensão de linguagem LLMs conseguem entender com precisão o significado do texto de entrada e dar suporte a conversas com consciência de contexto.
• Tradução de texto LLMs são capazes de compreensão e geração entre idiomas, possibilitando a tradução entre diferentes línguas.
• Perguntas e respostas baseadas em conhecimento Com uma ampla base de conhecimento, LLMs podem responder perguntas em domínios como cultura, ciência e história.
• Compreensão e geração de código LLMs podem entender e gerar código (Python, Java, C++ e assim por diante), detectar erros de código e oferecer sugestões.
• Classificação e sumarização de texto LLMs conseguem entender frases complexas, categorizar e extrair informações, além de resumir pontos-chave.

​

Seleção de modelo

​

Integração de API

• ChatCompletion: Compatível com modos streaming e non-streaming.
• Completion: Também compatível com modos streaming e non-streaming.

​

Exemplos de código

​

Python

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-r1"
stream = True  # or False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "you are a professional AI helper.",
        },
        {
            "role": "user",
            "content": "Where can the example of GPU provided by novita ai be adapted?",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-r1"
stream = True  # or False
max_tokens = 512

completion_res = client.completions.create(
    model=model,
    prompt="Where can the example of GPU provided by novita ai be adapted?",
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in completion_res:
        print(chunk.choices[0].text or "", end="")
else:
    print(completion_res.choices[0].text)

​

Curl

export API_KEY="<Your API Key>"

curl "https://api.novita.ai/openai/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-r1",
    "messages": [
        {
            "role": "system",
            "content": "you are a professional AI helper."
        },
       {
            "role": "user",
            "content": "Where can the example of GPU provided by novita ai be adapted?"
        }
    ],
    "max_tokens": 512
}'

export API_KEY="<Your API Key>"

curl "https://api.novita.ai/openai/v1/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-r1",
    "prompt": "Where can the example of GPU provided by novita ai be adapted?",
    "max_tokens": 512
}'

​

Parâmetros principais

​

Parâmetros base

​

Messages

Somente ChatCompletion

• content: conteúdo da mensagem.
• role: Define o falante:
  • system: Define o papel da IA, informando ao modelo seu papel ou comportamento.
  • user: A entrada do usuário.
  • assistant: A resposta da IA. Os usuários podem fornecer exemplos de saída antecipadamente, informando ao modelo como responder à solicitação atual.
• name (opcional): separa autores de mensagens com o mesmo papel.

​

Prompt

Somente ChatCompletion

​

Controle de saída

‘temperature’ e ‘top_p’ podem controlar a diversidade do texto gerado; recomendamos definir apenas um deles. Quanto maior for o valor definido, mais diverso será o texto. Quanto menor for o valor definido, mais preciso será o texto.

• temperature: Controla a aleatoriedade. Maior = mais criativo.
• top_p: Amostragem de núcleo. Controla a probabilidade cumulativa.
• top_k: Limita a contagem de tokens candidatos.

• presence_penalty: Controla tokens repetidos nos textos. Se um token já tiver aparecido no texto, uma penalidade será aplicada, o que resulta em mais tokens diferentes no texto.
• frequency_penalty: Controla a frequência de tokens nos textos. Toda vez que o mesmo token existir no texto, uma penalidade será aplicada, resultando em menos ocorrências do mesmo token no futuro do texto.
• repetition_penalty: Penaliza ou incentiva repetição.

​

Limites de saída

• max_tokens: Máximo de tokens em uma resposta. O conteúdo após esse valor no texto será truncado.
• stream: Se deve usar streaming. Para saídas longas, recomendamos usar o modo streaming para evitar erro de timeout:
  • true: Transmitido por streaming, com resultados parciais conforme são gerados.
  • false: Resultado completo após o processamento.
• stop: Strings que encerrarão a geração quando encontradas.