Modelos de lenguaje grandes

​

Capacidades del modelo

• Generación de texto Los LLMs pueden generar contenido lógicamente coherente según el contexto y ajustar el estilo de la salida según sea necesario.
• Comprensión del lenguaje Los LLMs pueden comprender con precisión el significado del texto de entrada y admitir conversaciones conscientes del contexto.
• Traducción de texto Los LLMs son capaces de comprender y generar entre idiomas, lo que permite la traducción entre diferentes lenguas.
• Preguntas y respuestas basadas en conocimiento Con una amplia base de conocimientos, los LLMs pueden responder preguntas en dominios como cultura, ciencia e historia.
• Comprensión y generación de código Los LLMs pueden comprender y generar código (Python, Java, C++ y otros), detectar errores de código y ofrecer sugerencias.
• Clasificación y resumen de texto Los LLMs pueden comprender oraciones complejas, categorizar y extraer información, y resumir los puntos clave.

​

Selección del modelo

​

Integración de API

• ChatCompletion: Admite modos streaming y sin streaming.
• Completion: También admite modos streaming y sin streaming.

​

Ejemplos de código

​

Python

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-r1"
stream = True  # or False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "you are a professional AI helper.",
        },
        {
            "role": "user",
            "content": "Where can the example of GPU provided by novita ai be adapted?",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-r1"
stream = True  # or False
max_tokens = 512

completion_res = client.completions.create(
    model=model,
    prompt="Where can the example of GPU provided by novita ai be adapted?",
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in completion_res:
        print(chunk.choices[0].text or "", end="")
else:
    print(completion_res.choices[0].text)

​

Curl

export API_KEY="<Your API Key>"

curl "https://api.novita.ai/openai/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-r1",
    "messages": [
        {
            "role": "system",
            "content": "you are a professional AI helper."
        },
       {
            "role": "user",
            "content": "Where can the example of GPU provided by novita ai be adapted?"
        }
    ],
    "max_tokens": 512
}'

export API_KEY="<Your API Key>"

curl "https://api.novita.ai/openai/v1/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-r1",
    "prompt": "Where can the example of GPU provided by novita ai be adapted?",
    "max_tokens": 512
}'

​

Parámetros clave

​

Parámetros base

​

Messages

Solo ChatCompletion

• content: contenido del mensaje.
• role: Define al hablante:
  • system: Establece el rol de la IA, indicando al modelo su rol o comportamiento.
  • user: La entrada del usuario.
  • assistant: La respuesta de la IA. Los usuarios pueden proporcionar ejemplos de salida por adelantado, indicando al modelo cómo responder a la solicitud actual.
• name (opcional): separa autores de mensajes con el mismo rol.

​

Prompt

Solo ChatCompletion

​

Control de salida

‘temperature’ y ‘top_p’ pueden controlar la diversidad del texto generado; recomendamos configurar solo uno de ellos. Cuanto mayor sea el valor que configures, más diverso será el texto. Cuanto menor sea el valor que configures, más preciso será el texto.

• temperature: Controla la aleatoriedad. Más alto = más creativo.
• top_p: Muestreo de núcleo. Controla la probabilidad acumulada.
• top_k: Limita el recuento de tokens candidatos.

• presence_penalty: Controla los tokens repetidos de los textos. Si un token ya ha aparecido en el texto, se aplicará una penalización, lo que da como resultado más tokens en el texto.
• frequency_penalty: Controla la frecuencia de los tokens de los textos. Cada vez que el mismo token aparece en el texto, se aplicará una penalización, lo que da como resultado menos apariciones del mismo token en el futuro del texto.
• repetition_penalty: Penaliza o fomenta la repetición.

​

Límites de salida

• max_tokens: Tokens máximos en una respuesta. El contenido posterior a este valor en el texto se truncará.
• stream: Si se debe usar streaming. Para salidas largas, recomendamos usar el modo streaming para evitar errores de timeout:
  • true: Streaming, resultados parciales a medida que se generan.
  • false: Resultado completo después del procesamiento.
• stop: Cadenas que finalizarán la generación cuando se encuentren.