Große Sprachmodelle

​

Modellfunktionen

• Textgenerierung LLMs können auf Basis des Kontexts logisch kohärente Inhalte generieren und den Ausgabestil bei Bedarf anpassen.
• Sprachverständnis LLMs können die Bedeutung von Eingabetexten präzise verstehen und kontextbewusste Konversationen unterstützen.
• Textübersetzung LLMs sind zu sprachübergreifendem Verständnis und zur sprachübergreifenden Generierung fähig und ermöglichen so Übersetzungen zwischen verschiedenen Sprachen.
• Wissensbasierte Fragen und Antworten Mit einer umfangreichen Wissensbasis können LLMs Fragen aus Bereichen wie Kultur, Wissenschaft und Geschichte beantworten.
• Codeverständnis und -generierung LLMs können Code (Python, Java, C++ usw.) verstehen und generieren, Codefehler erkennen und Vorschläge machen.
• Textklassifizierung und Zusammenfassung LLMs können komplexe Sätze verstehen, Informationen kategorisieren und extrahieren sowie zentrale Punkte zusammenfassen.

​

Modellauswahl

​

API-Integration

• ChatCompletion: Unterstützt sowohl Streaming- als auch Nicht-Streaming-Modi.
• Completion: Unterstützt ebenfalls Streaming- und Nicht-Streaming-Modi.

​

Codebeispiele

​

Python

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-r1"
stream = True  # or False
max_tokens = 512

chat_completion_res = client.chat.completions.create(
    model=model,
    messages=[
        {
            "role": "system",
            "content": "you are a professional AI helper.",
        },
        {
            "role": "user",
            "content": "Where can the example of GPU provided by novita ai be adapted?",
        }
    ],
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in chat_completion_res:
        print(chunk.choices[0].delta.content or "", end="")
else:
    print(chat_completion_res.choices[0].message.content)

from openai import OpenAI

client = OpenAI(
    base_url="https://api.novita.ai/openai",
    api_key="<Your API Key>",
)

model = "deepseek/deepseek-r1"
stream = True  # or False
max_tokens = 512

completion_res = client.completions.create(
    model=model,
    prompt="Where can the example of GPU provided by novita ai be adapted?",
    stream=stream,
    max_tokens=max_tokens,
)

if stream:
    for chunk in completion_res:
        print(chunk.choices[0].text or "", end="")
else:
    print(completion_res.choices[0].text)

​

Curl

export API_KEY="<Your API Key>"

curl "https://api.novita.ai/openai/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-r1",
    "messages": [
        {
            "role": "system",
            "content": "you are a professional AI helper."
        },
       {
            "role": "user",
            "content": "Where can the example of GPU provided by novita ai be adapted?"
        }
    ],
    "max_tokens": 512
}'

export API_KEY="<Your API Key>"

curl "https://api.novita.ai/openai/v1/completions" \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer ${API_KEY}" \
  -d '{
    "model": "deepseek/deepseek-r1",
    "prompt": "Where can the example of GPU provided by novita ai be adapted?",
    "max_tokens": 512
}'

​

Wichtige Parameter

​

Basisparameter

​

Messages

Nur ChatCompletion

• content: Nachrichteninhalt.
• role: Definiert den Sprecher:
  • system: Legt die Rolle der KI fest und teilt dem Modell seine Rolle oder sein Verhalten mit.
  • user: Die Eingabe des Benutzers.
  • assistant: Die Antwort der KI. Benutzer können im Voraus Beispiele für die Ausgabe angeben und dem Modell mitteilen, wie es die aktuelle Anfrage beantworten soll.
• name (optional): Trennt Nachrichtenersteller mit derselben Rolle.

​

Prompt

Nur ChatCompletion

​

Ausgabesteuerung

‘temperature’ und ‘top_p’ können die Vielfalt des generierten Textes steuern; wir empfehlen, nur einen von beiden festzulegen. Je größer der von Ihnen festgelegte Wert ist, desto vielfältiger wird der Text. Je kleiner der von Ihnen festgelegte Wert ist, desto genauer wird der Text.

• temperature: Steuert die Zufälligkeit. Höher = kreativer.
• top_p: Nucleus Sampling. Steuert die kumulative Wahrscheinlichkeit.
• top_k: Begrenzt die Anzahl der Kandidaten-Token.

• presence_penalty: Steuert wiederholte Token der Texte. Wenn ein Token bereits im Text vorhanden ist, wird eine Strafe angewendet; dies führt zu mehr Token im Text.
• frequency_penalty: Steuert die Tokenhäufigkeit der Texte. Jedes Mal, wenn dasselbe Token im Text vorhanden ist, wird eine Strafe angewendet, was in Zukunft zu weniger gleichen Token im Text führt.
• repetition_penalty: Bestraft oder fördert Wiederholungen.

​

Ausgabelimits

• max_tokens: Maximale Anzahl an Token in einer Antwort. Inhalte nach diesem Wert im Text werden abgeschnitten.
• stream: Ob Streaming verwendet werden soll. Bei langen Ausgaben empfehlen wir, den Streaming-Modus zu verwenden, um Timeout-Fehler zu vermeiden:
  • true: Gestreamt, Teilergebnisse, während sie generiert werden.
  • false: Vollständiges Ergebnis nach der Verarbeitung.
• stop: Zeichenfolgen, die die Generierung beenden, wenn sie auftreten.