Antwortformat
Nutzer können zwischen zwei Modi wählen:- Benutzerdefinierte JSON-Ausgabestruktur: Definieren Sie ein JSON Schema, um das Modell bei der Generierung von Ausgaben anzuleiten, die einem vordefinierten Format folgen – ideal für strukturierte Aufgaben oder Szenarien zur API-Integration.
- Freiform-Generierung: Erlauben Sie dem Modell, Antworten basierend auf dem Kontext frei zu strukturieren – geeignet für offene Q&A- und Creative-Writing-Anwendungen.
System Prompt
Durch das Festlegen eines System-Prompts können Nutzer die „Persona“ und den Verhaltenskontext des Modells definieren. Wenn Sie beispielsweise den Prompt „You are a professional travel planner,“ festlegen, antwortet das Modell aus dieser Perspektive, wodurch Konsistenz und kontextuelle Kohärenz verbessert werden.Parameterkonfiguration
Der Playground unterstützt die Anpassung der folgenden Kernparameter:- max_tokens: Legt die maximale Anzahl an Tokens fest, die das Modell generieren kann. Niedrigere Werte verbessern die Antwortgeschwindigkeit, während höhere Werte für komplexe, längere Ausgaben geeignet sind.
- temperature: Steuert die Kreativität und Zufälligkeit der Ausgabe. Höhere Werte führen zu vielfältigeren und fantasievolleren Antworten, während niedrigere Werte konservativere und deterministischere Ausgaben erzeugen – ideal für präzise Aufgaben.
- top_p (nucleus sampling): Passt den Token-Sampling-Bereich pro Schritt dynamisch an, um Vielfalt und Flüssigkeit zu verbessern. Es wird empfohlen, diesen Parameter zusammen mit temperature zu verwenden.
- top_k: Beschränkt das Modell darauf, bei jedem Schritt aus den K Tokens mit der höchsten Wahrscheinlichkeit auszuwählen, was die Effizienz erhöht und Rauschen reduziert.
- min_p: Eine Alternative zu top_p und top_k, die verwendet wird, um Tokens mit Wahrscheinlichkeiten unterhalb eines bestimmten Schwellenwerts herauszufiltern; geeignet für Aufgaben, bei denen Genauigkeit entscheidend ist.
- presence_penalty: Ermutigt das Modell, neue Themen in seine Ausgabe einzubringen. Positive Werte erhöhen die Wahrscheinlichkeit, Inhalte in neue Richtungen zu erweitern.
- frequency_penalty: Unterdrückt die Generierung wiederholter Tokens. Positive Werte reduzieren Wiederholungen und helfen, Originalität zu bewahren.
- repetition_penalty: Reduziert zusätzlich das Risiko von Schleifen oder repetitiven Prompts und erhöht so die Robustheit der Ausgabe.
Nutzungsempfehlungen
- Für Creative Writing: Erhöhen Sie temperature, top_p und presence_penalty, um vielfältige und fantasievolle Ausgaben zu fördern.
- Für strukturierte Aufgaben und Tool Invocation: Verwenden Sie ein festes JSON-Schema mit niedrigerer temperature und top_k, um konsistente und zuverlässige Ausgaben sicherzustellen.
- Für das Testen von Interaktionen: Vergleichen Sie verschiedene Parameterkombinationen, um Änderungen im Generierungsstil, in der Informationsdichte und im kontextuellen Verständnis zu beobachten und so eine schnellere Prompt-Iteration zu unterstützen.
Um das Verhalten aus dem Playground in API-Aufrufen zu replizieren, lesen Sie die entsprechende Parameterdokumentation im Plattformleitfaden.