Formato de respuesta
Los usuarios pueden elegir entre dos modos:- Estructura de salida JSON personalizada: Define un JSON Schema para guiar al modelo en la generación de una salida que siga un formato predefinido, ideal para tareas estructuradas o escenarios de integración con API.
- Generación de formato libre: Permite que el modelo organice libremente las respuestas según el contexto, adecuado para preguntas y respuestas abiertas y aplicaciones de escritura creativa.
System Prompt
Al establecer un system prompt, los usuarios pueden definir la “persona” del modelo y su contexto de comportamiento. Por ejemplo, si estableces el prompt como “You are a professional travel planner,”, el modelo responderá desde esa perspectiva, lo que mejora la consistencia y la coherencia contextual.Configuración de parámetros
El playground permite ajustar los siguientes parámetros principales:- max_tokens: Establece el número máximo de tokens que el modelo puede generar. Los valores más bajos mejoran la velocidad de respuesta, mientras que los valores más altos son adecuados para salidas complejas y extensas.
- temperature: Controla la creatividad y la aleatoriedad de la salida. Los valores más altos producen respuestas más diversas e imaginativas, mientras que los valores más bajos generan salidas más conservadoras y deterministas, ideales para tareas precisas.
- top_p (nucleus sampling): Ajusta dinámicamente el rango de muestreo de tokens en cada paso para mejorar la diversidad y la fluidez. Se recomienda usarlo junto con temperature.
- top_k: Limita al modelo a seleccionar entre los K tokens con mayor probabilidad en cada paso, lo que mejora la eficiencia y reduce el ruido.
- min_p: Una alternativa a top_p y top_k, utilizada para filtrar tokens con probabilidades por debajo de un umbral determinado, adecuada para tareas críticas en cuanto a precisión.
- presence_penalty: Anima al modelo a introducir nuevos temas en su salida. Los valores positivos aumentan la probabilidad de expandirse hacia contenido nuevo.
- frequency_penalty: Suprime la generación de tokens repetidos. Los valores positivos reducen la repetición y ayudan a mantener la originalidad.
- repetition_penalty: Reduce aún más el riesgo de bucles o prompts repetitivos, mejorando la robustez de la salida.
Recomendaciones de uso
- Para escritura creativa: Aumenta temperature, top_p y presence_penalty para fomentar salidas diversas e imaginativas.
- Para tareas estructuradas e invocación de herramientas: Usa un esquema JSON fijo con temperature y top_k más bajos para garantizar salidas consistentes y fiables.
- Para probar interacciones: Compara diferentes combinaciones de parámetros para observar cambios en el estilo de generación, la densidad de información y la comprensión contextual, lo que ayuda a iterar prompts más rápidamente.
Para replicar el comportamiento del playground en llamadas a la API, consulta la documentación de parámetros correspondiente en la guía de la plataforma.