Serverless Endpoint erstellen

​

Schritt 1: Container-Image vorbereiten

​

Schritt 2: Zur Console wechseln

​

Schritt 3: Serverless Endpoint konfigurieren

• Endpoint Name: Wird verwendet, um Ihren Endpoint eindeutig zu identifizieren. Das System generiert standardmäßig einen Namen für Sie, Sie können jedoch auch selbst einen angeben.
• App Name: Der Anwendungsname ist Teil der Endpoint-URL. Er ist optional und kann angepasst werden; nur Kleinbuchstaben, Zahlen und Bindestriche sind erlaubt. Wenn er nicht angegeben wird, generiert das System automatisch einen Namen.
• Worker Configuration
  • Workers Min: Die Mindestanzahl an Workern, die beibehalten werden sollen. Sie kann auf 0 gesetzt werden, sodass keine Worker beibehalten werden, wenn Ihr Service keine Anfragen hat. Beachten Sie, dass bei einer Einstellung auf 0 nachfolgende Anfragen möglicherweise nicht schnell beantwortet werden. Seien Sie vorsichtig, wenn Ihr Szenario eine kurze Antwortzeit erfordert.
  • Workers Max: Die maximale Anzahl an Workern, die beibehalten werden sollen. Wenn das Anfragevolumen Ihres Service steigt und den Auto-Scaling-Mechanismus auslöst, erhöht sich die Anzahl der Worker. Diese Konfiguration begrenzt die maximale Anzahl an Workern und hilft so, Kosten zu kontrollieren.
  • Idle Timeout (seconds): Wenn der Auto-Scaling-Mechanismus auslöst, dass ein Worker offline genommen wird, behält die Plattform den Worker für die angegebene Zeit bei, um mögliche nachfolgende Anfrageanstiege schnell verarbeiten zu können. Beachten Sie, dass die Plattform Ihnen diese Zeit in Rechnung stellt.
  • Max Concurrency: Die maximale Anzahl gleichzeitiger Anfragen, die jeder Worker verarbeiten kann. Wenn die Parallelität den Maximalwert überschreitet, werden Anfragen an andere Worker weitergeleitet. Wenn alle Worker vollständig ausgelastet sind, werden Anfragen zur Ausführung in eine Warteschlange gestellt.
  • GPUs/Worker: Die Anzahl der GPUs, die jeder Worker belegt.
  • CUDA Version: Unterstützt die Angabe der CUDA-Version.
• Scale Policy:
  • Queue Delay: Passt die Anzahl der Worker basierend auf der Wartezeit der Anfragen in der Warteschlange an. Sie müssen die „Queue Delay Time (seconds)“ konfigurieren. Wenn die Wartezeit der Anfragen in der Warteschlange diesen Wert überschreitet, wird Auto-Scaling ausgelöst. Wenn sie unter diesem Wert liegt, wird Auto-Scaling zum Herunterskalieren ausgelöst (in Kombination mit dem zuvor festgelegten „Idle Timeout (seconds)“, um den genauen Zeitpunkt zu bestimmen, zu dem der Worker offline geht).
  • Request Count: Passt die Anzahl der Worker basierend auf der Anzahl der Anfragen in der Warteschlange an. Sie müssen den „Queue Max Request Count“ konfigurieren. Wenn die Anzahl der Anfragen in der Warteschlange diesen Wert überschreitet, wird Auto-Scaling ausgelöst. Wenn sie unter diesem Wert liegt, wird Auto-Scaling zum Herunterskalieren ausgelöst (in Kombination mit dem zuvor festgelegten „Idle Timeout (seconds)“, um den genauen Zeitpunkt zu bestimmen, zu dem der Worker offline geht).
• Image Configuration:
  • Container Image: Die Adresse des Image-Repositorys, z. B. vllm/vllm-openai:latest.
  • Container Registry Credentials: Wenn Sie ein privates Image-Repository angeben, müssen Sie die Zugangsdaten festlegen. Bitte konfigurieren Sie diese über Settings - Container Registry Auth.
  • HTTP Port: Der von den Workern bereitgestellte HTTP-Port. Der Load Balancer leitet Anfragen an diesen Port der Worker weiter, in diesem Fall beispielsweise 8080.
  • Container Start Command: Der Befehl, der beim Start des Containers ausgeführt wird. Beispiel: --model meta-llama/Llama-3.1-8B-Instruct --max-model-len 4096.
• Storage Configuration: Hier können Sie den Container-Datenträger, den Volume-Datenträger und das Netzwerk-Volume konfigurieren. Derzeit sind die Größen des Container-Datenträgers und des Volume-Datenträgers fest vorgegeben. Weitere Optionen werden nach und nach verfügbar sein; bitte achten Sie auf offizielle Updates.
• Others:
  • Health Check Path: Der integrierte Load Balancer führt über diesen Pfad Health Checks durch. Er bestimmt anhand dessen, ob der zurückgegebene Statuscode 200 ist, ob Anfragen an den Worker weitergeleitet werden, z. B. /health.
  • Environment Variables: Hier können Sie die Umgebungsvariablen konfigurieren, von denen der Service abhängt. Beispiel: HUGGING_FACE_HUB_TOKEN={Your Hugging Face Access Token (with read permission)}.

​

Schritt 4: Auf den bereitgestellten Llama 3 8B-Modellservice zugreifen

curl "{URL you just copied}/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-3.1-8B-Instruct",
    "messages": [
        {
            "role": "system",
            "content": "Act like you are a helpful assistant."
        },
        {
            "role": "user",
            "content": "Hi there!"
        }
    ],
    "max_tokens": 512
}'

​

Nächster Schritt