Async Serverless Endpoint erstellen

Wenn Sie noch kein Novita-Konto haben, registrieren Sie sich zuerst. Weitere Informationen finden Sie in der Schnellstartanleitung. Dieser Artikel verwendet das ComfyUI-Worker-Image novitalabs/comfyui-worker:v0.0.1 als Beispiel, um zu zeigen, wie Sie einen Async Serverless Endpoint erstellen und aufrufen.

1. Container-Image vorbereiten

Paketieren Sie Ihre Laufzeitumgebung in ein Docker-Image und laden Sie es vorab in eine Image-Registry hoch. Sowohl öffentliche als auch private Image-Registries werden unterstützt. Private Registries erfordern Anmeldedaten zum Abrufen des Images.

Sie können Ihr Image zu Docker Hub hochladen. Die Plattform stellt derzeit einen Image-Warm-up-Service für Docker-Hub-Images bereit.

Dieses Beispiel verwendet novitalabs/comfyui-worker:v0.0.1. Das Image enthält ComfyUI und das Novita worker SDK. Die Aufgabeneingabe ist ein ComfyUI-Workflow-JSON, und der Worker-Handler gibt generierte Bildergebnisse zurück. Wir empfehlen, Umgebungsvariablen für Objektspeicher wie BUCKET_ENDPOINT_URL zu konfigurieren, damit generierte Bilder und Videos in Ihren Bucket hochgeladen und in der Job-Ausgabe als URLs zurückgegeben werden können.

2. Instanzspezifikation auswählen

Async Serverless Endpoint unterstützt derzeit die folgenden GPU-Instanztypen:

RTX 4090 24GB
H100 SXM 80GB

Für dieses comfyui-worker-Beispiel empfehlen wir RTX 4090 24GB. Für zusätzliche Anforderungen kontaktieren Sie uns.

3. Cloud-Speicher erstellen (optional)

Wenn Sie gemeinsamen oder persistenten Speicher benötigen, erstellen Sie Cloud-Speicher auf der Speicherverwaltungsseite und mounten Sie den Speicher anschließend beim Erstellen des Endpoints. Weitere Informationen finden Sie unter Cloud-Speicher verwalten.

4. Endpoint erstellen

Gehen Sie zur Seite Async Serverless GPUs, wählen Sie einen Instanztyp aus und klicken Sie auf „Create Endpoint“.
Schließen Sie die Parameterkonfiguration des Endpoints ab.

Endpoint-Name: Wird verwendet, um den Endpoint eindeutig zu identifizieren. Er ist beim Erstellen von Jobs Teil der URL. Das System generiert einen zufälligen Standardnamen. Sie können ihn anpassen, die Verwendung des Standardnamens wird jedoch empfohlen.
Worker-Konfiguration

Konfigurationselement	Beschreibung
Minimale Worker-Anzahl	Die minimale Anzahl von Worker-Instanzen, die für den Endpoint vorgehalten werden. Ein höheres Minimum reduziert die Kaltstartzeit. Wenn der Wert auf 0 gesetzt ist, gibt es keine inaktiven Worker, wenn keine Anfragen vorliegen. Dies kann die Antwortlatenz für neue Anfragen erhöhen. Verwenden Sie 0 in latenzsensiblen Szenarien mit Vorsicht.
Maximale Worker-Anzahl	Die maximale Anzahl von Worker-Instanzen, auf die der Endpoint hochskalieren kann. Wenn das Anfragevolumen steigt, erhöht die Plattform die Anzahl der Worker automatisch bis zu diesem Maximum. Dieses Limit hilft, die Kosten zu kontrollieren.
Idle Timeout (Sekunden)	Wenn ein Worker aufgrund einer Herunterskalierung kurz vor der Freigabe steht, behält die Plattform ihn für das konfigurierte Idle Timeout bei, damit er schnell auf neue Anfragen reagieren kann. Während dieses Zeitraums werden Ihnen Kosten für den Worker berechnet.
Maximale gleichzeitige Anfragen	Die maximale Anzahl gleichzeitiger Anfragen, die von einem Worker verarbeitet werden. Wenn dieser Wert überschritten wird, werden Anfragen an andere Worker weitergeleitet. Wenn alle Worker vollständig ausgelastet sind, werden überschüssige Anfragen in die Warteschlange gestellt, bis die Ausführung möglich ist.
GPUs / Worker	Anzahl der GPU-Karten, die jedem Worker zugewiesen werden.
CUDA-Version	Vom Worker verwendete CUDA-Version.

Wählen Sie für dieses Beispiel RTX 4090 24GB aus und setzen Sie GPUs / Worker auf 1.

Typ:
- Wählen Sie Async aus.
Elastische Richtlinie:
- Wählen Sie Queue request policy aus.
- Setzen Sie Single worker target concurrency auf 1. Der ComfyUI-Worker in diesem Beispiel verarbeitet jeweils einen Job. Wenn die in der Warteschlange befindlichen Anfragen die aktuelle Worker-Kapazität überschreiten, skaliert die Plattform Worker basierend auf der Anzahl der Warteschlangenanforderungen, bis die maximale Worker-Anzahl erreicht ist.
Image-Konfiguration:
- Image-Adresse: novitalabs/comfyui-worker:v0.0.1.
- Anmeldedaten für das Image-Repository: Wenn das Image privat ist, geben Sie Anmeldedaten zum Abrufen des Images an. Sie können Anmeldedaten auf der Verwaltungsseite für Sicherheitsanmeldedaten erstellen.
- HTTP-Port: HTTP-Port des Workers.
- Container-Startbefehl: Befehl, der beim Starten des Containers ausgeführt wird.
Speicherkonfiguration:
- Systemdisk: Größe der Systemdisk pro Worker-Instanz.
- Cloud-Speicher: Wählen Sie Cloud-Speicher aus, wenn Sie ihn mounten müssen. Weitere Informationen finden Sie unter Cloud-Speicher verwalten.
Sonstiges:
- Health-Check-Pfad: Dieser Parameter ist derzeit nicht aktiviert.
- Umgebungsvariablen: Legen Sie die vom Service benötigten Umgebungsvariablen fest. Beispiel für eine S3-Konfiguration:

BUCKET_ENDPOINT_URL=https://s3.<aws-region>.amazonaws.com
BUCKET_ACCESS_KEY_ID=<your-access-key-id>
BUCKET_SECRET_ACCESS_KEY=<your-secret-access-key>
BUCKET_NAME=<your-bucket-name>

Bei Verwendung von comfyui-worker empfehlen wir dringend, Objektspeicher zu konfigurieren, damit Ausgabebilder in einen Bucket hochgeladen und als URLs zurückgegeben werden.

Prüfen Sie die Preise und klicken Sie auf „Deploy with One Click“.

5. Auf den Service zugreifen

Suchen Sie auf der Seite Async Serverless GPUs den neu erstellten Endpoint und stellen Sie sicher, dass sein Status „Running“ ist.
Stellen Sie sicher, dass mindestens ein Worker im Endpoint ausgeführt wird.
Stellen Sie sicher, dass Sie einen API Key zur Authentifizierung haben. Der Endpoint-Ersteller und der API-Key-Inhaber müssen demselben Team angehören.

Sie benötigen die folgenden Informationen, um einen Async Serverless Endpoint aufzurufen:

Parameter	Beschreibung
Öffentliche Basis-URL	`https://async-public.serverless.novita.ai/v1`
Endpoint-Name	Der Name, der nach dem Erstellen des Endpoints generiert wurde, zum Beispiel `0f43a6867e05fddd`. Dieser Name ist Teil der Job-URL.
API Key	Erstellen oder kopieren Sie einen API Key auf der Seite API Key / Key Management. Übergeben Sie ihn im `Authorization: Bearer <API_KEY>`-Request-Header.

API Key abrufen:

Melden Sie sich bei der Novita-Konsole an.
Gehen Sie zur Seite API Key / Key Management.
Erstellen Sie einen API Key und kopieren Sie den generierten Wert sk_....
Stellen Sie sicher, dass sich der API-Key-Inhaber und der Endpoint-Inhaber im selben Team befinden.

5.1 Job erstellen und Ausgabe per Curl abrufen

Die folgende Anfrage ist ein ausführbares comfyui-worker-Beispiel und entspricht dem getesteten Fall. Ersetzen Sie 0f43a6867e05fddd in der URL durch Ihren tatsächlichen Endpoint-Namen und ersetzen Sie sk_xxxx durch Ihren tatsächlichen API Key.

Die maximale Job-Größe, die von Async Serverless Endpoint akzeptiert wird, beträgt 4 MiB.

curl -X POST https://async-public.serverless.novita.ai/v1/0f43a6867e05fddd/run \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer sk_xxxx' \
  -d '{
    "input": {
      "workflow": {
        "4": {
          "class_type": "CheckpointLoaderSimple",
          "inputs": {
            "ckpt_name": "flux1-dev-fp8.safetensors"
          }
        },
        "5": {
          "class_type": "EmptyLatentImage",
          "inputs": {
            "width": 512,
            "height": 512,
            "batch_size": 1
          }
        },
        "6": {
          "class_type": "CLIPTextEncode",
          "inputs": {
            "clip": ["4", 1],
            "text": "a red apple on a table"
          }
        },
        "7": {
          "class_type": "CLIPTextEncode",
          "inputs": {
            "clip": ["4", 1],
            "text": "blurry, low quality"
          }
        },
        "3": {
          "class_type": "KSampler",
          "inputs": {
            "model": ["4", 0],
            "positive": ["6", 0],
            "negative": ["7", 0],
            "latent_image": ["5", 0],
            "seed": 42,
            "steps": 10,
            "cfg": 7,
            "sampler_name": "euler",
            "scheduler": "normal",
            "denoise": 1
          }
        },
        "8": {
          "class_type": "VAEDecode",
          "inputs": {
            "samples": ["3", 0],
            "vae": ["4", 2]
          }
        },
        "9": {
          "class_type": "SaveImage",
          "inputs": {
            "filename_prefix": "test",
            "images": ["8", 0]
          }
        }
      },
      "output_node_id": "9"
    }
}'

Antwortbeispiel, wobei id die job_id ist:

{"id":"8cb6a77c-62aa-4eb4-9226-1ca5724fd9dd","status":"PENDING"}

Job-Status prüfen und Ergebnisse abrufen

Die maximale Ausgabegröße, die von der Async Serverless Endpoint status API zurückgegeben wird, beträgt 4 MiB. Um diese Einschränkung zu vermeiden, konfigurieren Sie Umgebungsvariablen für Objektspeicher und geben Sie URLs hochgeladener Dateien in der Ausgabe zurück.Job-Ergebnisse werden nach Abschluss bis zu 6 Stunden im Async Serverless Endpoint aufbewahrt.

curl -X GET https://async-public.serverless.novita.ai/v1/0f43a6867e05fddd/status/33a0bc4b-7312-41f6-ad15-eb9016bd68f9 \
  -H 'Authorization: Bearer sk_xxxx'

Job abbrechen

curl -X POST https://async-public.serverless.novita.ai/v1/0f43a6867e05fddd/cancel/e5f3c3c0-c3b1-49c2-9452-bb96eaa34ce6 \
  -H 'Authorization: Bearer sk_xxxx'

Status der Endpoint-Job-Warteschlange prüfen

curl -X GET https://async-public.serverless.novita.ai/v1/0f43a6867e05fddd/health \
  -H 'Authorization: Bearer sk_xxxx'

Antwortbeispiel:

{
  "workers": {
    "idle": 0,
    "running": 0,
    "throttled": 0,
    "total": 0
  },
  "jobs": {
    "completed": 0,
    "failed": 0,
    "inProgress": 0,
    "inQueue": 0,
    "retried": 0
  }
}

5.2 Job erstellen und Ergebnisse über das Novita SDK abrufen

Installieren Sie das SDK:

pip install novita-gpus

import novita_gpus

novita_gpus.api_key = "sk_xxxx"

input_payload = {
    "workflow": {
        "4": {
            "class_type": "CheckpointLoaderSimple",
            "inputs": {"ckpt_name": "flux1-dev-fp8.safetensors"},
        },
        "5": {
            "class_type": "EmptyLatentImage",
            "inputs": {"width": 512, "height": 512, "batch_size": 1},
        },
        "6": {
            "class_type": "CLIPTextEncode",
            "inputs": {"clip": ["4", 1], "text": "a red apple on a table"},
        },
        "7": {
            "class_type": "CLIPTextEncode",
            "inputs": {"clip": ["4", 1], "text": "blurry, low quality"},
        },
        "3": {
            "class_type": "KSampler",
            "inputs": {
                "model": ["4", 0],
                "positive": ["6", 0],
                "negative": ["7", 0],
                "latent_image": ["5", 0],
                "seed": 42,
                "steps": 10,
                "cfg": 7,
                "sampler_name": "euler",
                "scheduler": "normal",
                "denoise": 1,
            },
        },
        "8": {
            "class_type": "VAEDecode",
            "inputs": {"samples": ["3", 0], "vae": ["4", 2]},
        },
        "9": {
            "class_type": "SaveImage",
            "inputs": {"filename_prefix": "test", "images": ["8", 0]},
        },
    },
    "output_node_id": "9",
}

endpoint = novita_gpus.Endpoint("0f43a6867e05fddd")
job = endpoint.run(input_payload)

print(job.status())
output = job.output(timeout=300)
print(output)

Die Standard-Anfrage-URL des novita-gpus SDK ist https://async-public.serverless.novita.ai/v1.

6. Async Serverless Endpoint verwalten

Siehe Serverless Endpoint verwalten.

Get started

Model APIs

Agent Sandbox

GPUs

Observability

Resources

Async Serverless Endpoint erstellen

1. Container-Image vorbereiten

2. Instanzspezifikation auswählen

3. Cloud-Speicher erstellen (optional)

4. Endpoint erstellen

5. Auf den Service zugreifen

5.1 Job erstellen und Ausgabe per Curl abrufen

5.2 Job erstellen und Ergebnisse über das Novita SDK abrufen

6. Async Serverless Endpoint verwalten

​1. Container-Image vorbereiten

​2. Instanzspezifikation auswählen

​3. Cloud-Speicher erstellen (optional)

​4. Endpoint erstellen

​5. Auf den Service zugreifen

​5.1 Job erstellen und Ausgabe per Curl abrufen

​5.2 Job erstellen und Ergebnisse über das Novita SDK abrufen

​6. Async Serverless Endpoint verwalten

1. Container-Image vorbereiten

2. Instanzspezifikation auswählen

3. Cloud-Speicher erstellen (optional)

4. Endpoint erstellen

5. Auf den Service zugreifen

5.1 Job erstellen und Ausgabe per Curl abrufen

5.2 Job erstellen und Ergebnisse über das Novita SDK abrufen

6. Async Serverless Endpoint verwalten