Créer un endpoint serverless asynchrone

Si vous n’avez pas de compte Novita, inscrivez-vous d’abord. Pour plus de détails, consultez le guide de démarrage rapide. Cet article utilise l’image de worker ComfyUI novitalabs/comfyui-worker:v0.0.1 comme exemple pour montrer comment créer et appeler un endpoint serverless asynchrone.

1. Préparer l’image de conteneur

Packagez votre environnement d’exécution dans une image Docker et téléversez-la à l’avance dans un registre d’images. Les registres d’images publics et privés sont pris en charge. Les registres privés nécessitent des identifiants pour l’extraction de l’image.

Vous pouvez téléverser votre image sur Docker Hub. La plateforme fournit actuellement un service de préchauffage d’image pour les images Docker Hub.

Cet exemple utilise novitalabs/comfyui-worker:v0.0.1. L’image inclut ComfyUI et le SDK worker Novita. L’entrée de la tâche est un JSON de workflow ComfyUI, et le gestionnaire du worker renvoie les résultats d’images générées. Nous recommandons de configurer des variables d’environnement de stockage objet telles que BUCKET_ENDPOINT_URL, afin que les images et vidéos générées puissent être téléversées dans votre bucket et renvoyées sous forme d’URL dans la sortie du job.

2. Sélectionner la spécification d’instance

L’endpoint serverless asynchrone prend actuellement en charge les types d’instances GPU suivants :

RTX 4090 24GB
H100 SXM 80GB

Pour cet exemple comfyui-worker, nous recommandons RTX 4090 24GB. Pour des besoins supplémentaires, contactez-nous.

3. Créer un stockage cloud (facultatif)

Si vous avez besoin d’un stockage partagé ou persistant, créez un stockage cloud sur la page de gestion du stockage, puis montez le stockage lors de la création de l’endpoint. Pour plus de détails, consultez Gérer le stockage cloud.

4. Créer l’endpoint

Accédez à la page Async Serverless GPUs, sélectionnez un type d’instance, puis cliquez sur « Create Endpoint ».
Complétez la configuration des paramètres de l’endpoint.

Nom de l’endpoint : utilisé pour identifier l’endpoint de manière unique. Il fait partie de l’URL lors de la création de jobs. Le système génère un nom par défaut aléatoire. Vous pouvez le personnaliser, mais il est recommandé d’utiliser le nom par défaut.
Configuration du worker

Élément de configuration	Description
Nombre minimal de workers	Le nombre minimal d’instances de worker à conserver pour l’endpoint. Définir un minimum plus élevé aide à réduire le temps de démarrage à froid. S’il est défini sur 0, il n’y aura aucun worker inactif lorsqu’il n’y a pas de requêtes, ce qui peut augmenter la latence de réponse pour les nouvelles requêtes. Utilisez 0 avec prudence pour les scénarios sensibles à la latence.
Nombre maximal de workers	Le nombre maximal d’instances de worker jusqu’auquel l’endpoint peut évoluer. Lorsque le volume de requêtes augmente, la plateforme augmente automatiquement le nombre de workers jusqu’à ce maximum. Cette limite aide à contrôler les coûts.
Délai d’inactivité (secondes)	Lorsqu’un worker est sur le point d’être libéré en raison d’une réduction d’échelle, la plateforme le conserve pendant le délai d’inactivité configuré afin qu’il puisse répondre rapidement aux nouvelles requêtes. Vous êtes facturé pour le worker pendant cette période.
Nombre maximal de requêtes simultanées	Le nombre maximal de requêtes simultanées gérées par un worker. Si ce nombre est dépassé, les requêtes sont routées vers d’autres workers. Si tous les workers sont entièrement occupés, les requêtes en excès sont mises en file d’attente jusqu’à ce que l’exécution soit possible.
GPU / worker	Nombre de cartes GPU allouées à chaque worker.
Version de CUDA	Version de CUDA utilisée par le worker.

Pour cet exemple, sélectionnez RTX 4090 24GB et définissez GPUs / Worker sur 1.

Type :
- Sélectionnez Async.
Politique d’élasticité :
- Sélectionnez Queue request policy.
- Définissez Single worker target concurrency sur 1. Le worker ComfyUI de cet exemple traite un job à la fois. Lorsque les requêtes en file d’attente dépassent la capacité actuelle des workers, la plateforme met à l’échelle les workers en fonction du nombre de requêtes dans la file, jusqu’à atteindre le nombre maximal de workers.
Configuration de l’image :
- Adresse de l’image : novitalabs/comfyui-worker:v0.0.1.
- Identifiants du dépôt d’images : si l’image est privée, fournissez les identifiants d’extraction de l’image. Vous pouvez créer des identifiants sur la page de gestion des identifiants de sécurité.
- Port HTTP : port HTTP du worker.
- Commande de démarrage du conteneur : commande exécutée au démarrage du conteneur.
Configuration du stockage :
- Disque système : taille du disque système par instance de worker.
- Stockage cloud : sélectionnez un stockage cloud si vous devez le monter. Pour plus de détails, consultez Gérer le stockage cloud.
Autre :
- Chemin de vérification de l’état : ce paramètre n’est actuellement pas activé.
- Variables d’environnement : définissez les variables d’environnement requises par le service. Exemple de configuration S3 :

BUCKET_ENDPOINT_URL=https://s3.<aws-region>.amazonaws.com
BUCKET_ACCESS_KEY_ID=<your-access-key-id>
BUCKET_SECRET_ACCESS_KEY=<your-secret-access-key>
BUCKET_NAME=<your-bucket-name>

Lors de l’utilisation de comfyui-worker, nous recommandons fortement de configurer le stockage objet afin que les images de sortie soient téléversées dans un bucket et renvoyées sous forme d’URL.

Vérifiez la tarification et cliquez sur « Deploy with One Click ».

5. Accéder au service

Sur la page Async Serverless GPUs, recherchez l’endpoint nouvellement créé et assurez-vous que son statut est « Running ».
Assurez-vous qu’au moins un worker de l’endpoint est en cours d’exécution.
Assurez-vous de disposer d’une clé API pour l’authentification. Le créateur de l’endpoint et le propriétaire de la clé API doivent appartenir à la même équipe.

Vous avez besoin des informations suivantes pour appeler un endpoint serverless asynchrone :

Paramètre	Description
URL de base publique	`https://async-public.serverless.novita.ai/v1`
Nom de l’endpoint	Le nom généré après la création de l’endpoint, par exemple `0f43a6867e05fddd`. Ce nom fait partie de l’URL du job.
Clé API	Créez ou copiez une clé API depuis la page API Key / Key Management. Transmettez-la dans l’en-tête de requête `Authorization: Bearer <API_KEY>`.

Obtenir une clé API :

Connectez-vous à la console Novita.
Accédez à la page API Key / Key Management.
Créez une clé API et copiez la valeur sk_... générée.
Assurez-vous que le propriétaire de la clé API et le propriétaire de l’endpoint sont dans la même équipe.

5.1 Créer un job et récupérer la sortie via Curl

La requête suivante est un exemple comfyui-worker exécutable et correspond au cas testé. Remplacez 0f43a6867e05fddd dans l’URL par le vrai nom de votre endpoint, et remplacez sk_xxxx par votre vraie clé API.

La taille maximale de job acceptée par l’endpoint serverless asynchrone est de 4 MiB.

curl -X POST https://async-public.serverless.novita.ai/v1/0f43a6867e05fddd/run \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer sk_xxxx' \
  -d '{
    "input": {
      "workflow": {
        "4": {
          "class_type": "CheckpointLoaderSimple",
          "inputs": {
            "ckpt_name": "flux1-dev-fp8.safetensors"
          }
        },
        "5": {
          "class_type": "EmptyLatentImage",
          "inputs": {
            "width": 512,
            "height": 512,
            "batch_size": 1
          }
        },
        "6": {
          "class_type": "CLIPTextEncode",
          "inputs": {
            "clip": ["4", 1],
            "text": "a red apple on a table"
          }
        },
        "7": {
          "class_type": "CLIPTextEncode",
          "inputs": {
            "clip": ["4", 1],
            "text": "blurry, low quality"
          }
        },
        "3": {
          "class_type": "KSampler",
          "inputs": {
            "model": ["4", 0],
            "positive": ["6", 0],
            "negative": ["7", 0],
            "latent_image": ["5", 0],
            "seed": 42,
            "steps": 10,
            "cfg": 7,
            "sampler_name": "euler",
            "scheduler": "normal",
            "denoise": 1
          }
        },
        "8": {
          "class_type": "VAEDecode",
          "inputs": {
            "samples": ["3", 0],
            "vae": ["4", 2]
          }
        },
        "9": {
          "class_type": "SaveImage",
          "inputs": {
            "filename_prefix": "test",
            "images": ["8", 0]
          }
        }
      },
      "output_node_id": "9"
    }
}'

Exemple de réponse, où id est le job_id :

{"id":"8cb6a77c-62aa-4eb4-9226-1ca5724fd9dd","status":"PENDING"}

Vérifier le statut du job et récupérer les résultats

La taille maximale de sortie renvoyée par l’API status de l’endpoint serverless asynchrone est de 4 MiB. Pour éviter cette limitation, configurez les variables d’environnement de stockage objet et renvoyez dans la sortie les URL des fichiers téléversés.Les résultats des jobs sont conservés dans l’endpoint serverless asynchrone pendant jusqu’à 6 heures après la fin de l’exécution.

curl -X GET https://async-public.serverless.novita.ai/v1/0f43a6867e05fddd/status/33a0bc4b-7312-41f6-ad15-eb9016bd68f9 \
  -H 'Authorization: Bearer sk_xxxx'

Annuler le job

curl -X POST https://async-public.serverless.novita.ai/v1/0f43a6867e05fddd/cancel/e5f3c3c0-c3b1-49c2-9452-bb96eaa34ce6 \
  -H 'Authorization: Bearer sk_xxxx'

Vérifier le statut de la file d’attente des jobs de l’endpoint

curl -X GET https://async-public.serverless.novita.ai/v1/0f43a6867e05fddd/health \
  -H 'Authorization: Bearer sk_xxxx'

Exemple de réponse :

{
  "workers": {
    "idle": 0,
    "running": 0,
    "throttled": 0,
    "total": 0
  },
  "jobs": {
    "completed": 0,
    "failed": 0,
    "inProgress": 0,
    "inQueue": 0,
    "retried": 0
  }
}

5.2 Créer un job et obtenir les résultats via le SDK Novita

Installez le SDK :

pip install novita-gpus

import novita_gpus

novita_gpus.api_key = "sk_xxxx"

input_payload = {
    "workflow": {
        "4": {
            "class_type": "CheckpointLoaderSimple",
            "inputs": {"ckpt_name": "flux1-dev-fp8.safetensors"},
        },
        "5": {
            "class_type": "EmptyLatentImage",
            "inputs": {"width": 512, "height": 512, "batch_size": 1},
        },
        "6": {
            "class_type": "CLIPTextEncode",
            "inputs": {"clip": ["4", 1], "text": "a red apple on a table"},
        },
        "7": {
            "class_type": "CLIPTextEncode",
            "inputs": {"clip": ["4", 1], "text": "blurry, low quality"},
        },
        "3": {
            "class_type": "KSampler",
            "inputs": {
                "model": ["4", 0],
                "positive": ["6", 0],
                "negative": ["7", 0],
                "latent_image": ["5", 0],
                "seed": 42,
                "steps": 10,
                "cfg": 7,
                "sampler_name": "euler",
                "scheduler": "normal",
                "denoise": 1,
            },
        },
        "8": {
            "class_type": "VAEDecode",
            "inputs": {"samples": ["3", 0], "vae": ["4", 2]},
        },
        "9": {
            "class_type": "SaveImage",
            "inputs": {"filename_prefix": "test", "images": ["8", 0]},
        },
    },
    "output_node_id": "9",
}

endpoint = novita_gpus.Endpoint("0f43a6867e05fddd")
job = endpoint.run(input_payload)

print(job.status())
output = job.output(timeout=300)
print(output)

L’URL de requête par défaut du SDK novita-gpus est https://async-public.serverless.novita.ai/v1.

6. Gérer l’endpoint serverless asynchrone

Consultez Gérer un endpoint serverless.

Get started

Model APIs

Agent Sandbox

GPUs

Observability

Resources

Créer un endpoint serverless asynchrone

1. Préparer l’image de conteneur

2. Sélectionner la spécification d’instance

3. Créer un stockage cloud (facultatif)

4. Créer l’endpoint

5. Accéder au service

5.1 Créer un job et récupérer la sortie via Curl

5.2 Créer un job et obtenir les résultats via le SDK Novita

6. Gérer l’endpoint serverless asynchrone

​1. Préparer l’image de conteneur

​2. Sélectionner la spécification d’instance

​3. Créer un stockage cloud (facultatif)

​4. Créer l’endpoint

​5. Accéder au service

​5.1 Créer un job et récupérer la sortie via Curl

​5.2 Créer un job et obtenir les résultats via le SDK Novita

​6. Gérer l’endpoint serverless asynchrone

1. Préparer l’image de conteneur

2. Sélectionner la spécification d’instance

3. Créer un stockage cloud (facultatif)

4. Créer l’endpoint

5. Accéder au service

5.1 Créer un job et récupérer la sortie via Curl

5.2 Créer un job et obtenir les résultats via le SDK Novita

6. Gérer l’endpoint serverless asynchrone