Async Serverless Endpoint maken

Als je nog geen Novita-account hebt, meld je dan eerst aan. Zie voor meer informatie de Quickstart-handleiding. Dit artikel gebruikt de ComfyUI-workerimage novitalabs/comfyui-worker:v0.0.1 als voorbeeld om te laten zien hoe je een Async Serverless Endpoint maakt en aanroept.

1. Containerimage voorbereiden

Verpak je runtime-omgeving in een Docker-image en upload deze vooraf naar een imageregister. Zowel openbare als privé-imageregisters worden ondersteund. Privéregisters vereisen inloggegevens voor het ophalen van images.

Je kunt je image uploaden naar Docker Hub. Het platform biedt momenteel een image-warm-upservice voor Docker Hub-images.

Dit voorbeeld gebruikt novitalabs/comfyui-worker:v0.0.1. De image bevat ComfyUI en de Novita worker SDK. De taakinvoer is een ComfyUI-workflow-JSON en de worker-handler retourneert gegenereerde afbeeldingsresultaten. We raden aan om objectopslagomgevingsvariabelen te configureren, zoals BUCKET_ENDPOINT_URL, zodat gegenereerde afbeeldingen en video’s naar je bucket kunnen worden geüpload en als URL’s in de taakuitvoer kunnen worden geretourneerd.

2. Instancespecificatie selecteren

Async Serverless Endpoint ondersteunt momenteel de volgende GPU-instancetypen:

RTX 4090 24GB
H100 SXM 80GB

Voor dit comfyui-worker-voorbeeld raden we RTX 4090 24GB aan. Neem voor aanvullende vereisten contact met ons op.

3. Cloudopslag maken (optioneel)

Als je gedeelde of persistente opslag nodig hebt, maak dan cloudopslag aan op de pagina voor opslagbeheer en koppel vervolgens de opslag bij het maken van het endpoint. Zie voor meer informatie Cloudopslag beheren.

4. Endpoint maken

Ga naar de pagina Async Serverless GPUs, selecteer een instancetype en klik op “Endpoint maken”.
Voltooi de parameterconfiguratie van het endpoint.

Endpointnaam: Wordt gebruikt om het endpoint uniek te identificeren. Dit is onderdeel van de URL bij het maken van taken. Het systeem genereert een willekeurige standaardnaam. Je kunt deze aanpassen, maar het wordt aanbevolen de standaardnaam te gebruiken.
Workerconfiguratie

Configuratie-item	Beschrijving
Min. aantal workers	Het minimale aantal workerinstances dat voor het endpoint behouden blijft. Een hoger minimum instellen helpt de cold-starttijd te verminderen. Als dit is ingesteld op 0, zijn er geen inactieve workers wanneer er geen verzoeken zijn, wat de responstijd voor nieuwe verzoeken kan verhogen. Gebruik 0 met voorzichtigheid voor latency-gevoelige scenario’s.
Max. aantal workers	Het maximale aantal workerinstances waarnaar het endpoint kan opschalen. Wanneer het verzoekvolume toeneemt, verhoogt het platform automatisch het aantal workers tot dit maximum. Deze limiet helpt kosten te beheersen.
Inactiviteitstime-out (seconden)	Wanneer een worker op het punt staat te worden vrijgegeven vanwege schaalverkleining, behoudt het platform deze gedurende de geconfigureerde inactiviteitstime-out, zodat deze snel op nieuwe verzoeken kan reageren. Gedurende deze periode worden er kosten voor de worker in rekening gebracht.
Max. gelijktijdige verzoeken	Het maximale aantal gelijktijdige verzoeken dat door één worker wordt verwerkt. Als dit wordt overschreden, worden verzoeken naar andere workers gerouteerd. Als alle workers volledig bezet zijn, worden overtollige verzoeken in de wachtrij geplaatst totdat uitvoering mogelijk is.
GPU’s / worker	Aantal GPU-kaarten dat aan elke worker wordt toegewezen.
CUDA-versie	CUDA-versie die door de worker wordt gebruikt.

Selecteer voor dit voorbeeld RTX 4090 24GB en stel GPUs / Worker in op 1.

Type:
- Selecteer Async.
Elastisch beleid:
- Selecteer Wachtrijverzoekbeleid.
- Stel Doelconcurrency voor één worker in op 1. De ComfyUI-worker in dit voorbeeld verwerkt één taak tegelijk. Wanneer verzoeken in de wachtrij de huidige workercapaciteit overschrijden, schaalt het platform workers op basis van het aantal verzoeken in de wachtrij totdat het maximale aantal workers is bereikt.
Imageconfiguratie:
- Imageadres: novitalabs/comfyui-worker:v0.0.1.
- Imagerepository-inloggegevens: Als de image privé is, geef dan inloggegevens voor het ophalen van de image op. Je kunt inloggegevens maken op de pagina voor beheer van beveiligingsinloggegevens.
- HTTP-poort: HTTP-poort van de worker.
- Startopdracht voor container: Opdracht die wordt uitgevoerd wanneer de container start.
Opslagconfiguratie:
- Systeemschijf: Grootte van de systeemschijf per workerinstance.
- Cloudopslag: Selecteer cloudopslag als je deze moet koppelen. Zie voor meer informatie Cloudopslag beheren.
Overig:
- Healthcheckpad: Deze parameter is momenteel niet ingeschakeld.
- Omgevingsvariabelen: Stel de omgevingsvariabelen in die door de service vereist zijn. Voorbeeld van S3-configuratie:

BUCKET_ENDPOINT_URL=https://s3.<aws-region>.amazonaws.com
BUCKET_ACCESS_KEY_ID=<your-access-key-id>
BUCKET_SECRET_ACCESS_KEY=<your-secret-access-key>
BUCKET_NAME=<your-bucket-name>

Wanneer je comfyui-worker gebruikt, raden we sterk aan objectopslag te configureren, zodat uitvoerafbeeldingen naar een bucket worden geüpload en als URL’s worden geretourneerd.

Controleer de prijsstelling en klik op “Met één klik implementeren”.

5. Toegang tot de service

Zoek op de pagina Async Serverless GPUs het zojuist gemaakte endpoint en controleer of de status “Actief” is.
Zorg ervoor dat ten minste één worker in het endpoint actief is.
Zorg ervoor dat je een API-sleutel voor authenticatie hebt. De maker van het endpoint en de eigenaar van de API-sleutel moeten tot hetzelfde team behoren.

Je hebt de volgende informatie nodig om een Async Serverless Endpoint aan te roepen:

Parameter	Beschrijving
Openbare basis-URL	`https://async-public.serverless.novita.ai/v1`
Endpointnaam	De naam die wordt gegenereerd na het maken van het endpoint, bijvoorbeeld `0f43a6867e05fddd`. Deze naam is onderdeel van de taak-URL.
API-sleutel	Maak of kopieer een API-sleutel vanaf de pagina API Key / Sleutelbeheer. Geef deze door in de requestheader `Authorization: Bearer <API_KEY>`.

Een API-sleutel verkrijgen:

Log in op de Novita-console.
Ga naar de pagina API Key / Sleutelbeheer.
Maak een API-sleutel en kopieer de gegenereerde waarde sk_....
Zorg ervoor dat de eigenaar van de API-sleutel en de eigenaar van het endpoint in hetzelfde team zitten.

5.1 Een taak maken en uitvoer ophalen via Curl

Het volgende verzoek is een uitvoerbaar comfyui-worker-voorbeeld en komt overeen met de geteste case. Vervang 0f43a6867e05fddd in de URL door je echte endpointnaam en vervang sk_xxxx door je echte API-sleutel.

De maximale taakgrootte die door Async Serverless Endpoint wordt geaccepteerd, is 4 MiB.

curl -X POST https://async-public.serverless.novita.ai/v1/0f43a6867e05fddd/run \
  -H 'Content-Type: application/json' \
  -H 'Authorization: Bearer sk_xxxx' \
  -d '{
    "input": {
      "workflow": {
        "4": {
          "class_type": "CheckpointLoaderSimple",
          "inputs": {
            "ckpt_name": "flux1-dev-fp8.safetensors"
          }
        },
        "5": {
          "class_type": "EmptyLatentImage",
          "inputs": {
            "width": 512,
            "height": 512,
            "batch_size": 1
          }
        },
        "6": {
          "class_type": "CLIPTextEncode",
          "inputs": {
            "clip": ["4", 1],
            "text": "a red apple on a table"
          }
        },
        "7": {
          "class_type": "CLIPTextEncode",
          "inputs": {
            "clip": ["4", 1],
            "text": "blurry, low quality"
          }
        },
        "3": {
          "class_type": "KSampler",
          "inputs": {
            "model": ["4", 0],
            "positive": ["6", 0],
            "negative": ["7", 0],
            "latent_image": ["5", 0],
            "seed": 42,
            "steps": 10,
            "cfg": 7,
            "sampler_name": "euler",
            "scheduler": "normal",
            "denoise": 1
          }
        },
        "8": {
          "class_type": "VAEDecode",
          "inputs": {
            "samples": ["3", 0],
            "vae": ["4", 2]
          }
        },
        "9": {
          "class_type": "SaveImage",
          "inputs": {
            "filename_prefix": "test",
            "images": ["8", 0]
          }
        }
      },
      "output_node_id": "9"
    }
}'

Responsvoorbeeld, waarbij id de job_id is:

{"id":"8cb6a77c-62aa-4eb4-9226-1ca5724fd9dd","status":"PENDING"}

Taakstatus controleren en resultaten ophalen

De maximale uitvoergrootte die wordt geretourneerd door de Async Serverless Endpoint status API is 4 MiB. Configureer objectopslagomgevingsvariabelen en retourneer geüploade bestands-URL’s in de uitvoer om deze beperking te vermijden.Taakresultaten worden tot 6 uur na voltooiing bewaard in het Async Serverless Endpoint.

curl -X GET https://async-public.serverless.novita.ai/v1/0f43a6867e05fddd/status/33a0bc4b-7312-41f6-ad15-eb9016bd68f9 \
  -H 'Authorization: Bearer sk_xxxx'

Taak annuleren

curl -X POST https://async-public.serverless.novita.ai/v1/0f43a6867e05fddd/cancel/e5f3c3c0-c3b1-49c2-9452-bb96eaa34ce6 \
  -H 'Authorization: Bearer sk_xxxx'

Status van de endpointtaakwachtrij controleren

curl -X GET https://async-public.serverless.novita.ai/v1/0f43a6867e05fddd/health \
  -H 'Authorization: Bearer sk_xxxx'

Responsvoorbeeld:

{
  "workers": {
    "idle": 0,
    "running": 0,
    "throttled": 0,
    "total": 0
  },
  "jobs": {
    "completed": 0,
    "failed": 0,
    "inProgress": 0,
    "inQueue": 0,
    "retried": 0
  }
}

5.2 Taak maken en resultaten ophalen via Novita SDK

Installeer de SDK:

pip install novita-gpus

import novita_gpus

novita_gpus.api_key = "sk_xxxx"

input_payload = {
    "workflow": {
        "4": {
            "class_type": "CheckpointLoaderSimple",
            "inputs": {"ckpt_name": "flux1-dev-fp8.safetensors"},
        },
        "5": {
            "class_type": "EmptyLatentImage",
            "inputs": {"width": 512, "height": 512, "batch_size": 1},
        },
        "6": {
            "class_type": "CLIPTextEncode",
            "inputs": {"clip": ["4", 1], "text": "a red apple on a table"},
        },
        "7": {
            "class_type": "CLIPTextEncode",
            "inputs": {"clip": ["4", 1], "text": "blurry, low quality"},
        },
        "3": {
            "class_type": "KSampler",
            "inputs": {
                "model": ["4", 0],
                "positive": ["6", 0],
                "negative": ["7", 0],
                "latent_image": ["5", 0],
                "seed": 42,
                "steps": 10,
                "cfg": 7,
                "sampler_name": "euler",
                "scheduler": "normal",
                "denoise": 1,
            },
        },
        "8": {
            "class_type": "VAEDecode",
            "inputs": {"samples": ["3", 0], "vae": ["4", 2]},
        },
        "9": {
            "class_type": "SaveImage",
            "inputs": {"filename_prefix": "test", "images": ["8", 0]},
        },
    },
    "output_node_id": "9",
}

endpoint = novita_gpus.Endpoint("0f43a6867e05fddd")
job = endpoint.run(input_payload)

print(job.status())
output = job.output(timeout=300)
print(output)

De standaard request-URL van de novita-gpus SDK is https://async-public.serverless.novita.ai/v1.

6. Async Serverless Endpoint beheren

Zie Serverless Endpoint beheren.

Get started

Model APIs

Agent Sandbox

GPUs

Observability

Resources

Async Serverless Endpoint maken

1. Containerimage voorbereiden

2. Instancespecificatie selecteren

3. Cloudopslag maken (optioneel)

4. Endpoint maken

5. Toegang tot de service

5.1 Een taak maken en uitvoer ophalen via Curl

5.2 Taak maken en resultaten ophalen via Novita SDK

6. Async Serverless Endpoint beheren

​1. Containerimage voorbereiden

​2. Instancespecificatie selecteren

​3. Cloudopslag maken (optioneel)

​4. Endpoint maken

​5. Toegang tot de service

​5.1 Een taak maken en uitvoer ophalen via Curl

​5.2 Taak maken en resultaten ophalen via Novita SDK

​6. Async Serverless Endpoint beheren

1. Containerimage voorbereiden

2. Instancespecificatie selecteren

3. Cloudopslag maken (optioneel)

4. Endpoint maken

5. Toegang tot de service

5.1 Een taak maken en uitvoer ophalen via Curl

5.2 Taak maken en resultaten ophalen via Novita SDK

6. Async Serverless Endpoint beheren