Serverless Endpoint aanmaken

​

Stap 1: Container-image voorbereiden

​

Stap 2: Ga naar de Console

​

Stap 3: Serverless Endpoint configureren

• Endpointnaam: Wordt gebruikt om je Endpoint uniek te identificeren. Het systeem genereert standaard een naam voor je, maar je kunt er ook zelf een opgeven.
• App-naam: De applicatienaam is onderdeel van de Endpoint-URL. Deze is optioneel en kan worden aangepast; alleen kleine letters, cijfers en koppeltekens zijn toegestaan. Als je niets opgeeft, genereert het systeem er automatisch een.
• Worker-configuratie
  • Workers Min: Het minimale aantal Workers dat behouden blijft. Dit kan worden ingesteld op 0, zodat er geen Workers behouden blijven wanneer je service geen verzoeken heeft. Houd er rekening mee dat een instelling van 0 mogelijk niet snel reageert op daaropvolgende verzoeken. Wees voorzichtig als je scenario een snelle responstijd vereist.
  • Workers Max: Het maximale aantal Workers dat behouden blijft. Wanneer het aantal serviceverzoeken toeneemt en het auto-scalingmechanisme wordt geactiveerd, neemt het aantal Workers toe. Deze configuratie beperkt het maximale aantal Workers om kosten te helpen beheersen.
  • Idle Timeout (seconden): Wanneer het auto-scalingmechanisme activeert dat een Worker offline wordt gehaald, behoudt het platform de Worker gedurende de opgegeven tijd om mogelijke daaropvolgende toenames in verzoeken snel te kunnen afhandelen. Houd er rekening mee dat het platform je voor deze tijd kosten in rekening brengt.
  • Max Concurrency: Het maximale aantal gelijktijdige verzoeken dat elke Worker kan verwerken. Wanneer de concurrency de maximale waarde overschrijdt, worden verzoeken doorgestuurd naar andere Workers. Als alle Workers volledig bezet zijn, worden verzoeken in een wachtrij geplaatst voor uitvoering.
  • GPU’s/Worker: Het aantal GPU’s dat elke Worker gebruikt.
  • CUDA-versie: Ondersteunt het opgeven van de CUDA-versie.
• Schaalbeleid:
  • Queue Delay: Past het aantal Workers aan op basis van de wachttijd van verzoeken in de wachtrij. Je moet de “Queue Delay Time (seconds)” configureren. Wanneer de wachttijd van verzoeken in de wachtrij deze waarde overschrijdt, wordt auto-scaling geactiveerd. Wanneer deze lager is dan deze waarde, wordt auto-scaling geactiveerd om omlaag te schalen (in combinatie met de eerder ingestelde “Idle Timeout (seconds)” om de specifieke tijd te bepalen waarop de Worker offline gaat).
  • Request Count: Past het aantal Workers aan op basis van het aantal verzoeken in de wachtrij. Je moet de “Queue Max Request Count” configureren. Wanneer het aantal verzoeken in de wachtrij deze waarde overschrijdt, wordt auto-scaling geactiveerd. Wanneer dit lager is dan deze waarde, wordt auto-scaling geactiveerd om omlaag te schalen (in combinatie met de eerder ingestelde “Idle Timeout (seconds)” om de specifieke tijd te bepalen waarop de Worker offline gaat).
• Image-configuratie:
  • Container Image: Het adres van de image-repository, zoals vllm/vllm-openai:latest.
  • Container Registry Credentials: Wanneer je een private image-repository opgeeft, moet je de toegangsgegevens instellen. Configureer dit via Settings - Container Registry Auth.
  • HTTP-poort: De HTTP-poort die door de Workers wordt blootgesteld. De load balancer stuurt verzoeken door naar deze poort van de Workers, bijvoorbeeld 8080 in dit geval.
  • Startopdracht voor container: De opdracht die wordt uitgevoerd wanneer de container start. Bijvoorbeeld: --model meta-llama/Llama-3.1-8B-Instruct --max-model-len 4096.
• Opslagconfiguratie: Hier kun je de containerdisk, volumeschijf en netwerkvolume configureren. Momenteel zijn de groottes van de containerdisk en volumeschijf vast. Meer opties komen geleidelijk beschikbaar; houd officiële updates in de gaten.
• Overig:
  • Health Check Path: De ingebouwde load balancer voert health checks uit via dit pad. Op basis van de vraag of de geretourneerde statuscode 200 is, zoals /health, wordt bepaald of verzoeken naar de Worker worden doorgestuurd.
  • Omgevingsvariabelen: Hier kun je de omgevingsvariabelen configureren waarvan de service afhankelijk is. Bijvoorbeeld: HUGGING_FACE_HUB_TOKEN={Your Hugging Face Access Token (with read permission)}.

​

Stap 4: Toegang krijgen tot de gedeployde Llama 3 8B-modelservice

curl "{URL you just copied}/v1/chat/completions" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "meta-llama/Llama-3.1-8B-Instruct",
    "messages": [
        {
            "role": "system",
            "content": "Act like you are a helpful assistant."
        },
        {
            "role": "user",
            "content": "Hi there!"
        }
    ],
    "max_tokens": 512
}'

​

Volgende stap