Functies
- Met de mogelijkheid tot elastisch schalen schaalt het automatisch op tijdens pieken in het zakelijke verkeer en schaalt het af tijdens perioden met weinig verkeer, waardoor de servicestabiliteit wordt gewaarborgd en tegelijkertijd zoveel mogelijk kosten worden bespaard;
- Ingebouwde efficiënte load balancing zorgt ervoor dat aanvraagbelastingen gelijkmatig worden verdeeld over elke GPU-containerinstantie;
- Facturering is nauwkeurig tot op de seconde, waarbij alleen de daadwerkelijke runtime van de GPU-containerinstanties in rekening wordt gebracht;
- Via technologieën zoals reservering van GPU-containerinstanties, imagevoorverwarming en hoogwaardige hardware kan een cold-start op secondenniveau worden bereikt, waardoor verkeerspieken eenvoudig kunnen worden opgevangen;
- Een compleet logpaneel ondersteunt het opvragen van realtime logstreams, zodat je potentiële problemen snel kunt identificeren en oplossen.
Terminologie
- Containerimageadres: Verwijst naar het Docker-containerimageadres, met huidige ondersteuning voor “public image” en “private image”.
- Serverless Endpoint: Vertegenwoordigt een GPU-elastic-containerinstantie. Het omvat componenten zoals worker, load balancer en elastic scaler.
- Worker: Een GPU-containerinstantie die door het serverless endpoint wordt gebruikt om specifieke aanvragen te verwerken. Eén Worker komt overeen met één GPU-containerinstantie.
- Schaalbeleid: Wordt gebruikt om de logica te beheren voor automatisch opschalen tijdens verkeerspieken en afschalen tijdens perioden met weinig verkeer.
- Health Check Path: De ingebouwde load balancer voert health checks uit via dit pad en bepaalt of aanvragen naar de Worker moeten worden doorgestuurd op basis van de vraag of de geretourneerde statuscode
200is.