1. Snelheidslimieten begrijpen
Rate limiting verwijst naar de regels die bepalen hoe vaak de API van een gebruiker binnen een bepaald tijdsvenster toegang mag krijgen tot onze platformservices. De doelen hiervan zijn:- Misbruik en verkeerd gebruik van de API voorkomen: Door een bovengrens in te stellen voor de aanvraagfrequentie, beperken we abnormaal of onbedoeld verkeer.
- Eerlijke toewijzing van resources garanderen: We voorkomen dat een klein aantal gebruikers systeemresources monopoliseert, zodat iedereen onder gelijke voorwaarden toegang heeft tot de service.
- API-prestaties en betrouwbaarheid behouden: Door verkeerspieken af te vlakken, stabiliseren we responstijden en verminderen we foutpercentages als gevolg van overbelasting, wat de algehele servicekwaliteit verbetert.
- Systeemstabiliteit beschermen: Snelheidslimieten helpen plotselinge verkeerspieken op te vangen en voorkomen dat pieken met hoge gelijktijdigheid onze infrastructuur overbelasten.
2. Metrics voor snelheidslimieten
Voor onze afbeeldings- en videomodellen gebruiken we twee primaire metrics voor snelheidslimieten:- IPM (Images Per Minute): Het aantal afbeeldingen dat een afbeeldingsmodel per minuut mag genereren.
- RPM (Requests Per Minute): Het aantal API-aanvragen dat een videomodel per minuut mag verwerken.
3. Standaard snelheidslimieten
Voor verschillende modellen past ons platform gedifferentieerde strategieën voor snelheidslimieten toe op basis van het verbruik van rekenresources door elk model.IPM
De IPM-limiet (Images Per Minute) bepaalt het aantal afbeeldingen dat per minuut kan worden gegenereerd. De standaard IPM-waarden voor elk model staan in de onderstaande tabel.RPM
De RPM-limiet (Requests Per Minute) bepaalt het aantal API-aanvragen dat per minuut is toegestaan. De standaard RPM-waarden voor elk model staan in de onderstaande tabel.4. Omgaan met snelheidslimieten
Hoe monitor je snelheidslimieten?
Als je API-aanvragen de toegestane snelheid overschrijden, retourneert de API:- HTTP-statuscode: 429 Too Many Requests
- Response Body: Een bericht dat aangeeft dat de snelheidslimiet is overschreden.
Best practices
Om te voorkomen dat je snelheidslimieten activeert, kun je:- Client-side request throttling implementeren: Respecteer de snelheidslimieten van het platform door de aanvraagsnelheid van je applicatie te beheren, zodat je niet te veel calls in korte tijd verstuurt.
- Exponential backoff gebruiken bij retries: Wanneer je een response voor een snelheidslimiet ontvangt (bijv. HTTP 429), wacht dan steeds langer tussen nieuwe pogingen in plaats van direct opnieuw te proberen, zodat de belasting op de service wordt verminderd.
- Je API-gebruik monitoren: Houd je aantallen aanvragen, frequenties en eventuele foutresponses continu bij en log ze, zodat je je gebruikspatronen proactief kunt aanpassen.
Wanneer je snelheidslimieten bereikt
Als je een HTTP 429-response (“Too Many Requests”) ontvangt, kun je:- Later opnieuw proberen: Wacht een korte periode voordat je je aanvraag opnieuw verstuurt.
- Je aanvragen optimaliseren: Verlaag de frequentie van calls om binnen de snelheidslimieten van het platform te blijven.
- Een hogere snelheidslimiet aanvragen: Als je een hogere snelheidslimiet nodig hebt, vul dan het contactformulier in op de Quota’s en limieten om contact met ons op te nemen.