1. Snelheidslimieten begrijpen
Wat zijn snelheidslimieten?
Snelheidslimieten beperken het aantal API-verzoeken dat binnen gedefinieerde tijdsperioden kan worden gedaan. Ze helpen om:- Misbruik en verkeerd gebruik van de API te voorkomen;
- Een eerlijke verdeling van resources onder gebruikers te waarborgen;
- Consistente API-prestaties en betrouwbaarheid te behouden;
- De stabiliteit van onze services te beschermen.
Standaard snelheidslimieten
Elk account heeft een standaard snelheidslimiet voor modelaanroepen, gemeten in RPM (requests per model per minute) en TPM (tokens per model per minute). Snelheidslimieten verschillen per accountniveau, zoals weergegeven in de onderstaande tabellen.| Niveau | Hoe te bereiken |
|---|---|
| T1 | Maandelijkse opwaarderingen waren in geen van de laatste 3 kalendermaanden hoger dan $50. |
| T2 | Maandelijkse opwaarderingen waren ten minste $50, maar waren in geen van de laatste 3 kalendermaanden hoger dan $500. |
| T3 | Maandelijkse opwaarderingen waren ten minste $500, maar waren in geen van de laatste 3 kalendermaanden hoger dan $3,000. |
| T4 | Maandelijkse opwaarderingen waren ten minste $3,000, maar waren in geen van de laatste 3 kalendermaanden hoger dan $10,000. |
| T5 | Maandelijkse opwaarderingen waren in minstens één van de laatste 3 kalendermaanden ten minste $10,000. |
2. Omgaan met snelheidslimieten
Hoe monitor je snelheidslimieten?
Wanneer je de snelheidslimiet overschrijdt, retourneert de API:- HTTP-statuscode: 429 (Too Many Requests);
- Een bericht in de response body dat de snelheidslimiet is overschreden.
Best practices
Om te voorkomen dat je snelheidslimieten bereikt:- Implementeer request throttling in je applicatie;
- Voeg exponential backoff toe voor retries;
- Monitor je API-gebruikspatronen.
Wanneer je snelheidslimieten bereikt
Als je een 429-fout ontvangt, kun je:- Later opnieuw proberen: Wacht een korte periode voordat je je verzoek opnieuw probeert;
- Verzoeken optimaliseren: Verminder de verzoekfrequentie;
- Snelheidslimieten verhogen: Voor hogere snelheidslimieten kun je:
Als je vragen hebt, neem dan contact met ons op via Discord.