1. Ratenlimits verstehen
Was sind Ratenlimits?
Ratenlimits beschränken die Anzahl der API-Anfragen, die innerhalb definierter Zeiträume gestellt werden können. Sie helfen dabei:- Missbrauch und Fehlverwendung der API zu verhindern;
- Eine faire Verteilung der Ressourcen unter den Benutzern sicherzustellen;
- Eine konsistente API-Leistung und Zuverlässigkeit aufrechtzuerhalten;
- Die Stabilität unserer Dienste zu schützen.
Standard-Ratenlimits
Jedes Konto hat ein Standard-Ratenlimit für Modellaufrufe, gemessen in RPM (Anfragen pro Modell pro Minute) und TPM (Tokens pro Modell pro Minute). Ratenlimits variieren je nach Kontostufe, wie in den folgenden Tabellen dargestellt.| Stufe | Wie erreichen |
|---|---|
| T1 | Monatliche Aufladungen haben in keinem der letzten 3 Kalendermonate $50 überschritten. |
| T2 | Monatliche Aufladungen lagen bei mindestens $50, haben jedoch in keinem der letzten 3 Kalendermonate $500 überschritten. |
| T3 | Monatliche Aufladungen lagen bei mindestens $500, haben jedoch in keinem der letzten 3 Kalendermonate $3,000 überschritten. |
| T4 | Monatliche Aufladungen lagen bei mindestens $3,000, haben jedoch in keinem der letzten 3 Kalendermonate $10,000 überschritten. |
| T5 | Monatliche Aufladungen lagen in mindestens einem der letzten 3 Kalendermonate bei mindestens $10,000. |
2. Umgang mit Ratenlimits
Wie überwacht man Ratenlimits?
Wenn Sie das Ratenlimit überschreiten, gibt die API Folgendes zurück:- HTTP-Statuscode: 429 (Too Many Requests);
- Eine Meldung über das Überschreiten des Ratenlimits im Antworttext.
Bewährte Vorgehensweisen
Um zu vermeiden, dass Sie Ratenlimits erreichen:- Implementieren Sie Anfragedrosselung in Ihrer Anwendung;
- Fügen Sie exponentielles Backoff für Wiederholungsversuche hinzu;
- Überwachen Sie Ihre API-Nutzungsmuster.
Wenn Sie Ratenlimits erreichen
Wenn Sie einen 429-Fehler erhalten, können Sie:- Später erneut versuchen: Warten Sie einen kurzen Zeitraum, bevor Sie Ihre Anfrage erneut versuchen;
- Anfragen optimieren: Reduzieren Sie die Anfragehäufigkeit;
- Ratenlimits erhöhen: Für höhere Ratenlimits können Sie:
Wenn Sie Fragen haben, kontaktieren Sie uns bitte auf Discord.