Limits im Überblick
Tokens pro Minute rechnet jede laufende Anfrage unabhängig von ihrer Größe mit etwa 2,0 bis 2,3 Millionen Tokens an. Der Standardwert erlaubt daher zwei Anfragen gleichzeitig. Siehe Wie Tokens pro Minute gezählt werden.
Die Werte für Anfragen pro Minute, Tokens pro Minute und Gleichzeitige Anfragen sind Standardwerte. Hat DeepMask sie für Ihre Organisation erhöht, zeigt die Karte API-Limits Ihre Werte. Die Limits für Schlüssel, Protokolle und Exporte finden Sie unter Kontolimits.
Token-Durchsatz
Tokens pro Minute begrenzt den Token-Durchsatz Ihrer Organisation. Alle Ihre Schlüssel teilen sich dieses Limit, und der Standardwert ist 5.000.000. DeepMask wendet es auf zwei Arten an:- Laufende Anfragen: Die Anfragen aller Ihrer Schlüssel, die gerade laufen, dürfen zusammen nicht mehr als Ihren Wert für Tokens pro Minute ausmachen. Eine neue Anfrage, die ihn überschreiten würde, gibt
429mitAPI_TPM_LIMITzurück. - Tatsächliche Tokens: Auch der tatsächliche Tokenverbrauch Ihrer Organisation pro Minute ist auf den Wert von Tokens pro Minute begrenzt. Eine Anfrage, die aus diesem Grund abgelehnt wird, erhält
429mitAPI_RATE_LIMIT.
Wie Tokens pro Minute gezählt werden
Solange eine Anfrage läuft, rechnet DeepMask sie mit einer festen Größe für ihr Modell auf Tokens pro Minute an, nicht mit ihrer tatsächlichen Größe. Diese Größe beträgt je nach maximaler Ausgabe des Modells etwa 2,0 bis 2,3 Millionen Tokens. Sobald eine Anfrage abgeschlossen ist, zählt sie nicht mehr. Ein kurzer Prompt zählt daher genauso viel wie ein langer, und ein niedrigerermax_tokens-Wert senkt den angerechneten Wert nicht.
In der Praxis wirkt Tokens pro Minute dadurch wie ein zweites Limit für parallele Anfragen. Mit dem Standardlimit von 5.000.000 können zwei Anfragen gleichzeitig laufen, unabhängig davon, welche Modelle sie verwenden. Eine dritte Anfrage passt erst hinein, wenn eine der beiden abgeschlossen ist. Das entspricht dem Standardlimit für Gleichzeitige Anfragen, daher erreichen Sie meist zuerst API_CONCURRENCY_LIMIT. Hat Ihre Organisation ein höheres Limit für gleichzeitige Anfragen, erreichen Sie möglicherweise stattdessen API_TPM_LIMIT.
So nutzen Sie Ihren Durchsatz optimal:
- Führen Sie höchstens so viele Anfragen parallel aus, wie Ihr Wert für Gleichzeitige Anfragen erlaubt. Siehe Parallele Anfragen in Ihrer Anwendung begrenzen.
- Fordern Sie nach Möglichkeit kürzere Antworten an. Eine Anfrage, die früher abgeschlossen ist, gibt ihren Anteil an Tokens pro Minute früher frei.
- Starten Sie keine Anfragen, die Sie womöglich wieder abbrechen. Sobald DeepMask eine Anfrage an das Modell gesendet hat, stoppt ein Verbindungsabbruch sie nicht. DeepMask führt sie zu Ende, und sie wird weiter auf Tokens pro Minute angerechnet, bis sie abgeschlossen ist.
Ratenlimits
DeepMask begrenzt, wie viele Anfragen Ihre Organisation, jeder Schlüssel und jedes Modell verarbeiten können. Überschreitet eine Anfrage eines dieser Limits, wird sie sofort mit einem429-Fehler abgelehnt. Sie wird nicht in eine Warteschlange gestellt. Die einzelnen Codes finden Sie unter 429: Raten- und Kapazitätslimits.
Anfragen pro Minute
Anfragen pro Minute zählt die Anfragen aller Ihrer Schlüssel in den letzten 60 Sekunden. Der Standardwert ist 60.- Anfragen, die DeepMask vor der Verarbeitung ablehnt, zählen nicht mit, zum Beispiel bei ungültigen Anmeldedaten, einer ungültigen Anfrage, einem erreichten Limit oder einem erreichten Ausgabenlimit.
- Anfragen, die erst später abgelehnt werden, zum Beispiel vom Modellanbieter, zählen trotzdem.
- Anfragen, die ein Ausgabenlimit blockiert hat, erscheinen dennoch im Anfrageprotokoll, obwohl sie hier nicht zählen.
429 mit API_RPM_LIMIT zurück. Einige Anfragen über dem Anfragevolumen Ihrer Organisation erhalten stattdessen API_RATE_LIMIT. Behandeln Sie beide gleich: Senden Sie Anfragen in größeren Abständen und wiederholen Sie sie mit Backoff.
Gleichzeitige Anfragen
Gleichzeitige Anfragen zählt die Anfragen aller Ihrer Schlüssel, die gerade laufen. Der Standardwert ist 2.- Eine gestreamte Anfrage zählt, bis ihr Stream endet.
- Eine Anfrage zählt weiter, nachdem Ihre Anwendung die Verbindung getrennt hat oder in ein Timeout gelaufen ist, denn DeepMask führt sie trotzdem zu Ende. Eine Wiederholung direkt nach einem Timeout kann daher
429mitAPI_CONCURRENCY_LIMITzurückgeben. - Eine neue Anfrage über dem Limit gibt
429mitAPI_CONCURRENCY_LIMITzurück. - Viele Anfragen, die im selben Moment eintreffen, können auch unterhalb Ihrer Limits
429mitAPI_CONCURRENCY_LIMIToder409mitAPI_ACCOUNT_BUSYzurückgeben. Verteilen Sie sie über einen kurzen Zeitraum.
Parallele Anfragen in Ihrer Anwendung begrenzen
Um429-Fehler zu vermeiden, führen Sie in Ihrer Anwendung höchstens so viele Anfragen parallel aus, wie Ihr Wert für Gleichzeitige Anfragen erlaubt. Nutzen mehrere Anwendungen die Schlüssel Ihrer Organisation, teilen sie sich dieses Limit. Teilen Sie es daher zwischen ihnen auf.
Die folgenden Beispiele senden drei Prompts, führen aber höchstens zwei Anfragen gleichzeitig aus. Das Node.js-Beispiel verwendet Top-Level-await. Führen Sie es daher als ES-Modul aus, zum Beispiel als .mjs-Datei.
Flood Guard pro Schlüssel
Jeder Schlüssel hat außerdem einen Flood Guard von 120 Anfragen pro Minute. Das ist das Doppelte des Standardlimits für Anfragen pro Minute. Mit den Standardlimits erreichen Sie daher normalerweise zuerst das Limit Ihrer Organisation. Mit höheren Limits kann ein einzelner Schlüssel zuerst seinen Flood Guard erreichen. Siehe Höhere Limits anfordern. Der Flood Guard zählt jede Anfrage, die der Schlüssel sendet, einschließlich abgelehnter Anfragen und Aufrufe vonGET /v1/models. Ein Client, der Anfragen zu schnell wiederholt, kann ihn daher auch dann erreichen, wenn die Limits Ihrer Organisation seine Anfragen bereits ablehnen. Eine Anfrage über dem Flood Guard gibt 429 mit API_RATE_LIMIT zurück.
Eine 429-Antwort des Flood Guards enthält einen Header Retry-After. Andere 429-Antworten enthalten ihn nicht. Antworten enthalten außerdem die Header RateLimit und RateLimit-Policy, zum Beispiel RateLimit-Policy: 120;w=60. Sie beschreiben nur diesen Flood Guard pro Schlüssel, nicht die Limits Anfragen pro Minute, Tokens pro Minute oder Gleichzeitige Anfragen Ihrer Organisation.
Anfragen in Bearbeitung pro Schlüssel
Jeder Schlüssel kann bis zu 8 Anfragen gleichzeitig in Bearbeitung haben. Die Anfragetexte, die ein Schlüssel in Bearbeitung hat, dürfen zusammen bis zu 64 MiB groß sein.- Die Zahl der Anfragen in Bearbeitung umfasst auch Aufrufe von
GET /v1/models. - Ein Anfragetext, der ohne Header
Content-Lengthgesendet wird, zählt als 32 MiB. - Eine Anfrage zählt so lange mit, bis DeepMask sie abgeschlossen hat, auch wenn Ihr Client die Verbindung trennt oder in ein Timeout läuft.
- Eine Anfrage über einem der beiden Limits gibt
429mitAPI_CONCURRENCY_LIMITzurück. Diese Ablehnungen erscheinen nicht im Anfrageprotokoll.
429 zurück, bis eine der beiden abgeschlossen ist.
Modellkapazität
Jedes Modell hat ein Kapazitätslimit, das sich alle Organisationen teilen, die das Modell über die API nutzen. DeepMask legt dieses Limit fest, und die App zeigt es nicht an. Hat ein Modell sein Kapazitätslimit erreicht, geben Anfragen für dieses Modell429 mit API_MODEL_CAPACITY zurück. Das kann auch passieren, wenn Ihre Organisation unter ihren eigenen Limits liegt. Ihre anderen Modelle funktionieren weiter. Wiederholen Sie die Anfrage mit Backoff oder wechseln Sie zu einem anderen Modell, das Ihr Schlüssel nutzen darf.
Auch der Modellanbieter kann Anfragen begrenzen. Sie erhalten dann 429 mit API_RATE_LIMIT, und es fallen keine Kosten an. Wiederholen Sie die Anfrage mit Backoff.
Token-Limits
Token-Limits gelten für jede einzelne Anfrage. Die Werte der einzelnen Modelle finden Sie unter Verfügbare Modelle.Kontextfenster
Ihr Prompt und die Ausgabe des Modells teilen sich das Kontextfenster des Modells. Ein langer Prompt lässt daher weniger Platz für die Ausgabe. DeepMask prüft die Länge Ihres Prompts nicht selbst. Einen Prompt, der nicht hineinpasst, lehnt der Modellanbieter mit einem4xx-Status und API_UPSTREAM_REJECTED ab, und diese Ablehnung wird nicht abgerechnet. Das Kontextfenster jedes Modells finden Sie unter Verfügbare Modelle.
Maximale Ausgabe-Tokens
max_tokens legt die maximale Anzahl an Ausgabe-Tokens für eine Antwort fest. max_completion_tokens funktioniert genauso.
- Wertebereich: Der Wert liegt zwischen 1 und dem Wert Max. Ausgabe-Tokens des Modells, der unter Verfügbare Modelle aufgeführt ist. Ein größerer Wert gibt
400mitAPI_REQUEST_UNBOUNDEDzurück. - Standardwert: Wenn Sie
max_tokensweglassen, setzt DeepMask bei den meisten Modellen kein eigenes Limit. Es gilt die Standard-Ausgabelänge des Modells, und diese kann unter dem Maximum des Modells liegen.glm-4.7undglm-4.7-flashstoppen bei 65.536 Ausgabe-Tokens, sofern Siemax_tokensnicht setzen. - Reasoning-Tokens: Verborgene Reasoning-Tokens werden auf
max_tokensangerechnet und als Ausgabe abgerechnet. Siehe Reasoning- und Thinking-Tokens.
Größe und Dauer von Anfragen
Auch diese Limits gelten für jede einzelne Anfrage.Größe von Anfragetext und Payload
- Anfragetext: Ein Anfragetext darf bis zu 32 MiB groß sein. Bei einem größeren Anfragetext erhalten Sie
413mitAPI_REQUEST_INVALID. - Nur unkomprimierte Anfragetexte: Ein Anfragetext mit einem
Content-Encoding-Header wiegzipgibt400mitAPI_REQUEST_INVALIDzurück. Die OpenAI-SDKs senden unkomprimierte Anfragetexte. - Payload: Nachrichten, Tool-Definitionen,
tool_choiceundstopdürfen zusammen bis zu 32 MiB als UTF-8-JSON umfassen. Darüber gibt die Anfrage400mitAPI_REQUEST_UNBOUNDEDzurück. Der Base64-Text Ihrer Bilder wird auf beide Limits angerechnet.
stop, finden Sie unter Anfragetext.
Bilder
Bei Modellen mit Bildeingabe kann jede Anfrage bis zu 20 Bilder und 20 MB decodierte Bilddaten enthalten. Anzahl und Größe umfassen die Bilder in allen Nachrichten, auch in früheren Runden der Unterhaltung. Jede Seite eines Bildes darf bis zu 8.000 Pixel lang sein. Das Größenlimit pro Bild hängt vom Modell ab. Eine Anfrage über einem Bildlimit gibt400 mit API_IMAGE_INVALID zurück. Die Limits der einzelnen Modelle finden Sie unter Bildlimits.
Anfragedauer
Eine Anfrage kann bis zu 15 Minuten laufen. Was beim Erreichen des Limits passiert, hängt davon ab, ob die Antwort bereits begonnen hat:- Bevor die Antwort beginnt: Die Anfrage gibt
504mitAPI_INFERENCE_UNAVAILABLEzurück. - Während eines Streams: DeepMask schließt den Stream ohne Fehler-Event. Behandeln Sie einen Stream ohne Chunk mit
finish_reasonals unvollständig. Siehe Fehler in gestreamten Antworten.
timeout=960 in Python (Sekunden) oder timeout: 960_000 in Node.js (Millisekunden). Siehe Wiederholungen in den OpenAI-SDKs.
Für Aufgaben, die länger dauern, fordern Sie eine kürzere Antwort an oder teilen Sie die Aufgabe in kleinere Anfragen auf.
Budgetlimits
Zwei Ausgabenlimits begrenzen, was Ihre Schlüssel jeden Monat für Modellkosten ausgeben können:- Das Gateway-Ausgabenlimit gilt für alle Schlüssel Ihrer Organisation zusammen. Der Standardwert ist 100 €, und Sie können es bis zum maximalen Limit erhöhen (standardmäßig 500 €).
- Ein optionales Ausgabenlimit des Schlüssels gilt für einen einzelnen Schlüssel, bis zur Höhe Ihres Gateway-Ausgabenlimits.
400 oder 429 mit API_SPENDING_CAP oder API_KEY_SPENDING_CAP zurück. Wiederholen Sie sie nicht, denn sie schlägt so lange fehl, bis das Limit geändert oder zurückgesetzt wird. Wie Sie beide Limits festlegen, erfahren Sie unter Ausgabenlimits. Die Statuscodes finden Sie unter Ausgabenlimits: 400 oder 429.
Kontolimits
Wenn das Limit für Änderungen überschritten ist, zeigt die Seite API die Meldung „Too many API management changes. Retry shortly.“ (sinngemäß: Zu viele Änderungen an der API-Verwaltung. Versuchen Sie es in Kürze erneut.)
Faire Nutzung
Alle Organisationen teilen sich die Kapazität hinter der DeepMask API. Mit den Limits auf dieser Seite sorgt DeepMask dafür, dass diese Kapazität fair verteilt wird, und setzt diese Limits automatisch durch:- Limits gelten pro Organisation. Anfragen pro Minute, Tokens pro Minute, Gleichzeitige Anfragen und das Gateway-Ausgabenlimit gelten für alle Schlüssel Ihrer Organisation zusammen. Zusätzliche Schlüssel erhöhen die Limits Ihrer Organisation nicht.
- Auch jeder Schlüssel hat eigene Limits. Der Flood Guard und die Limits für Anfragen in Bearbeitung sind für jeden Schlüssel gleich. Sie verhindern, dass ein einzelner Schlüssel mehr sendet, als die API verarbeiten kann.
- Die Modellkapazität wird geteilt. Alle Organisationen teilen sich die Kapazität jedes Modells. Ein ausgelastetes Modell kann Ihre Anfragen ablehnen, auch wenn Sie unter Ihren eigenen Limits liegen.
- Für unklare Ergebnisse gibt es ein 24-Stunden-Kontingent. Bis zu 20 Anfragen innerhalb von 24 Stunden, die ohne eindeutiges Ergebnis enden, werden kostenlos freigegeben. Für sich allein pausieren sie Ihre Anfragen nicht. Darüber hinaus pausiert jedes weitere unklare Ergebnis Ihre Anfragen, bis DeepMask es geprüft hat. Siehe Unklare Ergebnisse.
- Wiederholungen brauchen Backoff. Wiederholen Sie abgelehnte Anfragen mit Backoff, statt sie sofort erneut zu senden. Siehe Mit Backoff wiederholen.
- Chat- und API-Limits sind getrennt. API-Anfragen werden nicht auf Ihre Nachrichtenlimits in DeepMask Chat angerechnet, und Chat-Nachrichten werden nicht auf Ihre API-Limits angerechnet.
Unklare Ergebnisse
Eine Anfrage hat ein unklares Ergebnis, wenn sie ohne eindeutiges Ergebnis endet. Beispiele sind ein Serverfehler oder ein Timeout beim Modellanbieter, ein Stream, der mittendrin abbricht, und eine Anfrage, die das 15-Minuten-Limit erreicht.- Keine Kosten: DeepMask gibt eine Anfrage mit unklarem Ergebnis kostenlos frei. Für sich allein pausiert ein unklares Ergebnis die Anfragen Ihrer Organisation nicht.
- Nachträgliche Nutzung: Trifft die Nutzung für diese Anfrage später doch noch ein, rechnet DeepMask sie wie jede andere Nutzung ab. Das kann passieren, wenn der Anbieter die Antwort nach dem Fehler noch fertiggestellt hat.
- Nutzung, die geprüft werden muss: Kann DeepMask diese Nutzung nicht verifizieren, zum Beispiel weil sie als fehlgeschlagener Versuch erfasst ist, prüft DeepMask sie zuerst. Während der Prüfung sind Ihre Anfragen pausiert. Siehe Wann Anfragen pausiert werden.
- 24-Stunden-Kontingent: Bis zu 20 unklare Ergebnisse Ihrer Organisation innerhalb von 24 Stunden werden auf diese Weise freigegeben. Alle Ihre Schlüssel zählen zusammen. Unklare Ergebnisse, die älter als 24 Stunden sind, zählen nicht mehr. Die App zeigt diese Zahl nicht an.
- Über dem Kontingent: Ab dem 21. unklaren Ergebnis innerhalb von 24 Stunden prüft DeepMask jedes weitere, bevor es entscheidet, was berechnet wird. Die API-Anfragen Ihrer Organisation sind pausiert, bis DeepMask diese Ergebnisse geklärt hat.
- Nach einer Pause: Wenn DeepMask eine Pause aufhebt, wird die Zahl nicht zurückgesetzt. Jedes weitere unklare Ergebnis pausiert Ihre Anfragen erneut, bis weniger als 20 innerhalb der letzten 24 Stunden liegen.
503 zurück, und die Seite API zeigt einen Hinweis. Wiederholen Sie Anfragen nicht in einer Schleife. Wenden Sie sich an den Support, damit DeepMask die Anfragen klären kann. Welche Codes Ihre Anwendungen erhalten und welche anderen Gründe eine Pause haben kann, erfahren Sie unter Wann Anfragen pausiert werden.
Ein Verbindungsabbruch oder Timeout in Ihrer eigenen Anwendung ist kein unklares Ergebnis. Hat DeepMask die Anfrage bereits an das Modell gesendet, wird sie trotzdem abgeschlossen und abgerechnet. Trennt Ihre Anwendung die Verbindung vorher, wird die Anfrage weder gesendet noch abgerechnet.
Mit Backoff wiederholen
Eine Anfrage über einem Limit wird sofort abgelehnt. Eine sofortige Wiederholung schlägt daher meist erneut fehl. Außerdem wird sie auf den Flood Guard Ihres Schlüssels angerechnet. Wiederholen Sie Anfragen mit exponentiellem Backoff und Jitter, und warten Sie mindestens so lange, wie ein HeaderRetry-After angibt. Wiederholen Sie Anfragen mit Codes für Ausgabenlimits nicht, denn sie schlagen so lange fehl, bis das Limit geändert oder zurückgesetzt wird. Geben alle Ihre Schlüssel 503 mit API_ADMISSION_UNAVAILABLE zurück, prüfen Sie vor einer Wiederholung, ob die Seite API einen Hinweis zeigt.
Unter Fehlgeschlagene Anfragen wiederholen erfahren Sie, welche Fehler Sie wiederholen sollten, und finden ein Beispiel für eigene Wiederholungslogik.
Höhere Limits anfordern
Wenn Sie für Ihre Organisation höhere Limits wünschen, wenden Sie sich an den Support. Sie können höhere Werte für Anfragen pro Minute, Tokens pro Minute und Gleichzeitige Anfragen sowie ein höheres maximales Gateway-Ausgabenlimit anfordern.- Geben Sie an, welche Limits erhöht werden sollen, und beschreiben Sie Ihren erwarteten Datenverkehr, zum Beispiel wie viele Anfragen Sie pro Minute senden und wie viele davon gleichzeitig laufen.
- Ein höherer Wert für Gleichzeitige Anfragen hilft nur, wenn auch Tokens pro Minute so viele gleichzeitig laufende Anfragen zulässt. Jede laufende Anfrage zählt mit etwa 2,0 bis 2,3 Millionen Tokens. Nennen Sie daher beide Limits, wenn Sie sich an den Support wenden. Siehe Wie Tokens pro Minute gezählt werden.
- Höhere Limits für Ihre Organisation ändern die Limits pro Schlüssel nicht. Ein Schlüssel kann weiterhin bis zu 120 Anfragen pro Minute senden und 8 Anfragen in Bearbeitung haben. Um höhere Limits zu nutzen, verteilen Sie Ihren Datenverkehr auf mehrere Schlüssel.
- Ein höheres Limit erhöht nicht die gemeinsam genutzte Kapazität eines Modells, die DeepMask für jedes Modell festlegt. Wenn Sie viele gleichzeitige Anfragen an ein einzelnes Modell benötigen, geben Sie das an, wenn Sie sich an den Support wenden.
Verwandte Seiten
Fehler und Wiederholungen
Schlagen Sie Fehlercodes nach und erfahren Sie, welche Fehler Sie wiederholen sollten.
Ausgabenlimits
Begrenzen Sie die monatlichen Ausgaben Ihrer Organisation und jedes einzelnen Schlüssels.
Nutzung und Protokolle
Sehen Sie Ihre API-Limits ein, prüfen Sie Anfragen und exportieren Sie eine CSV-Datei.
Modelle
Vergleichen Sie Kontextfenster, maximale Ausgabe-Tokens und Bildeingabe der einzelnen Modelle.