> ## Documentation Index > Fetch the complete documentation index at: https://novita.ai/docs/llms.txt > Use this file to discover all available pages before exploring further. # Batch-inferentie export const BatchApiModels = () => { if (typeof document === "undefined") { return null; } else { let attempts = 0; const maxAttempts = 50; const INIT_DISPLAY_COUNT = 3; const interval = setInterval(() => { const clientComponent = document.getElementById("batch-api-models"); if (clientComponent && window.novitaRemoteData.llmModels.status === 'loaded') { const modelList = window.novitaRemoteData.llmModels.data.filter(model => { return (model.endpoints || []).includes('batch-api'); }); let displayModels = modelList.slice(0, INIT_DISPLAY_COUNT).map(model => { return `
  • ${model.id}
    • `; }).join(''); let showMoreButton = ''; if (modelList.length > INIT_DISPLAY_COUNT) { showMoreButton = ``; } clientComponent.innerHTML = ` ${showMoreButton} `; document.getElementById('show-more-batch-api-model-btn')?.addEventListener('click', () => { clientComponent.innerHTML = ` `; }); clearInterval(interval); } attempts++; if (attempts >= maxAttempts) { clearInterval(interval); } }, 200); return
    ; } }; De Batch API voor Large Language Models maakt asynchrone verwerking van talrijke inferentieverzoeken mogelijk en is volledig compatibel met de OpenAI API-standaard. De Batch API is een kosteneffectieve oplossing wanneer directe inferentieresultaten niet nodig zijn. Deze biedt hogere snelheidslimieten dan online aanroepen en zorgt ervoor dat resultaten binnen een redelijke termijn van 24 uur worden geleverd. Deze API is ideaal voor: * Het uitvoeren van evaluaties en data-analyse. * Het classificeren van uitgebreide datasets. * Het genereren van documentsamenvattingen in een offline modus. Ondersteunde modellen: ## Snelstart ### 1. Batchbestanden voorbereiden De Batch API gebruikt bestanden in .jsonl-indeling als invoer, waarbij elke regel de details van een API-inferentieverzoek vertegenwoordigt. Beschikbare endpoints zijn `/v1/chat/completions` en `/v1/completions`. Stel de parameter `endpoint` in op `/v1/chat/completions` of `/v1/completions` voor compatibiliteit met de OpenAI API. Elk verzoek moet een unieke `custom_id` bevatten om inferentieresultaten na voltooiing van de batch in het uitvoerbestand te kunnen lokaliseren. Parameters in het veld `body` van elke regel worden als daadwerkelijke inferentieverzoekparameters naar het endpoint verzonden. Alle verzoeken binnen één batch-JSONL-bestand moeten op hetzelfde model zijn gericht. Meng geen verzoeken voor verschillende modellen in één batch. Hieronder staat een voorbeeldinvoerbestand met 2 verzoeken: ```JSON theme={"system"} {"custom_id": "request-1", "body": {"model": "deepseek/deepseek-v3-0324", "messages": [{"role": "user", "content": "Hello, world!"}], "max_tokens": 400}} {"custom_id": "request-2", "body": {"model": "deepseek/deepseek-v3-0324", "messages": [{"role": "system", "content": "You are a helpful assistant."},{"role": "user", "content": "Hello world!"}],"max_tokens": 1000}} ``` ### 2. Batchinvoerbestand uploaden Upload het batchinvoerbestand om ervoor te zorgen dat er nauwkeurig naar kan worden verwezen bij het maken van een batch. Gebruik de Files API om uw .jsonl-bestand te uploaden en stel het doel in op `batch`. Houd er rekening mee dat het bestand 15 dagen wordt bewaard. Raadpleeg voor informatie over het verkrijgen van een API key [API Key Management](/docs/nl/api-reference/basic-authentication). Codevoorbeeld **Python** ```python theme={"system"} from openai import OpenAI client = OpenAI( base_url="https://api.novita.ai/openai/v1", api_key="", ) batch_input_file = client.files.create( file=open("batch_input.jsonl", "rb"), purpose="batch", ) print(batch_input_file) ``` **Curl** ```bash theme={"system"} export API_KEY="" curl --request POST \ --url https://api.novita.ai/openai/v1/files \ --header 'Authorization: Bearer ${API_KEY}' \ --form 'file=@"/your/batch_input.jsonl"' \ --form 'purpose="batch"' ``` Voorbeeldrespons na een succesvolle bestandsupload: ``` { "id": "file_d2co***as73c0cjd0", "object": "file", "bytes": 238, "filename": "batch_input.jsonl", "created_at": 1754894162, "purpose": "batch", "metadata": { "total_requests": 2 } } ``` ### 3. Een batch maken Zodra het invoerbestand succesvol is geüpload, kunt u een batch starten met behulp van de ID van het geüploade File-object. Het voltooiingsvenster is vast ingesteld op `24h` en kan momenteel niet worden aangepast. Codevoorbeeld **Python** ```python theme={"system"} from openai import OpenAI client = OpenAI( base_url="https://api.novita.ai/openai/v1", api_key="", ) batch = client.batches.create( input_file_id="file_d2cor0es1cas73c0cj60", endpoint="/v1/chat/completions", completion_window="24h" ) print(batch) ``` **Curl** ```bash theme={"system"} export API_KEY="" curl --request POST \ --url https://api.novita.ai/openai/v1/batches \ --header 'Content-Type: application/json' \ --header 'Authorization: Bearer ${API_KEY}' \ --data '{ "input_file_id": "file_d2co***as73c0cjd0", "endpoint": "/v1/chat/completions", "completion_window": "24h" }' ``` Dit verzoek levert een Batch-object op dat metadata over uw batch bevat, zoals geïllustreerd in het onderstaande voorbeeld: ```JSON theme={"system"} { "id": "batch_d2cq***73a68lu0", "object": "batch", "endpoint": "/v1/chat/completions", "input_file_id": "file_d2co***as73c0cjd0", "output_file_id": "", "error_file_id": "", "completion_window": "24h", "in_progress_at": null, "expires_at": null, "finalizing_at": null, "completed_at": null, "failed_at": null, "expired_at": null, "cancelling_at": null, "cancelled_at": null, "status": "validating", "errors": "", "version": 0, "created_at": "2025-08-11T16:31:52.949816948+08:00", "updated_at": null, "created_by": "8f242aa1-f725-4a67-8***9-cb68025e0976", "created_by_key_id": "key_cc19f96c***e7390644a37da21", "remark": "", "total": 0, "completed": 0, "failed": 0, "metadata": null, "request_counts": { "total": 0, "completed": 0, "failed": 0 } } ``` ### 4. De status van een batch controleren U kunt op elk moment de status van een batch controleren om de nieuwste batchinformatie te ontvangen. De status-enumeratiewaarden van het Batch-object zijn als volgt:
    Status Beschrijving
    VALIDATING Het invoerbestand wordt gevalideerd voordat de batch kan beginnen
    PROGRESS Batch wordt uitgevoerd
    COMPLETED Batchverwerking succesvol voltooid
    FAILED Batchverwerking mislukt
    EXPIRED Batch heeft de deadline overschreden
    CANCELLING Batch wordt geannuleerd
    CANCELLED Batch is geannuleerd
    Codevoorbeeld **Python** ```python theme={"system"} from openai import OpenAI client = OpenAI( base_url="https://api.novita.ai/openai/v1", api_key="", ) batch = client.batches.retrieve("batch_d2cq***73a68lu0") print(batch) ``` **Curl** ```bash theme={"system"} export API_KEY="" curl --request GET \ --url https://api.novita.ai/openai/v1/batches/{batch_id} \ --header 'Content-Type: application/json' \ --header 'Authorization: Bearer ${API_KEY}' ``` ### 5. De resultaten ophalen Zodra de batch-inferentie is voltooid, kunt u het uitvoerbestand met resultaten downloaden met behulp van het veld `output_file_id` uit het Batch-object. Het uitvoerbestand met resultaten wordt 30 dagen na afloop van de batch-inferentie verwijderd, dus haal het tijdig op via de interface. Codevoorbeeld **Python** ```python theme={"system"} from openai import OpenAI client = OpenAI( base_url="https://api.novita.ai/openai/v1", api_key="", ) content = client.files.content("example-250811-1") print(content.read()) ``` **Curl** ```bash theme={"system"} export API_KEY="" curl --request GET \ --url https://api.novita.ai/openai/v1/files/{file_id}/content \ --header 'Content-Type: application/json' \ --header 'Authorization: Bearer ${API_KEY}' ``` De respons retourneert de ruwe bestandsinhoud. Voor batchuitvoerbestanden bevat elke regel een respons zoals deze: ```json theme={"system"} { "custom_id": "request-2589", "error": null, "id": "batch_req_task_d2c", "response": { "body": { "id": "29e1432c-edfb-44a4-b531-c23c600abfae", "object": "chat.completion", "created": 1754902266, "model": "deepseek-test", "choices": [ { "index": 0, "message": { "role": "assistant", "content": "Hello! 👋 How can I assist you today? 😊" }, "finish_reason": "stop" } ], "usage": { "prompt_tokens": 5, "completion_tokens": 13, "total_tokens": 18 } }, "request_id": "request-2589", "status_code": 200 } } ``` ## Instructies ### Beperkingen 1. Elke batch kan maximaal 50.000 verzoeken bevatten.
    2. De maximale invoerbestandsgrootte per batch is 100MB. ### Foutafhandeling Fouten die tijdens batchverwerking optreden, worden vastgelegd in een afzonderlijk foutbestand, dat toegankelijk is via het veld error\_file\_id. Veelvoorkomende foutcodes zijn:
    Foutcode Beschrijving Oplossing
    400 Ongeldige verzoekindeling Controleer de JSONL-syntaxis en vereiste velden
    401 Authenticatie mislukt Controleer API key
    404 Batch niet gevonden Controleer batch-ID
    429 Snelheidslimiet overschreden Verlaag de verzoekfrequentie
    500 Serverfout Neem contact met ons op
    ### Vervallen van batches Batches die niet binnen 24 uur zijn voltooid, gaan over naar de status EXPIRED. Niet-voltooide verzoeken worden geannuleerd, terwijl voltooide verzoeken via een uitvoerbestand worden geleverd. U betaalt alleen voor tokens die zijn verbruikt door voltooide verzoeken. De batch doet er alles aan om binnen 24 uur te voltooien. ## Alle Batch API's 1. [Batch maken](/docs/nl/api-reference/model-apis-llm-create-batch) 2. [Batch ophalen](/docs/nl/api-reference/model-apis-llm-retrieve-batch) 3. [Batch annuleren](/docs/nl/api-reference/model-apis-llm-cancel-batch) 4. [Batches weergeven](/docs/nl/api-reference/model-apis-llm-list-batches) 5. [Bestand uploaden](/docs/nl/api-reference/model-apis-llm-upload-batch-input-file) 6. [Bestanden weergeven](/docs/nl/api-reference/model-apis-llm-list-files) 7. [Bestand ophalen](/docs/nl/api-reference/model-apis-llm-query-file) 8. [Bestand verwijderen](/docs/nl/api-reference/model-apis-llm-delete-file) 9. [Bestandsinhoud ophalen](/docs/nl/api-reference/model-apis-llm-retrieve-file-content)