Auswahlhilfe

Beste KI-Inferenzplattformen: Kosten, Leistung und Grenzen

Novita AI verbindet 200+ Modelle mit Agent Sandbox, Together AI bietet reservierten Durchsatz per Vertrag und DeepInfra das GPT-OSS-120B-Beispiel für $0.00054; OpenRouter ergänzt Routing zwischen Anbietern.

Aktualisiert · 15 Quellen · Methodik

BedarfEmpfehlungBegründung
Niedrigste BeispielkostenOpenRouter$0.0004512
Höchste gemessene AusgaberateGroq473 tokens/s3
Kürzeste gemessene AnfangswartezeitTogether AI0.47 s3

Leistung

Leistung

GPT-OSS 120B · Artificial Analysis (AA)-Anbieter-Snapshot · hohe Reasoning-Stufe · 10,000 Eingabetokens.

Wischen, um alle Spalten zu sehen

AnbieterAusgabegeschwindigkeit (tokens/s)Mediane Zeit bis zum ersten Chunk (s)Endpoint Accuracy Index v1.0
Novita AI3228.9193%
DeepInfra336.7198%
Groq3473.6590%
Together AI3118.4781%
Fireworks AI3Kein Eintrag für diesen Endpunkt im AA-Snapshot——
OpenRouter3Abhängig von der gewählten Upstream-Route——

Funktionen und Bereitstellungsbedingungen

Funktionen und Bereitstellungsbedingungen

Wischen, um alle Spalten zu sehen

AnbieterAPI und Modell-IDBereitstellung und Kapazität
Novita AI456https://api.novita.ai/openaiÜber ein Konto sind 200+ Modelle sowie Bild-, Video-, Audio-, Agent-Sandbox- und GPU-Produkte verfügbar. GPT-OSS 120B hat eine angegebene Ausgabegrenze von 32K Tokens.
DeepInfra78https://api.deepinfra.com/v1/openaiDer Standardendpunkt von GPT-OSS 120B ist von Turbo getrennt. Standardmäßig gelten 200 gleichzeitige Anfragen je Modell, keine 200 Anfragen pro Minute.
Groq910https://api.groq.com/openai/v1Der kostenlose GPT-OSS-120B-Tarif nennt 30 RPM, 1K RPD, 8K TPM und 200K TPD. Für den kostenpflichtigen Developer-Tarif gelten andere Grenzen.
Together AI111213https://api.together.xyz/v1Together nennt 200+ Modelle und gesonderte Verträge für reservierten Durchsatz. Serverless bietet keine Kapazitätsgarantie und kann bei hoher Nachfrage 429 oder 503 zurückgeben.
Fireworks AI1415https://api.fireworks.ai/inference/v1GPT-OSS-120B-Cache-Eingabe kostet $0.015 je 1M Tokens. On-Demand-Bereitstellungen nutzen dedizierte GPUs; kontoweite Anfragequoten gelten weiterhin.
OpenRouter12https://openrouter.ai/api/v1Zu den Modi gehören Balanced, Nitro, Floor und Exacto. Die günstigste gelistete GPT-OSS-120B-Route kostet $0.03/$0.15; Aufladegebühren und Routenbedingungen sind gesondert zu betrachten.

Preise

Preise und Anfragekosten

Wischen, um alle Spalten zu sehen

AnbieterEingabe / 1M tokensAusgabe / 1M tokens
Novita AI456$0.05$0.25
DeepInfra78$0.037$0.17
Groq910$0.15$0.60
Together AI111213$0.15$0.60
Fireworks AI1415$0.15$0.60
OpenRouter12
Abhängig von der gewählten Upstream-Route		$0.03$0.15
Kostenbeispiel: 10,000 Eingabe- + 1,000 abgerechnete Ausgabetokens
Novita AI$0.00075
DeepInfra$0.00054
Groq$0.00210
Together AI$0.00210
Fireworks AI$0.00210
OpenRouter$0.00045

Optionen, Stärken und Einschränkungen

Optionen, Stärken und Einschränkungen

  1. OpenRouter

    Eine Routing-Plattform für Anwendungen, die zwischen Inferenzanbietern wählen oder wechseln.

    Eingabe / 1M tokens
    $0.03
    Ausgabe / 1M tokens
    $0.15
    Geschätzte Anfragekosten
    $0.00045

    Stärken

    • Beim gleichen Beispiel mit 10,000 Eingabe- und 1,000 Ausgabetokens kostet OpenRouter $0.00045, gegenüber $0.00075 bei Novita AI.12

    Einschränkungen

    • OpenRouter ergänzt eine Routing-Schicht statt eines GPU-Vertrags; der Mindestpreis $0.03/$0.15 hängt vom gewählten GPT-OSS-120B-Anbieter ab.

    Quellen:12 · OpenRouter-Alternativen

  2. DeepInfra

    Eine günstige Option für direkte Inferenz mit getrennten Tarifen für Standard- und Turbo-Endpunkte.

    Eingabe / 1M tokens
    $0.037
    Ausgabe / 1M tokens
    $0.17
    Geschätzte Anfragekosten
    $0.00054

    Stärken

    • Beim gleichen Beispiel mit 10,000 Eingabe- und 1,000 Ausgabetokens kostet DeepInfra $0.00054, gegenüber $0.00075 bei Novita AI.78

    Einschränkungen

    • DeepInfras Standardendpunkt liefert 36 tokens/s zu $0.037/$0.17. Turbo hat eigene Preise und Leistungswerte; die günstigeren Standardtarife gelten daher nicht für den schnelleren Dienst.3

    Quellen:78 · Novita AI vs DeepInfra

  3. Novita AI

    Eine Inferenzplattform für Agenten, die Modell-APIs und Sandbox-Ausführung in einem Konto benötigen.

    Eingabe / 1M tokens
    $0.05
    Ausgabe / 1M tokens
    $0.25
    Geschätzte Anfragekosten
    $0.00075

    Stärken

    • Novita vereint Modell-APIs, Agent Sandbox und GPU-Produkte in einem Konto für Anwendungen, die auch Agentenaufgaben ausführen; das Tokenkostenbeispiel für GPT-OSS 120B beträgt hier $0.00075.456

    Einschränkungen

    • Ein gemeinsames Konto hebt Novita AIs Ausgabelimit von 32K nicht auf. Der Median bis zum ersten Chunk ist mit 0.91 s länger als Groqs 0.65 s.3

    Quellen:456

  4. Groq

    Eine direkte API mit Fokus auf schnelles Antwort-Streaming der unterstützten Modelle.

    Eingabe / 1M tokens
    $0.15
    Ausgabe / 1M tokens
    $0.60
    Geschätzte Anfragekosten
    $0.00210

    Stärken

    • Groq erreicht 473 tokens/s in diesem AA-Snapshot; Novita AI kostet $0.00075 je Beispiel mit festen Tokenmengen.9103

    Einschränkungen

    • Groqs Geschwindigkeit kostet $0.15/$0.60 je 1M Eingabe-/Ausgabetokens, mehr als Novita AIs $0.05/$0.25. Die verfügbare Kapazität hängt weiterhin vom gewählten Modell und Tarif ab.

    Quellen:910 · Novita AI vs Groq

  5. Together AI

    Serverless und reservierter Durchsatz für Teams, die zwischen geteilter und vertraglich zugesicherter Kapazität wählen.

    Eingabe / 1M tokens
    $0.15
    Ausgabe / 1M tokens
    $0.60
    Geschätzte Anfragekosten
    $0.00210

    Stärken

    • Together hat hier den niedrigsten gemessenen Erst-Chunk-Median von 0.47 s; Novita AI kostet $0.00075 je Beispiel.1112133

    Einschränkungen

    • Together AIs $0.15/$0.60 je 1M Eingabe-/Ausgabetokens liegen über Novita AIs $0.05/$0.25. Bei der Wahl der Serverless-Kapazität bleiben Modell- und Tariflimits relevant.

    Quellen:111213 · Novita AI vs Together AI

  6. Fireworks AI

    Serverless-Inferenz mit Cache-Eingabetarifen und einer separaten Option für dedizierte GPU-Bereitstellung.

    Eingabe / 1M tokens
    $0.15
    Ausgabe / 1M tokens
    $0.60
    Geschätzte Anfragekosten
    $0.00210

    Stärken

    • Fireworks unterstützt Serverless-Zugriff und dedizierte GPU-Bereitstellungen; gecachte GPT-OSS 120B-Eingaben sind mit $0.015 pro 1M Tokens gelistet.1415

    Einschränkungen

    • Dedizierte GPU-Kapazität zählt weiterhin zu Fireworks’ Kontoquoten. Konten mit Zahlungsmittel und aktivem Guthaben haben eine Obergrenze von 6,000 RPM.

    Quellen:1415 · Novita AI vs Fireworks AI

Methodik

Methodik und Quellen

Diese Auswahl vergleicht sechs Plattformoptionen für GPT-OSS 120B. Die AA-Zeilen beschreiben direkte Anbieter mit Reasoning-Stufe high, 10,000 Eingabetokens und Medianen über 72 Stunden für Ausgabegeschwindigkeit und Zeit bis zum ersten Datenblock; dieser kann bereits Reasoning enthalten. Gemessen wird nicht die Wartezeit bis zum ersten Antworttoken. Der Endpoint Accuracy Index bezieht sich auf einen Referenzendpunkt und ist keine Erfolgsquote für Aufgaben. Diese Messwerte beschreiben nicht den Routing-Overhead von OpenRouter; Fireworks hat im verwendeten AA-Snapshot keinen Eintrag.

Die Rangfolge verwendet das Kostenbeispiel mit 10,000 Eingabetokens ohne Cache und 1,000 abgerechneten Ausgabetokens einschließlich Reasoning. Bei OpenRouter gilt der niedrigste veröffentlichte Routenpreis vor den Gebühren für den Guthabenkauf. Dieser Mindestpreis ist kein festes Angebot eines bestimmten Anbieters; auch Kataloge und Kapazitätsverträge haben unterschiedliche Geltungsbereiche. Steuern, Wiederholungsversuche, Rabatte und vertraglich vereinbarte Kapazität sind ausgeschlossen. Novita AI bietet einen der verglichenen Dienste an und veröffentlicht diese Seite anhand öffentlicher Quellen ohne eigenen Benchmark.

  1. OpenRouter · GPT-OSS 120B openrouter.ai · Geprüft 2026-10-15
  2. OpenRouter · FAQ openrouter.ai · Geprüft 2026-10-15
  3. Artificial Analysis · GPT-OSS 120B Providers artificialanalysis.ai · Geprüft 2026-10-15
  4. Novita AI · GPT-OSS 120B novita.ai · Geprüft 2026-10-15
  5. Novita AI · Platform novita.ai · Geprüft 2026-10-15
  6. Novita AI · Batch docs.novita.ai · Geprüft 2026-10-15
  7. DeepInfra · GPT-OSS 120B deepinfra.com · Geprüft 2026-10-15
  8. DeepInfra · Rate Limits deepinfra.com · Geprüft 2026-10-15
  9. Groq · GPT-OSS 120B console.groq.com · Geprüft 2026-10-15
  10. Groq · Rate Limits console.groq.com · Geprüft 2026-10-15
  11. Together AI · GPT-OSS 120B www.together.ai · Geprüft 2026-10-15
  12. Together AI · Model Library www.together.ai · Geprüft 2026-10-15
  13. Together AI · Rate Limits docs.together.ai · Geprüft 2026-10-15
  14. Fireworks AI · GPT-OSS 120B fireworks.ai · Geprüft 2026-10-15
  15. Fireworks AI · Account Quotas docs.fireworks.ai · Geprüft 2026-10-15

Mit Novita Model APIs entwickeln

API-Schlüssel erstellen und die Anwendung verbinden.

Jetzt entwickelnModelle ansehen

Alles, was Sie brauchen, um produktionsreife AI zu entwickeln.

Über 200 Modelle, GPUs auf Abruf und sichere Agent-Runtimes — vereint unter einer API. Kostenlos zum Einstieg, skaliert mit Ihrem Wachstum.