Llama vs Gemma : code et tarifs

Gemma 4 31B mène SciCode avec 45.49% contre 31.71%. Gemma 4 31B a le coût illustré le plus bas à $0.0018 ; l’autre modèle coûte $0.00355.

Mis à jour · 4 sources · Méthodologie

CritèreGagnantÉcartPreuve
SciCode (%)Gemma 4 31B13.78 ppLlama 4 Maverick 31.71% / Gemma 4 31B 45.49%12
Vitesse de sortie (tokens/s)Llama 4 Maverick14.5 tokens/sLlama 4 Maverick 50.0 / Gemma 4 31B 35.5 tokens/s
AA : délai avant le premier token de réponse (s)Llama 4 Maverick49.07 sLlama 4 Maverick 0.97 s / Gemma 4 31B 50.04 s
Coût estimé par requêteGemma 4 31B$0.0017510K + 1K: Llama 4 Maverick $0.00355 / Gemma 4 31B $0.0018

Évaluations AA de qualité du code

MesureLlama 4 MaverickGemma 4 31B (Reasoning)
SciCode (%)31.71145.492

Performances

MesureLlama 4 MaverickGemma 4 31B (Reasoning)
Vitesse de sortie (tokens/s)50.035.5
AA : délai avant le premier token de réponse (s)0.9750.04

Tarifs et coût par requête

MesureLlama 4 Maverick · Novita AIGemma 4 31B · Novita AI
Entrée / 1M tokens$0.273$0.144
Sortie / 1M tokens$0.853$0.44
Fenêtre de contexte (tokens)1,048,5763262,1444
Sortie maximale (tokens)8,1923131,0724
Documentation de l’APINovita AI · Chat API
Exemple : 10,000 tokens en entrée + 1,000 en sortie facturée
Llama 4 Maverick$0.00355
Gemma 4 31B$0.0018

Programmation, raisonnement, contexte et coût

Benchmark de programmation

  • AA SciCode : Llama 4 Maverick 31.71% / Gemma 4 31B 45.49%.12

Benchmark de raisonnement

  • Avec les réglages indiqués, l’attente AA avant la première réponse est de 0.97 s pour Llama 4 Maverick et de 50.04 s pour Gemma 4 31B.12

Fenêtre de contexte (tokens)

  • Llama est le choix de capacité avec 1,048,576 tokens ; Gemma se limite à 262,144.12

Coût estimé par requête

  • Les mêmes quantités de tokens sans cache coûtent $0.00355 pour Llama 4 Maverick et $0.0018 pour Gemma 4 31B.12

Méthodologie et sources

SciCode est l’évaluation de programmation scientifique d’AA, exprimée en pourcentage ; un score plus élevé est meilleur. Elle est distincte du test de performance avec 10,000 tokens d’entrée et n’évalue pas Cline dans l’éditeur. Qualité et performances utilisent les configurations indiquées à côté des modèles. Un AA v5 Intelligence Index actuel apparaît uniquement si les deux modèles ont une valeur publiée. Les performances AA utilisent le test avec 10,000 tokens d’entrée et la configuration affichée de chaque modèle ; les réglages de raisonnement varient. La vitesse est le débit de sortie médian. La latence de réponse mesure le premier token de réponse après le raisonnement, et non le premier fragment de raisonnement diffusé. Pour le raisonnement non diffusé et les modèles sans raisonnement, AA indique le même événement pour le premier fragment et la première réponse. AA estime cette latence à partir de la réponse initiale et de la durée du raisonnement ; ce n’est pas une médiane échantillonnée séparément. Il s’agit de déploiements de référence, sans garantie pour les endpoints Novita. L’exemple sans cache facture 10,000 tokens d’entrée et 1,000 de sortie au tarif du vendeur indiqué ; il ne représente pas le coût du test AA. Prix, limites de contexte et de sortie proviennent des sources des vendeurs cités.

  1. Artificial Analysis · Llama 4 Maverick · qualité et performances
  2. Artificial Analysis · Gemma 4 31B (Reasoning) · qualité et performances
  3. Novita AI · Llama 4 Maverick · tarifs et limites de l’endpoint
  4. Novita AI · Gemma 4 31B · tarifs et limites de l’endpoint

Développez avec Novita Model APIs

Créez une clé API et connectez votre application.

Commencez à développerExplorez les modèles