Mise à l'échelle de l'inférence Kimi avec le décodage spéculatif DSpark dans vLLM
Découvrez comment DSpark améliore le débit de Kimi-K2.6 et Kimi-K2.7-Code à mesure que la fenêtre spéculative passe de n=3 à n=7 dans vLLM.
Filtrer les articles par catégorie
Novita AI s'associe à Opper AI pour proposer des modèles à poids ouverts aux développeurs européens
L'inférence de Novita AI est désormais disponible sur la passerelle hébergée dans l'UE d'Opper AI, offrant aux développeurs d'agents européens l'accès à plus de 80 modèles à...
Exécuter les évaluations Harbor Agent sur Novita Agent Sandbox
Le support de Novita Agent Sandbox pour Harbor est visible sur la branche principale de Harbor. Découvrez les limites de la version avant de l'utiliser dans les évaluations...
Novita AI × CLI-Anything : CLI natif pour agents pour tous les modèles
Installez cli-anything-novita et donnez à votre agent IA un accès CLI à tous les modèles de Novita AI — DeepSeek, GLM-5, MiniMax, et bien d'autres.
Comment utiliser Novita AI avec OpenCode : Le guide de configuration ultime
Libérez tout le potentiel d'OpenCode avec Novita AI. Guide étape par étape pour connecter DeepSeek V3.2, GLM 4.7 et bien plus encore.
Optimisation de GLM4-MoE pour la production : 65 % de TTFT plus rapide avec SGLang
Alors que le modèle GLM 4.7 de pointe continue de dominer en termes de performance en codage, Novita AI reste engagée pour fournir un service GLM fiable, efficace et adapté à...
Comment utiliser Codex avec les modèles Novita AI : Guide complet de configuration
Guide étape par étape pour configurer Codex CLI avec les modèles puissants de Novita AI. Configurez DeepSeek, Qwen Coder, Kimi K2 pour le codage assisté par IA.
Utiliser LlamaIndex avec Novita AI : un guide pas à pas
Découvrez comment utiliser LlamaIndex avec Novita AI simplifie la connexion des données et améliore l'efficacité des applications basées sur les LLM.
Utiliser Langflow avec Novita AI : Un guide complet
Apprenez à intégrer les API LLM de Novita AI avec Langflow pour simplifier et accélérer votre workflow de développement d'applications IA.
Révolutionner l'inférence des grands modèles de langage : décodage spéculatif et quantification basse précision
Découvrez comment l'échantillonnage spéculatif et la quantification basse précision réduisent les coûts et accélèrent la vitesse, offrant des solutions pratiques pour un...
Compression dynamique du cache KV basée sur le framework vLLM
Novita AI accélère le chargement de Llama-70B avec la sparsité KV, réduisant la mémoire, le calcul et les frais généraux d'E/S pour une inférence plus rapide et une perte de...
Comment choisir le meilleur GPU pour l'inférence LLM : informations sur le benchmarking
Découvrez comment sélectionner des GPU rentables pour l'inférence de grands modèles, en mettant l'accent sur les métriques de performance et les bonnes pratiques pour améliorer...
Comment KV Sparsity permet une accélération de 1,5x pour vLLM
Boostez la vitesse d'inférence IA avec KV Sparsity. Comprenez son fonctionnement et optimisez vos modèles pour des applications réelles.
Allocation dynamique des ressources GPU pour les charges de travail Kubernetes
Actuellement, pour planifier les Pods GPU dans Kubernetes (k8s), diverses solutions d'extension sont mises en œuvre, notamment Device Plugin, Extended Resource, scheduler...