Modèles vision-langage

Vue d’ensemble

Les modèles vision-langage (VLM) sont un type de modèle de fondation multimodal capable de traiter à la fois des entrées image et texte. Ces modèles comprennent le contenu visuel en association avec des instructions en langage naturel, et génèrent des réponses de haute qualité à partir du contexte combiné. Ils sont largement utilisés dans des scénarios impliquant la reconnaissance d’images, l’interprétation de contenu et les questions-réponses visuelles intelligentes.

Cas d’utilisation typiques

Reconnaissance et description d’images : identifie automatiquement les objets, couleurs, scènes et relations spatiales dans les images, puis génère des descriptions en langage naturel.
Compréhension multimodale : combine l’entrée image et le texte contextuel pour des dialogues multi-tours et l’exécution de tâches.
Questions-réponses visuelles : agit comme un outil OCR avancé en reconnaissant et en interprétant le texte intégré dans les images.
Applications émergentes : idéal pour les assistants visuels intelligents, la perception robotique, les interfaces AR, et plus encore.

Guide d’utilisation de l’API

Pour appeler un modèle vision-langage, utilisez l’endpoint /chat/completions avec des entrées image et texte.

Paramètre de détail de l’image

Utilisez le champ detail pour contrôler la résolution de l’image. Les modes suivants sont disponibles :

high : haute résolution, préserve davantage de détails — idéal pour les tâches de précision.
low : basse résolution, réponse plus rapide — adapté à une utilisation en temps réel.
auto : sélectionne automatiquement le mode approprié.

Exemple de format de message

Image via URL

{
  "role": "user",
  "content": [
    {
      "type": "image_url",
      "image_url": {
        "url": "https://example.com/image.png",
        "detail": "high"
      }
    },
    {
      "type": "text",
      "text": "Please describe the scene in the image."
    }
  ]
}

Image via Base64

{
  "role": "user",
  "content": [
    {
      "type": "image_url",
      "image_url": {
        "url": "data:image/jpeg;base64,{base64_image}",
        "detail": "low"
      }
    },
    {
      "type": "text",
      "text": "What text is present in the image?"
    }
  ]
}

Code Python : encoder une image en Base64

import base64
from PIL import Image
import io

def image_to_base64(image_path):
    with Image.open(image_path) as img:
        buffered = io.BytesIO()
        img.save(buffered, format="JPEG")
        return base64.b64encode(buffered.getvalue()).decode('utf-8')

base64_image = image_to_base64("path/to/your/image.jpg")

Entrée multi-image

L’API prend en charge l’envoi de plusieurs images avec une entrée texte. Pour de meilleurs résultats, nous recommandons d’envoyer au maximum deux images par requête.

{
  "role": "user",
  "content": [
    {
      "type": "image_url",
      "image_url": {
        "url": "https://example.com/image1.png"
      }
    },
    {
      "type": "image_url",
      "image_url": {
        "url": "data:image/jpeg;base64,{base64_image}"
      }
    },
    {
      "type": "text",
      "text": "Compare the common features of these two images."
    }
  ]
}

Modèles pris en charge

Les modèles vision-langage suivants sont actuellement pris en charge sur la plateforme Novita : Consultez le Model Hub pour obtenir une liste complète et à jour des modèles disponibles.

Facturation

L’entrée image est tokenisée et comptabilisée dans la facturation avec le texte.

Chaque modèle utilise une méthode différente de conversion d’image en tokens.
Consultez la page de tarification de chaque modèle pour connaître les détails de facturation et la politique relative aux tokens.

Exemples d’appels API

Description d’une seule image

from openai import OpenAI

client = OpenAI(api_key="YOUR_KEY", base_url="https://api.novita.ai/openai")

response = client.chat.completions.create(
    model="qwen/qwen2.5-vl-72b-instruct",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://example.com/cityscape.jpg"
                    }
                },
                {
                    "type": "text",
                    "text": "Describe the main buildings in the image."
                }
            ]
        }
    ],
    stream=True
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="", flush=True)

Comparaison multi-image

response = client.chat.completions.create(
    model="qwen/qwen2.5-vl-72b-instruct",
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://example.com/product1.jpg"
                    }
                },
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://example.com/product2.jpg"
                    }
                },
                {
                    "type": "text",
                    "text": "Please compare the key differences between these two products."
                }
            ]
        }
    ],
    stream=True
)

for chunk in response:
    print(chunk.choices[0].delta.content or "", end="", flush=True)

Notes et dépannage

La résolution et la clarté de l’image influencent considérablement les performances du modèle. Utilisez des sources de haute qualité lorsque c’est possible.
Les images encodées en Base64 devraient idéalement faire moins de 1MB afin d’éviter les expirations de délai ou les erreurs.
Pour une utilisation détaillée, réservez un appel avec notre équipe commerciale ou contactez le support si nécessaire.

Get started

Model APIs

Agent Sandbox

GPUs

Observability

Resources

Vue d’ensemble

Cas d’utilisation typiques

Guide d’utilisation de l’API

Paramètre de détail de l’image

Exemple de format de message

Image via URL

Image via Base64

Code Python : encoder une image en Base64

Entrée multi-image

Modèles pris en charge

Facturation

Exemples d’appels API

Description d’une seule image

Comparaison multi-image

Notes et dépannage

​Vue d’ensemble

​Cas d’utilisation typiques

​Guide d’utilisation de l’API

​Paramètre de détail de l’image

​Exemple de format de message

​Image via URL

​Image via Base64

​Code Python : encoder une image en Base64

​Entrée multi-image

​Modèles pris en charge

​Facturation

​Exemples d’appels API

​Description d’une seule image

​Comparaison multi-image

​Notes et dépannage

Vue d’ensemble

Cas d’utilisation typiques

Guide d’utilisation de l’API

Paramètre de détail de l’image

Exemple de format de message

Image via URL

Image via Base64

Code Python : encoder une image en Base64

Entrée multi-image

Modèles pris en charge

Facturation

Exemples d’appels API

Description d’une seule image

Comparaison multi-image

Notes et dépannage