La vision dans l'API DipoleML : envoyez à Raven captures d'écran, numérisations et photos

Le jour du lancement, le 1er octobre, l'API DipoleML est entrée en service avec Chat Completions, compatible avec OpenAI, la diffusion en continu, la vision et l'usage d'outils. Cette démonstration porte sur la vision : comment envoyer à Raven Flash ou à Raven Max une capture d'écran, une page numérisée ou une photo, ce que coûte une image et comment elle tient dans la fenêtre de contexte. L'exemple utilise le SDK Python d'OpenAI, pointé vers notre URL de base.

Comment fonctionne la vision dans l'API DipoleML?

Les deux modèles lisent les images, et il n'y a ni point de terminaison ni modèle de vision à part à choisir. Une image n'est qu'une partie de plus d'un message user : une partie image_url à côté d'une partie text, dans un appel Chat Completions normal. Le nom du modèle reste Raven Flash ou Raven Max, et la réponse revient en texte, sous sa forme habituelle.

Comment envoyer une image avec le SDK d'OpenAI?

Créez une clé d'API dans votre tableau de bord, ajoutez des crédits et gardez la clé dans une variable d'environnement. Lisez ensuite l'image, encodez-la en base64 et placez-la dans une URL de données qui nomme son type de média. L'image voyage dans la requête : rien à téléverser ni à héberger d'abord.

import base64, os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.dipoleml.com/v1",
    api_key=os.environ["RAVEN_API_KEY"],
)

with open("screenshot.png", "rb") as f:
    b64 = base64.b64encode(f.read()).decode()

question = "Qu'est-ce qui a échoué ici, et que dois-je essayer d'abord?"
resp = client.chat.completions.create(
    model="Raven Flash",
    messages=[{
        "role": "user",
        "content": [
            {"type": "text", "text": question},
            {"type": "image_url",
             "image_url": {"url": f"data:image/png;base64,{b64}"}},
        ],
    }],
)
print(resp.choices[0].message.content)
print(resp.usage.prompt_tokens, "jetons d'entrée, image comprise")

La dernière ligne affiche les jetons d'entrée de l'appel, image comprise : c'est ce qui vous est facturé en entrée.

Que puis-je envoyer à Raven?

Tout ce que vous montreriez à un collègue pour lui poser une question. Trois usages courants :

• Des captures d'écran. Une boîte de dialogue d'erreur, un graphique d'un tableau de bord, une page qui s'affiche mal : demandez ce qu'elle montre, ce qui a échoué ou quoi essayer d'abord.
• Des pages numérisées. Une facture imprimée, un formulaire signé, une page d'un manuel : demandez le texte, les totaux ou un court résumé.
• Des photos de tableau blanc. Le schéma d'une réunion de planification : demandez-le sous forme de liste d'étapes, ou de tableau de qui fait quoi.

Posez la question à laquelle vous voulez une réponse, en mots simples, comme à quelqu'un qui regarde la même image. Pour de nombreuses images dans un pipeline, Raven Flash est le choix rapide et le moins cher; pour une image difficile qui demande un raisonnement attentif, prenez Raven Max.

Combien coûte une image?

Une image compte comme entrée. Il n'y a pas de frais par image : l'appel est facturé selon les jetons de son usage, aux prix du modèle. Raven Flash coûte 0,50 $ US par million de jetons d'entrée et 2,50 $ US par million de jetons de sortie; Raven Max coûte 1,25 $ US et 6,25 $ US. Les appels sont payés à même des crédits prépayés qui n'expirent jamais, et tous les prix sont sur la page des tarifs. Pour le calcul d'une tâche complète, lisez ce que coûte une tâche d'IA, calculé au cent près.

Comment les images tiennent-elles dans la fenêtre de contexte?

Comme une image est une entrée, elle partage la fenêtre de contexte avec votre texte et le reste de la conversation : 1 M de jetons sur les deux modèles. Chaque appel contient la conversation que vous lui envoyez : une image d'un tour précédent compte donc de nouveau comme entrée à chaque appel suivant qui l'inclut encore. Dans une longue conversation sur une seule capture d'écran, cela s'additionne; une fois que l'image a servi, vous pouvez la retirer de l'historique que vous envoyez. Notre article sur la fenêtre de contexte de 1 M de jetons explique ce qui y tient.

Que vérifier avant d'envoyer une image?

• Nommez le vrai type de média de l'image dans l'URL de données : data:image/png;base64,... pour un fichier PNG.
• Placez les images dans des messages user, à côté de la question qui les concerne.
• Gardez la clé sur votre serveur. Une clé peut dépenser votre solde de crédits : appelez l'API depuis du code serveur ou un script, jamais depuis une page Web ou une application mobile.

Où aller ensuite?

La page de l'API présente ce que l'API DipoleML prend en charge, et la référence de la vision donne chaque champ. Pour laisser Raven appeler des fonctions de votre propre code, lisez l'appel d'outils dans l'API DipoleML; pour choisir un modèle, consultez les modèles Raven.