Ce que coûte une tâche d'IA sur l'API DipoleML, calculé au cent près

Des prix par jeton, c'est facile à publier et difficile à se représenter. Cet article chiffre trois tâches courantes sur l'API DipoleML, avec les deux modèles Raven, à partir des prix de notre page des tarifs. Les nombres de jetons sont nos hypothèses pour chaque tâche, précisées au fil du texte; les calculs sont ceux de l'API. Les requêtes passent par Chat Completions, au format du SDK OpenAI.

Comment une requête est-elle facturée?

Les appels faits avec une clé d'API sont payés avec des crédits prépayés, par jeton, aux prix du modèle appelé :

Chaque requête coûte sa nouvelle entrée au prix en entrée, son entrée en cache au prix en cache et sa sortie au prix en sortie :

coût = (entrée - cache) x prix en entrée
     + cache x prix en cache
     + sortie x prix en sortie

(prix par million de jetons)

Deux détails comptent dans les calculs qui suivent. Les jetons de raisonnement sont des jetons de sortie : ils comptent dans max_tokens et sont facturés au prix en sortie. Et l'entrée en cache est la partie de votre entrée que le modèle indique comme déjà en cache, dans usage.prompt_tokens_details.cached_tokens. Elle s'applique d'elle-même, sans option à activer, à un prix jusqu'à 90 % inférieur au prix en entrée.

Combien coûte une revue de code?

Disons que vous envoyez le diff d'une demande de tirage avec les fichiers qui l'entourent, 30 000 jetons en tout, et demandez une revue. Le modèle consacre 2 500 jetons au raisonnement et rédige une revue de 1 500 jetons : la sortie compte donc 4 000 jetons. Rien n'est en cache, puisque le code est nouveau chaque fois. Voici ce que coûtent mille revues de ce genre :

Une revue coûte 0,0250 $ US avec Raven Flash et 0,0625 $ US avec Raven Max.

Combien coûte une réponse du service à la clientèle?

Un assistant IA du service à la clientèle envoie les mêmes longues consignes avec chaque billet : disons 10 000 jetons de politiques et de renseignements sur les produits au début de la requête, puis la conversation du client, 1 000 jetons. La réponse compte 600 jetons de sortie, raisonnement compris. Après la première réponse, le modèle indique les consignes répétées comme étant en cache; elles sont donc facturées au prix en cache :

Une réponse coûte 0,0025 $ US avec Raven Flash et 0,0063 $ US avec Raven Max. Pour 10 000 réponses, cela fait 25,00 $ US et 63,00 $ US. Sans le cache, les mêmes réponses coûteraient 70,00 $ US et 175,00 $ US.

Combien coûte lire deux fois un long document?

Disons que vous envoyez un contrat de 150 000 jetons avec une question de 400 jetons, puis le même contrat avec une deuxième question. Chaque réponse compte 2 000 jetons de sortie, raisonnement compris. Les deux requêtes tiennent dans la fenêtre de contexte de 1 M de jetons de l'un ou l'autre modèle. À la deuxième requête, le modèle indique le contrat comme étant en cache :

Les deux questions coûtent ensemble 0,0929 $ US avec Raven Flash et 0,2330 $ US avec Raven Max. Sans le cache, la deuxième question coûterait autant que la première, et les deux ensemble 0,1604 $ US avec Raven Flash et 0,4010 $ US avec Raven Max.

Où lire le nombre de jetons?

Dans le champ usage de chaque réponse : prompt_tokens pour l'entrée, completion_tokens pour la sortie avec son raisonnement, et prompt_tokens_details.cached_tokens pour la partie en cache. La même formule en Python, avec le SDK OpenAI pointé vers notre URL de base :

import os
from openai import OpenAI

client = OpenAI(
    base_url="https://api.dipoleml.com/v1",
    api_key=os.environ["RAVEN_API_KEY"],
)

# dollars US par million de jetons : entrée, entrée en cache, sortie
PRICES = {
    "Raven Flash": (0.50, 0.05, 2.50),
    "Raven Max": (1.25, 0.13, 6.25),
}

MODEL = "Raven Flash"
resp = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "Révise ce diff : ..."}],
)

u = resp.usage
details = u.prompt_tokens_details
cached = (details.cached_tokens or 0) if details else 0
inp, cac, out = PRICES[MODEL]
cost = ((u.prompt_tokens - cached) * inp + cached * cac + u.completion_tokens * out) / 1_000_000
print(f"${cost:.4f}")

Comment réduire le coût?

• Confiez à Raven Flash le travail qui lui convient. Les prix en entrée et en sortie de Raven Max sont 2,5 fois ceux de Raven Flash.
• Placez au début ce qui se répète. Les consignes et les documents qui ouvrent chaque requête sont là où le cache s'applique.
• Laissez les tâches simples réfléchir moins. Avec reasoning_effort réglé à low, le modèle consacre moins de jetons de sortie au raisonnement.
• Donnez sa propre clé à chaque application. Un plafond de dépense sur chaque clé empêche une application d'utiliser tout le solde; voyez Management Keys (en anglais).

Comment payer?

Avec des crédits prépayés, en paquets de 5, 10, 20 et 50 $ US. Les crédits n'expirent jamais, toutes les clés d'API de votre compte puisent dans le même solde, et ils sont distincts de tous les plans : vous n'avez pas besoin d'un plan pour appeler l'API, et un plan n'utilise jamais vos crédits. Quand le solde est épuisé, les requêtes sont refusées avec le code 402 jusqu'à ce que vous ajoutiez des crédits. Les détails sont dans la documentation API Credits (en anglais), et les modèles et formats sur la page de l'API.

Les noms de produits sont des marques de commerce de leurs propriétaires et ne servent ici qu'à identifier les produits.