Un million de jetons d'espace pour penser : à quoi sert vraiment un grand contexte

Les deux modèles de la famille Raven, Flash et Max, portent une fenêtre de contexte d'un million de jetons et 128 000 jetons de sortie. Ce premier chiffre est devenu un droit de fanfare dans l'industrie, ce qui est dommage, parce que c'est aussi l'une des spécifications les plus pratiquement utiles qu'un modèle possède. Ce billet parle de ce qu'un million de jetons contient vraiment, et de ce que devient une journée de travail une fois que le modèle cesse d'oublier comment elle a commencé.

Les unités, rendues concrètes

Un million de jetons, c'est environ 750 000 mots d'anglais, à environ trois quarts de mot par jeton. Ça fait cinq à sept romans complets, un portefeuille de contrats au complet avec chaque annexe, la plupart des bases de code de taille moyenne avec leurs dépendances, et une année de documentation d'une équipe, en supposant que l'équipe écrit comme des humains plutôt que comme des juristes.

À la sortie, 128 000 jetons couvrent un chapitre de livre au complet, ou une demande de subvention entière, ou une journée de code, d'un seul morceau plutôt qu'en fragments à recoudre.

Le problème du début oublié

Toute longue conversation avec une fenêtre conventionnelle finit de la même façon. Quelque part au milieu d'une vraie session de travail, le matériel du début tombe silencieusement du bord. Le modèle continue de répondre, confiant, au sujet d'un document qu'il ne peut plus voir. Les sommaires se font resommariser jusqu'à ce que le détail dont vous aviez besoin soit mort, et vous finissez par recoller les passages clés « au cas où », ce qui fait de vous la mémoire du modèle, à la main.

Un million de jetons enlève ce précipice pour presque tout ce que le vrai travail lance à un modèle. Collez la spécification à 9 h et elle est encore intégralement là à 17 h, avec la réponse de 17 h qui s'en sert vraiment.

À quoi la grande salle sert

Trois sortes de travail sentent la différence le plus vite. Dans DCode, le raisonnement sur le dépôt entier cesse d'être une métaphore : l'agent tient le graphe de dépendances et chaque appelant de chaque fonction en même temps, ce qui est précisément ce que demande « refactorise le flux de paiement ». Le travail documentaire change de forme aussi. Déposez un accord de 300 pages avec son annexe et la version de l'an dernier, et demandez ce qui a changé. Le modèle lit tout; les sommaires n'entrent jamais en jeu. La recherche en profite peut-être le plus, puisque l'ensemble des sources recueillies vit dans un seul contexte et la synthèse cite ce que les sources ont dit plutôt que ce qu'un sommaire compressé se rappelait.

La vision voyage avec la même salle. Captures d'écran, pages numérisées et graphiques partagent ce même contexte avec le texte. Collez un tableau de bord et il rejoint l'analyse; rien ne traîne non ouvert dans une pile de pièces jointes.

Les chiffres, pour ceux qui aiment ça

Le contexte ne se négocie pas contre la vitesse ici. Raven Flash garde la fenêtre d'un million de jetons en gardant des premiers jetons en moins d'une seconde, ce qui vaut à Flash à la fois la longue fenêtre et la tête du palier de vélocité sur Terminal Bench 4.0, et à Raven Max la même fenêtre couplée au premier score sur des bancs d'essai agentiques à long horizon comme Agent's Last Exam. La longue fenêtre n'a pas été boulonnée après les bancs d'essai; les bancs d'essai mesurent en partie ça. Un modèle qui tient le problème au complet se comporte différemment d'un modèle qui tient un sommaire du problème, et les scores d'évaluation suivent.

Vous pouvez sentir la différence sans banc d'essai : ouvrez le Playground, collez le plus long vrai document que vous avez sous la main, et posez une question sur la partie que vous savez enfouie vers la fin.