Aller au contenu
Mon tableau de bord

tokfit · banc

Le banc, preuves comprises.

Deux bancs, dits tels qu'ils sont. Terminal-Bench 4.0 est public : n'importe qui peut relire chaque run, le refaire, et vérifier nos calculs. Le banc maison est le nôtre, plus petit, plus favorable, et privé. Chaque chiffre porte son intervalle de confiance quand on en a un.

Terminal-Bench 4.0

public, refaisable

Claude Code seul contre Claude Code avec tokfit, sur GitHub Actions.

10 tâches comparées sur ~90 visées

État au 17/11/2026 : 10 tâches comparées sur ~90 visées, 20 tâches lancées, 72 runs, 114 essais.

Coût

facture calculée

−18 %

IC 95 % [−32 ; −3]

établi à 95 %

10 tâches · avec tokfit face à sans

Temps

temps de l'agent

−30 %

IC 95 % [−48 ; −0,5]

établi à 95 %

10 tâches · avec tokfit face à sans

Tokens

lus et écrits

−15 %

IC 95 % [−38 ; +6]

non établi : l'intervalle contient zéro

10 tâches · avec tokfit face à sans

Réussite

tâches réussies

sans 4/10

avec 6/10

Différence non significative à ce stade.

Réussies d'un seul côté : 2 avec tokfit seulement, 0 sans tokfit seulement. Test exact du signe : p = 0,5. Intervalles de Wilson à 95 % : [17 ; 69 %] sans, [31 ; 83 %] avec.

Ce qu'il mesure

  • Le coût d'une tâche réelle, du premier message à la fin : tokens de chaque requête au tarif public de l'API.
  • Le temps de l'agent, mesuré par Harbor.
  • La réussite, jugée par les tests officiels de chaque tâche, sans nous.

Ce qu'il ne mesure pas

  • Une conversation à plusieurs messages : chaque tâche est un seul message.
  • Le routage vers un modèle moins cher : il est coupé des deux côtés (Opus 5.5 high partout, vérifié requête par requête).
  • Une facture réelle : le banc tourne sur un abonnement Claude, le coût est calculé, pas payé.
  • Un autre modèle qu'Opus 5.5.

Méthode

  1. Mêmes tâches, même modèle (Claude Opus 5.5), même réflexion (high) des deux côtés.
  2. Les deux configurations partent dans le même run GitHub Actions, sur des machines ubuntu-latest identiques.
  3. Côté tokfit : la copie publique du plugin, celle qu'installent les clients, avec sa propre clé.
  4. Temps de l'agent plafonné à 2 h par tâche (8 h officielles × 0,25), pareil des deux côtés.
  5. Coût recalculé requête par requête depuis le journal de Claude Code, au tarif public d'Opus 5.5.
  6. Une tâche compte si, dans un même run, les deux côtés sont valides : quand une tâche a été rejouée, le run le plus récent compte, les autres sont listés.
  7. Intervalle à 95 % : bootstrap des tâches, 10 000 tirages, graine 20261116. Un écart est « établi » quand son intervalle ne contient pas zéro.

Le détail des tokens

Où tokfit gagne et où il perd, catégorie par catégorie, sur les mêmes tâches.

CatégorieÉcartIC 95 %Verdict
Entrée hors cache+10 %[−17 ; +40]non établi : l'intervalle contient zéro
Cache écrit−21 %[−32 ; −7]établi à 95 %
Cache lu−15 %[−39 ; +6]non établi : l'intervalle contient zéro
Sortie−18 %[−31 ; −3]établi à 95 %

Avec d'autres façons de compter

Le script d'audit public regroupe aussi tous les essais valides, rejoués compris, en moyenne par tâche. Ses chiffres, tels qu'il les écrit dans audit.json :

Cohorte de audit.pyTâchesEssais sans / avecCoûtTempsTokensRéussite sans / avec
réflexion medium demandée des deux côtés (premiers runs)11 / 1+18 %−22 %−52 %0/1 / 0/1
high demandé ; tokfit routé en medium par le service (≤ 0.7.9) — tous les essais valides1219 / 34−47 % [−61 ; −33]−47 % [−62 ; −24]−55 % [−74 ; −38]10/19 / 14/34
high demandé ; tokfit en medium — runs simultanés seulement1017 / 11−52 % [−68 ; −29]−50 % [−67 ; −13]−61 % [−81 ; −29]8/17 / 6/11
high demandé et high réellement envoyé des deux côtés (0.7.10 et limites de compte)1122 / 18−28 % [−43 ; −11]−42 % [−55 ; −23]−29 % [−56 ; −2]12/22 / 9/18

Les cohortes « tokfit en medium » ne comparent pas la même chose : avant la version 0.7.10, le service de tokfit baissait la réflexion à medium. Elles sont montrées pour la transparence, pas retenues.

Essais écartés par l'audit

28 essais sur 114 sont écartés par des règles écrites dans audit.py, avant toute comparaison. Un essai peut cumuler plusieurs raisons.

RaisonSans tokfitAvec tokfit
outil noyau tokfit jamais appelé013
pas de score du vérificateur63
erreur d'authentification53
exception Harbor NonZeroAgentExitCodeError42
aucune requête dans le journal32
bascule de modèle12
exception Harbor AgentAuthenticationError11
plugin tokfit non chargé02
Les 28 essais écartés, un par un
  • 43783458360 html-js-filter · sans tokfit : pas de score du vérificateur ; exception Harbor AgentAuthenticationError ; erreur d'authentification (0 requête(s) 401/403)
  • 43783458360 html-js-filter · avec tokfit : pas de score du vérificateur ; exception Harbor AgentAuthenticationError ; erreur d'authentification (0 requête(s) 401/403) ; outil noyau tokfit jamais appelé
  • 43784294233 html-js-filter · avec tokfit : outil noyau tokfit jamais appelé
  • 43785961689 html-js-filter · avec tokfit : outil noyau tokfit jamais appelé
  • 43790674468 atrx-vep-crispr · sans tokfit : bascule de modèle (claude-opus-4-8)
  • 43790674468 atrx-vep-crispr · avec tokfit : bascule de modèle (claude-opus-4-8)
  • 43793348056 nextjs-performance · avec tokfit : outil noyau tokfit jamais appelé
  • 43793622010 pretrain-shard-corruption · sans tokfit : exception Harbor NonZeroAgentExitCodeError ; erreur d'authentification (2 requête(s) 401/403)
  • 43795411787 react-lead-form · sans tokfit : exception Harbor NonZeroAgentExitCodeError ; erreur d'authentification (2 requête(s) 401/403)
  • 43795411787 react-lead-form · avec tokfit : exception Harbor NonZeroAgentExitCodeError ; erreur d'authentification (2 requête(s) 401/403) ; outil noyau tokfit jamais appelé
  • 43795863745 retro-console-soc · sans tokfit : exception Harbor NonZeroAgentExitCodeError ; erreur d'authentification (2 requête(s) 401/403)
  • 43795863745 retro-console-soc · avec tokfit : exception Harbor NonZeroAgentExitCodeError ; erreur d'authentification (2 requête(s) 401/403) ; outil noyau tokfit jamais appelé
  • 43823366352 atrx-vep-crispr · avec tokfit : bascule de modèle (claude-opus-4-8)
  • 43823672530 nextjs-performance · avec tokfit : outil noyau tokfit jamais appelé
  • 43826707651 react-lead-form · avec tokfit : outil noyau tokfit jamais appelé
  • 43826777061 risk-scorer-replay · avec tokfit : outil noyau tokfit jamais appelé
  • 43826812633 rs-archive-clone · avec tokfit : outil noyau tokfit jamais appelé
  • 43836106009 nextjs-performance · avec tokfit : outil noyau tokfit jamais appelé
  • 43856116386 html-js-filter · sans tokfit : pas de score du vérificateur ; aucune requête dans le journal
  • 43858063592 html-js-filter · sans tokfit : pas de score du vérificateur
  • 43858070529 html-js-filter · sans tokfit : pas de score du vérificateur
  • 43858070529 html-js-filter · avec tokfit : pas de score du vérificateur ; aucune requête dans le journal ; plugin tokfit non chargé
  • 43860424602 nextjs-performance · avec tokfit : outil noyau tokfit jamais appelé
  • 43860516000 retro-console-soc · sans tokfit : pas de score du vérificateur ; aucune requête dans le journal
  • 43860562164 react-lead-form · avec tokfit : outil noyau tokfit jamais appelé
  • 43867343864 html-js-filter · sans tokfit : pas de score du vérificateur ; aucune requête dans le journal
  • 43867343864 html-js-filter · avec tokfit : pas de score du vérificateur ; aucune requête dans le journal ; plugin tokfit non chargé
  • 43927196734 nextjs-performance · sans tokfit : exception Harbor NonZeroAgentExitCodeError ; erreur d'authentification (2 requête(s) 401/403)

« Outil tokfit jamais appelé » écarte un essai où le plugin était chargé mais où son outil principal n'a servi à rien : ce n'est alors pas tokfit qui est mesuré. Cette règle ne joue que contre tokfit si ces essais étaient bons ; ils sont tous listés, avec leur run.

Tâche par tâche

Chaque ligne renvoie à son run GitHub Actions : journaux, trajectoires et artefacts des deux côtés.

Tâche par tâche : 10 tâches
TâcheRéussiteCoûtTempsTokensRun
freecad-spring-cliprejouée : runs 43860381948seul ✗ échouéetokfit ✓ réussieseul 2,00 $tokfit 1,32 $−34 %seul 10,2 mintokfit 7,1 min−30 %seul 1,1 Mtokfit 550 k−50 %43918028159
html-js-filterrejouée : runs 43855102581, 43855147110seul ✗ échouéetokfit ✗ échouéeseul 2,18 $tokfit 2,25 $+3 %seul 11,2 mintokfit 11,9 min+7 %seul 1,3 Mtokfit 1,3 M−2 %43917920772
intrastat-meldungseul ✗ échouéetokfit ✓ réussieseul 2,42 $tokfit 2,38 $−2 %seul 5,5 mintokfit 7,0 min+27 %seul 4 Mtokfit 4,5 M+14 %43860468389
react-lead-formseul ✓ réussietokfit ✓ réussieseul 2,04 $tokfit 1,90 $−7 %seul 9,0 mintokfit 7,6 min−15 %seul 1,3 Mtokfit 1,3 M−3 %43917868083
retro-console-socseul ✓ réussietokfit ✓ réussieseul 9,44 $tokfit 6,76 $−28 %seul 39,2 mintokfit 33,7 min−14 %seul 14,6 Mtokfit 9,2 M−37 %43917973752
satb-audio-transcriptionseul ✓ réussietokfit ✓ réussieseul 4,70 $tokfit 2,14 $−54 %seul 40,2 mintokfit 11,4 min−72 %seul 6,4 Mtokfit 2,7 M−58 %43996349719
session-window-debugseul ✗ échouéetokfit ✗ échouéeseul 0,65 $tokfit 0,70 $+8 %seul 2,9 mintokfit 3,3 min+15 %seul 339 ktokfit 250 k−26 %43996385088
telecom-entity-resolutionseul ✓ réussietokfit ✓ réussieseul 9,10 $tokfit 8,64 $−5 %seul 54,2 mintokfit 33,5 min−38 %seul 19,7 Mtokfit 20,4 M+3 %43996421482
vllm-deepseek-streamingseul ✗ échouéetokfit ✗ échouéeseul 2,56 $tokfit 2,61 $+2 %seul 16,7 mintokfit 11,6 min−30 %seul 3,9 Mtokfit 4,4 M+14 %43996458836
wal-recovery-orderingseul ✗ échouéetokfit ✗ échouéeseul 0,67 $tokfit 0,74 $+10 %seul 2,8 mintokfit 7,9 min+177 %seul 308 ktokfit 438 k+42 %43996498789

Le banc maison

Privé, rejoué sur nos machines

La source des chiffres de la page d'accueil. Trois conversations de quatre messages sur un petit dépôt témoin (une boutique en Python) : expliquer un calcul, corriger une régression, écrire le test qui l'aurait attrapée, refactoriser. Chaque message est vérifié automatiquement. Deux essais par configuration.

Tokens

−63 %

3 conversations × 2 essais · réussite 6/6 des deux côtés · sans intervalle (trop peu d'essais)

Coût

−46 %

3 conversations × 2 essais · réussite 6/6 des deux côtés · sans intervalle (trop peu d'essais)

Temps

−36 %

3 conversations × 2 essais · réussite 6/6 des deux côtés · sans intervalle (trop peu d'essais)

ConversationTokens sans / avecCoût mesuré sans / avecDurée sans / avec
livraison238 k / 80 k0,205 $ / 0,102 $52 s / 30 s
promotions235 k / 80 k0,176 $ / 0,088 $48 s / 29 s
relance279 k / 118 k0,192 $ / 0,118 $51 s / 37 s
Total des trois conversations751 k / 278 k0,574 $ / 0,308 $151 s / 96 s

Run 20261115-113702 du 15/11/2026, Claude Code 2.1.323, Opus, moyennes de 2 essais, sommes des 4 messages (bench/kernel/resultats/20261115-113702/tableau.md du dépôt privé de tokfit). Écart total : médiane des paires, arrondie au pour cent.

Ce qu'il mesure

  • Une vraie conversation : le contexte grossit de message en message, comme dans une session de travail.
  • Tous les leviers de tokfit ensemble, routage du modèle coupé.

Ce qu'il ne mesure pas

  • Des tâches difficiles : elles sont courtes et toutes réussies des deux côtés.
  • Un vrai projet : chaque session part d'un dossier neuf, le cas le plus favorable au levier qui garde le prompt système en cache.
  • La variance : deux essais par conversation, trois conversations.
  • Un accès direct à l'API : il passait par une passerelle avec un cache de 5 minutes.

Ce que disent les deux bancs ensemble

Le banc maison donne −63 % de tokens et −46 % sur la facture. Sur Terminal-Bench, avec des tâches réelles et longues, l'écart mesuré est plus petit : −15 % [−38 ; +6] de tokens et −18 % [−32 ; −3] de coût sur 10 tâches. Le banc maison mesure le cas favorable ; Terminal-Bench, le cas difficile. Ton usage est probablement entre les deux, et ton tableau de bord le mesure sur tes propres sessions.

Limites

  • Petit échantillon : 10 tâches comparées sur Terminal-Bench pour l'instant. Les intervalles sont larges et se resserreront à mesure que les tâches s'ajoutent.
  • Un seul essai par configuration et par tâche pour le calcul : la même tâche rejouée peut réussir puis échouer (voir les tâches rejouées dans le tableau).
  • Un seul modèle (Claude Opus 5.5, réflexion high), une seule version de Claude Code à la fois (2.1.325, 2.1.326).
  • Le plugin a évolué pendant le banc : versions 0.7.10, 0.7.13 côté tokfit. Le workflow clone la dernière version publiée, notée pour chaque essai.
  • Période courte : runs du 16/11/2026 au 17/11/2026.
  • Nous avons écrit le banc, ses règles d'exclusion et ses scripts : c'est pourquoi tout est public et refaisable.
  • Coût calculé au tarif public, pas facturé : le banc tourne sur un abonnement Claude.
  • Les artefacts des runs GitHub sont gardés 90 jours : les plus anciens expirent le 14/02/2027. Une copie permanente est à publier.
  • Le banc maison est privé, petit (3 conversations, 2 essais) et favorable : il ne vaut pas preuve seul.

Reproduire

Tout ce qu'il faut pour refaire Terminal-Bench chez toi, ou vérifier nos calculs sans rien relancer.

  1. Relancer une tâche

    Forke le dépôt, ajoute tes secrets CLAUDE_CODE_OAUTH_TOKEN et TOKFIT_BENCH_KEY (une clé tokfit), puis, une tâche de tasks.txt à la fois :

    gh workflow run bench.yml -R <ton-fork> -f task=<tâche>
  2. Refaire l'audit publication en attente

    Télécharge les artefacts publics de tous les runs, recalcule chaque essai et écrit audit.json et audit.md, sans rien relancer :

    python audit/audit.py --dossier audit
  3. Refaire les chiffres de cette page publication en attente

    Même règle d'appariement et même générateur aléatoire que la page : mêmes chiffres.

    python audit/apparier.py audit/audit.json
  4. Régénérer la page

    Dans le dépôt du site (privé), depuis audit.json : tableau, totaux et intervalles suivent.

    node scripts/banc-donnees.mjs audit.json
Tâches
tirées avec la graine 20261116 parmi les tâches sans GPU, au plus 8 Go et 4 processeurs (tasks.txt)
Modèle
anthropic/claude-opus-5-5, réflexion high, des deux côtés
Harbor
0.26.0, multiplicateur de délai 0,25 (2 h au plus pour l'agent)
Machines
GitHub Actions ubuntu-latest (x86_64)
Claude Code
2.1.325, 2.1.326
Plugin tokfit
0.7.10, 0.7.13, copie publique clonée au lancement

Tarifs utilisés (Opus 5.5, $ par million de tokens)

Entrée4 $
Cache écrit, 5 min5 $
Cache écrit, 1 h8 $
Cache lu0.2 $
Sortie20 $

Source : https://platform.claude.com/docs/en/about-claude/pricing, relevé le 16/11/2026.

Preuves

Public dès maintenant

Préparé, publication en attente

  • audit/audit.py publication en attente — recalcule tout depuis les artefacts : coût requête par requête, exclusions, intervalles
  • audit/audit.json publication en attente — chaque essai, chaque contrôle ; la source de cette page
  • audit/audit.md publication en attente — les mêmes tableaux, lisibles
  • audit/apparier.py publication en attente — refait les chiffres de tête de cette page, à l'identique
  • tirage.py publication en attente — le tirage des tâches avec la graine
  • maison/ publication en attente — banc maison : tâches, dépôt témoin, mesures brutes du run 20261115-113702

Audit généré le 17/11/2026, runs 43783458360 à 43996498789, 116 essais lus.