Coût
facture calculée
−18 %
IC 95 % [−32 ; −3]
établi à 95 %
10 tâches · avec tokfit face à sans
tokfit · banc
Deux bancs, dits tels qu'ils sont. Terminal-Bench 4.0 est public : n'importe qui peut relire chaque run, le refaire, et vérifier nos calculs. Le banc maison est le nôtre, plus petit, plus favorable, et privé. Chaque chiffre porte son intervalle de confiance quand on en a un.
Claude Code seul contre Claude Code avec tokfit, sur GitHub Actions.
10 tâches comparées sur ~90 visées
État au 17/11/2026 : 10 tâches comparées sur ~90 visées, 20 tâches lancées, 72 runs, 114 essais.
facture calculée
−18 %
IC 95 % [−32 ; −3]
établi à 95 %
10 tâches · avec tokfit face à sans
temps de l'agent
−30 %
IC 95 % [−48 ; −0,5]
établi à 95 %
10 tâches · avec tokfit face à sans
lus et écrits
−15 %
IC 95 % [−38 ; +6]
non établi : l'intervalle contient zéro
10 tâches · avec tokfit face à sans
tâches réussies
sans 4/10
avec 6/10
Différence non significative à ce stade.
Réussies d'un seul côté : 2 avec tokfit seulement, 0 sans tokfit seulement. Test exact du signe : p = 0,5. Intervalles de Wilson à 95 % : [17 ; 69 %] sans, [31 ; 83 %] avec.
Où tokfit gagne et où il perd, catégorie par catégorie, sur les mêmes tâches.
| Catégorie | Écart | IC 95 % | Verdict |
|---|---|---|---|
| Entrée hors cache | +10 % | [−17 ; +40] | non établi : l'intervalle contient zéro |
| Cache écrit | −21 % | [−32 ; −7] | établi à 95 % |
| Cache lu | −15 % | [−39 ; +6] | non établi : l'intervalle contient zéro |
| Sortie | −18 % | [−31 ; −3] | établi à 95 % |
Le script d'audit public regroupe aussi tous les essais valides, rejoués compris, en moyenne par tâche. Ses chiffres, tels qu'il les écrit dans audit.json :
| Cohorte de audit.py | Tâches | Essais sans / avec | Coût | Temps | Tokens | Réussite sans / avec |
|---|---|---|---|---|---|---|
| réflexion medium demandée des deux côtés (premiers runs) | 1 | 1 / 1 | +18 % | −22 % | −52 % | 0/1 / 0/1 |
| high demandé ; tokfit routé en medium par le service (≤ 0.7.9) — tous les essais valides | 12 | 19 / 34 | −47 % [−61 ; −33] | −47 % [−62 ; −24] | −55 % [−74 ; −38] | 10/19 / 14/34 |
| high demandé ; tokfit en medium — runs simultanés seulement | 10 | 17 / 11 | −52 % [−68 ; −29] | −50 % [−67 ; −13] | −61 % [−81 ; −29] | 8/17 / 6/11 |
| high demandé et high réellement envoyé des deux côtés (0.7.10 et limites de compte) | 11 | 22 / 18 | −28 % [−43 ; −11] | −42 % [−55 ; −23] | −29 % [−56 ; −2] | 12/22 / 9/18 |
Les cohortes « tokfit en medium » ne comparent pas la même chose : avant la version 0.7.10, le service de tokfit baissait la réflexion à medium. Elles sont montrées pour la transparence, pas retenues.
28 essais sur 114 sont écartés par des règles écrites dans audit.py, avant toute comparaison. Un essai peut cumuler plusieurs raisons.
| Raison | Sans tokfit | Avec tokfit |
|---|---|---|
| outil noyau tokfit jamais appelé | 0 | 13 |
| pas de score du vérificateur | 6 | 3 |
| erreur d'authentification | 5 | 3 |
| exception Harbor NonZeroAgentExitCodeError | 4 | 2 |
| aucune requête dans le journal | 3 | 2 |
| bascule de modèle | 1 | 2 |
| exception Harbor AgentAuthenticationError | 1 | 1 |
| plugin tokfit non chargé | 0 | 2 |
« Outil tokfit jamais appelé » écarte un essai où le plugin était chargé mais où son outil principal n'a servi à rien : ce n'est alors pas tokfit qui est mesuré. Cette règle ne joue que contre tokfit si ces essais étaient bons ; ils sont tous listés, avec leur run.
Chaque ligne renvoie à son run GitHub Actions : journaux, trajectoires et artefacts des deux côtés.
| Tâche | Réussite | Coût | Temps | Tokens | Run |
|---|---|---|---|---|---|
| freecad-spring-cliprejouée : runs 43860381948 | seul ✗ échouéetokfit ✓ réussie | seul 2,00 $tokfit 1,32 $−34 % | seul 10,2 mintokfit 7,1 min−30 % | seul 1,1 Mtokfit 550 k−50 % | 43918028159 |
| html-js-filterrejouée : runs 43855102581, 43855147110 | seul ✗ échouéetokfit ✗ échouée | seul 2,18 $tokfit 2,25 $+3 % | seul 11,2 mintokfit 11,9 min+7 % | seul 1,3 Mtokfit 1,3 M−2 % | 43917920772 |
| intrastat-meldung | seul ✗ échouéetokfit ✓ réussie | seul 2,42 $tokfit 2,38 $−2 % | seul 5,5 mintokfit 7,0 min+27 % | seul 4 Mtokfit 4,5 M+14 % | 43860468389 |
| react-lead-form | seul ✓ réussietokfit ✓ réussie | seul 2,04 $tokfit 1,90 $−7 % | seul 9,0 mintokfit 7,6 min−15 % | seul 1,3 Mtokfit 1,3 M−3 % | 43917868083 |
| retro-console-soc | seul ✓ réussietokfit ✓ réussie | seul 9,44 $tokfit 6,76 $−28 % | seul 39,2 mintokfit 33,7 min−14 % | seul 14,6 Mtokfit 9,2 M−37 % | 43917973752 |
| satb-audio-transcription | seul ✓ réussietokfit ✓ réussie | seul 4,70 $tokfit 2,14 $−54 % | seul 40,2 mintokfit 11,4 min−72 % | seul 6,4 Mtokfit 2,7 M−58 % | 43996349719 |
| session-window-debug | seul ✗ échouéetokfit ✗ échouée | seul 0,65 $tokfit 0,70 $+8 % | seul 2,9 mintokfit 3,3 min+15 % | seul 339 ktokfit 250 k−26 % | 43996385088 |
| telecom-entity-resolution | seul ✓ réussietokfit ✓ réussie | seul 9,10 $tokfit 8,64 $−5 % | seul 54,2 mintokfit 33,5 min−38 % | seul 19,7 Mtokfit 20,4 M+3 % | 43996421482 |
| vllm-deepseek-streaming | seul ✗ échouéetokfit ✗ échouée | seul 2,56 $tokfit 2,61 $+2 % | seul 16,7 mintokfit 11,6 min−30 % | seul 3,9 Mtokfit 4,4 M+14 % | 43996458836 |
| wal-recovery-ordering | seul ✗ échouéetokfit ✗ échouée | seul 0,67 $tokfit 0,74 $+10 % | seul 2,8 mintokfit 7,9 min+177 % | seul 308 ktokfit 438 k+42 % | 43996498789 |
La source des chiffres de la page d'accueil. Trois conversations de quatre messages sur un petit dépôt témoin (une boutique en Python) : expliquer un calcul, corriger une régression, écrire le test qui l'aurait attrapée, refactoriser. Chaque message est vérifié automatiquement. Deux essais par configuration.
−63 %
3 conversations × 2 essais · réussite 6/6 des deux côtés · sans intervalle (trop peu d'essais)
−46 %
3 conversations × 2 essais · réussite 6/6 des deux côtés · sans intervalle (trop peu d'essais)
−36 %
3 conversations × 2 essais · réussite 6/6 des deux côtés · sans intervalle (trop peu d'essais)
| Conversation | Tokens sans / avec | Coût mesuré sans / avec | Durée sans / avec |
|---|---|---|---|
| livraison | 238 k / 80 k | 0,205 $ / 0,102 $ | 52 s / 30 s |
| promotions | 235 k / 80 k | 0,176 $ / 0,088 $ | 48 s / 29 s |
| relance | 279 k / 118 k | 0,192 $ / 0,118 $ | 51 s / 37 s |
| Total des trois conversations | 751 k / 278 k | 0,574 $ / 0,308 $ | 151 s / 96 s |
Run 20261115-113702 du 15/11/2026, Claude Code 2.1.323, Opus, moyennes de 2 essais, sommes des 4 messages (bench/kernel/resultats/20261115-113702/tableau.md du dépôt privé de tokfit). Écart total : médiane des paires, arrondie au pour cent.
Le banc maison donne −63 % de tokens et −46 % sur la facture. Sur Terminal-Bench, avec des tâches réelles et longues, l'écart mesuré est plus petit : −15 % [−38 ; +6] de tokens et −18 % [−32 ; −3] de coût sur 10 tâches. Le banc maison mesure le cas favorable ; Terminal-Bench, le cas difficile. Ton usage est probablement entre les deux, et ton tableau de bord le mesure sur tes propres sessions.
Tout ce qu'il faut pour refaire Terminal-Bench chez toi, ou vérifier nos calculs sans rien relancer.
Forke le dépôt, ajoute tes secrets CLAUDE_CODE_OAUTH_TOKEN et TOKFIT_BENCH_KEY (une clé tokfit), puis, une tâche de tasks.txt à la fois :
gh workflow run bench.yml -R <ton-fork> -f task=<tâche>Télécharge les artefacts publics de tous les runs, recalcule chaque essai et écrit audit.json et audit.md, sans rien relancer :
python audit/audit.py --dossier auditMême règle d'appariement et même générateur aléatoire que la page : mêmes chiffres.
python audit/apparier.py audit/audit.jsonDans le dépôt du site (privé), depuis audit.json : tableau, totaux et intervalles suivent.
node scripts/banc-donnees.mjs audit.json| Entrée | 4 $ |
|---|---|
| Cache écrit, 5 min | 5 $ |
| Cache écrit, 1 h | 8 $ |
| Cache lu | 0.2 $ |
| Sortie | 20 $ |
Source : https://platform.claude.com/docs/en/about-claude/pricing, relevé le 16/11/2026.
Audit généré le 17/11/2026, runs 43783458360 à 43996498789, 116 essais lus.