OpenAI Ultrafast : 750 tokens par seconde grâce à Cerebras

OpenAI a présenté le 14 août un nouveau palier de service baptisé Ultrafast, qui fait tourner son modèle GPT-5.6 Sol jusqu'à 14 fois plus vite que le traitement standard. Le chiffre qui compte : jusqu'à 750 tokens générés par seconde. Et la vraie information n'est pas là — elle est dans le matériel. Ce n'est pas du Nvidia. C'est du Cerebras.

Un fournisseur de modèles qui bascule une partie de son inférence sur une architecture concurrente des GPU, ça ne s'était pas vu à cette échelle.

De quoi on parle exactement

OpenAI Ultrafast n'est pas un nouveau modèle. C'est un tier de service : le même GPT-5.6 Sol, exécuté sur une infrastructure différente. Mêmes poids, mêmes réponses attendues, latence divisée.

État des lieux :

• disponible en preview limitée, sur l'API uniquement ;
• réservé à un petit groupe de clients sélectionnés ;
• déjà testé en production sur du code, du commerce en ligne, de la recherche financière et du support client ;
• pas de calendrier public de disponibilité générale, pas de grille tarifaire communiquée.

Cette dernière absence est parlante. Un tier annoncé sans prix, c'est un tier dont le coût unitaire n'est pas encore stabilisé.

Pourquoi Cerebras change la donne

Pour comprendre, il faut regarder ce qui limite réellement un modèle en génération. Ce n'est pas la puissance de calcul brute — c'est la bande passante mémoire.

À chaque token produit, le GPU doit relire l'intégralité des poids du modèle. Sur une architecture classique, ces poids vivent en mémoire HBM, à côté de la puce. Le calcul, lui, se fait dans la puce. Entre les deux, un bus. Et ce bus est le goulot : les unités de calcul passent une part considérable de leur temps à attendre que les données arrivent.

Cerebras attaque le problème par la géométrie. Ses Wafer-Scale Engine ne sont pas des puces découpées dans une galette de silicium — c'est la galette entière, d'un seul tenant, de la taille approximative d'une assiette. Conséquence directe : environ 44 Go de SRAM embarquée directement sur la puce.

La SRAM est un ordre de grandeur plus rapide que la HBM. En logeant les poids sur le die plutôt qu'à côté, on supprime le trajet. Le goulot d'étranglement disparaît, et le débit de génération explose.

C'est une approche que Cerebras défend depuis des années sans jamais décrocher de client de cette envergure. Le contrat OpenAI est une validation industrielle qu'aucun benchmark n'aurait apportée.

Ce que 750 tokens/seconde autorise vraiment

On sous-estime constamment l'effet de la latence. Un modèle qui répond en douze secondes et un modèle qui répond en une seconde ne sont pas le même produit — ils n'ouvrent pas les mêmes usages.

En dessous de la seconde, on entre dans le domaine de l'interaction, par opposition à la consultation. Les cas d'usage cités par OpenAI et ses clients pilotes le montrent bien :

• analyser des signaux de marché pendant que les conditions bougent, pas dix minutes après ;
• répondre à une question de support complexe au cours d'une conversation vivante, sans blanc gênant ;
• vérifier un stock et débloquer un paiement pendant que le client est encore sur la page ;
• assister des ingénieurs pendant une panne, quand chaque minute d'indisponibilité se compte en argent.

OpenAI utilise d'ailleurs Ultrafast en interne pour sa propre réponse à incident : lecture de logs, analyse de traces, synthèse de conversations, identification des vérifications à mener, préparation et validation de correctifs. C'est le genre de dogfooding qui en dit plus qu'une page marketing.

L'effet le moins visible : les agents

Le gain le plus important n'est pas celui qu'on ressent en tapant dans un chat. Il concerne les systèmes qui enchaînent les appels.

Un agent qui exécute une tâche complexe ne fait pas un aller-retour, il en fait vingt ou cinquante : planifier, appeler un outil, lire le retour, corriger, recommencer. Sur chaque étape, la latence s'additionne. Une seconde par appel donne un agent utilisable ; huit secondes par appel donnent un agent qu'on abandonne au bout de trois essais.

Multiplier le débit par quatorze ne rend pas l'agent plus intelligent. Ça le rend praticable. Une boucle de cinquante étapes passe de plusieurs minutes à quelques dizaines de secondes — le seuil au-delà duquel un humain arrête de regarder l'écran.

OpenAI formule la même idée côté recherche : accélérer l'inférence raccourcit le délai entre l'observation d'un signal, le test d'une hypothèse et le choix de l'action suivante. Concrètement, des expériences qui tournaient la nuit tiennent désormais dans une journée de travail.

Les zones d'ombre

Trois questions restent sans réponse, et elles ne sont pas mineures.

Le prix. Le silicium wafer-scale coûte cher à produire et les rendements de fabrication sur une galette entière sont un problème d'ingénierie notoire. Si Ultrafast coûte cinq fois le tier standard, l'arbitrage devient très différent selon les usages.

Le volume. Une preview limitée à quelques clients, ce n'est pas une infrastructure prête pour des millions de requêtes. La capacité de production de Cerebras n'a rien de comparable à celle de Nvidia, et c'est probablement la contrainte principale derrière le caractère restreint du lancement.

L'équivalence des sorties. Changer de matériel d'inférence peut modifier subtilement le comportement d'un modèle — arithmétique en virgule flottante, ordre des opérations, précision. OpenAI ne détaille pas ce point. Pour une équipe qui a calibré ses prompts au millimètre, ça mérite une vérification avant migration.

Ce qu'il faut regarder dans les mois qui viennent

Le mouvement dépasse le seul cas d'OpenAI. Anthropic est en discussion pour racheter Decart autour de 6 milliards de dollars — une société dont le logiciel réduit le coût d'entraînement et d'exécution des modèles en améliorant l'efficacité des puces. Ce serait sa plus grosse acquisition connue.

Le signal est cohérent d'un acteur à l'autre : la course ne porte plus uniquement sur la taille des modèles. Elle porte sur le coût et la vitesse du token servi. C'est un déplacement classique dans l'histoire de l'informatique — après la performance brute vient l'efficacité — sauf qu'ici il se produit en dix-huit mois.

Pour qui construit sur ces API, la conséquence pratique est simple : les architectures qu'on écartait parce que « trop d'allers-retours » redeviennent envisageables. Les hypothèses de latence sur lesquelles reposent beaucoup de choix techniques de 2025 ont une date de péremption.