Zyphra ZYFA accélère l’attention FP8 sur AMD MI355X
ZYFA vise à accélérer le préfill FP8 sur AMD MI355X, avec jusqu’à 1,76× face à AITER et une erreur numérique plus faible.
Zyphra a annoncé ZYFA le 5 novembre 2026, des kernels d’attention de préfill en FP8 et BF16 pour les GPU AMD Instinct MI355X. L’objectif est clair : accélérer une étape coûteuse de l’inférence LLM, notamment quand les contextes sont longs.
Sur des activations capturées depuis Mistral-7B, Qwen3-8B et DeepSeek-V2-Lite à 16K tokens, Zyphra annonce un gain FP8 de 1,16× à 1,76× face à AITER, au clock soutenu. La société indique aussi une erreur numérique réduite de 62% à 78% par rapport au kernel FP8 d’AITER, à une dimension de tête de 128.
Ce qui change concrètement
ZYFA cible le préfill, c’est-à-dire la phase où le modèle traite le prompt avant de générer les premiers tokens. Dans les usages professionnels avec longs documents, agents ou chaînes de raisonnement, cette phase peut peser lourd dans la latence perçue. Accélérer le préfill peut donc aider à réduire le temps avant la première réponse, même si cela ne dit pas tout de la performance complète d’un service d’inférence.
Selon le papier arXiv associé, ZYFA repose sur trois choix techniques : le calcul direct des probabilités FP8, un ordonnancement ping-pong, et une mise à l’échelle par blocs avant arrondi. Ces optimisations visent à exploiter le FP8 tout en limitant l’écart numérique avec des références plus précises.
Les chiffres publics portent sur deux familles de tests. Sur activations réelles, ZYFA est annoncé entre 1,16× et 1,76× plus rapide qu’AITER. Sur entrées gaussiennes, le papier indique des gains de 1,26× à 1,99× selon les formes testées. Le papier précise aussi que, sur Mistral-7B et Qwen3-8B, l’erreur FP8 de ZYFA est 62% à 78% inférieure à celle d’AITER, et proche de Composable Kernel et Triton.
Zyphra présente ZYFA comme une brique de son Zyphra Optimization Engine, ou ZOE. Cette brique alimente son inference cloud et des déploiements on-prem. Autrement dit, ZYFA n’est pas seulement présenté comme un benchmark isolé : il s’inscrit dans une pile d’inférence destinée à des environnements de production sur AMD Instinct MI355X.
Comment l'essayer
Zyphra indique que ZYFA alimente son cloud d’inférence et ses déploiements on-prem. La page Zyphra Cloud mentionne des clusters GPU bare-metal à la demande, des déploiements souverains dédiés et une tarification présentée comme transparente, mais elle demande de contacter les ventes ou de contacter l’équipe pour la capacité. Aucune grille tarifaire publique lisible n’est affichée dans le contenu consulté.
La page Cloud liste des accélérateurs AMD Instinct pris en charge : MI300, MI355 et MI455. Pour ZYFA, l’annonce officielle parle spécifiquement des GPU AMD Instinct MI355X. Si tu veux l’évaluer, le point d’entrée public le plus clair est donc Zyphra Cloud ou un échange commercial pour un déploiement dédié.
La disponibilité en France n’est pas précisée dans le contenu public consulté. La page Cloud ne mentionne pas non plus une zone Europe ou France spécifique. Pour une équipe soumise à des contraintes de résidence des données, de souveraineté ou de conformité interne, ce point doit être vérifié avant tout pilote.
Pour qui, et pour quoi faire
ZYFA intéresse d’abord les équipes plateforme IA, MLOps et infrastructure qui exploitent ou envisagent des GPU AMD Instinct MI355X pour servir des modèles de langage. Le cas d’usage le plus évident concerne les workloads à long contexte : assistants de code, recherche approfondie, analyse de dossiers, ou automatisation de workflows par agents.
La page de lancement de Zyphra Cloud cite justement des workloads agentiques de longue durée, comme le codage agentique, la recherche approfondie et l’automatisation de workflows. Dans ce type d’usage, les prompts peuvent contenir beaucoup de contexte : fichiers, historiques, consignes, résultats intermédiaires. Le préfill devient alors une étape sensible.
Un cas concret : une équipe technique qui opère un service interne d’assistance au développement peut envoyer au modèle plusieurs fichiers, logs et tickets pour générer une proposition de correction. Si l’infrastructure repose sur MI355X, un kernel de préfill plus rapide peut aider à absorber des prompts plus longs ou à améliorer la latence, à condition que le reste de la chaîne suive : orchestration, réseau, stockage du cache KV, batching et génération.
Limites et points de vigilance
Les gains annoncés sont mesurés dans un cadre précis. Ils concernent des activations capturées depuis Mistral-7B, Qwen3-8B et DeepSeek-V2-Lite à 16K tokens, avec comparaison à AITER au clock soutenu. Ils ne garantissent pas automatiquement le même résultat sur tous les modèles, toutes les longueurs de contexte, tous les formats de batch ou toutes les contraintes de production.
Il faut aussi distinguer erreur numérique et qualité métier. Une erreur FP8 plus faible est un signal utile pour les ingénieurs, mais elle ne remplace pas une évaluation sur tes tâches : exactitude des réponses, robustesse des agents, taux d’échec, sécurité, coût par requête et latence de bout en bout.
Autre point : ZYFA cible les AMD Instinct MI355X. La page Zyphra Cloud mentionne aussi MI300 et MI455, mais l’annonce ZYFA porte sur MI355X. Si ton parc est hétérogène, il faudra vérifier ce qui est réellement exploitable sur chaque accélérateur.
Enfin, les conditions d’accès restent à clarifier selon ton contexte. Le prix public n’est pas affiché dans la page consultée, la disponibilité en France n’est pas communiquée, et l’accès à la capacité passe par un contact avec Zyphra.
L'avis NXUS
ZYFA est une annonce importante pour les équipes qui veulent industrialiser l’inférence LLM sur AMD MI355X, surtout avec des contextes longs. Les chiffres publiés sont intéressants car ils combinent vitesse et réduction d’erreur numérique face à AITER, mais ils doivent être validés sur tes propres workloads.
Avant de décider, mesure la latence de préfill, le temps au premier token, la latence totale, le débit et la qualité applicative. Compare aussi les coûts opérationnels, car un kernel plus rapide ne suffit pas si le goulot d’étranglement est ailleurs.
Pour un pilote, pars d’un cas métier représentatif : analyse de documents longs, agent de code ou recherche augmentée. C’est le meilleur moyen de savoir si ZYFA apporte un gain réel à ton équipe, au-delà du benchmark kernel.
Sources
Source : zyphra.com
Rudy Molinillo
