Aller au contenu
BrèvesBrève

TensorLean vérifie les kernels GPU avec Lean

TensorLean vise la vérification formelle de kernels GPU au niveau PTX. FlashAttention et DeepGEMM servent déjà de bancs d’essai.

Rudy Molinillo5 min de lecture
TensorLean vérifie les kernels GPU avec Lean

TensorLean, projet porté par Columbia University et CertiK, vise un sujet très concret pour l’IA : vérifier formellement des kernels GPU de production. L’objectif est de prouver, au niveau PTX, que du code critique respecte certaines propriétés, au lieu de s’appuyer uniquement sur des campagnes de tests.

Les premiers résultats publics concernent notamment FlashAttention, DeepGEMM et des kernels DeepSeek. Pour les équipes qui optimisent l’inférence ou l’entraînement, c’est un signal important : les bugs bas niveau restent difficiles à détecter, même avec beaucoup de tests.

Ce qui change concrètement

Selon CertiK, TensorLean a été appliqué à plus de 100 kernels GPU de production, dont des kernels issus de DeepSeek et de FlashAttention. L’approche consiste à vérifier formellement des kernels compilés au niveau PTX avec Lean, un assistant de preuve utilisé pour exprimer et vérifier des propriétés mathématiques.

Le point intéressant n’est pas seulement académique. Les kernels GPU sont au cœur des performances des modèles d’IA. Une erreur de synchronisation, une course de données ou une hypothèse invalide sur la mémoire peut produire des résultats incorrects, parfois de façon rare et difficile à reproduire. Les tests unitaires et les benchmarks restent indispensables, mais ils ne couvrent pas toujours tous les chemins d’exécution possibles.

Selon MarkTechPost, le banc d’essai de TensorLean inclut tous les kernels de FlashAttention-2, FlashAttention-3 et FlashAttention-4, ainsi que DeepGEMM. Le même article indique que l’outil a vérifié du PTX compilé pour des kernels A100, H100 et B200.

Les chiffres publiés donnent une idée de l’effort. MarkTechPost rapporte 10 278 lignes de spécifications pour 151 285 lignes de code source kernel, soit environ 15 lignes de code source pour une ligne de spécification. Le temps médian de vérification serait d’environ 10 minutes, avec un maximum de 50 minutes sur une station de travail 16 cœurs. Ces ordres de grandeur suggèrent un outil pensé pour des kernels réels, pas seulement pour des exemples réduits.

Le résultat le plus parlant concerne FlashAttention-4. MarkTechPost indique que TensorLean a détecté une course de données qui n’était pas apparue dans 17 760 exécutions de tests. C’est précisément le type de problème que la vérification formelle cherche à traiter : un bug rare, dépendant de l’ordonnancement, invisible dans une campagne de tests pourtant massive.

Un communiqué relayé par CoinDesk mentionne aussi 2 bugs dans des kernels DeepSeek et 23 dans FlashAttention. MarkTechPost résume de son côté que TensorLean a vérifié 149 instances de kernels, en a prouvé 83 correctes et a trouvé 38 bugs dans FlashAttention, DeepGEMM et d’autres éléments du banc.

Comment l'essayer

L’accès public à TensorLean n’est pas encore clair. Une couverture secondaire indique que la page projet présente l’article de recherche et le code comme à venir, et que TensorLean n’est pas encore publié. La même couverture indique qu’aucune licence n’est listée.

Le prix n’est pas communiqué. La disponibilité en France n’est pas communiquée non plus. À ce stade, il faut donc considérer TensorLean comme un projet de recherche annoncé avec des résultats techniques, mais pas encore comme un outil que tu peux intégrer immédiatement dans une chaîne CI/CD.

Pour qui, et pour quoi faire

TensorLean concerne d’abord les équipes qui écrivent ou modifient des kernels GPU : laboratoires IA, éditeurs de modèles, équipes performance, fournisseurs d’infrastructure et entreprises qui maintiennent des optimisations CUDA/PTX critiques.

Un cas d’usage professionnel concret : une équipe développe un kernel d’attention optimisé pour réduire la latence d’un modèle en production. Les tests passent sur plusieurs tailles de batch et plusieurs cartes, mais le kernel utilise de la mémoire partagée, des barrières de synchronisation et des accès parallèles complexes. Une approche comme TensorLean pourrait servir à formaliser les garanties attendues, par exemple l’absence de certaines courses de données ou le respect de contraintes mémoire, puis à vérifier le PTX généré pour des architectures ciblées.

Le même raisonnement vaut pour des kernels GEMM spécialisés, comme ceux associés à DeepGEMM. Quand une optimisation bas niveau gagne quelques points de performance mais augmente la complexité, la vérification formelle peut aider à documenter ce qui est réellement garanti.

Limites et points de vigilance

La première limite est l’accès. Tant que le code, la documentation et la licence ne sont pas publiés, il est impossible pour une entreprise de juger l’intégration, la maintenabilité ou les contraintes juridiques de TensorLean.

La deuxième limite tient à la spécification. La vérification formelle prouve qu’un programme respecte une spécification donnée. Si cette spécification est incomplète ou mal écrite, la preuve ne couvre pas ce que l’équipe croit couvrir. Le ratio publié, plus de 10 000 lignes de spécifications pour plus de 151 000 lignes de code source, montre que l’effort est réel.

La troisième limite est opérationnelle. TensorLean ne remplace ni les benchmarks de performance, ni les tests d’intégration, ni l’observation en production. Il répond à une autre question : certaines propriétés critiques du kernel sont-elles démontrées formellement sur le code bas niveau vérifié ?

Enfin, les résultats publiés ne signifient pas que tous les kernels sont prouvés corrects. Les chiffres disponibles indiquent à la fois des preuves réussies et des bugs trouvés. C’est utile, mais cela demande une lecture précise.

L'avis NXUS

TensorLean est à suivre de près si ton organisation touche au code GPU bas niveau. Le signal fort, c’est la détection d’un bug FlashAttention-4 absent de milliers de tests.

Pour l’instant, il faut rester prudent : sans code public ni licence, ce n’est pas encore un outil déployable par une équipe standard. La bonne démarche consiste à cartographier tes kernels critiques, tes risques mémoire et tes zones de concurrence.

Si tu veux monter en compétence sur l’usage professionnel de l’IA et comprendre où ces outils s’insèrent dans une stratégie technique, les formations IA NXUS peuvent aider à structurer cette veille et ses impacts métiers.

Sources

Source : certik.com

TensorLeanKernels GPUVérification formelleFlashAttention

Rudy Molinillo

Articles similaires