Together Compiler accélère l’inférence jusqu’à 2,6x
Together Compiler optimise l’inférence IA en continu. Le gain annoncé atteint jusqu’à 2,6x selon les configurations comparées.
Together AI a présenté Together Compiler, un système de compilation continue pour accélérer l’inférence des modèles IA. L’idée : réoptimiser le forward pass au fil du trafic, plutôt que de figer une configuration une fois pour toutes.
Selon MarkTechPost, Together Compiler peut dépasser les meilleures configurations InferenceX jusqu’à 2,6x en TPS, en moins de 24 heures par modèle. Pour un professionnel, le sujet est simple : plus de débit, moins d’attente, et potentiellement une meilleure tenue en production.
Ce qui change concrètement
Together Compiler est présenté par Together AI comme une première brique de sa « Polymorphic Inference » en production. Le principe consiste à adapter en continu la manière dont l’inférence est exécutée, notamment le code GPU qui sert les modèles.
Concrètement, des agents proposent des optimisations du forward pass. Un moteur persistant teste rapidement chaque candidat. Les meilleures variantes peuvent ensuite être utilisées pour servir les requêtes. Business Wire, relayé par Yahoo Finance, décrit le système comme un ensemble d’agents qui réécrit le code GPU derrière les modèles servis.
Le gain annoncé porte surtout sur le débit, mesuré en tokens par seconde. Dans son annonce officielle, Together AI affirme avoir obtenu jusqu’à 3x de TPS supplémentaires sur des modèles open source de pointe, et avoir battu les meilleures configurations InferenceX sur plusieurs modèles. L’article cite notamment 1 111 TPS sur MiniMax M3.1-Flash et 1 205 TPS sur DeepSeek V4.1-Flash dans un scénario low latency avec batch size 1.
Sur la page officielle de Polymorphic Inference, Together AI indique aussi que Together Compiler atteint entre 1,3x et 3x de débit supérieur aux meilleurs moteurs open source sur ses benchmarks NVIDIA Blackwell, après moins de 24 heures de compilation. L’entreprise précise que ces gains se maintiennent aussi sur AMD MI355X et AWS Trainium2.
La promesse opérationnelle est importante : l’optimisation ne dépend pas seulement d’un réglage manuel initial. Elle peut évoluer avec le modèle, le matériel et le profil de trafic. C’est utile quand une application IA passe d’un prototype à un usage réel, avec des pics, des lots de requêtes et des latences à surveiller.
Comment l'essayer
Pour les modèles serverless supportés, Together AI indique que Together Compiler est activé par défaut. La page officielle précise : « Nothing to turn on. » Autrement dit, il n’y a rien à activer côté client pour les modèles concernés.
Les modèles serverless actuellement cités comme supportés sont GLM 5.3, GLM 5.3 Flash et DeepSeek V4.1 Flash. Together AI indique aussi que les kernels compilés sont activés « at the same price » pour les modèles serverless supportés. La page pricing précise que les économies sont comparées à la grille publique du modèle commercial sélectionné, sur le même profil de trafic.
L’offre Serverless Inference est décrite comme sans engagement long terme et adaptée aux trafics variables ou imprévisibles. Together AI la positionne pour le prototypage rapide et la production sensible aux coûts. La même page mentionne des gains publics allant jusqu’à 2,75x plus rapide pour l’inférence serverless.
Pour les déploiements Dedicated Model Inference et Dedicated Container Inference, Together AI indique qu’ils peuvent aussi être optimisés avec Together Compiler. À ce stade, les clients doivent demander l’optimisation à l’équipe recherche et aux FDEs de Together AI. Une optimisation en self service pour les déploiements dédiés est annoncée comme à venir, sans date communiquée.
Concernant la France, aucune disponibilité spécifique par pays n’est communiquée. Together AI indique toutefois que des data centers dans l’Union européenne sont disponibles pour les clients qui doivent garder l’inférence et le stockage dans l’UE pour des raisons de conformité ou de résidence des données. L’entreprise a aussi annoncé son expansion européenne avec Hypertec et 5C Group, avec de premiers déploiements en Europe prévus fin 2025.
Pour qui, et pour quoi faire
Le gain immédiat concerne les équipes qui servent déjà des modèles en production ou qui préparent un passage à l’échelle. Exemple concret : un service client interne qui génère des réponses assistées par IA sur des milliers de tickets. Si le modèle supporté traite plus de tokens par seconde, l’équipe peut réduire l’attente perçue par les agents humains, mieux absorber les pics et améliorer le confort d’usage.
Autre cas : une application SaaS qui propose une analyse de documents, des résumés ou une génération de réponses en temps réel. Une hausse du débit peut aider à servir davantage de requêtes sur un même profil de trafic. Elle peut aussi simplifier les arbitrages entre latence, coût et qualité du modèle, surtout quand la demande varie fortement dans la journée.
Pour un responsable produit ou data, l’intérêt est de tester d’abord sur un modèle serverless supporté, sans projet d’infrastructure lourd. Si le modèle utilisé est dans la liste, l’optimisation est déjà activée selon Together AI. Le travail consiste alors à mesurer les métriques utiles : latence de bout en bout, tokens par seconde, taux d’erreur, coût par tâche et satisfaction utilisateur.
Limites et points de vigilance
Les gains annoncés ne garantissent pas un résultat identique dans chaque application. Les chiffres cités par Together AI et MarkTechPost dépendent des modèles, du matériel, des benchmarks et du profil de trafic. Une application avec beaucoup d’appels outils, de retrieval, de post traitement ou de contraintes réseau peut voir un gain global plus faible que le gain brut d’inférence.
Le périmètre public reste aussi limité aux modèles supportés. Si ton modèle de production n’est pas GLM 5.3, GLM 5.3 Flash ou DeepSeek V4.1 Flash, il faut vérifier directement la prise en charge. Pour les environnements dédiés, l’optimisation n’est pas encore entièrement en self service d’après la page officielle.
La conformité doit être traitée séparément de la performance. La présence de data centers UE est un point utile, mais elle ne remplace pas une revue juridique, sécurité et achats. Il faut vérifier où les données transitent, où elles sont stockées, quelles options contractuelles s’appliquent et quels modèles sont réellement disponibles dans la zone souhaitée.
L'avis NXUS
Together Compiler mérite l’attention si ton enjeu principal est le passage à l’échelle de l’inférence, pas seulement le choix du meilleur modèle. Le test le plus utile consiste à comparer une tâche métier réelle avant et après migration vers un modèle serverless supporté, avec les mêmes prompts et le même trafic.
Ne regarde pas uniquement les TPS. Mesure aussi la latence utilisateur, le coût par résultat exploitable et la stabilité pendant les pics. Si tu es en environnement régulé, commence par valider la résidence des données et le cadre contractuel avant d’optimiser la performance.
Pour une équipe produit, le bénéfice le plus rapide se trouve probablement sur les usages à fort volume : support, résumé, extraction, génération assistée et workflows IA répétitifs.
Sources
Source : together.ai
Rudy Molinillo
