Gemini API : Tool Retrieval réduit les tokens des agents
Tool Retrieval charge les schémas d’outils seulement quand l’agent en a besoin, pour réduire tokens et latence dans Gemini API.

Google ajoute Tool Retrieval au Gemini API pour aider les agents IA à gérer de grandes bibliothèques d’outils sans tout charger dans chaque requête. La fonction est en preview dans l’Interactions API et vise un problème très concret : trop de schémas d’outils consomment des tokens, ajoutent de la latence et compliquent le choix du bon outil.
Pour un professionnel qui construit un agent connecté à des dizaines, voire des centaines d’actions, le changement est important. L’agent peut voir les outils disponibles, mais ne charge les détails techniques que lorsqu’il en a besoin.
Ce qui change concrètement
Jusqu’ici, un agent devait souvent recevoir la description complète de chaque outil disponible, y compris son schéma de paramètres. C’est coûteux si ton agent peut créer un ticket, consulter un CRM, générer une facture, déclencher un remboursement, chercher dans une base documentaire ou interroger plusieurs API métier.
Avec Tool Retrieval, selon l’annonce de Google, le modèle reçoit le nom et la description des outils différés, mais pas leurs schémas de paramètres. Si la tâche exige un outil précis, le modèle le demande par son nom. L’API charge alors le schéma complet, puis le modèle peut émettre l’appel de fonction dans la même requête.
Concrètement, l’activation repose sur deux éléments : ajouter un outil `tool_search`, puis définir `defer_loading: true` sur les outils dont tu veux différer le chargement. Google précise qu’il n’y a pas d’index à construire ni à héberger. La recherche est exécutée côté serveur par Gemini.
L’intérêt est double. D’abord, les input tokens baissent, car les schémas volumineux restent hors contexte tant qu’ils ne servent pas. Ensuite, la latence est conçue pour diminuer, car l’agent ne transporte plus toute sa bibliothèque d’outils à chaque appel. Google indique aussi que cela aide à conserver une sélection d’outils plus précise quand la liste des candidats grossit.
La fonction marche également avec les serveurs MCP distants dans le Gemini API. En mettant `defer_loading: true` sur un `mcp_server`, les outils exposés par ce serveur peuvent être chargés à la demande, sans devoir les lister un par un dans la requête.
Comment l'essayer
Tool Retrieval est annoncé en preview dans l’Interactions API. Google le présente comme compatible avec Gemini 3.6 et les versions ultérieures, y compris tous les modèles Gemini 4. Pour l’utiliser, il faut intégrer `tool_search` et marquer les outils à différer avec `defer_loading: true`.
Si tu gardes ton propre registre d’outils, ton propre index d’embeddings ou un filtre de permissions par utilisateur, Google documente aussi une récupération côté client. Dans ce cas, `tool_search` est déclaré avec `execution: "client"`. Ton application exécute alors la recherche, ce qui ajoute un aller-retour par recherche. Cette approche permet aussi d’exposer de nouveaux outils en cours de conversation, par exemple lorsqu’un utilisateur connecte une intégration.
Côté prix, Google indique que Tool Retrieval n’a pas de surcoût séparé. Les tokens d’entrée et de sortie sont facturés selon les tarifs standards du modèle utilisé. L’activation de `tool_search` ajoute toutefois un petit bloc fixe de tokens d’entrée, et chaque schéma chargé est ensuite facturé comme input pour le reste de la conversation.
La page officielle de pricing Gemini API distingue les offres Free, Paid et Enterprise. Elle indique aussi que Google AI Studio est gratuit dans toutes les régions disponibles. Pour la France, un échange sur le forum Google AI Developers mentionne que la France, La Réunion et la Nouvelle-Calédonie sont considérées comme des régions prises en charge pour Gemini API et AI Studio.
Pour qui, et pour quoi faire
Tool Retrieval vise surtout les équipes qui construisent des agents applicatifs. Le cas typique est un agent de support client ou d’opérations internes, connecté à de nombreux outils : remboursement, suivi de commande, base de connaissances, génération d’avoir, création de ticket, mise à jour CRM, recherche de contrat, notification Slack ou appel à un serveur MCP.
Sans récupération d’outils, chaque interaction peut embarquer les schémas complets de toutes ces actions. Avec Tool Retrieval, tu peux garder les outils fréquents chargés dès le départ et différer la longue traîne. Par exemple, un agent e-commerce peut avoir un outil de recherche de commande toujours disponible, mais ne charger le schéma de remboursement que lorsqu’un client signale un produit endommagé et qu’un remboursement doit réellement être préparé.
Cette logique est utile dès qu’un agent doit orchestrer beaucoup de capacités sans alourdir chaque requête. Si tu veux cadrer les bons usages avant de brancher des outils métier, le guide NXUS sur les agents IA en entreprise peut aider à structurer les rôles, les permissions et les scénarios.
Limites et points de vigilance
Tool Retrieval ne supprime pas le coût des outils. Il le reporte au moment où le schéma devient nécessaire. Une fois chargé, le schéma est facturé comme input pour le reste de la conversation, selon les règles communiquées par Google.
La qualité des noms et descriptions devient aussi critique. Le modèle voit ces éléments avant de charger les paramètres. Des noms vagues ou des descriptions trop proches peuvent donc nuire au bon choix. Il faut traiter la bibliothèque d’outils comme une interface produit : claire, cohérente et maintenable.
La récupération côté client offre plus de contrôle, mais ajoute un aller-retour à chaque recherche. Elle est pertinente si tu dois appliquer des permissions fines, filtrer les outils selon l’utilisateur ou connecter des intégrations pendant la conversation.
Enfin, l’accès dépend des régions prises en charge et de la configuration réelle du compte ou de l’infrastructure. Un fil du forum Google AI Developers précise que les requêtes Gemini API exigent que l’adresse IP de sortie corresponde à une région disponible. Un autre échange indique qu’un accès AI Studio peut aussi être bloqué si le compte ne satisfait pas la vérification d’âge requise.
L'avis NXUS
Tool Retrieval répond à un vrai problème d’architecture pour les agents : comment donner accès à beaucoup d’outils sans saturer le contexte. Le mécanisme paraît particulièrement utile pour les entreprises qui veulent passer d’un prototype avec quelques fonctions à un agent branché sur un système d’information plus large.
La bonne pratique sera de ne pas tout différer mécaniquement. Garde les outils les plus fréquents chargés, diffère les outils rares, et surveille les traces d’exécution pour comprendre ce que le modèle recherche vraiment.
Avant de déployer, documente les noms d’outils, teste les descriptions et vérifie les permissions par profil utilisateur. La réduction de tokens est intéressante, mais la sécurité et la gouvernance des actions restent prioritaires.
Sources
Source : Google
Rudy Molinillo


