Pourquoi la surcharge des outils d’agent devient-elle plus importante à mesure que le nombre d’étapes du workflow augmente, pour une taille de modèle identique ?
La surcharge d’un agent augmente avec la longueur du workflow, car chaque étape ajoute une attente liée aux outils, du traitement de contexte, une validation, un transfert d’état et une nouvelle possibilité de nouvelle tentative.
Un modèle local de 7B peut répondre rapidement à une demande directe, mais prendre beaucoup plus de temps lorsqu’il doit rechercher, analyser, calculer, rédiger et vérifier successivement. Les poids du modèle restent inchangés. Le workflow ajoute des dépendances séquentielles et réinjecte chaque résultat dans les invites suivantes, ce qui augmente à la fois le temps d’exécution total et le nombre de tokens traités sur l’ensemble d’une trace d’exécution réussie.
Les attentes séquentielles liées aux outils s’additionnent même lorsque l’inférence reste constante
Pour un workflow strictement dépendant, la latence totale correspond approximativement à la somme des tours du modèle, des appels d’outils, de la sérialisation et des attentes en file. Cinq outils prenant 400 millisecondes ajoutent deux secondes avant même tout raisonnement supplémentaire. Un cas exceptionnellement lent peut dominer l’ensemble du parcours.
Une étude de 2026 sur l’utilisation des outils par les agents décrit une accumulation linéaire, voire pire, de la latence lorsque l’inférence suivante attend les résultats de l’outil précédent. Le parallélisme n’est utile que lorsque les dépendances sont réellement indépendantes.
Chaque frontière convertit également les arguments et les résultats, vérifie les schémas et peut traverser un processus ou un réseau. La taille du modèle explique le coût d’inférence par tour, mais pas le nombre ni la durée des frontières d’orchestration.
Les données renvoyées allongent les tours ultérieurs du modèle
Les sorties des outils sont souvent ajoutées au contexte. Les étapes suivantes relisent les observations, les plans et les erreurs précédents, de sorte que le traitement des tokens peut augmenter avec la profondeur. Un premier résultat verbeux pénalise chaque tour en aval, à moins d’être filtré ou résumé de manière sûre.
Une analyse de la taxe d’exécution des agents indique que la planification, l’exécution, la vérification et les transferts peuvent consommer plusieurs fois plus de tokens qu’une réponse directe. La part de gaspillage relève de l’exécution, et non de l’intelligence du modèle.
La validation ajoute une surcharge utile en empêchant les actions dangereuses, mais des vérifications redondantes peuvent créer des boucles. La mise en cache des résultats en lecture seule n’est utile que si leur fraîcheur et leur portée utilisateur sont préservées. Des modèles plus rapides ne peuvent pas supprimer un graphe de dépendances inutile.
Quand un plus grand nombre d’étapes n’entraîne pas une hausse proportionnelle des coûts
Les appels d’outils indépendants peuvent s’exécuter simultanément, les transformations déterministes peuvent contourner le modèle et les résultats mis en cache peuvent éviter les tâches répétées. Un graphe de dix étapes comportant de nombreuses branches parallèles peut s’achever plus rapidement qu’une chaîne séquentielle de trois étapes.
Une analyse de production consacrée à la surcharge des appels d’outils montre comment une mauvaise sélection des appels et des invocations inutiles augmentent à la fois la latence et l’utilisation des tokens. La qualité des étapes compte autant que leur nombre.
Ce mécanisme cesse également de s’appliquer lorsque le temps consacré aux outils est négligeable face à une inférence ou à un téléversement dominant. Compter uniquement les étapes devient alors trompeur. Un plus grand nombre d’étapes n’est pas automatiquement négatif s’il apporte des gains mesurables en matière de sécurité ou d’exactitude qui justifient son coût.
Suivez la taxe d’exécution sur l’ensemble du graphe de l’agent
Suivez chaque workflow avec des horodatages pour le préremplissage du modèle, la génération, la validation des arguments, la file d’attente des outils, l’exécution, la sérialisation des résultats, la vérification et les nouvelles tentatives. Enregistrez les tokens d’entrée et de sortie à chaque tour. Comparez le graphe complet à une référence de réponse directe sur les mêmes tâches.
Utilisez la vérification des résultats des outils comme une étape mesurée distincte, plutôt que de dissimuler la vérification dans le « temps de l’agent ». Classez les dépendances comme séquentielles, parallélisables en toute sécurité ou supprimables.
Commencez par optimiser le plus grand segment séquentiel répété. Réduisez ou structurez les sorties des outils avant leur réinsertion, parallélisez uniquement les lectures indépendantes et conservez la validation lorsque le coût d’une défaillance est élevé. Suivez à la fois le taux de réussite et la latence p95 afin que les améliorations de vitesse ne masquent pas une exécution moins fiable.
Produits recommandés
Centre Tech & IA
Plus à lire
Comment mesurer la qualité de la récupération RAG locale et interpréter le rappel, la précision et la couverture des citations
Créez un jeu de test RAG local, calculez les principales métriques de récupération, interprétez leurs compromis et vérifiez si les affirmations des réponses sont...
Pourquoi le calcul des fonctionnalités de la maison intelligente devient-il plus important lorsque le nombre de capteurs augmente à fréquence d’échantillonnage constante ?
Suivez les calculs par capteur et intercapteurs à mesure que le nombre d’appareils augmente, identifiez les coûts de fusion non linéaires et évaluez les...
Pourquoi le coût de l’évaluation du RAG devient-il plus important à mesure que la bibliothèque de documents s’agrandit, pour un même volume de requêtes ?
Comprenez pourquoi l’augmentation du corpus accroît l’effort d’évaluation du RAG sans augmenter le nombre de requêtes des utilisateurs, et comment les tests stratifiés maintiennent...
