Déposé le 16 octobre, GatewayBench étudie une couche souvent moins visible que le modèle : la passerelle qui expose les outils MCP à un agent. Le benchmark rassemble 524 tâches dans six domaines et un réservoir de 11 118 outils issus de 251 serveurs. Les auteurs ajoutent des outils sans rapport avec la tâche pour mesurer l’effet d’une surface d’action qui grandit.
Le papier oppose notamment les passerelles plates, qui présentent les outils directement, aux passerelles hiérarchiques, qui ajoutent des mécanismes de découverte. Les expériences sur sept passerelles évaluent réussite, efficacité et résistance à des tâches adversariales. Les auteurs observent des interactions fortes avec le modèle et le harness : la passerelle ne se juge donc pas indépendamment de l’agent qui l’utilise.
La hiérarchie n’est pas une victoire gratuite. Avec peu d’outils non pertinents, une architecture plate peut réduire les échanges et la latence ; lorsque le catalogue grossit, le coût de contexte peut renverser cet avantage. Le résultat utile est un protocole de comparaison sous charge et sous attaque, pas une certification de sécurité d’un serveur MCP réel. Les chiffres sont ceux d’une prépublication et n’ont pas été reproduits indépendamment ici.