Faits vérifiés
- Signals classe les problèmes d’interaction, d’exécution des outils et d’environnement, puis permet de transformer une session en scénario d’évaluation.
- Simulations fait jouer un utilisateur simulé sur plusieurs tours, dans un environnement isolé ; les outils qui écrivent ou coûtent de l’argent peuvent être simulés.
- La comparaison baseline/candidat distingue réussite de l’objectif, rétention des connaissances et usage des outils ; les scénarios utilisés restent figés pour relire les résultats.
- La preview prend en charge les harness compatibles avec Harness Runtime, dont Claude Code, Codex et OpenCode, mais pas LangChain, Hermes ou CrewAI.
Ce qui change
La qualité d’un agent se mesure aussi dans les enchaînements, pas seulement dans sa dernière réponse.
Implication pratique
Chercher les erreurs récurrentes plutôt qu’un score de démonstration.
Disponibilité
Belgique/EEE : aucune exclusion régionale explicite dans la source ; disponibilité à confirmer selon le compte, le plan et la région de service.
Limites et incertitudes
Les scores et gains d’efficacité sont ceux de DigitalOcean ; un juge LLM et un simulateur ne remplacent pas l’observation d’utilisateurs réels.