Endpoint Candidates crée des déploiements alternatifs autour d’un Dedicated Endpoint. Ils peuvent recevoir une copie échantillonnée du trafic pour comparer qualité, latence, débit et coût, tandis que le déploiement de production continue à fournir la réponse réellement montrée aux utilisateurs.
La fonction est en disponibilité générale pour tous les workspaces Modal. Chaque candidat possède une URL pour les évaluations existantes, et sa promotion conserve l’URL de l’endpoint de production. Le calcul consommé par les requêtes miroir est facturé aux tarifs habituels.
Le miroir fonctionne en best effort: sous pression mémoire ou face à un candidat lent, certaines copies sont annulées pour préserver la production. L’échantillon reçu n’est donc pas nécessairement représentatif de toutes les requêtes difficiles. Le trafic réel peut contenir des données sensibles.
Tester un modèle sur du trafic réaliste ne doit pas exiger de l’exposer directement aux utilisateurs.