IBM publie des configurations Granite Switch de 8 et 30 milliards de paramètres combinant un modèle conversationnel, des adaptateurs Decision et Guardian et une transcription vocale Granite Speech. Les composants partagent un endpoint au lieu d’être servis comme plusieurs systèmes entièrement séparés.
L’approche aLoRA peut réutiliser le cache KV du modèle de base pour des décisions ultérieures. Des modèles précomposés et une démonstration Speech-to-Decisions sont proposés; les équipes peuvent aussi composer leurs propres adaptateurs. L’Adapter SDK annoncé pour l’avenir ne doit pas être présenté comme livré.
Les économies mémoire, classements ASR et comparaisons avec Jev sont ceux rapportés par IBM dans ses configurations. Un adaptateur Guardian n’est pas une garantie de sûreté de l’agent complet. Vérifier séparément les licences des modèles, bibliothèques et composants.
L’alternative aux multiples appels de modèles peut être la composition de spécialistes autour d’un socle partagé.