Ollama ajoute une brique locale pour les décisions simples
Au lieu d’un grand agent pour chaque étape, une petite décision typée peut router une requête ou classer un ticket. C’est une piste concrète pour réduire les appels à des modèles plus lourds.
Disponible dès 0.35
Faits, analyse et limites
Faits vérifiés
- Ollama 0.35 ajoute les modèles de décision et l’endpoint /v1/systemone : un état et des questions nommées produisent des réponses typées.
- Les usages cités sont triage, routage et modération ; Nimble 9B, Tev1 4B et Tev1 0.8B sont proposés pour une exécution locale.
- Les 91 ms par décision annoncées pour Nimble proviennent d’un exemple Pac-Man sur M5 Max, pas d’une garantie de latence sur ton VPS.
Ce qui change
Pour Syndiko, tester un tri de demandes sur un jeu annoté avant toute action. Prévoir une classe inconnue et un seuil de confiance ; ne jamais déclencher une action sensible sur le seul score.
Implication pratique
Faire un prototype read-only de classification ; aucun modèle installé dans ce pilote.
Disponibilité
Ollama 0.35+ ; besoins matériels, mémoire et latence à mesurer sur la machine cible.
Limites et incertitudes
Local ne veut pas dire sans coût : matériel, maintenance et qualité du classement restent à évaluer.
29 sept. · mail le 30