Ollama Cloud fonctionne désormais depuis les machines Linux persistantes Sprites de Fly.io. Le connecteur conserve la clé Ollama dans l’organisation Fly.io et la passerelle l’ajoute aux requêtes autorisées, sans l’exposer directement au code de l’agent.
Chaque Sprite dispose de sa machine virtuelle et de son disque persistant. Le connecteur refuse initialement l’accès à tous les Sprites; l’administrateur choisit ceux qui pourront appeler les modèles, par nom, préfixe ou label. Les routes compatibles OpenAI et les routes natives Ollama passent par la passerelle. Un compte et les ressources des deux services restent nécessaires.
Garder la clé hors du sandbox réduit une voie de fuite du secret, mais ne garantit pas l’absence d’abus de l’accès autorisé ou d’exfiltration par d’autres canaux. Il s’agit de modèles cloud, pas d’une nouvelle exécution locale gratuite.
Le secret peut être séparé de l’environnement qui exécute le code non fiable, sans supprimer le besoin de gouverner les actions.