Dylan Di Filippo
Dylan Di FilippoJournal IA

Une étude remet en question la faible contrôlabilité des chaînes de raisonnement

Uriel Dolev / Idan Schwartz / Yoav GoldbergRecherche et modèles

Placer une contrainte dans le raisonnement améliore son respect dans les tests des auteurs, avec un enjeu pour les moniteurs de sécurité.

Publication

Dans une prépublication déposée le 16 octobre, Uriel Dolev, Idan Schwartz et Yoav Goldberg étudient la capacité des modèles à modifier leur chaîne de raisonnement. Ils contestent l’idée qu’un faible respect de contraintes données par l’utilisateur démontre nécessairement une incapacité intrinsèque : la manière d’introduire la contrainte compte.

Leur protocole Self-Instructed CoT Controllability place la consigne à l’intérieur du raisonnement comme une auto-instruction. Les auteurs rapportent un contrôle supérieur à celui obtenu par la seule instruction utilisateur ; même un rappel générique aide. Ils décrivent aussi une façon de faire émerger ces auto-instructions depuis le prompt, sans accès direct au canal de raisonnement. Ce sont des résultats expérimentaux sur les systèmes et tâches étudiés, pas une propriété universelle de tous les modèles.

La question de sécurité vient de leur expérience de surveillance : cette contrôlabilité peut aider à éviter un moniteur qui lit le raisonnement. Cela ne signifie pas que tout raisonnement visible est faux ni que toute surveillance est inutile. En revanche, supposer qu’un modèle ne peut pas adapter ce qu’il écrit à une contrainte constitue une base fragile pour une garantie de sécurité. Le papier est une prépublication ; aucun déploiement hostile réel ni réplication indépendante n’est établi ici.

← Retour à cette édition hebdomadaire

Un journal de Dylan Di Filippo. Faits, affirmations fournisseurs et analyse éditoriale restent distincts. La couverture n’est pas exhaustive.