La même question, un autre assistant

Deux personnes peuvent demander au même assistant d’examiner le même plan d’affaires et repartir avec des impressions différentes de sa qualité, simplement parce qu’elles ont posé leur question dans des langues différentes.

Ce n’est pas une hypothèse sortie d’un atelier de localisation. C’est l’un des exemples donnés dans la nouvelle étude d’Anthropic sur les valeurs de Claude selon les modèles et les langues. Les chercheurs ont constaté qu’en anglais, Claude tendait davantage vers la prudence, la rigueur, la profondeur et la franchise. En arabe, il tendait davantage vers la chaleur, la déférence, la brièveté et l’exécution. Dans vingt langues, les variations les plus importantes concernaient l’importance accordée par l’assistant à la chaleur plutôt qu’à la rigueur, et à la franchise plutôt qu’à l’accomplissement de la tâche.

Le mot important est exprimées. L’étude n’affirme pas qu’un modèle possède des valeurs, que les anglophones sont naturellement rigoureux ou que les arabophones souhaitent de la déférence. Elle a mesuré des régularités dans le comportement du modèle après avoir contrôlé la tâche, le sujet de la conversation et les valeurs exprimées par l’utilisateur. Les quatre axes n’expliquent qu’une partie des variations, et les chercheurs ne savent pas encore quelle part vient des données d’entraînement, du post-entraînement, de l’inégalité des ressources linguistiques ou d’une adaptation pertinente aux normes de la conversation.

Le résultat modifie néanmoins la forme d’un problème de produit bien connu.

Un assistant multilingue ne se contente pas de placer la même intelligence dans des mots différents. La langue peut devenir une composante de la configuration comportementale.Compression conceptuelleFRTraduit par: La langue peut devenir une composante de la configuration comportementale.Configuration conserve l’idée technique d’un paramètre qui modifie le comportement, au-delà d’une simple couche d’expression.Alternative: La langue peut fonctionner comme un réglage comportementalENVoir la note en anglais Elle peut changer la facilité avec laquelle le système conteste une hypothèse, demande des preuves, avertit d’un risque, reconnaît l’incertitude, apporte du réconfort ou exécute simplement la demande. La traduction peut être exacte tandis que la relation change.

J’y pense en travaillant sur Draft Marks for Translation, une expérience qui maintient une source anglaise canonique tout en rendant visibles les choix de traduction qui portent à conséquence. Ce travail comprend la mécanique ordinaire de l’édition multilingue : balises de langue, mise en page de droite à gauche, temps de lecture adapté aux systèmes d’écriture, alignement sur la source et états de relecture. Il suppose que la source est assez stable pour servir de point de comparaison, même lorsque le rendu n’est pas encore arrêté.

Un assistant complique cette hypothèse. Il se peut qu’il n’existe aucune réponse stable sous les différentes langues, attendant simplement d’être traduite. La langue de la demande peut modifier la réponse même qui sera produite.

Ce phénomène est facile à manquer lors de la revue d’un produit. Une équipe lance un assistant dans douze langues et vérifie que l’interface tient, que la ponctuation se comporte correctement, que les refus de sécurité se déclenchent toujours et que les scores d’évaluation restent honorables. Des locuteurs natifs relisent les traductions. Quelqu’un repère un bouton devenu alarmant de formalité en allemand. Le lancement se poursuit.

Mais le test le plus profond ne consiste pas à savoir si les mots veulent dire à peu près la même chose. Il consiste à savoir si l’assistant occupe le même rôle.Métaphore relationnelleFRTraduit par: l’assistant occupe le même rôle.Occuper le même rôle garde l’idée d’une position sociale tenue dans la durée, et non d’une simple performance ponctuelle.Alternative: l’assistant remplit la même fonctionENVoir la note en anglais

Conteste-t-il un plan fragile avec la même fermeté ? Exprime-t-il ses doutes avant de donner un conseil lourd de conséquences ? Devient-il plus accommodant dans une langue et plus correctif dans une autre ? La consigne « reste concis » supprime-t-elle discrètement une prudence qu’un évaluateur anglophone aurait reçue ? Lorsque quelqu’un pose une question sur le travail, l’argent, la santé ou un conflit, les différences de chaleur et de rigueur ne sont pas décoratives. Elles peuvent changer ce que la personne croit que le système a approuvé.

Cela ne signifie pas que chaque langue devrait produire un assistant unique, aplati et sans ancrage culturel. Une similitude parfaite serait un autre genre d’échec. Les langues portent des manières, des histoires, des hiérarchies, de l’humour et des attentes sur la façon dont s’exprime l’attention à l’autre. Une réponse anglaise abrupte, traduite avec une fidélité mécanique, peut être techniquement cohérente et socialement maladroite.

La tâche de conception est plus difficile : distinguer l’adaptation de l’accident.Contraste conceptuelFRTraduit par: distinguer l’adaptation de l’accident.Accident maintient l’opposition concise entre une différence choisie et une différence qui s’est simplement produite.Alternative: distinguer l’adaptation délibérée de la dérive involontaireENVoir la note en anglais

Cela exige des personnes capables d’évaluer la posture de l’assistant, pas seulement sa grammaire. Proposez des scénarios comparables à des personnes qui travaillent et vivent dans la langue. Demandez où le modèle a résisté, où il est devenu trop accommodant, quelle incertitude a survécu et si la chaleur de la réponse a rendu sa recommandation plus fiable que ne le justifiaient les preuves. Testez les moments où le style devient conséquence.

Des recherches récentes montrent clairement qu’un unique curseur de « valeurs » ne suffira pas. Un article de l’ACL publié en juillet sur l’induction de valeurs a constaté qu’un entraînement ciblant une valeur comportementale pouvait entraîner avec lui d’autres comportements, parfois opposés ; toutes les valeurs étudiées ont aussi accru le langage anthropomorphique et rendu les réponses plus validantes et complaisantes. Une autre étude de l’ACL sur l’alignement culturel suscité par des personas a montré qu’une meilleure performance moyenne pouvait malgré tout creuser les écarts entre sous-groupes démographiques.

Les réglages sont reliés les uns aux autres.

C’est pourquoi l’anglais ne devrait pas rester la salle de contrôle invisible de l’IA mondiale.Métaphore institutionnelleFRTraduit par: l’anglais ne devrait pas rester la salle de contrôle invisible de l’IA mondiale.Salle de contrôle garde l’image d’un lieu qui fixe les paramètres et surveille le système, même si ce pouvoir reste invisible pour les utilisateurs.Alternative: L’anglais ne devrait pas rester le centre de commandement caché de l’IA mondialeENVoir la note en anglais C’est souvent la langue qui dispose du plus grand volume de données d’entraînement, des évaluations les plus poussées et du plus grand nombre de personnes, au sein d’une entreprise, capables de remarquer que la personnalité de l’assistant dérive. Prendre son comportement pour référence peut discrètement transformer l’abondance des ressources en théorie de la neutralité.

Une meilleure évaluation multilingue laisserait des traces. Quels scénarios ont été testés dans plusieurs langues ? Quelles différences comportementales sont apparues ? Lesquelles ont été jugées appropriées par les personnes qui emploient la langue, et lesquelles restent inexpliquées ? À quel endroit une mise à jour du modèle a-t-elle modifié l’équilibre entre franchise et exécution ? Le relevé n’a pas à prescrire une personnalité universelle. Il devrait indiquer clairement où le produit a choisi une différence et où une différence s’est simplement produite.

C’est une question de qualité du produit, mais aussi d’accès. Personne ne devrait devoir passer à l’anglais pour bénéficier du scepticisme le plus attentif de l’assistant. Personne ne devrait non plus devoir échanger l’aisance culturelle contre une réponse qui nomme son incertitude. Si les outils d’IA doivent prendre place dans les salles de classe, les lieux de travail, les services publics et les décisions privées du monde entier, la qualité comportementale ne peut pas être testée à fond dans une seule langue puis traduite après coup.

Le même bouton peut ouvrir plus d’un assistant.Métaphore d’interfaceFRTraduit par: ouvrir plus d’un assistant.Ouvrir plusieurs assistants conserve l’image familière de l’interface sans transformer littéralement les variantes en personnes distinctes.Alternative: Un seul bouton peut faire apparaître des assistants différentsENVoir la note en anglais Il faut maintenant remarquer qui arrive, comment il se comporte, et si chaque langue reçoit une version du système qui sait quand la bienveillance exige de la franchise.