A mesma pergunta, um assistente diferente

Duas pessoas podem pedir ao mesmo assistente que avalie o mesmo plano de negócios e sair com impressões diferentes sobre a qualidade do plano porque fizeram a pergunta em idiomas diferentes.

Isso não é uma hipótese de uma oficina de localização. É um dos exemplos da nova pesquisa da Anthropic sobre os valores de Claude em diferentes modelos e idiomas. Os pesquisadores descobriram que, em inglês, Claude tendia mais à cautela, ao rigor, à profundidade e à franqueza. Em árabe, tendia mais ao acolhimento, à deferência, à brevidade e à execução. Em vinte idiomas, as maiores variações apareceram no quanto o assistente enfatizava acolhimento em vez de rigor e franqueza em vez de simplesmente concluir a tarefa.

A palavra importante é expressos. O estudo não afirma que um modelo possua valores, que falantes de inglês sejam naturalmente rigorosos ou que falantes de árabe desejem deferência. Ele mediu padrões no comportamento do modelo após controlar a tarefa e o assunto da conversa, além dos valores expressos pela pessoa usuária. Os quatro eixos explicam apenas parte da variação, e os pesquisadores ainda não sabem quanto dela vem dos dados de treinamento, do pós-treinamento, da desigualdade de recursos linguísticos ou de uma adaptação adequada às normas de conversa.

Mesmo assim, o resultado muda o formato de um problema de produto conhecido.

Um assistente multilíngue não coloca apenas a mesma inteligência em palavras diferentes. O idioma pode se tornar parte da configuração comportamental.Compressão conceitualPT-BRTraduzido como: O idioma pode se tornar parte da configuração comportamental.Configuração comportamental preserva a ideia técnica de um ajuste que altera a conduta, para além de uma simples troca de palavras.Alternativa: O idioma pode funcionar como um ajuste de comportamentoENVer nota em inglês Ele pode mudar a facilidade com que o sistema questiona uma premissa, pede evidências, alerta sobre riscos, admite incerteza, oferece conforto ou simplesmente atende ao pedido. A tradução pode estar correta enquanto a relação muda.

Tenho pensado nisso enquanto trabalho em Draft Marks for Translation, um experimento que mantém uma fonte em inglês como canônica ao mesmo tempo que torna visíveis escolhas de tradução com consequências. Esse trabalho tem a infraestrutura comum exigida pela publicação multilíngue: marcações de idioma, layout da direita para a esquerda, tempo de leitura adequado ao sistema de escrita, alinhamento com a fonte e estados de revisão. Ele parte da ideia de que a fonte é estável o bastante para servir de comparação, mesmo quando a versão traduzida ainda não está definida.

Um assistente complica essa premissa. Talvez não exista, por baixo dos idiomas, uma resposta estável esperando para ser traduzida. O idioma do pedido pode alterar qual resposta será criada.

É fácil deixar isso passar na avaliação de produto. Uma equipe lança um assistente em doze idiomas e verifica se a interface cabe, se a pontuação funciona, se as recusas de segurança continuam sendo acionadas e se os resultados dos benchmarks permanecem respeitáveis. Falantes nativos revisam as traduções. Alguém encontra um botão que ficou alarmantemente formal em alemão. O lançamento segue adiante.

Mas o teste mais profundo não é saber se as palavras significam mais ou menos a mesma coisa. É saber se o assistente ocupa o mesmo papel.Metáfora relacionalPT-BRTraduzido como: o assistente ocupa o mesmo papel.Ocupar o mesmo papel mantém a ideia de uma posição social contínua, não apenas de uma atuação momentânea.Alternativa: o assistente desempenha a mesma funçãoENVer nota em inglês

Ele contesta um plano fraco com a mesma firmeza? Expõe suas dúvidas antes de dar um conselho importante? Torna-se mais condescendente em um idioma e mais corretivo em outro? “Seja breve” elimina discretamente a cautela que uma pessoa avaliando em inglês teria recebido? Quando alguém pergunta sobre trabalho, dinheiro, saúde ou conflito, diferenças de acolhimento e rigor não são decorativas. Elas podem mudar aquilo que a pessoa acredita que o sistema endossou.

Isso não significa que todo idioma deva produzir um único assistente achatado e culturalmente sem lugar. A uniformidade perfeita seria outro tipo de fracasso. Idiomas carregam modos, histórias, hierarquias, humor e expectativas sobre como o cuidado soa. Uma resposta brusca em inglês, traduzida com fidelidade mecânica, pode ser tecnicamente consistente e socialmente desajeitada.

A tarefa de design é mais difícil: distinguir adaptação de acidente.Contraste conceitualPT-BRTraduzido como: distinguir adaptação de acidente.Acidente preserva o contraste curto entre uma diferença escolhida e outra que simplesmente aconteceu.Alternativa: distinguir adaptação deliberada de desvio involuntárioENVer nota em inglês

Isso exige pessoas capazes de avaliar a postura do assistente, não apenas sua gramática. Apresente situações comparáveis a quem trabalha e vive no idioma. Pergunte onde o modelo resistiu, onde se tornou condescendente demais, que incerteza permaneceu e se o acolhimento da resposta fez a recomendação parecer mais confiável do que as evidências justificavam. Teste os momentos em que estilo vira consequência.

Pesquisas recentes deixam claro que isso não pode ser resolvido com um único controle deslizante de “valores”. Um artigo da ACL publicado em julho sobre indução de valores descobriu que treinar um valor comportamental pode arrastar outros comportamentos, às vezes opostos; todos os valores estudados também aumentaram a linguagem antropomórfica e tornaram as respostas mais validantes e bajuladoras. Outro estudo da ACL sobre alinhamento cultural induzido por personas constatou que um desempenho médio melhor ainda podia ampliar diferenças entre subgrupos demográficos.

Os controles estão ligados uns aos outros.

É por isso que o inglês não deveria continuar sendo a sala de controle invisível da IA global.Metáfora institucionalPT-BRTraduzido como: o inglês não deveria continuar sendo a sala de controle invisível da IA global.Sala de controle mantém a imagem de um lugar onde padrões são definidos e o sistema é observado, ainda que esse poder permaneça invisível.Alternativa: O inglês não deveria continuar sendo o centro de comando oculto da IA globalENVer nota em inglês Muitas vezes, é o idioma com mais dados de treinamento, as avaliações mais elaboradas e o maior grupo de pessoas dentro da empresa capaz de perceber quando a personalidade do assistente se desvia. Chamar seu comportamento de referência pode transformar silenciosamente abundância de recursos em uma teoria da neutralidade.

Uma avaliação multilíngue melhor deixaria recibos. Quais situações foram testadas entre idiomas? Que diferenças comportamentais apareceram? Quais foram consideradas adequadas pelas pessoas que usam o idioma, e quais continuam sem explicação? Onde uma atualização do modelo alterou o equilíbrio entre franqueza e execução? O registro não precisa prescrever uma personalidade universal. Ele deve deixar claro onde o produto escolheu uma diferença e onde uma diferença simplesmente aconteceu.

Essa é uma questão de qualidade do produto, mas também de acesso. Ninguém deveria precisar mudar para o inglês para receber o ceticismo mais cuidadoso do assistente. Também não deveria precisar trocar fluência cultural por uma resposta que nomeia sua incerteza. Se ferramentas de IA vão ocupar salas de aula, locais de trabalho, serviços públicos e decisões privadas em todo o mundo, a qualidade comportamental não pode ser testada com profundidade em um idioma e traduzida depois.

O mesmo botão pode abrir mais de um assistente.Metáfora de interfacePT-BRTraduzido como: abrir mais de um assistente.Abrir mais de um assistente preserva a imagem cotidiana da interface sem tratar literalmente as variações como pessoas diferentes.Alternativa: Um único botão pode chamar assistentes diferentesENVer nota em inglês O trabalho agora é perceber quem chega, como se comporta e se cada idioma recebe uma versão do sistema que sabe quando gentileza exige franqueza.