O ChatGPT e outros chatbots falham nas traduções no teste de ambiguidade semântica.
Com toda a empolgação e ansiedade sobre a IA em breve igualar ou superar a inteligência humana, verifica-se que essa tecnologia fez muito pouco progresso desde a década de 1950. ChatGPT e chatbots semelhantes baseados nos modelos de linguagem mais recentes e maiores ainda falham no teste de ambiguidade semântica. Em meu post anterior sobre Yehoshua Bar-Hillel, um pioneiro da tradução automática no início dos anos 1950, contei as histórias que ele narrou sobre domar leões e computadores no Primeiro Simpósio Anual da Sociedade Americana de Cibernética, em 1967.
Em sua palestra, Bar-Hillel também listou três requisitos para a “inteligência da máquina”: a capacidade de manipular a linguagem, ter conhecimentos prévios sobre o mundo e habilidades de raciocínio e computação, tudo no nível de um graduado do ensino médio. O esforço necessário para alcançar esses pré-requisitos de inteligência artificial, disse Bar-Hillel, “seria incomparavelmente maior do que o necessário para colocar o homem em Vênus”.
Novas profissões em alta com a Inteligência Artificial
-
Getty Images Engenheiros de machine learning
Algumas profissões surgiram do zero, baseadas em cargos tradicionais em tecnologia que temos hoje. Para que os computadores consigam operar com base em dados e algoritmos, os engenheiros de machine learning (aprendizado de máquina), serão cruciais. Responsáveis pela programação, esses profissionais criam e treinam os modelos computacionais para execução de tarefas específicas.
-
picture alliance/Getty Images Designers de prompts para IA
Os designers de prompts para IA são especializados na interação entre humanos e tecnologia. Os prompts são perguntas, instruções e demandas comuns, presentes na comunicação entre o usuário e sistemas como o ChatGPT, por exemplo. O objetivo dessa função é identificar as principais necessidades dos usuários ao interagir com uma inteligência artificial e criar a melhor conversa possível entre máquinas e seres humanos.
-
Ser automotivado
Uma das qualidades críticas de um empreendedor de sucesso é ser automotivado. Nesta linha de trabalho, ninguém mais pode responsabilizá-lo por suas tarefas além de você mesmo. Portanto, você deve entender claramente por que deseja se tornar um empreendedor e estar disposto a fazer o trabalho para atingir seus objetivos.
Quem consegue se manter motivado para trabalhar de forma consistente em meio a dúvidas, tentações e críticas alheias, tem mais chances de sucesso nos negócios do que quem só trabalha quando a motivação ou inspiração vem de fontes externas.
-
Especialista em ética da IA
Mas as mudanças provocadas pela IA não se restringem ao mercado de trabalho. A discussão sobre regulação, segurança e governança precisa acompanhar o desenvolvimento. Por trás de toda tecnologia, existe uma programação realizada por humanos, com ideais e julgamentos particulares. O profissional de ética em IA será responsável por fazer essa análise, bem como se certificar de que os processos lógicos e programados das máquinas não se sobreponham às questões humanitárias. Advogados vão passar a se especializar em questões jurídicas relacionadas à IA. “Em algum momento, as empresas irão precisar de governança ligada à IA para pensar esses limites”, diz a economista Dora Kaufman, professora da PUC-SP e pesquisadora dos impactos éticos da Inteligência Artificial.
-
Curadoria de informações para IA
A curadoria para desenvolvimento da IA também está entre as funções importantes nesse mercado que se abre. É a pessoa que vai pesquisar, analisar e selecionar as informações que a IA terá acesso – inclusive tem implicações sobre discussões sobre ética, inclusão e diversidade nos resultados das buscas. “Esse profissional é responsável pela melhoria contínua das interações dos usuários com as interfaces conversacionais. O trabalho é feito por meio da análise das interações, mapeamento e criação de novos exemplos para o modelo de inteligência artificial, e do acompanhamento dos objetivos de negócio”, diz Bonora.
Engenheiros de machine learning
Algumas profissões surgiram do zero, baseadas em cargos tradicionais em tecnologia que temos hoje. Para que os computadores consigam operar com base em dados e algoritmos, os engenheiros de machine learning (aprendizado de máquina), serão cruciais. Responsáveis pela programação, esses profissionais criam e treinam os modelos computacionais para execução de tarefas específicas.
Quinze anos antes, em seu discurso de abertura da conferência de tradução automática que ele organizou no MIT em junho de 1952, Bar-Hillel era muito mais otimista: “mesmo que nenhuma das possíveis parcerias máquina-cérebro fosse mais eficaz do que um tradutor humano, no sentido de que não serão mais rápidos, nem mais baratos, nem mais exatos, nas condições existentes hoje ou no futuro próximo, eu defenderia fortemente a continuação desta pesquisa. Máquinas eletrônicas sem dúvida se tornarão mais baratas, cérebros humanos provavelmente mais caros”.
Leia também:
Em 1955, porém, Bar-Hillel tornou-se muito pessimista. Em “Uma Demonstração da Inviabilidade da Tradução Totalmente Automática de Alta Qualidade”, ele escreveu que a tradução de alta qualidade por computadores “é apenas um sonho que não se tornará realidade em um futuro previsível”. Os pesquisadores de tradução automática que não reconhecem a “futilidade prática desse objetivo”, escreveu Bar-Hillel, enganaram seus patrocinadores por “não estarem satisfeitos com um sistema de tradução parcialmente automatizado cujos princípios são bem compreendidos hoje”.
Ao virar da esquina, ou como a OpenAI disse em um anúncio recente , a superinteligência AI, “a tecnologia mais impactante que a humanidade já inventou”, pode chegar nesta década e “poder levar ao enfraquecimento da humanidade ou até mesmo à extinção humana”.
O exemplo que Bar-Hillel usou em seu artigo para demonstrar a futilidade de perseguir o sonho da tradução automática de alta qualidade foi a seguinte frase: “the box was in the pen” (em tradução para o português, “a caixa estava na caneta”, mas… há também outros significados, dependendo do contexto, como pode-se ler abaixo).
Aqui está o contexto linguístico de onde esta frase foi tirada: “Little John was looking for his toy box. Finally he found it. The box was in the pen. John was very happy.” Na tradução – mais provável, segundo uma IA – para o português: “O pequeno John estava procurando sua caixa de brinquedos. Ele finalmente a encontrou. A caixa estava na caneta. João ficou muito feliz”. A questão é se, nesse contexto, “pen” se refere ao objeto usado para escrever, a “caneta”, ou se há outro significado. Aqui reside o argumento do especialista.
Bar-Hillel explica este exemplo de ambiguidade semântica: “suponha, para simplificar, que ‘caneta’ em inglês (ou seja, ‘pen’) tenha apenas os dois significados a seguir: (1) um certo utensílio de escrita, (2) um recinto onde crianças pequenas podem brincar. Agora afirmo que nenhum programa existente ou imaginável permitirá que um computador eletrônico determine que a palavra caneta na frase dada dentro do contexto tem o segundo dos significados acima, ao passo que todo leitor com conhecimento suficiente de inglês fará isso automaticamente.”
Ao discutir as soluções propostas por outros pesquisadores de tradução automática, Bar-Hillel diz: “é um preconceito antigo, mas ainda assim um preconceito, que levar em consideração um ambiente linguístico suficientemente grande como tal será suficiente para reduzir a ambiguidade semântica de uma determinada palavra.”
Bem, esse era o estado do processamento de linguagem natural (PNL) na década de 1950. Eu tinha certeza absoluta, porém, de que os Large Language Models (LLM) de hoje, treinados em um número incontável de textos e capazes de processá-los (paralelamente), captariam o “contexto linguístico” e sempre acertariam.
Para entender melhor o estado da tradução automática BC (antes do ChatGPT), pedi ao Google Tradutor (que suponho que não use, no momento, o LLM mais recente) para renderizar o exemplo de Bar-Hillel em dois idiomas, hebraico e russo. O Google Tradutor traduz “a caneta” no sentido de um instrumento de escrita – em ambos os idiomas. “A caixa estava no instrumento de escrita” é o que se perdeu na tradução.
Leia também:
O Bard, a resposta do Google ao ChatGPT, era apenas um pouco “melhor” do que o Google Tradutor. Para o Bard, a caixa estava no curral no sentido de um recinto para animais.
Eu forneci ao Bard o contexto completo para a frase do artigo de Bar-Hillel, mas ainda assim obtive “fechamento de animais”. Quando protestei, Bard forneceu o seguinte:
“Está correto. A palavra hebraica מכלאה (mikhla’ah) significa ‘invólucro, caneta, dobra’. Pode ser usado para se referir a um pequeno recinto para animais, como um galinheiro ou um chiqueiro. Também pode ser usado para se referir a um recinto maior, como um zoológico ou um santuário de vida selvagem. No contexto da sua frase, a palavra מכלאה está sendo usada para se referir a um pequeno recinto para animais. A caixa foi encontrada neste anexo, e é por isso que a tradução usa a palavra hebraica מכלאה.”
O uso de “caneta” como pequeno espaço de armazenamento (é o segundo sentido da palavra no dicionário Merriam-Webster, com instrumento de escrita listado como o quarto sentido), e especificamente para brinquedos infantis, fica claro pelo contexto linguístico completo que eu forneci ao Bard. Ainda assim, pensando que talvez esse sentido fosse mais determinante na década de 1950 do que hoje e que talvez o Bard fosse preguiçoso e olhasse apenas para textos recentes, pedi ao Bard exemplos da literatura de “caneta” como “um recinto onde crianças pequenas podem brincar”.
Em segundos, consegui três imagens, as capas de “O Jardim Secreto”, “Adoráveis Mulheres” e “As Aventuras de Tom Sawyer”, e citações relevantes desses livros. E esta explicação: “Nesses exemplos, a palavra ‘caneta’ é usada para se referir a uma área pequena e fechada onde as crianças podem brincar. O curral geralmente é cercado por uma cerca ou algum outro tipo de barreira e geralmente está cheio de brinquedos, jogos ou outras atividades que as crianças gostam.”
O conhecimento está lá, mas o Bard não ligou os pontos.
Por quê? Aqui está o que Bar-Hillel disse em 1955: “O que faz um leitor humano inteligente entender esse significado tão sem hesitação é… seu conhecimento de que os tamanhos relativos de canetas, no sentido de instrumentos de escrita, caixas de brinquedos e canetas, no sentido de cercadinhos, são tais que, quando alguém escreve em circunstâncias normais e em algo como o contexto dado, ‘the box was in the pen’, ele quase certamente se refere a um cercadinho e certamente não a uma caneta de escrever. Esse conhecimento não está à disposição do computador eletrônico e nenhum dos dicionários ou programas para a eliminação da polissemia põe esse conhecimento à sua disposição.”
A IA de hoje ainda não tem conhecimento do mundo no nível de uma criança de três anos. Os LLMs são um pequeno passo para o homem, mas estão longe de ser um salto gigantesco para a humanidade.
Um homem, Terry Winograd, deu um pequeno passo no final dos anos 1960 na longa e difícil jornada do processamento de linguagem natural. Como Bar-Hillel, poucos anos depois de domar um computador para participar de uma conversa, ele se tornou um “desertor de destaque do mundo da IA”, nas palavras de John Markoff.
*Gil Press é escritor e fala sobre tecnologia, empreendedores e inovação.
(traduzido por Andressa Barbosa)
Nenhum comentário:
Postar um comentário