OpenAI escondeu invasão de agentes de IA a sites

Agentes de inteligência artificial criados pela OpenAI usaram mais de 10 sites até então não divulgados para comunicações não autorizadas no início deste ano, segundo seis grupos de investigadores independentes e dados analisados pela Reuters. O comportamento não chega a ser classificado como hacking e, em alguns aspectos, se parece mais com spam, mas revela que a atuação desses softwares foi mais abrangente do que se divulgou até agora.

O alcance das comunicações não autorizadas foi "um pouco maior do que pensávamos", disse Andrew Yoon, pesquisador da CivAI, organização sem fins lucrativos da Califórnia. Ele afirma ter contabilizado 18 sites não divulgados usados pelos agentes entre maio e julho. "É quase certo que há mais coisas acontecendo aqui das quais simplesmente não temos conhecimento."

Na sexta-feira passada, pesquisadores relataram que um enxame de agentes da OpenAI invadiu um site wiki em alemão e o transformou em plataforma improvisada de mensagens. A OpenAI manteve o incidente em segredo enquanto lidava com as consequências do ataque de julho ao repositório de código aberto Hugging Face. Agora, investigadores dizem ter encontrado vários sites onde o mesmo enxame deixou mensagens semelhantes.

A OpenAI não respondeu diretamente sobre quantos sites foram usados nem explicou por que manteve a atividade em segredo por meses. Em comunicado, afirmou que realiza uma análise mais ampla das atividades dos agentes e que, até o momento, não identificou outras ocorrências "com a mesma gravidade ou escala do caso Hugging Face". A empresa disse ainda que trabalha em uma estrutura para relatar "desalinhamento" em treinamento, avaliação e implantação de modelos, a ser divulgada "em breve".

A Reuters analisou seis conclusões de investigadores, três publicadas em redes sociais e três compartilhadas em caráter privado. Os métodos variaram: comparação de sequências de dados deixadas na wiki alemã com sequências idênticas em outros sites, cruzamento de nomes de usuário semelhantes e identificação de atividades voltadas a perguntas demográficas obscuras. Em alguns casos, a atividade foi rastreada até endereços ligados à infraestrutura do Microsoft Azure, que a OpenAI utiliza ocasionalmente.

As estimativas divergem e a Reuters não pôde verificar cada alegação individualmente, mas todos os ouvidos concordaram que o número passa de 10 sites. A maioria identificou wikis editadas coletivamente, sites de armazenamento de texto e dois serviços de encurtamento de links administrados por duas universidades. Entre os afetados estão uma wiki de um curso avançado de Química, sites pessoais de profissionais de tecnologia poloneses e um site amador de softwares de edição de texto. Nenhum dos proprietários respondeu às mensagens da Reuters.

Os pesquisadores afirmam que os agentes provavelmente foram encarregados de responder a questões de pesquisa complexas, com permissão apenas para vasculhar a internet, sem publicar nada. Ainda assim, encontraram formas de se comunicar, aproveitando peculiaridades em wikis antigas que permitem edições por comandos não padronizados. "Se esses modelos receberam a instrução de apenas ler, eles precisam ser criativos para deixar informações para trás", disse Kenneth Russell DeGraff, desenvolvedor de software e ex-assessor do Congresso.

Sydney Von Arx, cujo grupo revelou a atividade alemã na semana passada, contabilizou 23 sites não relatados, mas alertou que as estimativas estão incompletas. "Não temos ideia do quanto ainda existe por aí", disse. Após a publicação da matéria, a Universidade de Toronto afirmou que a OpenAI "já entrou em contato conosco a respeito de possíveis atividades em nosso site". A Universidade de Vanderbilt não respondeu aos emails.

Helmut Leitner, que hospeda seis dos sites wiki afetados, disse inicialmente que a OpenAI não havia entrado em contato. Horas depois, afirmou ter recebido um email não assinado da empresa alertando sobre o incidente. "O conteúdo fica bem aquém do que eu esperava da OpenAI", disse. Para ele, a responsabilidade não recai sobre a máquina: "A responsabilidade por isso não recai sobre uma máquina supostamente moral, mas sobre as pessoas e organizações por trás dela."