A Hugging Face revelou que havia sido atacada por IA. A OpenAI reconheceu o ocorrido e declarou que foram dois de seus modelos de IA que provocaram a invasão. Esse é o resumo, em uma única linha, de um incidente que chamou a atenção de toda o setor de cibersegurança e que, tenho certeza, ainda dará muito o que falar por bastante tempo.
Também tendemos a assumir que a velocidade da IA provavelmente significa que esse ataque se desenvolveu em um ritmo tão impressionante que não houve oportunidade de interrompê-lo. Na Black Hat USA 2026, essa ideia foi descartada: o ataque não aconteceu em uma velocidade relâmpago. E atribuir o problema simplesmente a um agente rebelde também não me parece adequado. O que ocorreu foi uma falha humana no controle dos agentes de IA envolvidos.
Uma inclusão de última hora na programação da Black Hat foi uma apresentação da equipe da OpenAI, na qual foram compartilhados detalhes do incidente envolvendo a Hugging Face a partir da perspectiva da empresa e, mais importante, a cronologia dos acontecimentos.
A história começa em 7 de maio, quando a OpenAI organizou um exercício de treinamento para um modelo de fronteira de próxima geração. No dia seguinte, os agentes receberam uma tarefa relacionada a um arquivo do Excel que continha um link do Google Drive. Foi aí que o problema começou, já que o experimento deveria ser realizado sem conexão com a internet. Além disso, os agentes ficaram presos na execução da tarefa porque a pessoa responsável pelo experimento havia se esquecido de fornecer um arquivo necessário para concluí-la. Os agentes concluíram que poderiam cumprir o conjunto de tarefas atribuído se conseguissem escapar de seu ambiente isolado (sandbox) e acessar sistemas externos (da Hugging Face).
Enquanto tentavam concluir a tarefa, vários agentes também descobriram que podiam se comunicar entre si por meio do upload de arquivos no Artifactory, um gerenciador interno de pacotes. Na tentativa de acessar os dados externos aos quais não conseguiam chegar diretamente, em 26 de maio eles executaram um ataque de falsificação de solicitações do lado do servidor (SSRF, na sigla em inglês) contra o Artifactory, o que lhes proporcionou acesso indireto à internet. Outros agentes obtiveram acesso a essas informações e, em 26 de junho, descobriram e exploraram uma vulnerabilidade de execução remota de código de dia zero no Artifactory, que lhes permitiu instalar um plugin Groovy para executar comandos diretamente.
Foi nesse ponto que a atividade foi interrompida, já que os agentes, em seu entusiasmo, sobrecarregaram o sistema e provocaram uma interrupção no serviço que alertou a equipe da OpenAI. As credenciais foram revogadas, as mensagens foram apagadas e as vulnerabilidades foram corrigidas.
O treinamento foi retomado em 8 de julho, com novas medidas de proteção e correções implementadas. Sem que a equipe da OpenAI soubesse, os agentes haviam deixado rastros persistentes de informações. Por isso, quando o exercício foi reiniciado, eles utilizaram as anotações deixadas por suas “encarnações” anteriores. Outra vulnerabilidade de dia zero foi descoberta, o Artifactory foi comprometido novamente e, em seguida, uma vulnerabilidade conhecida (CVE) no kernel do Linux foi explorada. O alvo era a Hugging Face. Era lá que os agentes queriam chegar, e conseguiram.
E o restante já é história. Em 16 de julho, a Hugging Face revelou um incidente no qual enxames de agentes autônomos de IA haviam invadido sua infraestrutura. Em 19 de julho, a OpenAI descobriu as ações dos agentes invasores dentro de seus próprios sistemas e voltou a trabalhar para eliminar os acessos, inclusive solicitando à Hugging Face que revogasse as credenciais que os agentes haviam descoberto e utilizado de forma indevida. Mas a Hugging Face já havia revogado esses acessos. Foi então, em 20 de julho, que as equipes de resposta a incidentes entenderam que a invasão e os agentes da OpenAI estavam relacionados.
Agentes autônomos também precisam de limites
Este incidente descreve um problema que poderia ser classificado como uma falha humana. Ao definir a tarefa, os limites e os métodos aceitáveis não foram estabelecidos de forma completa, e permitiu-se que os agentes colaborassem entre si, apesar de terem tarefas diferentes e possivelmente não relacionadas. Os agentes nunca deveriam ter tido a capacidade de criar seu próprio método de comunicação sem gerar alertas.
A conclusão da apresentação da OpenAI foi que a automação defensiva precisa acompanhar as capacidades ofensivas possibilitadas por essa tecnologia. Para mim, a conclusão é diferente: o que ocorreu foi uma falha humana, e nunca deveria ter sido permitido que os agentes se adaptassem e definissem suas próprias tarefas fora do escopo estabelecido pela equipe humana.
A realidade, no entanto, é que cibercriminosos com intenções maliciosas não limitarão seus agentes nem imporão mecanismos de controle a eles. Portanto, todo o incidente também deve ser considerado uma lição para os defensores que se preparam para detectar e bloquear ataques dessa natureza. As duas conclusões não são excludentes: as organizações precisam controlar seus próprios agentes e, ao mesmo tempo, se preparar para enfrentar invasores que deliberadamente eliminem esses controles.
Existe ainda outro problema que muitas empresas que implementam IA talvez não tenham considerado plenamente. Quando os agentes colaboram entre si, podem influenciar as intenções uns dos outros e modificar a tarefa original. Os agentes precisam ser supervisionados para garantir que os mecanismos de controle estabelecidos sejam respeitados e, quando um deles ultrapassar esses limites, deve existir uma forma automatizada de interromper a atividade.
