A tecnologia moderna está longe de ser infalível, como demonstram as inúmeras vulnerabilidades que continuam surgindo. Embora projetar sistemas seguros por design seja uma prática eficaz e comprovada, esse processo pode desviar recursos de outras áreas, como a experiência do usuário, a otimização de desempenho e a interoperabilidade com outras soluções e serviços.

Como resultado, a segurança muitas vezes fica em segundo plano, atendendo apenas aos requisitos mínimos de conformidade. Essa situação é especialmente preocupante quando se trata de dados sensíveis, que exigem proteção à altura de sua importância. Atualmente, os riscos de medidas de segurança inadequadas são cada vez mais evidentes em sistemas de inteligência artificial e machine learning, onde os dados são a base fundamental de sua funcionalidade.

O que é o envenenamento de dados?

Os modelos de IA e machine learning são construídos a partir de conjuntos de dados que são continuamente atualizados por meio de aprendizado supervisionado e não supervisionado. O machine learning é uma das principais bases que viabilizam a IA, permitindo, entre outras coisas, o aprendizado profundo para o desenvolvimento de suas diversas capacidades.

Quanto mais diversificados e confiáveis forem os dados, mais precisos e úteis serão os resultados do modelo. Por isso, durante o treinamento, esses modelos precisam acessar grandes volumes de dados para aprimorar seu desempenho e eficácia.

Leia mais: Machine learning na ESET: o caminho para o Augur

Por outro lado, a dependência de grandes volumes de dados também traz riscos, pois conjuntos de dados não verificados ou pouco confiáveis aumentam a probabilidade de gerar resultados imprecisos. Sabe-se que a IA generativa, especialmente os grandes modelos de linguagem (LLMs) e seus derivados, como assistentes de IA, são particularmente vulneráveis a ataques que manipulam os modelos para fins criminosos.

Uma das ameaças mais insidiosas é o envenenamento de dados, no qual adversários tentam alterar o comportamento do modelo para que ele produza resultados incorretos, tendenciosos ou até mesmo prejudiciais. As consequências dessa manipulação podem se espalhar por diversas aplicações, comprometendo a confiabilidade dos sistemas e introduzindo riscos sistêmicos tanto para indivíduos quanto para organizações.

Tipos de envenenamento de dados

Existem diversos tipos de ataques de envenenamento de dados, entre eles:

  • Injeção de dados: Os cibercriminosos inserem dados maliciosos no conjunto de treinamento para alterar o comportamento do modelo de IA. Um exemplo notório foi o bot Tay, no X (antigo Twitter), que teve seu aprendizado manipulado por usuários online até começar a publicar tweets ofensivos.
  • Ataques internos: Assim como ocorre com ameaças internas convencionais, funcionários com acesso legítimo podem modificar gradualmente o conjunto de treinamento de um modelo para influenciar seu comportamento. Esses ataques são especialmente perigosos, pois exploram privilégios de acesso confiáveis, tornando a detecção mais difícil.
  • Injeção de gatilhos: Esse ataque insere dados específicos no conjunto de treinamento do modelo de IA para criar um gatilho. Isso permite que os atacantes contornem a segurança do modelo e manipulem sua saída quando o gatilho for ativado. A detecção desse tipo de ataque é particularmente desafiadora, pois o gatilho pode ser sutil e permanecer oculto até ser acionado.
  • Ataque à cadeia de suprimentos: Os efeitos desse tipo de ataque podem ser especialmente graves. Como os modelos de IA frequentemente utilizam componentes de terceiros, vulnerabilidades introduzidas ao longo da cadeia de suprimentos podem comprometer sua segurança, deixando-os suscetíveis a explorações criminosas.

À medida que os modelos de IA se tornam parte essencial dos sistemas empresariais e de consumo, atuando como assistentes ou impulsionadores da produtividade, os ataques direcionados a essas tecnologias estão se tornando uma preocupação crescente.

Mesmo que os modelos de IA empresariais não compartilhem dados com terceiros, eles ainda processam grandes volumes de informações internas para aprimorar seus resultados. Para isso, precisam acessar um vasto conjunto de dados confidenciais, tornando-se alvos altamente valiosos. O risco é ainda maior nos modelos voltados para o consumidor, que frequentemente compartilham com terceiros as interações dos usuários - muitas vezes repletas de informações sensíveis.

Como proteger o desenvolvimento da IA e do machine learning?

As estratégias preventivas para os modelos de IA e machine learning exigem a conscientização tanto dos desenvolvedores quanto dos usuários. As principais estratégias incluem:

  • Verificações e auditorias constantes: É fundamental revisar e validar continuamente a integridade dos conjuntos de dados que alimentam os modelos de IA e machine learning. Isso ajuda a evitar que manipulações mal-intencionadas ou dados enviesados comprometam sua segurança.
  • Focar na segurança: Os próprios desenvolvedores de IA podem acabar se tornando alvos de atacantes, por isso, contar com uma configuração de segurança que ofereça um enfoque de prevenção é fundamental para minimizar a superfície de ataque. Isso inclui prevenção proativa, detecção precoce e verificações de segurança sistêmicas, essenciais para um desenvolvimento seguro.
  • Treinamento adversário: Como mencionado anteriormente, os modelos geralmente são supervisionados por profissionais para orientar seu aprendizado. O mesmo enfoque pode ser aplicado para ensinar aos modelos a diferença entre dados maliciosos e válidos, ajudando a frustrar ataques de envenenamento.
  • Confiança zero e gestão de acessos: Para se proteger contra ameaças internas e externas, é necessário utilizar uma solução de segurança que consiga monitorar o acesso não autorizado aos dados principais de um modelo. Dessa forma, é mais fácil detectar e prevenir comportamentos suspeitos. Além disso, com a abordagem de confiança zero, ninguém é confiável por padrão, sendo necessárias múltiplas verificações antes de conceder o acesso.

Segurança por design

Construir plataformas de IA/ML que sejam seguras por design não é apenas benéfico, mas imprescindível. Assim como a desinformação pode influenciar as pessoas a adotarem comportamentos prejudiciais e extremos, um modelo de IA envenenado também pode levar a resultados prejudiciais.

À medida que o mundo se concentra cada vez mais nos riscos potenciais associados ao desenvolvimento da IA, os criadores de plataformas devem se perguntar se fizeram o suficiente para proteger a integridade de seus modelos. Abordar os vieses, imprecisões e vulnerabilidades antes que possam causar danos deve ser uma prioridade central no desenvolvimento.

Com o avanço da inteligência artificial se integra mais em nossas vidas, a segurança dos sistemas de IA será cada vez mais importante. As empresas, os desenvolvedores e os responsáveis políticos também devem colaborar para garantir que os sistemas de IA sejam resilientes a ataques. Assim, poderemos liberar o potencial da IA sem sacrificar a segurança, a privacidade e a confiança.

Um exemplo notável de pensamento preventivo orientado à segurança é o Compromisso de Segurança por Design da CISA, que a própria ESET também assinou e que convida os fabricantes de software a integrar medidas de segurança robustas no ciclo de vida de desenvolvimento do software.