Questão nº 74
Questão de Tecnologia da Informação · FGV CGE-SP 2025 (nº 74)
No contexto da segurança de sistemas de Inteligência Artificial, diversas técnicas de ataque e defesa foram desenvolvidas para lidar com vulnerabilidades específicas de modelos de Machine Learning.
Relacione os tipos de ataques e técnicas de segurança em IA apresentados a seguir, às suas respectivas características.
- Adversarial Evasion Attack
- Model Poisoning Attack
- Model Extraction Attack
- Adversarial Training
( ) Técnica defensiva que consiste em treinar o modelo utilizando exemplos adversariais junto com dados legítimos para aumentar a robustez do sistema contra perturbações maliciosas.
( ) Ataque realizado durante a fase de inferência, no qual entradas são sutilmente modificadas para induzir o modelo a classificações incorretas, mantendo-se imperceptíveis ao usuário humano.
( ) Ataque executado na fase de treinamento, no qual dados maliciosos são injetados no conjunto de dados de treinamento para comprometer o comportamento do modelo resultante.
( ) Ataque que visa replicar a funcionalidade de um modelo proprietário através de consultas sistemáticas, permitindo ao atacante obter uma cópia funcional sem acesso direto aos parâmetros originais.
Assinale a opção que indica a relação correta, segundo a ordem apresentada.
- A1 – 3 – 2 – 4.
- B2 – 4 – 3 – 1.
- C3 – 2 – 4 – 1.
- D4 – 1 – 2 – 3. (alternativa correta)
- E4 – 3 – 1 – 2.
Resposta comentada
Gabarito Alternativa D
Sistemas de Inteligência Artificial (IA) podem ser atacados ou defendidos de diversas formas. Ataques exploram vulnerabilidades para enganar ou roubar modelos, enquanto defesas buscam tornar os modelos mais resistentes a essas explorações.
- (A) Incorreta: A sequência 1 – 3 – 2 – 4 não corresponde à ordem correta das descrições apresentadas.
- (B) Incorreta: A sequência 2 – 4 – 3 – 1 não corresponde à ordem correta das descrições apresentadas.
- (C) Incorreta: A sequência 3 – 2 – 4 – 1 não corresponde à ordem correta das descrições apresentadas.
- (D) Correta: Esta alternativa apresenta a relação correta entre os tipos de ataques/defesas e suas características:
- (4) Adversarial Training: É uma técnica defensiva que aumenta a robustez do modelo ao treiná-lo com exemplos adversariais e legítimos.
- (1) Adversarial Evasion Attack: É um ataque na fase de inferência onde as entradas são sutilmente modificadas para induzir classificações incorretas, sendo imperceptível ao humano.
- (2) Model Poisoning Attack: É um ataque na fase de treinamento onde dados maliciosos são injetados no conjunto de treinamento para comprometer o modelo.
- (3) Model Extraction Attack: É um ataque que busca replicar a funcionalidade de um modelo proprietário através de consultas sistemáticas, sem acesso direto aos parâmetros.
- (E) Incorreta: A armadilha aqui é que, embora comece corretamente com o "Adversarial Training" (4), ela confunde os ataques seguintes. Por exemplo, a segunda descrição fala de um ataque na fase de inferência com modificações sutis (Evasion), mas a alternativa sugere "Model Extraction" (3), que visa replicar o modelo. A terceira descrição é um ataque na fase de treinamento (Poisoning), mas a alternativa sugere "Adversarial Evasion" (1), que ocorre na inferência.
Fonte: FGV CGE-SP 2025 Auditor Estadual de Controle - Tecnologia da Informação (Caderno Tipo 1). Reproduzida para fins de estudo.