Questão nº 176
Questão de Inteligência Artificial · CEBRASPE TCU 25 AUFC 2025 (nº 176)
O Conselho Nacional de Justiça (CNJ) e a Universidade de Brasília (UnB) desenvolvem, no âmbito do Programa Justiça 4.0, um modelo de IA que irá permitir a verificação automática de precedentes qualificados. A partir do texto da petição inicial, o modelo será capaz de identificar os precedentes qualificados dos tribunais superiores e listá-los em ordem decrescente de similaridade, até o limite mínimo de 70% de correspondência.
O modelo adota o método não supervisionado, que consiste no aprendizado de máquina de forma mais autônoma a partir da inclusão de novos dados, que não precisam ser categorizados previamente.
Tendo o texto como referência inicial, julgue os itens subsecutivos, a respeito de aprendizado de máquina.
Modelos preditivos dispensam validação em um conjunto separado de dados porque a acurácia calculada durante o treinamento já representa a capacidade real do modelo de prever eventos futuros.
Resposta comentada
O conceito-chave é que acurácia de treinamento mede o quanto o modelo "decorou" os dados que ele já viu, enquanto a validação em dados separados mede se ele aprendeu o padrão geral para dados novos. Um modelo pode ter 100% de acerto no treino e falhar miseravelmente no mundo real (isso se chama overfitting — quando ele decora em vez de generalizar).
- Correta: Errado. O item erra ao afirmar que a acurácia do treinamento "já representa a capacidade real" de prever o futuro, pois ela é otimista e enviesada; a validação em conjunto separado existe justamente para testar a generalização — o que o item chama de "dispensam validação" é exatamente o oposto da prática correta.
Como ficaria certo: Modelos preditivos exigem validação em um conjunto separado de dados, porque a acurácia calculada durante o treinamento não representa a capacidade real do modelo de prever eventos futuros, podendo estar superestimada por overfitting.
Fonte: CEBRASPE TCU 25 AUFC 2025 Auditor Federal de Controle Externo - Área de Controle Externo / Orientação: Auditoria de Tecnologia da Informação. Reproduzida para fins de estudo.