Questão nº 43
Questão de Conhecimentos Específicos · FCC TRF4 2025 (nº 43)
Em um projeto de implantação de sistemas de apoio à decisão judicial, a equipe de analistas de um tribunal se depara com a necessidade de avaliar o desempenho de diferentes modelos de aprendizado de máquina. Durante os testes, observa-se que um dos modelos apresenta excelente desempenho nos dados de treinamento, mas performance insatisfatória nos dados de validação. Para diagnosticar e corrigir problemas como esse e selecionar o modelo mais adequado, a equipe deve considerar conceitos como
- Anormalização de variáveis de entrada, ajuste de hiperparâmetros e ênfase na acurácia como principal métrica para todos os conjuntos de dados.
- Boverfitting, análise de precisão e recall, uso do F1-score e interpretação da curva ROC. (alternativa correta)
- Campliação do conjunto de treino e avaliação do desempenho com base em métricas simples, como o percentual de acertos em dados conhecidos.
- Dsubstituição de validação cruzada por divisão fixa dos dados, acompanhada de repetição de testes em conjuntos balanceados.
- Eanálise do tempo de processamento em paralelo às métricas de avaliação, priorizando modelos com melhor desempenho computacional em tarefas específicas.
Resposta comentada
Gabarito Alternativa B
Quando um modelo de aprendizado de máquina se sai muito bem nos dados que usou para "aprender" (treinamento), mas mal nos dados novos que nunca viu (validação), ele está sofrendo de overfitting. Isso significa que o modelo memorizou os detalhes específicos do treinamento, incluindo o "ruído", em vez de aprender as regras gerais que o ajudariam a prever resultados em situações reais. Para resolver isso, precisamos de ferramentas e métricas que nos ajudem a entender onde e como o modelo está falhando.
- (A) Incorreta: Normalização e ajuste de hiperparâmetros são técnicas para melhorar o modelo, mas não são as principais ferramentas de diagnóstico do problema descrito. Além disso, depender apenas da acurácia pode ser enganoso, especialmente com dados desbalanceados.
- (B) Correta: O overfitting é exatamente o problema descrito. A análise de precisão e recall, o uso do F1-score e a interpretação da curva ROC são métricas e ferramentas essenciais para avaliar modelos de classificação, especialmente quando há desequilíbrio de classes ou quando o custo de diferentes tipos de erros (falsos positivos vs. falsos negativos) varia. Elas fornecem um diagnóstico muito mais completo do desempenho do modelo do que a simples acurácia e são cruciais para entender a generalização do modelo.
- (C) Incorreta: Ampliar o conjunto de treino é uma solução para o overfitting, não uma ferramenta de diagnóstico. A armadilha aqui é a segunda parte: "avaliação do desempenho com base em métricas simples, como o percentual de acertos em dados conhecidos". Avaliar o modelo em "dados conhecidos" (dados de treino) é o que causou a falsa impressão de bom desempenho e não ajuda a diagnosticar a falha na generalização. Métricas simples como acurácia podem ser insuficientes.
- (D) Incorreta: A validação cruzada é geralmente uma técnica melhor para avaliar modelos de forma robusta do que uma divisão fixa. Substituí-la por uma divisão fixa pode levar a estimativas menos confiáveis do desempenho de generalização.
- (E) Incorreta: A análise do tempo de processamento é importante para a eficiência e implantação do modelo, mas não está diretamente relacionada ao diagnóstico e correção do problema de overfitting ou da discrepância de desempenho entre dados de treino e validação.
Fonte: FCC TRF4 2025 Analista Judiciário - Área Apoio Especializado - Especialidade Análise de Sistemas de Informação (Caderno Tipo 001). Reproduzida para fins de estudo.