Questão de Análise de Dados · FGV TCU 2021 (nº 75)

O overfitting (sobreajuste) ocorre quando um modelo de Machine Learning aprende os dados de treinamento tão bem, incluindo o ruído, que perde a capacidade de generalizar para novos dados não vistos, resultando em um bom desempenho no treinamento, mas um desempenho ruim na validação ou teste. O gráfico mostra overfitting porque o erro de treinamento continua a diminuir, mas o erro de validação começa a aumentar.

(A) Incorreta: "Minimização de Entropia Cruzada" é uma função de perda (o que o modelo tenta minimizar), não uma técnica para evitar o overfitting; na verdade, otimizá-la demais pode levar ao overfitting.
(B) Correta: Dropout é uma técnica de regularização que desliga aleatoriamente neurônios durante o treinamento, forçando a rede a aprender características mais robustas e reduzindo o overfitting. A Validação cruzada é uma técnica robusta de avaliação e seleção de modelos que ajuda a obter uma estimativa mais confiável do desempenho de generalização do modelo e a escolher hiperparâmetros que resultam em um modelo menos propenso a overfitting.
(C) Incorreta: "Sobreamostragem" é usada para lidar com dados desbalanceados, não diretamente com overfitting. "Gradiente Descendente Estocástico" é um algoritmo de otimização para treinar a rede, não uma técnica para evitar o overfitting.
(D) Incorreta: Embora Dropout seja uma excelente técnica, "Parada em convergência" é um termo ambíguo e a armadilha da banca. Frequentemente, refere-se a parar quando o erro de treinamento converge, mas o gráfico mostra que o erro de treinamento continua a diminuir mesmo quando o overfitting já está ocorrendo (erro de validação subindo). A técnica correta para evitar overfitting baseada no erro de validação seria a "Parada Precoce" (Early Stopping), que é diferente de uma parada geral por convergência do treinamento.
(E) Incorreta: "Minimização de Entropia Cruzada" é uma função de perda, não uma técnica para evitar overfitting.