Questão nº 44
Questão de Ciência de Dados · FGV CGU 2021 - Tarde (nº 44)
Um time de ciência de dados utilizou um modelo linear para resolver uma tarefa de análise de dados financeiros provenientes de diferentes unidades de uma organização. Um membro do time, que não participou da modelagem, testa o modelo e verifica que ele apresenta um péssimo resultado.
Preocupado, ele busca os resultados apresentados no treino e pode concluir que ocorreu:
- Aunderfitting, se o resultado do treino foi ótimo. Uma possível solução é a utilização de um modelo mais complexo e a redução do tempo de treinamento;
- Bunderfitting, se o resultado do treino também foi péssimo. Uma possível solução é a utilização de um modelo menos complexo e métodos de validação cruzada;
- Coverfitting, se o resultado do treino também foi péssimo. Uma possível solução é a utilização de técnicas de regularização e métodos de validação cruzada;
- Doverfitting, se o resultado do treino foi ótimo. Uma possível solução é a utilização de um modelo menos complexo e métodos de validação cruzada; (alternativa correta)
- Eoverfitting, se o resultado do treino foi ótimo. Uma possível solução é a utilização de um modelo mais complexo e o aumento do tempo de treinamento.
Resposta comentada
Gabarito Alternativa D
Overfitting é quando o modelo "decora" os dados de treino (resultado ótimo no treino), mas falha em dados novos (péssimo resultado no teste). Underfitting é quando o modelo é simples demais e vai mal tanto no treino quanto no teste.
- (A) Incorreta: Se o treino foi ótimo e o teste péssimo, é overfitting, não underfitting. Além disso, aumentar a complexidade e reduzir o tempo de treinamento pioraria o overfitting.
- (B) Incorreta: Se o treino foi péssimo, é underfitting, mas a solução é usar um modelo mais complexo (não menos) e, embora validação cruzada ajude, o foco principal é aumentar a capacidade do modelo.
- (C) Incorreta: Se o treino também foi péssimo, é underfitting, não overfitting. Regularização e validação cruzada são soluções para overfitting, não para underfitting.
- (D) Correta: O treino ótimo + teste péssimo é a assinatura clássica de overfitting. A solução é reduzir a complexidade do modelo (menos parâmetros) e usar validação cruzada para avaliar a generalização de forma mais robusta.
- (E) Incorreta: É overfitting, mas a solução está invertida: usar modelo menos complexo (não mais) e reduzir (não aumentar) o tempo de treinamento, que também agravaria o overfitting.
Armadilha da banca na alternativa (B): Ela mistura o diagnóstico correto de underfitting (treino péssimo) com uma solução errada ("modelo menos complexo"), tentando confundir quem sabe o conceito, mas não presta atenção na direção da complexidade.
Fonte: FGV CGU 2021 - Tarde Auditor Federal de Finanças e Controle - Área Tecnologia da Informação (Caderno Tipo 1). Reproduzida para fins de estudo.