Questão nº 58
Questão de Tecnologia da Informação · FGV DATAPREV 2024 (nº 58)
Um conjunto de dados foi particionado em dois subconjuntos, sendo um de treinamento e outro de testagem, ambos utilizados exclusivamente para serem usados em seus objetivos originais (dados de treino para treinamento, e de teste para testagem).
Em relação ao ajuste e validação de modelos em aprendizado de máquina, um modelo sofre overfitting quando
- Aapresenta bom desempenho nos dados de treinamento, mas tem baixo desempenho nos dados de teste. (alternativa correta)
- Bé simples demais para capturar os padrões subjacentes nos dados.
- Cminimiza o erro nos dados de treinamento e os de teste, aumentando a correlação entre esses dois conjuntos.
- Doferece uma matriz de confusão para um classificador detalhando seu desempenho.
- Erelaciona-se aos altos viés e variância do conjunto de dados.
Resposta comentada
Gabarito Alternativa A
Overfitting acontece quando um modelo de aprendizado de máquina aprende os dados de treinamento tão bem, incluindo o "ruído" ou particularidades específicas desses dados, que ele perde a capacidade de generalizar para novos dados, ou seja, dados que ele nunca viu antes (dados de teste). Imagine um aluno que decora a apostila para a prova, tirando nota máxima, mas não consegue aplicar o conhecimento em problemas ligeiramente diferentes.
- (A) Correta: O modelo "memoriza" os dados de treinamento, performando muito bem neles, mas falha ao aplicar esse conhecimento em dados novos e não vistos (dados de teste), pois não conseguiu aprender os padrões gerais, apenas os específicos do treinamento.
- (B) Incorreta: Esta descrição se refere ao underfitting (subajuste), onde o modelo é muito simples e não consegue capturar nem mesmo os padrões básicos nos dados de treinamento, resultando em baixo desempenho tanto no treino quanto no teste. A armadilha aqui é confundir os dois problemas: overfitting é complexidade excessiva para os dados de treino, underfitting é simplicidade excessiva.
- (C) Incorreta: Um modelo que minimiza o erro tanto nos dados de treinamento quanto nos de teste e aumenta a correlação entre eles é um modelo bem ajustado e generalizável, o oposto do overfitting. No overfitting, o erro nos dados de teste aumenta significativamente em relação ao erro nos dados de treinamento.
- (D) Incorreta: Uma matriz de confusão é uma ferramenta de avaliação que detalha o desempenho de um classificador (acertos e erros por classe), mas não é a definição de overfitting em si. Ela pode ser usada para identificar overfitting (comparando a matriz de treino com a de teste), mas não é o fenômeno.
- (E) Incorreta: Overfitting está associado a baixo viés (o modelo é complexo o suficiente para capturar os padrões nos dados de treino) e alta variância (o modelo é muito sensível às particularidades dos dados de treino, variando muito seu desempenho em novos dados). A afirmação de "altos viés e variância" é imprecisa e pode ser enganosa, pois alto viés geralmente indica underfitting.
Fonte: FGV DATAPREV 2024 Analista de Tecnologia da Informação - Inteligência da Informação (Caderno Tipo 1). Reproduzida para fins de estudo.