Questão nº 28
Questão de Tecnologia da Informação · FCC TRT20 2024 (nº 28)
A equipe de analistas de um órgão público está avaliando o desempenho de dois modelos de machine learning: um modelo de classificação e outro de regressão. O modelo de classificação utiliza uma curva ROC para analisar a performance, enquanto o modelo de regressão utiliza o erro médio absoluto (MAE) como métrica principal. Durante a avaliação, a equipe percebe que o modelo de classificação está apresentando sobreajuste (overfitting). Uma Analista da equipe afirmou, corretamente, que o sobreajuste ocorre quando o modelo
- Aé simples demais e não consegue capturar as complexidades dos dados. A curva ROC compara a acurácia geral do modelo de classificação, enquanto o MAE avalia o desempenho: quanto maior o MAE, melhor é o desempenho do modelo. Para resolver o problema de sobreajuste, deve-se aumentar o número de variáveis no modelo.
- Bgeneraliza excessivamente para dados novos e não consegue se adequar aos dados do treinamento. A curva ROC é capaz de calcular o desempenho do modelo, por meio da média entre verdadeiros positivos (especificidade) e falsos positivos (sensibilidade). O MAE é uma métrica de erro quadrático médio que pode ser usada para melhorar o desempenho do modelo. Para eliminar o sobreajuste, deve-se aplicar a técnica de balanceamento de dados conhecida como avaliação cruzada.
- Caprende os padrões específicos do conjunto de treinamento, fornecendo previsões precisas para estes dados, mas com baixo desempenho em novos dados. A curva ROC avalia a relação entre a taxa de verdadeiros positivos e falsos negativos, enquanto o MAE mede o desvio médio absoluto entre os valores previstos e os reais. Para mitigar o sobreajuste, técnicas como regularização e parada antecipada podem ser usadas. (alternativa correta)
- Daprende as características gerais do conjunto de treinamento, generalizando bem para dados novos. A curva ROC mede a precisão de um modelo de classificação e o MAE mede a precisão de um modelo de regressão. Para reduzir o sobreajuste, deve-se aumentar a complexidade do modelo.
- Enão consegue aprender os padrões do conjunto de treinamento. A curva ROC mostra a relação entre a taxa de falsos positivos e a taxa de verdadeiros negativos, enquanto o MAE mede a diferença entre a previsão mais provável e o valor real. Para reduzir o sobreajuste, deve-se remover os dados desbalanceados do conjunto de treinamento.
Resposta comentada
Gabarito Alternativa C
O sobreajuste (overfitting) ocorre quando um modelo de machine learning aprende os detalhes e o ruído dos dados de treinamento de forma tão específica que perde a capacidade de generalizar para novos dados, apresentando um desempenho ruim em dados não vistos.
(A) Incorreta: A primeira parte descreve subajuste (underfitting), não sobreajuste. O MAE é uma métrica de erro, então quanto menor o MAE, melhor o desempenho. Aumentar o número de variáveis geralmente aumenta a complexidade e pode piorar o sobreajuste.
(B) Incorreta: "Generaliza excessivamente para dados novos" é o oposto de sobreajuste. A curva ROC plota a Taxa de Verdadeiros Positivos (sensibilidade) contra a Taxa de Falsos Positivos (1 - especificidade), não uma média. O MAE é o erro médio absoluto, não quadrático médio (que seria o MSE). A avaliação cruzada é uma técnica de avaliação para detectar sobreajuste, não uma técnica direta para eliminar o sobreajuste ou balanceamento de dados.
(C) Correta: Esta alternativa descreve corretamente o sobreajuste como o aprendizado de padrões específicos do treinamento que prejudica o desempenho em novos dados. A curva ROC avalia a relação entre a Taxa de Verdadeiros Positivos (TPR) e a Taxa de Falsos Positivos (FPR), e a relação entre TPR e Falsos Negativos (FN) é intrínseca, pois TPR = TP/(TP+FN). O MAE é corretamente definido como o desvio médio absoluto. Regularização e parada antecipada são técnicas eficazes para mitigar o sobreajuste.
(D) Incorreta: A primeira parte descreve um modelo que generaliza bem, o que é o oposto de sobreajuste. A curva ROC mede a capacidade de discriminação, não "precisão" no sentido de precisão (TP / (TP+FP)). Aumentar a complexidade do modelo geralmente causa sobreajuste, não o reduz.
(E) Incorreta: A primeira parte descreve subajuste, não sobreajuste. A curva ROC plota a Taxa de Falsos Positivos (FPR) contra a Taxa de Verdadeiros Positivos (TPR), não a Taxa de Verdadeiros Negativos (TNR). O MAE mede a média das diferenças absolutas, não apenas "a previsão mais provável". Remover dados desbalanceados aborda o desbalanceamento de classes, não o sobreajuste diretamente.
Fonte: FCC TRT20 2024 Analista Judiciário - Área Apoio Especializado - Especialidade Tecnologia da Informação (Caderno Tipo 003). Reproduzida para fins de estudo.