Questão nº 79
Questão de Tecnologia da Informação · FGV TCE-ES 2022 (nº 79)
João e Júlio fazem parte da equipe de Ciência de Dados do TCE/ES e estão realizando um estudo para o desenvolvimento de um classificador binário (classes positiva e negativa) usando Naive Bayes. Com o intuito de dividirem suas tarefas, João ficou responsável por treinar o modelo de classificação, e Júlio, por avaliar o desempenho do modelo. Após o treinamento do modelo, João aplicou-o ao conjunto de teste e enviou um e-mail a Júlio com a matriz de confusão resultante.
Dessa forma, Júlio poderá calcular:
- Aa acurácia do modelo, mas não o seu recall;
- Bo recall do modelo, mas não a sua precisão;
- Ca precisão do modelo, mas não o seu F₁-score;
- Do F₁-score do modelo, mas não a sua AUC; (alternativa correta)
- Ea AUC do modelo, mas não a sua acurácia.
Resposta comentada
Gabarito Alternativa D
A matriz de confusão é uma tabela que resume o desempenho de um modelo de classificação, mostrando a contagem de previsões corretas e incorretas para cada classe (Verdadeiros Positivos, Verdadeiros Negativos, Falsos Positivos e Falsos Negativos). A partir dela, podemos calcular diversas métricas que dependem apenas desses quatro valores.
- (A) Incorreta: A acurácia () e o recall () são ambos calculáveis diretamente a partir dos valores da matriz de confusão.
- (B) Incorreta: O recall () e a precisão () são ambos calculáveis diretamente a partir dos valores da matriz de confusão.
- (C) Incorreta: A precisão () é calculável. O F₁-score é a média harmônica da precisão e do recall, e como ambos são calculáveis a partir da matriz de confusão, o F₁-score também é.
- (D) Correta: O F₁-score pode ser calculado porque depende da precisão e do recall, que são derivados diretamente da matriz de confusão. No entanto, a AUC (Area Under the ROC Curve) não pode ser calculada apenas com a matriz de confusão. A AUC exige os scores de probabilidade (ou de confiança) que o modelo atribuiu a cada instância do conjunto de teste, e não apenas as classificações finais (positivo/negativo) que a matriz de confusão resume. A matriz de confusão representa o desempenho para um único limiar de decisão, enquanto a AUC avalia o desempenho em todos os possíveis limiares.
- (E) Incorreta: A AUC não pode ser calculada apenas com a matriz de confusão, mas a acurácia () pode ser calculada diretamente.
Fonte: FGV TCE-ES 2022 Auditor de Controle Externo - Tecnologia da Informação (Caderno Tipo 1). Reproduzida para fins de estudo.