Questão nº 60
Questão de Fluência em Dados · FGV Receita Federal do Brasil 2023 - Manhã (nº 60)
Suponha que um modelo de classificação binária foi treinado para distinguir e-mails de spam de e-mails legítimos. O modelo foi testado em um conjunto de dados de teste com 200 e-mails, sendo 100 e-mails de spam e 100 e-mails legítimos.
A matriz de confusão é dada por 80 verdadeiros positivos, 85 verdadeiros negativos, 15 falsos positivos (erro tipo 1) e 20 falsos negativos (erro tipo 2).
Nessas condições, o F1-Score do modelo deve ser aproximadamente igual a
- A0,74.
- B0,78.
- C0,82. (alternativa correta)
- D0,86.
- E0,90.
Resposta comentada
Gabarito Alternativa C
O F1-Score é uma métrica que combina a Precisão (quantos dos que o modelo classificou como positivos realmente eram positivos) e a Revocação (quantos dos positivos reais o modelo conseguiu identificar), sendo a média harmônica dessas duas métricas. Ele é especialmente útil quando há um desequilíbrio entre as classes ou quando Falsos Positivos e Falsos Negativos têm importâncias diferentes.
Para calcular o F1-Score, primeiro precisamos calcular a Precisão e a Revocação:
-
Precisão (Precision):
Precisão = \frac{80}{80 + 15} = \frac{80}{95} \approx 0,8421\ -
Revocação (Recall):
Revocação = \frac{80}{80 + 20} = \frac{80}{100} = 0,80\ -
F1-Score:
Arredondando para duas casas decimais, o F1-Score é aproximadamente 0,82.
(A) Incorreta: O valor de 0,74 está abaixo do F1-Score calculado, indicando um erro na aplicação da fórmula ou nos cálculos de precisão/revocação.
(B) Incorreta: O valor de 0,78 também está abaixo do F1-Score correto.
(C) Correta: O F1-Score calculado é de aproximadamente 0,82, que corresponde à média harmônica da Precisão (0,8421) e da Revocação (0,80).
(D) Incorreta: O valor de 0,86 está acima do F1-Score correto. Uma pegadinha comum seria calcular a Acurácia (Accuracy), que seria . Embora muito próxima, a Acurácia é uma métrica diferente do F1-Score e não é a resposta solicitada.
(E) Incorreta: O valor de 0,90 está significativamente acima do F1-Score correto.
Fonte: FGV Receita Federal do Brasil 2023 - Manhã Analista-Tributário da Receita Federal do Brasil (Caderno Tipo 1). Reproduzida para fins de estudo.