Questão nº 60

Questão de Fluência em Dados · FGV Receita Federal do Brasil 2023 - Manhã (nº 60)

FGV2023Analista-Tributário da Receita Federal do BrasilFluência em Dados
Gabarito: Cver comentário ↓

Suponha que um modelo de classificação binária foi treinado para distinguir e-mails de spam de e-mails legítimos. O modelo foi testado em um conjunto de dados de teste com 200 e-mails, sendo 100 e-mails de spam e 100 e-mails legítimos.
A matriz de confusão é dada por 80 verdadeiros positivos, 85 verdadeiros negativos, 15 falsos positivos (erro tipo 1) e 20 falsos negativos (erro tipo 2).
Nessas condições, o F1-Score do modelo deve ser aproximadamente igual a

Resposta comentada

Gabarito Alternativa C

O F1-Score é uma métrica que combina a Precisão (quantos dos que o modelo classificou como positivos realmente eram positivos) e a Revocação (quantos dos positivos reais o modelo conseguiu identificar), sendo a média harmônica dessas duas métricas. Ele é especialmente útil quando há um desequilíbrio entre as classes ou quando Falsos Positivos e Falsos Negativos têm importâncias diferentes.

Para calcular o F1-Score, primeiro precisamos calcular a Precisão e a Revocação:

  1. Precisão (Precision):
    Precisa~o=VerdadeirosPositivos(VP)VerdadeirosPositivos(VP)+FalsosPositivos(FP)Precisão = \frac{Verdadeiros Positivos (VP)}{Verdadeiros Positivos (VP) + Falsos Positivos (FP)}
    Precisão = \frac{80}{80 + 15} = \frac{80}{95} \approx 0,8421\

  2. Revocação (Recall):
    Revocac\ca~o=VerdadeirosPositivos(VP)VerdadeirosPositivos(VP)+FalsosNegativos(FN)Revocação = \frac{Verdadeiros Positivos (VP)}{Verdadeiros Positivos (VP) + Falsos Negativos (FN)}
    Revocação = \frac{80}{80 + 20} = \frac{80}{100} = 0,80\

  3. F1-Score:
    F1Score=2×Precisa~o×Revocac\ca~oPrecisa~o+Revocac\ca~oF1-Score = 2 \times \frac{Precisão \times Revocação}{Precisão + Revocação}
    F1Score=2×0,8421×0,800,8421+0,80F1-Score = 2 \times \frac{0,8421 \times 0,80}{0,8421 + 0,80}
    F1Score=2×0,673681,6421F1-Score = 2 \times \frac{0,67368}{1,6421}
    F1Score=2×0,41025F1-Score = 2 \times 0,41025
    F1Score0,8205F1-Score \approx 0,8205

Arredondando para duas casas decimais, o F1-Score é aproximadamente 0,82.

(A) Incorreta: O valor de 0,74 está abaixo do F1-Score calculado, indicando um erro na aplicação da fórmula ou nos cálculos de precisão/revocação.
(B) Incorreta: O valor de 0,78 também está abaixo do F1-Score correto.
(C) Correta: O F1-Score calculado é de aproximadamente 0,82, que corresponde à média harmônica da Precisão (0,8421) e da Revocação (0,80).
(D) Incorreta: O valor de 0,86 está acima do F1-Score correto. Uma pegadinha comum seria calcular a Acurácia (Accuracy), que seria (VP+VN)/Total=(80+85)/200=165/200=0,825(VP + VN) / Total = (80 + 85) / 200 = 165 / 200 = 0,825. Embora muito próxima, a Acurácia é uma métrica diferente do F1-Score e não é a resposta solicitada.
(E) Incorreta: O valor de 0,90 está significativamente acima do F1-Score correto.

Fonte: FGV Receita Federal do Brasil 2023 - Manhã Analista-Tributário da Receita Federal do Brasil (Caderno Tipo 1). Reproduzida para fins de estudo.

Continue estudando

Estudar é izi

Pratique milhares de questões como esta, de graça, com explicação e gamificação no Quizinho.

Estudar de graça no Quizinho