Questão nº 42
Questão de Ciência de Dados · FGV CGU 2021 - Tarde (nº 42)
Considere uma matriz de confusão de um modelo de classificação binária de relatórios financeiros. O modelo classifica os relatórios em fraudulentos ou não fraudulentos.
Se essa matriz apresenta 200 verdadeiros positivos, 100 verdadeiros negativos, 40 erros do "tipo 1" e 20 erros do "tipo 2", podem-se calcular as métricas de desempenho aproximadas como:
- APrecision = 0.71. Recall = 0.83;
- BPrecision = 0.83. Recall = 0.71;
- CPrecision = 0.83. Recall = 0.90; (alternativa correta)
- DPrecision = 0.90. Recall = 0.71;
- EPrecision = 0.90. Recall = 0.83.
Resposta comentada
Gabarito Alternativa C
Conceito-chave: Em classificação binária, Precision responde "de tudo que o modelo disse ser fraudulento, quanto realmente era?" e Recall responde "de todos os fraudes reais, quanto o modelo pegou?". Erro tipo 1 é falso positivo (dizer que é fraude quando não é) e erro tipo 2 é falso negativo (deixar passar fraude).
- (A) Incorreta: Precision = 200/(200+40) = 0.83, não 0.71. Recall = 200/(200+20) = 0.90, não 0.83. A banca inverteu os valores.
- (B) Incorreta: Precision está correta (0.83), mas Recall = 200/(200+20) = 0.90, não 0.71. A pegadinha aqui é trocar o denominador do Recall (usar 40 no lugar de 20).
- (C) Correta: Precision = VP/(VP+FP) = 200/(200+40) = 0.83. Recall = VP/(VP+FN) = 200/(200+20) = 0.90. Exatamente os valores do gabarito.
- (D) Incorreta: Precision seria 0.90 se usasse 20 no denominador (erro tipo 2), mas o correto é usar 40 (erro tipo 1). Recall = 0.71 também está errado.
- (E) Incorreta: Precision = 0.90 está errado (o correto é 0.83). Recall = 0.83 também não bate com o cálculo correto de 0.90.
Fonte: FGV CGU 2021 - Tarde Auditor Federal de Finanças e Controle - Área Tecnologia da Informação (Caderno Tipo 1). Reproduzida para fins de estudo.