Questão nº 18
Questão de Ciência de Dados · FGV CVM 2024 (nº 18)
Visando a maximizar a eficiência de uma equipe de auditores fiscais, um sistema de classificação de documentação foi encomendado à equipe de ciência de dados, com o objetivo de decidir, com base nos documentos obtidos durante uma fiscalização, se um exame detalhado de documentação é ou não necessário.
Idealmente, o sistema permitiria aos auditores direcionar mais tempo às auditorias complexas e agilizar a análise dos casos mais simples, otimizando o custo de pessoal e equipamento especializado. Contudo, não examinar detalhadamente um caso complexo pode custar muito caro ao governo, a ponto de anular quaisquer ganhos obtidos usando o sistema com um pequeno número de erros.
Considerando esse cenário, e o fato de o sistema de classificação responder apenas “sim” ou “não” quanto à necessidade de exame detalhado, a métrica de classificação a ser maximizada pela equipe que irá implementar o sistema é:
- Aacurácia;
- Brevocação; (alternativa correta)
- CF1-score;
- Dprecisão;
- EAUC.
Resposta comentada
Gabarito Alternativa B
Revocação (ou Recall) mede a capacidade do modelo de encontrar todos os casos positivos reais. É crucial quando o custo de não identificar um caso positivo (um Falso Negativo) é muito alto, como no cenário onde deixar de examinar um caso complexo é extremamente prejudicial.
(A) Incorreta: Acurácia mede a proporção de previsões corretas no total. No cenário, o custo de um erro (não identificar um caso complexo) é muito maior que o de outro (examinar um caso simples desnecessariamente), então a acurácia não reflete bem o impacto real dos erros, pois trata todos os erros igualmente.
(B) Correta: Revocação (ou Recall) mede a proporção de casos positivos reais (casos complexos que precisam de exame detalhado) que foram corretamente identificados pelo modelo. Maximizar a revocação significa minimizar os Falsos Negativos (casos complexos que o modelo classificou erroneamente como simples), que é o erro de maior custo para o governo.
(C) Incorreta: F1-score é a média harmônica entre precisão e revocação. Embora seja útil para equilibrar as duas métricas, neste cenário, o custo de um Falso Negativo é tão alto que se deve priorizar fortemente a revocação, mesmo que isso possa impactar um pouco a precisão, em vez de buscar um equilíbrio.
(D) Incorreta: Precisão mede a proporção de previsões positivas (o modelo disse "sim" para exame detalhado) que são realmente positivas (o caso é de fato complexo). Maximizar a precisão significaria minimizar os Falsos Positivos (casos simples que o modelo classificou como complexos), o que reduziria o trabalho desnecessário, mas não garantiria que todos os casos complexos fossem identificados. O problema prioriza não perder casos complexos.
(E) Incorreta: AUC (Area Under the ROC Curve) avalia a capacidade geral do modelo de distinguir entre classes em diferentes limiares. É uma métrica de desempenho geral, mas não otimiza diretamente para a minimização de um tipo específico de erro com custo muito elevado, como os Falsos Negativos neste caso.
Fonte: FGV CVM 2024 Analista CVM - Ciência de Dados (Perfil 7) (Caderno Tipo 1). Reproduzida para fins de estudo.