Questão nº 61
Questão de Economia · FGV TCE-PA 2024 (nº 61)
Modelos de aprendizagem de máquina são, em geral, avaliados com métricas que indicam os quão poderosos e relevantes eles são.
Entre exemplos de métricas de avaliação utilizadas para modelos de classificação binária, são citados:
• taxa de precisão (razão entre verdadeiros positivos e o total dos verdadeiros positivos e falsos positivos);
• taxa de sensibilidade (razão entre verdadeiros positivos e o total dos verdadeiros positivos e falsos negativos, também conhecida por recall); e
• escore F1 (F1-score, também chamado de F-measure), que relaciona as taxas de precisão e de sensibilidade.
Suponha a existência de um modelo de classificação binária cuja taxa de precisão é de 90,00% e cuja taxa de sensibilidade é de 75,00%. Utilize aproximação de duas casas decimais. O escore F1 referente a esse modelo é
- A41,42%.
- B81,82%. (alternativa correta)
- C82,15%.
- D82,50%.
- E82,84%.
Resposta comentada
Gabarito Alternativa B
O escore F1 é uma medida que equilibra a precisão (quantos dos itens classificados como positivos estão corretos) e a sensibilidade ou recall (quantos dos itens realmente positivos foram identificados), sendo a média harmônica dessas duas métricas.
A fórmula do escore F1 é:
Dados fornecidos:
Precisão (P) = 90,00% = 0,90
Sensibilidade (S) = 75,00% = 0,75
Cálculo:
Convertendo para porcentagem e arredondando para duas casas decimais:
(A) Incorreta: O valor está muito distante do resultado correto e não corresponde a nenhuma operação comum com os dados fornecidos.
(B) Correta: O cálculo do escore F1 usando a fórmula da média harmônica para os valores de precisão de 90% e sensibilidade de 75% resulta em aproximadamente 81,82%.
(C) Incorreta: O valor está próximo, mas não corresponde ao cálculo exato do escore F1, podendo ser resultado de um erro de arredondamento ou cálculo.
(D) Incorreta: Esta alternativa (82,50%) é o resultado da média aritmética simples entre a precisão e a sensibilidade . A armadilha da banca é confundir a média harmônica (usada no F1-score para penalizar valores desequilibrados) com a média aritmética, que é uma operação mais intuitiva, mas incorreta para esta métrica.
(E) Incorreta: O valor está próximo, mas não corresponde ao cálculo exato do escore F1, podendo ser resultado de um erro de arredondamento ou cálculo.
Fonte: FGV TCE-PA 2024 Auditor de Controle Externo - Planejamento - Economia (Caderno Tipo 1). Reproduzida para fins de estudo.