Questão nº 61

Questão de Economia · FGV TCE-PA 2024 (nº 61)

FGV2024Auditor de Controle Externo - Planejamento - EconomiaEconomia
Gabarito: Bver comentário ↓

Modelos de aprendizagem de máquina são, em geral, avaliados com métricas que indicam os quão poderosos e relevantes eles são.
Entre exemplos de métricas de avaliação utilizadas para modelos de classificação binária, são citados:
• taxa de precisão (razão entre verdadeiros positivos e o total dos verdadeiros positivos e falsos positivos);
• taxa de sensibilidade (razão entre verdadeiros positivos e o total dos verdadeiros positivos e falsos negativos, também conhecida por recall); e
• escore F1 (F1-score, também chamado de F-measure), que relaciona as taxas de precisão e de sensibilidade.
Suponha a existência de um modelo de classificação binária cuja taxa de precisão é de 90,00% e cuja taxa de sensibilidade é de 75,00%. Utilize aproximação de duas casas decimais. O escore F1 referente a esse modelo é

Resposta comentada

Gabarito Alternativa B

O escore F1 é uma medida que equilibra a precisão (quantos dos itens classificados como positivos estão corretos) e a sensibilidade ou recall (quantos dos itens realmente positivos foram identificados), sendo a média harmônica dessas duas métricas.

A fórmula do escore F1 é: F1=2(Precisa~oSensibilidade)/(Precisa~o+Sensibilidade)F1 = 2 * (Precisão * Sensibilidade) / (Precisão + Sensibilidade)

Dados fornecidos:
Precisão (P) = 90,00% = 0,90
Sensibilidade (S) = 75,00% = 0,75

Cálculo:
F1=2(0,900,75)/(0,90+0,75)F1 = 2 * (0,90 * 0,75) / (0,90 + 0,75)
F1=2(0,675)/(1,65)F1 = 2 * (0,675) / (1,65)
F1=1,35/1,65F1 = 1,35 / 1,65
F10,818181...F1 \approx 0,818181...

Convertendo para porcentagem e arredondando para duas casas decimais:
F181,82%F1 \approx 81,82\%

(A) Incorreta: O valor está muito distante do resultado correto e não corresponde a nenhuma operação comum com os dados fornecidos.
(B) Correta: O cálculo do escore F1 usando a fórmula da média harmônica para os valores de precisão de 90% e sensibilidade de 75% resulta em aproximadamente 81,82%.
(C) Incorreta: O valor está próximo, mas não corresponde ao cálculo exato do escore F1, podendo ser resultado de um erro de arredondamento ou cálculo.
(D) Incorreta: Esta alternativa (82,50%) é o resultado da média aritmética simples entre a precisão e a sensibilidade ((0,90+0,75)/2=0,825)((0,90 + 0,75) / 2 = 0,825). A armadilha da banca é confundir a média harmônica (usada no F1-score para penalizar valores desequilibrados) com a média aritmética, que é uma operação mais intuitiva, mas incorreta para esta métrica.
(E) Incorreta: O valor está próximo, mas não corresponde ao cálculo exato do escore F1, podendo ser resultado de um erro de arredondamento ou cálculo.

Fonte: FGV TCE-PA 2024 Auditor de Controle Externo - Planejamento - Economia (Caderno Tipo 1). Reproduzida para fins de estudo.

Continue estudando

Estudar é izi

Pratique milhares de questões como esta, de graça, com explicação e gamificação no Quizinho.

Estudar de graça no Quizinho