Modelos de aprendizagem de máquina são, em geral, avaliados com métricas que indicam os quão poderosos e relevantes eles são. Entre exemplos de métricas de avaliação utilizadas para modelos de classificação binária, é correto citar - a taxa de precisão (razão entre verdadeiros positivos e o total dos verdadeiros positivos e falsos positivos); - a taxa de sensibilidade (razão entre verdadeiros positivos e o total dos verdadeiros positivos e falsos negativos, também conhecida por recall); e - o escore F1 (F1-score, também chamado de F-measure), que relaciona as taxas de precisão e de sensibilidade. Suponha a existência de um modelo de classificação binária cuja taxa de precisão é de 90,00% e cuja taxa de sensibilidade é de 75,00%. Utilize aproximação de duas casas decimais. O escore F1 referente a esse modelo é ---

Questão nº 61

Questão de Tecnologia da Informação · FGV TCE-PA 2024 (nº 61)

FGV2024Auditor de Controle Externo - Informática - Analista de SistemasTecnologia da Informação

Modelos de aprendizagem de máquina são, em geral, avaliados com métricas que indicam os quão poderosos e relevantes eles são.
Entre exemplos de métricas de avaliação utilizadas para modelos de classificação binária, é correto citar

a taxa de precisão (razão entre verdadeiros positivos e o total dos verdadeiros positivos e falsos positivos);
a taxa de sensibilidade (razão entre verdadeiros positivos e o total dos verdadeiros positivos e falsos negativos, também conhecida por recall); e
o escore F1 (F1-score, também chamado de F-measure), que relaciona as taxas de precisão e de sensibilidade.

Suponha a existência de um modelo de classificação binária cuja taxa de precisão é de 90,00% e cuja taxa de sensibilidade é de 75,00%. Utilize aproximação de duas casas decimais.
O escore F1 referente a esse modelo é

A41,42%.
B81,82%. (alternativa correta)
C82,15%.
D82,50%.
E82,84%.

Resposta comentada

Gabarito Alternativa B

O escore F1 é uma medida que combina a precisão (quantos dos positivos previstos são realmente positivos) e a sensibilidade ou recall (quantos dos positivos reais foram corretamente identificados), sendo útil para avaliar modelos de classificação, especialmente com classes desbalanceadas.

(A) Incorreta: O valor calculado não corresponde a esta alternativa.
(B) Correta: O escore F1 é calculado pela média harmônica da precisão (P) e da sensibilidade (R), usando a fórmula $F1 = 2 * (P * R) / (P + R)$ . Com P = 0.90 e R = 0.75, temos $F1 = 2 * (0.90 * 0.75) / (0.90 + 0.75) = 2 * 0.675 / 1.65 = 1.35 / 1.65 \approx 0.818181...$ . Arredondando para duas casas decimais, o F1-score é 0.8182, ou 81,82%.
(C) Incorreta: O valor calculado não corresponde a esta alternativa.
(D) Incorreta: Esta alternativa representa a média aritmética simples entre a precisão e a sensibilidade $((0.90 + 0.75) / 2 = 0.825)$ , que é uma armadilha comum. O escore F1 utiliza a média harmônica, que é mais rigorosa e penaliza mais valores discrepantes, sendo a forma correta de combinar essas métricas.
(E) Incorreta: O valor calculado não corresponde a esta alternativa.

Fonte: FGV TCE-PA 2024 Auditor de Controle Externo - Informática - Analista de Sistemas (Caderno Tipo 1). Reproduzida para fins de estudo.

Questão de Tecnologia da Informação · FGV TCE-PA 2024 (nº 61)

Resposta comentada

Continue estudando