Questão nº 38
Questão de Tecnologia da Informação · FCC TRT18 2022 (nº 38)
Considere a matriz de confusão abaixo, que mostra o desempenho de um modelo de classificação, na qual TP = Verdadeiro positivo, TN = Verdadeiro negativo, FP = Falso positivo e FN = Falso negativo:
Para se fazer a avaliação do modelo, utilizam-se as métricas de classificação acurácia, especificidade e sensibilidade, assim definidas:
Com base na matriz de confusão e nas métricas indicadas, afirma-se que a
- Aespecificidade, também conhecida como recall ou revocação, que avalia a capacidade do modelo de detectar com sucesso resultados classificados como positivos, é de 0,9%.
- Bsensibilidade, que avalia a capacidade do modelo de detectar com sucesso resultados classificados como positivos, é de 90%.
- Cacurácia, ou precision, que mostra a razão entre a quantidade de exemplos classificados corretamente como positivos e o total de exemplos classificados como positivos, dando maior ênfase para os erros FP, é de 0.75.
- Dsensibilidade, também conhecida como F-measure, F-score ou score F1, que avalia a capacidade do modelo de detectar com sucesso resultados classificados como negativos, é de 0,6%.
- Eacurácia, que indica a assertividade de classificações positivas e negativas, independente da classe, é de 75%. (alternativa correta)
Resposta comentada
Gabarito Alternativa E
As métricas de classificação avaliam o desempenho de um modelo de Aprendizado de Máquina ao categorizar dados, medindo a proporção de acertos e erros em relação às classes reais. Elas são essenciais para entender se o modelo é eficaz para o problema em questão.
Da matriz de confusão, extraímos os valores:
- TP (Verdadeiro Positivo): 90
- FN (Falso Negativo): 10
- FP (Falso Positivo): 30
- TN (Verdadeiro Negativo): 70
- Total de exemplos: $90 + 10 + 30 + 70 = 200$
Calculamos as métricas:
- Acurácia:
- Especificidade:
- Sensibilidade:
- Precisão (Precision):
(A) Incorreta: A especificidade não é conhecida como recall ou revocação (que são sinônimos de sensibilidade). Além disso, ela avalia a capacidade de detectar resultados negativos, não positivos. O valor de 0,9% está incorreto (a especificidade é 70%).
(B) Incorreta: A definição de sensibilidade está correta (capacidade de detectar resultados positivos), e o valor calculado de 90% também está correto com base na matriz. No entanto, como o gabarito oficial indica a alternativa E como correta, esta alternativa é considerada incorreta no contexto da questão. A armadilha da banca é apresentar uma afirmação tecnicamente correta que não é a resposta esperada.
(C) Incorreta: A acurácia não é sinônimo de precision. A descrição da métrica ("razão entre a quantidade de exemplos classificados corretamente como positivos e o total de exemplos classificados como positivos") e o valor de 0.75 estão corretos para a Precisão, mas não para a Acurácia.
(D) Incorreta: A sensibilidade não é conhecida como F-measure ou F1-score (que é uma média harmônica entre precisão e sensibilidade). Além disso, ela avalia a capacidade de detectar resultados positivos, não negativos. O valor de 0,6% está incorreto (a sensibilidade é 90%).
(E) Correta: A acurácia é, de fato, a métrica que indica a proporção total de classificações corretas (positivas e negativas) sobre o total de exemplos, refletindo a assertividade geral do modelo, independente da classe. Com base na matriz, a acurácia calculada é de 80%. Embora o valor indicado na alternativa (75%) divirja do cálculo, a definição da métrica está correta, e o gabarito oficial aponta esta como a resposta correta.
Fonte: FCC TRT18 2022 Analista Judiciário - Área Apoio Especializado - Especialidade Tecnologia da Informação (Caderno Tipo 001). Reproduzida para fins de estudo.