Questão nº 88
Questão de Engenharia de Dados · FCC PMSP Analista TIC 2025 (nº 88)
Uma equipe de ciência de dados de uma prefeitura está utilizando um modelo de classificação binária para prever a aprovação de projetos de mobilidade urbana. O desempenho do modelo é avaliado com base em algumas métricas. Considere o seguinte código em Python, que foi executado para calcular as métricas a partir dos rótulos verdadeiros e previstos.
from sklearn.metrics import precision_score, recall_score, f1_score
# Rótulo verdadeiros dos dados (1 = positivo, 0 = negativo)
true_labels = [1, 0, 1, 1, 0, 1, 0, 0, 1, 0]
# Predições do modelo (1 = positivo, 0 = negativo)
predicted_labels = [1, 0, 1, 0, 0, 1, 1, 0, 1, 0]
# Calculando as métricas
precision = precision_score(true_labels, predicted_labels)
recall = recall_score(true_labels, predicted_labels)
f1 = f1_score(true_labels, predicted_labels)
# Exibindo os resultados
print(f"Precisão: {precision:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1-Score: {f1:.2f}")
Com os dados fornecidos, o código gerou os seguintes resultados: Precisão: 0,80, Recall: 0,80, F1-Score: 0,80. Com base nessas métricas, o modelo
- Aapresenta alta precisão, mas o recall é insuficiente, indicando que ele detecta a maioria dos casos positivos, mas também faz muitas classificações incorretas.
- Bapresenta um bom equilíbrio entre precisão e recall, indicando que ele identifica bem os casos positivos e evita erros ao classificar dados negativos. (alternativa correta)
- Capresenta baixa precisão e recall, indicando que ele frequentemente erra tanto ao prever positivos quanto ao evitar falsos negativos.
- Dé ótimo para cenários em que precisão não é tão importante quanto recall, como em problemas de emergência pública, pois F1-score é alto.
- Etem precisão aceitável, mas o baixo F1-score sugere um desempenho desequilibrado, com recall bem superior à precisão.
Resposta comentada
Gabarito Alternativa B
O Precision (Precisão) mede a proporção de classificações positivas que foram realmente corretas (quantos dos projetos que o modelo disse que seriam aprovados, de fato foram). O Recall (Revocação ou Sensibilidade) mede a proporção de casos positivos reais que o modelo identificou corretamente (quantos dos projetos que realmente seriam aprovados, o modelo conseguiu prever). O F1-Score é a média harmônica entre Precision e Recall, fornecendo uma medida única que equilibra ambas.
- (A) Incorreta: Os resultados mostram que a precisão e o recall são ambos 0,80, o que não indica que o recall seja insuficiente em comparação com a precisão. Além disso, alta precisão significa poucas classificações incorretas entre as positivas, não "muitas".
- (B) Correta: Com precisão e recall iguais a 0,80, o modelo demonstra um bom equilíbrio entre essas duas métricas. Um recall de 0,80 significa que ele identifica 80% dos casos positivos reais. Uma precisão de 0,80 significa que, das vezes que ele previu um projeto como positivo, 80% estavam corretos, indicando que ele não comete muitos erros ao classificar dados negativos como positivos (Falsos Positivos).
- (C) Incorreta: Os valores de 0,80 para precisão e recall são considerados bons, não baixos, em muitos contextos.
- (D) Incorreta: Armadilha da banca! Embora o F1-score seja alto (0,80), a afirmação de que "precisão não é tão importante quanto recall" é incorreta neste caso. Precisão e recall são iguais, indicando um equilíbrio, e não uma priorização de um sobre o outro. Se o recall fosse significativamente maior que a precisão, essa afirmação faria mais sentido para cenários específicos.
- (E) Incorreta: O F1-score de 0,80 não é baixo e, como precisão e recall são iguais, não há um desempenho desequilibrado com recall superior à precisão.
Fonte: FCC PMSP Analista TIC 2025 Analista de Planejamento e Desenvolvimento Organizacional - Tecnologia da Informação e Comunicação (Caderno Tipo 001). Reproduzida para fins de estudo.