Questão nº 72
Questão de Fluência em Dados · FGV Receita Federal do Brasil 2023 - Manhã (nº 72)
Luiz, médico dermatologista, criou um modelo de IA para auxiliar na detecção de câncer de pele com visão computacional. Como um modelo de classificação binária, ele terá 4 possíveis saídas: verdadeiro positivo (paciente com câncer, detectado corretamente), verdadeiro negativo (paciente sem câncer, detectado corretamente), falso positivo (paciente sem câncer, detectado incorretamente) e falso negativo (paciente com câncer, não detectado pelo modelo).
Levando em consideração que um modelo de IA seria utilizado como uma ferramenta de auxílio ao diagnóstico de câncer de pele, os erros de "tipo 1" (falso positivo) seriam tolerados, já que haveria uma análise posterior realizada por um médico especialista. No entanto, os erros "tipo 2" (falso negativo) seriam os mais críticos, uma vez que podem resultar em um diagnóstico tardio ou falho, comprometendo a saúde do paciente.
Tomando o cenário como base, julgue os itens a seguir:
I. A métrica mais importante nesse caso seria a Sensibilidade (Recall ou Revocação);
II. A métrica mais importante nesse caso seria a Precisão (Precision);
III. Ao ajustar o modelo para minimizar erros de "tipo 2", geralmente os erros de "tipo 1" tendem a aumentar;
IV. Luiz deveria submeter seu modelo a um treinamento mais longo, independentemente do overfitting.
Estão corretas as afirmativas
- AI e III, apenas. (alternativa correta)
- BII e III, apenas.
- CI e IV, apenas.
- DII e IV, apenas.
- EIII e IV, apenas.
Resposta comentada
Gabarito Alternativa A
Conceito-chave: Em problemas de diagnóstico médico, o custo de não detectar a doença (falso negativo) é muito maior que o de gerar um alarme falso (falso positivo). Por isso, priorizamos a Sensibilidade (Recall), que mede a capacidade do modelo de encontrar TODOS os casos positivos, mesmo que isso aumente os falsos positivos.
- (A) Correta: A afirmativa I está certa (Sensibilidade é a métrica-chave para minimizar falsos negativos) e a III está certa (há um trade-off clássico: reduzir falsos negativos geralmente aumenta falsos positivos, pois o modelo fica mais "liberal" para diagnosticar câncer).
- (B) Incorreta: A afirmativa II está errada (Precisão mede a qualidade dos positivos previstos, mas aqui o foco é não deixar passar nenhum caso real, mesmo que isso gere mais alarmes falsos) e a III está correta, mas como a II é falsa, a alternativa inteira cai.
- (C) Incorreta: A afirmativa I está correta, mas a IV está errada (treinar por mais tempo sem controle de overfitting pode fazer o modelo decorar os dados de treino e falhar na prática clínica real, piorando a generalização).
- (D) Incorreta: A afirmativa II está errada (Precisão não é a prioridade aqui) e a IV está errada (treinamento longo sem regularização é prejudicial).
- (E) Incorreta: A afirmativa III está correta, mas a IV está errada (o problema não é tempo de treino, e sim o overfitting; o modelo pode até piorar com treino excessivo).
Armadilha da banca no distrator mais tentador (B): A banca coloca a Precisão (II) como isca, pois muitos alunos confundem "Precisão" com "acurácia geral" ou acham que um modelo "preciso" é sempre melhor. Mas em medicina, um falso negativo é fatal, então o Recall (Sensibilidade) domina. A afirmativa III (trade-off) é a "âncora" que valida a letra A, e quem marca B cai na pegadinha de achar que Precisão é mais importante que Sensibilidade nesse contexto.
Fonte: FGV Receita Federal do Brasil 2023 - Manhã Auditor-Fiscal da Receita Federal do Brasil (Caderno Tipo 1). Reproduzida para fins de estudo.