Questão nº 72
Questão de Fluência em Dados · FGV Receita Federal do Brasil 2023 - Manhã (nº 72)
Luiz, médico dermatologista, criou um modelo de IA para auxiliar na detecção de câncer de pele com visão computacional. Como um modelo de classificação binária, ele terá 4 possíveis saídas: verdadeiro positivo (paciente com câncer, detectado corretamente), verdadeiro negativo (paciente sem câncer, detectado corretamente), falso positivo (paciente sem câncer, detectado incorretamente) e falso negativo (paciente com câncer, não detectado pelo modelo).
Levando em consideração que um modelo de IA seria utilizado como uma ferramenta de auxílio ao diagnóstico de câncer de pele, os erros de "tipo 1" (falso positivo) seriam tolerados, já que haveria uma análise posterior realizada por um médico especialista. No entanto, os erros "tipo 2" (falso negativo) seriam os mais críticos, uma vez que podem resultar em um diagnóstico tardio ou falho, comprometendo a saúde do paciente.
Tomando o cenário como base, julgue os itens a seguir:
I. A métrica mais importante nesse caso seria a Sensibilidade (Recall ou Revocação);
II. A métrica mais importante nesse caso seria a Precisão (Precision);
III. Ao ajustar o modelo para minimizar erros de "tipo 2", geralmente os erros de "tipo 1" tendem a aumentar;
IV. Luiz deveria submeter seu modelo a um treinamento mais longo, independentemente do overfitting.
Estão corretas as afirmativas
- AI e III, apenas. (alternativa correta)
- BII e III, apenas.
- CI e IV, apenas.
- DII e IV, apenas.
- EIII e IV, apenas.
Resposta comentada
Gabarito Alternativa A
Em modelos de classificação, como o de detecção de câncer, o objetivo é minimizar os erros mais custosos. Erros de "tipo 2" (falso negativo) são quando o modelo não detecta algo que realmente existe (câncer), sendo geralmente mais graves que erros de "tipo 1" (falso positivo), que são quando o modelo detecta algo que não existe.
- (A) Correta:
- I. A métrica mais importante nesse caso seria a Sensibilidade (Recall ou Revocação); Correta. A Sensibilidade mede a proporção de casos positivos reais que foram corretamente identificados pelo modelo (). No contexto médico, onde um Falso Negativo (não detectar câncer em quem tem) é crítico, maximizar a Sensibilidade significa minimizar os Falsos Negativos, garantindo que o modelo "não perca" pacientes com a doença.
- II. A métrica mais importante nesse caso seria a Precisão (Precision); Incorreta. A Precisão mede a proporção de previsões positivas que foram realmente corretas (). Embora importante, o problema indica que Falsos Positivos (detectar câncer em quem não tem) são tolerados, pois haverá uma análise médica posterior. Priorizar a Precisão significaria focar em reduzir Falsos Positivos, o que não é o objetivo principal aqui.
- III. Ao ajustar o modelo para minimizar erros de "tipo 2", geralmente os erros de "tipo 1" tendem a aumentar; Correta. Existe um trade-off comum entre Falsos Positivos (erros de tipo 1) e Falsos Negativos (erros de tipo 2). Para minimizar Falsos Negativos (aumentar a Sensibilidade), o modelo precisa ser mais "agressivo" em suas previsões positivas, ou seja, classificar mais casos como "câncer" para não perder nenhum. Isso, por sua vez, tende a aumentar o número de Falsos Positivos (classificar pacientes saudáveis como tendo câncer).
- IV. Luiz deveria submeter seu modelo a um treinamento mais longo, independentemente do overfitting. Incorreta. Treinar um modelo por tempo excessivo, "independentemente do overfitting", é uma prática perigosa. O overfitting (sobreajuste) ocorre quando o modelo aprende demais os detalhes e ruídos dos dados de treinamento, perdendo a capacidade de generalizar para novos dados. Um modelo overfitado teria um desempenho ruim no mundo real, tornando-o inútil ou até prejudicial para o diagnóstico médico. O treinamento deve ser interrompido ou regularizado para evitar o overfitting.
Fonte: FGV Receita Federal do Brasil 2023 - Manhã Auditor-Fiscal da Receita Federal do Brasil (Caderno Tipo 1). Reproduzida para fins de estudo.