Questão nº 17
Questão de Ciência de Dados · FGV CVM 2024 (nº 17)
Uma equipe de analistas de dados preparou um modelo preditivo cuja entrada consiste em planilhas contendo uma matriz de valores reais entre 1 e 10. Tais planilhas são obtidas de um sistema externo à equipe. O modelo foi treinado com um conjunto de planilhas que foi coletado pelos analistas, de forma a obter uma amostra representativa dos dados a serem utilizados.
A média e o desvio padrão de duas colunas importantes foram calculados do conjunto de treinamento, como uma forma simples de verificar a consistência da distribuição dos dados, sendo seus valores 4,89 e 3,08, respectivamente. O modelo obteve bons resultados durante sua etapa de testes, com uma precisão de 94%.
Ao iniciar a operação do modelo com planilhas atuais, entretanto, os analistas observaram que o modelo teve um desempenho muito inferior, com precisão de apenas 72%. Investigando as planilhas recebidas, obtiveram a média e o desvio padrão para as duas colunas importantes com valores 5,34 e 3,68, respectivamente.
A explicação mais adequada à situação descrita é:
- Aas planilhas atuais contêm ruído: valores ausentes nas colunas importantes;
- Ba distribuição dos valores nas planilhas atuais não corresponde mais aos dados usados no treinamento, pois foram coletadas em momentos diferentes (drifting);
- Ca distribuição dos valores nas planilhas atuais não corresponde mais aos dados usados no treinamento devido a uma mudança na posição das colunas;
- Da distribuição dos valores nas planilhas de treinamento não corresponde aos dados atuais, pois a amostra obtida pelos analistas não foi representativa;
- Eas planilhas atuais contêm ruído: valores fora do intervalo definido para o modelo. (alternativa correta)
Resposta comentada
Gabarito Alternativa E
Data Drift é quando as características dos dados de entrada de um modelo mudam ao longo do tempo, fazendo com que o modelo, que foi treinado com dados antigos, perca sua precisão. Ruído nos dados refere-se a informações incorretas, irrelevantes ou fora do padrão esperado, que também prejudicam o desempenho do modelo.
(A) Incorreta: O problema não menciona valores ausentes. A mudança na média e desvio padrão indica alteração nos valores existentes, não necessariamente na sua ausência.
(B) Incorreta: Embora a mudança na média e desvio padrão (de 4,89 para 5,34 e de 3,08 para 3,68) seja uma clara evidência de Data Drift, a alternativa E oferece uma explicação mais específica e impactante para a drástica queda de desempenho. A armadilha aqui é que B descreve um fenômeno real e presente (o drift), mas E aponta para um problema de qualidade de dados mais fundamental que resultaria em uma degradação ainda maior.
(C) Incorreta: Não há indicação de mudança na posição das colunas (mudança de esquema), mas sim no conteúdo dos valores dentro das colunas.
(D) Incorreta: O problema afirma que a amostra de treinamento foi coletada para ser representativa. A questão foca na situação atual dos dados operacionais, não em uma falha na coleta inicial.
(E) Correta: O problema especifica que a entrada do modelo consiste em "valores reais entre 1 e 10". Se as planilhas atuais contêm valores fora desse intervalo (por exemplo, 0, 11 ou -5), isso representa um "ruído" ou uma violação da premissa de dados que o modelo foi treinado para lidar. O modelo nunca viu esses valores durante o treinamento e, portanto, não sabe como processá-los, resultando em uma queda acentuada na precisão. Essa é uma explicação muito forte para a degradação observada.
Fonte: FGV CVM 2024 Analista CVM - Ciência de Dados (Perfil 7) (Caderno Tipo 1). Reproduzida para fins de estudo.