Questão de Ciência de Dados · FGV CVM 2024 (nº 20)

Ao lidar com dados faltantes (valores ausentes em um conjunto de dados), é preciso decidir se vamos simplesmente remover as linhas com esses valores ou tentar preenchê-los (imputar). A escolha ideal depende de características importantes do seu conjunto de dados.

• (A) Incorreta: O intervalo dos atributos (amplitude dos valores de uma coluna) é mais relevante para a forma de imputar (ex: normalização) do que para a escolha entre remover ou imputar. A fração de dados faltantes é importante, mas o "intervalo" não é uma característica prioritária para a decisão principal.
• (B) Incorreta: Esta é a armadilha da banca. Embora o número de observações (quantidade de linhas) e a fração de dados faltantes (percentual de valores ausentes) sejam cruciais para avaliar o custo de remover observações (se há poucas observações ou muitos dados faltantes, remover é ruim), eles não fornecem informações sobre a eficácia da imputação multivariável. Para escolher a imputação multivariável, precisamos saber se ela funcionará bem, e isso depende das relações entre as variáveis.
• (C) Incorreta: A fração de atributos com dados faltantes (quantas colunas têm valores ausentes) é menos direta que a fração total de dados faltantes ou o número de observações. O intervalo dos atributos é, novamente, mais sobre a implementação da imputação do que a escolha entre as técnicas.
• (D) Incorreta: Uma medida de dependência estatística entre os atributos é fundamental para a imputação multivariável, mas a fração de atributos com dados faltantes não é tão prioritária quanto o número total de observações para decidir sobre a remoção.
• (E) Correta: O número de observações é crucial para avaliar o impacto da remoção: se o conjunto de dados é pequeno, remover observações pode causar uma perda significativa de informação e enviesar o modelo. Já uma medida de dependência estatística entre os atributos (como correlação) é essencial para a imputação multivariável, pois essa técnica se baseia nas relações entre as variáveis para prever os valores ausentes de forma mais precisa. Se as variáveis são independentes, a imputação multivariável não terá grande vantagem. Essas duas características, juntas, ajudam a decidir se vale a pena remover ou se a imputação multivariável será eficaz.