Questão nº 16
Questão de Ciência de Dados · FGV CVM 2024 (nº 16)
Uma certa organização busca melhorar a qualidade e agilidade do seu atendimento eletrônico. Para isso um projeto foi criado para agrupar os e-mails recebidos de acordo com o tipo de problema a ser resolvido e assim repassá-los para o setor mais apropriado.
A equipe responsável pela implementação do projeto resolveu utilizar um modelo de linguagem recente para representar o máximo possível de informação contida num e-mail em um vetor de dimensão 768. Entretanto, depararam-se com o seguinte problema: as distâncias entre os vetores se mostraram muito pequenas, tornando o agrupamento por diversos algoritmos muito pouco significativo.
Com esse último problema em mente, a sequência mais apropriada de algoritmos a ser aplicada sobre os vetores, de forma a obter um agrupamento significativo dos e-mails, é:
- APCA → t-SNE → KNN;
- BUMAP → KNN;
- Ct-SNE → HDBSCAN → K-Means;
- DUMAP → HDBSCAN; (alternativa correta)
- EK-Means -> t-SNE.
Resposta comentada
Gabarito Alternativa D
Redução de dimensionalidade não linear (como UMAP) ajuda a separar dados complexos em um espaço menor, e algoritmos de clusterização baseados em densidade (como HDBSCAN) encontram grupos naturais sem precisar saber quantos são.
- A) Incorreta: PCA é linear e pode não resolver o problema de distâncias pequenas se a estrutura for não-linear; t-SNE é bom para visualização, mas KNN é um algoritmo de classificação, não de clusterização direta.
- B) Incorreta: UMAP é uma boa escolha para redução de dimensionalidade, mas KNN é um algoritmo de classificação, não de clusterização para o objetivo de agrupar e-mails.
- C) Incorreta: t-SNE é uma boa opção de redução de dimensionalidade, e HDBSCAN é um bom algoritmo de clusterização, mas aplicar K-Means após HDBSCAN é redundante e sem sentido, pois HDBSCAN já teria encontrado os clusters.
- (D) Correta: UMAP é uma técnica de redução de dimensionalidade não linear eficiente e que preserva bem a estrutura global e local, ideal para tornar as distâncias entre os vetores mais significativas. HDBSCAN é um algoritmo de clusterização baseado em densidade que não exige o número de clusters, lida bem com ruído e encontra clusters de formatos arbitrários, sendo perfeito para identificar grupos "significativos" após a projeção do UMAP.
- E) Incorreta: K-Means aplicado antes de uma redução de dimensionalidade (t-SNE) seria ineficaz devido às "distâncias muito pequenas" no espaço de alta dimensão; t-SNE seria usado para visualizar os clusters, não para melhorá-los.
Fonte: FGV CVM 2024 Analista CVM - Ciência de Dados (Perfil 7) (Caderno Tipo 1). Reproduzida para fins de estudo.