Questão nº 77
Questão de Ciência de Dados · FGV TCE-PA 2024 (nº 77)
Analise o trecho a seguir:
É um padrão de transformação de dados em lote que foi introduzido como uma alternativa para lidar com grandes volumes de dados. Consiste em tarefas de mapa que leem blocos de dados individuais espalhados pelos nós, seguidas por uma etapa de shuffle que redistribui os dados de resultado e uma etapa de redução que agrega os dados em cada nó. Seu paradigma foi construído em torno da ideia de que a capacidade e largura de banda do disco magnético eram tão baratas que fazia sentido simplesmente usar uma enorme quantidade de disco para realizar consultas ultrarrápidas.
A tecnologia em questão é:
- AApache Spark.
- BHadoop MapReduce. (alternativa correta)
- CBusiness Warehouse.
- DETL (Extract, Transform, Load).
- EGIS (Geographic Information System).
Resposta comentada
Gabarito Alternativa B
MapReduce é um modelo de programação para processar grandes volumes de dados em paralelo, distribuindo o trabalho em muitos computadores. Ele divide a tarefa em etapas de 'mapeamento' (leitura e transformação inicial) e 'redução' (agregação dos resultados).
(A) Incorreta: Apache Spark é uma plataforma de processamento de dados mais moderna e flexível que, embora possa realizar operações semelhantes, prioriza o processamento em memória e não se encaixa na descrição histórica do uso intensivo de disco magnético como base de seu paradigma.
(B) Correta: A descrição detalha perfeitamente o funcionamento do Hadoop MapReduce, com suas fases de Map, Shuffle e Reduce, e sua filosofia de processamento distribuído em lote, aproveitando a capacidade de armazenamento de discos magnéticos baratos para lidar com grandes volumes de dados.
(C) Incorreta: Business Warehouse é uma arquitetura de armazenamento e análise de dados, não um padrão de processamento distribuído com as fases específicas de Map, Shuffle e Reduce.
(D) Incorreta: ETL (Extract, Transform, Load) é um processo genérico de integração de dados; MapReduce é uma tecnologia específica que pode ser usada para a fase de Transformação, mas não é o mesmo conceito descrito com as etapas de Map, Shuffle e Reduce.
(E) Incorreta: GIS (Geographic Information System) é um sistema para trabalhar com dados geográficos, sem relação com o padrão de processamento de dados em lote descrito.
Fonte: FGV TCE-PA 2024 Auditor de Controle Externo - Administrativa - Ciência de Dados (Caderno Tipo 1). Reproduzida para fins de estudo.