Questão nº 94
Questão de Tecnologia da Informação · FGV CGE-SP 2025 (nº 94)
O Processamento MapReduce é o paradigma fundamental para o processamento distribuído de Big Data em clusters.
Um cientista de dados usou essa técnica para processar milhões de logs de auditoria, em que a fase Map já emitiu pares chave-valor intermediários (ex: (UsuárioID, 1)).
De acordo com modelo MapReduce, assinale a opção que apresenta a função exata e sequencial da fase Shuffle & Sort que é crítica para preparar os dados para a posterior agregação na fase Reduce.
- AColetar a saída intermediária dos Mappers, transportar, particionar e ordenar esses pares chave-valor, garantindo que todas as ocorrências de uma mesma chave sejam agrupadas e enviadas ao mesmo Reducer. (alternativa correta)
- BColetar os dados brutos da fonte de dados distribuída e aplicar a função de filtragem inicial (Map) em cada nó de processamento.
- CAplicar a função de agregação de redução (Reduce) nas chaves recebidas, calculando a soma final em uma única operação.
- DPersistir a saída final no HDFS e coordenar a distribuição de blocos entre os DataNodes do cluster.
- ERealizar o split lógico dos arquivos de entrada em blocos menores e garantir a tolerância a falhas através da replicação automática.
Resposta comentada
Gabarito Alternativa A
O MapReduce é um modelo de programação para processar grandes volumes de dados de forma distribuída em clusters. A fase Shuffle & Sort é a ponte essencial entre a fase Map (que gera dados intermediários) e a fase Reduce (que agrega esses dados), sendo responsável por organizar e agrupar os dados intermediários de maneira eficiente para a agregação.
(A) Correta: Esta opção descreve com precisão a fase Shuffle & Sort. Ela envolve a coleta das saídas dos Mappers (os pares chave-valor intermediários), o transporte desses dados entre os nós do cluster, a partição (decidir qual Reducer receberá qual chave) e a ordenação dos valores para cada chave. O objetivo final é garantir que todos os valores associados a uma mesma chave sejam agrupados e enviados ao mesmo Reducer para processamento.
(B) Incorreta: Esta alternativa descreve a fase inicial de leitura dos dados brutos e a própria fase Map, que é anterior à Shuffle & Sort. A questão afirma que a fase Map já emitiu os pares chave-valor.
(C) Incorreta: Esta alternativa descreve a fase Reduce, que ocorre depois da fase Shuffle & Sort. A função da Shuffle & Sort é preparar os dados para o Reduce, não executá-lo. A armadilha aqui é que o Reduce é a próxima etapa lógica e muitos associam a agregação diretamente ao Reduce, mas a Shuffle & Sort é a etapa intermediária crucial para que essa agregação seja possível de forma eficiente, agrupando os dados antes da agregação.
(D) Incorreta: Esta alternativa descreve a fase de saída do MapReduce (persistência no HDFS) e aspectos da gestão do HDFS (distribuição de blocos), que são conceitos relacionados ao ecossistema Big Data, mas não à fase Shuffle & Sort do MapReduce.
(E) Incorreta: Esta alternativa descreve a fase de entrada de dados do MapReduce (divisão lógica dos arquivos) e características do HDFS (tolerância a falhas e replicação), que são anteriores ou tangenciais à fase Shuffle & Sort.
Fonte: FGV CGE-SP 2025 Auditor Estadual de Controle - Tecnologia da Informação (Caderno Tipo 1). Reproduzida para fins de estudo.