Questão nº 10
Questão de Ciência de Dados · FGV SEFAZ-MG 2022 - Tarde (nº 10)
O Apache Spark é um framework para processamento paralelo e oferece suporte ao processamento na memória para aumentar o desempenho de aplicações de big data.
Em relação aos RDDs e a suas operações, assinale a afirmativa incorreta.
- AOs RDDs suportam dois tipos de operações: transformações, que criam um novo conjunto de dados a partir de um existente, e ações, que retornam um valor ao Driver Program após executar uma computação no conjunto de dados.
- BMap é uma transformação que passa cada elemento do conjunto de dados por uma função e retorna um novo RDD representando os resultados.
- CReduce é uma ação que agrega todos os elementos do RDD usando alguma função e retorna o resultado final ao Driver Program.
- DTodas as transformações no Spark são lazy, pois não calculam seus resultados imediatamente. Em vez disso, eles apenas lembram as transformações aplicadas a algum conjunto de dados.
- EAs transformações só são computadas quando uma ação ou determinadas transformações exigem que um resultado seja retornado Driver Program. (alternativa correta)
Resposta comentada
Gabarito Alternativa E
Apache Spark é uma ferramenta poderosa para processamento de Big Data que utiliza RDDs (Resilient Distributed Datasets), que são coleções de dados distribuídas e tolerantes a falhas. As operações em RDDs se dividem em transformações (que criam novos RDDs sem executar a computação imediatamente) e ações (que disparam a execução das transformações e retornam um resultado ao programa principal).
- (A) Incorreta: Embora esta afirmação seja correta sobre o Spark, descrevendo os dois tipos de operações (transformações e ações) e suas características, ela não é a resposta procurada pela questão, que pede a afirmativa incorreta.
- (B) Incorreta: Embora esta afirmação seja correta sobre o Spark, descrevendo a transformação
mapque aplica uma função a cada elemento e retorna um novo RDD, ela não é a resposta procurada pela questão, que pede a afirmativa incorreta. - (C) Incorreta: Embora esta afirmação seja correta sobre o Spark, descrevendo a ação
reduceque agrega elementos do RDD e retorna o resultado ao Driver Program, ela não é a resposta procurada pela questão, que pede a afirmativa incorreta. - (D) Incorreta: Embora esta afirmação seja correta sobre o Spark, explicando o conceito de avaliação lazy (preguiçosa) das transformações, onde a computação só ocorre quando uma ação é disparada, ela não é a resposta procurada pela questão, que pede a afirmativa incorreta.
- (E) Correta: Esta afirmação é incorreta sobre o Spark, e por isso é a resposta para a questão que pede a afirmativa incorreta. A pegadinha está na parte "ou determinadas transformações exigem que um resultado seja retornado Driver Program". No Spark, somente ações disparam a computação e retornam um resultado ao Driver Program. Transformações, por definição, sempre retornam um novo RDD e nunca um resultado direto ao Driver Program; elas apenas constroem o plano de execução que será disparado por uma ação.
Fonte: FGV SEFAZ-MG 2022 - Tarde Auditor Fiscal - Tecnologia da Informação (Caderno Tipo 1). Reproduzida para fins de estudo.