[PDM] MapReduce

De acordo com o material, qual é o principal desafio ao se aumentar o número de máquinas em um sistema distribuído?

• A dificuldade em escrever os programas.
• O aumento da chance de falhas.
• A necessidade de transitar enormes quantidades de dados na rede.
• O custo do hardware.

Qual solução foi desenvolvida pela Google para facilitar a implementação da programação distribuída, permitindo que o desenvolvedor se preocupe apenas com as funções Map() e Reduce()?

• Sistema de Arquivos Distribuídos
• PageRank
• Modelo de programação Map-Reduce
• HDFS (Hadoop Distributed File System)

Como um Sistema de Arquivos Distribuído (DFS) lida com arquivos muito grandes (de Gigabytes a Terabytes)?

• Comprimindo o arquivo em um único servidor.
• Fatiando o arquivo em pedaços (chunks) e distribuindo-os.
• Aumentando a memória RAM do servidor principal (Master Node).
• Armazenando o arquivo inteiro em vários servidores.

Qual é a principal função do 'Master node' (ou NameNode no HDFS) em um Sistema de Arquivos Distribuído?

• Executar as funções Map e Reduce.
• Armazenar todos os pedaços (chunks) dos arquivos.
• Gerenciar as informações sobre onde os arquivos e seus pedaços estão armazenados.
• Manter uma cópia de segurança de todos os outros servidores.

Por que é importante manter as réplicas dos 'chunks' de dados em racks diferentes?

• Para aumentar a velocidade de acesso aos dados.
• Para garantir a tolerância a falhas caso um rack inteiro fique indisponível.
• Para facilitar a execução da função Reduce.
• Para diminuir o tráfego de rede entre os racks.

Qual é o princípio fundamental por trás da eficiência do MapReduce, que evita transitar enormes quantidades de dados pela rede?

• Dividir para conquistar.
• Manter o Master Node sempre replicado.
• Trazer a computação para perto do dado.
• Usar sempre pares (chave, valor).

O modelo MapReduce é uma implementação particular de qual padrão de paralelismo?

• Dividir-para-conquistar (ou divisão-e-conquista).
• Master/Worker.
• Processamento em Stream.
• Produtor/Consumidor.

Qual é o principal objetivo da camada de abstração criada pelo MapReduce?

• Permitir que o usuário programe apenas o problema a ser resolvido, isolando problemas comuns da programação distribuída.
• Garantir que os dados sejam sempre armazenados em ordem alfabética.
• Forçar o uso de um Sistema de Arquivos específico da Google.
• Aumentar a segurança dos dados durante o processamento.

Qual é a função da fase 'Map' em um processo MapReduce?

• Agrupar todos os valores que possuem a mesma chave.
• Receber pares (chave, valor), processá-los e gerar novos pares (chave, valor).
• Somar ou agregar os resultados finais de cada processador.
• Dividir o arquivo de entrada em vários 'chunks'.

O que a função 'Reduce' recebe como entrada?

• Um único par (chave, valor) do arquivo original.
• Uma chave e uma lista de todos os valores associados a essa chave.
• A lista de todos os servidores ('workers') disponíveis.
• O resultado final de outra função Reduce.