Big Data - Questões de Estudo - ETL, ELT, CDC

Qual é a principal diferença entre os processos ETL e ELT em relação ao local onde ocorre a transformação dos dados?

• No ETL, a transformação ocorre em um servidor de processamento secundário, enquanto no ELT ela ocorre no sistema de destino.
• No ETL, a transformação ocorre dentro do banco de dados de origem para economizar recursos de rede.
• No ELT, a transformação é realizada obrigatoriamente em uma staging area externa antes do carregamento final.
• Ambos os processos realizam a transformação exclusivamente no servidor de origem para garantir a integridade.
• No ETL, a transformação ocorre após o carregamento, mas antes da disponibilização para os usuários finais.

Sobre a compatibilidade de dados, qual afirmação descreve corretamente a vantagem do ELT em relação ao ETL?

• O ELT lida melhor com dados não estruturados, como imagens e documentos, carregando-os em seu formato original.
• O ETL é superior para dados não estruturados pois define as relações antes do armazenamento.
• O ELT é limitado apenas a bancos de dados relacionais com colunas e linhas fixas.
• Ambas as abordagens exigem que os dados sejam convertidos em formato tabular antes da extração.
• O ETL é o único método capaz de integrar dados de aplicações SaaS modernas.

O Change Data Capture (CDC) baseado em registro (log-based) é frequentemente preferido em ambientes de alto volume por qual motivo?

• Ele lê diretamente os logs de transação, como o Write-Ahead Logs (WAL), minimizando a interrupção no sistema de produção.
• Ele exige a criação de acionadores (triggers) em cada tabela para garantir que nenhuma alteração seja perdida.
• Ele simplifica a implementação por não exigir acesso privilegiado aos arquivos do banco de dados.
• Ele depende exclusivamente de consultas SQL periódicas para identificar novos registros.
• Ele é o método que consome mais recursos de processamento do servidor de origem durante a leitura.

Na fase de transformação de dados, o que caracteriza a técnica de 'Derivação'?

• A aplicação de regras de negócios para calcular novos valores a partir de dados existentes, como subtrair despesas da receita.
• O mapeamento de campos vazios para um valor padrão, como o número $0$.
• A união de dados de diferentes fontes em um único registro no sistema de destino.
• A divisão de um campo composto, como um nome completo, em várias colunas distintas.
• A remoção de registros duplicados para garantir a unicidade no data warehouse.

Qual é a principal desvantagem do método de Extração Total (Full Extraction) em processos de ETL?

• O alto volume de transferência de dados, o que torna o processo recomendado apenas para tabelas pequenas.
• A incapacidade de detectar novos registros inseridos desde a última extração.
• A dependência obrigatória de notificações de atualização em tempo real enviadas pela origem.
• A necessidade de logs de transação detalhados para reconstruir o estado dos dados.
• A complexidade extrema na lógica de filtragem de dados no sistema de origem.

Por que o ELT é considerado mais rápido que o ETL tradicional para grandes volumes de dados?

• O ELT carrega os dados diretamente e utiliza o processamento paralelo dos data warehouses modernos para transformar os dados.
• O ELT utiliza compressão de dados na origem que o ETL não consegue suportar.
• O ELT ignora completamente a fase de limpeza de dados para acelerar a entrega.
• O ETL requer que os dados sejam validados manualmente por analistas antes da carga.
• O ELT só funciona com bancos de dados locais, que possuem latência menor que a nuvem.

No contexto de Change Data Capture (CDC), qual é o principal risco associado ao método baseado em gatilhos (trigger-based)?

• A sobrecarga de desempenho no banco de dados de produção, pois os gatilhos são executados a cada inserção, atualização ou exclusão.
• A impossibilidade de capturar eventos de exclusão de registros na tabela de origem.
• A alta latência, já que as mudanças só são detectadas em intervalos programados.
• A dependência de uma coluna de carimbo de data/hora (timestamp) que seja atualizada automaticamente.
• A necessidade de acesso direto aos arquivos físicos de log do sistema operacional.

Qual serviço da AWS é descrito como uma ferramenta de integração de dados sem servidor (serverless) para trabalhos de ETL orientados por eventos?

• AWS Glue
• Amazon Redshift
• AWS IoT Greengrass
• Amazon Aurora
• Amazon S3

O método de CDC baseado em sondagem (polling) é mais adequado em qual situação?

• Quando o acesso aos logs de transação ou a criação de acionadores não é permitido no banco de dados de origem.
• Em sistemas de altíssimo volume de transações onde a latência deve ser de milissegundos.
• Quando se deseja evitar qualquer consulta SQL adicional no banco de dados para economizar CPU.
• Para capturar exclusões físicas de registros sem a necessidade de tabelas de auditoria auxiliares.
• Quando a sincronização dos relógios entre os servidores é garantidamente instável.

Qual das seguintes definições melhor descreve um Data Warehouse no contexto de processamento de dados?

• Um repositório central que armazena dados estruturados em tabelas e colunas, otimizado para análise e BI.
• Um sistema projetado para suportar milhões de requisições de leitura e escrita rápidas para transações diárias.
• Um local para armazenar exclusivamente dados não estruturados, como áudios e vídeos, sem qualquer organização.
• Uma área de armazenamento temporário (staging area) cujos dados são apagados logo após a extração.
• Um servidor de processamento secundário que limpa os dados antes de enviá-los para a nuvem.