AQUISICAO E PREPARACAO DE DADOS

A preparação de dados desempenha um papel crucial no sucesso de projetos de ciência de dados, pois ela envolve várias etapas que garantem a qualidade e a adequação dos dados para análise. Uma dessas etapas é a limpeza de dados, que visa remover ou corrigir erros nos dados coletados. Considerando isso, qual das seguintes afirmações sobre a limpeza de dados está correta?

• A limpeza de dados apenas remove registros duplicados e não realiza nenhuma transformação nos dados.

• A limpeza de dados é uma etapa opcional, que pode ser ignorada se os dados já estiverem em formato adequado para análise.

• A limpeza de dados envolve identificar e corrigir inconsistências, erros e valores ausentes, garantindo que os dados sejam precisos e consistentes para análise.

• A limpeza de dados apenas lida com a exclusão de dados irrelevantes, sem se preocupar com a consistência ou qualidade dos dados.

Answer explanation

A limpeza de dados é uma etapa crítica no processo de preparação de dados e envolve a remoção de inconsistências, erros e valores ausentes para garantir a qualidade dos dados antes de serem usados em modelos de análise ou machine learning.

Considerando a importância da integração de dados para projetos de ciência de dados, é possível integrar dados provenientes de diferentes fontes como bancos de dados relacionais, APIs e dados provenientes de dispositivos IoT. No entanto, um dos maiores desafios dessa integração é a heterogeneidade dos dados, ou seja, as diferenças nos formatos e representações dos dados provenientes dessas fontes. Dentre as opções abaixo, qual seria a estratégia mais adequada para lidar com a integração de dados heterogêneos em um projeto de Big Data?

• Utilizar um Data Lake, que permite armazenar dados em seu formato bruto, sem a necessidade de pré-processamento, para manter a flexibilidade de integração.

• Utilizar apenas bancos de dados relacionais, que garantem uma estrutura organizada e padronizada de dados, facilitando a integração.

• Limitar a coleta de dados apenas a fontes de dados estruturados, para garantir que a integração seja feita de forma eficiente e sem erros.

• Usar uma abordagem baseada em Data Warehouses, que armazena dados já transformados e prontos para consulta, mas com pouca flexibilidade para dados não estruturados.

Answer explanation

O uso de um Data Lake é uma estratégia ideal para integração de dados heterogêneos, pois ele permite armazenar dados em seu formato bruto, proporcionando maior flexibilidade ao lidar com diferentes tipos de dados (estruturados, semi-estruturados e não estruturados).

A preparação e aquisição de dados são etapas fundamentais no ciclo de vida de um projeto de ciência de dados, pois determinam a qualidade e relevância dos dados que serão utilizados na análise. Essas etapas garantem que os dados sejam organizados e limpos antes de serem usados para modelagem preditiva ou tomada de decisão. De acordo com o que foi apresentado no documento, qual é a principal função da preparação de dados em um projeto de ciência de dados?

• Coletar dados de múltiplas fontes e apresentá-los diretamente para análise sem a necessidade de transformação.

• Limpar, transformar e estruturar os dados para garantir que eles possam ser utilizados de forma confiável em modelos de machine learning e outras análises.

• Realizar a análise exploratória dos dados, sem se preocupar com a qualidade ou a transformação dos dados.

• Armazenar dados sem a necessidade de processá-los ou estruturá-los, confiando na capacidade do sistema de análise para lidar com dados não processados.

Answer explanation

A preparação de dados envolve garantir que os dados sejam confiáveis, consistentes e estruturados adequadamente para análise, o que é essencial para o sucesso de qualquer modelo de machine learning ou análise preditiva.

Considerando a importância de adquirir dados de fontes confiáveis e variadas para garantir a qualidade e a relevância das análises, quais são os principais desafios enfrentados na coleta de dados de fontes heterogêneas, como bancos de dados, APIs e sensores IoT, conforme descrito no documento?

• A coleta de dados de múltiplas fontes é simples, pois todas as fontes seguem o mesmo formato e estrutura de dados.

• A coleta de dados pode ser dificultada pela necessidade de adaptação de diferentes formatos e pela integração de dados provenientes de fontes com padrões variados, exigindo processos de transformação complexos.

• A coleta de dados não requer qualquer transformação ou adaptação, pois os dados são coletados em seu formato adequado e pronto para uso imediato.

• O maior desafio é a escassez de fontes confiáveis, o que impossibilita a coleta de dados de boa qualidade para os projetos de ciência de dados.

Answer explanation

A integração de dados de diferentes fontes, como bancos de dados, APIs e dispositivos IoT, pode ser desafiadora devido à heterogeneidade dos dados. Cada fonte pode ter um formato e estrutura diferentes, o que exige processos de transformação para garantir que os dados sejam compatíveis e possam ser usados para análise.

O uso de dados abertos tem se tornado cada vez mais comum em projetos de ciência de dados, pois esses dados estão disponíveis para qualquer pessoa e podem ser reutilizados e redistribuídos. De acordo com o que foi apresentado no documento, quais são as principais características dos dados abertos?

• São dados que podem ser acessados, mas não reutilizados, sendo restritos a um uso específico.

• São dados disponibilizados de forma completa, em formato modificável, e podem ser reutilizados e redistribuídos sem restrições.

• São dados protegidos por direitos autorais, permitindo apenas a visualização de suas informações, sem permissão para redistribuição.

• São dados que não precisam de nenhum tipo de autorização para serem utilizados, mas devem ser redistribuídos sem alteração.

Answer explanation

Dados abertos são caracterizados pela disponibilização completa e acessível ao público, permitindo seu uso, modificação e redistribuição sem restrições, o que os torna uma excelente fonte de informação para projetos de ciência de dados.

Quando se trata de integração de dados de diferentes fontes em um projeto de Big Data, o processo de ETL (Extract, Transform, Load) é amplamente utilizado. No entanto, a transformação de dados pode ser um processo complexo. Qual é a principal função da etapa de "Transformação" no processo de ETL, conforme descrito no documento?

• Extrair dados de várias fontes e carregá-los em um formato bruto para armazenamento em um Data Lake.

• Transformar os dados de diferentes fontes em um formato consistente, aplicando alterações necessárias para integrá-los de maneira eficiente em um sistema de análise.

• Remover os dados irrelevantes e irreconciliáveis para simplificar o processo de integração.

• Carregar dados diretamente em um banco de dados relacional sem qualquer transformação ou adaptação.

Answer explanation

A transformação de dados no processo ETL envolve a adaptação e a padronização de dados de diferentes fontes, garantindo que eles possam ser integrados e analisados de maneira eficiente. Isso pode incluir a conversão de formatos, a normalização de valores e a eliminação de duplicidades.

A preparação de dados não se resume apenas à limpeza e transformação. Ela também envolve a integração de dados provenientes de diferentes fontes em uma estrutura única e confiável para análise. No contexto de integração de dados, qual é a principal diferença entre Data Lake e Data Warehouse, conforme abordado no documento?

• Data Lakes armazenam dados em formato bruto e não estruturado, enquanto Data Warehouses são sistemas otimizados para armazenar dados estruturados prontos para análise.

• Data Lakes são otimizados para armazenar dados estruturados apenas, enquanto Data Warehouses armazenam dados não estruturados.

• Data Lakes são sistemas de armazenamento caro e complexos, enquanto Data Warehouses são baratos e simples de implementar.

• Data Lakes são usados apenas para análise em tempo real, enquanto Data Warehouses são usados apenas para armazenar dados históricos.

Answer explanation

A principal diferença entre um Data Lake e um Data Warehouse é que o primeiro armazena dados em seu formato bruto e não estruturado, oferecendo flexibilidade para armazenar grandes volumes de dados de diferentes tipos. Já o Data Warehouse armazena dados estruturados e otimizados para análises rápidas e relatórios históricos.

Durante o processo de aquisição de dados, a coleta de dados de páginas da web, por meio de técnicas como web scraping, pode apresentar vários desafios técnicos. Qual é um dos principais desafios identificados no documento ao se realizar o scraping de páginas da web?

• A dificuldade em processar dados não estruturados em tempo real.

• A sobrecarga de servidores devido à alta frequência de requisições feitas durante o scraping.

• A padronização dos dados, que normalmente já vêm em formatos homogêneos e prontos para análise.

• A facilidade em extrair dados de páginas dinâmicas, que não requerem qualquer tipo de processamento.

Answer explanation

Um dos principais desafios do web scraping é a sobrecarga de servidores, pois a coleta de dados pode gerar muitas requisições em um curto período de tempo, o que pode afetar a performance do servidor e resultar em bloqueios.

O processo de transformação de dados em um projeto de Big Data é muitas vezes intensivo, devido à necessidade de limpar, padronizar e integrar grandes volumes de dados provenientes de diferentes fontes. Qual das alternativas abaixo descreve corretamente o processo de transformação no contexto de preparação de dados para análise?

• A transformação é a fase em que os dados são coletados de várias fontes e carregados diretamente em um banco de dados relacional para análises imediatas.

• A transformação ocorre apenas no momento em que os dados são visualizados e analisados, sem a necessidade de estruturação prévia.

• A transformação é o processo de limpar e remover todos os dados irrelevantes, sem se preocupar com a consistência dos dados.

• A transformação envolve alterar, filtrar e agrupar dados de diferentes fontes para garantir que os dados sejam consistentes, úteis e adequados para análise.

Answer explanation

A transformação de dados é uma etapa crucial na preparação de dados, onde os dados de várias fontes são ajustados para garantir que estejam no formato correto e prontos para análise. Isso pode incluir a filtragem, a normalização e a combinação de dados de diferentes fontes.

A aquisição de dados em projetos de ciência de dados pode envolver múltiplas fontes de dados, como sensores IoT, APIs, bancos de dados relacionais, entre outras. Uma das fontes de dados mais valiosas é a web, onde é possível extrair grandes volumes de informações por meio de técnicas como scraping. No entanto, ao realizar o web scraping, um dos principais desafios é garantir a qualidade dos dados extraídos. Qual dos problemas a seguir pode surgir durante a coleta de dados de páginas da web?

• A obtenção de dados sempre está em um formato estruturado e pronto para análise.

• Dados obtidos de sites são sempre limpos e prontos para serem usados, sem a necessidade de pré-processamento.

• As páginas podem ter dados dinâmicos e conteúdos carregados por JavaScript, dificultando a extração.

• As fontes de dados na web sempre possuem alta qualidade, sem problemas de consistência ou validade.

Answer explanation

O principal desafio do web scraping é que muitas páginas web carregam seus dados dinamicamente usando JavaScript. Isso pode dificultar a extração, pois o conteúdo necessário para análise nem sempre está presente no HTML da página inicial.