Explorando Apache Spark

¿Qué es Apache Spark y para qué se utiliza?

• Apache Spark es un motor de procesamiento de datos utilizado para análisis de grandes volúmenes de datos.

• Apache Spark es una base de datos relacional.

• Apache Spark es un sistema operativo para servidores.

• Apache Spark es un lenguaje de programación para desarrollo web.

¿Cuáles son las principales características de Apache Spark?

• Soporte exclusivo para Python, procesamiento en tiempo real, no permite integración con Hadoop.

• Procesamiento en memoria, soporte para múltiples lenguajes, bibliotecas para análisis de datos y aprendizaje automático.

• Procesamiento en disco, solo compatible con Java, carece de bibliotecas para análisis de datos.

• Interfaz gráfica de usuario, solo para análisis de texto, no soporta aprendizaje automático.

Describe la arquitectura de Apache Spark.

• La arquitectura de Apache Spark incluye un programa controlador, nodos trabajadores, ejecutores y RDDs para el procesamiento distribuido.

• La arquitectura de Apache Spark no permite el procesamiento en tiempo real.

• La arquitectura de Apache Spark se basa en un solo servidor central.

• Apache Spark utiliza únicamente bases de datos relacionales para el almacenamiento.

¿Qué componentes forman parte de la arquitectura de Apache Spark?

• Spark Core, Spark SQL, Spark Streaming, MLlib, GraphX

• Kafka Streams

• Apache Flink

• Hadoop MapReduce

¿Qué es un RDD en Apache Spark?

• Un RDD es una base de datos relacional en Apache Spark.

• Un RDD es una colección inmutable de datos distribuidos en Apache Spark.

• Un RDD es un algoritmo de compresión de datos en Apache Spark.

• Un RDD es un tipo de archivo en Apache Spark.

¿Cómo se crean RDDs en Spark?

• Se crean RDDs usando 'sc.createRDD()'

• Se crean RDDs únicamente desde bases de datos SQL.

• Se crean RDDs a través de 'sc.loadFile()'

• Se crean RDDs en Spark usando 'sc.parallelize()', 'sc.textFile()', o transformando otros RDDs.

Define qué son las transformaciones en Spark.

• Las transformaciones en Spark son operaciones que modifican el conjunto de datos original sin crear uno nuevo.

• Las transformaciones en Spark son operaciones que generan un nuevo conjunto de datos a partir de uno existente.

• Las transformaciones en Spark son procesos que solo se aplican a datos en tiempo real.

• Las transformaciones en Spark son funciones que eliminan datos de un conjunto existente.

¿Cuáles son algunos ejemplos de transformaciones en Spark?

• sort

• cache

• map, filter, flatMap, groupByKey, reduceByKey, join

• distinct

¿Qué son las acciones en Apache Spark?

• Las acciones son solo funciones de transformación de datos.

• Las acciones en Apache Spark son configuraciones de clúster.

• Las acciones son métodos para almacenar datos en disco.

• Las acciones en Apache Spark son operaciones que ejecutan un plan de cálculo y devuelven resultados al controlador.

Menciona ejemplos de acciones en Spark.

• filter(func)

• count(), collect(), take(n), saveAsTextFile(path), foreach(func)

• map(func)

• reduce(func)