Databricks SESION 3

¿Cómo maneja Apache Spark los fallos de nodo durante el procesamiento de datos?

• Reiniciando todo el clúster.

• Ignorando los datos perdidos.

• Recomputando los datos perdidos usando el linaje del RDD.

• Solicitando una copia de seguridad del nodo caído.

¿Qué método se utiliza para aumentar el número de particiones de un RDD en Spark?

• repartition()

• coalesce()

• broadcast()

• reduceByKey()

¿Qué describe mejor una operación de acción en Spark?

• Una operación que devuelve y transforma un nuevo RDD.

• Una operación que modifica el RDD original y lo transforma a Dataframe.

• Una operación que gatilla un proceso o escribe datos en un almacenamiento externo.

• Una operación que solo se realiza en el driver, y devuelve un valor.

¿Qué característica de Apache Spark mejora el rendimiento de las operaciones repetitivas en el mismo dataset?

• La transmisión de datos en tiempo real.

• El almacenamiento en memoria (caching).

• La serialización eficiente de datos.

• La distribución automática de la carga de trabajo.

En el contexto de Spark, ¿qué es un DataFrame?

• Una colección distribuida y estructurada de datos organizados en columnas.

• Un tipo especial de RDD optimizado para operaciones de agregación.

• Un conjunto de datos almacenado en HDFS que no puede ser modificado.

• Una estructura de datos que solo permite operaciones de transformación.

¿Qué afirmación es verdadera respecto a la operación coalesce() en Spark?

• Incrementa el número de particiones de un RDD.

• Disminuye el número de particiones de un RDD de manera eficiente.

• Realiza una operación de shuffle completo en los datos.

• Se utiliza para distribuir datos a través de diferentes nodos.

¿Qué componente de Spark es responsable de la planificación de tareas y la gestión de recursos?

• Worker

• Driver

• Executor

• YARN

En la arquitectura de Spark, ¿qué rol juegan los Executors?

• Ejecutar las tareas asignadas y devolver los resultados al Driver.

• Gestionar el almacenamiento y la computación de los nodos Worker.

• Coordinar la distribución de las tareas entre los diferentes Workers.

• Administrar la interfaz de usuario web de Spark(SPARKWEBUI).

¿Qué es Apache YARN en el contexto de Spark?

• Un motor de procesamiento de datos en memoria.

• Un sistema de archivos distribuido (mesos).

• Un gestor de recursos para clusters.

• Un framework de ejecución de tareas

¿Cómo se determina el número de particiones de un DataFrame al leer un archivo grande en Spark?

• Se basa en el tamaño del archivo y la configuración del cluster.

• Se especifica explícitamente en el código obligatoriamente.

• Depende exclusivamente del número de cores disponibles en el cluster.

• Se ajusta automáticamente por el Driver sin intervención del usuario.