coreSpark

Suponed una aplicación spark que se ejecuta en un cluster distribuido formado por 10 nodos. ¿Cómo se evita que haya condiciones de carrera en la actualización de un RDD?

• Para evitarlo es necesario hacer la ejecución en local

• No se pueden dar porque los RDD no se pueden actualizar

• El programador debe asegurarse de que cada RDD solo se actualiza desde una única secuencia de transformaciones

• Las condiciones de carrera solo pueden aparecer en sistemas paralelos, no en sistemas distribuidos

En una aplicación Spark se inicializa un RDD a partir de un fichero de texto y a continuación se ejecuta la siguiente secuencia:

print(mirdd.filter(lambda x: len(x) < 10))

Si lo ejecutamos sin ninguna redirección, ¿qué aparecerá en pantalla?

• Nada

• las líneas del fichero de entrada que tienen menos de 10 palabras

• las líneas del fichero de entrada que tienen más de 10 caracteres

• las líneas del fichero de entrada que tienen menos de 10 caracteres

Tenemos un cluster Spark formado por 10 nodos, cada uno de ellos con 4 cores, ¿es posible que una aplicación Spark se ejecute de manera secuencial en este cluster?

• No, las aplicaciones Spark sólo se ejecutan en secuencial si el cluster está formado por un sólo nodo

• No, las aplicaciones Spark nunca se pueden ejecutar en secuencial

• Si, por ejemplo si al lanzar la aplicación se especifica con la keywork "local"

• Si, por ejemplo si al lanzar la aplicación se especifica con la keyword "local[*]"

En un cluster Spark formado por 10 nodos lanzamos una aplicación Spark que enlaza 4 transformaciones y una acción final. ¿Se puede dar que no haya ninguna comunicación de datos entre los executors?

• Si, si todas las transformaciones son narrow

• No, como mínimo siempre hay comunicación en la transformación inicial y en la acción final

• Si, si todas las transformaciones son wide

• No, como mínimo siempre hay comunicación en la acción final

Tenemos un cluster Spark formado por varios nodos. Lanzamos una aplicación que crea un RDD a partir de un fichero de texto. Indica en cuál o cuáles de los siguientes aspectos puede influir el tamaño del fichero

• Cantidad de particiones creadas

• Cantidad de executors utilizados

• Cantidad de información que el driver le envía a un executor en uso

• Grado de paralelismo de la aplicación

Marca la opción correcta. Cuántas menos particiones de un RDD haya:

• Más datos le enviará el driver a cada executor

• Menos rendimiento tendremos

• Menos sobrecarga de gestión tendremos

• Más mensajes recibirá el driver