Apache Spark

Cuál es la diferencia entre un RDD y un DataFrame

• Dataframe tiene esquema

• Es lo mismo

• un RDD contiene datos estructurados

• Un RDD no es calculado de manera lazy

Cuál es la diferencia entre una transformación y una acción para RDD/Dataframe? Selecciona la verdadera

• Las transformaciones generan un nuevo Dataframe que es enviado al Driver

• Las acciones y transformaciones sólo están disponibles para los DataFrame

• Las acciones generan un resultado. Las transformaciones generan un nuevo RDD/Dataframe

• Ninguna de las anteriores es correcta

Los Datasets son...

• mucho más eficientes que los Dataframe

• no están disponibles en PySpark

• estructuras que contienen objetos tipados

• exactamente los mismo que los Dataframe

Una tarea...

• Siempre se ejecuta en un core

• por defecto, se ejecuta en un core

• se ejecuta en el Driver

El desbalanceo de datos (Data Skew) ocurre cuando...

• Cada partición de un Dataframe contiene la misma cantidad de datos

• Suele producirse después de un shuffle

• Cada partición de un Dataframe contiene diferente cantidad de datos

• Ninguna de las anteriores es correcta

La operación coalesce siempre genera un shuffle

• Verdadero

• Falso

Qué es lo que ha ocurrido para que haya cambiado el plan de ejecución?

• Adaptative planning

• Un sort merge join siempre se transforma en un Broadcast Hash Join

• Ha aumentado la cantidad de datos en los DataFrame

• Todas son correctas

Selecciona las respuestas verdaderas sobre Output modes en Structured Streaming...

• Append mode generará resultados siempre después del watermarking

• Append mode generará resultados después del watermarking cuando hay agregaciones

• Complete mode generará resultados completos cuando no hay agregaciones

• Update mode generará resultados sólo para los elementos que han sido actualizados

Una sobre triggers en Structured Streaming 🙂. Selecciona la respuesta FALSA...

• El modo por defecto lanzará el cálculo cuando termine la ventana de agregación

• El modo por defecto lanzará el cálculo cuando termine el cálculo del anterior microbatch

• Processing time se ejecutará en intervalos fijos, a menos que el cálculo del anterior microbatch exceda dicho intervalo

• Processing time es usado en casos muy específicos para reducir la latencia

Selecciona las repuestas correctas sobre CDC (Change Data Capture)

• Es usado normalmente para replicar el contenido de bases de datos

• Se basa en ejecución de queries sobre la tabla para extraer los datos

• Genera mensajes por cada operación de Insert, Update y Delete en el log de transacciones

• Tiene mejor performance que ejecutar queries sobre la tabla que se quiere replicar