Ciencia de datos a través del Big Data

Selecciona aquellas afirmaciones que sean VERDADERAS sobre Big Data

• Big Data siempre implica terabytes de datos

• La definición de Big Data es independiente del tipo de análisis que necesitamos realizar sobre los datos

• No existe una definición estándar de lo que es Big Data

• En Big Data, se espera que los datos estén en muchos formatos, desde datos estructurados hasta datos completamente no estructurados

Escalado horizontal (varios servidores) vs. escalado vertical (uno solo de altas prestaciones). Selecciona aquellas que son verdaderas

• En escalado vertical la tolerancia a fallos está garantizada

• Es más barato un escalado horizontal que uno vertical

• Es siempre mejor un escalado horizontal independientemente del tamaño de los datos

• La implementación de los algoritmos en un enfoque de escalabilidad horizontal es más complejo

Selecciona aquellas afirmaciones que son Verdaderas

• MapReduce garantiza que no haya movimiento de datos a través de la red.

• MapReduce se basa en programación dirigida a objetos

• MapReduce requiere implementar explícitamente qué hace cada nodo y la comunicación entre los mismos

• Hadoop ofrece una implementación (regulera) del concepto MapReduce

¿Qué crees que tarda de hacer esta solución MapReduce? ¿sería eficiente?

• Trata de calcular la media de la longitud de las palabras de un documento. Es eficiente solo si se usan combiners.

• Trata de calcular la media de la longitud de las palabras de un documento. Pero falla porque la media no es una operación asociativa.

• Trata de calcular el número de palabras en un documento. Es eficiente solo si se usan combiners

• Trata de calcular el número de palabras en un documento. No obstante, es muy ineficiente porque solo hay un reducer

¿qué hace esta función?

• Calcula la longitud media de las palabras de un documento gigante

• Calcula el histograma de la longitud de las palabras

• Resuelve el Cuenta Palabras (WordCount)

Selecciona aquellas afirmaciones que son verdaderas sobre Hadoop

• Hadoop sigue un enfoque de escalado vertical

• Siempre necesitas un cluster para probar Hadoop

• No puedes ejecutar más de un trabajo MapReduce al mismo tiempo en un cluster Hadoop (YARN)

• Hadoop usa la idea de contenedores para proveer aislamiento de recursos

Selecciona aquellas afirmaciones que son verdaderas

• El HDFS es muy bueno leyendo ficheros grandes, pero no tanto para hacer cambios aleatorios

• El HDFS está diseñado para tener una latencia muy baja

• El concepto de bloque, en el sistema de ficheros HDFS es importante para proveer tolerancia de fallos

• El servidor de nombres (NameNode) sabe donde están todos los ficheros en un HDFS

Selecciona aquellas afirmaciones que sean verdaderas

• Spark tiene su propio sistema de ficheros distrubuido, el famoso SDFS

• Spark implementa MapReduce y operaciones adicionales como filter

• Spark disminuye los costes de serialización (convertir a bytes) de Hadoop, especialmente SparkSQL

• Spark siempre necesita YARN (el gestor de Hadoop) para ejecutar sus aplicaciones

Seleccione aquellas afirmaciones que son verdaderas

• Los RDDs no son tolerantes a fallos

• Se puede crear un RDD a partir de una lista de python

• Se puede crear un RDD a partir de un fichero de texto almacenado en tu disco local

• Los RDDs son mutables

¿Cuál es la salida de este programa?

• [(1,2), (2,4)]

• [1,2,2,4]

• [1,2,3]

• Da error fijo