Big data 1

Đầu vào dữ liệu cho chương trình Spark có thể là:

• Local file

• HDFS, NFS

• Amazon S3, Elasticsearch

• Cả 3 phương án trên

Đâu là lệnh lưu dữ liệu ra ngoài chương trình Spark:

• input.saveAsTextFile('file:///usr/zeppelin/notebook/dataset/new.txt')

• input.saveAsTextFile('/usr/zeppelin/notebook/dataset/new.txt')

• input.saveAs('file:///usr/zeppelin/notebook/dataset/new.txt')

• input.saveAsTextFile:'file:///usr/zeppelin/notebook/dataset/new.txt'

Đâu là cách submit đúng một job lên Spark cluster hoặc chế độ local:

• ./spark-submit wordcount.py README.md

• ./spark-submit README.md wordcount.py

• spark-submit README.md wordcount.py

• Phương án A và C

Câu lệnh MapReduce trong Spark dưới đây, chia mỗi dòng thành từ dựa vào delimiter nào.

input.flatMap(lambda x: x.split('\t')).map(lambda x: (x, 1)).reduceByKey(add)

• Tab

• Dấu cách

• Dấu hai chấm

• Dấu phẩy

Data Pipeline nào sau đây là đúng trên Spark

• Spark→RabbitMQ→Elasticsearch→Hiển thị

• Dữ liệu sensor → RabbitMQ →Elasticsearch→Spark→Hiển thị

• Dữ liệu sensor → Elasticserach→RabbitMQ→Spark→Hiển thị

• Spark→Elasticsearch→Hiển thị

Mục đích của sử dụng RabbitMQ là gì?

• Lưu trữ dữ liệu

• Tránh dữ liệu bị mất mát

• Hiển thị dữ liệu

• Phân tích dữ liệu

Spark có thể chạy ở chế độ nào khi chạy trên nhiều máy?

• Chạy trên YARN

• Chạy trên ZooKeeper

• Phương án A và B đều sai

• Cả 2 phương án A và B

Mục đích của sử dụng Spark ML là gì?

• Chạy MapReduce

• Chạy các thuật toán dự đoán

• Tính toán phân tán

• Cả B and C

Mục đích của lệnh sau đây là gì? (trainingData, testData) = dataset.randomSplit([0.8, 0.2], seed=100)

• Chia dữ liệu học và dữ liệu kiểm tra

• Chạy chương trình học

• Tạo dữ liệu ngẫu nhiên cho dữ liệu học và kiểm tra

• Chạy chương trình dự đoán

Label và Feature của câu lệnh bên dưới có nghĩa là gì? LogisticRegression(labelCol="label", featuresCol="features", maxIter=10)

• Dữ liệu đầu vào được gán là feature và dự đoán được gán vào label

• Dữ liệu đầu vào được gán là label và kết quả của dữ liệu đầu vào đó được gán vào feature

• Dữ liệu đầu vào được gán là feature và kết quả của dữ liệu đầu vào đó được gán vào label

• Dữ liệu đầu vào được gán là label và kết quả dự đoán được gán vào feature