Big data 4

Đâu là kỹ thuật có thể được dùng để thích nghi các giải thuật học máy cho dữ liệu lớn?

• Sub-sampling, principal component analysis, feature extraction và feature selection

• Song song hóa trên Mapreduce hay Spark

• Các kiến trúc mới xử lý luồng liên tục như mini-batch, complex event processing

• Tất cả các ý (1), (2), (3)

• Các ý (2) và (3)

Các mục tiêu chính của Apache Hadoop?

• Lưu trữ dữ liệu khả mở

• Xử lý dữ liệu lớn mạnh mẽ

• Trực quan hoá dữ liệu hiệu quả

• Lưu trữ dữ liệu khả mở và Xử lý dữ liệu lớn mạnh mẽ

• Lưu trữ dữ liệu khả mở, xử lý dữ liệu lớn mạnh mẽ và trực quan hoá dữ liệu hiệu quả

Phát biểu nào sau đây không đúng về Apache Hadoop?

• Xử lý dữ liệu phân tán với mô hình lập trình đơn giản, thân thiện hơn như MapReduce.

• Hadoop thiết kế để mở rộng thông qua kỹ thuật scale-out, tăng số lượng máy chủ

• Thiết kế để vận hành trên phần cứng phổ thông, có khả năng chống chịu lỗi phần cứng

• Thiết kế để vận hành trên siêu máy tính, cấu hình mạnh, độ tin cậy cao

Thành phần nào không thuộc thành phần lõi của Hadoop?

• Hệ thống tệp tin phân tán HDFS

• Mapreduce framework

• YARN: yet another resource negotiator

• Apache Zookeeper

• Apache Hbase

Hadoop giải quyết bài toán khả mở bằng cách nào? Chọn đáp án sai.

• Thiết kế hướng phân tán ngay từ đầu, mặc định triển khai trên cụm máy chủ

• Các node tham gia vào cụm Hadoop được gán vai trò hoặc là node tính hoán hoặc là node lưu trữ dữ liệu

• Các node tham gia vào cụm đóng cả 2 vai trò tính toán và lưu trữ

• Các node thêm vào cụm cần có cấu hình, độ tin cậy cao

Hadoop giải quyết bài toán chịu lỗi thông qua kỹ thuật gì. Chọn đáp án sai.

• Hadoop chịu lỗi thông qua kỹ thuật dư thừa

• Các tệp tin được phân mảnh, các mảnh được nhân bản ra các node khác trên cụm

• Các tệp tin được phân mảnh, các mảnh được lưu trữ tin cậy trên ổ cứng theo cơ chế RAID

• Các công việc cần tính toán được phân mảnh thành các tác vụ độc lập.

Công cụ nào có thể sử dụng để hỗ trợ import, export dữ liệu vào ra hệ sinh thái Hadoop?

• Oozie (lên lịch và quản lý)

• Flume (thu thập dữ liệu)

• Sqoop (trung gian tương tác với SQL)

• Hive (truy vấn)

Vai trò của YARN?

• Quản lý và phân phối tài nguyên trong cụm Hadoop

• Cung cấp giao diện người dùng mức cao, biến đổi truy vấn thành các job Mapreduce

• Cung cấp các chức năng phối hợp phân tán độ tin cậy cao như quản lý thành viên, bầu cử, giám sát trạng thái hệ thống

Giữa Pig và Hive, công cụ nào có giao diện truy vấn gần với ANSI SQL hơn?

• Pig

• Hive

• Pig và Hive đều không có giao diện truy vấn gần với SQL.

Siêu dữ liệu (metadata) trong hệ thống quản lý tệp tin là gì?

• Là các tệp tin kích thước lớn hơn nhiều kích thước tệp tin phổ biến (từ vài GB tới TB).

• Là dữ liệu mô tả về tệp tin bao gồm thời gian khởi tạo, thông tin phân quyền người dùng

• Ánh xạ từ tệp tin tới vị trí lưu trữ vật lý của tệp tin.