Lưu trữ dữ liệu khả mở

Xử lý dữ liệu lớn mạnh mẽ

Trực quan hoá dữ liệu hiệu quả

Lưu trữ dữ liệu khả mở và Xử lý dữ liệu lớn mạnh mẽ

Lưu trữ dữ liệu khả mở, xử lý dữ liệu lớn mạnh mẽ và trực quan hoá dữ liệu hiệu quả

Xử lý dữ liệu phân tán với mô hình lập trình đơn giản, thân thiện hơn như MapReduce.

Hadoop thiết kế để mở rộng thông qua kỹ thuật scale-out, tăng số lượng máy chủ

Thiết kế để vận hành trên phần cứng phổ thông, có khả năng chống chịu lỗi phần cứng

Thiết kế để vận hành trên siêu máy tính, cấu hình mạnh, độ tin cậy cao

Hệ thống tệp tin phân tán HDFS

Mapreduce framework

YARN: yet another resource negotiator

Apache Zookeeper

Apache Hbase

Thiết kế hướng phân tán ngay từ đầu, mặc định triển khai trên cụm máy chủ

Các node tham gia vào cụm Hadoop được gán vai trò hoặc là node tính hoán hoặc là node lưu trữ dữ liệu

Các node tham gia vào cụm đóng cả 2 vai trò tính toán và lưu trữ

Các node thêm vào cụm cần có cấu hình, độ tin cậy cao

Hadoop chịu lỗi thông qua kỹ thuật dư thừa

Các tệp tin được phân mảnh, các mảnh được nhân bản ra các node khác trên cụm

Các tệp tin được phân mảnh, các mảnh được lưu trữ tin cậy trên ổ cứng theo cơ chế RAID

Các công việc cần tính toán được phân mảnh thành các tác vụ độc lập.

Oozie (lên lịch và quản lý)

Flume (thu thập dữ liệu)

Sqoop (trung gian tương tác với SQL)

Hive (truy vấn)

Quản lý và phân phối tài nguyên trong cụm Hadoop

Cung cấp giao diện người dùng mức cao, biến đổi truy vấn thành các job Mapreduce

Cung cấp các chức năng phối hợp phân tán độ tin cậy cao như quản lý thành viên, bầu cử, giám sát trạng thái hệ thống

Pig

Hive

Pig và Hive đều không có giao diện truy vấn gần với SQL.

Là các tệp tin kích thước lớn hơn nhiều kích thước tệp tin phổ biến (từ vài GB tới TB).

Là dữ liệu mô tả về tệp tin bao gồm thời gian khởi tạo, thông tin phân quyền người dùng

Ánh xạ từ tệp tin tới vị trí lưu trữ vật lý của tệp tin.

Đơn giản hoá việc chia sẻ dữ liệu.

Tập trung hoá việc quản trị.

Cho phép người dùng có cái nhìn hợp nhất (như nhau) về toàn bộ dữ liệu trong hệ thống

Đơn giản hoá việc chia sẻ dữ liệu.

Tính khả mở cao.

Máy khách có thể kết nối tới NAS bằng đường truyền Ethernet thông thường (Chuẩn kết nối TCP/IP).

Quản trị dễ dàng hơn so với NAS.

Hiệu năng, băng thông tốt hơn với NAS.

Máy khách có thể kết nối tới SAN bằng đường truyền Ethernet thông thường (Chuẩn kết nối TCP/IP)

Cập nhật tới tệp tin có thể được nhìn thấy ngay lập tức bởi các tiến trình khác mà mở tệp tin đó cùng thời điểm với tiến trình ghi.

Tệp tin là chỉ đọc, không cho phép cập nhật và ghi đè. Mọi tiến trình đều có thể đọc tệp tin đồng thời

Cập nhật tới tệp tin chỉ có thể...

Cập nhật tới tệp tin có thể được nhìn thấy ngay lập tức bởi các tiến trình khác mà mở tệp tin đó cùng thời điểm với tiến trình ghi.

Tệp tin là chỉ đọc, không cho phép cập nhật và ghi đè. Mọi tiến trình đều có thể đọc tệp tin đồng thời.

Cập nhật tới tệp tin chỉ có thể thấy được bởi các tiến trình khác sau khi tiến trình ghi thực hiện thao tác đóng tệp.

Tối ưu cho các tệp tin có kích thước lớn

Hỗ trợ thao tác đọc ghi tương tranh tại chunk (phân mảnh) trên tệp tin

Hỗ trợ nén dữ liệu để tiết kiệm chi phí

Hỗ trợ cơ chế phân quyền và kiểm soát người dùng của UNIX

Client truy vấn Namenode để biết được vị trí các chunks. Namenode trả về vị trí các chunks. Client kết nối song song tới các datanode để đọc các chunk

Client thông báo tới namenode để bắt đầu quá trình đọc sau đó client truy vấn các datanode để trực tiếp đọc các chunks

Client truy vấn Namenode để đưa thông tin về thao tác đọc. Namenode kết nối song song tới các datanode để lấy dữ liệu, sau đó trả về cho client.

Client truy vấn Namenode để biết được vi trí các chunks. Nếu Namenode không biết về vị trí các chunk thì namenode sẽ hỏi các datanode. Sau đó Namenode gửi lại thông tin vị trí các chunk cho client. Client kết nối song song tới các datanode để đock các chunk.

Client kết nối tới Namenode chỉ định muốn ghi vào chunk nào. Namenode trả về vị trí các chunk cho client. Client ghi đồng thời vào các datanode.

Client kết nối tới Namenode chỉ định khối lượng dữ liệu cần ghi. Namenode trả về vị trí các chunk cho client. Client ghi chunk tới datanode đầu tiên, sau đó các datanode tự động thực thi nhân bản. Quá trình ghi kết thúc thi tất cả các chunk và các nhân bản đã được ghi thành công.

Client kết nối tới Namenode chỉ định khối lượng dữ liệu cần ghi. Namenode trả về vị trí các chunk cho client. Client ghi đồng thời các chunk vào datanode. Với mỗi chunk, các datanode thực thi nhân bản tự động sau khi thao tác ghi thành công.

Sử dụng Zookeeper để quản lý các thành viên datanode trong cụm.

Sử dụng cơ chế heartbeat, định kỳ các datanode thông báo về trạng thái cho Namenode.

Sử dụng cơ chế heartbeat, Namenode định kỳ hỏi các datanode về trạng thái tồn tại của các datanode.

Các chunk là các tệp tin trong hệ thống tệp tin cục bộ của máy chủ datanode.

Các chunk là các vùng dữ liệu liên tục trên ổ cứng của máy chủ datanode.

Các chunk được lưu trữ tin cậy trên datanode theo cơ chế RAID.

Namenode quyết định vị trí các nhân bản của các chunk trên datanode.

Datanode là primary quyết định vị trí các nhân bản của các chunk tại các secondary datanode.

Client quyết định vị trí lưu trữ các nhân bản với từng chunk.

Sử dụng thêm secondary namenode theo cơ chế active-active. Cả Namenode và Secondary namenode cùng online trong hệ thống

Sử dụng Secondary namenode theo cơ chế active-passive. Secondary namenode chỉ hoạt động khi có vấn đề với Namenode.

Microsoft SQL server

MongoDB

Cassandra

Không phải các đáp án đã đưa ra

Các văn bản có thể chứa nhiều cặp key-value hoặc key-array, hoặc các văn bản lồng (nested documents).

MongoDB có các trình điều khiển driver cho nhiều ngôn ngữ lập trình khác nhau.

MongoDB hay các NoSQL có khả năng khả mở tốt hơn các CSDL quan hệ truyền thống.

Tất cả các phương án đã đưa ra.

MySQL

JSON

Key-value store

OLAP

Cassandra

Riak (key-value)

MongoDB (document-based)

Redis (key-value)

NoSQL yêu cầu lược đồ CSDL phải được định nghĩa trước khi thêm dữ liệu

NoSQL cho phép thêm vào dữ liệu mà không cần định nghĩa trước lược đồ dữ liệu

NoSQL được đưa ra nhằm bổ sung các giải pháp mà CSDL truyền thống không đáp ứng tốt

Phân mảnh và phân tán dữ liệu ra nhiều máy chủ

Nhân bản (Replication)

Giao diện truy vấn đơn giản hơn so với CSDL quan hệ truyền thống

Key-value

Document store

Graph store

Columnar store

Không hỗ trợ các truy vấn SQL

Không thể được sử dụng kết hợp với các CSDL quan hệ

Rất phù hợp cho các tập dữ liệu phân tán quy mô lớn

Đáp ứng khả năng xử lý giao dịch với tính nhất quán chặt

Phù hợp với dữ liệu lớn

Khả năng mở rộng linh hoạt

Tính sẵn sàng cao

Khi cần đáp ứng về tính toàn vẹn của dữ liệu (data integrity)

Khi cần đáp ứng cao về vấn đề bảo mật dữ liệu

Khi cần lưu trữ hiệu quả dữ liệu lớn

Khi lược đồ dữ liệu không quá phức tạp

Mở rộng theo chiều ngang, tinh chỉnh được tính sẵn sàng của hệ thống

Không thể sử dụng SQL để truy vấn dữ liệu NoSQL

Mở rộng theo chiều dọc, thiết kế đơn giản, khó tinh chỉnh tính sẵn sàng của hệ thống

Mở rộng theo chiều dọc, thiết kế phức tạp, tinh chỉnh được tính sẵn sàng của hệ thống

Facebook

Google

Linkedin

Twitter

Hbase

Flume

Pig

HDFS

Hbase có lệ thuộc vào các dịch vụ cung cấp bởi Zookeeper

Hbase có hệ thuộc vào các dịch vụ cung cấp bởi HDFS

Hbase không hỗ trợ versioning

Hbase hỗ trợ truy vấn dạng SQL

Put

Get

Scan

Multiput

Join

Dữ liệu có cấu trúc

Dữ liệu phi cấu trúc

Dữ liệu bán cấu trúc

Tất cả các phương án được đưa ra.

Insert sẽ nhanh hơn so với row key là dữ liệu khác

Insert sẽ chậm hơn so với row key là dữ liệu khác

Tùy trường hợp

Rowkey, column family, column qualifier, timestamp

Timestamp, column qualifier, column family, row key

Row key, column family, column qualifier

Hfile chứa một tập hợp các dòng bản ghi trong Hbase table

Nhiều Hfile có thể được gộp lại thành 1 Hfile lớn theo những khoảng thời gian nhất định

Một version của 1 dòng hay 1 bản ghi trong Hbase table có thể được phân rã trên nhiều Hfile khác nhau

Nhiều Hfile có thể được gộp lại thành 1 Hfile lớn khi cần thiết

Mỗi node vật lý có thể được ánh xạ thành nhiều node ảo, nằm liên tiếp nhau trong vòng tròn không gian khoá.

Số lượng các node ảo đối với mỗi node vật lý là khác nhau tùy vào từng node vật lý.

Số lượng các node ảo bắt buộc cần phải căn cứ vào khả năng lưu trữ của node vật lý.

Node ảo đóng vai trò quan trọng trong bài toán cân bằng tải và hiệu năng khi một node vật lý ra hoặc kết nối vào cụm.

DynamoDB là zero-hop DHT

DynamoDB là one-hop DHT

DynamoDB là multiple-hop DHT

Với N là tổng số nhân bản, R là số nhân bản cần đọc trong 1 thao tác đọc. W là số nhân bản cần ghi trong 1 thao tác ghi. N = R + W

Với N là tổng số nhân bản, R là số nhân bản cần đọc trong 1 thao tác đọc. W là số nhân bản cần ghi trong 1 thao tác ghi. N > R + W

Với N là tổng số nhân bản, R là số nhân bản cần đọc trong 1 thao tác đọc. W là số nhân bản cần ghi trong 1 thao tác ghi. N < R + W

Dynamo có cơ chế cho phép 1 node đứng ra thực hiện thao tác ghi cho 1 node đang bị rớt khỏi mạng tạm thời và trả lại bản ghi này khi node đó quay lại hệ thống.

Dynamo node sử dụng merkle tree để nhanh chóng kiểm tra sự không nhất quán của các nhân bản dữ liệu

Dynamo có cơ chế versioning sử dụng vector clock

Trong trường hợp có xung đột giữa các phiên bản dữ liệu, sự xung đột được giải quyết tại thao tác ghi.

A. Presto là một engine truy vấn SQL hiệu năng cao, phân tán cho dữ liệu lớn

B. Presto cho phép tích hợp với các công cụ Business Intelligence

C. Presto được quản lý bở Apache Software foundation

D. Presto được quản lý bở Presto Software foundation

A. Presto có thể truy vấn nhiều data storages khác nhau như HDFS, Cassandra

B. Presto không truy vấn được dữ liệu trong MySQL, MS SQL và các CSDL quan hệ truyền thống

C. Presto thường nhanh hơn Hive hay Pig

A. Lược đồ thực thi phân tán (distributed query plan) gồm nhiều màn (stages)

B. Stage là phần công việc có thể được thực thi song song bởi nhiều workers

C. 1 tác vụ (task) là một đơn vị công việc được gán cho một worker ứng với 1 stage

D. 1 tác vụ gồm nhiều pipelines, mỗi pipelines là 1 chuỗi các thao tác

E. 1 tác vụ xử lý một split dữ liệu

A. Một task có thể được lập lịch chạy trên bất kỳ worker nào

B. Stage có thể được lập lịch all-at-once

C. Stage có thể được lập lịch theo giai đoạn

D. Split được gán cho task theo cơ chế lazy

A. Các stage được thực thi theo cơ chế pipeline, không có thời gian chờ giữa các stage như Map Reduce

B. Presto có cơ chế chịu lỗi khi thực thi truy vấn

C. Presto cho phép xử lý kết tập dữ liệu mà kích thước lớn hơn kích thước bộ nhớ trong

Kafka quản lý các luồng thông điệp (messages) thành các nhóm gọi là các Topics.

Tiến trình quảng bá message lên cụm Kafka gọi là publishers.

Tiến trình đăng ký theo dõi các topics gọi là consumers.

Các máy chủ chạy Kafka gọi là các brokers.

Các topic gồm nhiều partition

Partition được nhân bản ra nhiều brokers.

Kafka bảo đảm thứ tự của các message với mỗi topics.

Message sau khi được tiêu thụ (consume) thì không bị xoá

Mỗi partition có 1 leader và nhiều followers.

Tất cả các thao tác ghi, đọc được xử lý bởi leader, follower làm theo leader.

Nếu leader bị lỗi, 1 follower sẽ thay thế trở thành leader mới

Đúng

Sai

Các message trên Kafka được lưu lại theo thời gian (time-based)

Các message trên Kafka được lưu lại theo kích thước partition (size-based)

Các message trên Kafka được lưu lại trước khi thực hiện compaction

Message sau khi được tiêu thụ bởi tất cả các consumer thì bị xoá.

Kafka producer quyết định message sẽ được gửi đến partition nào trong topic.

Thứ tự của message trong mỗi partition do key của message quyết định.

Kafka producer có thể gửi message đến nhiều broker khác nhau.

Nhiều consumer có thể cùng đọc 1 topic.

1 message chỉ có thể được đọc bởi 1 consumer trong 1 consumer group.

1 message có thể được đọc bởi nhiều consumer khác nhau.

Số lượng consumer phải ít hơn hoặc bằng số lượng partitions.

Xử lý luồng dữ liệu lớn

Xử lý dữ liệu lớn trong thời gian tương tác

Xử lý chuỗi các công việc

Xử lý dữ liệu lớn theo lô (Bulk processing)

Hỗ trợ tốt cho xử lý chuỗi các biến đổi

Có thể khai phá dữ liệu trong thời gian tương tác

Khai thác bộ nhớ trong thay vì sử dụng hệ thống lưu trữ ngoài như HDFS

Có khả năng chịu lỗi

Chịu lỗi qua cơ chế huyết thống

Chịu lỗi qua cơ chế nhân bản

Chịu lỗi qua cơ chế lưu lại lịch sử nhiều phiên bản

Được chia thành các phân mảnh (partition)

Người lập trình có thể quyết định số các phân mảnh của mỗi RDD

Người sử dụng không thể quyết định số các phân mảnh của mỗi RDD

Có khả năng chịu lỗi

Được thiết kế để tối ưu cho các biến đổi thô, theo lô

Được thiết kế hỗ trợ các cập nhật đơn lẻ tới mức từng bản ghi

Có khả năng tự động tái tạo lại khi bị lỗi qua cơ chế nhân bản

Thực hiện các biến đổi (transformation)

Thực hiện các hành động (action)

Yêu cầu Spark lưu RDD ở bộ nhớ đệm

Thực hiện các biến đổi mà xoá các bản ghi trong RDD

Thực hiện các biến đổi mà cập nhật các bản ghi trong RDD

Thực hiện theo cơ chế lười biếng, khi nào một hành động (action) cần tới phép biến đổi trước đó phải thực hiện thì mới phải thực hiện

Mỗi phép biến đổi trên RDD được thực thi bởi một hay nhiều Spark worker

Các biến đổi (transformation) luôn tạo ra RDD mới có cùng số partition với RDD đầu vào

Spark Streaming rời rạc hóa luồng dữ liệu đầu vào thành DStream là chuỗi liên tục của các RDD nhỏ

Spark streaming xử lý liên tục từng bản ghi ngay khi nhận được từ luồng dữ liệu đầu vào

Có thể nhận đầu vào là các luồng dữ liệu từ Kafka

Có thể nhận đầu vào là các tệp tin trên HDFS

Không thể thực hiện các truy vấn SQL

Vẫn xử lý luồng dữ liệu như là chuỗi các lô RDD nhỏ

Về mặt logic, coi luồng như một bảng dữ liệu liên tục tăng thêm các bản ghi

Định kỳ, truy vấn trên luồng chỉ trả ra kết quả của việc thực hiện truy vấn cho trên các bản ghi mới xuất hiện

Kết hợp xử lý dữ liệu theo lô và theo luồng

Giúp giải quyết vấn đề độ trễ từ khi dữ liệu được thập tới kết quả phân tích của mô hình xử lý theo lô

Giúp giải quyết vấn đề nhược điểm của xử lý theo luồng là kết quả phân tích không khai thác được toàn bộ dữ liệu trong lịch sử.

Có kiến trúc gồm 2 tầng: tầng xử lý theo lô và tầng xử lý theo luồn

Bao gồm các tiến trình ETL (extract, transform, load) đưa dữ liệu vào hồ dữ liệu (data lake)