Các thách thức thường gặp khi xử lý dữ liệu lớn?

Tốc dộ xử lý thời gian thực

Bảo mật dữ liệu và quyền riêng tư

Các thách thức thường gặp khi xử lý dữ liệu lớn?

Chia sẻ dữ liệu công khai

Chia sẻ dữ liệu bí mật

Hiệu chỉnh giá dịch vụ kinh doanh dữ liệu phù hợp với thị trường

Các thách thức thường gặp khi xử lý dữ liệu lớn?

Đo đếm kích thước dữ liệu trong thời gian thực

Phân chia dữ liệu thành các chủng loại dữ liệu phù hợp với tập quán văn hóa của các quốc gia

Tổng hợp dữ liệu từ mọi máy tính trên thế giới

Thách thức cơ bản trong khai thác/ứng dụng dữ liệu lớn là gì?

Sự đa dạng thông tin: Trên thực tế thì sự tồn tại của một dữ liệu đồng nhất và có cấu trúc tốt với cùng kích thước và cấu trúc là rất cần thiết. Chính vì vậy, việc làm sạch và xử lý các lỗi từ các nguồn dữ liệu không đầy đủ hay các dữ liệu gây nhiễu là tối quan trọng và không thể thiếu.

Sự đa dạng ngôn ngữ: dữ liệu được biểu diễn trên nhiều ngôn ngữ khác nhau gây nhầm lẫn cho chương trình tính toán

Sự đa dạng người dùng: Có quá nhiều người dùng trong hệ thống khiến cho máy tính khó phân cấp quản lý chính xác

Thách thức cơ bản trong khai thác/ứng dụng dữ liệu lớn là gì?

Quy mô: Thực tế cho thấy rằng khối lượng dữ liệu đang gia tăng khá lớn và gần như đã vượt qua khả năng sức mạnh xử lý và lưu trữ của máy tính

Quy mô chia sẻ: Thực tế cho thấy rằng khối lượng dữ liệu đang gia tăng khá lớn và gần như đã vượt qua khả năng sức mạnh chia sẻ giữa các máy tính

Quy mô chi phí: Thực tế cho thấy rằng khối lượng dữ liệu đang gia tăng khá lớn và gần như đã vượt qua khả năng chi trả trong việc đầu tư mua sắm thiết bị mới

Thách thức cơ bản trong khai thác/ứng dụng dữ liệu lớn là gì?

Yếu tố thời gian: Các kết quả phân tích thì cần phải được đưa ra một cách tức thì nghĩa là trong thời gian thực nên cần phải có sự phát triển các quy trình xử lý dựa vào sự gia tăng của các cấu trúc dữ liệu nhằm đạt được mục đích cuối cùng đó là đáp ứng yêu cầu truy cập thông tin một cách tức thì của người sử dụng.

Yếu tố thời điểm: Các kết quả phân tích thì cần phải được đưa ra đúng thời điểm nghĩa là trong thời gian chỉ định nên cần phải có sự phát triển thuật toán đảm bảo các thời điểm kết luận được đưa ra không sai khác quá 1s.

Yếu tố không gian: Các kết quả phân tích thì cần phải được đưa ra một cách phù hợp trong không gian bài toán nên cần phải có sự phát triển các quy trình xử lý dựa vào sự gia tăng của các cấu trúc dữ liệu nhằm đạt được mục đích cuối cùng đó là đáp ứng yêu cầu truy cập thông tin một cách phù hợp với phát biểu bài toán của người sử dụng.

Đâu là sản phẩm/giải pháp CNTT có sử dụng dữ liệu lớn?

Google đã sử dụng dữ liệu Big Data của mình để phân tích và dự đoán xu hướng ảnh hưởng, lan truyền của dịch cúm H1N1. Dịch vụ có tên Google Flu Trends.

Các ứng dụng Big Data giúp các tổ chức, chính phủ dự đoán được tỉ lệ thất nghiệp, xu hướng nghề nghiệp của tương lai để đầu tư cho những hạng mục đó, hoặc cắt giảm chi tiêu, kích thích tăng trưởng kinh tế, v/v...

Zalo và các dịch vụ tiện ích đi kèm

Đâu là công nghệ lưu trữ dữ liệu phổ biến?

NAS (Network Attached Storage): lưu trữ dữ liệu vào thiết bị lưu trữ thông qua mạng IP

NAS (Network Attached Stack): lưu trữ dữ liệu vào thiết bị lưu trữ sử dụng các kết cấu stack

NAS (Network Attached Sample): lưu trữ dữ liệu vào thiết bị lưu trữ thông qua việc thu thập mẫu thử

Đâu là công nghệ lưu trữ dữ liệu phổ biến?

SAN (Storage Area Network): lưu trữ dữ liệu qua mạng lưu trữ chuyên dụng riêng.

SAN (Storage Area Nextgen) lưu trữ dữ liệu qua các ổ cứng lưu trữ thế hệ mới Nextgen

SAN (Single Area Network): lưu trữ dữ liệu qua mạng lưu trữ dùng chung và duy nhất

Đâu là công nghệ lưu trữ dữ liệu phổ biến?

DAS (Direct Attached Storage): lưu trữ dữ liệu qua các thiết bị gắn trực tiếp

DAS (Dual Attached Storage): lưu trữ dữ liệu qua các thiết bị gắn song song

DAS (Direct Attached Stream): lưu trữ dữ liệu qua các thiết bị streaming đính kèm

Đâu là phát biểu đúng về giải pháp lưu trữ DAS (Direct attached storage)

Khả năng dễ lắp đặt, chi phí thấp, hiệu năng cao.

Khả năng mở rộng hạn chế.

Bảo vệ một hệ thống kho lưu trữ dữ liệu nằm phân tán khá khó khăn

Đâu là phát biểu đúng về giải pháp lưu trữ NAS (Network Attached Storage)

NAS có thể được truy cập trực tiếp không cần có sự quản lý của máy chủ.

Khả năng mở rộng: khi người dùng cần thêm dung lượng lưu trữ, các thiết bị lưu trữ NAS mới có thể được bổ sung và lắp đặt vào mạng.

Với việc sử dụng chung hạ tầng mạng với các ứng dụng khác, việc lưu trữ dữ liệu có thể ảnh hưởng đến hiệu năng của toàn hệ thống (làm chậm tốc độ của LAN)

Đâu là phát biểu đúng về giải pháp lưu trữ NAS (Network Attached Storage)

SAN (Storage Area Network) là một mạng riêng tốc độ cao dùng cho việc truyền dữ liệu giữa các máy chủ tham gia vào hệ thống lưu trữ cũng như giữa các thiết bị lưu trữ với nhau. SAN cho phép thực hiện quản lý tập trung và cung cấp khả năng chia sẻ dữ liệu và tài nguyên lưu trữ.

Có khả năng sao lưu dữ liệu với dung lượng lớn và thường xuyên mà không làm ảnh hưởng đến lưu lượng thông tin trên mạng.

SAN đặc biệt thích hợp với các ứng dụng cần tốc độ và độ trễ nhỏ ví dụ như các ứng dụng xử lý giao dịch trong ngành ngân hàng, tài chính.

Đâu là phương pháp xử lý dữ liệu trong lĩnh vực dữ liệu lớn?

Xử lý dữ liệu theo phân vùng

Xử lý dữ liệu theo tập hợp

Đâu là phát biểu đúng về giải pháp Xử lý theo lô

Có thể thay đổi thời điểm xử lý công việc để khi tài nguyên máy tính ít bận rộn

Tránh cho các tài nguyên máy tính chạy không với sự can thiệp và giám sát thủ công từng phút từng phút.

Cho phép hệ thống sử dụng những ưu tiên khác nhau cho công việc tương tác và không tương tác.

Đâu là phương pháp xử lý dữ liệu trong lĩnh vực dữ liệu lớn?

Xử lý dữ liệu theo thời gian thực

Xử lý dữ liệu theo thời gian hạn chế

Xử lý dữ liệu không hạn chế thời gian

Đâu là phát biểu đúng về giải pháp Xử lý theo thời gian thực

Hệ thống thông tin thời gian thực khác với những hệ thống thông tin khác bởi sự gò bó về thời gian

Hệ thống không chỉ đơn giản là đưa ra kết quả chính xác mà nó còn phải thực hiện một xử lý trong một thời gian rất ngắn.

Sự phát triển của hệ thống thông tin thời gian thực yêu cầu mỗi phần tử của hệ thống phải ở thời gian thực

Đâu là phương pháp khai thác/phân tích dữ liệu trong lĩnh vực dữ liệu lớn?

Các phương pháp khai phá dữ liệu

Các phương pháp đào dữ liệu gốc

Các phương pháp xuất cảnh dữ liệu

Đâu là phát biểu đúng về phương pháp phân tích dữ liệu?

Phân tích định lượng là các nghiên cứu trong đó dữ liệu cần thu thập ở dạng số lượng. Các dữ liệu định lượng là các dữ liệu cho phép chúng ta đo lường chúng bằng số lượng. Dữ liệu định lượng là dữ liệu trả lời cho các câu hỏi: bao nhiêu? khi nào? v/v.

Phân tích định lượng là các nghiên cứu trong đó dữ liệu cần thu thập ở dạng số lượng. Các dữ liệu định lượng là các dữ liệu không cho phép chúng ta đo lường chúng bằng số lượng. Dữ liệu định lượng là dữ liệu trả lời cho các câu hỏi: bao nhiêu? khi nào? v/v.

Phân tích định lượng là các nghiên cứu trong đó dữ liệu cần thu thập ở dạng số lượng. Các dữ liệu định lượng là các dữ liệu cho phép chúng ta đo lường chúng bằng số lượng. Dữ liệu định lượng là dữ liệu trả lời cho các câu hỏi: thế nào? cái gì? tại sao?...

Đâu là phát biểu đúng về phương pháp phân tích dữ liệu?

Khai phá dữ liệu là quá trình tính toán để tìm ra các mẫu trong các bộ dữ liệu lớn liên quan đến các phương pháp tại giao điểm của máy học, thống kê và các hệ thống cơ sở dữ liệu.

Khai phá dữ liệu là quá trình tính toán để tìm ra các đại diện đặc biệt quan trọng trong các bộ dữ liệu lớn liên quan đến các phương pháp tại giao điểm của phân tích thiết kế và các hệ thống cơ sở dữ liệu.

Khai phá dữ liệu là quá trình tính toán không nhằm tìm ra các mẫu trong các bộ dữ liệu lớn mà là liên quan đến các phương pháp tại giao điểm của máy học, thống kê và các hệ thống cơ sở dữ liệu.

Đâu là các phương pháp khai thác dữ liệu phổ biến trong lĩnh vực khai phá dữ liệu

Tổng hợp (Summarization): Phương pháp truyền thống ứng dụng tìm kiếm, tổng hợp tập hợp hoặc các nhóm dữ liệu thỏa mãn điều kiện nào đó.

Mô hình ràng buộc (Dependency modeling): Tìm kiếm một mô hình miêu tả các mối phụ thuộc chặt chẽ giữa các giá trị của một thuộc tính của một tập dữ liệu hoặc một tập con của nó.

Dò tìm biến đổi và độ lệch (Change and Deviation Dectection): Khám phá các thay đổi quan trọng trong dữ liệu từ đó có thể đưa ra các quyết định thích hợp.

Đâu là các phương pháp khai thác dữ liệu phổ biến trong lĩnh vực khai phá dữ liệu

Phân loại (Classification): Là phương pháp dự báo, cho phép phân loại một đối tượng vào một hoặc một số lớp cho trước.

Hồi qui (Regression): Là phương pháp theo hướng dự đoán, nó ánh xạ các phần tử dữ liệu sang thành các giá trị số thực ứng với các mức đánh giá biết trước

Phân nhóm (Clustering): Kỹ thuật phổ biến nhằm xác định các tập hữu hạn tương đối độc lập hoặc một nhóm các dữ liệu có cùng tính chất, hành vi

Đâu là phát biểu đúng về phương pháp phân tích dữ liệu?

Phân tích định tính là các nghiên cứu trong đó dữ liệu cần thu thập ở dạng định tính (không thể đo lường bằng số lượng). Dữ liệu định tính là các dữ liệu trả lời cho các câu hỏi: thế nào? cái gì? tại sao?...

Phân tích định tính là các nghiên cứu trong đó dữ liệu cần thu thập ở dạng định tính (có thể đo lường bằng số lượng). Dữ liệu định tính là các dữ liệu trả lời cho các câu hỏi: bao nhiêu? so sánh trước sau? vì sao?...

Phân tích định tính là các nghiên cứu trong đó dữ liệu cần thu thập ở dạng định tính (không thể đo lường bằng đầu mụ. Dữ liệu định tính là các dữ liệu không để trả lời cho các câu hỏi: thế nào? cái gì? tại sao?...

Việc trực quan hóa thông tin đem lại lợi ích gì?

Trực quan hóa dữ liệu là sự trình bày dữ liệu theo định dạng hình ảnh hoặc đồ họa để truyền đạt thông tin rõ ràng và hiệu quả cho người dùng.

Trực quan hóa dữ liệu là yếu tố giao tiếp bằng hình ảnh của phân tích dữ liệu, giúp chuyển đổi dữ liệu thành thông tin và thông tin thành thông tin hữu ích.

Khi được hiển thị trực quan dưới dạng hình ảnh, sự bất thường có thể dễ dàng nhận ra

Nguyên tắc của việc trực quan hóa thông tin?

Xác định mục tiêu, kỳ vọng. Trực quan hóa dữ liệu cần cung cấp một thông điệp rõ ràng và có ý nghĩa cho đối tượng sử dụng. Mục tiêu, ngữ cảnh và đối tượng sử dụng kết quả theo đó cần được xác định rõ ràng trước khi trực quan hóa dữ liệu.

Chuẩn bị. Các dữ liệu cơ bản cần được làm sạch, chuyển đổi và chuẩn bị cho công việc phân tích. Dữ liệu cần thiết phải được xác định dựa trên mục tiêu, bối cảnh và đối tượng sử dụng để quá trình phân tích và trực quan dữ liệu có thể đưa ra thông điệp đầy đủ và toàn diện.

Tối giản. Trực quan hóa dữ liệu phải được hiển thị đơn giản đến mức các đối tượng không chuyên có thể hiểu được thông điệp truyền đạt. Việc sử dụng tốt hình ảnh trực quan (biểu đồ, màu sắc...) sẽ loại bỏ sự thiếu tập trung, giúp làm rõ thông điệp của hình ảnh trực quan, giúp người đọc dễ dàng lĩnh hội các số liệu, thống kê phức tạp.

Nguyên tắc của việc trực quan hóa thông tin?

Sử dụng tiêu đề và bình luận. Tiêu đề và bình luận nên được sử dụng đúng lúc đúng chỗ để giúp người đọc nhanh chóng xác định thông điệp chính của hình ảnh. Ngoài ra, tránh sử dụng các thuật ngữ chuyên ngành hoặc từ viết tắt khi giao tiếp với đối tượng sử dụng đại chúng.

Không sử dụng hình ảnh kém trung thực. Việc trực quan hóa dữ liệu cần cung cấp thông điệp và sự kiện chuẩn xác. Thực hiện trực quan hóa dữ liệu phải dựa trên quy chuẩn đo lường phổ biến, bao gồm dữ liệu đầy đủ để tránh các hình ảnh không trung thực gây ra cách hiểu sai lệch về dữ liệu.

Chọn đúng công cụ. Có nhiều yếu tố cần xem xét khi lựa chọn một công cụ, từ công nghệ phù hợp, tốc độ triển khai, đến chi phí sở hữu, tính tích hợp, khả năng mở rộng,...

Xử lý dữ liệu thời gian thực có thể đem lại lợi ích gì?

Hệ thống thông tin thời gian thực ngày nay được ứng dụng trong rất nhiều lĩnh vực như: trong ngành công nghiệp sản xuất, kiểm soát tiến trình (trong nhà máy, hay trong viện hạt nhân, trong hệ thống hàng không, thông qua các hệ thống dẫn đường tích hợp trên máy bay và vệ tinh).

Hệ thống thông tin thời gian thực ngày nay không được ứng dụng trong rất nhiều lĩnh vực như: trong ngành công nghiệp sản xuất, kiểm soát tiến trình (trong nhà máy, hay trong viện hạt nhân, trong hệ thống hàng không, thông qua các hệ thống dẫn đường tích hợp trên máy bay và vệ tinh).

Hệ thống thông tin thời gian thực không có nhiều tác dụng thực tiễn trong lĩnh vực tính toán, xử lý dữ liệu

Lợi ích thu được khi áp dụng kỹ thuật xử lý phân tán trong phân tích dữ liệu lớn?

Hỗ trợ nhau cung cấp thông tin cho bên xử lý dữ liệu trên cơ sở tích hợp từ nhiều nguồn dữ liệu, nhiều môi trường khác nhau.

Phân tải được khối lượng xử lý, tránh phụ thuộc vào một đơn nguyên xử lý nhất định

Tăng hiệu quả của của hệ thống dựa trên sự đóng góp tài nguyên xử lý, lưu trữ từ nhiều đơn nguyên

Phương pháp học máy là gì?

Là một lĩnh vực của trí tuệ nhân tạo liên quan đến việc nghiên cứu và xây dựng các kĩ thuật cho phép các hệ thống "học" tự động từ dữ liệu để giải quyết những vấn đề cụ thể.

Là một lĩnh vực của trí tuệ nhân tạo liên quan đến việc nghiên cứu và xây dựng các kĩ thuật cho phép các hệ thống "học" tự động từ các cơ sở dữ liệu phân tán để giải quyết những vấn đề cụ thể.

Là một lĩnh vực của trí tuệ nhân tạo liên quan đến việc nghiên cứu và xây dựng các kĩ thuật cho phép các hệ thống "học" tự động từ dữ liệu để giải quyết những bài toán đệ quy phức tạp.

Phát biểu nào sau đây đúng về phương pháp học máy là gì?

Học máy có liên quan lớn đến thống kê, vì cả hai lĩnh vực đều nghiên cứu việc phân tích dữ liệu, nhưng khác với thống kê, học máy tập trung vào sự phức tạp của các giải thuật trong việc thực thi tính toán.

Học máy có hiện nay được áp dụng rộng rãi bao gồm máy truy tìm dữ liệu, chẩn đoán y khoa, phát hiện thẻ tín dụng giả, phân tích thị trường chứng khoán, phân loại các chuỗi DNA, nhận dạng tiếng nói và chữ viết, dịch tự động, chơi trò chơi và cử động rô-bốt (robot locomotion).

Học máy: dự đoán một số thông tin của dữ liệu dựa trên những đặc tính đã biết.

Hệ cơ sở dữ liệu NoSQL là gì?

Thuật ngữ NoSQL được giới thiệu lần đầu vào năm 1998 sử dụng làm tên gọi chung cho các lightweight open source relational database (cơ sở dữ liệu quan hệ nguồn mở nhỏ) nhưng không sử dụng SQL cho truy vấn.

NoSQL xuất phát từ yêu cầu cần những database có khả năng lưu trữ dữ liệu với lượng cực lớn, truy vấn dữ liệu với tốc độ cao mà không đòi hỏi quá nhiều về năng lực phần cứng cũng như tài nguyên hệ thống và tăng khả năng chịu lỗi.

NoSQL không cố gắng cung cấp các bảo đảm tính nguyên tố, nhất quán, tách biệt và bền vững, trái với ưu thế thực tế trong các hệ thống cơ sở dữ liệu kiểu quan hệ.

Hệ cơ sở dữ liệu NoSQL có đặc điểm gì?

High Scalability: Gần như không có một giới hạn cho dữ liệu và người dùng trên hệ thống.

High Availability: Do chấp nhận sự trùng lặp trong lưu trữ nên nếu một node (commodity machine) nào đó bị chết cũng không ảnh hưởng tới toàn bộ hệ thống.

Durability: dữ liệu có thể tồn tại trong bộ nhớ máy tính nhưng đồng thời cũng được lưu trữ lại đĩa cứng.

Hệ cơ sở dữ liệu NoSQL có đặc điểm gì?

Deployment Flexibility: việc bổ sung thêm/loại bỏ các node, hệ thống sẽ tự động nhận biết để lưu trữ mà không cần phải can thiệp bằng tay. Hệ thống cũng không đòi hỏi cấu hình phần cứng mạnh, đồng nhất.

Modeling flexibility: Key-Value pairs, Hierarchical data (dữ liệu cấu trúc), Graphs.

Query Flexibility: Multi-Gets, Range queries (load một tập giá trị dựa vào một dãy các khóa).

Đâu là các thành phần cơ bản của kiến trúc Apache Hadoop

HDFS: hệ thống tập tin phân tán HDFS (viết tắt từ Hadoop Distributed File System) giúp cho việc lưu trữ dữ liệu lớn được thuận lợi hơn

HDFS: hệ thống tập tin phân tán HDFS (viết tắt từ Hadoop Distributed File Sharing) giúp cho việc chia sẻ dữ liệu lớn được thuận lợi hơn

HDFS: hệ thống tập tin phân tán HDFS (viết tắt từ Hadoop Distributed File Summary) giúp cho việc tổng hợp dữ liệu lớn được thuận lợi hơn

Đâu là các thành phần cơ bản của kiến trúc Apache Hadoop

Hive và Hue: Hive chuyển đổi lệnh SQL thành một tác vụ MapReduce. Hue cung cấp một giao diện đồ họa dựa trên trình duyệt để làm công việc Hive yêu cầu.

Hadoop Streaming: Một tiện ích để tạo nên mã MapReduce bằng bất kỳ ngôn ngữ nào: C, Perl, Python, C++, Bash,...

MapReduce: Đây là mô hình lập trình cho Hadoop. Được chia làm giai đoạn là Map và Reduce. Thực tế là một quá trình shuffle-sort (một quá trình mà hệ thống thực hiện sắp xếp và chuyển các kết quả đầu ra của bộ ánh xạ tới các đầu vào của các bộ rút gọn) giữa hai giai đoạn Map và Reduce.

Phương pháp lưu trữ dữ liệu phân tán trên Hadoop thường được sử dụng là gì?

Hadoop mang đến cho chúng ta hệ thống tập tin phân tán HDFS (viết tắt từ Hadoop Distributed File System) với nỗ lực tạo ra một nền tảng lưu trữ dữ liệu đáp ứng cho một khối lượng dữ liệu lớn và chi phí rẻ.

Hadoop mang đến cho chúng ta hệ thống tập tin chia sẻ HDFS (viết tắt từ Hadoop Distributed File Sharing) với nỗ lực tạo ra một nền tảng lưu trữ dữ liệu đáp ứng cho một khối lượng dữ liệu lớn và chi phí rẻ.

Hadoop mang đến cho chúng ta hệ thống tập tin tổng hợp HDFS (viết tắt từ Hadoop Distributed File Summary) với nỗ lực tạo ra một nền tảng lưu trữ dữ liệu đáp ứng cho một khối lượng dữ liệu lớn và chi phí rẻ.

Ưu điểm của các hệ csdl NoSQL

Giảm thiểu quản lý (Less management)

Big Data

Quiz

•

Information Technology (IT)

•

University

•

Practice Problem

•

Easy

long deptrai

Used 2+ times

FREE Resource

Student preview

Nâng cao trải nghiệm của người dùng thông qua việc thăm dò ý kiến khách hàng

Cả ba ý còn lại đều sai

Access all questions and much more by creating a free account

Create resources

Host any resource

Get auto-graded reports

Continue with Google

Continue with Email

Continue with Classlink

Continue with Clever

or continue with

Microsoft

Apple

Others

Already have an account?

Popular Resources on Wayground

8 questions

2 Step Word Problems

Quiz

•

KG - University

20 questions

Comparing Fractions

Quiz

•

4th Grade

15 questions

Fractions on a Number Line

Quiz

•

3rd Grade

20 questions

Equivalent Fractions

Quiz

•

3rd Grade

25 questions

Multiplication Facts

Quiz

•

5th Grade

10 questions

Latin Bases claus(clois,clos, clud, clus) and ped

Quiz

•

6th - 8th Grade

$fractions$

22 questions

fractions

Quiz

•

3rd Grade

7 questions

The Story of Books

Quiz

•

6th - 8th Grade

Discover more resources for Information Technology (IT)

8 questions

2 Step Word Problems

Quiz

•

KG - University

7 questions

Comparing Fractions

Interactive video

•

1st Grade - University

7 questions

Force and Motion

Interactive video

•

4th Grade - University

10 questions

14.2 Independent/Dependent Variables

Quiz

•

KG - University

18 questions

Great Lakes States

Quiz

•

KG - University

7 questions

DNA, Chromosomes, Genes, and Traits: An Intro to Heredity

Interactive video

•

11th Grade - University

7 questions

Reflexive Verbs in Spanish

Lesson

•

9th Grade - University

7 questions

Narrative Writing 1

Interactive video

•

4th Grade - University