WorksheetsBig data 2
Total questions: 156
Worksheet time: 1hrs 19mins
AVRO là gì?
Avro là một thư viện tuần tự hóa java.
Avro là một thư viện nén java.
Avro là một thư viện java tạo các tệp bảng chia nhỏ.
Không câu trả lời nào đúng.
Bản chất của phần cứng cho NameNode phải là
Cao cấp hơn loại hàng hóa
Loại hàng hóa
Không thành vấn đề
Chỉ cần có nhiều Ram hơn mỗi DataNode
Bản chất DStream:
là một chuỗi liên tục RDD
Là một chuỗi liên tục DataFrame
Là một chuỗi liên tục DataSet
ko có đáp án đúng
Bạn có thể chạy Map - Reduce jobs trực tiếp trên dữ liệu Avro không?
Có, Avro được thiết kế đặc biệt để xử lý dữ liệu qua Map-Reduce.
Có, nhưng cần có mã hóa mở rộng bổ sung.
Không, Avro được thiết kế đặc biệt chỉ để lưu trữ dữ liệu.
Avro chỉ định siêu dữ liệu cho phép truy cập dữ liệu dễ dàng hơn. Dữ liệu này không thể được sử dụng như một phần của quá trình thực thi thu nhỏ bản đồ, thay vì chỉ đặc tả đầu vào.
Bạn có thể dự trữ lượng sử dụng đĩa trong một DataNode bằng cách định cấu hình dfs.datanode.du.reserved trong tệp nào sau đây
Hdfs-site.xml
Hdfs-defaukt.xml
Core-site.xml
Mapred-site.xml
Bộ nhớ đệm phân tán là gì?
Bộ đệm phân tán là thành phần đặc biệt trên NameNode sẽ lưu vào bộ đệm dữ liệu được sử dụng thường xuyên để phản hồi máy khách nhanh hơn. Nó được sử dụng trong bước giảm.
Bộ nhớ đệm phân tán là thành phần đặc biệt trên DataNode sẽ lưu vào bộ đệm dữ liệu được sử dụng thường xuyên để phản hồi máy khách nhanh hơn. Nó được sử dụng trong bước bản đồ.
Bộ đệm phân tán là một thành phần lưu trữ các đối tượng java.
Bộ nhớ đệm phân tán là một thành phần cho phép các nhà phát triển triển khai các chum để xử lý Map-Reduce.
Các đặc trưng của HDFS. Chọn đáp án SAI
Tối ưu cho các tệp tin có kích thước lớn
Hỗ trợ thao tác đọc ghi tương tranh tại chunk (phân mảnh) trên tệp tin
Hỗ trợ nén dữ liệu để tiết kiệm chi phí
hỗ trợ cơ chế phân quyền và kiểm soát người dùng của UNIX
Các khối dữ liệu ánh xạ thông tin với các tệp tương ứng của chúng được lưu trữ trong
DataNode
Job Tracker
Task Tracker
NameNode
Các mục tiêu chính của Apache Hadoop
lưu trữ dữ liệu khả mở
xử lý dữ liệu lớn mạnh mẽ
trực quan hóa dữ liệu hiệu quả
lưu trữ dữ liệu khả mở và xử lý dữ liệu lớn mạnh mẽ
lưu trữ dữ liệu khả mở, xử lý dữ liệu lớn mạnh mẽ và trực quan hóa dữ liệu hiệu quả
Các tệp HDFS được thiết kế cho
Nhiều người viết và sửa đổi ở các hiệu số tùy ý.
Chỉ nối vào cuối tệp
Chỉ ghi thành tệp một lần.
Truy cập dữ liệu có độ trễ thấp.
Các ứng dụng người dùng có thể hướng dẫn NameNode để lưu vào bộ đệm các tệp bằng cách
thêm tên tệp bộ đệm vào nhóm bộ đệm
thêm cấu hình bộ đệm vào nhóm bộ đệm
thêm chỉ thị bộ nhớ cache vào nhóm bộ nhớ cache
chuyển tên tệp làm tham số cho nhóm bộ nhớ cache
Cái nào là một trong những tính năng dữ liệu lớn?
Vận tốc Velocity
Tính xác thực Veracity
khối lượng Volume
đa dạng Variety
Cái nào sau đây lưu trữ dữ liệu?
Name node
Data node
Master node
None of these
Cái nào trong số này cung cấp hệ thống xử lý Luồng được sử dụng trong hệ sinh thái Hadoop?
Solr
Tez
Spark
Hive
Câu lệnh MapReduce trong Spark dưới đây, chia mỗi dòng thành từ dựa vào delimiter nào?
input.flatMap( lambda x: x.split(“\t”) ).map(lambda x: (x, 1)).reduceByKey(add)
Tab
Dấu cách
Dấu hai chấm
Dấu phẩy
Chạy Start-dfs.sh kết quả là
Bắt đầu NameNode và DataNode
Chỉ NameNode bắt đầu
Chỉ bắt đầu datanode
Khởi động NameNode và trình quản lý tài nguyên
Chế độ cài đặt phân phối hoàn toàn (không ảo hóa) cần tối thiểu (The fully distributed mode of installation(without virtualization) needs a minimum of)
2 Máy vật lý
3 Máy vật lý
4 Máy vật lý
1 Máy vật lý
Chế độ nào sau đây không phải là chế độ hoạt động của Hadoop?
Pseudo distributed mode
Globally distributed mode
Stand alone mode
Fully-Distributed mode
Chọn phát biểu đúng khi nói về MongoDB
MongoDB có các trình điều khiển driver cho nhiều ngôn ngữ lập trình khác nhau.
các văn bản có thể chứa nhiều cặp key-value hoặc key-array, hoặc các văn bản lồng (nested documents)
tất cả các phương án trên
MongoDB hay các NoSQL có khả năng khả mở tốt hơn các CSDL quan hệ truyền thống
Công cụ Hadoop được sử dụng để phân tán dữ liệu một cách đồng nhất trên các DataNode được đặt tên là:
Scheduler
Balancer
Spreader
Reporter
Công nghệ nào được sử dụng để lưu trữ dữ liệu trong Hadoop?
HBase
Avro
Sqoop
Zookeeper
Công nghệ nào được sử dụng để nhập và xuất dữ liệu trong Hadoop?
HBase
Avro
Sqoop
Zookeeper
Công nghệ nào được sử dụng để tuần tự hóa dữ liệu trong Hadoop?
HBase
Avro
Sqoop
Zookeeper
Công nghệ nào sau đây là cơ sở dữ liệu lưu trữ tài liệu?
HBase
Hive
Cassandra
CouchDB
Công ty nào đã phát triển Apache Cassandra giai đoạn đầu tiên?
Cơ chế chịu lỗi của datanode trong HDFS?
dử dụng ZooKeeper để quản lý các thành viên datanode trong cụm
sử dụng cơ chế heartbeat, định kỳ các datanode thông báo về trạng thái cho Namenode
sử dụng cơ chế heartbeat, Namenode định kỳ hỏi các datanode về trạng thái tồn tại của datanode
Cơ chế nào sau đây không phải là cơ chế hàng rào cho NameNode đã hoạt động trước đó?
Tắt cổng mạng của nó thơng qua lệnh quản lý từ xa.
Thu hồi quyền truy cập của nó vào thư mục lưu trữ được chia sẻ.
Định dạng ổ đĩa của nó.
STONITH
Cơ chế nhân bản dữ liệu trong HDFS
Namenode quyết định vị trí các nhân bản của các chunk trên các datanode
Datanode là primary quyết định vị trí các nhân bản của cac chunk tại các secondary datanode
Client quyết định vị trí lưu trữ các nhân bản với từng chunk
Cơ chế tổ chức dữ liệu của Datanode trong HDFS
Các chunk là các tệp tin trong hệ thống tệp tin cục bộ của máy chủ datanode
Các chunk là các vùng dữ liệu liên tục trên ổ cứng của máy chủ data node
Các chunk được lưu trữ tin cậy trên datanode theo cơ chế RAID
DataNode và NameNode là tương ứng
Nút chính và nút công nhân
Nút công nhân và nút chính
Cả hai đều là các nút công nhân
Không có
Dấu phẩy được sử dụng để sao chép một dạng thư mục từ node này sang node khác trong HDFS là
rcp
dcp
drcp
distcp
Dữ liệu từ một cụm hadoop từ xa có thể
khơng được đọc bởi một cụm hadoop khác
được đọc bằng http
được đọc bằng hhtp
được đọc suing hftp
Đáp án nào không phải là một “output operation ” khi thao tác với DStream
saveAsTextFile
foreachRDD
saveasHadoopFile
reduceByKetAndWindow
Đáp án nào không phải là một “Transformation” khi thao tác với DStream
reduceByWindow
window
foreachWindow
countByWindow
Đâu không phải là tính năng mà NoSQL nào cũng đáp ứng
tính sẵn sàng cao
khả năng mở rộng linh hoạt
phù hợp với dữ liệu lớn
Đâu là cách submit đúng 1 job lên Spark cluster hoặc chế độ local
./spark-submit wordcount.py README.md
./spark-submit README.md wordcount.py
spark-submit README.md wordcount.py
phương án a và c
Đâu là lệnh lưu trữ dữ liệu ra ngoài chương trình Spark:
input.saveAsTextFile(‘file:///usr/momoinu/mon_loz/hihi.txt’)
input.saveAsTextFile(‘/usr/momoinu/mon_loz/hihi.txt’)
input.saveAs (‘file:///usr/momoinu/mon_loz/hihi.txt’)
input.saveAsTextFile: ‘file:///usr/momoinu/mon_loz/hihi.txt’
Đâu là một dạng của NoSQL
MySQL
JSON
Key-value store
OLAP.
Đầu ra của một map task là
Cặp khóa-giá trị của tất cả các bản ghi của tập dữ liệu.
Cặp khóa-giá trị của tất cả các bản ghi từ phần tách đầu vào được trình ánh xạ xử lý
Chỉ các phím được sắp xếp từ phần tách đầu vào
Số hàng được xử lý bởi tác vụ ánh xạ.
Để hủy lưu trữ một tệp đã được lưu trữ trong haddop, hãy sử dụng lệnh
Unrar
Unhar
Cp
Cphar
Điều gì là đúng về HDFS?
Hệ thống tệp HDFS có thể được gắn trên Hệ thống tệp của máy khách cục bộ bằng NFS.
Hệ thống tệp HDFS không bao giờ có thể được gắn vào Hệ thống tệp của máy khách cục bộ.
Bạn có thể chỉnh sửa bản ghi hiện có trong tệp HDFS đã được gắn kết bằng NFS.
Bạn không thể thêm vào tệp HDFS được gắn bằng NFS.
Điều nào sau đây đúng với ổ đĩa trong một khoảng thời gian?
Thời gian tìm kiếm dữ liệu đang cải thiện nhanh hơn tốc độ truyền dữ liệu.
Thời gian tìm kiếm dữ liệu đang cải thiện chậm hơn tốc độ truyền dữ liệu.
Thời gian tìm kiếm dữ liệu và tốc độ truyền dữ liệu đều đang tăng tương ứng.
Chỉ tăng dung lượng lưu trữ mà khơng tăng tốc độ truyền dữ liệu.
Điều nào sau đây không đúng đối với Hadoop?
Đây là một khung phân tán.
Thuật toán chính được sử dụng trong đó là Map Reduce
Nó chạy với đồ cứng hàng hóa
Tất cả đều đúng
Điều nào sau đây không phải là mục tiêu của HDFS?
Phát hiện lỗi và khôi phục
Xử lý tập dữ liệu khổng lồ
Ngăn chặn việc xóa dữ liệu
Cung cấp băng thơng mạng cao để di chuyển dữ liệu
Điều sau không được phép trên các tệp HDFS
Xóa
Đổi tên
Di chuyển
Đang thực hiện.
Định dạng đầu vào mặc định là gì?
Định dạng đầu vào mặc định là xml. Nhà phát triển có thể chỉ định các định dạng đầu vào khác nếu thích hợp nếu xml khơng phải là đầu vào chính xác.
Không có định dạng nhập mặc định. Định dạng đầu vào luôn phải được chỉ định.
Định dạng đầu vào mặc định là định dạng tệp tuần tự. Dữ liệu cần được xử lý trước trước khi sử dụng định dạng đầu vào mặc định.
Định dạng đầu vào mặc định là TextInputFormat với phần bù byte làm khóa và tồn bộ dịng dưới dạng giá trị.
Đối với các tệp HDFS được truy cập thường xuyên, các khối được lưu vào bộ nhớ đệm
bộ nhớ của DataNode
trong bộ nhớ của NameNode
Cả A&B
Trong bộ nhớ của ứng dụng khách đã yêu cầu quyền truy cập vào các tệp này.
Đối với thư mục HDFS, hệ số sao chép (RF) là
giống như RF của các tệp trong thư mục đó
0
3
Không áp dụng.
Giao diện org.apache.hadoop.io.Wording khai báo hai phương thức nào? (Chọn 2 câu trả lời.)
public void readFields(DataInput).
public void read(DataInput).
public void writeFields(DataOutput).
public void write(DataOutput).
Giao tiếp giữa các quá trình giữa các nút khác nhau trong Hadoop sử dụng (The inter process communication between different nodes in Hadoop uses)
REST API
RPC
RMI
IP Exchange
Giữa Pig và Hive, công cụ nào có giao diện truy vấn gắn với ANSI SQL hơn
Pig
không phải 2 đáp án trên
Hive
Hadoop được viết bằng
C ++
Python
Java
Go
hadoop fs –expunge
Cung cấp danh sách các DataNode
Được sử dụng để xóa một tệp
Được sử dụng để trao đổi một tệp giữa hai DataNode.
Dọn sạch thùng rác.
Hadoop giải quyết bài toán chịu lỗi thông qua kỹ thuật gì? Chọn đáp án SAI
Kỹ thuật dư thừa
Các tệp tin được phân mảnh, các mảnh được nhân bản ra các node khác trên cụm
Các tệp tin được phân mảnh, các mảnh được lưu trữ tin cậy trên ổ cứng theo cơ chế RAID
các công việc cần tính toán được phân mảnh thành các tác vụ độc lập
Hadoop giải quyết bài toán khả mở bằng cách nào? Chọn đáp án sai
Thiết kế phân tán ngay từ đầu, mặc định triển khai trên cụm máy chủ
Các node tham gia vào cụm Hadoop được gán vai trò hoặc là node tính toán hoặc là node lưu trữ dữ liệu
Các node tham gia vào cụm đóng cả 2 vai trò tính toán và lưu trữ
Các node thêm vào cụm có thể có cấu hình, độ tin cậy cao
Hadoop khác với máy tính tình nguyện ở chỗ
Tình nguyện viên đóng góp thời gian CPU chứ không phải băng thơng mạng.
Tình nguyện viên đóng góp băng thơng mạng chứ không phải thời gian CPU.
Hadoop không thể tìm kiếm các số nguyên tố lớn.
Chỉ Hadoop mới có thể sử dụng mapreduce.
Hadoop sử dụng những cơ chế nào để làm cho namenode có khả năng chống lại sự cố.
Sao lưu siêu dữ liệu hệ thống tệp vào đĩa cục bộ và gắn kết NFS từ xa.
Lưu trữ siêu dữ liệu hệ thống tệp trên đám mây.
Sử dụng máy có ít nhất 12 CPU
Sử dụng phần cứng đắt tiền và đáng tin cậy.
Hadoop xử lý khối lượng lớn dữ liệu như thế nào?
Hadoop sử dụng song song rất nhiều máy. Điều này tối ưu hóa việc xử lý dữ liệu.
Hadoop được thiết kế đặc biệt để xử lý lượng lớn dữ liệu bằng cách tận dụng phần cứng MPP.
Hadoop gửi mã đến dữ liệu thay vì gửi dữ liệu đến mã.
Hadoop sử dụng các kỹ thuật bộ nhớ đệm phức tạp trên NameNode để tăng tốc độ xử lý dữ liệu.
HBASE là gì?
Hbase là bộ Java API riêng biệt cho cụm Hadoop.
Hbase là một phần của dự án Apache Hadoop cung cấp giao diện để quét một lượng lớn dữ liệu bằng cơ sở hạ tầng Hadoop.
Hbase là một "cơ sở dữ liệu" giống như giao diện với dữ liệu cụm Hadoop.
HBase là một phần của dự án Apache Hadoop cung cấp giao diện giống SQL để xử lý dữ liệu.
HDFS có thể được truy cập qua HTTP bằng cách sử dụng
lược đồ URI viewfs
lược đồ URI webhdfs
Lược đồ URI C - wasb
HDFS ftp
HDFS giải quyết bài toán single-point-of-failure cho Namenode bằng cách nào
sử dụng thêm secondary namenode theo cơ chế active-active. Cả Namenode và Secondary Namenode cùng online trong hệ thống
Sử dụng Secondary namenode theo cơ chế active-passive. Secondary namenode chỉ hoạt động khi có vấn đề với namenode
(mất hình)
HDFS là viết tắt của
Hệ thống tệp phân tán cao. (Highly distributed file system.)
Hệ thống tệp được hướng dẫn Hadoop (Hadoop directed file system)
Vỏ tệp phân tán cao (Highly distributed file shell)
Hệ thống tệp phân tán Hadoop. (Hadoop distributed file system.)
Hệ số sao chép của tệp trong HDFS có thể được thay đổi bằng cách sử dụng
changerep
rerep
setrep
xrep
Hệ thống apache nào dưới đây giải quyết việc nhập dữ liệu phát trực tuyến vào hadoop
Ozie
Kafka
Flume
Hive
Hệ thống nào cho phép đọc ghi dữ liệu tại vị trí ngẫu nhiên, thời gian thực tới hàng terabyte dữ liệu
Hbase
Flume
Pig
HDFS
Job tracker runs on
Namenode
Datanode
Secondary namenode
Secondary datanode
Khái niệm sử dụng nhiều máy để xử lý dữ liệu được lưu trữ trong hệ thống phân tán khơng phải là mới. Máy tính hiệu suất cao (HPC) sử dụng nhiều máy tính để xử lý khối lượng lớn dữ liệu được lưu trữ trong mạng vùng lưu trữ (SAN). So với HPC, Hadoop
Có thể xử lý khối lượng dữ liệu lớn hơn.
Có thể chạy trên một số lượng máy lớn hơn HPC cluster.
Có thể xử lý dữ liệu nhanh hơn với cùng băng thông mạng so với HPC.
Không thể chạy các cơng việc tính tốn chun sâu.
Khi bạn tăng số lượng tệp được lưu trữ trong HDFS, Bộ nhớ được yêu cầu bởi NameNode
Tăng
Giảm
Vẫn khơng thay đổi
Có thể tăng hoặc giảm
Khi chạy trên chế độ pseudo distributed, hệ số sao chép được đặt thành
2
1
0
3
Khi ghi dữ liệu vào HDFS, điều gì là đúng nếu hệ số nhân bản là ba? (Chọn 2 câu trả lời)
Dữ liệu được ghi vào DataNodes trên ba giá đỡ riêng biệt (nếu Rack Aware).
Dữ liệu được lưu trữ trên mỗi DataNode bằng một tệp riêng biệt chứa checksum.
Dữ liệu được ghi vào các khối trên ba DataNodes khác nhau.
Khách hàng được trả lại thành công khi ghi thành công khối đầu tiên và kiểm tra tổng kiểm tra.
Khi khách hàng giao tiếp với hệ thống tệp HDFS, nó cần giao tiếp với
chỉ NameNode
chỉ DataNode
cả NameNode và DataNode
Không có
Khi lưu trữ tệp Hadoop, phát biểu nào sau đây là đúng? (Chọn hai câu trả lời)
Các tệp đã lưu trữ sẽ hiển thị với phần mở rộng .arc.
Nhiều tệp nhỏ sẽ trở thành ít tệp lớn hơn.
MapReduce xử lý tên tệp gốc ngay cả sau khi tệp được lưu trữ.
Các tệp đã lưu trữ phải được lưu trữ tại Liên hợp quốc cho HDFS và MapReduce để truy cập vào các tệp nhỏ, gốc.
Lưu trữ dành cho các tệp cần được lưu nhưng HDFS không còn truy cập được nữa.
Khi một jobTracker lên lịch, một công việc sẽ được tìm kiếm đầu tiên
Một nút có vị trí trống trong cùng giá đỡ với DataNode
Bất kỳ nút nào trên cùng giá đỡ với DataNode
Bất kỳ nút nào trên rack liền kề với rack của datanode
Chỉ bất kỳ nút nào trong cụm
Khi một máy được khai báo là datanode, dung lượng ổ đĩa trong đó
Chỉ có thể được sử dụng cho lưu trữ HDFS
Có thể được sử dụng cho cả lưu trữ HDFS và không phải HDFs
Không thể truy cập bằng các lệnh không phải hadoop
không thể lưu trữ các tệp văn bản.
Khi một node dự phòng được sử dụng trong một cụm thì không cần
Node kiểm tra (Check point node)
Node tên phụ (Secondary name node)
DataNode phụ (Secondary data node)
Nhận thức về giá đỡ (Rack awareness)
Khi một tệp trong HDFS bị người dùng xóa (When a file in HDFS is deleted by a user)
nó đã mất vĩnh viễn
Nó sẽ đi vào thùng rác nếu được định cấu hình.
Nó bị ẩn khỏi người dùng nhưng vẫn ở trong hệ thống tệp
File sin HDFS không thể bị xóa
Khi một ứng dụng khách liên hệ với NameNode để truy cập tệp, NameNode phản hồi với
Kích thước của tệp được yêu cầu.
ID khối của tệp được yêu cầu.
ID khối và tên máy chủ của bất kỳ DataNode nào chứa khối đó.
Block ID và tên máy chủ của tất cả các DataNode chứa khối đó.
Khi NameNode nhận thấy rằng một số khối được sao chép qúa mức, nó
Dừng công việc sao chép trong toàn bộ hệ thống tệp hdfs.
Nó làm chậm qúa trình nhân bản cho các khối đó
Nó xóa các khối thừa.
Nó để lại cá
Khi sử dụng HDFS, điều gì xảy ra khi tệp bị xóa bởi dòng lệnh?
Nó sẽ bị xóa vĩnh viễn nếu thùng rác được bật.
Nó được đặt vào một thư mục thùng rác chung cho tất cả người dùng cho cụm đó.
Nó bị xóa vĩnh viễn và các thuộc tính tệp được ghi lại trong tệp nhật ký.
Nó được chuyển vào thư mục thùng rác của người dùng đã xóa nó nếu thùng rác được bật.
Kịch bản nào yêu cầu băng thông cao nhất để truyền dữ liệu giữa các nút trong Hadoop?
Các nút khác nhau trên cùng một giá đỡ
Các nút trên các giá đỡ khác nhau trong cùng một trung tâm dữ liệu.
Các nút trong các trung tâm dữ liệu khác nhau
Dữ liệu trên cùng một nút.
Kích thước khối HDFS lớn hơn so với kích thước của các khối đĩa để
Chỉ các tệp HDFS có thể được lưu trữ trong đĩa được sử dụng.
Thời gian tìm kiếm là tối đa
Không thể chuyển một tệp lớn được tạo từ nhiều khối đĩa.
Một tệp duy nhất lớn hơn kích thước đĩa có thể được lưu trữ trên nhiều đĩa trong cụm.
label và feature của câu lệnh bên dưới có nghĩa là gì LogisticRegression(labelCol = “label” , featuresCol = “features”, maxIter = 10)
dữ liệu đầu vào được gán là feature và dự đoán được gán vào label
dữ liệu đầu vào được gán là label và kết quả của dữ liệu đầu vào đó được gán vào feature
dữ liệu đầu vào được gán là feature và kết quả của dữ liệu đầu vào được gán vào label
dữ liệu đầu vào được gán là lebl và kết quả dự đoán được gán vào feature
Là một phần của tính khả dụng cao HDFS, một cặp NameNode chính được cấu hình. Điều gì là đúng với họ?
Khi một yêu cầu của khách hàng đến, một trong số họ được chọn ngẫu nhiên sẽ phục vụ yêu cầu đó.
Một trong số chúng đang hoạt động trong khi cái còn lại vẫn tắt.
Các DataNode chỉ gửi báo cáo khối đến một trong các NameNode.
Nút chờ nhận các điểm kiểm tra định kỳ của không gian tên của NameNode đang hoạt động.
Lệnh để kiểm tra xem Hadoop có hoạt động hay không là:
Jsp
Jps
Hadoop fs –test
Không có
Lệnh hadfs được sử dụng để
Sao chép tệp từ hệ thống tệp cục bộ sang HDFS.
Sao chép tệp hoặc thư mục từ hệ thống tệp cục bộ sang HDFS.
Sao chép các tệp từ HDFS sang hệ thống tệp cục bộ.
Sao chép tệp hoặc thư mục từ HDFS sang hệ thống tệp cục bộ.
Lệnh "hadoop fs -test -z URI" cho kết quả 0 nếu
nếu đường dẫn là một thư mục
nếu đường dẫn là một tệp
nếu đường dẫn khơng trống
nếu tệp có độ dài bằng 0
Lệnh hdfs để tạo bản sao của tệp từ hệ thống cục bộ là
CopyFromLocal
copyfromlocal
CopyLocal
copyFromLocal
Lệnh nào liệt kê các khối tạo nên mỗi tệp trong hệ thống tệp.
hdfs fsck / -files -blocks
hdfs fsck / -blocks -files
hdfs fchk / -blocks -files
hdfs fchk / -files –block
Loại dữ liệu mà Hadoop có thể xử lý là (The type of data Hadoop can deal with is)
Structred (Có cấu trúc)
Semi-structured (Bán cấu trúc)
Unstructured (Khơng có cấu trúc)
All of the above (Tất cả những điều trên)
Máy khách đọc dữ liệu từ hệ thống tệp HDFS trong Hadoop
lấy dữ liệu từ NameNode
lấy vị trí khối từ datanode
chỉ lấy các vị trí khối tạo thành NameNode
lấy cả dữ liệu và vị trí khối từ NameNode
Mô tả cach thức một client đọc dữ liệu trên HDFS
client thông báo tới namenode để bắt đầu quá trình đọc sau đó client chạy truy vấn các datanode để trực tiếp đọc các chunks
client truy vấn Namenodê để biết được vị trí các chunks. Nếu namenode không biết thì namenode sẽ hỏi các datanode., Sau đó namenode gửi lại thông tin vị trí các chunk cho client. client kết nối song song tới các Datanode để đọc các chunk
client truy vấn namenode để đưa thông tin về thao tác đọc, Namenode kết nối song song tới các datanode để lấy dữ liệu, sau đó trả về cho client
client truy vấn namenode để biết được vị trí các chunks. Namenode trả về vị trí các chunks. Client kết nối song song tới các datanode để đọc các chunks
Một công việc đang chạy trong lon hadoop
Bị giết bằng lệnh
Không bao giờ có thể bị giết bằng một lệnh
Chỉ có thể bị giết bằng cách tắt NameNode
Được tạm dừng và chạy lại
Mục đích của lệnh sau đây là gì: (trainingData, testData) = dataset.randomSplit([0.8, 0.2], seed=100)
chia dữ liệu học và dữ liệu kiểm tra
chạy chương trình học
tạo dữ liệu ngẫu nhiên cho dữ liệu học
Mục đích của nút checkpoint trong cụm Hadoop là (The purpose of checkpoint node in a Hadoop cluster is to)
A. Kiểm tra xem NameNode có hoạt động khơng
B. Kiểm tra xem tệp hình ảnh có đồng bộ giữa NodeName và NameNode phụ hay khơng
C. Hợp nhất hình ảnh và chỉnh sửa nhật ký và tải nó trở lại NameNode đang hoạt động.
D. Kiểm tra xem các DataNode nào không thể truy cập được.
Mục đích của sử dụng sparkML là gì
a, chạy MapReduce
b, chạy các thuật toán dự đoán
c, tính toán phân toán
d, cả b và c
Mục đích của việc khởi động NameNode trong chế độ khôi phục là để
A. Khôi phục NameNode không thành công
B. Khôi phục một DataNode bị lỗi
C. Khôi phục dữ liệu từ một trong những vị trí lưu trữ siêu dữ liệu
D. Khơi phục dữ liệu khi chỉ có một vị trí lưu trữ siêu dữ liệu
Mục tiêu chính của HDFS Tính sẵn sàng cao là
A - Tạo bản sao của NameNode chính nhanh hơn.
B - Để giảm thời gian chu kỳ cần thiết để khôi phục lại NameNode chính mới sau khi nút chính hiện có bị lỗi.
C - Ngăn chặn việc mất dữ liệu do lỗi của NameNode chính.
D - Ngăn chặn biểu mẫu tên chính trở thành điểm lỗi duy nhất.
NameNode biết rằng DataNode đang hoạt động bằng cách sử dụng một cơ chế được gọi là
heartbeats
datapulse
h-signal
Active-pulse
NameNode mất bản sao duy nhất của tệp fsimage. Chúng ta có thể khơi phục điều này từ
Datanode
Secondary namenode
Checkpoint node
Never
Nếu chúng ta tăng kích thước tệp được lưu trữ trong HDFS mà không tăng số tệp, thì bộ nhớ được yêu cầu bởi NameNode
Tăng
Giảm
Vẫn không thay đổi
Có thể tăng hoặc giảm
Nếu địa chỉ IP hoặc tên máy chủ của DataNode thay đổi
NameNode cập nhật ánh xạ giữa tên tệp và tên khối
NameNode không cần cập nhật ánh xạ giữa tên tệp và tên khối
Dữ liệu trong DataNode đó sẽ bị mất vĩnh viễn
Có NameNode phải được khởi động lại
Nguồn của kiến trúc HDFS trong Hadoop có nguồn gốc là (The source of HDFS architecture in Hadoop originated as)
Hệ thống tệp phân phối của Google
Hệ thống tệp phân tán của Yahoo
Hệ thống tệp phân tán của Facebook
Hệ thống tệp phân tán Azure
Người giữ vườn thú (zookeeper)
Phát hiện lỗi của NameNode và chọn NameNode mới.
Phát hiện lỗi của các DataNode và chọn một DataNode mới.
Ngăn phần cứng quá nóng bằng cách tắt chúng.
Duy trì danh sách tất cả các thành phần địa chỉ IP của cụm Hadoop.
Nhận thức về giá trong NameNode có nghĩa là (Rack awareness in name node means)
Nó biết có bao nhiêu giá đỡ có sẵn trong cụm
Nó nhận thức được ánh xạ giữa nút và giá đỡ
Nó nhận biết được số lượng nút trong mỗi rack
Nó biết những DataNode nào khơng có sẵn trong cụm.
Nhiệm vụ nào sau đây là trong số các nhiệm vụ của các Datanode trong HDFS?
Duy trì cây hệ thống tệp và siêu dữ liệu cho tất cả các tệp và thư mục.
Kiểm soát việc thực hiện một tác vụ bản đồ riêng lẻ hoặc một tác vụ thu gọn.
Lưu trữ và truy xuất các khối khi được khách hàng hoặc NameNode yêu cầu.
Không có phương án nào đúng.
Quản lý không gian tên hệ thống tệp.
Nút nào sau đây quản lý các nút khác?
Name node
Data node
slave node
None of these
Phát biểu nào đúng về Presto
các stage được thực thi theo cơ chế pipeline, không có thời gian chờ giữa các stage như Map Reduce
Presto cho phép xử lý kết tập dữ liệu mà kích thước lớn hơn kích thước bộ nhớ trong
Presto có cơ chế chịu lỗi khi thực thi truy vấn
Phát biểu nào đúng về Quorum trong Amazon DynamoDB a, b, c,
với N là tổng số nhân bản, R là số nhân bản cần đọc trong 1 thao tác đọc. W là số nhân bản cần ghi trong 1 thao tác ghi. N > R + W
với N là tổng số nhân bản, R là số nhân bản cần đọc trong 1 thao tác đọc. W là số nhân bản cần ghi trong 1 thao tác ghi. N < R + W
với N là tổng số nhân bản, R là số nhân bản cần đọc trong 1 thao tác đọc. W là số nhân bản cần ghi trong 1 thao tác ghi. N = R + W
phát biểu nào không đúng vè Apache Hadoop
xử lý dữ liệu phân tán với mô hình lập trình đơn giản, than thiện hơn như MapReduce
Hadoop thiết kế để mở rộng thông qua kỹ thuật scale-outm tăng số lượng máy chủ
thiết kế để vận hàn trên phần cứng phổ thống, có khả năng chống chịu lỗi phần cứng
thiết kế đẻ vận hành trên siêu máy tính, cấu hình mạnh, độ tin cậy cao
phát biểu nào sai về Presto
presto là một engine truy vấn SQL hiệu năng cao, phân tán cho dữ liệu lớn.
presto thích hợp với các công cụ Business Intelligence
presto được quản lý bởi presto software foundation
presto được quản lý bởi apache software foundation
Phát biểu nào sau đây sai về Kafka
nhiều consumer có thể cùng đọc 1 topic
1 message có thể được đọc bới nhiểu consumer khác nhau
số lượng consumer phải ít hơn hoặc bằng số lượng partitions
1 message chỉ có thể được đọc bởi 1 consumer trong 1 consumer group
phát biểu nào sau đây sai về kafka
partition được nhân bản ra nhiều brokers
message sau khi được tiêu thụ (consume) thì không bị xóa.
các topic gồm nhiều partitions
Kafka đảm bảo thứ tự của các message với mỗi topics
Sao chép thiếu trong HDFS có nghĩa là
Không có sự sao chép nào diễn ra trong các DataNode.
Quá trình sao chép rất chậm trong các DataNode.
Tần suất sao chép trong các DataNode rất thấp.
Số lượng bản sao được tái tạo ít hơn so với quy định của hệ số sao chép.
So với RDBMS, Hadoop
Có tính tồn vẹn dữ liệu cao hơn.
Có giao dịch ACID không
IS thích hợp để đọc và viết nhiều lần
Hoạt động tốt hơn trên dữ liệu phi cấu trúc và bán cấu trúc.
Số lượng nhiệm vụ mà trình theo dõi tác vụ có thể chấp nhận phụ thuộc vào
Bộ nhớ tối đa có sẵn trong nút
Không giới hạn
Số lượng slot được định cấu hình trong đó
Theo quyết định của jobTracker
Spark có thể chạy ở chế độ nào khi chạy trên nhiều máy
chạy trên YARN
chạy trên ZooKeeper
phương án a và b đều sai
phương án a và b đều đúng
Spark hỗ trợ các cluster manager nào
Standalone Cluster manager
MESOS
YARN
tất cả đáp án trên
Spark Streaming trừu tượng hóa cũng như thao tác với các dòng dữ liệu (data stream) dựa trên khái niệm nào:
shared variable
RDD
DStream
DataFrame
Sự khác biệt giữa chế độ standalone and pseudo-distributed mode là A - xB - . C - D -
Standalone không thể sử dụng map reduce
Standalone có một quy trình java duy nhất chạy trong đó
pseudo-distributed mode không sử dụng HDFS
pseudo-distributed mode cần hai hoặc nhiều máy vật lý
Sự phân chia đầu vào được sử dụng trong MapReduce cho biết
Kích thước trung bình của các khối dữ liệu được sử dụng làm đầu vào cho chương trình
Chi tiết vị trí nơi bắt đầu của toàn bộ bản ghi đầu tiên trong một khối và toàn bộ bản ghi cuối cùng trong khối kết thúc
Tách dữ liệu đầu vào cho chương trình MapReduce thành kích thước đã được định cấu hình trong mapred-site.xml
Không có
Tất cả các tệp trong một thư mục trong HDFS có thể được hợp nhất với nhau bằng cách sử dụng
Getmerge
putmerge
remerge
mergeall
Tệp HDFS nhỏ hơn kích thước một khối
Không thể lưu trữ trong HDFS
Chiếm tồn bộ kích thước của khối
Chỉ chiếm kích thước mà nó cần chứ không phải tòan khối
Có thể trải dài trên nhiều khối
Tệp lưu trữ được tạo trong Hadoop ln có phần mở rộng là
hrc
Har
Hrh
Hrar
Tệp trong Namenode lưu trữ thông tin ánh xạ vị trí khối dữ liệu với tên tệp là
dfsimage
nameimage
fsimage
image
Thành phần nào không thuộc thành phần lõi của Hadoop
Hệ thống tập tin phân tán HDFS
MapReduce Framework
YARN: yet another resource negotiator
Apache Hbase
Apache ZooKeeper
Thành phần nào sau đây truy xuất các phần đầu vào trực tiếp từ HDFS để xác định số tác vụ bản đồ?
Namenode.
TaskTrackers.
JobClient.
JobTracker.
Không có lựa chọn nào đúng.
Theo Tính khả dụng cao của Hadoop, nghĩa là Hàng rào
Ngăn NameNode hoạt động trước đó bắt đầu chạy lại.
Ngăn chặn việc bắt đầu chuyển đổi dự phòng trong trường hợp mạng bị lỗi với NameNode hoạt động.
Ngăn chặn sự cố sập nguồn đối với NameNode đã hoạt động trước đó.
Ngăn không cho NameNode đã hoạt động trước đó ghi vào nhật ký chỉnh sửa.
Thuộc tính được sử dụng để đặt hệ thống tệp mặc định cho Hadoop trong core-site.xml là
filesystem.default
fs.default
fs.defaultFS
hdfs.default
Thuộc tính nào dưới đây được định cấu hình trên core-site.xml?
hệ số nhân bản
Tên thư mục để lưu trữ tệp hdfs.
Máy chủ và cổng nơi tác vụ MapReduce chạy.
Các biến môi trường Java.
Thuộc tính nào dưới đây được định cấu hình trên hadoop-env.sh? A – B - C - xD -
Hệ số nhân bản
Tên thư mục để lưu trữ tệp hdfs
Máy chủ và cổng nơi tác vụ MapReduce chạy
Các biến môi trường Java.
Thuộc tính nào dưới đây được định cấu hình trên hdfs-site.xml?
Hệ số nhân bản
Tên thư mục để lưu trữ tệp hdfs
Máy chủ và cổng nơi tác vụ MapReduce chạy
Các biến môi trường Java
Thuộc tính nào dưới đây được định cấu hình trên mapred-site.xml?
Hệ số nhân bản
Tên thư mục để lưu trữ tệp hdfs
Máy chủ và cổng nơi tác vụ MapReduce chạy
Các biến môi trường Java
Tiện ích nào được sử dụng để kiểm tra tình trạng của hệ thống tệp HDFS?
fchk
fsck
fsch
fcks
Tín hiệu nhịp tim được gửi từ A - xB - C - D -
Tasktracker to Job tracker
JObtracker thành Tasktracker
Trình theo dõi công việc đến NameNode
Trình theo dõi tác vụ đến NameNode
Tính năng decommission trong hadoop được sử dụng cho
Hủy cấp phép NameNode
Hủy khai thác các DataNode
Hủy cấp phép NameNode phụ
Giải nén tồn bộ cụm Hadoop
Tính năng định vị dữ liệu trong Hadoop có nghĩa là
lưu trữ cùng một dữ liệu trên nhiều nút.
chuyển vị trí dữ liệu từ nút này sang nút khác.
đồng định vị dữ liệu với các nút tính tóan.
Phân phối dữ liệu trên nhiều nút.
Trong đĩa cục bộ của NameNode, các tệp được lưu trữ liên tục là:
hình ảnh vùng tên và nhật ký chỉnh sửa
vị trí khối và hình ảnh vùng tên
chỉnh sửa nhật ký và chặn vị trí
hình ảnh không gian tên, chỉnh sửa vị trí nhật ký và chặn
Trong Hadoop 2.x, liên kết HDFS phát hành có nghĩa là
Cho phép các NameNode giao tiếp với nhau
Cho phép một cụm mở rộng quy mô bằng cách thêm nhiều DataNode dưới một NameNode
Cho phép một cụm mở rộng quy mô bằng cách thêm nhiều NameNode hơn
Thêm nhiều bộ nhớ vật lý hơn cho cả NameNode và DataNode
Theo liên kết HDFS
Mỗi NameNode quản lý siêu dữ liệu của toàn bộ hệ thống tệp
Mỗi NameNode quản lý siêu dữ liệu của một phần hệ thống tệp
Lỗi một NameNode làm mất một số tính khả dụng của siêu dữ liệu từ toàn bộ hệ thống tệp
Mỗi DataNode đăng ký với mỗi NameNode
Trong Hadoop, Snappy và LZO là những ví dụ về
Cơ chế vận chuyển tệp giữa các DataNode
Cơ chế nén dữ liệu
Cơ chế sao chép dữ liệu
Cơ chế đồng bộ hóa dữ liệu
Trong HDFS, các tệp không thể
Đọc
Xóa
Thực thi
Lưu trữ
Trong hệ sinh thái của Spark không có công cụ hay thành phần nào sau đây:
MLib
GraphX
Sqoop
Cluster Managers
Trong hệ thống HDFS với kích thước khối 64MB, chúng tôi lưu trữ một tệp nhỏ hơn 64MB. Điều nào sau đây là đúng?
Tệp sẽ tiêu tốn 64MB
Tệp sẽ tiêu tốn hơn 64MB
Tệp sẽ tiêu tốn ít hơn 64MB
Không thể đóan trước được
Trong một cụm Hadoop, điều gì đúng với khối HDFS không còn khả dụng do hỏng đĩa hoặc lỗi máy? A - xB - . C - . D - .
Nó bị mất vĩnh viễn
Nó có thể được sao chép ở các vị trí thay thế của nó cho các máy sống khác
NameNode cho phép yêu cầu của khách hàng mới tiếp tục cố gắng đọc nó
Tiến trình công việc Mapreduce chạy bỏ qua khối và dữ liệu được lưu trữ trong đó
Trong Secondary NameNode, lượng bộ nhớ cần thiết là
Tương tự như của node chính
Phải có ít nhất một nửa node chính
Phải gấp đơi node chính
Chỉ phụ thuộc vào số lượng node dữ liệu mà nó sẽ xử lý
Tùy chọn nào sau đây không phải là tùy chọn lập lịch có sẵn trong YARN
Balanced scheduler
Fair scheduler
Capacity scheduler
FiFO schesduler
Tùy chọn nào trong số này không phải là tùy chọn lập lịch có sẵn với YARN?
Optimal Scheduler
FIFO scheduler
Capacity scheduler
Fair scheduler
Vai trị chính của NameNode phụ là
Sao chép siêu dữ liệu hệ thống tệp từ NameNode chính.
Sao chép siêu dữ liệu hệ thống tệp từ NFS được lưu trữ bởi NameNode chính
Theo dõi xem NameNode chính có đang hoạt động hay khơng.
Định kỳ hợp nhất hình ảnh vùng tên với nhật ký chỉnh sửa.
Vai trò của Journal node là
Báo cáo vị trí của các khối trong một DataNode
Báo cáo thông tin nhật ký chỉnh sửa của các khối trong DataNode
Báo cáo lịch trình khi công việc sẽ chạy
Báo cáo hoạt động của các thành phần khác nhau do người quản lý tài nguyên xử lý
Vấn đề chính gặp phải khi đọc và ghi dữ liệu song song từ nhiều đĩa là gì?
Xử lý khối lượng lớn dữ liệu nhanh hơn
Kết hợp dữ liệu từ nhiều đĩa
Phần mềm cần thiết để thực hiện nhiệm vụ này là cực kỳ tốn kém
Phần cứng cần thiết để thực hiện tác vụ này là cực kỳ tốn kém
Vị trí khối hiện tại của HDFS nơi dữ liệu đang được ghi vào
hiển thị cho khách hàng yêu cầu nó
Vị trí khối không bao giờ hiển thị đối với các yêu cầu của khách hàng
Người đọc có thể nhìn thấy hoặc không
chỉ hiển thị sau khi dữ liệu được lưu trong bộ đệm được cam kết
Writable là gì?
W ghi là một giao diện java cần được triển khai để truyền dữ liệu trực tuyến đến các máy chủ từ xa.
W ghi là một giao diện java cần được thực hiện để ghi HDFS.
Writes là một giao diện java cần được triển khai để xử lý MapReduce.
Không câu trả lời nào đúng.
YARN là viết tắt của
Yahoo’s another resource name
Yet another resource negotiator
Yahoo’s archived Resource names
Yet another resource need
Yếu tố giới hạn hiện tại đối với kích thước của một cụm hadoop là
Nhiệt lượng dư thừa tạo ra trong trung tâm dữ liệu
Giới hạn trên của băng thông mạng
Giới hạn trên của RAM trong NameNode
4000 datanode
Yếu tố sao chép mặc định cho hệ thống tệp HDFS trong hadoop là
1
2
3
4
Zookeeper đảm bảo rằng
Tất cả các NameNode đang tích cực phục vụ các yêu cầu của khách hàng
Chỉ có một NameNode đang tích cực phục vụ các yêu cầu của khách hàng
Chuyển đổi dự phịng được kích hoạt khi bất kỳ DataNode nào bị lỗi
Quản trị viên hadoop khơng thể bắt đầu chuyển đổi dự phòng
