Big Data Analytics with PySpark

Apa kepanjangan dari RDD dalam Apache Spark?

• Resilient Distributed Dataframe

• Reliable Distributed Dataset

• Resilient Distributed Dataset

• Reliable Distributed Dataframe

Apa yang dimaksud dengan lazy evaluation dalam RDD?

• Proses evaluasi yang memeriksa konsistensi dan integritas data

• Proses evaluasi yang dilakukan secara paralel di berbagai node

• Proses evaluasi yang menghasilkan data baru tanpa mengubah data asli

• Proses evaluasi yang ditunda sampai diperlukan oleh aksi

Bagaimana cara menggunakan PySpark SQL untuk membuat dataframe baru dari dataframe yang sudah ada?

• Menggunakan query SQL langsung atau fungsi Spark yang mirip dengan SQL

• Menggunakan fungsi map, filter, atau reduce pada RDD yang mendasari dataframe

• Menggunakan fungsi join, union, atau intersect pada dua atau lebih dataframe

• Semua jawaban benar

Apa yang dimaksud dengan SparkContext dalam Apache Spark?

• Komponen utama dari aplikasi Spark yang mengatur sumber daya dan konfigurasi

• Komponen utama dari aplikasi Spark yang mengatur komunikasi dan koordinasi antara node

• Komponen utama dari aplikasi Spark yang mengatur proses transformasi dan aksi pada RDD

• Semua jawaban benar

Apa perbedaan antara DataFrame dan Dataset dalam Apache Spark?

• DataFrame adalah koleksi data yang diorganisir dalam baris dan kolom, sedangkan Dataset adalah koleksi data yang diorganisir dalam objek

• DataFrame adalah koleksi data yang memiliki skema, sedangkan Dataset adalah koleksi data yang tidak memiliki skema

• DataFrame adalah koleksi data terstruktur atau semi-terstruktur, sedangkan Dataset adalah koleksi data tidak terstruktur

• Semua jawaban salah

Apa yang dimaksud dengan distributed computing dalam Apache Spark?

• Sebuah paradigma komputasi yang membagi data dan proses menjadi beberapa node yang saling berkomunikasi

• Sebuah paradigma komputasi yang memproses data secara paralel dan konkuren di berbagai node

• Sebuah paradigma komputasi yang menggabungkan data dan proses dari berbagai sumber menjadi satu kesatuan

• Sebuah paradigma komputasi yang memanfaatkan sumber daya komputer yang tersebar di berbagai lokasi

Apa kekurangan Apache Spark dibandingkan dengan MapReduce tradisional?

• Apache Spark membutuhkan lebih banyak memori untuk memproses data dalam memori

• Apache Spark lebih sulit untuk diinstal dan dikonfigurasi daripada MapReduce

• Apache Spark tidak mendukung pemrosesan data dalam format teks biasa

• Apache Spark tidak kompatibel dengan Hadoop dan ekosistemnya