Responsi Big Data and Predictive Lanjut

Apa fungsi utama dari SparkContext dalam PySpark?

• Membaca file CSV

• Membuat koneksi cluster

• Menulis data ke tabel

• Menambah kolom data

Apa peran dari master dalam konfigurasi cluster Spark?

• Mengirim hasil perhitungan ke worker

• Mengatur pembagian data dan perhitungan ke worker

• Menerima data dari worker

• Menyimpan data secara lokal

Bagaimana cara membuat SparkSession di PySpark?

• spark = SparkSession.builder.create()

• spark = SparkSession.builder.getOrCreate()

• spark = SparkContext()

• spark = SparkSession.start()

Apakah output dari perintah print(spark.catalog.listTables())?

• Daftar kolom di DataFrame

• Daftar tabel dalam SparkSession

• Daftar semua worker dalam cluster

• Informasi konfigurasi SparkSession

Apa yang dilakukan perintah flights10.filter("distance > 1000")?

• Menampilkan semua data di tabel flights10

• Memfilter data dengan jarak di atas 1000

• Menghapus data yang jaraknya kurang dari 1000

• Mengelompokkan data berdasarkan jarak

Bagaimana cara melakukan query untuk menampilkan hanya data dari kolom origin, dest, dan distance?

• flights.select(['origin', 'dest', 'distance'])

• flights.filter('origin', 'dest', 'distance')

• flights.groupby(['origin', 'dest', 'distance'])

• flights.where(['origin', 'dest', 'distance'])

Apa tujuan dari perintah flights.withColumn('duration_hrs', flights.air_time / 60)?

• Menambahkan kolom baru duration_hrs

• Menghapus kolom air_time

• Mengganti nilai di kolom air_time

• Menghapus data dalam kolom duration_hrs

Bagaimana cara menghitung rata-rata air_time dari data yang berasal dari SEA?

• flights.filter(flights.origin == 'SEA').groupBy().avg('air_time')

• flights.select('air_time').avg().filter(flights.origin == 'SEA')

• flights.groupBy('origin').filter('SEA').avg('air_time')

• flights.avg('air_time').where(flights.origin == 'SEA')

Perintah apa yang digunakan untuk melakukan inner join antara DataFrame employees dan departments berdasarkan dept_id?

• employees.join(departments, 'dept_id', 'inner')

• employees.union(departments, 'dept_id', 'inner')

• employees.filter(departments, 'dept_id', 'inner')

• employees.group(departments, 'dept_id', 'inner')

Perintah apa yang digunakan untuk melakukan left join di PySpark?

• join(df1, df2, 'left')

• join(df1, df2, 'left_outer')

• union(df1, df2, 'left')

• merge(df1, df2, 'left_outer')