Pyspark MLib

Untuk memuat dataset CSV ke dalam DataFrame di Spark, metode mana yang digunakan?

• spark.read.file()
• spark.load.csv()
• spark.read.csv()
• spark.import.csv()

Lengkapi kode pada titik-titik untuk menggabungkan atribut menjadi satu vektor!

assembler = VectorAssembler(.........=selected_features, .........="featuress")

• assembler = VectorAssembler(inputs=selected_features, outputs='features')
• assembler = VectorAssembler(inputCols=selected_features, outputCol=features_col)
• assembler = VectorAssembler(inputCols=features, outputCol=selected_features)
• assembler = VectorAssembler(inputCols=selected_features, outputCol="features")

Lengkapi kode berikut untuk melakukan pembagian dataset menjadi data latih dan data uji, dimana data uji diberikan jumlah subset 20% !

train_data, test_data = data.randomSplit(.........)

• train_data, test_data = data.randomSplit([0.6, 0.4])

• train_data, test_data = data.randomSplit([0.8, 0.2])

• train_data, test_data = data.randomSplit([0.7, 0.3])

• train_data, test_data = data.randomSplit([0.9, 0.1])

Fungsi mana yang digunakan untuk menghitung jumlah baris dalam DataFrame di Spark?

• df.size()

• df.rows()

• df.count()

• df.length()

Fungsi mana yang digunakan untuk menampilkan skema DataFrame di Spark?

• df.schema()

• df.displaySchema()

• df.printSchema()

• df.showSchema()

Lengkapi kode dibawah ini, agar hanya mengambil kolom yang memiliki fitur numerik !

numeric = [t[0] for t in df.dtypes if t[1] == 'int']

numeric_summary = df.select(............).summary()

numeric_summary.show(truncate=False)

Fungsi mana yang digunakan untuk menghapus kolom dari DataFrame di Spark?

• df.dropCol()

• df.remove()

• df.drop()

• df.delete()

Lengkapi kode berikut untuk mengubah kolom menjadi tipe data Integer!

df = df.withColumn("new_column", df["old_column"].cast(.........))

• FloatType()

• StringType()

• IntegerType()

• DoubleType()

Lengkapi kode dibawah ini untuk dapat membuat sesi pada spark! (Hanya satu jawaban saja, Case sensitive)
from pyspark.sql import ______

spark = ______.builder.getOrCreate()

sc = spark.sparkContext

Apa fungsi dari Pipeline dalam MLib Spark?

• Pipeline berfungsi untuk meningkatkan kecepatan komputasi.
• Pipeline digunakan untuk visualisasi data dalam Spark.
• Pipeline digunakan untuk menyimpan data secara permanen.
• Pipeline digunakan Menggabungkan beberapa langkah dalam proses pelatihan machine learning.