WorksheetsPyspark MLib
Total questions: 20
Worksheet time: 40mins
Untuk memuat dataset CSV ke dalam DataFrame di Spark, metode mana yang digunakan?
Lengkapi kode pada titik-titik untuk menggabungkan atribut menjadi satu vektor!
assembler = VectorAssembler(.........=selected_features, .........="featuress")
Lengkapi kode berikut untuk melakukan pembagian dataset menjadi data latih dan data uji, dimana data uji diberikan jumlah subset 20% !
train_data, test_data = data.randomSplit(.........)
train_data, test_data = data.randomSplit([0.6, 0.4])
train_data, test_data = data.randomSplit([0.8, 0.2])
train_data, test_data = data.randomSplit([0.7, 0.3])
train_data, test_data = data.randomSplit([0.9, 0.1])
Fungsi mana yang digunakan untuk menghitung jumlah baris dalam DataFrame di Spark?
df.size()
df.rows()
df.count()
df.length()
Fungsi mana yang digunakan untuk menampilkan skema DataFrame di Spark?
df.schema()
df.displaySchema()
df.printSchema()
df.showSchema()
Lengkapi kode dibawah ini, agar hanya mengambil kolom yang memiliki fitur numerik !
numeric = [t[0] for t in df.dtypes if t[1] == 'int']
numeric_summary = df.select( (a) ).summary()
numeric_summary.show(truncate=False)
Fungsi mana yang digunakan untuk menghapus kolom dari DataFrame di Spark?
df.dropCol()
df.remove()
df.drop()
df.delete()
Lengkapi kode berikut untuk mengubah kolom menjadi tipe data Integer!
df = df.withColumn("new_column", df["old_column"].cast(.........))
FloatType()
StringType()
IntegerType()
DoubleType()
Lengkapi kode dibawah ini untuk dapat membuat sesi pada spark! (Hanya satu jawaban saja, Case sensitive)
from pyspark.sql import ______
spark = ______.builder.getOrCreate()
sc = spark.sparkContext
(a)
Apa fungsi dari Pipeline dalam MLib Spark?
Pipeline digunakan Menggabungkan beberapa langkah dalam proses pelatihan machine learning.
Apa fungsi dari CrossValidator dalam MLib Spark?
CrossValidator digunakan untuk membagi data menjadi beberapa subset.
CrossValidator digunakan untuk mengoptimalkan hyperparameter model.
CrossValidator digunakan untuk menyimpan model yang telah dilatih.
CrossValidator digunakan untuk menampilkan hasil evaluasi model.
Apakah kode untuk melengkapi bagian yang blok tersebut? (Case Sensitive)
(a) GridSearchCV, (b) param_grid
(a) RandomSearchCV, (b) param_grid
(a) RandomSearchCV, (b) ParamGrid
(a) GridSearchCv, (b) paramgrid
Lengkapi kode dibawah ini! Dimana iterasi dilakukan sebanyak 10 kali
lr = LogisticRegression(featuresCol = 'features', labelCol = 'label', ................)
lrModel = lr.fit(train)
Lengkapi kode berikut untuk menghapus baris yang memiliki nilai null pada kolom tertentu!
df = df.filter(df["column_name"].isNotNull())
df.cleanNull()
df.filterNull()
df.removeNull()
df.dropna()
Saya ingin mengubah kata menjadi vektor agar menghasilkan seperti pada gambar, dimana saya ingin mempertimbangkan konteks kata dalam kalimat. Metode apa yang bisa saya gunakan untuk melakukan ini?
Lengkapi kode dibawah ini! Dimana jumlah data akan dibagi menjadi 5 Cluster
from pyspark.ml.clustering import KMeans
kmeans = KMeans()._____.setSeed(1)
model = kmeans.fit(df)
Fungsi mana yang digunakan untuk menggabungkan dua DataFrame di Spark?
df.concat()
df.merge()
df.join()
df.combine()
Apakah perintah yang tepat untuk melengkapi kode dalam mengelompokan data yang ada di di kolom deposit?
grouped_data = df.______('deposit')._____()
grouped_data.show()
groupby('deposit').count()
Lengkapi kode berikut untuk mengubah nama kolom dalam DataFrame!
df = df.withColumnRenamed("old_name", "new_name")
df.renameColumn()
df.withColumnRenamed()
df.changeColumnName()
df.updateColumnName()
Untuk menghapus duplikat dari DataFrame di Spark, fungsi mana yang digunakan?
df.removeDuplicates()
df.distinct()
df.unique()
df.dropDuplicates()
