5. Data Wrangling & Cleaning

Mengapa menangani missing values penting dalam analisis data?

• Karena NaN otomatis dianggap error

• Karena model/analisis bisa bias jika banyak data kosong

• Karena NaN selalu berarti data salah

• Karena NaN hanya muncul di data numerik

• NaN tidak mempengaruhi analisis

Sebuah dataset transaksi memiliki 2 baris identik untuk customer yang sama di tanggal yang sama. Apa implikasi jika duplicate tidak dihapus?

• Analisis total transaksi bisa lebih kecil

• Analisis tetap benar karena datanya sama

• Analisis total transaksi bisa lebih besar dari kenyataan

• Tidak ada dampak karena duplikat tidak dihitung

• Duplikat hanya berpengaruh pada visualisasi

Mengapa outlier perlu diperhatikan?

• Selalu dihapus karena salah

• Bisa mempengaruhi rata-rata dan hasil model

• Hanya memengaruhi data kategorikal

• Hanya relevan di data teks

• Tidak berpengaruh pada analisis

Dataset karyawan memiliki kolom "Departemen": HR, hr, Human Resource, HUM-RES. Apa yang sebaiknya dilakukan?

• Hapus semua data tersebut

• Biarkan karena tetap bermakna

• Standarisasi menjadi satu kategori konsisten

• Ubah menjadi NaN

Mengapa tipe data kolom penting dalam wrangling?

• Tipe data tidak berpengaruh

• Tipe data untuk efisiensi penyimpanan

• Tipe data memengaruhi operasi, agregasi, dan perhitungan

• Tipe data hanya penting di SQL, bukan Pandas

• Tipe data hanya relevan di machine learning

Mengapa teks " Indonesia " (ada spasi di awal/akhir) bisa menjadi masalah dalam analisis?

• Karena Python tidak bisa membaca string dengan spasi

• Karena dianggap berbeda dari "Indonesia"

• Karena string dengan spasi tidak bisa difilter

• Karena semua string otomatis dipotong

• Karena teks dengan spasi dianggap NaN

Anda memiliki dataset penjualan dengan 10% data harga hilang. Strategi yang tepat?

• Hapus semua baris kosong

• Isi dengan 0

• Pertimbangkan mengisi dengan rata-rata/median atau hapus jika proporsi kecil

• Ubah semua ke NaN

• Biarkan kosong karena tidak mempengaruhi

Untuk menghitung jumlah nilai null di setiap kolom:

• df.isnull()

• df.isnull().sum()

• df.isnull().sum().sum()

• df.isnull().count()

• df.dropna()

Outputnya adalah?

• Tetap ada spasi

• Spasi di awal/akhir hilang

• Semua jadi huruf kecil

• Semua jadi huruf besar

• Semua jadi NaN