Pert 10 - Data Preprocessing

Data Preprocessing

M. Eka Purbaya, S.T.,M.Eng

Content

• Why preprocess the data?

• Data cleaning

• Data integration

• Data transformation

• Data reduction

Multiple Choice

Mengapa kita membutuhkan pra pemrosesan data?

• Untuk membuat data terlihat lebih rumit.

• Untuk menghasilkan data yang selalu sempurna.

• Untuk membersihkan dan mengubah data mentah menjadi format yang sesuai untuk analisis

• Hanya sebagai langkah opsional tanpa dampak pada hasil akhir

Kenapa Pra-Pemrosesan Data ?

nData in the real world is dirty

nincomplete: missing attribute values, lack of certain attributes of interest, or containing only aggregate data

ne.g., occupation=“”

nnoisy: containing errors or outliers

ne.g., Salary=“-10”

ninconsistent: containing discrepancies in codes or names

ne.g., Age=“42” Birthday=“03/07/1997”

ne.g., Was rating “1,2,3”, now rating “A, B, C”

ne.g., discrepancy between duplicate records

Multiple Choice

Mengapa penting untuk menangani data yang tidak lengkap (incomplete) dalam preprocessing?

• Untuk membuat data terlihat lebih rumit.

• Karena data yang tidak lengkap tidak memiliki nilai.

• Untuk menghindari bias dan ketidakpastian dalam hasil analisis atau model.

• Hanya sebagai langkah opsional tanpa dampak pada hasil akhir

Multiple Choice

Apa yang dimaksud dengan data yang bising (noisy) dalam konteks preprocessing?

• Data yang memiliki pola yang jelas.

• Data yang mengandung gangguan atau kesalahan acak.

• Data yang terlalu sederhana.

• Hanya sebagai istilah umum untuk semua jenis data.

Multiple Choice

Apa metode yang tepat untuk menangani data bising (noisy) dalam preprocessing?

• Mengabaikan data yang bising.

• Menambahkan lebih banyak gangguan untuk menyeimbangkan.

• Mengubah semua data menjadi nol.

• Mengidentifikasi dan membersihkan atau mengurangi dampak gangguan.

Multiple Choice

Mengapa kita perlu menangani data yang tidak konsisten (inconsistent) dalam preprocessing?

• Hanya untuk membuat data terlihat lebih bersih.

• Konsistensi tidak penting dalam analisis data.

• Untuk mencegah kontradiksi dan kesalahan dalam hasil analisis atau model.

• Hanya sebagai langkah formal tanpa manfaat nyata.

Kenapa Pra-Pemrosesan Data ?

Multiple Choice

Mengapa kualitas data sangat penting dalam hasil pertambangan data?

• Kualitas data tidak memengaruhi hasil pertambangan data.

• Kualitas data menjamin keberhasilan pertambangan data yang akurat dan bermutu.

• Pertambangan data dapat mengatasi ketidakakuratan data.

• Pertambangan data hanya bergantung pada kuantitas data.

Multiple Choice

Apa dasar untuk membuat keputusan yang berkualitas?

• Keputusan yang cepat.

• Data yang tidak terkualifikasi.

• Keputusan yang berkualitas didasarkan pada data yang berkualitas

• Keputusan intuitif.

Multiple Choice

Mengapa gudang data membutuhkan integrasi yang konsisten dari data yang berkualitas?

• Gudang data hanya membutuhkan kuantitas data yang besar.

• Integrasi data tidak penting dalam gudang data.

• Untuk memastikan data yang digunakan memiliki kualitas yang konsisten.

• Integrasi data hanya diperlukan dalam pertambangan data.

Multi-Dimensional Measure of Data Quality

A well-accepted multidimensional view:

nAccuracy

nCompleteness

nConsistency

nTimeliness

nBelievability

nValue added

nInterpretability

nAccessibility

Multiple Choice

Apa dimensi yang menekankan kebenaran data?

• Validitas

• Konsistensi

• Kelengkapan

• Waktu

Multiple Choice

Dimensi mana yang menunjukkan relevansi dan aktualitas data?

• Believability

• Waktu

• Nilai tambah

• Interpretabilitas

Multiple Choice

Apa dimensi yang mencakup sejauh mana pengguna dapat memahami, menjelaskan, dan membuat keputusan berdasarkan informasi yang disajikan.?

• Nilai tambah

• Interpretabilitas

• Konsistensi

• Keterjangkauan

Major Tasks in Data Preprocessing

nData cleaning

nFill in missing values, smooth noisy data, identify or remove outliers and noisy data, and resolve inconsistencies

nData integration

nIntegration of multiple databases, or files

nData transformation

nNormalization and aggregation

nData reduction

nObtains reduced representation in volume but produces the same or similar analytical results

Multiple Choice

Apa yang termasuk dalam tugas "Data Cleaning" dalam pengolahan data?

• Normalisasi dan agregasi

• Integrasi dari beberapa basis data atau file

• Pengisian nilai yang hilang, menghaluskan data yang bising, mengidentifikasi atau menghapus nilai ekstrem, dan menyelesaikan inkonsistensi

• Pengurangan data untuk menghasilkan representasi yang lebih kecil

Multiple Choice

Apa tujuan dari proses "Normalisasi" dalam pengolahan data?

• Mendapatkan representasi yang lebih kecil dalam volume data.

• Menyatukan beberapa basis data atau file.

• Mengisi nilai yang hilang.

• Standarisasi dan penyesuaian skala pada fitur numerik.

Multiple Choice

Apa yang dilakukan oleh proses "Agregasi" dalam konteks pengolahan data?

• Normalisasi dan standarisasi data.

• Menyatukan beberapa basis data atau file menjadi satu ringkasan.

• Mengurangi jumlah data yang tidak relevan.

• Mengisi nilai yang hilang dalam data.

Data Cleaning - Handle Missing Data

1. Penghapusan Data yang Hilang:

Cara: Menghapus baris atau kolom yang mengandung nilai yang hilang.

Kapan Digunakan: Saat jumlah data yang hilang relatif kecil dan penghapusan tidak mengurangi representativitas dataset secara signifikan.

2. Pengisian Nilai yang Hilang (Imputasi):

Cara: Menggantikan nilai yang hilang dengan nilai yang dihitung berdasarkan statistik seperti mean, median, atau modus dari kolom yang bersangkutan.

Kapan Digunakan: Ketika penghapusan data tidak praktis dan dapat memberikan nilai yang mempertahankan distribusi data.

3. Interpolasi atau Ekstrapolasi:

Cara: Mengestimasi nilai yang hilang berdasarkan tren atau pola data sekitarnya.

Kapan Digunakan: Ketika data berurutan, seperti data deret waktu, dan dapat diasumsikan adanya hubungan kontinu antar nilai.

4. Model Prediktif:

Cara: Menggunakan model machine learning untuk memprediksi nilai yang hilang berdasarkan nilai yang tersedia.

Kapan Digunakan: Saat data memiliki kompleksitas tinggi dan ada hubungan yang rumit antara variabel.

Data Cleaning - Handle Missing Data

5. Hot-Deck atau Cold-Deck Imputation:

Cara: Menggantikan nilai yang hilang dengan nilai dari observasi yang serupa (hot-deck) atau nilai dari sumber referensi eksternal (cold-deck).

Kapan Digunakan: Saat ditemukan kelompok data yang mirip atau ada sumber referensi yang dapat dipercaya.

6. Multiple Imputation:

Cara: Membuat beberapa set data imputasi dan menggabungkannya untuk menghasilkan hasil akhir.

Kapan Digunakan: Saat ingin mengatasi ketidakpastian yang mungkin terjadi dalam proses imputasi.

7. Menandai Data yang Hilang:

Cara: Menambahkan variabel indikator untuk menunjukkan apakah nilai tersebut hilang atau tidak.

Kapan Digunakan: Saat penting untuk melihat distribusi dan dampak nilai yang hilang pada hasil analisis.

Data Cleaning - Handle Missing Data

Multiple Choice

Metode pengolahan data yang hilang yang paling sesuai ketika jumlah nilai yang hilang relatif kecil dan penghapusan data tidak mengurangi representativitas dataset secara signifikan adalah...

• Pengisian nilai yang hilang (Imputasi)

• Penghapusan Data yang Hilang

• Interpolasi atau Ekstrapolasi

• Model Prediktif

Multiple Choice

Saat data memiliki kompleksitas tinggi dan hubungan yang rumit antar variabel, metode pengolahan data yang hilang yang paling efektif adalah...

• Multiple Imputation

• Hot-Deck atau Cold-Deck Imputation

• Pengisian nilai yang hilang (Imputasi)

• Model Prediktif

Multiple Choice

Jika ingin menjaga distribusi dan mengidentifikasi dampak nilai yang hilang pada hasil analisis, metode pengolahan data yang hilang yang paling sesuai adalah...

• Menandai Data yang Hilang

• Pengisian nilai yang hilang (Imputasi)

• Interpolasi atau Ekstrapolasi

• Multiple Imputation

Data Cleaning -Noisy data

Noisy data merujuk pada data yang terkontaminasi oleh gangguan atau kesalahan, sehingga mengandung nilai yang tidak akurat atau tidak mewakili kondisi sebenarnya.

Gangguan atau kesalahan ini dapat muncul karena berbagai faktor, termasuk kesalahan pengukuran, input yang tidak valid, atau ketidakpastian dalam proses pengumpulan data.

Data Cleaning - Handle Noisy data

Deteksi dan Penghapusan Outliers:

Identifikasi dan hapus nilai yang signifikan secara statistik yang berbeda secara signifikan dari nilai-nilai lain dalam dataset. Teknik statistik seperti Z-score atau metode interkuartil sering digunakan untuk mendeteksi outlier.

Smoothing (Penghalusan):

Mengurangi efek kebisingan dengan meratakan data. Ini dapat dilakukan dengan menggunakan teknik seperti rata-rata bergerak atau metode smoothing lainnya, yang membantu meratakan fluktuasi kecil dalam data.

Penggunaan Teknik Statistik yang Tahan Terhadap Outliers:

Menggunakan metode statistik yang lebih tahan terhadap nilai yang ekstrem. Misalnya, median seringkali lebih tahan terhadap outliers dibandingkan mean karena tidak dipengaruhi oleh nilai ekstrem.

Pengisian Data yang Hilang dengan Hati-hati:

Jika data hilang, pastikan pengisian dilakukan dengan hati-hati agar tidak memasukkan nilai yang tidak akurat atau mengganggu keberagaman data.

Penggunaan Model yang Tahan Terhadap Noise:

Menggunakan model atau algoritma yang tahan terhadap kebisingan. Beberapa model machine learning, seperti Decision Trees dan Random Forests, memiliki toleransi yang lebih baik terhadap kebisingan.

Transformasi Data:

Mengubah data ke dalam bentuk lain atau melakukan transformasi matematis tertentu untuk mengurangi dampak kebisingan. Misalnya, menggunakan logaritma atau akar kuadrat dapat membantu mengurangi fluktuasi kecil dalam data.

Multiple Choice

Metode yang paling tepat untuk mengidentifikasi dan menangani nilai ekstrem atau tidak wajar dalam dataset disebut...

• Pengisian Data yang Hilang

• Smoothing (Penghalusan)

• Deteksi dan Penghapusan Outliers

• Transformasi Data

Multiple Choice

Apa teknik yang dapat digunakan untuk meratakan fluktuasi kecil dalam data dan mengurangi dampak noise?

• Pembersihan Data yang Konsisten

• Penggunaan Model yang Tahan Terhadap Noise

• Smoothing (Penghalusan)

• Pengisian Data yang Hilang

Noisy Data - Simple Discretization Methods: Noisy Data - Binning

Simple Discretization Methods, khususnya Binning, merupakan salah satu teknik untuk mengubah data kontinu menjadi data diskrit dengan cara mengelompokkan nilai-nilai ke dalam interval atau "bin." Binning berguna ketika analisis atau model memerlukan representasi yang lebih sederhana atau ketika ingin menangani ketidakpastian dalam data kontinu.

.

Noisy Data - Cluster, Regression Analysis

Data integration and transformation

Integrasi data adalah proses menggabungkan dan menyatukan data dari sumber-sumber yang berbeda menjadi satu kesatuan yang terpadu.
Tujuan utama dari integrasi data adalah menciptakan pandangan yang komprehensif dan terpusat dari data, sehingga memungkinkan analisis yang lebih efektif dan pengambilan keputusan yang lebih baik.

Data integration and transformation

Penanganan Redundansi Dalam Integrasi Data

Pemetaan dan Transformasi yang Tepat:

Pastikan proses pemetaan dan transformasi data dilakukan secara akurat untuk mengatasi perbedaan struktur atau format data dari sumber yang berbeda.

Normalisasi Data:

Pisahkan data menjadi tabel atau struktur yang lebih kecil dan terkait untuk mengurangi redundansi, menggunakan teknik normalisasi.

Pendeteksian Duplikasi dan Deduplikasi:

Gunakan algoritma dan teknik untuk mendeteksi serta menghapus duplikasi dalam data selama proses integrasi.

Penggunaan Kunci Unik:

Tentukan dan gunakan kunci unik untuk setiap entitas atau tupel data, memastikan identifikasi yang unik dan mengurangi kemungkinan adanya duplikasi.

Validasi Data yang Cermat:

Lakukan validasi data dengan hati-hati selama proses integrasi untuk memastikan data yang dihasilkan sesuai dengan harapan dan tidak mengandung duplikasi yang tidak diinginkan.

Pemeliharaan Metadata yang Akurat:

Simpan metadata yang akurat dan terkini untuk membantu identifikasi dan mengelola duplikasi, serta memudahkan pemahaman struktur dan makna data.

Pendekatan Incremental Loading:

Gunakan pendekatan incremental loading untuk memperbarui data hanya pada bagian yang berubah, mengurangi risiko munculnya duplikasi saat data diintegrasikan ulang.

Multiple Choice

Apa tujuan utama dari integrasi data?

• Menambahkan kompleksitas pada data.

• Menciptakan pandangan terpadu dari data.

• Membuat data lebih terfragmentasi.

• Mengurangi keberagaman sumber data.

Multiple Choice

Apa keuntungan menggunakan data warehouse dalam konteks integrasi data?

• Meningkatkan keberagaman sumber data.

• Memisahkan data menjadi struktur yang lebih kecil.

• Menciptakan pandangan terpusat dan terpadu dari data.

• Menambahkan kompleksitas pada proses integrasi.

Multiple Choice

Mengapa normalisasi data merupakan langkah penting dalam penanganan redundansi dalam integrasi data?

• Untuk mengidentifikasi dan menghapus duplikasi.

• Untuk memisahkan data menjadi tabel terpisah.

• Untuk meningkatkan kompleksitas data.

• Untuk menambahkan kebisingan pada data.

Transformasi Data

Reduksi Data

Reduksi Data - Teknik Pengambilan Sampel

​Kita ingin memprediksi apakah suatu transaksi merupakan transaksi penipuan atau bukan (dua kelas: "Fraud" dan "Non-Fraud").
Namun, kelas "Fraud" memiliki frekuensi yang sangat rendah dibandingkan dengan kelas "Non-Fraud".

Data Asli:

Kelas "Fraud": 100 observasi

Kelas "Non-Fraud": 10,000 observasi

1. Undersampling:

Pilihan untuk mengurangi jumlah sampel dari kelas mayoritas (Non-Fraud) sehingga seimbang dengan kelas minoritas (Fraud).

Misalnya, kita memutuskan untuk mengambil hanya 100 sampel acak dari kelas "Non-Fraud".

Hasil Setelah Undersampling:

Kelas "Fraud": 100 observasi

Kelas "Non-Fraud": 100 observasi

Reduksi Data - Teknik Pengambilan Sampel

2. Oversampling:

Pilihan untuk meningkatkan jumlah sampel dari kelas minoritas (Fraud) dengan menduplikasi atau membuat sampel sintetis.

Misalnya, kita menduplikasi sampel "Fraud" sehingga jumlahnya menjadi 1,000 observasi.

Hasil Setelah Oversampling:

Kelas "Fraud": 1,000 observasi

Kelas "Non-Fraud": 10,000 observasi

3. Kombinasi Undersampling dan Oversampling:

Pilihan untuk mengombinasikan kedua teknik tersebut untuk mencapai keseimbangan yang diinginkan. Misalnya, kita mengambil 500 sampel dari kelas "Non-Fraud" dan membuat 500 sampel sintetis untuk kelas "Fraud".

Hasil Setelah Kombinasi:

Kelas "Fraud": 500 observasi

Kelas "Non-Fraud": 500 observasi

Pilihan antara undersampling, oversampling, atau kombinasi keduanya tergantung pada tujuan analisis dan karakteristik data. Tujuan utamanya adalah mencapai keseimbangan antara kelas sehingga model pembelajaran mesin dapat mempelajari dengan baik dari kedua kelas dan memberikan prediksi yang baik untuk kelas minoritas.

Strategi Reduksi Data

Multiple Choice

Apa tujuan utama dari reduksi data dalam konteks analisis data?

• Meningkatkan kompleksitas data.

• Menambah dimensi data.

• Mengurangi volume atau kompleksitas data.

• Menambah keberagaman sumber data.

Multiple Choice

Metode apa yang digunakan untuk mengurangi jumlah dimensi atau fitur dalam dataset?

• Aggregasi

• Filtrasi Informasi

• Reduksi Dimensi

• Pemilihan Sampel

Multiple Choice

Apa manfaat penggunaan teknik binning (discretization) dalam reduksi data?

• Meningkatkan kompleksitas data.

• Memperbesar volume data.

• Mengurangi dampak noise atau fluktuasi kecil.

• Menambah variasi dalam dataset.

Multiple Choice

Mengapa pemilihan sampel sering digunakan sebagai strategi reduksi data?

• Untuk menambah dimensi data.

• Untuk memperbesar volume data.

• Untuk menggantikan atribut.

• Untuk menghemat waktu dan sumber daya saat mewakili keseluruhan populasi.

Multiple Choice

Apa keuntungan menggunakan teknik pengambilan sampel dalam konteks klasifikasi data?

• Mengatasi ketidakseimbangan kelas.

• Mengurangi jumlah atribut.

• Menambah dimensi data.

• Meningkatkan kompleksitas dataset.