Pert 9 - Machine Learning

Data Mining dan Machine Learning sebagai solusi untuk permasalahan Big Data

M. Eka Purbaya, S.T.,M.Eng

Gojek menggunakan data mining untuk:

-Mengoptimalkan rute pengemudi dan waktu tunggu pelanggan.

-Menganalisis preferensi pengguna untuk menawarkan promosi dan diskon yang relevan.

-Mengembangkan fitur-fitur baru berdasarkan pemahaman dari data pelanggan.

Hal ini dapat meningkatkan efisiensi, kenyamanan, dan pengalaman pelanggan.

Tokopedia menggunakan data mining untuk:

-Memberikan rekomendasi produk yang sesuai dengan preferensi pelanggan.

-Menganalisis perilaku belanja pelanggan untuk mengidentifikasi tren dan preferensi pasar.

-Mengoptimalkan strategi harga dan promosi berdasarkan data pelanggan.

Dengan ini, Tokopedia menyediakan pengalaman belanja online yang lebih baik

​Data Mining dalam Bisnis

Banyak keputusan bisnis dipengaruhi dari hasil pengolahan data.

Netflix menggunakan data mining untuk:
- menganalisis preferensi tontonan pelanggan,
- memprediksi jenis konten yang mungkin disukai oleh pengguna,
- menghasilkan rekomendasi yang sangat personal.
Ini membantu Netflix mempertahankan pelanggan, meningkatkan retensi, dan menghasilkan konten yang lebih sesuai dengan preferensi pemirsa.

Multiple Choice

Apa yang dimaksud dengan istilah "big data"?

• Sejumlah kecil data yang mudah dikelola

• Data yang hanya tersedia dalam format teks

• Sekumpulan data besar yang sulit dikelola dengan alat tradisional

• Data yang hanya digunakan dalam analisis statistik

Multiple Choice

Apa yang dimaksud dengan istilah "data mining"?

• Proses menggali logam dan mineral dari dalam tanah

• Proses menggali informasi berharga dari sejumlah besar data

• Proses menyimpan data dalam basis data

• Proses menggabungkan data dari berbagai sumber

Multiple Choice

Apa yang dimaksud dengan istilah "pattern recognition"?

• Proses mengidentifikasi dan menemukan pola dalam data atau informasi.

• Proses mengacak-acak data untuk membuat pola-pola baru.

• Proses menghitung statistik rata-rata dari data.

• Proses menyimpan data dalam basis data.

Multiple Choice

Pattern recognition termasuk bagian dari data mining

• Benar

• Salah

Hubungan Data Mining dalam Big Data

Sering disebut sebagai KDD (Knowledge discovery in database)

Data mining dan machine learning adalah dua bidang yang terkait erat dalam analisis data dan pengambilan informasi dari data.

Hasil dari data mining sering kali diintegrasikan dengan decision support system (DSS).

Sebagai contoh, dalam aplikasi bisnis informasi yang dihasilkan oleh data mining dapat diintegrasikan dengan tool manajemen kampanye produk sehingga promosi pemasaran yang efektif yang dilaksanakan dan dapat diuji.

Hubungan Data Mining dalam Big Data

Data Mining sebagai Proses: Data mining adalah proses ekstraksi pengetahuan atau pola dari data besar atau kompleks. Ini melibatkan penggunaan berbagai teknik statistik, matematika, dan komputasi untuk mengidentifikasi pola, tren, dan hubungan yang tersembunyi dalam data.

Hubungan Data Mining dalam Big Data

Machine Learning sebagai Alat: Machine Learning merupakan teknik dalam data mining yang memungkinkan komputer untuk belajar dari data dan membuat prediksi tanpa pemrograman eksplisit.
Dalam data mining, machine learning digunakan untuk mengidentifikasi pola atau tren dalam data secara lebih efisien.

Multiple Choice

Apa perbedaan utama antara statistik, machine learning, artificial intelligence, dan data mining?

• Statistik adalah cabang dari machine learning

• Machine learning adalah subdomain dari artificial intelligence

• Data mining fokus pada pengumpulan data, sedangkan yang lainnya berfokus pada pengolahan data.

• Semua empat konsep ini sama

Multiple Choice

Mana dari berikut ini adalah tujuan utama dari statistik?

• Membuat model prediktif

• Menganalisis data untuk mendapatkan pemahaman

• Mengembangkan agen cerdas yang dapat belajar

• Menemukan pola dalam data yang belum terdeteksi sebelumnya

Multiple Choice

Apa perbedaan utama antara machine learning dan artificial intelligence (AI)?

• Machine learning adalah bagian dari AI.

• AI adalah bagian dari machine learning.

• Machine learning melibatkan pembelajaran otomatis dari data.

• AI hanya fokus pada pemrosesan data tanpa pembelajaran.

Multiple Choice

Data mining sering digunakan untuk apa?

• Membuat kecerdasan buatan

• Menganalisis data historis

• Mengembangkan model prediktif

• Mengoptimalkan algoritma pembelajaran mesin

Teknik dalam analisis data yang digunakan untuk menggolongkan data ke dalam kategori atau kelas tertentu berdasarkan atribut atau karakteristiknya. Tujuannya adalah untuk mengajar komputer mengidentifikasi pola dan mengambil keputusan berdasarkan data yang telah diklasifikasikan sebelumnya.
Perbedaan utama antara klasifikasi dan klastering adalah:

1.Tujuan: Klasifikasi menggolongkan data ke dalam kategori yang telah ditentukan , sementara klastering bertujuan untuk mengelompokkan data ke dalam kesamaan atau pola yang ditemukan dalam data tanpa label.

2.Supervisi: Klasifikasi adalah metode supervisi, di mana model menggunakan label atau kategori yang telah ada untuk melatih diri.

Contoh Klasifikasi : memprediksi apakah email adalah spam atau bukan Contoh Klastering : mengelompokkan email menjadi kelompok yang memiliki pola atau topik yang mirip.

Klasifikasi

Teknik dalam analisis data yang digunakan untuk mengelompokkan data atau objek yang serupa atau mirip ke dalam kelompok atau "klaster" berdasarkan karakteristik atau atribut tertentu.

Tujuannya adalah untuk mengidentifikasi pola atau hubungan antara data dalam kelompok yang sama, sambil membedakan antara kelompok yang berbeda.

Klastering sering digunakan dalam berbagai aplikasi, seperti segmentasi pelanggan, analisis data genetika, dan pengelompokan data dalam penelitian ilmiah.

Klastering

Tugas yang biasa dilakukan Data Mining

Teknik yang digunakan untuk menemukan hubungan atau pola keterkaitan antara item atau atribut dalam dataset besar. Tujuannya adalah untuk mengidentifikasi asosiasi atau korelasi antara item-item yang sering muncul bersama dalam transaksi atau data.

Contoh asosiasi:

Dalam bisnis ritel, asosiasi sering digunakan untuk mengidentifikasi produk-produk yang sering dibeli bersamaan oleh pelanggan. Misalnya, jika dalam data penjualan ditemukan bahwa pelanggan yang membeli roti sering juga membeli mentega. Informasi ini dapat membantu toko untuk melakukan strategi penjualan yang lebih efektif, seperti menempatkan produk roti dan mentega dekat satu sama lain di rak toko.

Asosiasi

Teknik yang digunakan untuk memodelkan dan memprediksi hubungan antara variabel numerik. Tujuannya adalah untuk memahami dan memprediksi bagaimana satu atau lebih variabel independen memengaruhi variabel dependen.

Contoh regresi:

Misalkan kita ingin memprediksi harga rumah berdasarkan luas tanah sebagai variabel independen. Dalam analisis regresi, kita dapat mengembangkan model matematis yang menghubungkan luas tanah dengan harga rumah. Dengan model ini, kita dapat memperkirakan harga rumah berdasarkan ukuran tanah yang diberikan, sehingga membantu dalam penentuan harga properti yang tepat.

Regresi

Tugas yang biasa dilakukan Data Mining

Multiple Choice

Karakteristik atau informasi yang diambil dari data yang akan dianalisis dinamakan ...

• Variabel

• Fitur (Feature)

• Atribut

• Semua benar

Multiple Choice

Apa istilah yang umum digunakan dalam konteks pembelajaran mesin untuk menggambarkan karakteristik khusus dalam data yang digunakan sebagai input atau predictor dalam pengembangan model atau algoritma?

• Variabel

• Fitur (Feature)

• Atribut

• Data

Multiple Choice

Apa istilah yang merujuk pada karakteristik atau sifat yang terkait dengan objek atau entitas dalam dataset dalam konteks analisis data dan statistik?

• Variabel

• Fitur (Feature)

• Atribut

• Data

Multiple Choice

Istilah apa yang mengacu pada elemen atau entitas yang dapat mengalami perubahan atau variasi dalam data?

• Variabel

• Fitur (Feature)

• Atribut

• Data

Sebelum mempelajari teknik dalam data mining, mari kita bedakan dulu jenis metode belajar (learning)

Machine Learning

Multiple Choice

Apa jenis pembelajaran mesin yang melibatkan model yang diberi label dengan data pelatihan untuk memprediksi atau mengklasifikasikan hasil berdasarkan pola yang telah dikenali?

• Reinforcement learning

• Supervised learning

• Unsupervised learning

• Semi-supervised learning

Multiple Choice

Jenis pembelajaran mesin apa yang digunakan ketika tidak ada label pada data pelatihan, dan model berusaha untuk menemukan pola atau struktur dalam data tersebut?

• Reinforcement learning

• Supervised learning

• Unsupervised learning

• Semi-supervised learning

Multiple Choice

Manakah dari berikut ini yang merupakan metode pembelajaran mesin yang menggabungkan unsur dari supervised learning dan unsupervised learning, di mana beberapa data diberi label sementara yang lain tidak?

• Reinforcement learning

• Supervised learning

• Unsupervised learning

• Semi-supervised learning

Multiple Choice

Dalam supervised learning, apa istilah yang digunakan untuk variabel yang ingin diprediksi atau diklasifikasikan?

• Fitur (Feature)

• Label

• Model

• Klaster

Contoh Supervised Learning - Regresi

Menggunakan data untuk memprediksi nilai "Hasil Ujian" berdasarkan "Jam Belajar" sebagai variabel independen.

Contoh Supervised Learning - Klasifikasi

Menggunakan data untuk mengklasifikasikan apakah seorang pelanggan akan membeli produk ("Beli Produk") berdasarkan "Usia" dan "Penghasilan" sebagai variabel independen.

Contoh Unsupervised Learning - Klastering

Menggunakan data pelanggan toko online untuk mengelompokkan pelanggan ke dalam klaster berdasarkan "Pengeluaran Bulanan" dan "Frekuensi Pembelian."

Tujuannya untuk mengelompokkan pelanggan ke dalam kelompok yang memiliki pola pengeluaran dan pembelian yang mirip. Klastering membantu mengidentifikasi dan memahami kelompok pelanggan dengan perilaku yang serupa, sehingga dapat mengembangkan strategi pemasaran yang lebih sesuai untuk setiap kelompok.

Proses Hubungan Variabel, Label dalam Supervised Learning

-Fungsi set validasi dan testing sebenarnya sama, menguji model apakah perfomansinya sudah cukup bagus atau tidak ketika diterapkan untuk prediksi.

-Jika kurang, atur nilai parameter model untuk mendapatkan perfomansi yang lebih baik.

-Setelah dirasa bagus, dapat digunakan untuk melakukan tugas (mengelompokkan obyek tertentu yang belum diketahui labelnya / membuat prediksi)

Multiple Choice

Apa yang dimaksud dengan "data testing" dalam konteks evaluasi model pembelajaran mesin?

• Data yang digunakan untuk melatih model.

• Data yang digunakan untuk menilai bobot model.

• Data yang digunakan untuk menguji kinerja model setelah pelatihan.

• Data yang digunakan untuk memberikan umpan balik ke model.

Multiple Choice

Apa tujuan penggunaan "bobot" dalam pembelajaran mesin?

• Mengukur kinerja model.

• Menganalisis data training.

• Meningkatkan data testing.

• Mengatur parameter model untuk membuat prediksi yang akurat.

Jenis Nilai Pada Data Variabel/Atribut

Data Nominal: Data nominal adalah jenis data yang menggambarkan kategori atau label tanpa adanya urutan tertentu atau tingkatan antar kategori. Ini adalah tingkat pengukuran yang paling rendah.

Contoh: Jenis kelamin (Pria, Wanita), Warna mobil (Merah, Biru, Hijau).

Data Ordinal: Data ordinal adalah jenis data yang menggambarkan kategori dengan urutan atau tingkatan tertentu, tetapi jarak antara tingkatan tidak selalu konsisten atau dapat diukur.

Contoh: Tingkat kepuasan pelanggan (Tidak Puas, Cukup Puas, Sangat Puas), Kelas sosial (Rendah, Menengah, Tinggi).

Data Interval: Data interval adalah jenis data yang memiliki tingkatan atau urutan tertentu, dan jarak antara tingkatan dapat diukur dengan konsistensi. Data interval tidak memiliki nilai nol mutlak, yang berarti bahwa perbandingan rasio tidak bermakna.

Contoh: Suhu dalam derajat Celsius, Skala IQ.

Data Rasio: Data rasio adalah jenis data yang memiliki tingkatan atau urutan, jarak antar tingkatan dapat diukur dengan konsistensi, dan memiliki nilai nol mutlak yang bermakna.

Contoh: Usia, Berat badan, Pendapatan tahunan.

Dalam prakteknya, kebanyakan pengukuran dinyatakan sebagai data kontinyu (ordinal) atau diskrit (kategori, nominal)

Multiple Choice

Jenis data apa yang digunakan untuk mengelompokkan warna bendera negara?

• Nominal

• Ordinal

• Interval

• Rasio

Multiple Choice

Bagaimana Anda akan mengklasifikasikan tingkat kepuasan pelanggan (sangat puas, puas, tidak puas)?

• Nominal

• Ordinal

• Interval

• Rasio

Multiple Choice

Data apa yang mengukur suhu dalam derajat Celsius?

• Nominal

• Ordinal

• Interval

• Rasio

Multiple Choice

Data apa yang mengukur berat badan seseorang dalam kilogram?

• Nominal

• Ordinal

• Interval

• Rasio

Mengukur Performa dari Model Regresi

Regresi memiliki nilai output label (ground truth)
Ukuran nilai didapatkan dari selisih nilai error antara prediksi dan ground truth label
Kesimpulan : Nilai error kecil, maka performa modelny BAGUS
Ground Truth = y
Prediction = ŷ

Evaluasi model regresi adalah langkah penting dalam memeriksa seberapa baik model Anda cocok dengan data dan sejauh mana model tersebut dapat digunakan untuk membuat prediksi yang akurat. Berikut adalah beberapa metode umum untuk mengevaluasi model regresi:
1.Mean Squared Error (MSE) dan Root Mean Square Error (RMSE):
- MSE mengukur rata-rata dari kuadrat perbedaan antara nilai sebenarnya dan nilai yang diprediksi oleh model. Semakin kecil MSE, semakin baik model Anda.

-RMSE adalah akar kuadrat dari MSE dan memberikan hasil dalam satuan yang sama dengan data yang diamati. Ini lebih mudah diinterpretasikan.

2.Mean Absolute Error (MAE):

-MAE mengukur rata-rata dari nilai absolut perbedaan antara nilai sebenarnya dan nilai yang diprediksi oleh model. Semakin kecil MAE, semakin baik model Anda.

Mengukur Performa dari Model Regresi

3.Koefisien Determinasi (R-squared, R^2):

-R-squared adalah metrik yang mengukur seberapa baik model Anda sesuai dengan data. Nilai R-squared berkisar antara 0 hingga 1, dan semakin mendekati 1, semakin baik model Anda.

R-squared menjelaskan seberapa besar variabilitas dalam data yang dapat dijelaskan oleh model Anda.

4.Validasi Silang (Cross-Validation):

Cross-validation adalah teknik yang digunakan untuk mengukur kinerja model pada data yang tidak terlihat selama pelatihan. Metode cross-validation yang umum digunakan adalah validasi silang k-fold.

Ini membantu menghindari overfitting dan memberikan perkiraan yang lebih baik tentang seberapa baik model Anda akan berkinerja pada data baru.

5.Diagram Residual (Residual Plot):

Diagram residual adalah alat yang digunakan untuk memeriksa apakah terdapat pola tertentu dalam sisa-sisa (residuals) dari model. Jika ada pola yang menunjukkan bahwa model tidak cocok dengan baik, Anda mungkin perlu melakukan penyesuaian.

6.Uji Statistik:

Anda juga dapat menggunakan uji statistik seperti uji F dan uji t untuk menguji signifikansi variabel-variabel dalam model Anda. Uji ini membantu memastikan bahwa variabel yang digunakan dalam model memiliki dampak yang signifikan.

Pemilihan metode evaluasi tergantung pada konteks dan tujuan analisis Anda. Dalam beberapa kasus, Anda mungkin perlu menggabungkan beberapa metode evaluasi untuk mendapatkan gambaran yang lengkap tentang kinerja model regresi.

Mengukur Performa dari Model Klasifikasi

Dalam mengevaluasi performance algoritma dari Machine Learning (ML) (khususnya supervised learning), kita menggunakan acuan Confusion Matrix.

Confusion Matrix merepresentasikan prediksi dan kondisi sebenarnya (aktual) dari data yang dihasilkan oleh algoritma ML.

Berdasarkan Confusion Matrix, kita bisa menentukan Accuracy, Precission, Recall dan Specificity.

Dari hasil prediksi di atas, hanya ada kemungkinan 4 kasus yang terjadi:

True Positive (TP) : kasus dimana mahasiswa diprediksi (Positif) DO, memang benar(True) DO. Dalam contoh di atas adalah 4 mahasiswa dengan NIM 007, 008, 009, 010. Jadi nilai TP nya adalah 4

True Negative (TN) : kasus dimana mahasiswa diprediksi tidak(Negatif) DO dan sebenarnya mahasiswa tersebut memang (True) tidak DO. Dalam contoh di atas terjadi pada mahasiswa 001, 002, dan 003. Jadi TN nya adalah 3

False Positve (FP) : kasus dimana mahasiswa yang diprediksi positif DO, ternyata tidak DO. Prediksinya salah (False). Dalam contoh di atas terjadi pada mahasiswa 004 dan 005. Jadi nilai FP adalah 2

False Negatif (FN): kasus dimana mahasiswa yang diprediksi tidak DO (Negatif), tetapi ternyata sebenarnya(TRUE) DO. Dalam contoh kasus di atas terjadi pada mahasiswa 010. jadi FN = 1

Cara mudah untuk mengingatnya adalah :

Jika diawali dengan TRUE maka prediksinya benar, entah diprediksi terjadi atau tidak terjadi. Dalam kasus di atas, entah diprediksi DO atau Tidak DO, data sebenarnya adalah seperti itu.

Jika diawali dengan FALSE maka menyatakan prediksinya salah

Positif dan Negatif merupakan hasil prediksi dari program.

Mengukur Performa dari Model Klasifikasi

Accuracy

Merupakan rasio prediksi Benar (positif dan negatif) dengan keseluruhan data. Akurasi menjawab pertanyaan “Berapa persen mahasiswa yang benar diprediksi DO dan Tidak DO dari kesuluruhan mahasiswa”

Akurasi = (TP + TN ) / (TP+FP+FN+TN)

pada contoh kasus di atas, Akurasi = (4+3) / (4+2+1+3) = 7/10 = 70%

Precission

Merupakan rasio prediksi benar positif dibandingkan dengan keseluruhan hasil yang diprediksi positf. Precission menjawab pertanyaan “Berapa persen mahasiswa yang benar DO dari keseluruhan mahasiswa yang diprediksi DO?”

Precission = (TP) / (TP+FP)

pada contoh kasus di atas, Precission = 4 / (4+2) = 4/6 = 67%.

Recall (Sensitifitas)

Merupakan rasio prediksi benar positif dibandingkan dengan keseluruhan data yang benar positif. Recall menjawab pertanyaan “Berapa persen mahasiswa yang diprediksi DO dibandingkan keseluruhan mahasiswa yang sebenarnya DO”.

Recall = (TP) / (TP + FN)

pada contoh kasus di atas Recall = 4/(4+1) = 4/5 =80%.

Specificity

Merupakan kebenaran memprediksi negatif dibandingkan dengan keseluruhan data negatif. Specificity menjawab pertanyaan “Berapa persen mahasiswa yang benar diprediksi tidak DO dibandingkan dengan keseluruhan mahasiswa yang sebenarnya tidak DO”.

Specificity = (TN)/ (TN + FP)

F1 Score

F1 Score merupakan perbandingan rata-rata presisi dan recall yang dibobotkan

F1 Score = 2 (RecallPrecission) / (Recall + Precission)

dalam kasus di atas, F1 Score = 2* (80%*67%) / ( 80% + 67%) = 72,93%

Mengukur Performa dari Model Klastering

Indeks Silhouette (Silhouette Score) adalah metrik evaluasi yang digunakan dalam klastering untuk mengukur sejauh mana objek-objek dalam satu klaster serupa dengan satu sama lain dan berbeda dari klaster lainnya.
Metrik ini membantu mengevaluasi seberapa baik klastering telah berhasil dalam memisahkan dan mengelompokkan data.

Silhouette Score dihitung untuk setiap objek dalam dataset, dan kemudian diambil rata-rata untuk semua objek. Nilai Silhouette Score berkisar dari -1 hingga 1, dan dapat diinterpretasikan sebagai berikut:

-Nilai positif dekat dengan 1: Menunjukkan bahwa objek-objek dalam klaster tersebut berada dekat dengan satu sama lain dan berbeda secara signifikan dari klaster lainnya. Ini menunjukkan klaster yang baik.

-Nilai mendekati 0: Menunjukkan bahwa objek tersebut berada dekat dengan batas antara dua klaster atau berada dalam klaster yang ambigu.

-Nilai mendekati -1: Menunjukkan bahwa objek tersebut lebih dekat dengan klaster lain daripada dengan klaster tempat ia berada. Ini menunjukkan bahwa klastering mungkin tidak berhasil.

Cara menghitung Silhouette Score untuk objek individual adalah sebagai berikut:

1.Hitung jarak rata-rata (a) antara objek tersebut dan semua objek lain dalam klaster yang sama. Ini mengukur sejauh mana objek tersebut serupa dengan anggota klaster lainnya.

2.Hitung jarak rata-rata (b) antara objek tersebut dan semua objek dalam klaster lain terdekat (klaster yang berbeda dengan klaster tempat objek tersebut berada). Ini mengukur sejauh mana objek tersebut berbeda dari klaster lainnya.

3.Hitung nilai Silhouette Score untuk objek tersebut menggunakan rumus berikut:

Silhouette Score = (b - a) / max(a, b)

4.Ulangi langkah 1 hingga 3 untuk semua objek dalam dataset.

5.Ambil rata-rata Silhouette Score dari semua objek untuk mendapatkan Silhouette Score keseluruhan untuk klastering.

Nilai Silhouette Score keseluruhan dapat digunakan untuk membandingkan kualitas klastering yang berbeda. Semakin tinggi Silhouette Score, semakin baik klasteringnya, dengan nilai maksimum 1 yang menunjukkan klaster yang sangat baik dan nilai negatif yang menunjukkan klastering yang buruk.

Multiple Choice

Bagaimana Anda dapat mengukur kualitas klastering dalam model machine learning?

• Dengan menggunakan Mean Absolute Error (MAE)

• Dengan menggunakan Silhouette Score

• Dengan menggunakan F1-Score

• Dengan menggunakan Akurasi

Multiple Choice

Apa yang diukur oleh metrik Akurasi dalam evaluasi model klasifikasi?

• Kesalahan prediksi

• Kemampuan model untuk mengukur keberhasilan dalam mengelompokkan data

• Jumlah klaster yang dibentuk oleh model

• Tingkat ketidakpastian dalam data

Multiple Choice

Dalam model regresi, apa yang diukur oleh Mean Squared Error (MSE)?

• Kesalahan prediksi

• Tingkat keberhasilan dalam mengelompokkan data

• Jumlah klaster yang dibentuk oleh model

• Tingkat ketidakpastian dalam data

Multiple Choice

Apa manfaat dari menggunakan validasi silang (cross-validation) dalam evaluasi model machine learning?

• Menentukan jumlah klaster yang optimal dalam klastering

• Mengukur akurasi model klasifikasi

• Mengevaluasi seberapa baik model dapat memodelkan data dalam regresi

• Menghindari Overfitting