Day 16 - Serius bat gaboong

Dalam konteks pembelajaran mesin, ensemble learning adalah teknik yang menggabungkan prediksi dari beberapa model untuk menghasilkan prediksi yang lebih akurat dibandingkan dengan model tunggal. Dalam kasus regresi, tujuan utamanya adalah untuk:

• Mengklasifikasikan data ke dalam kategori yang berbeda.

• Mengurangi varians tanpa meningkatkan bias secara signifikan.

• Meningkatkan kecepatan pelatihan model.

• Mengurangi dimensi dari dataset.

Ensemble Learning adalah teknik yang menggabungkan prediksi dari beberapa model untuk menghasilkan prediksi yang lebih baik dibandingkan dengan menggunakan model tunggal. Pendekatan ini sangat berguna dalam kasus-kasus tertentu. Manakah dari opsi berikut ini yang bukan alasan mengapa Ensemble Learning sering kali menghasilkan performa yang lebih baik dalam tugas regresi?

• Meningkatkan keakuratan prediksi dengan menggabungkan kekuatan masing-masing model individu.

• Mengurangi varians dari prediksi dengan menggunakan rata-rata atau voting mayoritas, sehingga menghasilkan model yang lebih stabil.

• Mempercepat waktu pelatihan model karena menggunakan algoritma yang lebih sederhana dibandingkan dengan model tunggal.

• Mengurangi risiko overfitting dengan menggabungkan prediksi dari model yang dilatih pada dataset yang berbeda atau dengan parameter yang berbeda.

Bagging, singkatan dari Bootstrap Aggregating, adalah teknik ensemble learning yang meningkatkan stabilitas dan akurasi dari algoritma machine learning. Ini dilakukan dengan cara:

• Melatih model secara berurutan dengan memberikan bobot lebih pada sampel yang salah diklasifikasikan.

• Menggabungkan prediksi dari berbagai model dengan memilih kelas yang paling sering.

• Membuat beberapa subset dari dataset asli dengan pengambilan sampel ulang dengan penggantian dan melatih model pada setiap subset tersebut.

• Menggunakan sebuah meta-model untuk menggabungkan prediksi dari model-model dasar.

Dalam Bagging (Bootstrap Aggregating), setiap model dalam ensemble dilatih secara independen pada sampel data yang diambil dengan penggantian dari dataset asli. Teknik ini efektif dalam mengurangi varians model. Apakah pernyataan berikut ini benar mengenai Bagging?

• Bagging secara khusus meningkatkan bias model dan mengurangi varians.

• Setiap model dalam Bagging harus berbeda secara algoritma untuk efektivitas maksimal.

• Bagging dapat menggunakan jenis model yang sama atau berbeda asalkan dilatih pada sampel data yang berbeda.

• Bagging tidak efektif untuk model yang sudah memiliki bias yang rendah dan varians yang tinggi.

Adaptive Boosting (AdaBoost) adalah metode boosting yang bertujuan untuk meningkatkan kinerja model regresi dengan

• Membuat dan menggabungkan ratusan model kecil yang lemah untuk membentuk model yang kuat.

• Memberikan bobot yang sama pada setiap prediksi dari model yang berbeda.

• Secara iteratif menyesuaikan bobot dari sampel yang salah diklasifikasikan sehingga model berikutnya dapat fokus pada kasus yang lebih sulit.

• Memilih secara acak fitur-fitur dari dataset untuk mengurangi dimensi.

Dalam teknik Boosting seperti Adaptive Boosting (AdaBoost), proses pelatihan model dilakukan secara berurutan dengan setiap model berikutnya berusaha memperbaiki kesalahan dari model sebelumnya. Bagaimana cara Adaptive Boosting mengurangi kesalahan pada model ensemble?

• Dengan memberikan bobot yang lebih tinggi pada observasi yang salah diprediksi oleh model sebelumnya, sehingga model berikutnya dapat fokus pada kasus sulit tersebut.

• Dengan menggabungkan model secara acak tanpa memperhatikan performa model individu.

• Dengan menggunakan setiap model untuk memprediksi variabel target yang berbeda dalam dataset.
  

• Dengan melatih setiap model pada dataset lengkap tanpa sampling atau penggantian.

Stacking (stacked generalization) adalah metode untuk menggabungkan berbagai model pembelajaran mesin dengan:

• Membagi dataset menjadi beberapa subset dan melatih setiap model pada satu subset.

• Memilih satu model berdasarkan kinerja validasi silang terbaik dan mengabaikan model lainnya.

• Melatih model-model dasar pada dataset yang sama, kemudian menggunakan prediksi dari model-model tersebut sebagai input untuk meta-model yang membuat prediksi akhir.

• Memberikan bobot yang sama untuk prediksi dari setiap model dasar.

Dalam meningkatkan kinerja model ensemble, Optuna digunakan untuk:

• Secara otomatis dan efisien mencari hyperparameter terbaik menggunakan teknik seperti grid search.

• Membuat visualisasi dari struktur model ensemble untuk analisis mendalam.

• Menyediakan dataset sintetis untuk testing performa model.

• Framework ini memfasilitasi pencarian hyperparameter dengan teknik optimasi berbasis gradient.

Ketika mengevaluasi model ensemble dalam regresi, metrik yang sering digunakan untuk mengukur kinerja termasuk:

• Accuracy dan Precision.

• Mean Squared Error (MSE) dan Mean Absolute Error (MAE).

• F1 Score dan Recall.

• Area Under the ROC Curve (AUC-ROC).

Dalam konteks regresi, overfitting terjadi ketika model terlalu kompleks, mengakibatkan:

• Performa yang buruk pada data latih namun baik pada data uji.

• Performa yang baik pada data latih namun buruk pada data uji.

• Model tidak mampu mempelajari pola apapun dari data.

• Konsistensi hasil yang baik antara data latih dan data uji.