Quiz Algoritma K-NN

Apa yang dimaksud dengan algoritma K-NN (K-Nearest Neighbor)?

• Algoritma yang memodifikasi data latih sebelum proses klasifikasi.

• Algoritma yang menyimpan seluruh data latih dan mengklasifikasikan data baru berdasarkan kemiripan.

• Algoritma yang menentukan batas keputusan berdasarkan rumus khusus dengan parameter tetap.

• Algoritma yang hanya dapat digunakan jika data berdistribusi normal.

Mengapa algoritma K-NN disebut sebagai lazy learner?

• Karena K-NN membuat model kompleks sebelum memprediksi data baru.

• Karena K-NN langsung menghapus data latih setelah fase pelatihan.

• Karena K-NN tidak melakukan proses belajar mendalam saat fase pelatihan dan hanya menghitung jarak saat prediksi.

• Karena K-NN menggunakan banyak waktu untuk melatih model dan sedikit waktu saat memprediksi.

Jika nilai K pada K-NN ditetapkan sangat kecil (misalnya K=1), apa kemungkinan yang dapat terjadi?

• Model akan kesulitan mengklasifikasikan karena data terlalu sedikit.

• Model cenderung underfitting sehingga semua data digolongkan sama.

• Model cenderung overfitting karena terlalu sensitif terhadap data latih.

• Model tidak dapat menghitung jarak Euclidean dengan benar.

Jika kita memperbesar nilai K secara berlebihan, apa efek yang mungkin muncul?

• Data baru selalu ditempatkan di kelas minoritas karena jarak paling kecil.

• Model dapat mengabaikan struktur lokal data dan cenderung underfitting.

• Model pasti memiliki nilai akurasi yang tertinggi pada data latih.

• Model langsung memisahkan data berdasarkan jarak terdekat saja.

Apa perbedaan utama K-NN dengan algoritma yang bersifat parametric?

• K-NN memerlukan penyesuaian parameter untuk distribusi data, sedangkan algoritma parametric tidak.

• K-NN tidak membuat asumsi khusus tentang distribusi data, sedangkan parametric membuat asumsi tertentu.

• K-NN hanya digunakan untuk data kategorik, sedangkan parametric hanya untuk data numerik.

• K-NN selalu menggunakan jarak Manhattan, sementara parametric menggunakan jarak Euclidean.

Bila kita memiliki dua kategori data (A dan B) dan untuk titik data baru terdapat tiga tetangga terdekat kategori A serta dua tetangga terdekat kategori B (dengan K=5), maka data baru diklasifikasikan ke:

• Kategori A, karena mayoritas tetangga terdekatnya adalah A.

• Kategori B, karena B lebih jauh jaraknya.

• Tidak dapat ditentukan karena selisih satu tetangga terlalu kecil.

• Ditunda sampai menemukan tetangga ke-6.

Perhatikan pernyataan berikut: "K-NN dapat menjadi sangat mahal secara komputasi ketika memproses data baru." Apa alasannya?

• Karena setiap prediksi membutuhkan pembentukan model baru.

• Karena K-NN melakukan penghapusan data yang tidak relevan setiap kali melakukan klasifikasi.

• Karena K-NN menghitung jarak ke seluruh sampel data latih saat menentukan tetangga terdekat.

• Karena K-NN hanya dapat berjalan pada data yang sudah terurut dengan sempurna.

Jika error training rate pada K=1 adalah 0, tetapi validasi error rate cukup tinggi, apa kesimpulan yang mungkin?

• Model mengalami overfitting karena hanya cocok untuk data latih.

• Model mengalami underfitting karena tidak mengenali pola pada data latih.

• Model akan selalu memiliki akurasi 100% di semua data.

• Model tidak berfungsi karena error yang berbeda antara data latih dan data validasi.

Mengapa pemilihan K yang terlalu besar berisiko mengaburkan batas antara kelas yang berbeda?

• Karena banyaknya jarak yang dihitung dapat menurunkan kecepatan komputasi secara drastis.

• Karena data baru akan diabaikan sepenuhnya.

• Karena mayoritas kelas tidak lagi mewakili pola lokal, sehingga batas kelas menjadi terlalu "halus."

• Karena kita tidak dapat menggunakan jarak Euclidean pada data yang sangat besar.

Jika seorang analis menemukan bahwa dengan menaikkan K sedikit demi sedikit, error pada data validasi sempat turun lalu naik kembali, apa yang sebaiknya dilakukan?

• Memilih K paling kecil untuk meminimalkan error pada data latih.

• Memilih K paling besar untuk memastikan keputusan lebih global.

• Memilih K pada titik di mana validasi error mencapai nilai minimum.

• Menghentikan eksperimen dan memakai K=1 agar selalu akurat di data latih.