Metric Evaluation

Seorang peneliti membandingkan dua model object detection. Model A: mAP tinggi tapi FPS rendah. Model B: mAP lebih rendah tapi FPS tinggi. Jika model digunakan di mobil otonom, mana lebih baik?

• Model A

• Model B

• Sama saja

• Tidak bisa dipakai

Seorang data enginer ingin membangun model prediksi penyakit langka. Namun dataset penyakit langka tersebut jumlahnya kecil, sehingga evaluasi tidak boleh bergantung threshold. Metrik yang tepat menilai performa model tersebut adalah:

• Accuracy

• ROC-AUC

• Recall

• RMSE

Model YOLO mendeteksi objek dengan IoU rendah. Apa artinya

• Bounding box tidak pas menutupi objek

• Model overfitting

• Recall rendah

• Akurasi tinggi

BLEU score digunakan untuk:

• Evaluasi terjemahan otomatis

• Evaluasi regresi

• Evaluasi object detection

• Evaluasi akurasi

Gmail menggunakan model klasifikasi spam. User lebih marah jika email normal masuk folder spam. Metrik penting yang harus bernilai tinggi adalah:

• Recall

• Precision

• Accuracy

• F1-score

Jika Model prediksi gaji: memiliki data aktual = [50, 60, 70] dalam juta rupiah, dan hasil prediksinya adalah= [55, 65, 65]. Hitung MAE.

Sebuah rumah sakit melatih model deteksi kanker payudara. Model A: Precision = 95%, Recall = 60%. Model B: Precision = 70%, Recall = 90%. Dokter ingin jangan sampai pasien sakit lolos terdeteksi sehat. Model terbaik adalah:

• Model A

• Model B

• Sama saja

• Tidak bisa dibandingkan

Dalam K-fold cross validation, jika jumlah fold semakin besar (misal k=20), maka

• Variansi hasil makin rendah

• Waktu komputasi makin lama

• Training makin cepat

• Model tidak berubah

F1-score lebih berguna dibanding akurasi ketika

• Dataset seimbang

• Model tidak ada error

• Dataset imbalanced

• Data sangat besar

Jika nilai metrik RMSE sebuah model adalah 0, artinya:___

• Model salah besar

• Prediksi sama persis dengan data aktual

• Semua data imbalanced

• Variansi sangat tinggi