Font size
WorksheetsMetric Evaluation
Total questions: 10
Worksheet time: 6mins
Seorang peneliti membandingkan dua model object detection. Model A: mAP tinggi tapi FPS rendah. Model B: mAP lebih rendah tapi FPS tinggi. Jika model digunakan di mobil otonom, mana lebih baik?
Model A
Model B
Sama saja
Tidak bisa dipakai
Seorang data enginer ingin membangun model prediksi penyakit langka. Namun dataset penyakit langka tersebut jumlahnya kecil, sehingga evaluasi tidak boleh bergantung threshold. Metrik yang tepat menilai performa model tersebut adalah:
Accuracy
ROC-AUC
Recall
RMSE
Model YOLO mendeteksi objek dengan IoU rendah. Apa artinya
Bounding box tidak pas menutupi objek
Model overfitting
Recall rendah
Akurasi tinggi
BLEU score digunakan untuk:
Evaluasi terjemahan otomatis
Evaluasi regresi
Evaluasi object detection
Evaluasi akurasi
Gmail menggunakan model klasifikasi spam. User lebih marah jika email normal masuk folder spam. Metrik penting yang harus bernilai tinggi adalah:
Recall
Precision
Accuracy
F1-score
Jika Model prediksi gaji: memiliki data aktual = [50, 60, 70] dalam juta rupiah, dan hasil prediksinya adalah= [55, 65, 65]. Hitung MAE.
(a)
Sebuah rumah sakit melatih model deteksi kanker payudara. Model A: Precision = 95%, Recall = 60%. Model B: Precision = 70%, Recall = 90%. Dokter ingin jangan sampai pasien sakit lolos terdeteksi sehat. Model terbaik adalah:
Model A
Model B
Sama saja
Tidak bisa dibandingkan
Dalam K-fold cross validation, jika jumlah fold semakin besar (misal k=20), maka
Variansi hasil makin rendah
Waktu komputasi makin lama
Training makin cepat
Model tidak berubah
F1-score lebih berguna dibanding akurasi ketika
Dataset seimbang
Model tidak ada error
Dataset imbalanced
Data sangat besar
Jika nilai metrik RMSE sebuah model adalah 0, artinya:___
Model salah besar
Prediksi sama persis dengan data aktual
Semua data imbalanced
Variansi sangat tinggi
