QUIZ IV NLP

Apa yang dimaksud dengan "Inverse Document Frequency (IDF)" dalam konteks pembobotan dokumen?

• Pengukuran frekuensi kata dalam satu dokumen

• Pengukuran pentingnya kata dalam seluruh koleksi dokumen

• Pengukuran panjang dokumen

• Pengukuran kesamaan antar dokumen

Mana dari berikut ini yang merupakan keuntungan utama menggunakan TF-IDF dibandingkan hanya menggunakan Term Frequency (TF)?

• TF-IDF lebih cepat dihitung

• TF-IDF mengurangi pengaruh kata-kata yang sering muncul di banyak dokumen

• TF-IDF hanya memperhitungkan kata-kata yang jarang muncul dalam satu dokumen

• TF-IDF tidak membutuhkan penghitungan frekuensi kata

Jika sebuah kata muncul di semua dokumen dalam koleksi, maka nilai IDF dari kata tersebut adalah:

• 0

• 1

• Tak terhingga

• Sama dengan nilai TF

Manakah dari berikut ini yang dapat menyebabkan nilai TF-IDF yang tinggi untuk suatu kata dalam dokumen?

• Kata tersebut sering muncul di banyak dokumen

• Kata tersebut jarang muncul dalam dokumen, tetapi muncul sering dalam koleksi dokumen

• Kata tersebut sangat sering muncul dalam dokumen dan juga jarang muncul dalam koleksi dokumen

• Kata tersebut tidak muncul dalam dokumen sama sekali

Pada penggunaan sklearn untuk pembobotan dokumen, fungsi yang digunakan untuk menghitung matrik TF-IDF adalah....

• TfidfTransformer()

• TfidfVectorizer()

• CountVectorizer()

• fit_transform()

Manakah dari berikut ini yang benar mengenai teknik TF-IDF?

• TF-IDF bergantung sepenuhnya pada frekuensi kata dalam satu dokumen

• IDF memberikan bobot lebih tinggi pada kata-kata yang lebih sering muncul dalam seluruh koleksi dokumen

• TF-IDF mengurangi bobot kata-kata umum yang sering muncul di banyak dokumen

• TF-IDF hanya cocok untuk analisis teks berbahasa Inggris

Dalam konteks pembobotan dokumen, apa tujuan utama dari fit() dalam sklearn?

• Menghitung frekuensi kata dalam dokumen

• Membuat model untuk menghitung TF dari setiap dokumen

• Melakukan normalisasi terhadap term frequency

• Mempelajari kosa kata atau kamus yang ada dalam koleksi dokumen

Apa yang akan terjadi jika nilai IDF sebuah kata sangat tinggi?

• Kata tersebut dianggap tidak relevan dalam analisis

• Kata tersebut akan diberi bobot rendah dalam perhitungan TF-IDF

• Kata tersebut dianggap jarang muncul di koleksi dokumen dan memiliki informasi yang signifikan

• Nilai TF dari kata tersebut akan otomatis menjadi 0

Jika dalam sebuah koleksi dokumen terdapat 5 dokumen dan sebuah kata muncul hanya di 1 dokumen, bagaimana perhitungan IDF-nya jika N=5\text{N} = 5N=5?

• log(5/1)=log5

• log(5/4)=log1.25

• 1/5

• IDF=0

Apa kelemahan utama dari metode TF-IDF dalam pengolahan teks?

• Tidak dapat menangani teks dalam bahasa non-Inggris

• Tidak memperhitungkan urutan kata dalam dokumen

• Sangat lambat dalam menghitung bobot kata-kata yang umum

• Menghasilkan terlalu banyak fitur yang tidak berguna