CountVectorizer dan TfidfVectorizer adalah alat dari Scikit-learn yang berfungsi untuk...

Mengubah teks menjadi representasi numerik (fitur)

Membersihkan data teks dari angka

Dalam algoritma SVM, hyperplane adalah...

Batas keputusan yang memisahkan kelas-kelas dalam ruang fitur

Titik data yang paling sulit diklasifikasikan

Fungsi yang digunakan untuk memetakan data ke dimensi lebih tinggi

Jumlah iterasi maksimum untuk melatih model

Dalam kode train_test_split(X, y, test_size=0.3), parameter test_size=0.3 berarti...

30% dari data akan digunakan sebagai data uji (testing set)

Data akan dibagi menjadi 3 bagian

Hanya 30% dari total fitur yang akan digunakan

Proses pengujian akan diulang sebanyak 3

Pada evaluasi model, False Positive (FP) adalah kondisi di mana...

Model memprediksi kelas positif, tetapi prediksi tersebut salah (aktualnya negatif)

Model memprediksi kelas negatif, dan prediksi tersebut salah

Model memprediksi kelas positif, dan prediksi tersebut benar

Model memprediksi kelas negatif, dan prediksi tersebut benar

Apa trade-off utama antara menggunakan stemming dan lematisasi?

Stemming lebih cepat namun kurang akurat secara linguistik, sedangkan lematisasi lebih akurat namun lebih lambat secara komputasi

Keduanya memiliki kecepatan dan akurasi yang sama

Stemming hanya untuk data besar, lematisasi untuk data kecil

Lematisasi lebih mudah diimplementasikan daripada stemming

Mengapa tokenisasi menggunakan word_tokenize dari NLTK atau spaCy lebih disarankan daripada metode .split() bawaan Python untuk tugas NLP?

word_tokenize dapat menangani kasus-kasus kompleks seperti tanda baca yang menempel pada kata dan kontraksi dengan lebih baik

Metode .split() lebih cepat dan efisien

.split() secara otomatis melakukan lowercasing

word_tokenize hanya memisahkan berdasarkan spasi

Menurut dokumen, dalam situasi manakah penghapusan stopword mungkin tidak diinginkan?

Untuk analisis sintaksis atau model bahasa yang memerlukan konteks gramatikal lengkap

Dalam tugas klasifikasi teks atau topic modeling

Ketika korpus data sangat besar

Saat melakukan analisis sentimen

Apa peran dari hidden layers (lapisan tersembunyi) dalam sebuah Neural Network?

Melakukan transformasi non-linear pada input untuk mempelajari pola yang kompleks

Menerima data input awal dari dataset

Menghasilkan prediksi klasifikasi akhir

Menyimpan bobot model yang telah dilatih

Jika sebuah model klasifikasi spam memiliki presisi tinggi tetapi recall rendah, apa artinya?

Sebagian besar email yang diprediksi sebagai spam memang benar-benar spam, tetapi banyak email spam yang lolos dan tidak terdeteksi

Model salah mengklasifikasikan banyak email biasa sebagai spam

Model berhasil mendeteksi hampir semua email spam, tetapi juga salah menandai banyak email biasa sebagai spam

Model memiliki akurasi yang sangat tinggi secara keseluruhan

Apa keterbatasan utama dari fitur pra-pemrosesan bawaan pada CountVectorizer dan TfidfVectorizer di Scikit-learn?

Tidak menyediakan fungsi stemming atau lematisasi secara langsung

Tidak bisa melakukan lowercasing secara otomatis

Tidak mampu melakukan tokenisasi

Hanya mendukung Bahasa Inggris untuk stopword removal

Hipotesis distribusional ("you shall know a word by the company it keeps") adalah ide utama di balik teknik...

Word Embeddings (seperti Word2Vec)

Anda sedang membangun pengklasifikasi sentimen untuk ulasan produk berbahasa Indonesia. Porter Stemmer tidak ideal untuk Bahasa Indonesia dan WordNet Lemmatizer untuk Bahasa Inggris. Bagaimana Anda akan merancang pipeline pra-pemrosesan yang kuat menggunakan TfidfVectorizer dari Scikit-learn dengan mengintegrasikan stemmer Bahasa Indonesia yang tepat, berdasarkan petunjuk dalam dokumen?

Membuat fungsi tokenizer kustom yang di dalamnya menggunakan library eksternal untuk stemming Bahasa Indonesia (seperti PySastrawi yang diisyaratkan ), lalu memberikan fungsi tersebut ke parameter tokenizer dari TfidfVectorizer

Menggunakan TfidfVectorizer dengan parameter stop_words='indonesian' karena sudah mencakup stemming

Mengabaikan stemming karena Scikit-learn tidak mendukungnya secara bawaan

Menggunakan TfidfVectorizer saja karena TF-IDF sudah cukup untuk menangani variasi kata

Sebuah model klasifikasi berita (topik: olahraga, politik, teknologi) mencapai akurasi 95%. Namun, laporan klasifikasi menunjukkan F1-score yang sangat rendah untuk kategori 'teknologi'. Apa kemungkinan penyebab utama dari diskrepansi ini dan langkah apa, berdasarkan konsep dari dokumen, yang dapat diambil untuk memperbaikinya?

Penyebab: Kelas 'teknologi' kemungkinan sangat tidak seimbang (jumlah datanya jauh lebih sedikit) dan/atau fiturnya tumpang tindih dengan kelas lain. Solusi: Lakukan analisis data untuk memeriksa keseimbangan kelas, coba resampling, dan lakukan hyperparameter tuning pada model (misalnya SVM atau Neural Network) yang mungkin lebih baik dalam menangani batas keputusan yang kompleks

Penyebab : Akurasi tinggi karena model menebak mayoritas kelas (olahraga, politik) dengan benar, sementara gagal pada kelas minoritas ('teknologi'). Solusi : Menggunakan TfidfVectorizer daripada CountVectorizer untuk meningkatkan representasi fitur

Penyebab : F1-score adalah metrik yang tidak stabil. Solusi : Abaikan F1-score dan percaya pada akurasi

Penyebab: Data 'teknologi' terlalu banyak. Solusi: Kurangi jumlah data untuk kategori 'teknologi' agar seimbang dengan yang lain

Apa yang direpresentasikan oleh skor TF-IDF dan bagaimana perbedaannya dengan CountVectorizer (Bag-of-Words)?

TF-IDF memberikan bobot pentingnya sebuah kata dalam dokumen relatif terhadap seluruh korpus, sedangkan CountVectorizer hanya menghitung frekuensi mentah

TF-IDF hanya menghitung frekuensi kata, sama seperti CountVectorizer

CountVectorizer lebih baik untuk algoritma SVM, sedangkan TF-IDF lebih baik untuk Naive Bayes

TF-IDF mengubah kata menjadi vektor, sedangkan CountVectorizer tidak

Text Mining 2

Quiz

•

Science

•

3rd Grade

•

Practice Problem

•

Medium

Yudhistira Wijaya

Used 8+ times

FREE Resource

Visual Studio Code

Sublime Text

Create a free account and access millions of resources

Create resources

Host any resource

Get auto-graded reports

Continue with Google

Continue with Email

Continue with Classlink

Continue with Clever

or continue with

Microsoft

Apple

Others

Already have an account?

Similar Resources on Wayground

20 questions

sistem pencernaan smk farmasi kls xi

Quiz

•

1st - 3rd Grade

20 questions

Set 4 Kuiz Sains F3 by Cikgu Kamal

Quiz

•

3rd Grade

20 questions

LATIHAN PAS TEMA 2 KELAS 3

Quiz

•

3rd Grade

24 questions

Science Review 3rd

Quiz

•

3rd Grade

20 questions

Prakarya Pengolahan 8

Quiz

•

1st - 12th Grade

20 questions

Sistem organisasi kehidupan makhluk hidup

Quiz

•

1st Grade - Professio...

20 questions

Tema 7 Sub Tema 4 Kelas 3

Quiz

•

3rd Grade

20 questions

SOAL SUMBER ENERGI KELAS 7

Quiz

•

1st Grade - University

Popular Resources on Wayground

5 questions

This is not a...winter edition (Drawing game)

Quiz

•

1st - 5th Grade

15 questions

4:3 Model Multiplication of Decimals by Whole Numbers

Quiz

•

5th Grade

25 questions

Multiplication Facts

Quiz

•

5th Grade

10 questions

The Best Christmas Pageant Ever Chapters 1 & 2

Quiz

•

4th Grade

12 questions

Unit 4 Review Day

Quiz

•

3rd Grade

10 questions

Identify Iconic Christmas Movie Scenes

Interactive video

•

6th - 10th Grade

20 questions

Christmas Trivia

Quiz

•

6th - 8th Grade

18 questions

Kids Christmas Trivia

Quiz

•

KG - 5th Grade

Discover more resources for Science

12 questions

Unit 4 Review Day

Quiz

•

3rd Grade

10 questions

Exploring the Water Cycle

Interactive video

•

1st - 5th Grade

15 questions

Science MYF review

Quiz

•

3rd Grade

20 questions

Christmas 3rd grade

Quiz

•

3rd Grade

16 questions

3rd Grade-CUA 3-Topic 3 (Weather)

Quiz

•

3rd Grade

21 questions

Area

Quiz

•

3rd Grade

31 questions

Weather Test REVIEW

Quiz

•

3rd Grade

25 questions

Quarters 1 and 2 Review

Quiz

•

3rd Grade

Text Mining 2

25 questions

Tujuan utama dari tahap text preprocessing adalah...

Library NLP modern yang dirancang untuk efisiensi dan penggunaan skala produksi dengan pendekatan terintegrasi adalah...

Proses memberi label pada setiap kata dalam kalimat sesuai dengan kelas katanya (misal: kata benda, kata kerja) disebut...

Dalam konteks NER, entitas seperti nama negara atau kota (misal: 'Jakarta') dikategorikan sebagai...

Selain 3V, tantangan lain dalam mengelola Big Data yang disebutkan dalam dokumen adalah...

Keuntungan utama menggunakan Google Colab seperti yang dijelaskan dalam dokumen adalah...

Aplikasi web open-source yang memungkinkan Anda membuat dokumen berisi live code, visualisasi, dan teks naratif yang berjalan di komputer lokal disebut...

Proses mengembalikan kata ke bentuk dasarnya yang ada di kamus (misal: 'berlari' menjadi 'lari') dengan analisis linguistik disebut...

CountVectorizer dan TfidfVectorizer adalah alat dari Scikit-learn yang berfungsi untuk...

Library fundamental di Python yang digunakan untuk membuat berbagai jenis plot dan grafik adalah...

Create a free account and access millions of resources

Similar Resources on Wayground

Popular Resources on Wayground

Discover more resources for Science