WorksheetsPJN-1-Tokenizacja
Total questions: 12
Worksheet time: 6mins
Name
Class
Date
1.
Czym jest tokenizacja w NLP?
a)
Podziałem tekstu na mniejsze jednostki (np. słowa)
b)
Procesem szyfrowania danych tekstowych
c)
Usuwaniem znaków interpunkcyjnych
d)
Analizą składniową zdań
2.
Prawda czy fałsz?
Tokenizacja zawsze dzieli tekst na pojedyncze słowa.
a)
Fałsz
b)
Prawda
3.
Która metoda tokenizacji NIE istnieje?
a)
Tokenizacja na paragrafy
b)
Tokenizacja na słowa
c)
Tokenizacja na zdania
d)
Tokenizacja na morfemy
4.
W jakim języku tokenizacja jest szczególnie trudna, ponieważ nie ma spacji między słowami?
a)
Chiński
b)
Niemiecki
c)
Hiszpański
d)
Angielski
5.
Dlaczego tokenizacja na poziomie podsłów (morfemów) jest korzystna w porównaniu z tokenizacją na słowa?
a)
Pozwala obsłużyć słowa spoza słownika (OOV)
b)
Zawsze przyspiesza trenowanie modeli
c)
Rozwiązuje problem wieloznaczności słów
d)
Eliminuje konieczność embeddingów
6.
Który z modeli językowych korzysta z tokenizacji opartej na WordPiece?
a)
BERT
b)
GPT-2
c)
FastText
d)
Word2Vec
7.
Co oznacza pojęcie “out-of-vocabulary” (OOV)?
a)
Słowa, które nie znajdują się w słowniku modelu
b)
Słowa z błędami ortograficznymi
c)
Tokeny specjalne, np. [CLS] i [SEP]
d)
Wszelkie liczby w tekście
8.
Dlaczego tokenizacja na poziomie znaków rzadko jest używana w praktyce?
a)
Powoduje bardzo długie sekwencje tokenów
b)
Traci interpunkcję
c)
Działa tylko w językach niełacińskich
d)
Generuje zbyt małe słowniki
9.
Dlaczego tokenizacja jest pierwszym krokiem w wielu zadaniach NLP?
a)
Umożliwia modelowi przetwarzanie tekstu
b)
Automatycznie tłumaczy tekst
c)
Usuwa błędy językowe
d)
Sprawdza poprawność gramatyczną
10.
Jakie problemy mogą wystąpić przy tokenizacji w językach, w których wyrazy odmieniają się (np. polski)?
a)
Duża liczba form słów powoduje rozrost słownika
b)
Brak interpunkcji
c)
Tokenizacja działa tylko na literach
d)
Nie można podzielić tekstu na zdania
11.
Co to jest “stopword” w kontekście tokenizacji?
a)
Często występujące słowo o niskiej wartości semantycznej (np. „i”, „the”)
b)
Słowo specjalne używane jako znacznik
c)
Token oznaczający koniec zdania
d)
Synonim słowa rzadkiego
12.
Dlaczego interpunkcja czasem zostaje jako osobne tokeny?
a)
Może nieść znaczenie semantyczne (np. pytajniki, emotikony)
b)
Ułatwia liczenie długości zdań
c)
Zawsze musi być usuwana
d)
Wymaga tego Unicode
100 %
