NLP_PIPELINES

Closed-book question answering:

• bazuje na wiedzy zawartej w modelu

• wybiera fragmenty otrzymanego kontekstu

• przeszukuje internet w celu znalezienia odpowiedzi

Mask filling:

• Jest modelem językowym stworzonym do cenzurowania treści

• należy do podkategorii

  named entity recognition

• jest wykorzystywany w procesie uczenia modeli NLU

Named entities recognition polega na :

• znalezieniu w tekście rzeczowników

• zaklasyfikowanie tokenów do predefiniowanych grup

• znalezienie w tekście nazw własnych

Text summarization dzielimy na:

• reading comprehension i closed-domain

• extractive i abstractive

• długie i krótkie

• Inclusive i qualified

Wynikiem modelu analizy sentymentu jest:

• 0 albo 1

• etykieta "POSITIVE" albo "NEGATIVE"

• estymowane prawdopodobieństwo, że zdanie jest pozytywne

Fine-tunning to proces

• douczania modelu do konkretnego zadania

• dobierania odpowiednich parametrów do uczenia modelu

• testowania modeli w celu wyboru najlepszego z nich

• postprocessingu wyniku modelu

Z zadaniem podsumowania tekstu lub jego przetłumaczenia na inny język najlepiej poradzi sobie:

• architektura decoder-only

• architektura encoder-only

• architektura encoder-decoder

Do named-entity recognition wykorzystujemy:

• architekture encoder-only

• architekture decoder-only

• architekture encoder-decoder

Przykładem modelu encoder-only jest:

• T5

• GPT

• BERT

Do inferencji (generowania) z modelu decoder-only, mającego 6B parametrów i wykorzystającego float16, potrzebujemy:

• 12GB RAMu na sam model

• 48GB RAMu na sam model

• 6GB RAMu na sam model

• 24GB RAMu na sam model