Câu hỏi về Mô hình Ngôn ngữ

Mô hình ngôn ngữ (LM) ước lượng trực tiếp điều gì?

• Tần suất ngữ âm

• Xác suất toàn câu

• Xác suất từ kế tiếp

• Khoảng cách từ vựng

Ứng dụng KHÔNG điển hình của LM?

• Dịch máy

• Sinh văn bản

• Tìm kiếm

• Nhận dạng ảnh thuần tuý

Điểm yếu chính của mô hình n-gram:

• Không tối ưu bằng gradient

• Dữ liệu thưa, không nắm ngữ cảnh dài

• Không dùng xác suất

• Tốn GPU

Đóng góp của Bengio et al., 2003 cho LM:

• BoW + SVM

• Word embeddings + mạng nơ-ron

• TF-IDF

• Cây quyết định

Feed-forward LM khác RNN-LM ở:

• Cùng dùng trạng thái thời gian

• FFN dùng cửa sổ cố định, không có trạng thái; RNN có trạng thái hth_tht

• FFN chậm hơn

• RNN không dùng embedding

Vì sao gọi “feed-forward”?

• Có vòng lặp phản hồi

• Không backprop

• Tín hiệu chỉ đi tới qua các lớp, không hồi tiếp

• Không dùng softmax

Lợi thế của LSTM/GRU trong LM:

• Không cần dữ liệu lớn

• Bắt phụ thuộc xa

• Không cần tối ưu

• Không cần embedding

Hạn chế của RNN khi so với Transformer:

• Không học được

• Tuần tự, khó song song hóa

• Không có attention

• Không dự đoán được từ

Transformer (2017) nổi bật nhờ:

• CNN 2D

• Self-attention + huấn luyện song song

• Chỉ 1 head attention

• Không cần vị trí

Encoder-only (BERT) hợp nhất cho:

• Phân loại, NER, rerank

• Dịch máy

• Viết truyện

• Nhận dạng khuôn mặt