Câu hỏi về mô hình Transformer

Ai là người giới thiệu mô hình Transformer?

• Geoffrey Hinton

• Vaswani et al.

• LeCun et al.

• Bengio et al.

Transformer chủ yếu dựa vào cơ chế nào?

• Convolution

• Recurrence

• Attention

• Pooling

Transformer có bao nhiêu phần chính trong kiến trúc tổng quát?

• 1

• 2

• 3

• 4

Hai thành phần chính trong Transformer là gì?

• Tokenizer và Generator

• Query và Value

• Encoder và Decoder

• Input và Output

Mỗi lớp Encoder gồm mấy sub-layer chính?

• 1

• 2

• 3

• 4

Self-Attention là thành phần của lớp nào?

• Input

• Output

• Encoder

• Cả Encoder và Decoder

Tại sao cần dùng Residual Connection?

• Tăng số tham số

• Giảm thời gian inference

• Giữ lại thông tin gốc và tránh mất gradient

• Tăng kích thước vector

Decoder có thêm loại attention nào so với Encoder?

• Global Attention

• Masked Self-Attention

• Local Attention

• Sparse Attention

Attention trong Decoder được dùng để làm gì?

• Dịch ngược đầu ra

• Che giấu dữ liệu huấn luyện

• Tránh nhìn thấy từ tương lai

• Sinh vector cố định

Self-Attention dựa trên ba thành phần nào sau đây?

• Input, Output, Hidden

• Encoder, Decoder, Linear

• Query, Key, Value

• Mask, Norm, Score