Machine 2

Thông số Learning rate dùng trong ANN là chỉ số tác động đến:

• . Kết quả tính feedforward

• Tốc độ hội tụ kết quả huấn luyện mô hình

• Các giá trị ngõ vào

• Tốc độ tính toán feedforward

Epsilon-greedy (e-greedy) là:

• Một phương pháp RL

• Một giá trị epsilon vô cùng bé

• Một chính sách thưởng của RL

• Một chính sách chọn hành động trong RL

Khi huấn luyện Agent theo phương pháp RL dạng bảng:

 A. Bảng Q-value không được dùng cho Sarsa

 B. Bảng Q-value của Sarsa có kích thước lớn hơn bảng Q-value của Q-learning với bài toán có cùng số trạng thái và hành động.

 C. Chỉ số discount Gamma có giá trị thuộc [0, 0.9)

• A. Bảng Q-value không được dùng cho Sarsa

•  B. Bảng Q-value của Sarsa có kích thước lớn hơn bảng Q-value của Q-learning với bài toán có cùng số trạng thái và hành động.

• C. Chỉ số discount Gamma có giá trị thuộc [0, 0.9

• D. Bảng V-value có kích thước nhỏ hơn bảng Q-value với bài toán có cùng số trạng thái và hành động.

: Chỉ số discount Gamma:

 

 

• A. Khiến Agent đánh giá thấp các phần thưởng ở trạng thái gần

• B. Giúp Agent tìm được đường đi ngắn đến GOAL

• . Giúp Agent tăng cường khai phá

• D. Giúp Agent tăng cường khai thác.

Phương trình Bellman:

 

• A. Chỉ dùng để cập nhật trạng thái của Agent.

• B. Là phương trình đệ qui.

• C. Là phương trình dạng tổng vô số thành phần

• D. Chỉ dùng để tính Q-value tại trạng thái s, ứng với hành động a

Tích chập liên tục 1 chiều

• Có tính phân phối với phép cộng

• Không có tính giao hoán

• hông có tính kết hợp

• Có thể không xác định mặc dù các hàm đầu vào là xác định.

Lớp Max Pooling 3x3 và Average Pooling 2x2

• Được dùng trước tất cả các lớp thực hiện tính tích chập

• Cho ra kích thước giống nhau với ngõ vào cùng kích thước

• Giữ nguyên kích thước so với ngõ vào

• Làm giảm kích thước so với ngõ vào

: Kĩ thuật Dropout

• Các nút được chọn tắt được tắt theo thứ tự

• Giải quyết vấn đề quá khớp (overfitting)

• Giải quyết vấn đề thiếu khớp (underfitting)

• . Các nút được chọn tắt được tắt ngẫu nhiên trong quá trình testing

: Chọn phát biểu SAI

• ANN thường dùng activation function tanh.

• Softmax là một activation function

• Tanh là activation function có giới hạn ngõ ra thuộc (-1, 1)

• Leaky ReLU là activation function có giới hạn ngõ ra là [0, +Inf)

: Chọn phát biểu SAI:

• Mạng RNN có thể học qua toàn bộ chuỗi theo thứ tự thuận hoặc ngược,

• Mạng RNN học được các cấu trúc con

• . Mạng RNN có thể xử lý các chuỗi có chiều dài tùy ý.

• Mạng RNN không phù hợp với nhận dạng hành động qua dữ liệu video.