Bài kiểm tra về Gradient Descent

Trong trường hợp nào chúng ta có thể sử dụng phương pháp gradient descent?

• Không cần tính toán đạo hàm

• Không thể tính toán đạo hàm

• Chỉ có thể tính toán đạo hàm bậc hai

• Có thể tính toán đạo hàm của hàm mục tiêu

Answer explanation

Gradient descent can be used when we can compute the derivative of the objective function.

Gradient descent có thể được sử dụng cho việc học các vector tham số có số chiều cao khi nào?

• Khi hàm mục tiêu không cần tính đạo hàm

• Khi hàm mục tiêu là hàm đơn giản và có thể tính được đạo hàm

• Khi hàm mục tiêu là hàm phức tạp và không thể tính được đạo hàm

• Khi hàm mục tiêu không phải là hàm lồi

Answer explanation

Gradient descent can be used for learning high-dimensional parameter vectors when the objective function is simple and its derivative can be computed.

Gradient của hàm chi phí cho logistic regression là gì?

• %1 = 1/(1 + e^(-z))

• %1 = 1 - 1/(1 + e^(-z))

• %1 = e^(-z)/(1 + e^(-z))^2

• %1 = e^(-z)/(1 + e^(-z))

Answer explanation

The correct gradient for logistic regression cost function is 1/(1 + e^(-z)), which is the first answer choice.

Trong gradient descent, việc chọn learning rate W quan trọng vì sao?

• Để tăng tốc độ hội tụ của thuật toán

• Để giảm kích thước của bước tại mỗi lần lặp

• Để tránh việc thuật toán không hội tụ

• Để xác định điểm dừng của thuật toán

Answer explanation

Choosing the learning rate in gradient descent is crucial to avoid the algorithm from not converging.

Trong các vấn đề không lồi với nhiều cực tiểu cục bộ, gradient descent có thể tìm thấy cực tiểu toàn cục không?

• Không, chỉ tìm thấy cực tiểu cục bộ

• Tùy thuộc vào việc khởi tạo ban đầu

• Có, luôn tìm thấy cực tiểu toàn cục

• Không cần khởi tạo ban đầu

Answer explanation

Gradient descent may find the global minimum depending on the initial starting point, as it can get stuck in local minima.

Làm thế nào để xác định điểm dừng của thuật toán gradient descent?

• Tăng learning rate nếu giá trị hàm chi phí tăng

• Theo dõi giá trị của hàm chi phí và giảm learning rate nếu cần

• Tăng learning rate nếu giá trị hàm chi phí giảm chậm

• Dừng khi giá trị hàm chi phí không giảm nữa

Answer explanation

To determine the stopping point of the gradient descent algorithm, it is essential to monitor the cost function value and decrease the learning rate if necessary.

Gradient descent có thể được sử dụng để huấn luyện mô hình logistic regression không?

• Có, vì hàm chi phí của logistic regression là hàm lồi

• Không, vì hàm chi phí của logistic regression không lồi

• Chỉ khi hàm chi phí của logistic regression là hàm lồi

• Chỉ khi hàm chi phí của logistic regression không lồi

Answer explanation

Gradient descent can be used to train a logistic regression model because the cost function of logistic regression is convex.

Trong các vấn đề không lồi với nhiều cực tiểu cục bộ, việc khởi tạo ban đầu quan trọng như thế nào?

• Không quan trọng

• Quyết định cực tiểu cục bộ sẽ được tìm thấy

• Quyết định cực tiểu toàn cục sẽ được tìm thấy

• Quyết định tốc độ hội tụ của thuật toán

Answer explanation

The initial initialization is crucial in non-convex problems with multiple local minima to determine which local minimum will be found.

Làm thế nào để tiết kiệm thời gian tính toán khi khởi tạo mô hình huấn luyện cho vấn đề lồi?

• Khởi tạo từ giá trị lớn nhất

• Khởi tạo từ giá trị 0

• Khởi tạo từ mô hình trước

• Khởi tạo ngẫu nhiên

Answer explanation

Initializing from a previous model helps save time in training convex problems by starting with pre-learned weights.

Gradient descent có thể tìm cực tiểu toàn cục cho các vấn đề không lồi không?

• Không cần khởi tạo ban đầu

• Không, chỉ tìm thấy cực tiểu cục bộ

• Có, luôn tìm thấy cực tiểu toàn cục

• Tùy thuộc vào việc khởi tạo ban đầu

Answer explanation

Gradient descent may find global minima for non-convex problems depending on the initializations.