Gradient Descent là gì?

Một thuật toán tối ưu hóa nhằm tìm giá trị cực tiểu của hàm mất mát

Một thuật toán sắp xếp dữ liệu

Một phương pháp tối ưu hóa để tìm cực đại của hàm

Một kỹ thuật để nhân đôi dữ liệu trong huấn luyện

Nếu learning rate quá lớn, điều gì có thể xảy ra?

Mô hình có thể vượt qua cực tiểu và không hội tụ

Mô hình hội tụ nhanh hơn

Hàm mất mát không thay đổi

Tại sao hàm mất mát cần đạo hàm riêng theo từng tham số trong GD?

Để xác định mức ảnh hưởng của từng tham số đến hàm mất mát

Vì các tham số là độc lập

Để giảm thiểu thời gian tính toán

Để đơn giản hóa mô hình

Điều nào sau đây là đúng khi mô tả quy trình cập nhật trọng số trong GD? (Chọn tất cả đáp án đúng)

Tính đạo hàm của hàm mất mát theo từng trọng số

Trừ đạo hàm nhân với learning rate từ trọng số hiện tại

Cộng thêm giá trị ngẫu nhiên để tránh overfitting

Sử dụng thuật toán K-means để cập nhật

Trong Batch Gradient Descent, quá trình cập nhật trọng số được thực hiện:

Sau khi tính toán gradient trên toàn bộ tập dữ liệu

Sau mỗi một điểm dữ liệu

Sau khi huấn luyện 10 epoch

Sau khi tính trung bình các giá trị đầu ra

Mini-batch GD có ưu điểm gì so với SGD và Batch GD?

Cân bằng giữa tốc độ cập nhật và độ chính xác của gradient

Không sử dụng hàm mất mát

Ưu điểm của Stochastic GD bao gồm: (chọn tất cả đáp án đúng)

Tốc độ cập nhật nhanh hơn

Giảm chi phí tính toán so với Batch GD

Có khả năng vượt qua cực tiểu cục bộ nhờ tính ngẫu nhiên

Luôn hội tụ về cực tiểu toàn cục

Chọn các đặc điểm đúng về Mini-batch GD: (chọn tất cả đáp án đúng)

Cập nhật trọng số sau mỗi nhóm nhỏ dữ liệu

Có thể tận dụng GPU tốt hơn Batch GD

Dễ điều chỉnh với batch size phù hợp

Không sử dụng hàm mất mát

Hàm mất mát (loss function) trong học máy có vai trò:

Đo lường sự khác biệt giữa dự đoán của mô hình và giá trị thực tế

Lưu trữ trọng số của mô hình

Tăng tốc độ huấn luyện

Giảm kích thước dữ liệu

Tại sao Gradient Descent lại giúp tối ưu mô hình học máy?

Vì nó điều chỉnh trọng số theo hướng làm giảm dần hàm mất mát

Vì nó tìm cực đại của hàm mất mát

Vì nó sử dụng mọi điểm dữ liệu cùng lúc

Vì nó tạo mô hình mới từ đầu mỗi lần cập nhật

Mục tiêu chính của Gradient Descent trong huấn luyện mô hình học máy là:

Tối thiểu hóa hàm mất mát để cải thiện hiệu suất mô hình

Giảm kích thước tập dữ liệu

Tăng số lớp của mô hình

Khi đạo hàm của hàm mất mát bằng 0, điều gì xảy ra?

Trọng số không còn thay đổi vì đã đạt điểm dừng

Hàm mất mát đạt cực đại

Thuật toán bắt đầu lại

Learning rate được đặt lại

Điểm khác biệt chính giữa Batch GD và Stochastic GD là:

Stochastic GD cập nhật trọng số sau mỗi mẫu huấn luyện

Batch GD dùng ít bộ nhớ hơn

Batch GD không dùng đạo hàm

SGD cần toàn bộ dữ liệu trước khi cập nhật

Đoạn mã sau thực hiện bước nào trong Gradient Descent? w = w - learning_rate * gradient

Cập nhật trọng số để giảm hàm mất mát

Trong Gradient Descent, đạo hàm của hàm mất mát biểu diễn điều gì?

Hướng và độ lớn của bước cần đi để giảm giá trị hàm mất mát

Độ cong của hàm mục tiêu

Khoảng cách đến nghiệm tối ưu

Số lần cập nhật trọng số

Nếu một mô hình đang hội tụ quá chậm, bạn nên làm gì trước tiên?

Tăng learning rate một cách cẩn thận

Thêm dữ liệu huấn luyện

Khi áp dụng Gradient Descent để tối ưu hàm mất mát phi tuyến tính, điều nào sau đây là hợp lý?

Cần kiểm tra hàm mất mát có đạo hàm để áp dụng Gradient Descent

Luôn dùng batch size bằng 1 để giảm tính ngẫu nhiên

Trọng số luôn tiến về 0

Không cần quan tâm đến learning rate

Những yếu tố nào dưới đây ảnh hưởng đến hiệu quả của Gradient Descent? (Chọn tất cả các đáp án đúng)

Hàm mất mát được sử dụng

Dữ liệu được chuẩn hóa

Kích thước font chữ trong lập trình

Khi sử dụng Mini-batch GD với batch size quá nhỏ, mô hình có thể gặp

Biến động lớn trong giá trị cập nhật trọng số

Học máy 5

Quiz

•

Computers

•

University

•

Practice Problem

•

Easy

Bùi Lưu

Used 4+ times

FREE Resource

30 questions

Show all answers

1.

MULTIPLE CHOICE QUESTION

30 sec • 1 pt

2.

MULTIPLE CHOICE QUESTION

30 sec • 1 pt

3.

MULTIPLE CHOICE QUESTION

30 sec • 1 pt

4.

MULTIPLE CHOICE QUESTION

30 sec • 1 pt

5.

MULTIPLE CHOICE QUESTION

30 sec • 1 pt

6.

MULTIPLE CHOICE QUESTION

30 sec • 1 pt

7.

MULTIPLE CHOICE QUESTION

30 sec • 1 pt

A. Nó không liên tục

B. Gradient luôn bằng 0

C. Hàm có nhiều cực tiểu và cực đại cục bộ

D. Hàm không có đạo hàm

Access all questions and much more by creating a free account

Create resources

Host any resource

Get auto-graded reports

Continue with Google

Continue with Email

Continue with Classlink

Continue with Clever

or continue with

Microsoft

Apple

Others

Already have an account?

Similar Resources on Wayground

31 questions

KUIS CANVA 8B

Quiz

•

1st Grade - University

30 questions

AZ62

Quiz

•

University

28 questions

scratch

Quiz

•

12th Grade - University

25 questions

ÔN CK1 TIN 6

Quiz

•

7th Grade - University

28 questions

TIN 7 ÔN TẬP CUỐI KỲ 1

Quiz

•

7th Grade - University

28 questions

Tin học 9-Ôn tập giữa kì 2

Quiz

•

9th Grade - University

34 questions

TIN 9 ÔN TẬP GIỮA KỲ 2

Quiz

•

8th Grade - University

30 questions

Simulasi UJK Desain Grafis LSP P3

Quiz

•

University - Professi...

Popular Resources on Wayground

15 questions

Fractions on a Number Line

Quiz

•

3rd Grade

20 questions

Equivalent Fractions

Quiz

•

3rd Grade

25 questions

Multiplication Facts

Quiz

•

5th Grade

54 questions

Analyzing Line Graphs & Tables

Quiz

•

4th Grade

$fractions$

22 questions

fractions

Quiz

•

3rd Grade

20 questions

Main Idea and Details

Quiz

•

5th Grade

20 questions

Context Clues

Quiz

•

6th Grade

15 questions

Equivalent Fractions

Quiz

•

4th Grade

Discover more resources for Computers

20 questions

CompTIA Network+ - Ports and Protocols

Quiz

•

University