Có dạng số nguyên

Là chuỗi ký tự

Gồm các điểm ảnh (pixel) biểu diễn trực quan

Không chứa thông tin định lượng

Vì giúp dễ lập trình hơn

Dễ so sánh với dữ liệu văn bản

Đảm bảo ý nghĩa thống nhất và tránh sai lệch khi tính toán

Không có vai trò đáng kể

Mức độ biến động của dữ liệu

Xu hướng tăng giảm

Giá trị điển hình

Tỷ lệ phần trăm giữa các nhóm

Làm tăng tốc độ xử lý

Làm sai lệch kết quả thống kê và mô hình học

Giúp cải thiện mô hình

Không ảnh hưởng

Khi dữ liệu sai

Khi ngoại lệ có ý nghĩa thực tế

Khi muốn giảm nhiễu

Khi dữ liệu bị thiếu

Dùng biểu đồ phân phối

Kiểm tra cột khóa hoặc dùng hàm phát hiện trùng

Tính phương sai

Loại bỏ giá trị thiếu

Điền giá trị trung bình

Xác định biến bị thiếu

Dự đoán dữ liệu mới

Loại bỏ toàn bộ dữ liệu

Tăng tốc độ nhập dữ liệu

Giúp tính toán và so sánh chính xác

Làm đẹp dữ liệu

Giảm độ phân giải

Tính logic và tương thích giữa các biến

Tính ngẫu nhiên

Tính phân phối chuẩn

Độ dài chuỗi ký tự

Tăng tốc độ hiển thị

Giúp định danh bản ghi duy nhất

Dùng để mã hóa văn bản

Giảm kích thước bảng

Dạng ma trận ngẫu nhiên

Theo hàng là bản ghi, cột là thuộc tính

Theo cây phân cấp

Theo đồ thị

Lưu trữ hình ảnh học sinh

Giúp tính điểm, lọc và truy xuất nhanh

Giảm dung lượng hệ thống

Tự động xóa dữ liệu sai

Không có mối quan hệ

Mỗi nút có thể nhiều cha

Có cấu trúc phân cấp: gốc — nhánh — lá

Là dạng dữ liệu bảng

Mỗi nút có nhiều cha

Dễ lưu trữ hình ảnh

Mỗi nút có một cha và nhiều con, thể hiện rõ huyết thống

Không có cấp độ

Mối quan hệ giữa các nút

Độ sâu của cây

Dữ liệu văn bản

Giá trị trung bình

Tăng tốc độ tính toán

Đảm bảo các biến có giá trị hợp lệ và cùng định dạng

Giảm độ dài dữ liệu

Loại bỏ tất cả giá trị ngoại lệ

Xóa bỏ ngay

Giữ lại và ghi chú nếu phản ánh hiện tượng thật

Thay bằng trung bình

Gộp với dữ liệu khác

Vì có thể do lỗi hệ thống hoặc nhập liệu

Vì tốn thời gian

Vì không cần thiết

Vì dữ liệu ít

Các bước riêng biệt, không liên quan

Là quy trình liên hoàn tạo nền tảng cho mô hình hóa chính xác

Chỉ áp dụng trong học máy

Không bắt buộc

Tập dữ liệu nhân viên của công ty

Tập dữ liệu đơn đặt hàng của cửa hàng trực tuyến

Tập dữ liệu khách hàng ngân hàng

Tập dữ liệu điểm thi học sinh

Loại bỏ giá trị thiếu

Tìm trung bình các cột

Xác định cột độc nhất (ID đơn hàng)

Sắp xếp lại bảng dữ liệu

Microsoft Word

Các hàm/công cụ có sẵn trong Python, R hoặc Excel

Photoshop

PowerPoint

Sao chép dữ liệu và thêm bản ghi

Gộp lại một phiên bản hoặc loại bỏ các bản ghi trùng

Chuyển dữ liệu sang file khác

Ẩn toàn bộ cột trùng lặp

Để tăng số lượng dữ liệu

Để khắc phục quy trình nhập liệu/hệ thống và tránh tái diễn lỗi

Để kiểm tra định dạng ngày tháng

Để giảm dung lượng lưu trữ

Làm đẹp bảng dữ liệu

Ảnh hưởng đến tính chính xác và độ đại diện của dữ liệu

Giúp dữ liệu chạy nhanh hơn

Không có ý nghĩa thực tế

Thêm dữ liệu, đổi tên cột, xóa dòng

Xác định cột thiếu, kiểm tra nguyên nhân, chọn chiến lược điền/xử lý phù hợp

Xóa toàn bộ dữ liệu thiếu

Gộp các bảng dữ liệu lại với nhau

Để dễ trình bày báo cáo

Để dùng định dạng thống nhất (YYYY-MM-DD HH:MM:SS), đảm bảo tính nhất quán

Để giảm dung lượng bộ nhớ

Để sắp xếp theo màu

Kiểm tra lỗi chính tả và sắp xếp lại tên

Xử lý trôi/lệch thời gian và kiểm tra tính thống nhất nhất sau chuẩn hóa

Đổi múi giờ và xóa dữ liệu trùng

Gộp dữ liệu của nhiều người

Các biến không mâu thuẫn và liên quan đúng trong phân tích

Dữ liệu được trình bày đẹp mắt

Dữ liệu có đủ hàng và cột

Có nhiều biến hơn trong tập dữ liệu

‘Giới tính’, ‘Tuổi’, ‘Điểm trung bình’

‘Đơn giá’, ‘Số lượng’, ‘Tổng giá trị’; Tổng giá trị = Đơn giá × Số lượng

‘Tên’, ‘Địa chỉ’, ‘Số điện thoại’

‘Ngày sinh’, ‘Tháng sinh’, ‘Năm sinh’

Phải cho ra kết quả đúng, phù hợp với hai biến còn lại

Có thể sai số nhỏ

Không cần kiểm tra

Chỉ cần làm tròn đến hàng chục

Bản ghi được nhận diện duy nhất và dữ liệu đúng đắn

Dữ liệu lệch lọc hơn

Dữ liệu ít thêm cột phụ

Có thể trùng lặp mà không lỗi

Tên sinh viên

Ngày sinh

ID sinh viên là khóa chính duy nhất, không trùng lặp

Mã lớp học

Kiểm tra bản ghi trùng/thiếu trong trường khóa và xử lý nếu có

Tô màu ô dữ liệu

Thêm cột ngày nhập dữ liệu

Đổi tên bảng

Dữ liệu được lưu dưới dạng hình ảnh

Tổ chức theo hàng–cột (Excel, SQL, CSV)

Dữ liệu được viết trong đoạn văn bản

Dạng cây nhiều nhánh

ID, Họ và tên, Giới tính, Tuổi, điểm Toán, Văn, Anh

ID, Tên lớp, Quê quán, Năm sinh

Tên, Địa chỉ, Email

Ngày tháng, Năm học

Cột điểm liên kết với môn học

Cột ID liên kết sang bảng khác, các cột điểm liên quan đến sinh viên

Cột tên liên kết với giới tính

Không có mối liên kết nào

Mối quan hệ nhân quả giữa các biến

Sơ đồ gia đình nhiều thế hệ: Bố–Mẹ là gốc; A, B, C là con; D, E là con của A; F, G là con của B; H, I là con của C

Dòng thời gian của sự kiện

Cấu trúc dữ liệu trong máy tính

Các đỉnh A, B, C, D, E là người; cạnh biểu diễn mối quan hệ/kết bạn

Các ô vuông biểu diễn doanh thu

Mạng lưới các sản phẩm trong kho

Sơ đồ tổ chức công ty

Tăng kích thước tập dữ liệu

Chuẩn bị dữ liệu thô cho ứng dụng học máy và nghiệp vụ thông minh

Tạo thêm các biến mới từ dữ liệu gốc

Giảm thời gian xử lý dữ liệu

Dữ liệu trùng lặp và giá trị thiếu

Lỗi định dạng và lỗi chính tả

Thông tin không liên quan

Tất cả các đáp án trên

Giúp mô hình chạy nhanh hơn

Tập dữ liệu đào tạo kém chất lượng có thể dẫn đến dự đoán sai lệch

Giảm chi phí lưu trữ dữ liệu

Tăng số lượng tham số của mô hình

Tăng hiệu suất mô hình bằng cách giảm overfitting

Tăng kích thước tập dữ liệu

Tạo thêm nhiều mẫu dữ liệu

Làm phức tạp hóa quá trình phân tích

Khi cần theo dõi sự thay đổi trong thời gian

Khi dữ liệu có kích thước lớn

Khi dữ liệu được lưu trữ trên cloud

Khi có nhiều người dùng truy cập

Loại bỏ ngay các dòng trùng lặp

Xác định dữ liệu trùng lặp

Chọn dữ liệu để giữ lại

Tạo báo cáo về dữ liệu trùng lặp

Lỗi ghi chép

Thiếu sót thông tin

Người dùng không điền đầy đủ thông tin

Tất cả các đáp án trên

Xóa toàn bộ tập dữ liệu

Thay thế bằng giá trị được tính toán từ các giá trị còn lại

Giữ nguyên giá trị thiếu

Thay thế bằng số 0

Tăng nhiễu trong dữ liệu

Chất lượng dữ liệu và tính tin cậy của mô hình

Giảm kích thước dữ liệu

Thay đổi mục tiêu phân tích

Khi giá trị thiếu là do ngẫu nhiên

Khi giá trị thiếu mang theo một ý nghĩa nào đó

Khi có quá nhiều giá trị thiếu

Khi không thể tính toán giá trị trung bình

Tăng giá trị của các biến

Chuyển đổi các giá trị về cùng phạm vi hoặc đơn vị chung

Loại bỏ các giá trị âm

Tạo thêm các biến mới

$$(\text{Value} - \text{Min}) / (\text{Max} - \text{Min})$$

$$(\text{Value} + \text{Min}) / (\text{Max} + \text{Min})$$

$$\text{Value} / (\text{Max} - \text{Min})$$

$$(\text{Value} - \text{Max}) / (\text{Min} - \text{Max})$$

-1 đến 1

0 đến 100

0 đến 1

-100 đến 100

Chuyển đổi dữ liệu số thành dữ liệu văn bản

Chuyển đổi biến phân loại thành giá trị số

Xóa các biến không cần thiết

Tăng số lượng quan sát

Để tăng kích thước dữ liệu

Vì nhiều mô hình chỉ làm việc được với dữ liệu số

Để giảm thời gian xử lý

Để tạo thêm các biến mới

Biến phân loại có mối quan hệ thứ bậc

Biến phân loại không có mối quan hệ thứ bậc

Biến liên tục

Tất cả các loại biến

Đồng nhất dữ liệu

Tăng cường dự đoán

Tăng kích thước tập dữ liệu

Giảm ảnh hưởng của biến không đồng nhất

Dữ liệu bị thiếu

Thông tin không mong muốn hoặc ngẫu nhiên có thể ảnh hưởng đến khả năng học của mô hình

Dữ liệu trùng lặp

Dữ liệu được mã hóa sai

Kiểm tra và loại bỏ giá trị ngoại lệ

Loại bỏ dữ liệu trùng lặp

Sử dụng kỹ thuật lọc

Tất cả các đáp án trên

Dữ liệu không xác định và dữ liệu ngoại lệ

Dữ liệu trùng lặp

Dữ liệu đã được chuẩn hóa

Dữ liệu đã được mã hóa

Bỏ qua nhiễu

Thêm nhiễu mới

Kiểm tra và loại bỏ giá trị ngoại lệ, loại bỏ trùng lặp, sử dụng kỹ thuật lọc

Tăng giá trị ngoại lệ

Giữ nguyên tất cả dữ liệu

Loại bỏ hoặc điều chỉnh giá trị không hợp lý

Thay thế bằng giá trị ngẫu nhiên

Không cần xử lý

Tăng số lượng thuộc tính

Chọn những thuộc tính có ảnh hưởng lớn đến mục tiêu của mô hình

Loại bỏ tất cả các thuộc tính

Tạo thêm dữ liệu mới

Phân tích tương quan

Random Forest

Feature importance scores

Tất cả các đáp án trên

Chỉ phân tích trùng lặp

Phân tích tương quan hoặc phương pháp ngẫu nhiên

Chỉ xử lý giá trị thiếu

Chỉ chuẩn hóa

Tăng độ phức tạp của mô hình

Giảm chiều cao không cần thiết và cải thiện hiệu suất mô hình

Giữ nguyên số lượng thuộc tính

Tăng nhiễu

Chỉnh sửa và loại bỏ trường dữ liệu không chính xác

Xác định và loại bỏ thông tin trùng lặp

Sửa lỗi định dạng và giá trị thiếu

Tất cả các đáp án trên

Kích thước của tập dữ liệu

Mục tiêu cụ thể của phân tích hoặc mô hình hóa

Số lượng người tham gia dự án

Ngân sách của dự án

$$0.25$$

$$0.50$$

$$0.75$$

$$1.00$$

Khi dữ liệu không có nhãn và cần tìm cấu trúc ẩn

Khi dữ liệu đã được gán nhãn và mô hình cần học từ các kết quả mong muốn

Khi chỉ có một phần nhỏ dữ liệu được gán nhãn

Khi mục tiêu là nhóm dữ liệu thành các cụm dựa trên sự tương đồng

Để tăng tốc độ huấn luyện mô hình

Để giảm kích thước của tập dữ liệu gốc

Để đảm bảo mô hình có khả năng tổng quát hóa tốt trên dữ liệu mới

Để loại bỏ các giá trị ngoại lệ trong dữ liệu

Phân chia ngẫu nhiên

Phân chia theo thời gian

Phân chia theo cụm (Clusters)

Phân chia theo mẫu ngẫu nhiên (Stratified Sampling)

Vì nó là mô hình phức tạp nhất

Vì dữ liệu nhỏ và có cấu trúc tuyến tính, đồng thời mô hình dễ diễn giải

Vì nó luôn cho độ chính xác cao hơn các mô hình khác

Vì đây là bài toán hồi quy

Mô hình quá đơn giản, không học được các mẫu phức tạp trong dữ liệu huấn luyện

Mô hình học được cả nhiễu và các mẫu ngẫu nhiên trong dữ liệu huấn luyện, dẫn đến hiệu suất kém trên dữ liệu mới

Mô hình được huấn luyện với lượng dữ liệu rất lớn

Mô hình có sai số trên tập huấn luyện và tập kiểm tra đều cao

Mean Squared Error (MSE)

Accuracy (Độ chính xác)

Root Mean Squared Error (RMSE)

Mean Absolute Error (MAE)

Chỉ sử dụng tập kiểm tra để huấn luyện

Loại bỏ tất cả các đặc trưng khỏi mô hình

Thêm các đặc trưng mới hoặc điều chỉnh các siêu tham số

Ngừng đánh giá mô hình sau khi huấn luyện

Chúng luôn cải thiện độ chính xác của mô hình

Chúng có thể ảnh hưởng quá mức đến mô hình và làm giảm sự tin cậy

Chúng nên được loại bỏ hoàn toàn mà không cần xem xét

Chúng chứng minh rằng mô hình là hoàn hảo

Mô hình dự đoán rất kém

Mô hình đang bị underfitting nghiêm trọng

Dự đoán của mô hình tương đối chính xác so với thực tế

Mô hình không thể sử dụng được

Mô hình nào có tên gọi phức tạp hơn

Mô hình nào có hiệu suất tốt hơn trên cùng một tập kiểm tra và đáp ứng yêu cầu dự án

Mô hình nào được huấn luyện nhanh hơn

Mô hình nào sử dụng ít bộ nhớ hơn

Tăng kích thước dữ liệu

Kiểm tra khả năng dự đoán và độ ổn định của mô hình

Giảm thời gian huấn luyện mô hình

Tăng số lượng đặc trưng đầu vào

Để mô hình học và kiểm tra cùng lúc

Để tránh hiện tượng overfitting và kiểm tra khả năng tổng quát hóa

Để giảm kích thước tập dữ liệu

Để mô hình chạy nhanh hơn

Đo độ chính xác phân loại

Đo mức độ tương quan giữa hai biến

Đo trung bình bình phương sai số giữa giá trị dự đoán và thực tế

Đo biến thiên của dữ liệu đầu vào

Mô hình hoạt động kém hơn

Mô hình bị overfitting

Mô hình hoạt động tốt hơn

Không có ý nghĩa gì

Thể hiện mối quan hệ giữa hai biến dự đoán và thực tế

So sánh tốc độ huấn luyện

Xác định số lượng biến độc lập

Phân loại dữ liệu đầu vào

Khi mô hình quá phức tạp, học thuộc dữ liệu

Khi mô hình quá đơn giản, không học được mối quan hệ thật trong dữ liệu

Khi dữ liệu bị thiếu

Khi sai số bằng $$0$$

Khi mô hình bỏ sót nhiều đặc trưng

Khi mô hình quá phức tạp, học cả nhiễu của dữ liệu

Khi mô hình dự đoán hoàn hảo

Khi dữ liệu bị lỗi

Vì mỗi mô hình có thể phù hợp với loại dữ liệu khác nhau

Để tăng thời gian huấn luyện

Để giảm sai số đo đạc

Để chọn mô hình có đồ thị đẹp nhất

Khi mô hình quá đơn giản hoặc quá phức tạp

Khi dữ liệu bị lỗi

Khi tập huấn luyện nhỏ

Khi mô hình đã hoàn hảo

Vì dữ liệu và xu hướng có thể thay đổi, khiến mô hình cũ không còn chính xác

Vì hệ thống sẽ tự động làm việc đó

Vì mô hình luôn giảm hiệu suất theo năm

Vì đây là yêu cầu kỹ thuật