AB Testing Workshop

Vì sao cần AB test trong game?

• Hiểu thị trường và hành vi người dùng

• Giảm rủi ro

• Hiểu đội nhóm phát triển

• Tối ưu chỉ số

• Kiểm chứng giả thuyết

Một hypothesis chuẩn cần trả lời mấy câu hỏi?

• 3

• 4

• 5

• 6

Mean (trung bình cộng) thường dùng khi nào?

• Dữ liệu phân phối không đều

• Có outlier nhỏ

• Hiểu trải nghiệm điển hình của người dùng

• Kiểm định thống kê truyền thống

P-Value bao nhiêu thì được xem là "có ý nghĩa thống kê".

• > 0.5

• > 0.05

• < 0.5

• < 0.05

Các yếu tố ảnh hưởng đến giá trị P-value

• Số variants

• Kích thước mẫu

• Độ biến động dữ liệu

• Thời gian

• Hiệu ứng Effect size

Các bước nào thuộc quy trình cơ bản AB Testing

• Thiết lập Hypothesis

• Thiết kế Test

• Ra quyết định

• Xác định mục tiêu

• Khảo sát thị trường

Trong Workshop có đề cập bao nhiêu công cụ phân tích AB Testing hay dùng

• 5

• 6

• 7

• 8

Một số lỗi hay gặp trong AB Testing

• Không tính toán và theo dõi hậu rollout

• Xử lý vùng xám không hiệu quả

• Thiết lập sai hypothesis

• Test quá ít variants

• Không kiểm soát các thay đổi đồng thời