Hallucination Test

Hallucination trong tài liệu được định nghĩa là gì?

• Nội dung AI luôn đúng sự thật
• Nội dung nghe hợp lý nhưng sai thực tế hoặc không trung thành nguồn
• Nội dung có nhiều số liệu
• Nội dung quá ngắn
• Nội dung thiếu định dạng

Answer explanation

Tài liệu: “nội dung nghe có vẻ hợp lý nhưng không chính xác, vô nghĩa, hoặc không trung thành nguồn”.

Vì sao tài liệu nói hallucination là đặc tính nội tại của LLM?

• Do phần cứng yếu
• Do tối ưu mạch lạc ngôn ngữ, sinh autoregressive và thiếu cơ chế tự xác minh
• Do không có Internet
• Do mô hình không có dữ liệu
• Do prompt dài

Answer explanation

LLM tối ưu cho mạch lạc, không có cơ chế xác minh nội tại.

Phân loại theo tính chất gồm những gì?

• Factual và Faithfulness
• Intrinsic và Extrinsic
• Accuracy và Bias
• Completeness và Limitations
• Assumptions và Arguments

Answer explanation

Theo tài liệu: Factual (sai thực tế) và Faithfulness (sai chỉ dẫn/bối cảnh).

Phân loại theo nguồn gốc: Extrinsic là gì?

• Mâu thuẫn với nguồn đã cung cấp
• Không thể kiểm chứng từ nguồn cho trước, thường bịa thêm
• Sai chính tả
• Lỗi định dạng
• Quá dài

Answer explanation

Extrinsic: thông tin không thể kiểm chứng từ nguồn được cung cấp.

Ví dụ factual hallucination trong tài liệu là gì?

• Dịch sai định dạng
• “Vạn Lý Trường Thành nhìn thấy từ Mặt Trăng”
• Trả lời ngắn
• Thiếu tiêu đề
• Sắp xếp lại gạch đầu dòng

Answer explanation

Tài liệu nêu ví dụ kinh điển này là sai thực tế.

Ví dụ faithfulness hallucination trong tài liệu?

• Trình bày thiếu đẹp
• Được yêu cầu dịch sang tiếng Tây Ban Nha nhưng trả lời bằng tiếng Anh
• Viết dài quá
• Có số liệu nhưng thiếu đơn vị
• Có bảng nhưng thiếu chú thích

Answer explanation

Không trung thành với chỉ dẫn/bối cảnh đã cho.

Một nguyên nhân gốc rễ gây hallucination được nêu là gì?

• GPU yếu
• Dữ liệu huấn luyện nhiễu/thiên kiến
• Prompt có emoji
• Không dùng bảng
• Không có tiêu đề

Answer explanation

Tài liệu liệt kê dữ liệu huấn luyện không hoàn hảo.

Nguyên nhân “thiếu siêu nhận thức” dẫn đến điều gì?

• Mô hình tự từ chối khi không biết
• Mô hình vẫn cố trả lời dù không biết
• Mô hình tắt
• Mô hình tải lại
• Không liên quan

Answer explanation

AI “không biết khi nào mình không biết”, vẫn cố trả lời.

Kỹ thuật prompt nâng cao nào được tài liệu khuyến nghị?

• Để ngỏ ngữ cảnh
• Chỉ đạo step-by-step, cung cấp ngữ cảnh, chain-of-verification
• Dùng nhiệt độ cao
• Giới hạn 1 câu
• Khuyến khích sáng tạo tối đa

Answer explanation

Các kỹ thuật: ngữ cảnh, step-by-step, multi-turn, chain-of-verification.

Mục tiêu của “chain-of-verification” theo tài liệu là gì?

• Tăng tốc độ
• Liệt kê các sự kiện cần xác minh và đối chiếu nguồn đáng tin
• Tạo hình ảnh
• Rút gọn token
• Thêm emoji

Answer explanation

Yêu cầu AI tự kiểm tra lại bằng chứng cho từng điểm.