test

4123720 การเรียนรูของเครื่อง (Machine Learning)

การสำรวจและการจัดการขอมูล

ดร.กฤตภาส สงศรีอินทร

การสำรวจขอมูล (Data exploration)

การสำรวจขอมูล (Data exploration) เปนการอธิบายขอมูลโดยใชเทคนิคทางสถิติ

และแผนภูมิเพื่อนำเสนอแงมุมที่สำคัญของขอมูลสำหรับการวิเคราะหในลำดับตอไป
เทคนิคการวิเคราะหขอมูลจะมีความแตกตางกันตามลักษณะประเภทของขอมูล

ขอมูลเชิงคุณภาพ (Qualitative data)

ขอมูลเชิงคุณภาพ (Qualitative data) หรือ ขอมูลประเภทหมวดหมู (Categorical

data) หรือ ขอมูลแบบไมตอเนื่อง (Discreate data) คือ ขอมูลที่มีคาที่เปนไปไดเปนหมวด
หมูตั้งแตสองหมวดหมูขึ้นไปซึ่งสามารถใชแผนภูมิแทง หรือ แผนภูมิวงกลมในการแสดงให
เห็นถึงจำนวนและอัตราสวนของขอมูลในแตละหมวดหมูได ตัวอยางของขอมูลแบบเชิง
คุณภาพไดแก ลักษณะเพศชายหญิง ลักษณะอุณหภูมิ

ขอมูลเชิงคุณภาพ (Qualitative data)

ขอมูลเชิงปริมาณ (Quantitative data)

ขอมูลเชิงปริมาณ (Quantitative data) หรือ ขอมูลตัวเลข (Numerical data) หรือ

ขอมูลตอเนื่อง (Continuous data) คือ ขอมูลที่มีคาที่เปนไปไดเปนตัวเลขและเปรียบเทียบ
ลำดับได เชน สวนสูง น้ำหนัก อุณหภูมิ ระดับน้ำตาลในเลือด เปนตน เราสามารถวัด
คุณลักษณะที่สำคัญของขอมูลเชิงปริมาณไดจาก การวัดแนวโนมเขาสูศูนยกลาง (Measure
of location) และ การวัดการกระจายของขอมูล (Measure of Despersion)

การวัดแนวโนมเขาสูศูนยกลาง (Measure of location)

การวัดแนวโนมเขาสูศูนยกลาง (Measure of location) มีวัตถุประสงคเพื่ออธิบาย

ลักษณะของกลุมขอมูลซึ่งมีจำนวนมากดวยคาเพียงคาเดียวเพื่อใหสะดวกตอการเขาใจชุด
ขอมูล การวัดแนวโนมเขาสูศูนยกลางของขอมูลทางสถิติที่สำคัญมีอยู 3 รูปแบบคือ คาเฉลี่ย
(Mean) คามัธยฐาน (Median) และคาฐานนิยม (Mode)

คาเฉลี่ย (Mean) คือ ผลลัพททางคณิตศาสตรที่ไดจากการเฉลี่ยคาทั้งหมดของกลุม

ขอมูลโดยมีสมการในการหาดังนี้

คาเฉลี่ย (Mean)

คามัธยฐาน (Median) คือ คาของตัวเลขในกลุมขอมูลที่เรานำมาเรียงลำดับและคาดัง

กลาวอยูตรงกลางพอดี เชน 5 ในชุดขอมูล

คามัธยฐาน (Median)

คาฐานนิยม (Mode) คือ คาของขอมูลที่มีความถี่หรือมีจำนวนมากที่สุด ซึ่งอาจจะมีได

หลายคาในกรณีที่มีคาที่มีความถี่มากที่สุดมากกวา 1 คา เชน คาฐานนิยม 4 และ 6 ในชุด
ขอมูลตอไปนี้

คาฐานนิยม (Mode)

ศูนยกลางของชุดขอมูลเชิงปริมาณเพียงอยางเดียวไมสามารถอธิบายลักษณะของขอมูล

ไดอยางเพียงพอ ยกตัวอยางขอมูลตอไปนี้ ซึ่งทั้ง 3 ชุดขอมูลมีคาศูนยกลางทั้งแบบ คาเฉลี่ย
และ คามัธยฐาน ที่เทากัน แตลักษณะของขอมูลทั้งสามชุดนั้ันมีความแตกตางกันชัดเจน

การวัดการกระจายของขอมูล (Measure of Dispersion)

การวัดการกระจายของขอมูล (Measure of Dispersion)

ขอมูลชุดที่ 1

ขอมูลชุดที่ 2

ขอมูลชุดที่ 3

30

10

10

30

30

20

30

30

30

30

30

40

30

50

50

คาเฉลี่ย

30

30

30

คามัธยฐาน

30

30

30

จากขอมูลในตารางเราจะเห็นไดวาแมวาขอมูลทั้งสามชุดจะมีคาเฉลี่ยและคามัธยฐานที่

เทากันแตการกระจายตัวของขอมูลนั้นมีความแตตางกัน ขอมูลในชุดที่ 1 มีการกระจายตัว
นอยที่สุด ณ ตำแหนงของศูนยกลาง สวนขอมูลในชุดที่ 2 และชุดที่ 3 มีการกระจายตัวของ
ขอมูลเพิ่มขึ้นตามลำดับ ดังนั้นสำหรับการอธิบายลักษณะของขอมูลเชิงปริมาณเราจึงตอง
คำนวณทั้ง คาศูนยกลางของขอมูลควบคูไปกับการกระจายตัวจากศูนยกลางของขอมูล การ
วัดการกระจายตัวของขอมูลที่สำคัญ มีดังตอไปนี้

การวัดการกระจายของขอมูล (Measure of Dispersion)

คาพิสัย (Range of data) เปนวิธีวัดคาความกระจายของขอมูลที่งายที่สุด สามารถ

คำนวณไดจากการนำคาที่สูงที่สุดของชุดขอมูลลบดวยคาของขอมูลที่ต่ำที่สุด

คาพิสัย (Range of data)

คาพิสัย (Range of data)

ขอมูลชุดที่ 1

ขอมูลชุดที่ 2

ขอมูลชุดที่ 3

30

10

10

30

30

20

30

30

30

30

30

40

30

50

50

คาเฉลี่ย

30

30

30

คามัธยฐาน

30

30

30

จากตารางขางบน คาพิสัย ของขอมูล
แตละกลุม คือ

คาพิสัย (Range of data)

ขอมูลชุดที่ 1

ขอมูลชุดที่ 2

ขอมูลชุดที่ 3

30

10

10

30

30

20

30

30

30

30

30

40

30

50

50

คาเฉลี่ย

30

30

30

คามัธยฐาน

30

30

30

จากขอมูลชุดนี้เราจะสังเกตไดวา คาพิสัย

ยังมีขอกำจัดในการวัดการกระจายตัวของ
ขอมูลเพราะวาถูกคำนวณขึ้นโดยอาศัยคาที่
มากที่สุดและคาที่นอยที่สุดในชุดขอมูลเทานั้น
นอกจากนี้หากคาที่มากที่สุด หรือ คาที่นอย
ที่สุดนั้ันเปนขอมูลที่อยูนอกกลุมมากผิดปกติ
(Outliers) คาพิสัยที่คำนวณไดนั้ันจะมีความ
นาเชื่อถือนอยลงอีกดวย

คาความแปรปรวน (Sample Variance) เปนคาที่ใชวัดการกระจายของขอมูลไดดีกวา

คาพิสัย เพราะไมไดขึ้นอยูกับ คาสูงสุดและต่ำสุดของขอมูลในกลุมเทานั้น แตขึ้นอยูกับคา
ของขอมูลทุกตัววาเบี่ยงเบน (Deviate) ไปจาก คาเฉลี่ยของกลุมเทาไหร ทำใหคาความ
แปรปรวนมีสมการทางคณิตศาสตรตอไปนี้

คาความแปรปรวน (Sample Variance)

คาความแปรปรวน (Sample Variance)

ขอมูลชุดที่ 1

ขอมูลชุดที่ 2

ขอมูลชุดที่ 3

30

10

10

30

30

20

30

30

30

30

30

40

30

50

50

คาเฉลี่ย

30

30

30

คามัธยฐาน

30

30

30

คาความแปรปรวน (Sample Variance)

นอกจากนี้แลวถาเรานำคา คาความ

แปรปรวน (Variance) ไปถอนรากที่สองแลว
เราจะสามารถคำนวน คาเบี่ยงเบนมาตรฐาน
(Standard Deviation) ได ซึ่งจะสังเกตไดวา
คาเบี่ยงเบนมาตรฐานนั้นมีลักษณะของคาอยู
ในระดับเดียวกับชวงของขอมูลเมื่อ
เปรียบเทียบกับคาความแปรปรวน

หากชุดขอมูลที่เปนตัวเลขนั้ันมีจำนวนมากการสังเกตุลักษณะที่สำคัญของขอมูลนั้นมัก

เปนไปไดยาก แตหากขอมูลเหลานี้ไดถูกแสดงออกมาในรูปแบบแผนภูมิ สาระสำคัญของ
ขอมูลจะถูกสังเกตไดดีกวา เราสามารถแยกลักษณะของการแสดงขอมูลในรูปกราฟไดตาม
วัตถุประสงคดังตอไปนี้

แผนภาพแสดงลักษณะขอมูลเชิงปริมาณ

Box Plot ใชแสดงสาระที่สำคัญของขอมูลคือ คากลาง คาการกระจาย และ สัดสวน

ขอมูลระหวางขอมูลตำแหนงที่ 25% (Q1) 50% (Q2) และ 75% (Q3) ตัวอยางเชน หาก
กำหนดใหชุดขอมูลมีคาตอไปนี้

Box Plot

Histogram เปนกราฟที่ใชแสดงการกระจายของขอมูล ความถี่ในการเกิดเหตุการณที่

สนใจ โดยแนวแกน x คือคาของขอมูลที่เปนไปไดโดยจะถูกแบงออกเปนชวงๆ สวนแกน Y
คือความถี่ในการเกิดคานั้นๆ ดังตัวอยางตอไปนี้

Histogram

Histogram เปนกราฟที่ใชแสดงการกระจายของขอมูล ความถี่ในการเกิดเหตุการณที่

สนใจ โดยแนวแกน x คือคาของขอมูลที่เปนไปไดโดยจะถูกแบงออกเปนชวงๆ สวนแกน Y
คือความถี่ในการเกิดคานั้นๆ ดังตัวอยางตอไปนี้

Histogram

ตัวอยางขอมูลที่ใชในการเรียนรู

หลังจากที่มีการกำหนดปญหา สำรวจและรวบรวมฐานขอมูลเพื่อการเรียนรูของแบบจำลอง

ของเครื่องแลว ขอมูลมักจะถูกแสดงผลอยูในรูปแบบของตารางโดยที่ขอมูลแตละจุดจะถูกแสดง
เรียงกันเปนแถวและรายละเอียดของแตละขอมูลจะถูกแสดงในแตละคอลัมน ตัวอยางเชน
ขอมูลสมมุติที่ถูกรวบรวมเพื่อการทำนายการเรียนจบภายในระยะเวลาของนักศึกษา

ตัวอยางขอมูลที่ใชในการเรียนรู

ขอมูลสมมุติที่ถูกรวบรวมเพื่อการทำนายการเรียนจบภายในระยะเวลาของนักศึกษา

X

Y

ลำดับขอมูล

อายุ

รายได

เกรดเฉลี่ย

เรียนจบ

1

18

12000

3.86

ใช

2

19

16000

2.56

ไม

3

18

9000

3.15

ใช

4

18

13000

2.13

ไม

...

207

21

25000

2.89

ใช

ตัวอยางขอมูลที่ใชในการเรียนรู

จากตัวอยางตารางขอมูลจะสังเกตไดวาสำหรับการเรียนรูแบบมีผูสอน คาที่ตองการทำนาย

(Y) มักจะถูกจัดเรียงอยูในคอลัมนสุดทายซึ่งจะเปนขอมูลที่แบบจำลองไมสามารถเขาถึงไดและ
ตองการทำนาย ขอมูลที่ใชในการสรางคำทำนายนั้น (X) จะอยูในคอลัมนแรก ๆ ในทางสถิติ
ขอมูล X จะถูกเรียกวาตัวแปรตน (Independent variables) และคาที่ตองการทำนาย Y จะถูก
เรียกวาตัวแปรตาม (Dependent variables)

การจัดการขอมูล

การกำหนดปญหาเปนขั้นตอนแรกของกระบวนการเรียนรูของเครื่องซึ่งเปนตัวกำหนด

กรอบของขั้นตอนสำรวจและรวบรวมฐานขอมูล ในระหวางขั้นตอนนี้อาจเกิดขอผิดพลาด
ขณะการนำเขาขอมูล หรือ การเขาถึงบางสวนของขอมูลนั้ันอาจเปนไปไดยาก ดังนั้นการ
จัดการขอมูลจึงเปนขั้นตอนที่สำคัญซึ่งสงผลตอประสิทธิภาพของการเรียนรูแบบจำลอง
ประเภทตาง ๆ ในขั้นตอนตอไป

การแปลงขอมูลเชิงปริมาณเปนขอมูลเชิงคุณภาพ (Binning)

จากตัวอยางการแสดงขอมูลเชิงปริมาณดวยแผนภูมิ Histrogram เราจะสังเกตไดวาขอมูล

ที่เปนตัวเลขสามารถถูกแปลงคาไปเปนตำแหนงของชวงได ตัวอยางเชน การแบงคาสำหรับอายุ
ออกเปนหมวดหมู เชน เด็ก (<20) หนุมสาว (20-30) กลางคน (30-40) และ สูงอายุ (>40) ซึ่ง
การแปลงประเภทของขอมูลแบบนี้สามารถชวยใหการทำงานของแบบจำลองบางประเภทเปน
ไปได (ตนไมตัดสินใจบางประเภทจะรับขอมูลเชิงคุณภาพไดเทานั้น) นอกจากนี้การแปลงรูป
แบบขอมูลอาจชวยปรับปรุงความแมนยำของแบบจำลองโดยการลดสัญญาณรบกวนได

การแปลงขอมูลเชิงปริมาณเปนขอมูลเชิงคุณภาพ (Binning)

การแปลงขอมูลเชิงคุณภาพเปนขอมูลเชิงปริมาณดวยการเขารหัสเลขฐานสอง
(One-Hot encoding)

การเขารหัส One-hot (One-Hot encoding) เปนการแปลงขอมูลเชิงคุณภาพเปนขอมูล

เชิงปริมาณดวยการแปลงลักษณะของหมวดหมูของขอมูลใหอยูในรูปแบบของชุดตัวเลขฐานสอง
โดยที่ขอมูลจะเกิดการขยายในสวนของคอลัมน สาเหตุที่ตองใชตัวเลขฐานสอง ก็เพื่อปองกันไม
ใหแบบจำลองสามารถเปรียบเทียบลำดับระหวางตำแหนงของลักษณะหมวดหมูได ตัวอยางเชน
หากเราตองการเปลี่ยนขอมูลชนิดกีฬา ใหอยูในรูปของตัวเลข

การแปลงขอมูลเชิงคุณภาพเปนขอมูลเชิงปริมาณดวยการเขารหัสเลขฐานสอง
(One-Hot encoding) หากเราทำการแปลงขอมูลดวยตำแหนงของหมวดหมูโดยตรง
แบบจำลองอาจใชลำดับของตัวเลขในการตัดสินใจซึ่งไมมีอยูในขอมูลตั้งตนเดิม เชน

ขอมูลเดิม

ขอมูลใหม

แบดมินตัน

ฟุตบอล

เทนนิส

วายน้ำ

แบดมินตัน

1

0

0

0

ฟุตบอล

0

1

0

0

เทนนิส

0

0

1

0

วายน้ำ

0

0

0

1

ขอมูลเดิม

ขอมูลใหม

แบดมินตัน

1

ฟุตบอล

2

เทนนิส

3

วายน้ำ

4

การจัดการคาที่หายไป (Missing values)

คาที่หายไปเปนเรื่องปกติที่เกิดขึ้นซึ่งสามารถบงบอกถึงสิ่งตาง ๆ มากมายในขอมูล เชน

ขอมูลอาจไมพรอมใชงาน หรืออาจเกิดขอผิดพลาดระหวางการนำเขาขอมูล เราสามารถใช
วิธีการดังตอไปนี้เพื่อจัดการกับบางสวนของขอมูลที่หายไป
● การนำขอมูลที่มีองคประกอบที่ไมสมบูรณออก (Remove)
● การแทนที่คาของขอมูลที่มีองคประกอบที่ไมสมบูรณแบบสุมจากคาที่เปนไปได (Random)
● การแทนที่คาของขอมูลที่มีองคประกอบที่ไมสมบูรณดวยคากลางของขอมูลในคอลัมนนั้นๆ

(Replace)

การตรวจจับคาผิดปกติ (Detecting Outliers)

การตรวจจับคาที่ผิดปกติของขอมูลเปนขั้นตอนที่สำคัญในการจัดการขอมูลซึ่งสามารถชวย

ใหการทำงานของแบบจำลองตางๆในลำดับถัดไปสามารถทำงานไดดีขึ้น ตัวอยางของนโยบาย
การตรวจจับคาผิดปกติที่สำคัญไดแก

การตรวจจับคาผิดปกติ (Detecting Outliers)

คาของขอมูลอยุในชวงที่ไมถูกตอง (Invalid Range)

คาของขอมูลในบางหลักอาจมีคาที่อยูในชวงที่ไมถูกตอง เชน หากขอมูลในคอลัมนนั้นบง

บอกถึงชวงอายุ แลวคาของขอมูลบางตัวในหลักนี้มีคาเปนลบหรือมากกวา 150
คาของขอมูลมีระยะหางจากคากลางของคอลัมนนั้นๆจนเกินไป (Extreme value)

ในกรณีนี้การตรวจจับคาผิดปกติสามารถทำไดดวยการอางอิงจากคากลาง (Mean) และ

การกระจายตัวของขอมูล (Standard Deviation) เชน หากคาของขอมูลแถวที่เราสนใจมี
ระยะหางจากคากลางเกินคาของการกระจายตัวของหลักนั้นๆ เกิน 1.5 เทาของคาเบี่ยงเบน
มาตรฐาน เราสามารถสมมุติไดวาขอมูลเหลานั้นมีคาที่ผิดปกติ

การตรวจจับคาผิดปกติ (Detecting Outliers)

คาของขอมูลมีระยะหางจากคากลางของคอลัมนนั้นๆจนเกินไป (Extreme value)

การแบงชุดขอมูลเปนขั้นตอนที่สำคัญกอนการเรียนรูแบบจำลองทางการเรียนรูของเครื่อง

เพราะสงผลตอการประเมินประสิทธิภาพของแบบจำลองในขั้นตอนสุดทาย ซึ่งสามารถใชไดกับ
ปญหาการจำแนกประเภทหรือการทำนายตัวเลข โดยที่ชุดขอมูลจะถูกแบงออกเปนสองชุดยอย

ชุดการฝก (Training Set) : ชุดการฝกเปนชุดขอมูลยอยที่ใชในการเรียนรูและปรับปรุง

การทำงานของแบบจำลองประเภทตาง ๆ

ชุดทดสอบ (Test Set) : ชุดทดสอบใชเพื่อประเมินประเมินประสิทธิภาพของแบบจำลอง

โดยเปนชุดขอมูลที่แบบจำลองไมควรเห็นมากอน

การแบงชุดขอมูล (Data Splitting)

โดยปกติแลวชุดขอมูลจะถูกแบงออกเปนเปอรเซ็นของตำนวนขอมูบที่มีทั้งหมดโดยที่การ

แบงที่ถูกนำมาใชบอยไดแก

(ชุดการฝก: 80%, ชุดทดสอบ: 20%), (ชุดการฝก: 67%, ชุดทดสอบ: 33%), (ชุดการฝก:

50%, ชุดทดสอบ: 50%)

การแบงชุดขอมูล (Data Splitting)

Poll

sdfasdf

• asdfwe

• awefasdf

• asdfasdf

• asdf

• asdfasdf

การแบงชุดขอมูล (Data Splitting)

X

Y

ลำดับขอมูล

อายุ

รายได

เกรดเฉลี่ย

เรียนจบ

1

18

12000

3.86

ใช

2

19

16000

2.56

ไม

3

18

9000

3.15

ใช

4

18

13000

2.13

ไม

...

1800

21

11200

3.87

ใช

18001

18

9900

3.45

ใช

...

2000

21

25000

2.89

ใช