Discriminant Analysis

​Chapter 5 Discriminant Analysis

ประกอบด้วยค่าสังเกตของตัวแปรเชิงปริมาณต่าง ๆ ที่รวบรวมมาจากหน่วยตัวอย่างที่สุ่มมาจากประชากรซึ่งทราบกลุ่มอย่างชัดเจนอยู่แล้ว

​ลักษณะของของข้อมูลที่นำมาวิเคราะห์

1. ​สร้างสมการเชิงเส้นสำหรับจำแนกกลุ่มโดยใช้ข้อมูลของตัวแปรต่าง ๆ ที่รวบรวมจากหน่วยตัวอย่างที่ทราบกลุ่มอยู่แล้ว

2. ​นำสมการที่ได้มาใช้จำแนกกลุ่มให้กับหน่วยตัวอย่างใหม่ซึ่งไม่ทราบกลุ่ม

​วัตถุประสงค์ของการวิเคราะห์

​การวิเคราะห์จำแนกกลุ่ม (Discriminant Analysis)

1. เพื่อสร้างสมการเชิงเส้นสำหรับจำแนกแบงก์สวิสฟรังก์ระหว่างแบงก์ปลอมและแบงก์จริงบนพื้นฐานของค่าวัดขนาดด้านต่าง ๆ ทั้ง 6 ด้าน

2. เพื่อนำสมการที่ได้มาใช้ในการจำแนกแบงก์สวิสฟรังก์ที่ไม่ทราบว่าเป็นแบงก์ปลอมหรือแบงก์จริง

​​วัตถุประสงค์ของการวิเคราะห์

ข้อมูลขนาดด้านต่าง ๆ (6 ด้าน) ได้แก่

1. ความยาวของแบงก์ (Length)

2. ความกว้างของแบงก์ด้านซ้าย (Left width)

3. ความกว้างของแบงก์ด้านขวา (Right width)

4. ความกว้างของขอบด้านบน (Top margin)

5. ความกว้างของขอบด้านบนล่าง (Bottom margin)

6. ความยาวในแนวทแยงมุม (Diagonal)

โดยเก็บรวบรวมจากแบงก์สวิสฟรังก์ที่สุ่มมาซึ่งจะต้องทราบว่าเป็นแบงก์ปลอม (F) หรือแบงก์จริง (R)​

​Example 5.1 (Swiss Bank Notes*)

​ลักษณะของของข้อมูลที่นำมาวิเคราะห์

​* Lab 4 Inferences about two population mean vectors

1. เพื่อสร้างสมการเชิงเส้นสำหรับจำแนกยุคให้กับกะโหลกศีรษะมนุษย์โบราณบนพื้นฐานของค่าวัดขนาดของกะโหลกศีรษะใน 4 มิติ

2. เพื่อนำสมการที่ได้มาใช้ในการจำแนกกะโหลกศีรษะมนุษย์โบราณที่ไม่ทราบว่าอยู่ในยุคใด

​​วัตถุประสงค์ของการวิเคราะห์

ค่าวัดขนาดของกะโหลกศีรษะใน 4 มิติ ได้แก่

1. ความกว้างสูงสุด MB (x₁)  

2. ความสูงของ basibregmatic BH (x₂)

3. ความยาวของ basialveolar BL (x₃)

4. ความสูงของโพรงจมูก (NH) (x₄)

โดยเก็บรวบรวมจากกะโหลกศีรษะของมนุษย์อียิปต์โบราณจาก 5 ยุค ได้แก่ Early predinastic/Late predinastic/12^th and 13^th dynasties/ Ptolemaic/Roman โดยจะต้องทราบว่ากะโหลกศีรษะที่ขุดพบนั้นมาจากยุคใดใน 5 ยุคดังกล่าว​

​

​Example 5.2 (Egyptian Skull Data*)

​ลักษณะของของข้อมูลที่นำมาวิเคราะห์

​* Lab 5 MANOVA

1. เพื่อสร้างสมการเชิงเส้นสำหรับจำแนกสายพันธุ์ให้กับดอกไอริส บนพื้นฐานของค่าวัดความกว้างและยาวของกลีบดอกและกลีบเลี้ยง

2. เพื่อนำสมการที่ได้มาใช้ในการจำแนกดอกไอริสที่ไม่ทราบว่าเป็นสายพันธุ์ใด

​​วัตถุประสงค์ของการวิเคราะห์

​​ข้อมูลค่าวัดขนาด 4 มิติ ได้แก่

1. ความยาวของกลีบเลี้ยง (Sepal.Length)

2. ความกว้างของกลีบเลี้ยง (Sepal.Width)

3. ความยาวของกลีบดอก (Petal.Length)

4. ความกว้างของกลีบดอก (Petal.Width)

   โดยเก็บรวบรวมจากดอกไอริสที่สุ่มมาจาก 3 สายพันธุ์ ได้แก่ Setosa/Versicolor/Virginica

​Example 5.3 (Iris Data*)

​ลักษณะของของข้อมูลที่นำมาวิเคราะห์

​* Lab 6 Principle Component Analysis (PCA)

Multiple Choice

ข้อใดถูกต้องเกี่ยวกับวัตถุประสงค์ของการวิเคราะห์จำแนกกลุ่ม

• ใช้เพื่อสร้างสมการเชิงเส้นสำหรับพยากรณ์ค่าของตัวแปรตามที่เป็นเชิงปริมาณให้กับหน่วยสังเกตบนพื้นฐานของตัวแปรอิสระที่เป็นเชิงกลุ่ม

• ใช้เพื่อสร้างสมการเชิงเส้นสำหรับทำนายกลุ่มให้กับหน่วยสังเกตบนพื้นฐานของตัวแปรเชิงปริมาณ

• ใช้เพื่อสร้างสมการเชิงเส้นสำหรับพยากรณ์ค่าของตัวแปรตามที่เป็นเชิงปริมาณให้กับหน่วยสังเกตบนพื้นฐานของตัวแปรอิสระที่เป็นเชิงปริมาณ

• ใช้เพื่อสร้างสมการเชิงเส้นสำหรับทำนายกลุ่มให้กับหน่วยสังเกตบนพื้นฐานของตัวแปรเชิงกลุ่ม

Multiple Select

ข้อใดเป็นข้อมูลที่สามารถใช้ในการวิเคราะห์จำแนกกลุ่ม (ตอบได้มากกว่า 1 ข้อ)

• ข้อมูลคะแนนชุมชน 9 ด้านจาก 329 ชุมชนใน Assignment Lab 6 และใน Lab 7

• ข้อมูลคะแนนคุณลักษณะด้านต่าง ๆ (6 ด้าน) จากการชิมตัวอย่างไวน์แดง จาก 3 ภูมิภาค ใน Assignmnet Lab 7

• ข้อมูลเกี่ยวกับรูปร่างของนกกระจอกเพศเมียที่สุ่มมา 49 ตัว ใน Lab 1

• ข้อมูลใน Assignment IV Inferences of two population means

​Discriminant Analysis Procedure

​Discriminant Functions:

​(5.1)

​แนวคิดในการหาฟังก์ชันจำแนกกลุ่มของ Fisher

​การหาค่าสัมประสิทธิ์

​​จากกราฟจะสังเกตได้ว่าข้อมูลของตัวแปร 4 ตัวสามารถใช้ในการจำแนกสายพันธุ์ของดอกไอริส (3 สายพันธุ์) ได้ในระดับหนึ่ง เนื่องจากเราสามารถเห็นความแตกต่างระหว่างกลุ่มได้อย่างชัดเจนสำหรับบางคู่ของตัวแปร จึงจะทำการวิเคราะห์จำแนกเพื่อสร้างฟังก์ชันจำแนกกลุ่มของ Fisher จำนวน s = min (4,3-1) = 2  ฟังก์ชันที่สามารถใช้จำแนกสายพันธุ์ของดอกไอริส 3 กลุ่มได้ดีที่สุด

​​Scatter plot matrix of Iris data

​Fig 5.1 Scatter plot matrix of Iris data

​​Discriminant functions for Iris data

​​จากกราฟฮิสโตแกรมจะเห็นว่า ฟังก์ชันแรกมีความสามารถในจำแนกกลุ่มมากกว่าฟังก์ชันที่สองอย่างเห็นได้ชัด และจาก scatter plot จะเห็นว่าทั้งสองฟังก์ชันสามารถใช้ร่วมกันในจำแนกสายพันธุ์ของดอกไอริสได้ค่อนข้างดี โดยเฉพาะสายพันธุ์ Setosa ในขณะที่สายพันธุ์ Versicolor และ Viginica ยังมีส่วนที่คาบเกี่ยวกันเล็กน้อย

​​Histograms and Scatter plot of the discriminant functions for Iris data

Fig 5.2 ​Histogram of the first discriminant function

​Fig 5.3 Histogram of the second discriminant function

​Fig 5.4 Scatter plot of the discriminant functions for Iris data

​Using discriminant functions to classify objects

การจำแนกกลุ่มให้กับค่าสังเกตของหน่วยตัวอย่างแทนด้วยเวกเตอร์ x  โดยใช้ฟังก์ชันจำแนกกลุ่มของ Fisher มีขั้นตอนดังนี้ คือ

1. คำนวณค่าของฟังก์ชันจำแนกกลุ่มที่จุดศูนย์กลางของกลุ่ม (Group Centroids) ทั้งหมด

2. ​คำนวณระยะทางกำลังสอง (squared Mahalanobis distance) ระหว่างค่าของฟังก์ชันจำแนกกลุ่มที่จุด x และจุดศูนย์กลางของกลุ่มแต่ละกลุ่ม (จากขั้นที่ 1)

3. ​จำแนกกลุ่มให้กับตัวอย่างโดยใช้เกณฑ์จำแนกกลุ่มที่มีระยะทางกำลังสองน้อยที่สุด

​

​Example: (Iris data)

Step 1 ​คำนวณค่าของฟังก์ชันจำแนกกลุ่มที่จุดศูนย์กลางของกลุ่ม (Group Centroids)

​Example: (Iris data)

Step 2 ​คำนวณระยะทางกำลังสองระหว่างค่าของฟังก์ชันจำแนกกลุ่มกับค่าของฟังก์ชันจำแนกกลุ่มที่จุดศูนย์กลางของกลุ่มต่าง ๆ สำหรับแต่ละตัวอย่างของดอกไอริส

​Example: (Iris data)

Step 3 ​จำแนกกลุ่มให้กับตัวอย่างโดยใช้เกณฑ์จำแนกกลุ่มที่มีระยะทางกำลังสองน้อยที่สุด

​สำหรับตัวอย่างที่ 1 นี้ จะเห็นได้ว่าเมื่อพิจารณาระยะห่างระหว่างค่าของฟังก์ชันกับค่าของฟังก์ชันที่จุดศูนย์กลางของกลุ่มต่าง ๆ พบว่าใกล้เคียงกับจุดศูนย์กลางของกลุ่ม 1 มากที่สุด  จึงจำแนกดอกไอริสตัวอย่างแรกนี้ให้กับกลุ่มที่ 1  คือ สายพันธุ์ Setosa

​ตาราง 5.1 ผลการจำแนกกลุ่มของข้อมูลดอกไอริส โดยใช้ฟังก์ชันการจำแนกกลุ่มของ Fisher

​จากตาราง 5.1 จะพบว่า มีดอกไอริสถึง 147 ดอก จากทั้งหมด 150 ดอก คิดเป็นร้อยละ 98 ที่จำแนกสายพันธุ์ได้ถูกต้อง