Data Science Workflow (Pandas & Plotly)

Table of Contents

• 1) Exploratory Data Analysis (EDA)
• 1.1) คำสั่ง groupby ในการจับกลุ่ม
• 2) Visualization

ข้อมูลจาก รายได้แยกตามแหล่งที่มา แยกตามอาชีพ ปี 2554-2559

1) Exploratory Data Analysis (EDA)

เริ่มต้นด้วยการอ่านข้อมูลเข้ามาก่อน

import pandas as pd
df = pd.read_csv("http://thaiopendata.org/sites/default/files/vwFactExpenditureAvgMonthlyIncomeBySourceOfIncome.csv")
df.head()

df.tail()

ปกติแล้วเราจะใช้เวลาในการดูข้อมูลเพื่อทำความคุ้นเคยกับตัวข้อมูล ในกรณีนี้ ข้อมูลเป็นข้อมูลรายได้แยกตามแหล่งที่มาและอาชีพ

เมื่อเราดูข้อมูลจนเกิดไอเดียบางสิ่งบางอย่างที่เราต้องการทราบจากข้อมูล จึงค่อยเริ่มจัดการกับข้อมูลนั้น

ในตัวอย่างนี้จะเริ่มด้วยการทิ้งข้อมูลส่วนที่เราไม่ต้องการ

df = df.drop(df.tail(1).index)
df.tail()

ตรวจเช็คชื่อคอลัมน์ (เนื่องจากบางทีจะมีเว้นวรรคจะทำให้ต้องพิมพ์เว้นวรรคตามไปด้วย)

df.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 777 entries, 0 to 776
Data columns (total 20 columns):
 #   Column                                   Non-Null Count  Dtype  
---  ------                                   --------------  -----  
 0   ProvinceKey                              777 non-null    object 
 1   ProvinceName                             777 non-null    object 
 2   ProvinceNameEng                          777 non-null    object 
 3   RegionKey                                777 non-null    float64
 4   Region                                   777 non-null    object 
 5   RegionEng                                777 non-null    object 
 6   SourceOfIncomeKey                        777 non-null    float64
 7   SourceOfIncome                           777 non-null    object 
 8   SourceOfIncomeEng                        777 non-null    object 
 9   Year                                     777 non-null    float64
 10  FarmCulturePlantAnimalMainlyOwningLand   777 non-null    float64
 11  FarmCulturePlantAnimalMainlyRentingLand  777 non-null    float64
 12  FarmCultureFishingForestryHuntingAgri    777 non-null    float64
 13  EntrepreneursNonAgriBusiness             777 non-null    float64
 14  EmployeeTechnicianManager                777 non-null    float64
 15  EmployeeLabourInAgriForestryFishery      777 non-null    float64
 16  EmployeeLabourInLogisticTransportation   777 non-null    float64
 17  EmployeeClericalSalesServiceWorker       777 non-null    float64
 18  EmployeeWorkerProductionConstruction     777 non-null    float64
 19  EconomicallyInactive                     768 non-null    float64
dtypes: float64(13), object(7)
memory usage: 127.5+ KB

เนื่องจากประเทศไทยเป็นประเทศเกษตรกรรม เราอาจจะอยากรู้ว่ารายได้จากการเกษตรเป็นอย่างไร

จากคอลัมน์ข้างบน จะเห็นว่ามีคอลัมน์เกี่ยวกับการเกษตรอยู่สามคอลัมน์ คือ

1. FarmCulturePlantAnimalMainlyOwningLand หรือ เกษตรกรรมโดยที่เป็นเจ้าของที่ดิน
2. FarmCulturePlantAnimalMainlyRentingLand หรือ เกษตรกรรมโดยเช่าที่ดิน
3. FarmCultureFishingForestryHuntingAgri หรือ เกษตรกรรมด้วยการเก็บเกี่ยวธรรมชาติ

เราสามารถสร้างคอลัมน์สำหรับรายได้รวมด้านการเกษตร

df["FarmCulture"] = df['FarmCulturePlantAnimalMainlyOwningLand'] + df['FarmCulturePlantAnimalMainlyRentingLand'] + df['FarmCultureFishingForestryHuntingAgri']

df.head()

จะเห็นว่าในตารางจะมีคอลัมน์ใหม่ชื่อ FarmCulture ที่เราสร้างขึ้นมา

เราสามารถดูสถิติเบื้องต้นได้ด้วย

df["FarmCulture"].describe()

count       777.000000
mean       8973.027156
std       19083.362443
min       -8073.000000
25%         376.000000
50%        2604.000000
75%        8072.000000
max      290563.000000
Name: FarmCulture, dtype: float64

1.1) คำสั่ง groupby ในการจับกลุ่ม

เราสามารถแบ่งกลุ่มจังหวัดตามภาคตามคอลัมน์ Region ได้ด้วยคำสั่ง .groupby()

df.groupby("Region").groups

{'กรุงเทพมหานคร': [77, 78, 79, 80, 81, 82, 83, 84, 85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95, 96, 97, 98, 99, 100, 101, 102, 103, 104, 112, 113, 114, 115, 116, 117, 118, 119, 120, 121, 122, 123, 124, 125, 511, 512, 513, 514, 515, 516, 517, 518, 519, 520, 521, 522, 523, 524, 525, 526, 527, 528, 529, 530, 531, 532, 533, 534, 535, 536, 537, 538, 539, 540, 541, 542, 543, 544, 545, 546, 547, 548, 549, 550, 551, 552, 553, 554, 555, 556, 557, 558, 559, 560, 561, 562, 563, 564, 565, 566, 567, 568, ...], 'ภาคกลาง': [28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 357, 358, 359, 360, 361, 362, 363, 364, 365, 366, 367, 368, 369, 370, 371, 372, 373, 374, 375, 376, 377, 378, 379, 380, 381, 382, 383, 384, 385, 386, 387, 388, 389, 390, 391, 392, 393, 394, 395, 396, 397, 398, 399, 400, 401, 402, 403, 404, 405, 406, 407, ...], 'ภาคตะวันออกเฉียงเหนือ': [126, 127, 128, 129, 130, 131, 132, 133, 134, 135, 136, 137, 138, 139, 140, 141, 142, 143, 144, 145, 146, 147, 148, 149, 150, 151, 152, 153, 154, 155, 156, 157, 158, 159, 160, 161, 162, 163, 164, 165, 166, 167, 658, 659, 660, 661, 662, 663, 664, 665, 666, 667, 668, 669, 670, 671, 672, 673, 674, 675, 676, 677, 678, 679, 680, 681, 682, 683, 684, 685, 686, 687, 688, 689, 690, 691, 692, 693, 694, 695, 696, 697, 698, 699, 700, 701, 702, 703, 704, 705, 706, 707, 708, 709, 710, 711, 712, 713, 714, 715, ...], 'ภาคเหนือ': [7, 8, 9, 10, 11, 12, 13, 175, 176, 177, 178, 179, 180, 181, 182, 183, 184, 185, 186, 187, 188, 189, 190, 191, 192, 193, 194, 195, 196, 197, 198, 199, 200, 201, 202, 203, 204, 205, 206, 207, 208, 209, 210, 211, 212, 213, 214, 215, 216, 217, 218, 219, 220, 221, 222, 223, 224, 225, 226, 227, 228, 229, 230, 231, 232, 233, 234, 235, 236, 237, 238, 239, 240, 241, 242, 243, 244, 245, 246, 247, 248, 249, 250, 251, 252, 253, 254, 255, 256, 257, 258, 259, 260, 261, 262, 263, 264, 265, 266, 267, ...], 'ภาคใต้': [0, 1, 2, 3, 4, 5, 6, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 105, 106, 107, 108, 109, 110, 111, 168, 169, 170, 171, 172, 173, 174, 273, 274, 275, 276, 277, 278, 279, 280, 281, 282, 283, 284, 285, 286, 287, 288, 289, 290, 291, 292, 293, 294, 295, 296, 297, 298, 299, 300, 301, 302, 303, 304, 305, 306, 307, 308, 309, 310, 311, 312, 313, 314, 315, 316, 317, 318, 319, 320, 321, 322, 323, 324, 325, 326, 327, 328, 329, 330, 331, 332, 333, 334, 335, 336, 337, ...]}

โดยผลลัพธ์จะบอกว่าแต่ละกลุ่มประกอบด้วยแถวอะไรบ้าง

และเราสามารถหาผลรวมของแต่ละแถวในกลุ่มนั้น ๆ ได้เลย

df.groupby("Region").sum()

หากเราสนใจเพียงคอลัมน์การเกษตรก็สามารถระบุชื่อ FarmCulture ได้

df.groupby("Region").sum()["FarmCulture"]

Region
กรุงเทพมหานคร            1199869.1
ภาคกลาง                  1588037.7
ภาคตะวันออกเฉียงเหนือ    1533837.9
ภาคเหนือ                 1112829.9
ภาคใต้                   1537467.5
Name: FarmCulture, dtype: float64

ProvinceName
กระบี่                  10778.571429
กาฬสินธุ์                5200.214286
กำแพงเพชร                5749.357143
ขอนแก่น                 11791.585714
จันทบุรี                27671.500000
ฉะเชิงเทรา              17586.428571
ชลบุรี                  13317.785714
ชัยนาท                  13625.785714
ชัยภูมิ                 10499.214286
ชุมพร                   12244.857143
ตรัง                     4952.571429
ตราด                     8775.642857
ตาก                      5005.142857
นครนายก                  6943.928571
นครพนม                   5240.357143
นครราชสีมา               9564.271429
นครศรีธรรมราช           15304.092857
นครสวรรค์                7893.857143
นนทบุรี                  9439.785714
นราธิวาส                 5496.142857
น่าน                     5156.571429
บึงกาฬ                   9337.571429
ปทุมธานี                 9495.357143
ปัตตานี                  6626.785714
พระนครศรีอยุธยา         14260.285714
พะเยา                    5927.142857
พังงา                    8671.642857
พัทลุง                   8313.285714
พิจิตร                   8698.214286
พิษณุโลก                 7091.928571
ภูเก็ต                   8890.214286
มหาสารคาม                6917.142857
มุกดาหาร                 9913.571429
ยะลา                     6514.000000
ยโสธร                    8425.785714
ระนอง                    8717.285714
ระยอง                   15603.821429
ร้อยเอ็ด                 5925.714286
ลพบุรี                   6224.571429
ลำพูน                    6302.476190
สกลนคร                   5314.071429
สงขลา                   10315.400000
สตูล                    11910.571429
สมุทรปราการ              3132.809524
สระบุรี                  6558.128571
สระแก้ว                 15220.785714
สิงห์บุรี               14567.214286
สุราษฎร์ธานี            16682.428571
สุรินทร์                 8360.142857
สุโขทัย                  9951.142857
หนองคาย                  5650.571429
หนองบัวลำภู              7091.285714
อุดรธานี                 9947.728571
อุตรดิตถ์                7087.714286
อุบลราชธานี              7929.900000
อ่างทอง                  8595.785714
เชียงราย                 4424.928571
เชียงใหม่                6224.257143
เพชรบูรณ์                7933.071429
แม่ฮ่องสอน               3047.035714
Name: FarmCulture, dtype: float64

2) Visualization

top

หากอ่านตัวเลขด้านบนแล้วเรายังไม่เห็นภาพรวมของแต่ละจังหวัด เราก็สามารถพลอตกราฟได้

import plotly.express as px

สร้าง dataframe ชื่อ mean_prov ที่เป็นค่าเฉลี่ยของแต่ละจังหวัด

mean_prov = df.groupby("ProvinceName").mean()
mean_prov

สร้าง histogram สำหรับค่าเฉลี่ยของคอลัมน์ FarmCulture ในแต่ละจังหวัดได้ดังนี้

px.histogram(mean_prov, x="FarmCulture")

หรือจะใช้คำสั่ง .hist() ใน pandas เลยก็ได้ดังนี้

mean_prov["FarmCulture"].hist()

ทั้งนี้ เราสามารถกำหนดวิธีการพลอตกราฟด้วย pandas ให้ใช้ plotly ได้เช่นกัน

pd.options.plotting.backend = "plotly"

mean_prov["FarmCulture"].hist()

เราสามารถสร้าง histogram สำหรับคอลัมน์ EntrepreneursNonAgriBusiness ได้ในทำนองเดียวกัน

ซึ่งเดาจากชื่อแล้วน่าจะเป็นสิ่งที่ไม่ใช่เกษตรกรรม (NonAgri)

px.histogram(mean_prov, x="EntrepreneursNonAgriBusiness")

หากเราต้องการนำสองค่ามาพลอตร่วมกันสามารถระบุได้ดังนี้

px.histogram(mean_prov, x=["FarmCulture","EntrepreneursNonAgriBusiness"])

top