Data Acquisition (Pandas)

Table of Contents

• 1) การนำเข้าข้อมูล
• 1.1) ตัวอย่างข้อมูลโควิด (csv)
• 1.2) ตัวอย่างข้อมูลปริมาณน้ำมัน (csv)
• 1.3) ตัวอย่างข้อมูลหน่วยอนุรักษ์สิ่งแวดล้อมธรรมชาติและศิลปกรรมท้องถิ่น (xlsx)
• 1.4) ตัวอย่างข้อมูล gapminder (json)
• 2) ประโยชน์ของ class dataframe
• 2.1) General
• 2.2) Quick Data Summary
• 2.3) Selection
• 2.4) Operations

• ในการทำงาน Data Science จะต้องทำงานกับข้อมูล
• ก่อนที่จะทำงานกับข้อมูลได้ เราต้องสามารถนำข้อมูลเข้ามาในโปรแกรมเราให้ได้ก่อน
• เรารู้จักกับการนำเข้าข้อมูลสองแบบแล้ว คือ
  • คำสั่ง input() ซึ่งนำเข้าข้อมูลทีละบรรทัด
  • อ่านไฟล์เข้า เช่น open("filename.csv", "r") ซึ่งอ่านไฟล์ข้อมูลเข้ามาเป็น text
• Lab นี้จะแนะนำ extension library ชื่อ pandas ที่จะอำนวยความสะดวกในการอ่านข้อมูลเป็นโครงสร้างแบบตาราง (class ประเภท dataframe ใน pandas)
• library documentation: https://pandas.pydata.org/docs/

1) การนำเข้าข้อมูล

1.1) ตัวอย่างข้อมูลโควิด (csv)

ต่อไปนี้จะเป็นการนำเข้าข้อมูลประเภท csv (comma-separated values) จาก https://data.go.th/dataset/labscovid19

import pandas as pd
df = pd.read_csv("https://raw.githubusercontent.com/tj-14/mirror.data.go.th/main/data/labscovid19_update080365.csv", encoding="ISO-8859-11")

คำสั่งของ pandas มีการทำงานดังนี้

• pd เป็นการเรียก library pandas (จากที่เรา import pandas as pd)
• .read_csv(url) เป็นการเรียก method read_csv และระบุที่อยู่ (url) ของไฟล์ข้อมูลที่เราต้องการอ่าน

โดยการเรียก df ธรรมดาจะแสดงผลทั้งตาราง ส่วน

• df.head() จะแสดง 5 แถวแรก
• df.tail() จะแสดง 5 แถวสุดท้าย

df.head()

df.tail()

1.2) ตัวอย่างข้อมูลปริมาณน้ำมัน (csv)

ข้อมูลจาก https://data.go.th/dataset/e20-station

df = pd.read_csv(
    "https://raw.githubusercontent.com/tj-14/mirror.data.go.th/main/data/05_e20_19_11nov_sta.csv",
    encoding="ISO-8859-11"
)
df.head()

1.3) ตัวอย่างข้อมูลหน่วยอนุรักษ์สิ่งแวดล้อมธรรมชาติและศิลปกรรมท้องถิ่น (xlsx)

ใช้ read_excel นำเข้าข้อมูลประเภท excel จาก https://data.go.th/dataset/conservation-unit

df = pd.read_excel(
    "https://github.com/tj-14/mirror.data.go.th/blob/main/data/conservation_unit-march-2021.xlsx?raw=true",
    engine='openpyxl'
)
df.head()

1.4) ตัวอย่างข้อมูล gapminder (json)

df = pd.read_json("https://raw.githubusercontent.com/vega/vega-datasets/master/data/gapminder.json")
df.head()

หากเราต้องการเปิดไฟล์ข้อมูลพิกัด LAT/LONG ที่ตั้งตำบล จากเว็บ https://data.go.th/dataset/item_c6d42e1b-3219-47e1-b6b7-dfe914f27910 ด้วย pandas จะต้องใช้คำสั่งใด

	read_csv()
	read_excel()
	read_json()

หากเราต้องการเปิดไฟล์ข้อมูลมูลค่าซื้อขายหลักทรัพย์ของตลาดหลักทรัพย์แห่งประเทศไทย จำแนกตามประเภทผู้ลงทุน https://data.go.th/dataset/stat_tradingvalue_set_th-csv ด้วย pandas จะต้องใช้คำสั่งใด

	read_csv()
	read_excel()
	read_json()

top

2) ประโยชน์ของ class dataframe

• การอ่านข้อมูลเข้ามาด้วย pd.read_csv หรือ pd.read_excel จะเก็บข้อมูลอยู่ใน class DataFrame
• class DataFrame มี method ให้เราเรียกใช้ได้หลากหลายซึ่งจะอำนวยความสะดวก

2.1) General

top

เราจะเริ่มด้วยการสร้าง DataFrame จากการสุ่มค่าด้วย np.random.rand ก่อน

import numpy as np
df = pd.DataFrame(np.random.rand(10, 4), columns=['A', 'B', 'C', 'D'])
df

ข้อมูลประเภท DataFrame มีส่วนสำคัญหลักคือ

• index: ค่ากำกับแต่ละแถว
• column: ค่ากำกับแต่ละคอลัมภ์
• value: ค่าภายในตาราง

ซึ่งเราสามารถเรียกดูค่าได้ดังนี้

print(df.index)
print(df.columns)
print(df.values)

RangeIndex(start=0, stop=10, step=1)
Index(['A', 'B', 'C', 'D'], dtype='object')
[[0.7829119  0.60382855 0.50076637 0.42400391]
 [0.68022882 0.37232697 0.37547956 0.27807436]
 [0.43392244 0.57908639 0.93692711 0.30991087]
 [0.03415112 0.65447155 0.3114905  0.32206372]
 [0.20260941 0.46518289 0.16545388 0.76895575]
 [0.40038741 0.34283772 0.40913372 0.72675322]
 [0.9950541  0.37860425 0.15360411 0.99702591]
 [0.87152813 0.12165434 0.56988496 0.80999185]
 [0.70307289 0.22535636 0.89550976 0.06989925]
 [0.19947545 0.02706189 0.23695781 0.94702101]]

2.2) Quick Data Summary

ตัวอย่างฟังก์ชันที่มีประโยชน์ของ DataFrame คือ .describe() ที่สามารถบอกค่าสถิติเบื้องต้นของแต่ละคอลัมพ์ได้ทันที

df.describe()

2.3) Selection

top

การเลือกคอลัมภ์ (จะได้ออกมาเป็น class pd.Series) สามารถใช้ df['A'] หรือ df.A ซึ่งจะได้

0    0.782912
1    0.680229
2    0.433922
3    0.034151
4    0.202609
5    0.400387
6    0.995054
7    0.871528
8    0.703073
9    0.199475
Name: A, dtype: float64

สามารถทำ slicing ได้ เช่น

df[0:3]

เราสามารถเลือกแต่ละแถวได้ด้วย

df.loc[7]

จะได้

A    0.871528
B    0.121654
C    0.569885
D    0.809992
Name: 7, dtype: float64

สามารถระบุทั้ง row และ column ได้เช่นกัน

df.loc[7, 'A']

จะได้

0.8715281334680098

เลือกด้วยตำแหน่ง (ในกรณีที่ index ไม่ใช่ตัวเลขเริ่มจาก 0)

df.iloc[3]

จะได้

A    0.034151
B    0.654472
C    0.311490
D    0.322064
Name: 3, dtype: float64

ซึ่งทำ slicing ด้วยตำแหน่งได้เช่นกัน

df.iloc[3:5, 0:2]

ได้

A         B
3  0.034151  0.654472
4  0.202609  0.465183

df.iloc[:, 1:3]

ได้

B         C
0  0.603829  0.500766
1  0.372327  0.375480
2  0.579086  0.936927
3  0.654472  0.311490
4  0.465183  0.165454
5  0.342838  0.409134
6  0.378604  0.153604
7  0.121654  0.569885
8  0.225356  0.895510
9  0.027062  0.236958

เจาะจงตำแหน่งที่ 1, 1 เช่น

df.iloc[1, 1]

จะได้

0.37232696730152004

จาก df ที่มีค่าดังนี้

	A	B	C	D
0	0.782912	0.603829	0.500766	0.424004
1	0.680229	0.372327	0.375480	0.278074
2	0.433922	0.579086	0.936927	0.309911
3	0.034151	0.654472	0.311490	0.322064
4	0.202609	0.465183	0.165454	0.768956
5	0.400387	0.342838	0.409134	0.726753
6	0.995054	0.378604	0.153604	0.997026
7	0.871528	0.121654	0.569885	0.809992
8	0.703073	0.225356	0.895510	0.069899
9	0.199475	0.027062	0.236958	0.947021

ผลลัพธ์จากคำสั่งต่อไปนี้คืออะไร (ตอบเป็นทศนิยม 3 ตำแหน่ง)

print(df.iloc[1, 3])

จาก df เดิม ผลลัพธ์จากคำสั่งต่อไปนี้คืออะไร (ตอบเป็นทศนิยม 3 ตำแหน่ง)

print(df.loc[3, 'B'])

2.4) Operations

top

DataFrame มี method หาค่าพื้นฐานทางคณิตศาสตร์ให้ใช้เช่นกัน

จาก DataFrame df ที่มีค่า

หากหาค่าต่าง ๆ จะได้

df.mean()

A    0.530334
B    0.377041
C    0.455521
D    0.565370
dtype: float64

df.sum()

A    5.303342
B    3.770411
C    4.555208
D    5.653700
dtype: float64

df.std()

A    0.322788
B    0.207873
C    0.277456
D    0.321764
dtype: float64

ซึ่ง DataFrame จะหาค่าต่าง ๆ แยกให้ตามแต่ละคอลัมภ์

จาก df เดิม ผลลัพธ์จากคำสั่งต่อไปนี้คืออะไร (ตอบเป็นทศนิยม 3 ตำแหน่ง)

df.max()['A']

จาก df เดิม ผลลัพธ์จากคำสั่งต่อไปนี้คืออะไร (ตอบเป็นทศนิยม 3 ตำแหน่ง)

df.min()['B']

top