Data Cleansing (NumPy & Pandas)

Table of Contents

• 1) การจัดการรูปแบบ
• 1.1) ตัวอย่างปัญหา data types และวิธีการระบุ thousands
• 1.2) ตัวอย่างปัญหาชื่อ columns และวิธีการ set columns, slicing, reset_index
• 2) การจัดการค่า
• 2.1) NaN คืออะไร และวิธีการใช้งาน dropna, isnull
• 2.2) Non-NaN missing data
• 2.3) กำหนด index
• 2.4) การจัดการข้อมูล และการคำนวณค่าจากหลายคอลัมน์

• ในการทำงานจริง ข้อมูลส่วนใหญ่จะมาในสภาพที่ไม่พร้อมใช้งานได้ทันที
• จะมีกระบวนการเตรียมความพร้อมข้อมูลก่อนนำไปประมวลผล
• เรียกว่า data cleansing หรือ data preprocessing
• ทั้งนี้ สภาพของข้อมูลจะมีหลากหลายมาก lab นี้จึงอาจจะยกตัวอย่างมาได้ไม่ครบถ้วน

1) การจัดการรูปแบบ

1.1) ตัวอย่างปัญหา data types และวิธีการระบุ thousands

เริ่มด้วยการอ่านข้อมูลปริมาณจราจรบนทางหลวง ปี 2563 https://data.go.th/dataset/highwaystraffic2563

import pandas as pd
df = pd.read_csv(
    "https://github.com/tj-14/mirror.data.go.th/raw/main/data/63.csv",
    encoding="ISO-8859-11",
)
df.head()

เราสามารถใช้คำสั่ง df.info() สำหรับการดูประเภทข้อมูลแต่ละคอลัมน์เบื้องต้นได้

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 2701 entries, 0 to 2700
Data columns (total 20 columns):
 #   Column                                Non-Null Count  Dtype  
---  ------                                --------------  -----  
 0   ทางหลวงสาย                            2701 non-null   int64  
 1   ตอนควบคุม                             2701 non-null   int64  
 2   ชื่อสายทาง                            2701 non-null   object 
 3   จุดสำรวจ                              2701 non-null   object 
 4   รถยนต์นั่ง (ไม่เกิน 7 คน)             2701 non-null   object 
 5   รถยนต์นั่ง (เกิน 7 คน)                2701 non-null   object 
 6   รถโดยสารขนาดเล็ก                      2701 non-null   object 
 7   รถโดยสารขนาดกลาง                      2701 non-null   object 
 8   รถโดยสารขนาดใหญ่                      2701 non-null   object 
 9      รถบรรทุกขนาดเล็ก    ( 4 ล้อ)       2701 non-null   object 
 10  รถบรรทุกขนาด 2 เพลา  (6 ล้อ)          2701 non-null   object 
 11       รถบรรทุกขนาด 3 เพลา (10 ล้อ)     2701 non-null   object 
 12     รถบรรทุกพ่วง  (มากกว่า 3 เพลา)     2701 non-null   object 
 13     รถบรรทุกกึ่งพ่วง (มากกว่า 3 เพลา)  2701 non-null   object 
 14  รวม                                   2701 non-null   object 
 15     % ของยานยนต์หนัก                   2701 non-null   float64
 16  จักรยาน 2 ล้อ และ จักรยาน 3 ล้อ       2701 non-null   object 
 17  สามล้อเครื่องและจักรยานยนต์           2701 non-null   object 
 18  แขวงทางหลวง                           2701 non-null   object 
 19  จังหวัด                               2701 non-null   object 
dtypes: float64(1), int64(2), object(17)
memory usage: 422.2+ KB

จะเห็นว่าคอลัมน์ที่ควรเป็นตัวเลข เช่น รถโดยสารขนาดเล็ก นั้นมี Dtype เป็น object ซึ่งไม่ใช่ int64 (จำนวนเต็ม) หรือ float64 (จำนวนจริง)

เพราะว่าตัวเลข 2,317 นั้นมี , (comma) อยู่ pandas จึงคิดว่าเป็นข้อความแทนที่จะเป็นตัวเลข

เราสามารถระบุ parameter thousands=',' ใน pd.read_csv เพิ่มเติมได้เพื่อบอก pandas ว่า , นั้นเป็นสัญลักษณ์คั่นหลักพันของตัวเลข

df = pd.read_csv(
    "https://github.com/tj-14/mirror.data.go.th/raw/main/data/63.csv",
    encoding="ISO-8859-11",
    thousands=','
)
df.head()

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 2701 entries, 0 to 2700
Data columns (total 20 columns):
 #   Column                                Non-Null Count  Dtype  
---  ------                                --------------  -----  
 0   ทางหลวงสาย                            2701 non-null   int64  
 1   ตอนควบคุม                             2701 non-null   int64  
 2   ชื่อสายทาง                            2701 non-null   object 
 3   จุดสำรวจ                              2701 non-null   object 
 4   รถยนต์นั่ง (ไม่เกิน 7 คน)             2701 non-null   int64  
 5   รถยนต์นั่ง (เกิน 7 คน)                2701 non-null   int64  
 6   รถโดยสารขนาดเล็ก                      2701 non-null   int64  
 7   รถโดยสารขนาดกลาง                      2701 non-null   int64  
 8   รถโดยสารขนาดใหญ่                      2701 non-null   int64  
 9      รถบรรทุกขนาดเล็ก    ( 4 ล้อ)       2701 non-null   int64  
 10  รถบรรทุกขนาด 2 เพลา  (6 ล้อ)          2701 non-null   int64  
 11       รถบรรทุกขนาด 3 เพลา (10 ล้อ)     2701 non-null   int64  
 12     รถบรรทุกพ่วง  (มากกว่า 3 เพลา)     2701 non-null   int64  
 13     รถบรรทุกกึ่งพ่วง (มากกว่า 3 เพลา)  2701 non-null   int64  
 14  รวม                                   2701 non-null   int64  
 15     % ของยานยนต์หนัก                   2701 non-null   float64
 16  จักรยาน 2 ล้อ และ จักรยาน 3 ล้อ       2701 non-null   int64  
 17  สามล้อเครื่องและจักรยานยนต์           2701 non-null   int64  
 18  แขวงทางหลวง                           2701 non-null   object 
 19  จังหวัด                               2701 non-null   object 
dtypes: float64(1), int64(15), object(4)
memory usage: 422.2+ KB

จะเห็นว่าคอลัมน์ที่เป็นตัวเลข เช่น รถโดยสารขนาดเล็ก นั้นมี Dtype เป็น int64 (จำนวนเต็ม) แล้ว

1.2) ตัวอย่างปัญหาชื่อ columns และวิธีการ set columns, slicing, reset_index

top

เริ่มด้วยการอ่านข้อมูลผลผลิตทุเรียนแยกตามจังหวัด ปี 2562 https://data.go.th/dataset/39e51846-3314-4f88-8fbc-0ca070084141

df = pd.read_excel("https://data.go.th/dataset/39e51846-3314-4f88-8fbc-0ca070084141/resource/756ca215-5cd3-454f-be5a-04264c31101e/download/untitled.xlsx")
df.head()

จะเห็นว่าหัวตารางยังไม่เป็นระเบียบ เช่น ยังมี variable (จังหวัด, ผลผลิต(ตัน), สัดส่วน, ...) ปนอยู่ในส่วนของข้อมูล โดยเราจะแก้ไขด้วยการกำหนดให้แถวที่ 1 (df.loc[1]) เป็นหัวตาราง (df.columns) แทน

df.columns = df.loc[1]
df.head()

จะเห็นว่าหัวตารางกลายเป็น (จังหวัด, ผลผลิต(ตัน), สัดส่วน, ...) แล้ว

ต่อไปจะดูท้ายตารางว่ามีปัญหาด้วยหรือไม่

df.tail(5)

ท้ายตารางไม่มีปัญหาอะไร สามารถเลือกข้อมูล (slicing) เริ่มตั้งแต่แถวที่ 2 ได้เลย

df.loc[2:]

กำหนดให้ df.loc[2:] เป็นตัวแปรใหม่เพื่อความสะดวกได้เช่นกัน

df2 = df.loc[2:]
df2.head()

จะเห็นว่าหลังจากการทำ slicing แล้ว index ไม่ได้เริ่มที่ 0

เราสามารถใช้คำสั่ง reset_index() เพื่อให้ index เริ่มต้นที่ 0 ได้ โดยให้เป็น df3

df3 = df2.reset_index()
df3.head()

เราสามารถลบคอลัมน์ index เก่าทิ้งได้ด้วยคำสั่ง del

del df3["index"]
df3.head()

สุดท้ายนี้ เราสามารถลบเลข 1 ที่ติดอยู่ในหัวตารางเราจากการที่เราเลือกข้อมูลแถวที่ 1 มาเป็นหัวตารางได้ด้วยการกำหนด df3.columns.name ให้เป็น None

df3.columns.name = None

df3.head()

top

2) การจัดการค่า

2.1) NaN คืออะไร และวิธีการใช้งาน dropna, isnull

เริ่มด้วยการอ่านข้อมูลสนามกีฬาในประเทศไทย https://data.go.th/dataset/stadium

df = pd.read_excel(
    "https://github.com/tj-14/mirror.data.go.th/blob/main/data/stadium_1-jul-2020.xlsx?raw=true",
    engine='openpyxl'
)
df.head()

เราสามารถดูข้อมูลเบื้องต้นด้วย df.info() อีกครั้ง

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 44188 entries, 0 to 44187
Data columns (total 30 columns):
 #   Column              Non-Null Count  Dtype  
---  ------              --------------  -----  
 0   OBJECTID            44188 non-null  int64  
 1   NAME_LABEL          44188 non-null  object 
 2   SUPPORT             43029 non-null  object 
 3   ADDRESS             43354 non-null  object 
 4   TIME_               8603 non-null   object 
 5   PROV_NAMT           44138 non-null  object 
 6   AMP_NAMT            44138 non-null  object 
 7   TAM_NAMT            44138 non-null  object 
 8   MOO                 9762 non-null   object 
 9   LATITUDE            32097 non-null  float64
 10  LONGITUDE           32071 non-null  float64
 11  SUPPORT_FLAG        36188 non-null  float64
 12  TELEPHONE           20166 non-null  object 
 13  EMAIL               6804 non-null   object 
 14  AREA_SIZE1          6626 non-null   float64
 15  AREA_SIZE2          3110 non-null   float64
 16  AREA_SIZE3          2679 non-null   float64
 17  AREA_SIZE_TEXT      35 non-null     float64
 18  POST_NO             35 non-null     object 
 19  BUILDING_BY         26 non-null     object 
 20  ADDRESS_SUPPORT     14 non-null     object 
 21  ACCEPT_USER         21 non-null     object 
 22  REGULATION          10 non-null     object 
 23  TRANSPORT           42 non-null     object 
 24  FIELD_EQUIPMENT     32 non-null     object 
 25  SPORT_EQUIPMENT     32 non-null     object 
 26  ILLUMINATION        37 non-null     object 
 27  UNDER_STADIUM       20613 non-null  float64
 28  UNDER_STADIUM_NAME  20599 non-null  object 
 29  UPDATE_DATE         33496 non-null  object 
dtypes: float64(8), int64(1), object(21)
memory usage: 10.1+ MB

จะเห็นได้ว่านอกจาก Dtype แล้ว คำสั่งนี้ยังบอกด้วยว่าค่า Non-Null Count เป็นเท่าไร ซึ่งจากตารางจะเห็นได้ว่าคอลัมน์อย่าง SUPPORT จะมีข้อมูลเป็น NaN (Not a Number) ซึ่งเป็น Null หรือหมายความว่าช่องนั้นไม่มีข้อมูลนั่นเอง

เราสามารถลบแถวที่เป็น NaN ทิ้งได้ด้วยคำสั่ง dropna

df.dropna().head()

แต่ถ้าเราใช้คำสั่ง dropna เฉย ๆ แล้ว หากแถวหนึ่งมี NaN อยู่ จะถูกลบทันที ซึ่งถูกลบหมดนั้นหมายความว่าทุกแถวในข้อมูลมี NaN อย่างน้อยหนึ่งช่อง

เราสามารถเลือก dropna โดยตรวจสอบ NaN จากบางคอลัมน์ได้ด้วยการระบุ parameter subset ในคำสั่งด้วย

df.dropna(subset=["SUPPORT"]).head()

จะเห็นได้ว่าตารางที่ได้ออกมานั้นไม่มี NaN ในคอลัมน์ SUPPORT อีกต่อไป

df.dropna(subset=["SUPPORT"]).info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 43029 entries, 15 to 44187
Data columns (total 30 columns):
 #   Column              Non-Null Count  Dtype  
---  ------              --------------  -----  
 0   OBJECTID            43029 non-null  int64  
 1   NAME_LABEL          43029 non-null  object 
 2   SUPPORT             43029 non-null  object 
 3   ADDRESS             42242 non-null  object 
 4   TIME_               8559 non-null   object 
 5   PROV_NAMT           43026 non-null  object 
 6   AMP_NAMT            43026 non-null  object 
 7   TAM_NAMT            43026 non-null  object 
 8   MOO                 9738 non-null   object 
 9   LATITUDE            31967 non-null  float64
 10  LONGITUDE           31943 non-null  float64
 11  SUPPORT_FLAG        35079 non-null  float64
 12  TELEPHONE           20151 non-null  object 
 13  EMAIL               6794 non-null   object 
 14  AREA_SIZE1          6624 non-null   float64
 15  AREA_SIZE2          3110 non-null   float64
 16  AREA_SIZE3          2679 non-null   float64
 17  AREA_SIZE_TEXT      13 non-null     float64
 18  POST_NO             25 non-null     object 
 19  BUILDING_BY         21 non-null     object 
 20  ADDRESS_SUPPORT     14 non-null     object 
 21  ACCEPT_USER         17 non-null     object 
 22  REGULATION          10 non-null     object 
 23  TRANSPORT           34 non-null     object 
 24  FIELD_EQUIPMENT     11 non-null     object 
 25  SPORT_EQUIPMENT     11 non-null     object 
 26  ILLUMINATION        12 non-null     object 
 27  UNDER_STADIUM       20528 non-null  float64
 28  UNDER_STADIUM_NAME  20515 non-null  object 
 29  UPDATE_DATE         33353 non-null  object 
dtypes: float64(8), int64(1), object(21)
memory usage: 10.2+ MB

จะเห็นได้ว่าหลังจากเช็คด้วย info แล้วคอลัมน์ SUPPORT มี 43029 non-null count ซึ่งเท่ากับจำนวน 43029 entries

สำหรับกรณีที่เราอยากรู้ว่าหน้าตาของแถวที่คอลัมน์ SUPPORT เป็น NaN มีหน้าตาอย่างไร เราสามารถใช้คำสั่ง isnull เข้ามาช่วยได้

df["SUPPORT"].isnull()

0         True
1         True
2         True
3         True
4         True
         ...  
44183    False
44184    False
44185    False
44186    False
44187    False
Name: SUPPORT, Length: 44188, dtype: bool

โดยคำสั่ง isnull จะคืนค่าเป็นค่าความจริง (boolean) ว่าแถวนั้น ๆ มีค่าเป็น NaN หรือไม่

และเราสามารถใช้ค่าความจริงนี้มาทำ masking ได้

df[df["SUPPORT"].isnull()].head()

จะทำให้เราได้เห็นว่าหน้าตาของแถวที่ SUPPORT เป็น NaN นั้นเป็นอย่างไร

2.2) Non-NaN missing data

top

เริ่มด้วยการอ่านข้อมูลโรงงาน 101-105-106 https://data.go.th/dataset/item_2d831f97-991a-44e0-ac34-d37f01c81e0b

df = pd.read_csv(
    "https://github.com/tj-14/mirror.data.go.th/raw/main/data/101-105-106-1.csv",
    encoding="ISO-8859-11"
)
df.head()

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1967 entries, 0 to 1966
Data columns (total 16 columns):
 #   Column            Non-Null Count  Dtype  
---  ------            --------------  -----  
 0   ลำดับ             1967 non-null   int64  
 1   เลขทะเบียนโรงงาน  1967 non-null   object 
 2   ชื่อโรงงาน        1967 non-null   object 
 3   ประกอบกิจการ      1967 non-null   object 
 4   เลขที่            1967 non-null   object 
 5   หมู่              1893 non-null   object 
 6   ซอย               1316 non-null   object 
 7   ถนน               1523 non-null   object 
 8   ตำบล              1967 non-null   object 
 9   อำเภอ             1967 non-null   object 
 10  จังหวัด           1967 non-null   object 
 11  ไปรษณีย์          1964 non-null   float64
 12  โทรศัพท์          821 non-null    object 
 13  เงินทุนรวม        1964 non-null   float64
 14  คนงาน             1967 non-null   int64  
 15  แรงม้า            1965 non-null   float64
dtypes: float64(3), int64(2), object(11)
memory usage: 246.0+ KB

จะเห็นได้ว่าในตารางจะมีทั้งข้อมูลที่เป็น NaN และ - เช่นในคอลัมน์ ซอย ซึ่งเป็น missing data ทั้งสองกรณี แต่ - จะถูกนับเป็น non-null ซึ่งอาจทำให้เราเข้าใจผิดได้

เราสามารถระบุ parameter na_values ในฟังก์ชัน read_csv ได้ให้ pandas เข้าใจว่าเราต้องการให้ข้อมูลอะไรเป็น NaN เพิ่มเติม

df = pd.read_csv(
    "https://github.com/tj-14/mirror.data.go.th/raw/main/data/101-105-106-1.csv",
    encoding="ISO-8859-11",
    na_values=["-"]
)
df.head()

df.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1967 entries, 0 to 1966
Data columns (total 16 columns):
 #   Column            Non-Null Count  Dtype  
---  ------            --------------  -----  
 0   ลำดับ             1967 non-null   int64  
 1   เลขทะเบียนโรงงาน  1967 non-null   object 
 2   ชื่อโรงงาน        1967 non-null   object 
 3   ประกอบกิจการ      1967 non-null   object 
 4   เลขที่            1967 non-null   object 
 5   หมู่              1880 non-null   object 
 6   ซอย               479 non-null    object 
 7   ถนน               974 non-null    object 
 8   ตำบล              1967 non-null   object 
 9   อำเภอ             1967 non-null   object 
 10  จังหวัด           1967 non-null   object 
 11  ไปรษณีย์          1964 non-null   float64
 12  โทรศัพท์          749 non-null    object 
 13  เงินทุนรวม        1964 non-null   float64
 14  คนงาน             1967 non-null   int64  
 15  แรงม้า            1965 non-null   float64
dtypes: float64(3), int64(2), object(11)
memory usage: 246.0+ KB

หลังจากระบุ na_values เพิ่มแล้วจะเห็นได้ว่า non-null ของ ซอย นั้นจริง ๆ มีเพียง 479 ค่าเท่านั้นจากเดิมที่เป็น 1316 ที่คิดว่า - เป็น non-null

2.3) กำหนด index

top

สามารถใช้คอลัมน์ ลำดับ เป็น index ได้ด้วยการกำหนด index_col=0

df = pd.read_csv(
    "https://github.com/tj-14/mirror.data.go.th/raw/main/data/101-105-106-1.csv",
    encoding="ISO-8859-11",
    na_values=["-"],
    index_col=0
)
df.head()

2.4) การจัดการข้อมูล และการคำนวณค่าจากหลายคอลัมน์

top

ทั้งนี้อาจจะสังเกตเห็นว่าคอลัมน์ ไปรษณีย์ เป็นจำนวนจริง แต่ควรจะเป็นข้อความ (string) มากกว่า เราสามารถแก้ได้ด้วยคำสั่ง astype

แต่ไม่สามารถแปลงได้ตรง ๆ เนื่องจากว่าคอลัมน์นี้มี NaN ผสม จึงต้อง dropna ก่อน แล้วแปลงเป็น int เพื่อลบ .0 แล้วจึงแปลงเป็น str

df["ไปรษณีย์"].dropna().astype(int).astype(str)

ลำดับ
1       10240
2       10510
3       10530
4       10150
5       10150
        ...  
1963    92110
1964    92140
1965    92000
1966    94170
1967    94120
Name: ไปรษณีย์, Length: 1964, dtype: object

นอกจากนี้ เรายังสามารถนำค่าของคอลัมน์หลายคอลัมน์มาทำการคำนวณได้ด้วย (คล้ายกับ NumPy Array)

df["เงินทุนรวม"] / df["คนงาน"]

ลำดับ
1       4.000000e+06
2       4.310000e+06
3       0.000000e+00
4       5.543478e+06
5       6.097561e+04
            ...     
1963    6.000000e+05
1964    2.456140e+06
1965    1.466000e+06
1966    1.962500e+06
1967    1.370000e+05
Length: 1967, dtype: float64

df["แรงม้า"] / df["คนงาน"]

ลำดับ
1       54.136000
2       35.600000
3       18.233333
4       37.486957
5        5.353659
          ...    
1963    29.666667
1964    70.246667
1965     7.630000
1966    37.661250
1967     2.275000
Length: 1967, dtype: float64

โดยเราสามารถกำหนดค่าคอลัมน์ใหม่จากการคำนวณคอลัมน์เดิมได้ด้วย

df["เงินทุนรวมต่อคนงาน"] = df["เงินทุนรวม"] / df["คนงาน"]
df.head()

จะเห็นว่ามีคอลัมน์ เงินทุนรวมต่อคนงาน เกิดขึ้นที่ด้านขวาสุดของตาราง

top