Example - Merge & Melt

Table of Contents

• 1) รวมตารางข้อมูลแผนที่กับข้อมูลที่ต้องการ (merge)
• 1.1) อ่านข้อมูลแผนที่
• 1.2) อ่านข้อมูลที่ต้องการ
• 1.3) การรวมตาราง (merge)
• 1.4) การเลือกตารางเฉพาะปีพร้อมกับ copy
• 1.5) ทำซ้ำโดยระบุ thousands เพิ่ม
• 2) ตัวอย่างการใช้ melt
• 2.1) การกลับแกน X

!wget https://bit.ly/thaigeojson
!wget https://data.go.th/dataset/c6fb53a5-4d9d-4f21-84a7-9662b25af9c3/resource/225ff892-3874-4072-9787-a2c30128e3f7/download/stat_c.txt

1) รวมตารางข้อมูลแผนที่กับข้อมูลที่ต้องการ (merge)

1.1) อ่านข้อมูลแผนที่

เริ่มที่จะรวมตารางข้อมูลอื่นก่อนเป็นตัวอย่างแรก

import pandas as pd
import geopandas as gpd
import plotly.express as px

df = gpd.read_file('thaigeojson')
df.head()

fig = px.choropleth(
    df, 
    geojson=df.geometry, 
    locations=df.index, 
    color="area", 
    hover_data=["tname", "area"])

fig.update_geos(fitbounds="locations")

1.2) อ่านข้อมูลที่ต้องการ

top

df2 = pd.read_csv("stat_c.txt")

df2.head()

ตารางถูกอ่านออกมาแปลกๆ ออกมาเป็นหนึ่งคอลัมภ์ แต่สังเกตว่าแต่ละช่องน่าจะถูกกั้นด้วย | แทนที่จะเป็น , ตามปกติ เลยแก้ด้วยการใช้คำสั่ง sep="|"

df3 = pd.read_csv("stat_c.txt", sep="|")

df3.head()

1.3) การรวมตาราง (merge)

top

ทำการรวมสองตารางด้วยคำสั่ง merge โดยอิงจากคอลัมภ์ left_on และ right_on โดยสองคอลัมภ์นี้ต้องมีค่าเท่ากันจึงจะรวมตารางกัน

df4 = df.merge(df3, left_on="tname", right_on="CC-DESC")
df4.head()

ผลลัพธ์มีความแปลกเนื่องจากมีกรุงเทพมหานครหลายแถว เลยต้องย้อนกลับไปดูข้อมูลเดิม

df3.columns

Index(['YYMM', 'CC-CODE', 'CC-DESC', 'RCODE-CODE', 'RCODE-DESC', 'CCAATT-CODE',
       'CCAATT-DESC', 'CCAATTMM-CODE', 'CCAATTMM-DESC', 'MALE', 'FEMALE',
       'TOTAL', 'HOUSE', 'Unnamed: 13'],
      dtype='object')

ดูจากคอลัมภ์ทั้งหมดแล้วเห็นว่ามีคอลัมภ์ YYMM ซึ่งน่าจะเป็นเดือนและปีที่นับสถิติ เลยดูข้อมูลคอลัมภ์นี้เพิ่ม

df3["YYMM"].describe()

count    2166.000000
mean     4966.155125
std       808.636295
min      3612.000000
25%      4312.000000
50%      5012.000000
75%      5712.000000
max      6312.000000
Name: YYMM, dtype: float64

df3["YYMM"].value_counts()

5512    78
5612    78
6312    78
6212    78
6112    78
6012    78
5912    78
5812    78
5712    78
5412    78
3912    77
3812    77
3712    77
3612    77
4112    77
4212    77
5312    77
5212    77
5112    77
5012    77
4912    77
4812    77
4712    77
4612    77
4512    77
4412    77
4312    77
4012    77
Name: YYMM, dtype: int64

1.4) การเลือกตารางเฉพาะปีพร้อมกับ copy

top

เห็นว่าข้อมูลจะมีหลายปี ตัดสินใจเลือกเฉพาะปี 6312 มาใช้ก่อน โดยใช้ .copy() เพื่อคัดลอกเป็นตารางใหม่

df5 = df3[df3["YYMM"] == 6312].copy()

df5.head()

df6 = df.merge(df5, left_on="tname", right_on="CC-DESC")
df6.head()

ผลลัพธ์ก็ยังแปลกอยู่ดีเพราะเหลือแต่กรุงเทพมหานคร เลยกลับไปสังเกตดู df5 เลยเห็นว่าชื่อจังหวัดอื่นๆ นอกจากกรุงเทพจะมีคำว่าจังหวัดอยู่สำหรับคอลัมภ์ CC-DESC แต่จะไม่มีคำว่าจังหวัดในคอลัมภ์ tname เลยต้องแก้ไข

cc_desc = df5["CC-DESC"].values

new_cc_desc = []
for x in cc_desc:
    if x.startswith("จังหวัด"):
        y = x.replace("จังหวัด", "")
        new_cc_desc.append(y)
    else:
        new_cc_desc.append(x)

new_cc_desc

['ทั่วประเทศ',
 'กรุงเทพมหานคร',
 'สมุทรปราการ ',
 'นนทบุรี ',
 'ปทุมธานี ',
 'พระนครศรีอยุธยา ',
 'อ่างทอง ',
 'ลพบุรี ',
 'สิงห์บุรี ',
 'ชัยนาท ',
 'สระบุรี ',
 'ชลบุรี ',
 'ระยอง ',
 'จันทบุรี ',
 'ตราด ',
 'ฉะเชิงเทรา ',
 'ปราจีนบุรี ',
 'นครนายก ',
 'สระแก้ว ',
 'นครราชสีมา ',
 'บุรีรัมย์ ',
 'สุรินทร์ ',
 'ศรีสะเกษ ',
 'อุบลราชธานี ',
 'ยโสธร ',
 'ชัยภูมิ ',
 'อำนาจเจริญ ',
 'บึงกาฬ ',
 'หนองบัวลำภู ',
 'ขอนแก่น ',
 'อุดรธานี ',
 'เลย ',
 'หนองคาย ',
 'มหาสารคาม ',
 'ร้อยเอ็ด ',
 'กาฬสินธุ์ ',
 'สกลนคร ',
 'นครพนม ',
 'มุกดาหาร ',
 'เชียงใหม่ ',
 'ลำพูน ',
 'ลำปาง ',
 'อุตรดิตถ์ ',
 'แพร่ ',
 'น่าน ',
 'พะเยา ',
 'เชียงราย ',
 'แม่ฮ่องสอน ',
 'นครสวรรค์ ',
 'อุทัยธานี ',
 'กำแพงเพชร ',
 'ตาก ',
 'สุโขทัย ',
 'พิษณุโลก ',
 'พิจิตร ',
 'เพชรบูรณ์ ',
 'ราชบุรี ',
 'กาญจนบุรี ',
 'สุพรรณบุรี ',
 'นครปฐม ',
 'สมุทรสาคร ',
 'สมุทรสงคราม ',
 'เพชรบุรี ',
 'ประจวบคีรีขันธ์ ',
 'นครศรีธรรมราช ',
 'กระบี่ ',
 'พังงา ',
 'ภูเก็ต ',
 'สุราษฎร์ธานี ',
 'ระนอง ',
 'ชุมพร ',
 'สงขลา ',
 'สตูล ',
 'ตรัง ',
 'พัทลุง ',
 'ปัตตานี ',
 'ยะลา ',
 'นราธิวาส ']

แก้ไขแล้วตั้งคอลัมภ์ใหม่ เป็นชื่อ NEW-CC-DESC

df5["NEW-CC-DESC"] = new_cc_desc

df7 = df.merge(df5, left_on="tname", right_on="NEW-CC-DESC")
df7.head()

รวมแล้วก็ยังมีแต่กรุงเทพมหานครอยู่ดี ซึ่งแปลก ถ้าย้อนกลับไปดู new_cc_desc จะเห็นว่าชื่อจังหวัดยังมีเว้นวรรคตามหลังทำให้ชื่อจังหวัดอื่นยังไม่ตรงกันเป๊ะๆ ต้องแก้ไข

new2_cc_desc = []
for x in cc_desc:
    x = x.strip()
    if x.startswith("จังหวัด"):
        y = x.replace("จังหวัด", "")
        new2_cc_desc.append(y)
    else:
        new2_cc_desc.append(x)

new2_cc_desc

['ทั่วประเทศ',
 'กรุงเทพมหานคร',
 'สมุทรปราการ',
 'นนทบุรี',
 'ปทุมธานี',
 'พระนครศรีอยุธยา',
 'อ่างทอง',
 'ลพบุรี',
 'สิงห์บุรี',
 'ชัยนาท',
 'สระบุรี',
 'ชลบุรี',
 'ระยอง',
 'จันทบุรี',
 'ตราด',
 'ฉะเชิงเทรา',
 'ปราจีนบุรี',
 'นครนายก',
 'สระแก้ว',
 'นครราชสีมา',
 'บุรีรัมย์',
 'สุรินทร์',
 'ศรีสะเกษ',
 'อุบลราชธานี',
 'ยโสธร',
 'ชัยภูมิ',
 'อำนาจเจริญ',
 'บึงกาฬ',
 'หนองบัวลำภู',
 'ขอนแก่น',
 'อุดรธานี',
 'เลย',
 'หนองคาย',
 'มหาสารคาม',
 'ร้อยเอ็ด',
 'กาฬสินธุ์',
 'สกลนคร',
 'นครพนม',
 'มุกดาหาร',
 'เชียงใหม่',
 'ลำพูน',
 'ลำปาง',
 'อุตรดิตถ์',
 'แพร่',
 'น่าน',
 'พะเยา',
 'เชียงราย',
 'แม่ฮ่องสอน',
 'นครสวรรค์',
 'อุทัยธานี',
 'กำแพงเพชร',
 'ตาก',
 'สุโขทัย',
 'พิษณุโลก',
 'พิจิตร',
 'เพชรบูรณ์',
 'ราชบุรี',
 'กาญจนบุรี',
 'สุพรรณบุรี',
 'นครปฐม',
 'สมุทรสาคร',
 'สมุทรสงคราม',
 'เพชรบุรี',
 'ประจวบคีรีขันธ์',
 'นครศรีธรรมราช',
 'กระบี่',
 'พังงา',
 'ภูเก็ต',
 'สุราษฎร์ธานี',
 'ระนอง',
 'ชุมพร',
 'สงขลา',
 'สตูล',
 'ตรัง',
 'พัทลุง',
 'ปัตตานี',
 'ยะลา',
 'นราธิวาส']

df5["NEW2-CC-DESC"] = new2_cc_desc

df8 = df.merge(df5, left_on="tname", right_on="NEW2-CC-DESC")
df8.head()

ดูน่าจะรอดแล้วสำหรับการรวมตาราง ก็ลองเอามาพลอตเลย

fig = px.choropleth(
    df8, 
    geojson=df8.geometry, 
    locations=df8.index, 
    color="HOUSE", 
    hover_data=["tname", "HOUSE"])

fig.update_geos(fitbounds="locations")

สังเกตว่าสีตอนนี้เป็นแบบ nominal (เทียบกันไม่ได้) อยู่ น่าจะเป็นเพราะว่าคอลัมน์นี้ยังไม่ใช่ตัวเลข ลองใช้วิธีแปลงค่า astype(int) ดูว่าช่วยไหม

fig = px.choropleth(
    df8, 
    geojson=df8.geometry, 
    locations=df8.index, 
    color=df8["HOUSE"].astype(int), 
    hover_data=["tname", "HOUSE"])

fig.update_geos(fitbounds="locations")

---------------------------------------------------------------------------

ValueError                                Traceback (most recent call last)

<ipython-input-25-ecc601cd681d> in <module>
      3     geojson=df8.geometry,
      4     locations=df8.index,
----> 5     color=df8["HOUSE"].astype(int),
      6     hover_data=["tname", "HOUSE"])
      7 


/opt/conda/lib/python3.9/site-packages/pandas/core/generic.py in astype(self, dtype, copy, errors)
   5875         else:
   5876             # else, only a single dtype is given
-> 5877             new_data = self._mgr.astype(dtype=dtype, copy=copy, errors=errors)
   5878             return self._constructor(new_data).__finalize__(self, method="astype")
   5879 


/opt/conda/lib/python3.9/site-packages/pandas/core/internals/managers.py in astype(self, dtype, copy, errors)
    629         self, dtype, copy: bool = False, errors: str = "raise"
    630     ) -> "BlockManager":
--> 631         return self.apply("astype", dtype=dtype, copy=copy, errors=errors)
    632 
    633     def convert(


/opt/conda/lib/python3.9/site-packages/pandas/core/internals/managers.py in apply(self, f, align_keys, ignore_failures, **kwargs)
    425                     applied = b.apply(f, **kwargs)
    426                 else:
--> 427                     applied = getattr(b, f)(**kwargs)
    428             except (TypeError, NotImplementedError):
    429                 if not ignore_failures:


/opt/conda/lib/python3.9/site-packages/pandas/core/internals/blocks.py in astype(self, dtype, copy, errors)
    671             vals1d = values.ravel()
    672             try:
--> 673                 values = astype_nansafe(vals1d, dtype, copy=True)
    674             except (ValueError, TypeError):
    675                 # e.g. astype_nansafe can fail on object-dtype of strings


/opt/conda/lib/python3.9/site-packages/pandas/core/dtypes/cast.py in astype_nansafe(arr, dtype, copy, skipna)
   1072         # work around NumPy brokenness, #1987
   1073         if np.issubdtype(dtype.type, np.integer):
-> 1074             return lib.astype_intsafe(arr.ravel(), dtype).reshape(arr.shape)
   1075 
   1076         # if we have a datetime/timedelta array of objects


pandas/_libs/lib.pyx in pandas._libs.lib.astype_intsafe()


ValueError: invalid literal for int() with base 10: '3,103,483'

ไม่ช่วยอยู่ดี จะเห็นว่าข้อมูลเลขติด , อยู่ ต้องกลับไปแก้ไขตั้งแต่ตอนอ่านข้อมูล

1.5) ทำซ้ำโดยระบุ thousands เพิ่ม

top

df9 = pd.read_csv("stat_c.txt", sep="|", thousands=",")
df9.head()

ย้อนกลับไปทำตามเดิมทั้งหมด (เลือกปี เปลี่ยนชื่อจังหวัด)

df10 = df9[df9["YYMM"] == 6312].copy()
df10.head()

cc_desc = df10["CC-DESC"].values

new3_cc_desc = []
for x in cc_desc:
    x = x.strip()
    if x.startswith("จังหวัด"):
        y = x.replace("จังหวัด", "")
        new3_cc_desc.append(y)
    else:
        new3_cc_desc.append(x)

new3_cc_desc

['ทั่วประเทศ',
 'กรุงเทพมหานคร',
 'สมุทรปราการ',
 'นนทบุรี',
 'ปทุมธานี',
 'พระนครศรีอยุธยา',
 'อ่างทอง',
 'ลพบุรี',
 'สิงห์บุรี',
 'ชัยนาท',
 'สระบุรี',
 'ชลบุรี',
 'ระยอง',
 'จันทบุรี',
 'ตราด',
 'ฉะเชิงเทรา',
 'ปราจีนบุรี',
 'นครนายก',
 'สระแก้ว',
 'นครราชสีมา',
 'บุรีรัมย์',
 'สุรินทร์',
 'ศรีสะเกษ',
 'อุบลราชธานี',
 'ยโสธร',
 'ชัยภูมิ',
 'อำนาจเจริญ',
 'บึงกาฬ',
 'หนองบัวลำภู',
 'ขอนแก่น',
 'อุดรธานี',
 'เลย',
 'หนองคาย',
 'มหาสารคาม',
 'ร้อยเอ็ด',
 'กาฬสินธุ์',
 'สกลนคร',
 'นครพนม',
 'มุกดาหาร',
 'เชียงใหม่',
 'ลำพูน',
 'ลำปาง',
 'อุตรดิตถ์',
 'แพร่',
 'น่าน',
 'พะเยา',
 'เชียงราย',
 'แม่ฮ่องสอน',
 'นครสวรรค์',
 'อุทัยธานี',
 'กำแพงเพชร',
 'ตาก',
 'สุโขทัย',
 'พิษณุโลก',
 'พิจิตร',
 'เพชรบูรณ์',
 'ราชบุรี',
 'กาญจนบุรี',
 'สุพรรณบุรี',
 'นครปฐม',
 'สมุทรสาคร',
 'สมุทรสงคราม',
 'เพชรบุรี',
 'ประจวบคีรีขันธ์',
 'นครศรีธรรมราช',
 'กระบี่',
 'พังงา',
 'ภูเก็ต',
 'สุราษฎร์ธานี',
 'ระนอง',
 'ชุมพร',
 'สงขลา',
 'สตูล',
 'ตรัง',
 'พัทลุง',
 'ปัตตานี',
 'ยะลา',
 'นราธิวาส']

df10["NEW3-CC-DESC"] = new3_cc_desc

df11 = df.merge(df10, left_on="tname", right_on="NEW3-CC-DESC")
df11.head()

fig = px.choropleth(
    df11, 
    geojson=df11.geometry, 
    locations=df11.index, 
    color="HOUSE", 
    hover_data=["tname", "HOUSE"])

fig.update_geos(fitbounds="locations")

ได้เป็นสีแล้ว!!! แต่กรุงเทพเข้มกว่าสีอื่นมาก ลองใช้ log มาช่วยเพิ่มดู

fig = px.choropleth(
    df11, 
    geojson=df11.geometry, 
    locations=df11.index, 
    color=np.log(df11["HOUSE"]), 
    hover_data=["tname", "HOUSE"])

fig.update_geos(fitbounds="locations")

---------------------------------------------------------------------------

NameError                                 Traceback (most recent call last)

<ipython-input-34-5fa9ec9e1215> in <module>
      3     geojson=df11.geometry,
      4     locations=df11.index,
----> 5     color=np.log(df11["HOUSE"]),
      6     hover_data=["tname", "HOUSE"])
      7 


NameError: name 'np' is not defined

ลืม import np

import numpy as np

fig = px.choropleth(
    df11, 
    geojson=df11.geometry, 
    locations=df11.index, 
    color=np.log(df11["HOUSE"]), 
    hover_data=["tname", "HOUSE"])

fig.update_geos(fitbounds="locations")

เริ่มมีสีสัน พอแค่นี้ก่อน

2) ตัวอย่างการใช้ melt

top

จะเริ่มดูที่เฉพาะ กรุงเทพมหานคร จาก df9

df12 = df9[df9["CC-DESC"] == "กรุงเทพมหานคร"]
df12.head()

df13 = df12.melt(id_vars=["YYMM"], value_vars=["MALE", "FEMALE", "TOTAL", "HOUSE"])
df13

px.line(df13, x="YYMM", y="value", color="variable")

df13.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 112 entries, 0 to 111
Data columns (total 3 columns):
 #   Column    Non-Null Count  Dtype 
---  ------    --------------  ----- 
 0   YYMM      112 non-null    int64 
 1   variable  112 non-null    object
 2   value     112 non-null    int64 
dtypes: int64(2), object(1)
memory usage: 2.8+ KB

ปี YYMM ตอนนี้เป็น quantitative แต่ถ้าเป็น nominal น่าจะดีขึ้นโดยการแปลงเป็น astype(str)

px.line(df13, x=df13["YYMM"].astype(str), y="value", color="variable")

2.1) การกลับแกน X

top

หลังจากการแปลงแล้วดีขึ้น แต่ลำดับปี-เดือน ควรจะเรียงให้น้อยอยู่ฝั่งซ้ายด้วยการ update_xaxes

fig = px.line(df13, x=df13["YYMM"].astype(str), y="value", color="variable")

fig.update_xaxes(autorange="reversed")