ESP32 環境監測 08:用 PySpark 分析環境資料

這是「ESP32 環境監測」系列的最後一篇。經過前七篇,ESP32 已經持續把溫濕度與時間戳記送進試算表。這一篇要把累積的資料匯出,交給 PySpark 做清洗與彙整,算出每日與每小時的平均、最高、最低值,完成「感測 → 傳輸 → 儲存 → 分析」的完整流程。

本篇重點
・把試算表匯出成 CSV,上傳到 Google Colab
・用 PySpark 讀取、轉型、清洗資料
・用 GroupBy 做每日與每小時彙整,並用 SQL 查詢
・把結果匯出並畫成圖
難度:中等 預估時間:60 分鐘

一、先說清楚:為什麼用 PySpark?

坦白說,目前只有一個 ESP32、每分鐘一筆資料,一天不到 1500 列,用試算表公式或 pandas 就能輕鬆處理,PySpark 其實有點殺雞用牛刀。

選擇 PySpark 的理由是:這套流程在資料變多時不需要改寫。當你有幾十個裝置、累積了好幾年的資料,同一份程式仍然可以運作。把它當作練習,在小資料上熟悉清洗、轉型、聚合這些步驟,之後換到大資料環境就能直接套用。

本篇用到的語法,舊站的 PySpark 系列已有詳細說明
・時間格式轉換:PySpark 07:字串處理與時間格式正規化
・群組與聚合:PySpark 08:GroupBy 與多維度聚合
・SQL 查詢:PySpark 09:整合 PySpark 與標準 SQL 查詢
本篇只會簡單帶過原理,重點放在套用到我們的環境資料。
環境資料分析流程 試算表 下載 CSV Colab PySpark 讀取 清洗+彙整 GroupBy SQL 每日摘要 CSV 與圖表 資料量變大時,整個流程不需要改寫

二、從試算表匯出 CSV

  1. 開啟「ESP32 環境監測」試算表,切換到 data 工作表。匯出時只會匯出目前所在的工作表,請不要停在 recent。
  2. 先統一時間欄的格式,這一步很重要。選取 A 欄,點「格式 → 數字 → 自訂日期和時間」,選擇或輸入 yyyy-MM-dd HH:mm:ss 這樣的格式(年-月-日 時:分:秒),套用。
  3. 點「檔案 → 下載 → 逗號分隔值 (.csv)」。
  4. 下載的檔名通常是「試算表名稱 - 工作表名稱.csv」,可以不用改名,程式會自動取得檔名。
為什麼要先統一時間格式?
CSV 匯出的時間,會依照儲存格目前顯示的格式變成文字。不同的語言與地區設定,預設格式可能不同(例如 2026/11/05 或 2026-11-05)。先固定成 yyyy-MM-dd HH:mm:ss,後面 PySpark 轉換時間才不會出錯。

三、在 Google Colab 準備環境

  1. 開啟 Google Colab(https://colab.research.google.com/),建立新的筆記本。
  2. 在第一個儲存格安裝 PySpark 並上傳檔案,按執行:
!pip install -q pyspark

from google.colab import files
uploaded = files.upload()               # 會跳出選檔視窗,選擇剛剛下載的 CSV
csv_path = list(uploaded.keys())[0]     # 取得上傳檔案的名稱
print("已上傳:", csv_path)

四、讀取與轉型

CSV 讀進來時,每個欄位預設都是文字。我們把欄位改成英文名稱,再轉成正確的型別:時間轉成 timestamp,溫濕度轉成數字。

from pyspark.sql import SparkSession, functions as F

spark = SparkSession.builder.appName("env-monitor").getOrCreate()
spark.conf.set("spark.sql.session.timeZone", "Asia/Taipei")   # 使用台灣時區

# 讀取原始資料(欄位全部先當作文字)
raw = spark.read.csv(csv_path, header=True)
raw.printSchema()
raw.show(5, truncate=False)

# 欄位改名並轉型
df = (raw.toDF("time_text", "temp", "hum")
         .select(
             F.to_timestamp("time_text", "yyyy-MM-dd HH:mm:ss").alias("ts"),
             F.col("temp").cast("double").alias("temp"),
             F.col("hum").cast("double").alias("hum")
         ))

df.printSchema()
df.show(5, truncate=False)

程式說明

  • spark.conf.set("spark.sql.session.timeZone", ...):指定時區,讓日期與小時的計算符合台灣時間。
  • toDF("time_text", "temp", "hum"):依欄位順序改名。這裡假設 CSV 剛好有三欄(時間、溫度、濕度)。
  • to_timestamp(欄位, 格式):把文字依指定格式轉成時間型別,格式必須與 CSV 中的實際格式一致。
  • cast("double"):轉成浮點數。

執行後確認 df.show() 的 ts 欄位有正確的時間,而不是 null。如果全部是 null,通常是時間格式不一致,請回到第二節檢查 CSV 的格式。

五、資料清洗

實務上資料難免有雜訊:重複的紀錄(例如重送)、缺值、感測器偶爾的異常讀數。我們做三件事:移除缺值、移除時間重複的資料、過濾明顯不合理的數值。

before = df.count()

clean = (df
    .dropna()                                   # 移除有缺值的列
    .dropDuplicates(["ts"])                     # 同一時間只留一筆
    .filter(F.col("temp").between(-10, 60) &    # 溫度合理範圍
            F.col("hum").between(0, 100)))      # 濕度只可能在 0 到 100

after = clean.count()
print(f"清洗前 {before} 筆,清洗後 {after} 筆,移除 {before - after} 筆")

# 加上日期與小時欄位,方便後面分組
clean = (clean
    .withColumn("date", F.to_date("ts"))
    .withColumn("hour", F.hour("ts")))

clean.show(5, truncate=False)
過濾範圍怎麼訂?
這裡的 -10 到 60 是「物理上不太可能」的寬鬆範圍,目的是抓出明顯的錯誤讀數,而不是篩掉正常的極端天氣。範圍訂得太窄,會把真正的高溫日誤刪,請依你的環境調整。

六、每日彙整

這是你在試算表上用公式也能做的事,現在用 GroupBy 搭配多個聚合函數,一次算出每天的筆數、平均、最高與最低溫度,以及平均濕度。

daily = (clean.groupBy("date")
    .agg(
        F.count("*").alias("n"),
        F.round(F.avg("temp"), 1).alias("avg_temp"),
        F.max("temp").alias("max_temp"),
        F.min("temp").alias("min_temp"),
        F.round(F.avg("hum"), 1).alias("avg_hum"),
        # 每分鐘一筆的話,一天應有 1440 筆;用來看資料完整度
        F.round(F.count("*") / 1440 * 100, 1).alias("coverage_pct")
    )
    .orderBy("date"))

daily.show(truncate=False)

輸出的格式會像下面這樣(數值為虛構的示意,你的結果會不同):

+----------+----+--------+--------+--------+-------+------------+
|date      |n   |avg_temp|max_temp|min_temp|avg_hum|coverage_pct|
+----------+----+--------+--------+--------+-------+------------+
|2026-11-05|1432|25.8    |29.0    |22.0    |61.3   |99.4        |
|2026-11-06|1380|26.4    |30.0    |23.0    |58.7   |95.8        |
+----------+----+--------+--------+--------+-------+------------+

coverage_pct 是這份資料的「完整度」。若某天只有 60%,代表那天 ESP32 有大量時間沒送出資料,可能是斷線或斷電。這對判斷資料可不可信很有幫助。如果你調整過傳送間隔,請把 1440 換成每天應有的筆數。

七、每小時的日夜模式

想知道一天之中哪個時段最熱、最濕?把所有天的資料依「小時」分組平均:

hourly = (clean.groupBy("hour")
    .agg(
        F.round(F.avg("temp"), 1).alias("avg_temp"),
        F.round(F.avg("hum"), 1).alias("avg_hum")
    )
    .orderBy("hour"))

hourly.show(24)

資料累積越多天,這張表越能反映真實的日夜變化規律。只有一兩天資料時,結果可能只是當天的天氣,不具代表性。

八、找出高溫時段

hot = clean.filter(F.col("temp") >= 30)
print("溫度 >= 30°C 的筆數:", hot.count())

# 每天有多少分鐘超過 30°C
hot.groupBy("date").count().orderBy("date").show()

因為每分鐘一筆,這個筆數大致就等於超過門檻的分鐘數,也可以對照第 7 篇的 LINE 警報,看看警報在哪些時段被觸發。

九、用 SQL 查詢

熟悉資料庫的人,可以把 DataFrame 註冊成暫存視圖,直接寫 SQL,結果和 DataFrame 的寫法等價:

clean.createOrReplaceTempView("env")

spark.sql("""
    SELECT date,
           ROUND(AVG(temp), 1) AS avg_temp,
           MAX(temp)           AS max_temp,
           MIN(temp)           AS min_temp,
           ROUND(MAX(temp) - MIN(temp), 1) AS temp_range
    FROM env
    GROUP BY date
    ORDER BY date
""").show()

這裡額外算了「日溫差」(temp_range),用 SQL 寫起來相當直覺。

十、匯出結果並畫圖

彙整後的結果只有幾十列,可以轉成 pandas 方便畫圖與下載:

import pandas as pd
import matplotlib.pyplot as plt

pdf = daily.toPandas()
pdf["date"] = pd.to_datetime(pdf["date"])

# 每日平均、最高、最低溫度
pdf.plot(x="date", y=["avg_temp", "max_temp", "min_temp"], marker="o", figsize=(9, 4))
plt.ylabel("Temperature (°C)")
plt.title("Daily Temperature Summary")
plt.grid(True)
plt.show()

# 下載每日摘要 CSV
pdf.to_csv("daily_summary.csv", index=False)
files.download("daily_summary.csv")
圖上的中文變成方框?
Colab 預設沒有中文字型,matplotlib 的圖表若用中文標題或標籤,會顯示成方框。最簡單的做法是圖表文字先用英文,如範例所示。

十一、常見問題

  • ts 欄位全部是 null,或出現時間轉換錯誤:CSV 中的時間格式與 "yyyy-MM-dd HH:mm:ss" 不一致。先看 raw.show() 的時間長什麼樣子,再把格式字串改成相同的樣式,或回到試算表統一格式後重新匯出。
  • 讀到的欄位數不是三個,toDF 報錯:CSV 可能多了空欄位。先看 raw.printSchema(),把 toDF 的名稱數量調成與實際欄位數相同,或用 select 只取前三欄。
  • 找不到 CSV 檔案:確認儲存格執行成功、csv_path 有值。Colab 的檔案在工作階段結束後會消失,重新開啟時需要再上傳一次。
  • 匯出的資料少了最新幾筆:CSV 是匯出當下的快照,之後 ESP32 持續送的資料需要重新下載。
  • 想在自己的電腦跑 PySpark:需要先安裝 Java 與 PySpark,環境設定較繁瑣,建議先用 Colab 練習。

十二、延伸挑戰

  • 用 F.window 做每 10 分鐘或每 1 小時的時間窗聚合,觀察更細緻的趨勢。
  • 多裝置版:在 Apps Script 與 ESP32 加入裝置名稱欄位,再用 PySpark 依裝置分組比較不同房間。
  • 把結果存成 Parquet 格式,感受與 CSV 在讀寫速度和檔案大小上的差異。
  • 計算相鄰兩筆資料的溫度變化(用視窗函數 lag),找出變化最劇烈的時刻。

系列總結

這八篇走完了一條完整的 IoT 資料管線:

篇主題層次
01開發環境建置與 LED 閃爍感測與控制
02DHT11 讀取溫濕度感測與控制
03連上 WiFi網路通訊
04HTTP 送到 Google 試算表雲端平台
05NTP 時間戳記網路通訊
06資料畫成圖表雲端平台
07LINE 警報通知應用整合
08PySpark 資料分析資料分析

如果你完成了整個系列,你已經有了一套可以持續運作的環境監測系統。接下來可以嘗試增加感測器種類、改用 MQTT 傳輸、或加入多個裝置,把這條管線擴大。歡迎在留言告訴我你的成果與遇到的問題,也歡迎提出想看的主題。


系列:ESP32 環境監測
目錄:系列總整理 | 上一篇:溫度過高時傳 LINE 通知

留言

熱門文章