ESP32 環境監測 08:用 PySpark 分析環境資料
這是「ESP32 環境監測」系列的最後一篇。經過前七篇,ESP32 已經持續把溫濕度與時間戳記送進試算表。這一篇要把累積的資料匯出,交給 PySpark 做清洗與彙整,算出每日與每小時的平均、最高、最低值,完成「感測 → 傳輸 → 儲存 → 分析」的完整流程。
・把試算表匯出成 CSV,上傳到 Google Colab
・用 PySpark 讀取、轉型、清洗資料
・用 GroupBy 做每日與每小時彙整,並用 SQL 查詢
・把結果匯出並畫成圖
難度:中等 預估時間:60 分鐘
一、先說清楚:為什麼用 PySpark?
坦白說,目前只有一個 ESP32、每分鐘一筆資料,一天不到 1500 列,用試算表公式或 pandas 就能輕鬆處理,PySpark 其實有點殺雞用牛刀。
選擇 PySpark 的理由是:這套流程在資料變多時不需要改寫。當你有幾十個裝置、累積了好幾年的資料,同一份程式仍然可以運作。把它當作練習,在小資料上熟悉清洗、轉型、聚合這些步驟,之後換到大資料環境就能直接套用。
・時間格式轉換:PySpark 07:字串處理與時間格式正規化
・群組與聚合:PySpark 08:GroupBy 與多維度聚合
・SQL 查詢:PySpark 09:整合 PySpark 與標準 SQL 查詢
本篇只會簡單帶過原理,重點放在套用到我們的環境資料。
二、從試算表匯出 CSV
- 開啟「ESP32 環境監測」試算表,切換到 data 工作表。匯出時只會匯出目前所在的工作表,請不要停在 recent。
- 先統一時間欄的格式,這一步很重要。選取 A 欄,點「格式 → 數字 → 自訂日期和時間」,選擇或輸入
yyyy-MM-dd HH:mm:ss這樣的格式(年-月-日 時:分:秒),套用。 - 點「檔案 → 下載 → 逗號分隔值 (.csv)」。
- 下載的檔名通常是「試算表名稱 - 工作表名稱.csv」,可以不用改名,程式會自動取得檔名。
CSV 匯出的時間,會依照儲存格目前顯示的格式變成文字。不同的語言與地區設定,預設格式可能不同(例如 2026/11/05 或 2026-11-05)。先固定成
yyyy-MM-dd HH:mm:ss,後面 PySpark 轉換時間才不會出錯。
三、在 Google Colab 準備環境
- 開啟 Google Colab(https://colab.research.google.com/),建立新的筆記本。
- 在第一個儲存格安裝 PySpark 並上傳檔案,按執行:
!pip install -q pyspark
from google.colab import files
uploaded = files.upload() # 會跳出選檔視窗,選擇剛剛下載的 CSV
csv_path = list(uploaded.keys())[0] # 取得上傳檔案的名稱
print("已上傳:", csv_path)
四、讀取與轉型
CSV 讀進來時,每個欄位預設都是文字。我們把欄位改成英文名稱,再轉成正確的型別:時間轉成 timestamp,溫濕度轉成數字。
from pyspark.sql import SparkSession, functions as F
spark = SparkSession.builder.appName("env-monitor").getOrCreate()
spark.conf.set("spark.sql.session.timeZone", "Asia/Taipei") # 使用台灣時區
# 讀取原始資料(欄位全部先當作文字)
raw = spark.read.csv(csv_path, header=True)
raw.printSchema()
raw.show(5, truncate=False)
# 欄位改名並轉型
df = (raw.toDF("time_text", "temp", "hum")
.select(
F.to_timestamp("time_text", "yyyy-MM-dd HH:mm:ss").alias("ts"),
F.col("temp").cast("double").alias("temp"),
F.col("hum").cast("double").alias("hum")
))
df.printSchema()
df.show(5, truncate=False)
程式說明
spark.conf.set("spark.sql.session.timeZone", ...):指定時區,讓日期與小時的計算符合台灣時間。toDF("time_text", "temp", "hum"):依欄位順序改名。這裡假設 CSV 剛好有三欄(時間、溫度、濕度)。to_timestamp(欄位, 格式):把文字依指定格式轉成時間型別,格式必須與 CSV 中的實際格式一致。cast("double"):轉成浮點數。
執行後確認 df.show() 的 ts 欄位有正確的時間,而不是 null。如果全部是 null,通常是時間格式不一致,請回到第二節檢查 CSV 的格式。
五、資料清洗
實務上資料難免有雜訊:重複的紀錄(例如重送)、缺值、感測器偶爾的異常讀數。我們做三件事:移除缺值、移除時間重複的資料、過濾明顯不合理的數值。
before = df.count()
clean = (df
.dropna() # 移除有缺值的列
.dropDuplicates(["ts"]) # 同一時間只留一筆
.filter(F.col("temp").between(-10, 60) & # 溫度合理範圍
F.col("hum").between(0, 100))) # 濕度只可能在 0 到 100
after = clean.count()
print(f"清洗前 {before} 筆,清洗後 {after} 筆,移除 {before - after} 筆")
# 加上日期與小時欄位,方便後面分組
clean = (clean
.withColumn("date", F.to_date("ts"))
.withColumn("hour", F.hour("ts")))
clean.show(5, truncate=False)
這裡的 -10 到 60 是「物理上不太可能」的寬鬆範圍,目的是抓出明顯的錯誤讀數,而不是篩掉正常的極端天氣。範圍訂得太窄,會把真正的高溫日誤刪,請依你的環境調整。
六、每日彙整
這是你在試算表上用公式也能做的事,現在用 GroupBy 搭配多個聚合函數,一次算出每天的筆數、平均、最高與最低溫度,以及平均濕度。
daily = (clean.groupBy("date")
.agg(
F.count("*").alias("n"),
F.round(F.avg("temp"), 1).alias("avg_temp"),
F.max("temp").alias("max_temp"),
F.min("temp").alias("min_temp"),
F.round(F.avg("hum"), 1).alias("avg_hum"),
# 每分鐘一筆的話,一天應有 1440 筆;用來看資料完整度
F.round(F.count("*") / 1440 * 100, 1).alias("coverage_pct")
)
.orderBy("date"))
daily.show(truncate=False)
輸出的格式會像下面這樣(數值為虛構的示意,你的結果會不同):
+----------+----+--------+--------+--------+-------+------------+ |date |n |avg_temp|max_temp|min_temp|avg_hum|coverage_pct| +----------+----+--------+--------+--------+-------+------------+ |2026-11-05|1432|25.8 |29.0 |22.0 |61.3 |99.4 | |2026-11-06|1380|26.4 |30.0 |23.0 |58.7 |95.8 | +----------+----+--------+--------+--------+-------+------------+
coverage_pct 是這份資料的「完整度」。若某天只有 60%,代表那天 ESP32 有大量時間沒送出資料,可能是斷線或斷電。這對判斷資料可不可信很有幫助。如果你調整過傳送間隔,請把 1440 換成每天應有的筆數。
七、每小時的日夜模式
想知道一天之中哪個時段最熱、最濕?把所有天的資料依「小時」分組平均:
hourly = (clean.groupBy("hour")
.agg(
F.round(F.avg("temp"), 1).alias("avg_temp"),
F.round(F.avg("hum"), 1).alias("avg_hum")
)
.orderBy("hour"))
hourly.show(24)
資料累積越多天,這張表越能反映真實的日夜變化規律。只有一兩天資料時,結果可能只是當天的天氣,不具代表性。
八、找出高溫時段
hot = clean.filter(F.col("temp") >= 30)
print("溫度 >= 30°C 的筆數:", hot.count())
# 每天有多少分鐘超過 30°C
hot.groupBy("date").count().orderBy("date").show()
因為每分鐘一筆,這個筆數大致就等於超過門檻的分鐘數,也可以對照第 7 篇的 LINE 警報,看看警報在哪些時段被觸發。
九、用 SQL 查詢
熟悉資料庫的人,可以把 DataFrame 註冊成暫存視圖,直接寫 SQL,結果和 DataFrame 的寫法等價:
clean.createOrReplaceTempView("env")
spark.sql("""
SELECT date,
ROUND(AVG(temp), 1) AS avg_temp,
MAX(temp) AS max_temp,
MIN(temp) AS min_temp,
ROUND(MAX(temp) - MIN(temp), 1) AS temp_range
FROM env
GROUP BY date
ORDER BY date
""").show()
這裡額外算了「日溫差」(temp_range),用 SQL 寫起來相當直覺。
十、匯出結果並畫圖
彙整後的結果只有幾十列,可以轉成 pandas 方便畫圖與下載:
import pandas as pd
import matplotlib.pyplot as plt
pdf = daily.toPandas()
pdf["date"] = pd.to_datetime(pdf["date"])
# 每日平均、最高、最低溫度
pdf.plot(x="date", y=["avg_temp", "max_temp", "min_temp"], marker="o", figsize=(9, 4))
plt.ylabel("Temperature (°C)")
plt.title("Daily Temperature Summary")
plt.grid(True)
plt.show()
# 下載每日摘要 CSV
pdf.to_csv("daily_summary.csv", index=False)
files.download("daily_summary.csv")
Colab 預設沒有中文字型,matplotlib 的圖表若用中文標題或標籤,會顯示成方框。最簡單的做法是圖表文字先用英文,如範例所示。
十一、常見問題
- ts 欄位全部是 null,或出現時間轉換錯誤:CSV 中的時間格式與
"yyyy-MM-dd HH:mm:ss"不一致。先看raw.show()的時間長什麼樣子,再把格式字串改成相同的樣式,或回到試算表統一格式後重新匯出。 - 讀到的欄位數不是三個,
toDF報錯:CSV 可能多了空欄位。先看raw.printSchema(),把toDF的名稱數量調成與實際欄位數相同,或用select只取前三欄。 - 找不到 CSV 檔案:確認儲存格執行成功、
csv_path有值。Colab 的檔案在工作階段結束後會消失,重新開啟時需要再上傳一次。 - 匯出的資料少了最新幾筆:CSV 是匯出當下的快照,之後 ESP32 持續送的資料需要重新下載。
- 想在自己的電腦跑 PySpark:需要先安裝 Java 與 PySpark,環境設定較繁瑣,建議先用 Colab 練習。
十二、延伸挑戰
- 用
F.window做每 10 分鐘或每 1 小時的時間窗聚合,觀察更細緻的趨勢。 - 多裝置版:在 Apps Script 與 ESP32 加入裝置名稱欄位,再用 PySpark 依裝置分組比較不同房間。
- 把結果存成 Parquet 格式,感受與 CSV 在讀寫速度和檔案大小上的差異。
- 計算相鄰兩筆資料的溫度變化(用視窗函數
lag),找出變化最劇烈的時刻。
系列總結
這八篇走完了一條完整的 IoT 資料管線:
| 篇 | 主題 | 層次 |
|---|---|---|
| 01 | 開發環境建置與 LED 閃爍 | 感測與控制 |
| 02 | DHT11 讀取溫濕度 | 感測與控制 |
| 03 | 連上 WiFi | 網路通訊 |
| 04 | HTTP 送到 Google 試算表 | 雲端平台 |
| 05 | NTP 時間戳記 | 網路通訊 |
| 06 | 資料畫成圖表 | 雲端平台 |
| 07 | LINE 警報通知 | 應用整合 |
| 08 | PySpark 資料分析 | 資料分析 |
如果你完成了整個系列,你已經有了一套可以持續運作的環境監測系統。接下來可以嘗試增加感測器種類、改用 MQTT 傳輸、或加入多個裝置,把這條管線擴大。歡迎在留言告訴我你的成果與遇到的問題,也歡迎提出想看的主題。
系列:ESP32 環境監測
目錄:系列總整理 | 上一篇:溫度過高時傳 LINE 通知
留言
張貼留言