使用 Python 進行 Footlocker.kr 數據的自動化監控

隨著網路購物和電商平台的快速發展，Footlocker 成為全球知名的運動鞋及潮流服飾零售商之一，其韓國站 Footlocker.kr 也在球鞋市場中佔有一席之地。為了能夠快速捕捉商品價格、庫存變化等信息，透過自動化監控系統即時反應市場動態成為一項重要任務。本文將從多個角度介紹如何利用 Python 建構一套自動化監控系統，整合傳統爬蟲技術、Luckdata API 與代理 IP 的應用，並結合定時任務與通知機制，滿足業務需求。以下文章內容詳盡介紹各個步驟與實作細節，並附上完整代碼範例，供開發者參考。

1. 引言

在網路購物日益普及的今天，Footlocker.kr 不僅是購買運動鞋與潮流服飾的熱門網站，同時也是市場動態的重要參考來源。對於數據分析師與開發者而言，實時掌握該網站上的商品價格、庫存等關鍵數據，能夠幫助他們進行趨勢預測、庫存管理以及競爭策略調整。本文將介紹如何使用 Python 建立一個自動化監控系統，透過定時抓取 Footlocker.kr 的數據，並在檢測到變化時即時發送通知。

在實作過程中，我們將探討兩種數據獲取方式：

1. 傳統爬蟲方式——通過 requests 與 BeautifulSoup 從 HTML 中解析出數據，並結合代理 IP 應對網站反爬策略。

2. 利用 Luckdata Sneaker API——直接調用 API 接口獲取結構化 JSON 數據，同樣也支援住宅代理 IP，提供更穩定的數據來源。

此外，本文也將介紹如何使用 schedule 或 APScheduler 設定定時任務，以及如何利用 smtplib 與 Slack API 發送通知，並加入錯誤處理與日誌記錄機制，實現一個完整且高效的自動化監控系統。

2. 環境準備與依賴安裝

在開始實作前，請確保你已安裝 Python（建議 Python 3.7 以上版本），並建立好虛擬環境以隔離專案依賴。以下為安裝所需的第三方庫與依賴：

• requests：用於發送 HTTP 請求。

• BeautifulSoup (bs4)：用於解析 HTML 頁面。

• schedule 或 APScheduler：用於定時任務調度。

• smtplib：用於發送電子郵件。

• slack_sdk：用於調用 Slack API 發送通知。

• Luckdata API：不需要額外安裝包，只需透過 requests 調用 API。

使用以下命令安裝必要套件：

pip install requests beautifulsoup4 schedule slack_sdk

如果需要更複雜的定時任務管理，可考慮安裝 APScheduler：

pip install apscheduler

3. 網站結構與數據需求分析

在進行數據監控前，我們首先需要瞭解 Footlocker.kr 網站的 HTML 結構與數據所在位置。使用瀏覽器開發者工具（按 F12）可以方便地查看各個元素的 class 或 id 屬性。常見需要監控的數據包括：

• 商品名稱：通常位於顯示產品標題的 <div> 或 <span> 標籤中。

• 價格：商品售價，可能會有原價與折扣價兩種顯示。

• 庫存狀態：表示商品是否有庫存，可能用文字或圖標表示。

• 品牌、類別與圖片鏈接：提供更豐富的產品資訊，方便後續數據分析。

當網站內容通過 JavaScript 動態加載時，傳統爬蟲可能無法直接抓取完整數據，這時可以考慮使用 Luckdata Sneaker API 來獲取結構化 JSON 數據，避免手動解析 HTML 的繁瑣。

4. 數據獲取方法比較

4.1 傳統爬蟲方式

傳統爬蟲方式依賴於直接向目標 URL 發送請求並解析返回的 HTML。此方法的優點是無需額外依賴外部 API，但缺點在於容易受到反爬機制影響，尤其在高頻率請求時可能被封鎖。為應對這種情況，代理 IP 成為重要工具之一。代理 IP 能夠隱藏真實來源 IP，分散請求來源，降低被封風險。

以下為傳統爬蟲整合代理 IP 的代碼範例：

import requests
from bs4 import BeautifulSoup
# 設定代理 IP（請根據實際情況替換）
proxy_ip = "http://Account:Password@ahk.luckdata.io:Port"
proxies = {
'http': proxy_ip,
'https': proxy_ip
}
# 目標 URL：Footlocker.kr 首頁
url = "https://www.footlocker.kr/ko/"
# 設定請求標頭，模擬真實瀏覽器
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
# 發送請求，並使用代理 IP
response = requests.get(url, headers=headers, proxies=proxies)
if response.status_code == 200:
print("請求成功！預覽部分 HTML 原始碼：")
print(response.text[:500])
else:
print(f"請求失敗，狀態碼：{response.status_code}")
# 使用 BeautifulSoup 解析 HTML，假設商品名稱存放於 class 為 "ProductCard-name" 的元素中
soup = BeautifulSoup(response.text, "html.parser")
product_elements = soup.find_all("div", class_="ProductCard-name")
product_names = [product.get_text(strip=True) for product in product_elements]
print("商品名稱列表：")
for name in product_names:
print(name)

4.2 Luckdata Sneaker API 方式

與傳統爬蟲相比，Luckdata Sneaker API 提供了一個統一的接口，可直接返回結構化 JSON 數據，極大地簡化了數據抓取過程。即便是動態加載的內容，也能通過 API 獲取，從而避免解析 HTML 的困難。此外，對於 API 請求，同樣可結合代理 IP，確保隱私保護和請求穩定性。

以下為整合代理 IP 的 Luckdata API 代碼範例：

import requests
# 設定代理 IP（請根據實際情況替換）
proxy_ip = "http://Account:Password@ahk.luckdata.io:Port"
proxies = {
'http': proxy_ip,
'https': proxy_ip
}
# 設定你的 Luckdata API Key
luckdata_api_key = "your_luckdata_key"
headers = {
"X-Luckdata-Api-Key": luckdata_api_key
}
# 目標商品 URL
product_url = "https://www.footlocker.kr/ko/product/~/316161353004.html"
# 構造 API 請求 URL
api_url = f"https://luckdata.io/api/sneaker-API/get_aa0x?url={product_url}"
# 發送 API 請求，使用代理 IP
response = requests.get(api_url, headers=headers, proxies=proxies)
if response.status_code == 200:
data = response.json()
print("Luckdata API 返回的數據：")
print(data)
# 提取關鍵字段
product_name = data.get("name", "未知商品")
price = data.get("price", "未知價格")
stock_status = data.get("stock_status", "庫存狀態未知")
image_url = data.get("image", "無圖片")
brand = data.get("brand", "未知品牌")
category = data.get("category", "未知類別")
print(f"商品名稱: {product_name}")
print(f"品牌: {brand}")
print(f"類別: {category}")
print(f"價格: {price}")
print(f"庫存狀態: {stock_status}")
print(f"圖片鏈接: {image_url}")
else:
print(f"請求失敗，狀態碼: {response.status_code}, 回應: {response.text}")

透過上述兩種方式，我們可以靈活選擇數據抓取方式，並依據實際需求在代理 IP 的保護下提高數據抓取的成功率與穩定性。

5. 自動化監控系統設計

在建立數據抓取方法後，接下來便是設計自動化監控系統。監控系統需定期抓取數據、比對數據變化，並在檢測到價格或庫存變動時即時通知相關人員。

5.1 定時任務設定

為了實現自動化監控，我們可以使用 schedule 庫來設定定時任務。例如，每小時或每天自動執行數據抓取任務，以下是一個簡單的示例：

import schedule
import time
def job():
print("開始抓取 Footlocker.kr 數據...")
# 此處可選用傳統爬蟲方式或 Luckdata API 方式抓取數據
# 假設我們使用 Luckdata API 的方法
import requests
proxy_ip = "http://Account:Password@ahk.luckdata.io:Port"
proxies = {'http': proxy_ip, 'https': proxy_ip}
luckdata_api_key = "your_luckdata_key"
headers = {"X-Luckdata-Api-Key": luckdata_api_key}
product_url = "https://www.footlocker.kr/ko/product/~/316161353004.html"
api_url = f"https://luckdata.io/api/sneaker-API/get_aa0x?url={product_url}"
response = requests.get(api_url, headers=headers, proxies=proxies)
if response.status_code == 200:
data = response.json()
print("最新數據：", data)
# 在此可加入數據比對與通知邏輯
else:
print(f"數據抓取失敗，狀態碼: {response.status_code}")
# 每小時執行一次任務
schedule.every(1).hours.do(job)
while True:
schedule.run_pending()
time.sleep(1)

若需要更高級的定時任務管理，可考慮使用 APScheduler，該庫提供了更靈活的調度策略。

5.2 數據比對與變化檢測

抓取到的數據需要與先前保存的歷史數據進行比對，以便檢測價格、庫存或其他資訊是否發生變化。數據可以存儲於 CSV、JSON 檔案或者資料庫中。簡單的實現方法如下：

1. 將每次抓取到的數據存儲到檔案中（例如 CSV）。

2. 在下一次抓取前，讀取舊數據並與新數據進行比對。

3. 如果數據有變化，則觸發通知機制。

以下為簡單的數據存儲與比對示例：

import pandas as pd
import os
def save_data(data, filename="footlocker_data.csv"):
# 假設 data 為字典格式，包含商品名稱、價格、庫存等字段
df = pd.DataFrame([data])
if os.path.exists(filename):
# 讀取舊數據，合併並去重
old_df = pd.read_csv(filename)
df = pd.concat([old_df, df]).drop_duplicates(subset=["商品名稱"])
df.to_csv(filename, index=False, encoding="utf-8")
def compare_data(old_data, new_data):
# 比對價格、庫存是否有變化，返回 True 表示有變化
if old_data.get("價格") != new_data.get("價格") or old_data.get("庫存狀態") != new_data.get("庫存狀態"):
return True
return False

在定時任務中，可以先讀取歷史數據，再將新數據與舊數據進行比對，若發現變化則調用通知函數。

6. 通知機制設計

當數據抓取並比對後發現有異常或變化時，必須及時通知相關人員，以便作出相應的調整。常用的通知方式包括電子郵件與 Slack 通知。

6.1 郵件通知

利用 Python 的 smtplib 模組可以輕鬆構建郵件發送功能。以下是一個簡單的範例：

import smtplib
from email.mime.text import MIMEText
def send_email(subject, body, from_addr="your_email@example.com", to_addr="recipient@example.com"):
msg = MIMEText(body, "plain", "utf-8")
msg["Subject"] = subject
msg["From"] = from_addr
msg["To"] = to_addr
try:
# 連接 SMTP 伺服器，這裡以 Gmail 為例，請根據實際情況調整
server = smtplib.SMTP("smtp.gmail.com", 587)
server.starttls()
server.login(from_addr, "your_email_password")
server.sendmail(from_addr, [to_addr], msg.as_string())
server.quit()
print("郵件發送成功！")
except Exception as e:
print(f"郵件發送失敗：{e}")
# 範例：發送變化通知
send_email("商品價格更新", "商品 A 的價格發生變化，請及時檢查！")

6.2 Slack 通知

利用 Slack 的 SDK，可以將通知發送至指定的 Slack 頻道，實現即時消息提醒。以下是一個範例代碼：

from slack_sdk import WebClient
from slack_sdk.errors import SlackApiError
def send_slack_message(message, channel="#your-channel"):
client = WebClient(token="your-slack-token")
try:
response = client.chat_postMessage(channel=channel, text=message)
print("Slack 通知發送成功！")
except SlackApiError as e:
print(f"Slack 發送失敗：{e.response['error']}")
# 範例：發送 Slack 消息
send_slack_message("警告：商品 A 的庫存狀態已更新！")

在定時任務中，當比對發現數據異常時，即可調用上述通知函數，即時將更新資訊發送給管理人員。

7. 錯誤處理與日誌記錄

在實際運行中，網路請求、數據解析、文件操作等環節均可能出現異常，為了保證監控系統的穩定運行，我們需要做好錯誤處理與日誌記錄工作。Python 的 logging 模組可以用來記錄關鍵操作與錯誤訊息，便於後續排查與系統維護。

以下為簡單的日誌記錄設置範例：

import logging
# 設定 logging 格式與日誌檔案
logging.basicConfig(
filename="monitor.log",
level=logging.INFO,
format="%(asctime)s - %(levelname)s - %(message)s"
)
def monitor_task():
try:
# 模擬數據抓取
logging.info("開始抓取 Footlocker.kr 數據")
# 此處執行抓取與比對操作
except Exception as e:
logging.error(f"抓取數據過程中發生錯誤：{e}")
# 測試日誌記錄
monitor_task()

通過日誌記錄，系統能夠在發生異常時迅速定位問題，並記錄詳細信息，便於後續分析與改進。

8. 擴展功能與批量監控

隨著業務需求的擴展，單一商品的監控可能已經無法滿足實際需求。系統可以進一步擴展為批量監控多個商品，並進行數據分析，預測市場趨勢。具體擴展方向包括：

• 批量數據抓取：建立多個商品 URL 的列表，通過循環或多線程方式依次抓取所有商品資訊。

• 數據存儲與查詢：將抓取到的數據存儲到資料庫中（如 SQLite、MySQL 等），方便日後查詢和歷史數據分析。

• 數據可視化：利用 Matplotlib 或 Plotly 等工具，對商品價格變化進行圖表展示，直觀呈現趨勢與波動。

• 預測模型：根據歷史數據建立機器學習模型，預測未來一段時間內的價格走勢和庫存變化，輔助業務決策。

例如，以下為批量抓取多個商品的簡單代碼範例：

import requests
import pandas as pd
# 代理與 API 參數設置
proxy_ip = "http://Account:Password@ahk.luckdata.io:Port"
proxies = {'http': proxy_ip, 'https': proxy_ip}
luckdata_api_key = "your_luckdata_key"
headers = {"X-Luckdata-Api-Key": luckdata_api_key}
# 多個商品 URL 列表
product_urls = [
"https://www.footlocker.kr/ko/product/~/316161353004.html",
"https://www.footlocker.kr/ko/product/~/316161353005.html",
# 可持續添加其他商品 URL
]
all_products = []
for url in product_urls:
api_url = f"https://luckdata.io/api/sneaker-API/get_aa0x?url={url}"
response = requests.get(api_url, headers=headers, proxies=proxies)
if response.status_code == 200:
data = response.json()
all_products.append({
"商品名稱": data.get("name", "未知商品"),
"品牌": data.get("brand", "未知品牌"),
"類別": data.get("category", "未知類別"),
"價格": data.get("price", "未知價格"),
"庫存狀態": data.get("stock_status", "庫存狀態未知"),
"圖片鏈接": data.get("image", "無圖片")
})
else:
print(f"抓取失敗：{url}")
# 存儲到 CSV 檔案
df = pd.DataFrame(all_products)
df.to_csv("footlocker_bulk_products.csv", index=False, encoding="utf-8")
print("批量數據抓取與存儲完成！")

通過批量抓取與數據分析，系統不僅能夠及時反映單個商品的變化，還能夠從整體上掌握市場動態，進行趨勢預測和業務調整。

9. 總結與建議

本文從多個層面詳細介紹了如何使用 Python 進行 Footlocker.kr 數據的自動化監控。主要內容包括：

• 數據獲取方法的選擇：傳統爬蟲與 Luckdata Sneaker API 的對比。前者適用於靜態數據抓取，但容易受到反爬機制影響；後者則通過 API 提供結構化數據，極大簡化了數據解析過程。

• 代理 IP 的應用：在傳統爬蟲與 API 請求中整合代理 IP，不僅能夠隱藏真實請求來源，還能有效降低被封鎖的風險，保護隱私。

• 自動化監控系統設計：利用定時任務（schedule 或 APScheduler）、數據比對與通知機制（電子郵件、Slack）實現一個完整的監控流程。

• 錯誤處理與日誌記錄：通過 logging 模組記錄抓取過程中的異常與關鍵操作，便於後續維護與調試。

• 擴展與批量監控：系統具備批量抓取與數據可視化、預測等擴展能力，滿足業務不斷增長的需求。

綜上所述，透過結合 Python 傳統爬蟲技術與 Luckdata API，並加入代理 IP 保護機制，我們可以建立一個高效、穩定的自動化監控系統。該系統不僅能夠實時捕捉 Footlocker.kr 的關鍵數據，還能夠通過通知機制及時響應市場變化，為企業數據分析、庫存管理和價格策略調整提供有力支援。

未來，開發者可根據具體需求進一步優化系統，例如加入機器學習模型進行趨勢預測、數據可視化模組展示歷史走勢，甚至整合更多其他電商平台數據，實現跨平台數據監控與整合。這些進一步的擴展都將為企業決策與市場策略提供更加精準和高效的依據。