Selenium網頁爬蟲串接ScraperAPI輕鬆應對網站的反爬蟲機制

在上一篇有效利用ScraperAPI打造不被偵測的Python網頁爬蟲文章中，介紹了Python網頁爬蟲串接ScraperAPI爬取網頁資料的方式，透過它隨機輪換Proxy IP、瀏覽器標頭等機制，讓我們不用擔心網頁爬蟲被偵測封鎖。那如果今天遇到了動態網頁，需要使用Selenium套件來操作網頁的話，該如何與ScraperAPI進行串接呢?這篇文章就來分享Selenium串接ScraperAPI的過程。

• 建置Selenium網頁爬蟲專案

• Selenium串接ScraperAPI建置網頁爬蟲

• Selenium爬取網頁資料

• 解決Selenium Wire憑證問題

一、建置Selenium網頁爬蟲專案

相較於一般網頁使用ScraperAPI的API Endpoint(端點)，官方文件建議使用Proxy Port來和Selenium進行串接。

但是平常使用Selenium的webdriver，預設是會忽略Proxy Server(伺服器)的帳號和密碼，這時候如果要使用像ScraperAPI需要帳號和密碼驗證的Proxy Server(伺服器)，就要使用Selenium Wire模組，它擴充了Selenium的功能，讓開發人員能夠檢查、操作瀏覽器發出的請求。它的安裝方式如下：

$ pip install selenium-wire

接著，建立Python網頁爬蟲專案，引用Selenium相關的模組，如下：

from seleniumwire import webdriver
from webdriver_manager.chrome import ChromeDriverManager  # Chrome瀏覽器驅動模組
from selenium.webdriver.common.by import By  # 定位元素模組

更多Selenium模組的引用時機和介紹，可以參考全面掌握Selenium建置動態網頁爬蟲的步驟與重要模組文章。

二、Selenium結合ScraperAPI建置網頁爬蟲

登入ScraperAPI，前往左側選單的API playground，在Build request(建立請求)的區域選擇Proxy mode，如下圖：

截取自ScraperAPI官網

這時候在下方的程式碼區塊，就會動態顯示相對應的Python程式碼，如下圖：

截取自ScraperAPI官網

由於我們的Python網頁爬蟲是使用Selenium套件來進行爬取，所以只要把第2~4行的Proxy Server(伺服器)程式碼複製到專案中即可，如下範例：

from seleniumwire import webdriver
from webdriver_manager.chrome import ChromeDriverManager  # Chrome瀏覽器驅動模組
from selenium.webdriver.common.by import By  # 定位元素模組


proxies = {
    "http": "scraperapi:你的API KEY@proxy-server.scraperapi.com:8001"
}

接下來就可以建立webdriver物件，將ScraperAPI的Proxy Server(伺服器)，傳入seleniumwire的選項設定中，如下範例：

from seleniumwire import webdriver
from webdriver_manager.chrome import ChromeDriverManager  # Chrome瀏覽器驅動模組
from selenium.webdriver.common.by import By  # 定位元素模組


proxies = {
    "http": "scraperapi:你的API KEY@proxy-server.scraperapi.com:8001"
}

driver = webdriver.Chrome(
    ChromeDriverManager().install(),
    seleniumwire_options=proxies
)

有了webdriver物件之後，就可以發送請求到想要爬取的目標網站網址，假設我們想要爬取INSIDE硬塞的網路趨勢觀察網站的AI文章，如下範例：

from seleniumwire import webdriver
from webdriver_manager.chrome import ChromeDriverManager  # Chrome瀏覽器驅動模組
from selenium.webdriver.common.by import By  # 定位元素模組


proxies = {
    "http": "scraperapi:你的API KEY@proxy-server.scraperapi.com:8001"
}

driver = webdriver.Chrome(
    ChromeDriverManager().install(),
    seleniumwire_options=proxies
)

driver.get('https://www.inside.com.tw/tag/ai')

這樣每當啟動Selenium瀏覽器時，就可以透過ScraperAPI的Proxy Server(伺服器)，隨機輪換不同的Proxy IP來發送請求，達到降低被網站偵測封鎖的風險。

三、Selenium爬取網頁資料

再來，就要進行資料爬取的動作，前往INSIDE硬塞的網路趨勢觀察網站的AI文章，如下圖：

截取自INSIDE硬塞的網路趨勢觀察網站的AI文章

在文章標題的地方點擊滑鼠右鍵，選擇「檢查」，可以看到它的網頁原始碼如下：

回到Python網頁爬蟲專案，利用Selenium模組的find_elements()方法，爬取所有的文章標題元素，如下範例：

from seleniumwire import webdriver
from webdriver_manager.chrome import ChromeDriverManager  # Chrome瀏覽器驅動模組
from selenium.webdriver.common.by import By  # 定位元素模組


proxies = {
    "http": "scraperapi:你的API KEY@proxy-server.scraperapi.com:8001"
}

driver = webdriver.Chrome(
    ChromeDriverManager().install(),
    seleniumwire_options=proxies
)

driver.get('https://www.inside.com.tw/tag/ai')

# 爬取網頁上的所有文章標題元素
titles = driver.find_elements(By.CSS_SELECTOR, "h3[class='post_title']")

最後，透過For迴圈來進行讀取，並且呼叫Selenium模組的text屬性，爬取文章標題資料，如下範例：

from seleniumwire import webdriver
from webdriver_manager.chrome import ChromeDriverManager  # Chrome瀏覽器驅動模組
from selenium.webdriver.common.by import By  # 定位元素模組


proxies = {
    "http": "scraperapi:你的API KEY@proxy-server.scraperapi.com:8001"
}

driver = webdriver.Chrome(
    ChromeDriverManager().install(),
    seleniumwire_options=proxies
)

driver.get('https://www.inside.com.tw/tag/ai')

# 爬取網頁上的所有文章標題元素
titles = driver.find_elements(By.CSS_SELECTOR, "h3[class='post_title']")
for title in titles:
    print(title.text)  #印出爬取到的文章標題文字

執行結果如下：

世界第一位 AI 軟體工程師「Devin」，能全自動完成複雜工程任務

Google 在台力推 Gemini 學院！第三條海底電纜也將完工啟用

黃仁勳：就算對手免費提供晶片，用 NVIDIA 還是更划算

Oracle 面對 AI 伺服器強勁需求，正在建可容納 8 台波音 747 的資料中心

Palantir 贏得美軍 1.78 億美元合約，打造戰地 AI 情報站「泰坦」

...

四、解決Selenium Wire憑證問題

在執行結果中，大家會看到很多CA(Certificate Authority)憑證的錯誤訊息，如下：

[19468:16376:0324/183300.283:ERROR:cert_verify_proc_builtin.cc(878)] CertVerifyProcBuiltin for ads.ad2iction.com failed:
----- Certificate i=1 (CN=Selenium Wire CA) -----
ERROR: No matching issuer found

這是因為Selenium Wire使用自己的root certificate(根憑證)解密HTTPS傳輸，而這個憑證瀏覽器並不信任，所以儘管出現錯誤訊息，瀏覽器及網頁爬蟲仍然可以正常運作。

解決的方法非常的簡單，只要把Selenium Wire的憑證加入到瀏覽器的設定中即可。而Selenium Wire的憑證可以利用以下的指令取得：

$ python -m seleniumwire extractcert

執行之後，在專案中就會有一個ca.crt憑證檔案。接下來，開啟Chrome瀏覽器，前往設定頁面，點擊左邊欄的「隱私權和安全性」，選擇「安全性」，如下圖：

在進階的地方選擇「管理憑證」，如下圖：

在「受信任的根憑證授權單位」頁籤下，點擊「匯入」，並且選擇剛剛所取得的ca.crt憑證檔即可。

再執行一次Python網頁爬蟲專案，就不會再出現憑證錯誤的訊息了。

五、小結

以上就是Selenium網頁爬蟲串接ScraperAPI的實作方法，真的是非常的簡單，並且保有原來Selenium爬取網頁資料的語法，對於開發人員來說，可以快速上手，除此之外也提升了網頁爬蟲的穩定度，減少被網站偵測封鎖的風險。

你可能有興趣的文章

• 學會Python網頁爬蟲輪流或隨機使用Proxy IP發送請求的技巧
• 有效利用Python網頁爬蟲爬取免費的Proxy IP清單
• 7個降低Python網頁爬蟲被偵測封鎖的實用方法