Photo by Denise Jans on Unsplash 現在的網頁五花八門，其中充滿了許多有價值的資料，因此有許多的使用者都會使用Python網頁爬蟲的技術來進行取得，而這也衍生了可能因為過量的請求(Request)，導致網站的伺服器過載，而產生問題。 所以，越來越多的網站開始偵測網頁爬蟲，將其封鎖，這時候，在開發Python網頁爬蟲時，該如何降低被偵測到的風險呢?本文提供了以下7個方法給讀者進行參考：輪流切換IP位址設定請求表頭(Request Headers)設定使用者代理(User-Agent)設定參照位址(Referer)設定隨機的延遲時間使用無頭瀏覽器(Headless Browser)避免掉入網頁蜜罐陷阱(Honeypot Traps)PS.提醒大家，在爬取的過程中，要尊重對方的網站及其它的使用者，避免過量的請求(Request)而破壞網站的使用體驗。一、輪流切換IP位址如果固定的使用同一組IP位址，在固定的時間內大量的請求(Request)網站，毫無疑問有很大的機率會被認為是網頁爬蟲，進而被封鎖請求(Request)。因此，要利用Python網頁爬蟲爬取網站時，會建議需要擁有多組的IP位址，在每一次的請求(Request)時，輪流切換使用，來降低被偵測到的機會，可以參考使用Proxy切換服務，像是Scrapingdog等，或是IP切換服務，像是ScraperAPI等，讓Python網頁爬蟲進行請求(Request)時，能夠使用不同的IP位址。二、設定請求表頭(Request Headers)請求表頭(Request Headers)就是在瀏覽器發送任何一個請求(Request)時，告訴目標網頁相關的瀏覽器資訊，可以在Chrome瀏覽器開發者模式的Network頁籤下看到，如下圖： 為了讓Python網頁爬蟲在發送請求(Request)時，能夠像真實的瀏覽器一樣，最好要設定請求表頭(Request Headers)資訊，如果沒有設定，很明顯就會被認為是Python網頁爬蟲而被封鎖。除了能夠在Chrome瀏覽器開發者模式得知自己的請求表頭(Request Headers)外，也可以利用此網站來查看，在Python網頁爬蟲的專案中，只要複製其中的headers欄位來使用即可，如下範例：import requests
headers = {
…