Photo by Clay Banks on Unsplash
在[Python爬蟲教學]3步驟教你部署Python網頁爬蟲到Google(GCP)雲端平台文章中,和大家分享了部署Python網頁爬蟲到Google Cloud Platform雲端平台,並且能夠將爬取的資料存入Google BigQuery數據庫,而接下來該如何定時自動化執行Python網頁爬蟲呢?
這時候,就會需要利用Google Scheduler(雲端排程器),透過自訂時間來排程執行Python網頁爬蟲,其中的實作重點包含:
- 建立Google Scheduler(雲端排程器)
- 測試Google Scheduler(雲端排程器)
一、建立Google Scheduler(雲端排程器)
點擊「繼續」,設定排程所要執行的目標,以本文為例,則是透過Pub/Sub主題(topic),執行[Python爬蟲教學]3步驟教你部署Python網頁爬蟲到Google(GCP)雲端平台文章所建立的Google Cloud Function(雲端函式),並且輸入「訊息內文(說明文字)」,如下圖:
點擊「繼續」,設定排程如果未成功執行,需進行的重試操作,本文將「重試次數上限」設定為1次,其餘皆保留預設值,如下圖:
點擊「建立」,即可成功建立Google Scheduler(雲端排程器),如下圖:
二、測試Google Scheduler(雲端排程器)
如果想要馬上測試Google Scheduler(雲端排程器)是否能夠成功觸發執行Google Cloud Function(雲端函式)所封裝的Python網頁爬蟲,將爬取的資料寫入Google BigQuery數據庫,可以點擊「立即執行」按鈕,執行結果如下圖:
切換到Google BigQuery數據庫中的資料表(daily_price),可以看到Python網頁爬蟲爬取的資料成功寫入,如下圖:
最後,來看看隔天(9/1)下午三點,Google Scheduler(雲端排程器)自動化執行Google Cloud Function(雲端函式)中的Python網頁爬蟲結果,如下圖:
而Google BigQuery數據庫中的資料表(daily_price),也增加了Python網頁爬蟲爬取的當天(9/1)股市行情資料,如下圖:
三、小結
以上就是透過建立Google Scheduler(雲端排程器),執行Google Cloud Function(雲端函式)所封裝的Python網頁爬蟲方法,實現每天定時自動化蒐集資料,讓後續能夠有效進行分析或應用。附上這系列的教學文章連結:
大家也有利用雲端平台開發什麼應用程式嗎?或是有其它想要觀看的教學,歡迎在底下留言和我分享唷~
如果您喜歡我的文章,別忘了在下面訂閱本網站,以及幫我按五下Like(使用Google或Facebook帳號免費註冊),支持我創作教學文章,回饋由LikeCoin基金會出資,完全不會花到錢,感謝大家。
有想要看的教學內容嗎?歡迎利用以下的Google表單讓我知道,將有機會成為教學文章,分享給大家😊
Python學習資源
Python網頁爬蟲推薦課程
Python非同步網頁爬蟲
Python網頁爬蟲應用
Python網頁爬蟲部署
Python網頁爬蟲資料儲存
Python網頁爬蟲技巧
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgYqMPD_mPLEileg1IdrsIYhFSWZkYFKYmEnUqWqiqdiJv2XYnkT23CFcXoTN6HBtGCEUylgVoUIVKm6KPRPM_TjcjsSei4lGE_YmZdrWA6Ulw1fp6-o8Cn-bVwr7_FANFoC4tjTe-ak6w-atFYq-a1pipQbZvQzt4wHRNK7tywcSG0dSCnpJpqoMP5wA/s1600/Python%E7%B6%B2%E9%A0%81%E7%88%AC%E8%9F%B2%E5%85%8D%E8%B2%BB%E7%B7%9A%E4%B8%8A%E5%9F%B9%E8%A8%93.png)
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh-fK9Da5M7X1lSpbZVan4Eo-PunVnQv-YHw3EDahTUhZr5FayVLaCPqrW44W3_xwQQO-gAWZEwe_A-SxL_nltT__ArbFOgLYAAIsi3RzETT9GqVsfyfN9PXDs-xGTkxZSqj_W1SCxwD2UcrJLqHZSYIrLB-HIU75vSom4YoqoWFUQz_o4PbnvTQUbE6Bab/w640-h426/2.png)
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg61JC7N1hyphenhyphenPpzb1hNJauunevoWrOsJxk_Upz0ywnLtIAJ2rdd1ZxChyphenhyphenFPq8GHYfywtHv2mTce5NGdwwxWFWYARhA6In0xlOzkwlRb9kM04mwgdy9Un9JgVCoLQnwV25oUcitQy2OY4TeA3gVIs067wR4StGfkldbykOeL3TfPchWfNClWKhL10ZzWaxFtf/w640-h426/3.png)
![](https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgh1XFQE0AmkZHSFB0Icq3uY4_FdsIYZ9nUqllOlo9ulRu0ri-LS1OeW2ybKOO2QRg-gyUOUr_3sMLYf7S4Q5ULZpIcXsS1pAkSMPm0OwqpbnLET51WEpQ3EoY5WaEVEWyTixBkRqp2tA7SpePM_MCIY6tnyUvu917rulqbLJTEEPsEho6Q-4Tf74DFdakd/w640-h426/4.png)
留言
張貼留言