Learn Code With Mike

利用Python網頁爬蟲爬取網頁資料已經是常見的資料蒐集方法之一，但是在爬取的過程中，難免擔心會不會被網站偵測或封鎖，繼 [Python爬蟲教學]有效利用Python網頁爬蟲爬取免費的Proxy IP清單 文章之後，看完本篇文章，你將學會如何在Python網頁爬蟲專案，透過隨機使用不同的Proxy IP發送請求，降低被偵測或封鎖的機率。實作步驟包含 ：

Photo by Cytonn Photography on Unsplash 在開發網頁爬蟲的過程中，是不是會擔心被偵測或封鎖，而爬不到所需的資料呢? 有些大型網站為了保護網頁上的資料不被大量的爬取，會特別偵測像Python網頁爬蟲這種非人工的自動化請求，這時候 Python網頁爬蟲 使用相同的IP來發送請求就很容易被發現。 所以，如果有多組IP能夠讓Python網頁爬蟲在發送請求時輪流使用，就能夠大幅降低被偵測的風險。 而現在有許多網站上也有提供免費的Proxy IP，本文就以 Free Proxy List 網站為例，透過Python網頁爬蟲來蒐集上面的Proxy IP，製作我們的IP清單。實作步驟包含：

Photo by Mad Fish Digital on Unsplash 當單一資料集過於龐大，想要拆分為不同的檔案，或 在實作機器學習時，需要將資料集分為測試及訓練資料等，這時候就有機會把單一CSV檔案中的資料，依據特定條件拆分成多個CSV檔案。 而使用Pandas套件來進行資料分析，就能夠很輕鬆的解決以上任務，本文就以Kaggle網站的「 Coursera Course Dataset( coursea_data.csv ) 」 資料集為例，基於其中的課程難易度等級欄位(course_difficulty)，來分別拆分多個CSV檔案，實作步驟 包含：

Photo by Elena Kloppenburg on Unsplash 使用Pandas套件處理多份CSV檔案資料，相信是資料分析的過程中不可或缺的任務之一，其中，很常有機會比較各個資料集的相同與不相同資料內容，藉此來瞭解差異或檢核資料整合的結果是否有誤。 所以，本文就以Kaggle網站的「 Coursera Course Dataset( coursea_data.csv ) 」及 「 Course Reviews on Coursera(Coursera_courses.csv) 」 兩個 資料集為例，來分享3個Pandas套件比較CSV檔案資料集的 常用 方法，包含：

Photo by Helena Lopes on Unsplash 在進行網頁資料分析的過程中，除了網頁資訊外，有時也會有檔案資料，供使用者下載使用，像是股市相關的網站，就會有各種不同的財務報表下載，這時候， 就可以結合Python網頁爬蟲的特性，來自動化下載檔案資料， 協助股市資料 的 分析實作。 本文就以 證券交易所 的 個股日成交資訊 及 上市公司季報 為例，來分別和大家分享以下兩個常見的Python檔案資料下載方式，包含：