從各種管道蒐集資料的過程中，因為資料來源的不同，其中使用的「單位」或「格式」就可能有所不同，像是幣別、重量、日期或容量等，當進行資料合併或整合時，如果沒注意就會發生資料「單位」或「格式」不一致的問題。 而這會影響分析及預測的結果，所以，本文利用3個範例，讓大家學會使用Pandas套件進行「單位」或「格式」的統一，包含：

如果有在實作資料分析或機器學習的朋友就會知道，為了要群組或分類相似的資料，會使用標籤、代號或數字等類別資料(Categorical Data)進行分群。像是影像辨識，將相近的圖片使用特定的標籤來代表，提升分析或訓練模型的效率。 但是當資料量非常龐大時，就可能因為人為輸入或解析有誤，導致類別資料(Categorical Data)產生不一致的問題。所以，本文以 Kaggle網站的銀行直銷資料集(bank-direct-marketing-campaigns.csv) 為例，來聊聊如何利用Pandas套件來進行清理。重點包含：

當遇到一個商業問題或假設，要從各個管道蒐集資料來解決問題時，像是檔案、網頁及公開資料庫等，而在進行資料整合的過程中， 如果處理流程不夠完善，就有機會產生重複的資料 誤導分析的結果 。 本文以 Kaggle網站的Amazon 2009-2019年Top50暢銷書資料集(bestsellers with categories.csv) 為例，教大家如何查找及清理資料集的重複資料，提升資料的品質。重點包含：

在大量的數據中，有時為了精準分析特定群組的資料，通常都會依需求定義所要分析的資料範圍，像是評價、日期及年齡區間等 。 而在蒐集資料或人為處理資料的過程中，就有可能發生資料超出所要分析的範圍錯誤，導致分析結果出現異常。本文將以 Kaggle網站的Kindle Store電子書店評論資料集(kindle_reviews.csv) 為例 ，來和大家分享 如何利用Pandas套件來處理 以下兩種類型的資料範圍錯誤：

想要實作資料分析，讀取資料是第一步所要執行的動作，而如果沒有正確的進行資料前處理(Data Preprocessing)，就會影響最後分析結果的準確性及可靠性。 其中，最常見的基本資料問題，包含「資料型態」、 「資料範圍」及 「重複資料」， 本文就先針對 「資料型態」， 來和大家分享如何有效找出髒資料(Dirty Data)，並且利用Pandas套件來進行資料處理或清理，避免髒資料(Dirty Data)導致分析的副作用 ：

Photo by Eugene Chystiakov on Unsplash 遺漏值(Missing Value)的處理可以說是在資料清理的過程中，不可或缺的步驟之一，而Pandas套件也提供了許多實用的方法(Method)，讓分析人員能夠有效的探索與檢視 遺漏值(Missing Value)，並且進行適當的處理。 所以，本文以 Kaggle網站的「Netflix data with IMDB scores added」資料集(mycsvfile.csv) 為例，來和大家分享筆者在處理 遺漏值(Missing Value)時， 常用的Pandas套件方法(Method)，包含：

DocuSign on Unsplash 使用Pandas套件實作資料清理時，除了對於遺漏、重複與拆分資料的處理外，資料型態與格式也是資料清理過程中需要注意的，這時候就可以利用Pandas套件所提供的轉型與格式化方法(Method)來有效的進行操作。 所以，本文接續 [Pandas教學]使用Pandas套件實作資料清理的必備觀念(上) 文章，使用 Kaggle網站的「Netflix data with IMDB scores added」資料集(mycsvfile.csv) ， 針對資料型態與格式的部分，來和大家分享幾個Pandas套件提供的方法(Method)應用，包含：

Ioan F on Unsplash 在資料分析的過程中，蒐集來的大量數據很可能不是那麼完整，像是含有空值、NULL或重複等，這時候就需要適當的清理與處理，讓資料集更符合所需，進而能夠精確的分析。 而Pandas套件提供了許多資料清理的方法(Method)，本文就以 Kaggle網站的「Netflix data with IMDB scores added」資料集(mycsvfile.csv) 為例，來和大家分享這些方法(Method)的應用方式，包含：