跳到主要內容

發表文章

目前顯示的是有「Pandas教學系列」標籤的文章

[Pandas教學]常用的Pandas套件合併CSV檔案資料的驗證方式

日常的資料分析工作中,有非常多的資料集需要處理,並且各資料集的結構與關係都不盡相同,這時候在利用Pandas套件來合併相關的資料集進行分析時,就可能發生不如預期的資料錯誤。 而Pandas套件常用的merge()及concat()合併資料方法(Method),也提供了資料驗證的機制,本文就來和大家分享其中的應用方式,避免在合併資料後,產生問題而影響分析結果。重點包含:

[Pandas教學]解析Pandas套件的Pivot Table(樞紐分析表)用法透視資料

在海量的數據中,如果沒有進一步的探索與分析,往往無法看出其中所傳達的訊息, 而使用Pandas套件的Pivot Table樞紐分析表,就能夠將欄位資料透過交叉比對的方式,進行群組、匯總及統計,幫助資料分析人員快速解讀資料。 本文就以 Kaggle網站的2017年Stack Overflow開發者調查資料集(survey_results_public.csv) 為例,帶大家瞭解Pandas套件的 Pivot Table樞紐分析表使用方式,包含:

[Pandas教學]使用Pandas套件將資料集拆分成多個CSV檔案資料應用

Photo by Mad Fish Digital on Unsplash 當單一資料集過於龐大,想要拆分為不同的檔案,或 在實作機器學習時,需要將資料集分為測試及訓練資料等,這時候就有機會把單一CSV檔案中的資料,依據特定條件拆分成多個CSV檔案。 而使用Pandas套件來進行資料分析,就能夠很輕鬆的解決以上任務,本文就以Kaggle網站的「 Coursera Course Dataset( coursea_data.csv ) 」 資料集為例,基於其中的課程難易度等級欄位(course_difficulty),來分別拆分多個CSV檔案,實作步驟 包含:

[Pandas教學]3個Pandas套件比較CSV檔案資料之間的差異秘訣

Photo by Elena Kloppenburg on Unsplash 使用Pandas套件處理多份CSV檔案資料,相信是資料分析的過程中不可或缺的任務之一,其中,很常有機會比較各個資料集的相同與不相同資料內容,藉此來瞭解差異或檢核資料整合的結果是否有誤。 所以,本文就以Kaggle網站的「 Coursera Course Dataset( coursea_data.csv ) 」及 「 Course Reviews on Coursera(Coursera_courses.csv) 」 兩個 資料集為例,來分享3個Pandas套件比較CSV檔案資料集的 常用 方法,包含:

[Pandas教學]有效使用Pandas Profiling套件實現探索式資料分析(EDA)

Photo by Giorgio Tomassetti on Unsplash 當手上有一份數據資料要進行分析,這時候如果是使用Pandas套件,通常會利用describe()方法(Method),來初步瞭解資料內容,但是對於想要深入分析資料集來說,資訊還不夠充足。 所以本文就以 Kaggle網站的「Netflix data with IMDB scores added」資料集(mycsvfile.csv) 為例,來和大家分享一個很常用來進行 探索式資料分析( Exploratory Data Analysis )的套件-Pandas Profiling, 能夠將Pandas DataFrame中儲存的資料,產製為一個互動式的網頁報表,並且以視覺化的方式呈現詳細的資料結構。其中的重點包含:

[Pandas教學]利用Pandas套件的to_html方法在網頁快速顯示資料分析結果

Photo by Yura Fresh on Unsplash 資料蒐集的過程中,為了能夠有效的整理資料,通常都會搭配使用Pandas套件來進行實作,而在完成資料整理後,有時就會需要將資料顯示在網頁上,藉此分享其中的資訊 。 Pandas套件也提供了內建方法(Method),讓資料分析人員能夠將Pandas DataFrame中整理好的資料,轉為HTML的表格來加以運用,本文就以 Kaggle網站的「Netflix data with IMDB scores added」資料集(mycsvfile.csv) 為例,來和大家分享如何利用Pandas套件將讀取到的資料顯示在網頁上,重點包含:

[Pandas教學]有效利用Pandas套件的pipe方法打造資料處理流程管道

Photo by Zan on Unsplash 想要在機器學習或資料分析的過程中順利實作,資料集的前置處理就非常重要,像是資料清理或篩選等,而這些動作通常都是一個有順序性的流程,雖然能透過一次一次的呼叫Pandas套件方法(Method)來達成,但是如果想要讓程式碼可讀性高,以及自動化重複性的資料處理流程,就需要建置資料處理管道(Pipeline)。

[Pandas教學]3個優化Pandas套件讀取大型CSV檔案資料的技巧

Photo by Michael Dolejš on Unsplash 對於資料分析人員來說,Pandas套件相信是最受歡迎的套件之一,提供了許多強大而簡單的方法(Method)來操作資料,但是當處理的資料量較多時,讀取效率就會顯得非常的慢,並且耗用大量的記憶體資源 。

[Pandas教學]一定要學會的Pandas套件讀寫Google Sheets試算表資料秘訣

Photo by Brett Jordan on Unsplash Google Sheets(試算表)相信大家都不陌生,能夠允許多個使用者在上面同時協作,不論是新增或編輯資料等, 對於資料分析來說,就是一個非常好的儲存與共享資料工具 。

[Pandas教學]客製化Pandas DataFrame樣式提升資料可讀性的實用方法

Photo by Sean Lim on Unsplash 面對大量資料的分析工作中,有時想要快速識別遺漏的值,或是已經整理好報表資料,想要為老闆強調某些重要的數字等,這時候除了可以將資料匯出到Excel進行處理外,Pandas套件也提供了許多客製化Pandas DataFrame樣式的功能,來解決以上的需求。

[Pandas教學]3個Pandas套件合併多個CSV檔案資料的實用技巧

Photo by Walling on Unsplash 你有沒有過這樣的經驗,分析的資料分散在多個CSV檔案中,想要利用Pandas套件進行合併,來實作後續的資料處理呢?如果所要分析的資料量或欄位較多時,相信資料被分類在多個CSV檔案中的情況是有機會發生的,這時候就會需要使用Pandas套件的合併方法(Method)來整合多個CSV檔案的資料 。

[Pandas教學]看完這篇就懂Pandas套件如何即時讀取API的回應資料

Photo by LinkedIn Sales Solutions on Unsplash 現在有許多網站,為了 共享擁有的資料或服務, 都會透過建立API(Application Programming Interface)的方式,給外部的使用者進行更多元的應用,對於網站來說,除了能夠方便授權外,也可以彈性管理所提供的資料內容。 這時候,如果想要利用Pandas套件強大的資料分析功能,處理網站API所回傳的JSON格式資料內容,該怎麼實作呢?本文就以 痞客邦(PIXNET)網站的Open Data API 為例,來和大家分享Pandas套件如何讀取回傳的熱門美味食記文章資料,重點包含:

[Pandas教學]快速掌握Pandas套件讀寫SQLite資料庫的重要方法

Photo by Mia Baker on Unsplash 好不容易蒐集到所需的大量資料,經過一連串的 資料清理 、 格式化 、 排序 與 篩選 等前置操作,為了後續的應用及分析,想必都會寫入資料庫中來留存,Pandas套件當然也提供了相關的方法(Method),讓開發人員除了可以將Pandas DataFrame中的資料存入資料庫外,相對的,也能夠透過SQL語法讀取資料庫中的資料 。

[Pandas教學]輕鬆入門3個常見的Pandas套件排序資料方式

Photo by Taras Shypka on Unsplash 面對現實生活中所蒐集來的各式各樣資料,想要能夠快速的進行初步整理,並且有效觀察其中的內容,資料排序可以說是最常使用的方法之一。 而Pandas套件對於資料排序的功能,也提供了非常好支援,本文就以 Kaggle網站的2009-2019年Amazon前50名暢銷書資料集(bestsellers with categories.csv) 為例, 帶大家來瞭解如何在資料集中應用Pandas套件的排序方法(Method)。重點包含:

[Pandas教學]有效利用Pandas套件篩選資料的應用技巧

Lee Campbell on Unsplash 在對資料集進行分析的過程中,有時並不是所有的資料內容都符合需求,往往會透過條件篩選的方式,取得部分資料集來觀察與操作,除了能有更多的變化應用外,也可以對資料有更深入的理解。 所以在學習Pandas套件時,如何篩選出符合自己需求的資料就是一大重點,本文利用 Kaggle網站的星巴克滿意度調查資料集( Starbucks satisfactory survey.csv ) ,來和大家分享Pandas套件篩選資料的常見語法應用,包含:

[Pandas教學]善用Pandas套件的Groupby與Aggregate方法提升資料解讀效率

Content Pixie on Unsplash 為了要能夠在海量的數據資料中,透過資料分析的方式來得知其中的價值,進而做出決策或發現趨勢,就需要簡單的統計方法來幫助理解資料內容,才有辦法將資料做最有效的應用。 所以,本文就以 Kaggle網站的星巴克滿意度調查資料集( Starbucks satisfactory survey.csv ) 為例,分享三個常用的Pandas套件統計方法(Method)來解讀資料內容,包含:

Visual Studio Code漂亮印出Pandas DataFrame資料的實用方法

Pankaj Patel on Unsplash Pandas套件相信是Python開發人員在資料分析的領域中, 最普遍使用的工具之一,對於蒐集來的資料進行後續觀察及清理都相當的便利,而如果您和筆者一樣是Visual Studio Code開發工具的愛好者,利用Pandas套件操作資料後,在印出結果時,就會長得像以下的圖樣:

[Pandas教學]資料視覺化必懂的Pandas套件繪製Matplotlib分析圖表實戰

Ruthson Zimmerman on Unsplash 資料分析一詞相信大家耳熟能詳,目的就是將蒐集到的大量數據,經過有效整理及分析後,來洞悉其中的價值,進而提供更好的用戶體驗或是預測未來的趨勢。

[Pandas教學]5個實用的Pandas讀取Excel檔案資料技巧

Photo by LinkedIn Sales Navigator on Unsplash 日常生活中,不免俗的都會有需要整理大量資料的需求,而最常用的文書軟體就是Excel,這時候該如何有效讀取Excel檔中的資料,進行額外的整理及操作呢? 本文將以 政府開放資料平台-歷年國內主要觀光遊憩據點遊客人數月別統計 的資料內容為例, 利用Python的Pandas套件,來和大家分享實務上最常見的Excel讀取操作,藉此來提升資料處理的效率。

[Pandas教學]掌握Pandas DataFrame讀取網頁表格的實作技巧

Photo by Windows on Unsplash 在 [Pandas教學]資料分析必懂的Pandas DataFrame處理雙維度資料方法 文章的分享中,可以得知Pandas DataFrame資料結構非常適合用於表格式 資料的儲存及處理,也因此被應用於許多的情境,而讀取網頁上的表格 (Table) 資料則是最常見的應用之一。