1、預備知識-python核心用法常用數據分析庫(上)

概述

Python 是當今世界最熱門的編程語言,而它最大的應用領域之一就是數據分析。在python眾多數據分析工具中,pandas是python中非常常用的數據分析庫,在數據分析,機器學習,深度學習等領域經常被使用。使用 Pandas 我們可以 Excel/CSV/TXT/MySQL 等數據讀取,然後進行各種清洗、過濾、透視、聚合分析,也可以直接繪制折線圖、餅圖等數據分析圖錶,在功能上它能够實現自動化的對大文件處理,能够實現 Excel 的幾乎所有功能並且更加强大。

本實驗將通過實戰的方式,介紹pandas數據分析庫的基本使用,讓大家在短時間內快速掌握python的數據分析庫pandas的使用,為後續項目編碼做知識儲備

實驗環境

  • Python 3.7
  • PyCharm

任務一:環境安裝與配置

【實驗目標】

本實驗主要目標為在Windows操作系統中,完成本次實驗的環境配置任務,本實驗需要的軟件為PyCharm+Python 3.7

【實驗步驟】

1、安裝Python 3.7

2、安裝Pycharm

3、安裝jupyter、pandas、numpy、notebook

打開CMD,並輸入以下命令,安裝jupyter、notebook、pandas和numpy

pip install jupyter notebook pandas numpy

安裝完成後會有類似如下文字提示:

以上步驟完成後,實驗環境配置工作即已完成,關閉CMD窗口

任務二:Pandas數據分析實戰

【任務目標】

本任務主要目標為使用pandas進行數據分析實戰,在實戰過程中帶大家了解pandas模塊的一下功能:

  • 准備工作
  • 檢查數據
  • 處理缺失數據
  • 添加默認值
  • 删除不完整的行
  • 删除不完整的列
  • 規範化數據類型
  • 重命名列名
  • 保存結果

【任務步驟】

1、打開CMD,執行如下命令,開啟jupyter

jupyter notebook

成功執行以上命令後,系統將自動打開默認瀏覽器,如下圖所示:

成功打開瀏覽器後,按如下流程創建 notebook 文件

對新建notebook進行重命名操作

2、notebook 文件新建完成後,接下來在新建的 notebook 中編寫代碼

導入 Pandas 到我們的代碼中,代碼如下

import pandas as pd

小提示:輸入完成代碼後,按下【Shift + Enter】組合鍵即可運行該單元格中的代碼,後面輸入完每個單元格的代碼後都需要進行類似操作,代碼才會運行

加載數據集,代碼如下:

data = pd.read_csv('./data/movie_metadata.csv')

3、檢查數據

查看數據集前5行

data.head()

運行結果如下圖所示:

我們可以通過上面介紹的 Pandas 的方法查看數據,也可以通過傳統的 Excel 程序查看數據

Pandas 提供了一些選擇的方法,這些選擇的方法可以把數據切片,也可以把數據切塊。下面我們簡單介紹一下:

  • 查看一列的一些基本統計信息:data.columnname.describe()
  • 選擇一列:data['columnname']
  • 選擇一列的前幾行數據:data['columnsname'][:n]
  • 選擇多列:data[['column1','column2']]
  • Where 條件過濾:data[data['columnname'],condition]

4、處理缺失數據

缺失數據是最常見的問題之一。產生這個問題有以下原因:

  • 從來沒有填正確過
  • 數據不可用
  • 計算錯誤

無論什麼原因,只要有空白值得存在,就會引起後續的數據分析的錯誤。下面介紹幾個處理缺失數據的方法:

  • 為缺失數據賦值默認值
  • 去掉/删除缺失數據行
  • 去掉/删除缺失率高的列

4.1、添加默認值

使用空字符串來填充country字段的空值

data.country= data.country.fillna('')

使用均值來填充電影時長字段的空值

data.duration = data.duration.fillna(data.duration.mean())

4.2、删除不完整的行

data.dropna()

運行結果如下(由於輸出內容給較多,結果中省略了中間部分數據,只顯示開頭和結尾部分):

由上圖可以看出,由於第4行數據存在缺失值,因此被删除

提示:dropna操作並不會在原始數據上做修改,它修改的是相當於原始數據的一個備份,因此原始數據還是沒有變

删除一整行的值都為 NA:

data.dropna(how='all')

運行結果如下:

從上圖可知,由於限定條件為:删除一整行都為NA的數據,因此不滿足此條件的數據行還是會被保留

我們也可以增加一些限制,在一行中有多少非空值的數據是可以保留下來的(在下面的代碼中,行數據中至少要有 5 個非空值)

data.dropna(thresh=5)

運行結果如下:

也可指定需要删除缺失值的列

我們以 title_year 這一列為例,首先查看 title_year 這一列中存在的缺失值:

data['title_year'].isnull().value_counts()

結果如下:

由上圖可知,title_year 這一列中存在108個缺失值

接下來查看 title_year 删除完缺失值後的情况

new_data = data.dropna(subset=['title_year'])
new_data['title_year'].isnull().value_counts()

上面的 subset 參數允許我們選擇想要檢查的列。如果是多個列,可以使用列名的 list 作為參數。

運行結果如下:

4.3、删除不完整的列

我們可以上面的操作應用到列上。我們僅僅需要在代碼上使用 axis=1 參數。這個意思就是操作列而不是行。(我們已經在行的例子中使用了 axis=0,因為如果我們不傳參數 axis,默認是axis=0)

删除一整列為 NA 的列:

data.dropna(axis=1, how='all')

運行結果如下:

删除任何包含空值的列:

data.dropna(axis=1,how='any')

這裏也可以使用像上面一樣的 threshold 和 subset

5、規範化數據類型

加載數據集時指定字段數據類型

data = pd.read_csv('./data/movie_metadata.csv', dtype={'title_year':str})

這就是告訴 Pandas ‘duration’列的類型是數值類型。查看加載後各數據列的類型

data.info()

運行結果如下:

object 即代錶數據類型為字符串類型

6、必要的變換

人工錄入的數據可能都需要進行一些必要的變換,例如:

  • 錯別字
  • 英文單詞時大小寫的不統一
  • 輸入了額外的空格

首先查看 movie_title 列數據

data.movie_title

結果如下:

我們數據中所有的 movie_title 改成大寫:

data['movie_title'].str.upper()

結果如下:

同樣的,我們可以去掉末尾餘的空格:

data['movie_title'].str.strip()

運行結果如下:

7、重命名列名

我們需要進行重新賦值才可以:

data = data.rename(columns={'title_year':'release_date', 'movie_facebook_likes':'facebook_likes'})

查看重命名後的數據列名稱

data.info()

輸出結果如下:

8、保存結果

完成數據清洗之後,一般會把結果再以 csv 的格式保存下來,以便後續其他程序的處理。同樣,Pandas 提供了非常易用的方法:

data.to_csv('./data/cleanfile.csv',encoding='utf-8')

查看 /home/student/data 目錄內容如下,新增保存的 cleanfile.csv 文件

預備知識-python核心用法常用數據分析庫(上)的更多相關文章

  1. python進階06 常用問題庫(2)datetime模塊 base64

    python進階06 常用問題庫(2)datetime模塊 base64 一.datetime模塊(時間) 1.datetime.time() t=datetime.time(20,43,30,1) ...

  2. python進階05 常用問題庫(1)json os os.path模塊

    python進階05 常用問題庫(1)json os os.path模塊 一.json模塊(數據交互) web開發和爬蟲開發都離不開數據交互,web開發是做網站後臺的,要跟網站前端進行數據交互 1.什 ...

  3. 【循序漸進學Python】11.常用標准庫

    安裝完Python之後,我們也同時獲得了强大的Python標准庫,通過使用這些標准庫可以為我們節省大量的時間.這裏是一些常用標准庫的簡單說明.更多的標准庫的說明,可以參考Python文檔 sys 模塊 ...

  4. 《C++ Primer Plus》學習筆記 第1章 預備知識

    第一章 預備知識C++在C語言的基礎上添加了對"面向對象編程"的支持和對"泛型編程"的支持.類 —— 面向對象模板 —— 泛型編程1.1 C++簡介1.2 C+ ...

  5. Python數據分析常用的庫總結

    Python之所以能够成為數據分析與挖掘領域的最佳語言,是有其獨特的優勢的.因為他有很多這個領域相關的庫可以用,而且很好用,比如Numpy.SciPy.Matploglib.Pandas.Scikit ...

  6. python數據分析中常用的庫

    Python是數據處理常用工具,可以處理數量級從幾K至幾T不等的數據,具有較高的開發效率和可維護性,還具有較强的通用性和跨平臺性,這裏就為大家分享幾個不錯的數據分析工具,需要的朋友可以參考下 Pyth ...

  7. 大數據技術之_27_電商平臺數據分析項目_02_預備知識 + Scala + Spark Core + Spark SQL + Spark Streaming + Java 對象池

    第0章 預備知識0.1 Scala0.1.1 Scala 操作符0.1.2 拉鏈操作0.2 Spark Core0.2.1 Spark RDD 持久化0.2.2 Spark 共享變量0.3 Spark ...

  8. 吐血整理!Python常用第三方庫,碼住!!!

    ​ Python作為一種編程語言近年來越來越受歡迎,它為什麼這麼火? 其中一個重要原因就是因為Python的庫豐富--Python語言提供超過15萬個第三方庫,Python庫之間廣泛聯系.逐層封裝.幾 ...

  9. Python常用的庫簡單介紹一下

    Python常用的庫簡單介紹一下fuzzywuzzy ,字符串模糊匹配. esmre ,正則錶達式的加速器. colorama 主要用來給文本添加各種顏色,並且非常簡單易用. Prettytable ...

  10. python常用數據處理庫

    Python之所以能够成為數據分析與挖掘領域的最佳語言,是有其獨特的優勢的.因為他有很多這個領域相關的庫可以用,而且很好用,比如Numpy.SciPy.Matploglib.Pandas.Scikit ...

隨機推薦

  1. error: Your local changes to the following files would be overwritten by checkout:

    在發布這個配置文件的時候,會發生代碼沖突: error: Your local changes to the following files would be overwritten by merge ...

  2. 使用 AngularJS 和 Electron 構建桌面應用

    GitHub 的 Electron 框架(以前叫做 Atom Shell)允許你使用 HTML, CSS 和 JavaScript 編寫跨平臺的桌面應用.它是io.js 運行時的衍生,專注於桌面應用而 ...

  3. http://chenzhou123520.iteye.com/blog/1811340

    http://chenzhou123520.iteye.com/blog/1811340

  4. [MySQL]load data local infile向MySQL數據庫中導入數據時,無法導入和字段不分離問題。

    利用load data將文件中的數據導入數據庫錶中的時候,遇到了兩個問題. 首先是load data命令無法執行的問題: 命令行下輸入load data local infile "path ...

  5. POJ 2777 Count Color (線段樹成段更新+二進制思維)

    題目鏈接:http://poj.org/problem?id=2777 題意是有L個單比特長的畫板,T種顏色,O個操作.畫板初始化為顏色1.操作C講l到r單比特之間的顏色變為c,操作P查詢l到r單比特之間的 ...

  6. ACM2026

    /* 首字母變大寫 Problem Description 輸入一個英文句子,將每個單詞的第一個字母改成大寫字母.   Input 輸入數據包含多個測試實例,每個測試實例是一個長度不超過100的英文句 ...

  7. 【轉】【SQL SERVER】怎樣處理作業中的遠程服務器錯誤(42000)

    (SQL SERVER)怎樣處理作業中的遠程服務器錯誤(42000) 問: 1.我創建了一個鏈接服務器. 2.在兩臺服務器之間創建了新的SQL用戶. 3.編寫了訪問鏈接服務器的SQL語句,執行成功. ...

  8. django中數據庫的相關操作

    一.使用環境 python2.7,django>1.7 二.數據庫進行配置 在setting文件中進行修改 1.找到DATABASES DATABASES = { 'default': { 'E ...

  9. java 基礎知識-數組的7種算法(排序、求和、最值、遍曆...)

    遍曆 遍曆就是把這個數組的每個元素 顯示出來 遍曆的方法就是先定義這個數組的大小,然後用FOR循環來完成數組,例如 double[] score = new double[5]; Scanner in ...

  10. xftp的簡單使用

    1.下載並安裝Xftp工具.打開Xftp工具,點擊“新建”. 2.在“新建會話屬性”中選擇“名稱”為主機命名,在“主機”欄輸入主機IP,“協議”和“端口號”使用sftp和22,在“用戶名”和“密碼“欄 ...