Pandas使用一個(gè)二維的數(shù)據(jù)結(jié)構(gòu)DataFrame來(lái)表示表格式的數(shù)據(jù)，相比較于Numpy，Pandas可以存儲(chǔ)混合的數(shù)據(jù)結(jié)構(gòu)，同時(shí)使用NaN來(lái)表示缺失的數(shù)據(jù)，而不用像Numpy一樣要手工處理缺失的數(shù)據(jù)，并且Pandas使用軸標(biāo)簽來(lái)表示行和列

讀取數(shù)據(jù)

Pandas使用函數(shù)read_csv()來(lái)讀取csv文件

import pandasfood_info = ('food_info.csv')PRint(type(food_info))
# 輸出：<class 'pandas.core.frame.DataFrame'> 可見(jiàn)讀取后變成一個(gè)DataFrame變量
 
該文件的內(nèi)容如下：
 
使用函數(shù)head( m )來(lái)讀取前m條數(shù)據(jù)，如果沒(méi)有參數(shù)m，默認(rèn)讀取前五條數(shù)據(jù)
first_rows = food_info.head()first_rows = food_info.head(3)
由于DataFrame包含了很多的行和列，
Pandas使用省略號(hào)（...）來(lái)代替顯示全部的行和列，可以使用colums屬性來(lái)顯示全部的列名
print(food_info.columns)
# 輸出：輸出全部的列名，而不是用省略號(hào)代替
Index(['NDB_No', 'Shrt_Desc', 'Water_(g)', 'Energ_Kcal', 'Protein_(g)', 'Lipid_Tot_(g)', 'Ash_(g)', 'Carbohydrt_(g)', 'Fiber_TD_(g)', 'Sugar_Tot_(g)', 'Calcium_(mg)', 'Iron_(mg)', 'Magnesium_(mg)', 'Phosphorus_(mg)', 'Potassium_(mg)', 'Sodium_(mg)', 'Zinc_(mg)', 'Copper_(mg)', 'Manganese_(mg)', 'Selenium_(mcg)', 'Vit_C_(mg)', 'Thiamin_(mg)', 'Riboflavin_(mg)', 'Niacin_(mg)', 'Vit_B6_(mg)', 'Vit_B12_(mcg)', 'Vit_A_IU', 'Vit_A_RAE', 'Vit_E_(mg)', 'Vit_D_mcg', 'Vit_D_IU', 'Vit_K_(mcg)', 'FA_Sat_(g)', 'FA_Mono_(g)', 'FA_Poly_(g)', 'Cholestrl_(mg)'], dtype='object')
可以使用tolist()函數(shù)轉(zhuǎn)化為list
food_info.columns.tolist()
與Numpy一樣，用shape屬性來(lái)顯示數(shù)據(jù)的格式
dimensions = food_info.shapeprint(dimensions)print(dimensions)?
輸出：(8618,36) ，其中dimensions[0]為8618，dimensions[1]為36
 
與Numpy一樣，用dtype屬性來(lái)顯示數(shù)據(jù)類型，Pandas主要有以下幾種dtype：
object -- 代表了字符串類型
int -- 代表了整型
float -- 代表了浮點(diǎn)數(shù)類型
datetime -- 代表了時(shí)間類型
bool -- 代表了布爾類型
 
當(dāng)讀取了一個(gè)文件之后，Pandas會(huì)通過(guò)分析值來(lái)推測(cè)每一列的數(shù)據(jù)類型
print()
輸出：每一列對(duì)應(yīng)的數(shù)據(jù)類型
NDB_No            int64
Shrt_Desc           object
Water_(g)           float64
Energ_Kcal          int64
Protein_(g)          float64
...
索引
讀取了文件后，Pandas會(huì)把文件的一行作為列的索引標(biāo)簽，使用行數(shù)字作為行的索引標(biāo)簽
注意，行標(biāo)簽是從數(shù)字0開(kāi)始的
Pandas使用Series數(shù)據(jù)結(jié)構(gòu)來(lái)表示一行或一列的數(shù)據(jù)，類似于Numpy使用向量來(lái)表示數(shù)據(jù)。Numpy只能使用數(shù)字來(lái)索引，而Series可以使用非數(shù)字來(lái)索引數(shù)據(jù)，當(dāng)你選擇返回一行數(shù)據(jù)的時(shí)候，Series并不僅僅返回該行的數(shù)據(jù)，同時(shí)還有每一列的標(biāo)簽的名字。
譬如要返回文件的第一行數(shù)據(jù)，Numpy就會(huì)返回一個(gè)列表（但你可能不知道每一個(gè)數(shù)字究竟代表了什么）
而Pandas則會(huì)同時(shí)把每一列的標(biāo)簽名返回（此時(shí)就很清楚數(shù)據(jù)的意思了）
 
選擇數(shù)據(jù)
Pandas使用loc[]方法來(lái)選擇行的數(shù)據(jù)
# 選擇單行數(shù)據(jù)：food_info.loc[0]   # 選擇行標(biāo)號(hào)為0的數(shù)據(jù)，即第一行數(shù)據(jù)food_info.loc[6]   # 選擇行標(biāo)號(hào)為6的數(shù)據(jù)，即第七行數(shù)據(jù)# 選擇多行數(shù)據(jù)：food_info.loc[3:6] # 使用了切片，注意：由于這里使用loc[]函數(shù)，所以返回的是行標(biāo)號(hào)為3，4，5，6的數(shù)據(jù)，與python的切片不同的是這里會(huì)返回最后的標(biāo)號(hào)代表的數(shù)據(jù)，但也可以使用python的切片方法：food_info[3:7]food_info.loc[[2,5,10]] # 返回行標(biāo)號(hào)為2，5，10三行數(shù)據(jù)練習(xí)：返回文件的最后五行方法一：length = food_info.shape[0]last_rows = food_info.loc[length-5:length-1]方法二：num_rows = food_info.shape[0]last_rows = food_info[num_rows-5:num_rows]Pandas直接把列名稱填充就能返回該列的數(shù)據(jù)ndb_col = food_info["NDB_No"] # 返回列名稱為NDB_No的那一列的數(shù)據(jù)zinc_copper = food_info[["Zinc_(mg)", "Copper_(mg)"]] # 返回兩列數(shù)據(jù)
 
簡(jiǎn)單運(yùn)算
現(xiàn)在要按照如下公式計(jì)算所有食物的健康程度，并按照降序的方式排列結(jié)果：
Score=2×(Protein_(g))?0.75×(Lipid_Tot_(g))
對(duì)DataFrame中的某一列數(shù)據(jù)進(jìn)行算術(shù)運(yùn)算，其實(shí)是對(duì)該列中的所有元素進(jìn)行逐一的運(yùn)算，譬如：
water_energy = food_info["Water_(g)"] * food_info["Energ_Kcal"]
原理：
由于每一列的數(shù)據(jù)跨度太大，有的數(shù)據(jù)是從0到100000，而有的數(shù)據(jù)是從0到10，所以為了盡量減少數(shù)據(jù)尺度對(duì)運(yùn)算結(jié)果的影響，采取最簡(jiǎn)單的方法來(lái)規(guī)范化數(shù)據(jù)，那就是將每個(gè)數(shù)值都除以該列的最大值，從而使所有數(shù)據(jù)都處于0和1之間。其中max()函數(shù)用來(lái)獲取該列的最大值.
food_info['Normalized_Protein'] = food_info['Protein_(g)'] / food_info['Protein_(g)'].max()food_info['Normalized_Fat'] = food_info['Lipid_Tot_(g)'] / food_info['Lipid_Tot_(g)'].max()food_info['Norm_Nutr_Index'] = food_info["Normalized_Protein"] * 2 - food_info["Normalized_Fat"] * 0.75注意：上面的兩個(gè)語(yǔ)句已經(jīng)在原來(lái)的DataFrame中添加了三列，列名分別為Normalized_Protein和Normalized_Fat，Norm_Nutr_Index。只需要使用中括號(hào)和賦值符就能添加新列，類似于字典對(duì)DataFrame的某一列數(shù)據(jù)排序，只需要使用函數(shù)sort()即可food_info.sort("Sodium_(mg)") # 函數(shù)參數(shù)為列名，默認(rèn)是按照升序排序，同時(shí)返回一個(gè)新的DataFramefood_info.sort("Norm_Nutr_Index", inplace=True, ascending=False ) # 通過(guò)inplace參數(shù)來(lái)控制在原表排序，而不是返回一個(gè)新的對(duì)象；ascending參數(shù)用來(lái)控制是否升序排序
import pandas as pd
read_csv()
讀寫csv數(shù)據(jù)
df = pd.read_csv(path): 讀入csv文件，形成一個(gè)數(shù)據(jù)框(data.frame)
df = pd.read_csv(path, header=None) 不要把第一行作為header
to_csv()
* 注意，默認(rèn)會(huì)將第一行作為header，并且默認(rèn)會(huì)添加index，所以不需要的話需要手動(dòng)禁用 *
df.to_csv(path, header=False, index=False)
數(shù)據(jù)框操作
df.head(1) 讀取頭幾條數(shù)據(jù)
df.tail(1) 讀取后幾條數(shù)據(jù)
df[‘date’] 獲取數(shù)據(jù)框的date列
df.head(1)[‘date’] 獲取第一行的date列
df.head(1)[‘date’][0] 獲取第一行的date列的元素值
sum(df[‘a(chǎn)bility’]) 計(jì)算整個(gè)列的和
df[df[‘date’] == ‘20161111’] 獲取符合這個(gè)條件的行
df[df[‘date’] == ‘20161111’].index[0] 獲取符合這個(gè)條件的行的行索引的值
df.iloc[1] 獲取第二行
df.iloc[1][‘test2’] 獲取第二行的test2值
10 mins to pandas df.index 獲取行的索引
df.index[0] 獲取第一個(gè)行索引
df.index[-1] 獲取最后一個(gè)行索引,只是獲取索引值
df.columns 獲取列標(biāo)簽
df[0:2] 獲取第1到第2行，從0開(kāi)始，不包含末端
df.loc[1] 獲取第二行
df.loc[:,’test1’] 獲取test1的那一列,這個(gè)冒號(hào)的意思是所有行，逗號(hào)表示行與列的區(qū)分
df.loc[:,[‘test1’,’test2’]] 獲取test1列和test2列的數(shù)據(jù)
df.loc[1,[‘test1’,’test2’]] 獲取第二行的test1和test2列的數(shù)據(jù)
df.at[1,’test1’] 表示取第二行，test1列的數(shù)據(jù)，和上面的方法類似
df.iloc[0] 獲取第一行
df.iloc[0:2,0:2] 獲取前兩行前兩列的數(shù)據(jù)
df.iloc[[1,2,4],[0,2]] 獲取第1，2，4行中的0，2列的數(shù)據(jù)
(df[2] > 1).any() 對(duì)于Series應(yīng)用any()方法來(lái)判斷是否有符合條件的
?
一、            創(chuàng)建對(duì)象
可以通過(guò) Data Structure Intro Setion 來(lái)查看有關(guān)該節(jié)內(nèi)容的詳細(xì)信息。
1、可以通過(guò)傳遞一個(gè)list對(duì)象來(lái)創(chuàng)建一個(gè)Series，pandas會(huì)默認(rèn)創(chuàng)建整型索引：
2、通過(guò)傳遞一個(gè)numpy array，時(shí)間索引以及列標(biāo)簽來(lái)創(chuàng)建一個(gè)DataFrame：
3、通過(guò)傳遞一個(gè)能夠被轉(zhuǎn)換成類似序列結(jié)構(gòu)的字典對(duì)象來(lái)創(chuàng)建一個(gè)DataFrame：
4、查看不同列的數(shù)據(jù)類型：
5、如果你使用的是IPython，使用Tab自動(dòng)補(bǔ)全功能會(huì)自動(dòng)識(shí)別所有的屬性以及自定義的列，下圖中是所有能夠被自動(dòng)識(shí)別的屬性的一個(gè)子集：
二、            查看數(shù)據(jù)
詳情請(qǐng)參閱：Basics Section
 
1、  查看frame中頭部和尾部的行：
2、  顯示索引、列和底層的numpy數(shù)據(jù)：
3、  describe()函數(shù)對(duì)于數(shù)據(jù)的快速統(tǒng)計(jì)匯總：
4、  對(duì)數(shù)據(jù)的轉(zhuǎn)置：
5、  按軸進(jìn)行排序
6、  按值進(jìn)行排序
三、            選擇
雖然標(biāo)準(zhǔn)的Python/Numpy的選擇和設(shè)置表達(dá)式都能夠直接派上用場(chǎng)，但是作為工程使用的代碼，我們推薦使用經(jīng)過(guò)優(yōu)化的pandas數(shù)據(jù)訪問(wèn)方式： .at, .iat, .loc, .iloc 和 .ix詳情請(qǐng)參閱Indexing and Selecing Data 和 MultiIndex / Advanced Indexing。
l  獲取
1、 選擇一個(gè)單獨(dú)的列，這將會(huì)返回一個(gè)Series，等同于df.A：
2、 通過(guò)[]進(jìn)行選擇，這將會(huì)對(duì)行進(jìn)行切片
l  通過(guò)標(biāo)簽選擇
1、 使用標(biāo)簽來(lái)獲取一個(gè)交叉的區(qū)域
2、 通過(guò)標(biāo)簽來(lái)在多個(gè)軸上進(jìn)行選擇
3、 標(biāo)簽切片
4、 對(duì)于返回的對(duì)象進(jìn)行維度縮減
5、 獲取一個(gè)標(biāo)量
6、 快速訪問(wèn)一個(gè)標(biāo)量（與上一個(gè)方法等價(jià)）
l  通過(guò)位置選擇
1、 通過(guò)傳遞數(shù)值進(jìn)行位置選擇（選擇的是行）
2、 通過(guò)數(shù)值進(jìn)行切片，與numpy/python中的情況類似
3、 通過(guò)指定一個(gè)位置的列表，與numpy/python中的情況類似
4、 對(duì)行進(jìn)行切片
5、 對(duì)列進(jìn)行切片
6、 獲取特定的值
l  布爾索引
1、 使用一個(gè)單獨(dú)列的值來(lái)選擇數(shù)據(jù)：
2、 使用where操作來(lái)選擇數(shù)據(jù)：
3、 使用isin()方法來(lái)過(guò)濾：
 
l  設(shè)置
1、 設(shè)置一個(gè)新的列：
2、 通過(guò)標(biāo)簽設(shè)置新的值：
3、 通過(guò)位置設(shè)置新的值：
4、 通過(guò)一個(gè)numpy數(shù)組設(shè)置一組新值：
上述操作結(jié)果如下：
5、 通過(guò)where操作來(lái)設(shè)置新的值：
四、            缺失值處理
在pandas中，使用np.nan來(lái)代替缺失值，這些值將默認(rèn)不會(huì)包含在計(jì)算中，詳情請(qǐng)參閱：Missing Data Section。
1、  reindex()方法可以對(duì)指定軸上的索引進(jìn)行改變/增加/刪除操作，這將返回原始數(shù)據(jù)的一個(gè)拷貝：、
2、  去掉包含缺失值的行：
3、  對(duì)缺失值進(jìn)行填充：
4、  對(duì)數(shù)據(jù)進(jìn)行布爾填充：
五、            相關(guān)操作
詳情請(qǐng)參與 Basic Section On Binary Ops
統(tǒng)計(jì)（相關(guān)操作通常情況下不包括缺失值）
1、  執(zhí)行描述性統(tǒng)計(jì)：
2、  在其他軸上進(jìn)行相同的操作：
3、  對(duì)于擁有不同維度，需要對(duì)齊的對(duì)象進(jìn)行操作。Pandas會(huì)自動(dòng)的沿著指定的維度進(jìn)行廣播：
Apply
1、  對(duì)數(shù)據(jù)應(yīng)用函數(shù)：
直方圖
具體請(qǐng)參照：Histogramming and Discretization
字符串方法
Series對(duì)象在其str屬性中配備了一組字符串處理方法，可以很容易的應(yīng)用到數(shù)組中的每個(gè)元素，如下段代碼所示。更多詳情請(qǐng)參考：Vectorized String Methods.
六、            合并
Pandas提供了大量的方法能夠輕松的對(duì)Series，DataFrame和Panel對(duì)象進(jìn)行各種符合各種邏輯關(guān)系的合并操作。具體請(qǐng)參閱：Merging section
Concat
Join 類似于SQL類型的合并，具體請(qǐng)參閱：Database style joining
Append 將一行連接到一個(gè)DataFrame上，具體請(qǐng)參閱Appending：
七、            分組
對(duì)于”group by”操作，我們通常是指以下一個(gè)或多個(gè)操作步驟：
（Splitting）按照一些規(guī)則將數(shù)據(jù)分為不同的組；
（Applying）對(duì)于每組數(shù)據(jù)分別執(zhí)行一個(gè)函數(shù)；
（Combining）將結(jié)果組合到一個(gè)數(shù)據(jù)結(jié)構(gòu)中；
詳情請(qǐng)參閱：Grouping section
1、  分組并對(duì)每個(gè)分組執(zhí)行sum函數(shù)：
2、  通過(guò)多個(gè)列進(jìn)行分組形成一個(gè)層次索引，然后執(zhí)行函數(shù)：
八、            Reshaping
詳情請(qǐng)參閱 Hierarchical Indexing 和 Reshaping。
Stack
數(shù)據(jù)透視表，詳情請(qǐng)參閱：Pivot Tables.
可以從這個(gè)數(shù)據(jù)中輕松的生成數(shù)據(jù)透視表：
九、            時(shí)間序列
Pandas在對(duì)頻率轉(zhuǎn)換進(jìn)行重新采樣時(shí)擁有簡(jiǎn)單、強(qiáng)大且高效的功能（如將按秒采樣的數(shù)據(jù)轉(zhuǎn)換為按5分鐘為單位進(jìn)行采樣的數(shù)據(jù)）。這種操作在金融領(lǐng)域非常常見(jiàn)。具體參考：Time Series section。
1、  時(shí)區(qū)表示：
2、  時(shí)區(qū)轉(zhuǎn)換：
3、  時(shí)間跨度轉(zhuǎn)換：
4、  時(shí)期和時(shí)間戳之間的轉(zhuǎn)換使得可以使用一些方便的算術(shù)函數(shù)。
十、            Categorical
從0.15版本開(kāi)始，pandas可以在DataFrame中支持Categorical類型的數(shù)據(jù)，詳細(xì) 介紹參看：categorical introduction和API documentation。
1、  將原始的grade轉(zhuǎn)換為Categorical數(shù)據(jù)類型：
2、  將Categorical類型數(shù)據(jù)重命名為更有意義的名稱：
3、  對(duì)類別進(jìn)行重新排序，增加缺失的類別：
4、  排序是按照Categorical的順序進(jìn)行的而不是按照字典順序進(jìn)行：
5、  對(duì)Categorical列進(jìn)行排序時(shí)存在空的類別：
十一、           畫(huà)圖
具體文檔參看：Plotting docs
對(duì)于DataFrame來(lái)說(shuō)，plot是一種將所有列及其標(biāo)簽進(jìn)行繪制的簡(jiǎn)便方法：
十二、           導(dǎo)入和保存數(shù)據(jù)
CSV，參考：Writing to a csv file
1、  寫入csv文件：
2、  從csv文件中讀取：
HDF5，參考：HDFStores
1、  寫入HDF5存儲(chǔ)：
2、  從HDF5存儲(chǔ)中讀取：
Excel，參考：MS Excel
1、  寫入excel文件：
2、  從excel文件中讀取：