数据分析之Pandas

2021-01-02

数据分析之Pandas

Pandas中两大数据结构：DataFrame、Series。

数据文件的读取。可以读取excel、csv、tsv等数据文件。下面以csv文件为例

1
2
3

import pandas as pd

df = pd.read_csv('https://bitly.com/imdbratings')

具体可以指定的参数有：

encoding，文件编码方式，如：GBK/ANSI/UTF-8
names，指定数据文件的各个列的名称，传入的是list类型
seq，指定文件的分隔符

查看数据相关信息

df.head()

df.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 979 entries, 0 to 978
Data columns (total 6 columns):
 #   Column          Non-Null Count  Dtype  
---  ------          --------------  -----  
 0   star_rating     979 non-null    float64
 1   title           979 non-null    object 
 2   content_rating  976 non-null    object 
 3   genre           979 non-null    object 
 4   duration        979 non-null    int64  
 5   actors_list     979 non-null    object 
dtypes: float64(1), int64(1), object(4)
memory usage: 46.0+ KB

获取数据的统计信息：df.describe()

df.describe()
	  star_rating	duration
count	979.000000	979.000000
mean	7.889785	120.979571
std		0.336069	26.218010
min		7.400000	64.000000
25%		7.600000	102.000000
50%		7.800000	117.000000
75%		8.100000	134.000000
max		9.300000	242.000000

获取某一列或多个列的值

通常将要获取的多个列名包装到list中。

#获取评分这一列的值，返回一个Series对象
df['star_rating']
#或者
df.star_rating

# 获取评分、电影时长两列的值
df[['star_rating','duration']]

注意：不能这么写：df[[0,1,2,3]]

获取某一行或多行的数据

#直接切片获取 
df[:1]
#Output
star_rating                                                     9.3
title                                      The Shawshank Redemption
content_rating                                                    R
genre                                                         Crime
duration                                                        142
actors_list       [u'Tim Robbins', u'Morgan Freeman', u'Bob Gunt...
Name: 0, dtype: object

#获取前10部电影的时长
df[:10]['duration'] 
df[:10][['star_rating','duration']]

还是推荐使用loc或者iloc来进行行的获取。这样更加直观。

iloc和loc

使用形式：loc[,]/iloc[,]

# 获取指定索引的数据，比如获取第10部电影的数据
df.loc[10] # 默认取全部列（不建议这么写） 相当于 ） 
df.loc[10,:] #（推荐）

# 取第1、5、10部电影
df.loc[[1,5,10], :]

# loc函数支持切片, 取前10部电影, 注意是：前闭后闭的
df.loc[:10,:] #获取前10行的数据，返回一个DataFrame

# 下面讲解列操作
# 取前10部电影的时长
df.loc[:10,'duration']

# 取前10部电影的时长和名字
df.loc[:10,['star_rating','title']]

# 取前10部电影评分到时长列
df.loc[:10,['star_rating':'duration']]                   
              
# 下面全部是错误的写法！
df[:10]['star_rating':'duration']   
df.loc[:,0:5]

注意：获取某一特定index行，不可以直接df[index]，需借助df.loc[index,:]函数。

loc不仅可以传入索引、列表、切片获得指定数据，还可以传入条件进行筛选，具体参见下一小节。

iloc在列的选取上与loc不同，loc传入的是列名；而iloc传入的是列的索引。

#介绍df.iloc使用， iloc是按位置选取的,传入的参数都是整数
# 传入的切片是前闭后开的！
#选取索引为1、4、5的电影
df.iloc[[1,4,5],:]

df.iloc[:100,:4]

# 选择第0、2列
df.iloc[[1,4,5],[0,2]]

获取满足特定条件的行

# 获取电影时长在120min以上的电影，返回一个DataFrame
df[df['duration'] > 120]
df[df['duration'] > 120].duration

# 获取电影时长在120min以上的电影且评分高于8的电影,多条件要用括号括起来
df[(df['duration'] > 120) & (df['star_rating'] > 8)]

# 或者
df.loc[(df['duration'] > 120) & (df['star_rating'] > 8), :]

# 获取电影时长在120min以上的电影且评分高于8的电影的名字
df.loc[(df['duration'] > 120) & (df['star_rating'] > 8),'title']

# 获取电影时长在120min以上的电影且评分高于8的电影的名字和评分
df.loc[(df['duration'] > 120) & (df['star_rating'] > 8),['title','star_rating']]

df.loc[(df['duration'] > 120) & (df['star_rating'] > 8),'star_rating':'genre']

查看不同分级的电影数量

# 获取电影具体的分级级别
df['content_rating'].unique()
# Output
array(['R', 'PG-13', 'NOT RATED', 'PG', 'UNRATED', 'APPROVED', 'PASSED',
       'G', 'X', nan, 'TV-MA', 'GP', 'NC-17'], dtype=object)

# 查看不同分级类别的电影数量
df['content_rating'].value_counts()
# Output
R            460
PG-13        189
PG           123
NOT RATED     65
APPROVED      47
UNRATED       38
G             32
PASSED         7
NC-17          7
X              4
GP             3
TV-MA          1
Name: content_rating, dtype: int64


# 以柱状图形式展示
df['content_rating'].value_counts().plot(kind='bar')

groupby的应用

1 2	#查看不同题材的电影的平均时长 df.groupby('genre').duration.mean()

apply、map、applymap

apply传入一个函数，会将该函数应用于选中的列

applymap是指将函数应用于DataFrame的所有元素

import numpy as np

df['int_rating'] = df.star_rating.apply(np.ceil) # 默认为 0
df.loc[:5,['int_rating','star_rating']]

#Output
	int_rating	star_rating
0			10.0 		9.3
1			10.0		9.2
2			10.0		9.1
3			9.0			9.0
4			9.0			8.9
5			9.0			8.9

#获取电影主演的第一个演员的名字
df.actors_list.apply(lambda x:eval(x)[0])
#Outputs
0          Tim Robbins
1        Marlon Brando
2            Al Pacino
3       Christian Bale
4        John Travolta

下面引入一个新的数据集

1 2	drinks = pd.read_csv('http://bit.ly/drinksbycountry') drinks.head()

# 在DataFrame中，可通过axis指定appply作用在行或者列上
res = drinks.loc[:,'beer_servings':'wine_servings'].apply(np.argmax,axis=0)
res
# Outputs
beer_servings      117
spirit_servings     68
wine_servings       61
dtype: int64
    
drinks.loc[res,'country']
117    Namibia
68     Grenada
61      France
# 即beer_servings 最大的国家是Namibia，spirit_servings大的国家Grenada等等

在DataFrame中删除行或者列

# 删除一列或多列
df.drop(['int_rating'],axis=1,inplace=True)

# 删除一行或多行
df.drop([0,1], axis = 0, inplace = True)

在DataFrame中给某一列重命名

# 获取所有列名
df.columns
# 替换全部列名
df_cols = ['Star rating','Title', 'Content rating','Genre', 'Duration', 'Actors list']
df.columns = df_cols

# 修改指定列名
df.rename(columns = {'star_rating':'star rating'})

也可以通过在read数据时，指定names参数来指定列名（names = df_cols）

1 2	# 也可以.str来使用Series中封装的字符串方法 df.columns.str.[replace('_',' ')/lower()/upper()]

给某一列进行排序

# pandas.Series.sort_values(ascending=True, inplace=False) 默认升序,且不改变原Series结果
# 按照电影时长从大倒小排序
df.duration.sort_values(ascending=False)

# pandas.DataFrame.sort_values(by='columns_name')
df.sort_values(by='duration',ascending=False,inplace=True)

# 按照电影评分从大到小排列，若评分相同，则时长长的在前
df.sort_values(['star_rating','duration'],ascending=False)

发现并删除重复行

# pandas.Series.duplicated() 返回bool的series
df.title.duplicated().sum()

df.duplicated()

df.drop_duplicates(keep='first')
# keep = first即保存第一个重复的元素，keep = False，不保留重复元素