Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

1.选取行名、列名、值

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

2.以标签(行、列的名字)为索引选择数据—— x.loc[行标签,列标签]进群:125240963   即可获取数十套PDF哦!

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

3.以位置(第几行、第几列)为索引选择数据—— x.iloc[行位置,列位置]

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

4.同时根据标签和位置选择数据——x.ix[行,列]

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

5.选择连续的多行多列——切片

起点索引:终点索引 这种用法叫做一个切片,指从起点索引到终点索引。看实际用法就懂了。

如果起点索引省略代表从头开始,终点索引省略代表直到最后,都省略就代表全部了。

切片在.loc、.iloc、.ix三种方法中都可以应用

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

由上例可见,当以位置为索引时,切片是不包括终点的,是左闭右开的。即第1列到第3列不是写作0:2而是0:3。

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

6.选择不连续的某几行或某几列

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

备注:当以标签名选取不连续的某几行的时候在这个例子中如df.loc['2016-02-02','2016-02-04',:]这样写会出错,,是时间格式的原因,这样写就可以了df.ix[[pd.Timestamp('2016-02-02'),pd.Timestamp('2016-02-04')]]

7.简便地获取行或列

直接用切片获取行,直接用标签获取列。注意不要错乱。

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

8.如何返回一个dataframe的单列或单行

如上,此时返回的是一个series,而不是dataframe。有时单独只获取一行的时候也会返回一个series,如df.ix[0,:]。

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

若要返回dataframe,可用中括号把索引括上,如下。

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

9.按条件选取数据——df[逻辑条件]

逻辑条件支持&(与)、|(或)、~(非)等逻辑运算

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

这个方法有个常用情景,即按条件修改数据:

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

02. dataframe转置、排序

1.转置 df.T

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

2.按行名或列名排序——df.sort_index

df.sort_index(axis=0,ascending=True)

  • axis= 0 为按行名排序;1 为按列名排序
  • ascending= True 为升序; False 为降序

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

3.按值排序——df.sort_index

df.sort(by=,ascending=True)

  • by= 按哪一列的值排序,认是按行标签排序
  • ascending= True 为升序; False 为降序

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

03. dataframe增删行或列

1.获得一个datframe数据类型的样例

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

2.增加一列或一行

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

3.删除行或列——df.drop

df.drop(labels,axis=0,inplace=Flase)

  • labels 行或列的标签名,写在第一个可省略。
  • axis= 0 删除行;1 删除
  • inplace= False 生成新dataframe;True 不生成新的dataframe,替换原本dataframe。认是False。
  • 该操作认返回的是另一个新的dataframe,以至于原来的没有变,如在下面第一个例子中删除的列,在第二个例子中还有。要替换原来的请调整inplace参数

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

04.链接多个dataframe

1.concat,concat([df1,df2,...],axis=0)

  • axis= 0 纵向;1 横向。
  • 使用前需导入过pandas模块
  • 使用时要注意连接的dataframe行列对齐
  • 可以同时拼接多个dataframe
  • 拼接是强制的,允许连接后存在同名的行或列,见纵向连接的第二个例子

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

2.横向连接

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

3.纵向连接

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

05.组建dataframe

1.组建方法——pd.DataFrame

pd.DataFrame(data=None,index=None,columns=None)

  • data= 数据
  • index= 索引,即行名、行表头
  • columns= 列名、列表头

使用前要执行前面的import pandas as pd

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

2.用字典型数据组建——pd.DataFrame

方法基本同上,因为字典型自带一个标签,所以就不用写列名了。

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

3.简便地获得聚宽数据中的时间索引

有时建立一个dataframe时,为了和平台数据保持一致,需要使用相同的时间行索引,但时间数据操作复杂,而且涉及到节假日、非交易日等问题,直接建立比较困难,这里介绍一种简单的方法快速获得跟平台数据一致的时间索引。原理就是直接把平台数据的时间索引拿出来。例子如下:

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

06.dataframe的缺失值处理

1.去掉缺失值——df.dropna

df.dropna(axis=0,how='any',thresh=None,subset=None,inplace=False)

  • axis= 0 按行检查缺失;1 按列检查缺失。不写认为0
  • how= 'any' 有一个缺失值就算缺失;'all' 行或列(根据axis参数)全缺失才算缺失。不写认为'any'
  • thresh= x,x为一个整数,含义为行或列(根据axis参数)中非缺失数值个数大于等于x则不算缺失,即小于x则算缺失,会被去除
  • subset= 标签名。选择要对哪个列或行(与axis中的相反)进行检查缺失,没写的则不检查。即限制检查范围。

相对复杂,请看例子和与例子注释。

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

2.对缺失值进行填充——df.fillna

df.fillna(value=None,axis=None)

  • value= 替换缺失值的值。可以是单个值、字典、dataframe等,但不能是list。区别请看例子。

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

3.判断数据是否为缺失——df.isnull

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

为什么要这样用这个方法判断是否为缺失?

因为nan不等于nan(如下例),即用类似x == nan条件为真 这样的判断方法无法判断一个值x是否为nan。

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

07.常用统计函数

常用统计函数

  • describe 针对Series或个DataFrame列计算汇总统计
  • count 非na值的数量
  • min、max 计算最小值和最大值
  • idxmin、idxmax 计算能够获取到最大值和最小值得索引值
  • quantile 计算样本的分位数(0到1)
  • sum 值的总和
  • mean 值得平均数
  • median 值得算术中位数(50%分位数)
  • mad 根据平均值计算平均绝对离差
  • var 样本值的方差
  • std 样本值的标准差
  • skew 样本值得偏度(三阶矩)
  • kurt 样本值得峰度(四阶矩)
  • cumsum 样本值得累计和
  • cummin,cummax 样本值得累计最大值和累计最小值
  • cumprod 样本值得累计积
  • diff 计算一阶差分
  • pct_change 计算百分数变化

查看函数的详细信息

08.panel类型数据分解成dataframe

1.panel的取用方法

panel类型的的取用方法类似与dataframe,看下例子也就明白了。一般要做统计方面的工作,也是如下分解成dataframe进行操作,基本满足日常需求。了解更多panel的操作可参考:http://pandas.pydata.org/pandas-docs/stable/api.html#panel

2.panel类型数据分解成dataframe方法

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

09.研究内存取dataframe

1.把dataframe存成csv文件——df.to_csv()

用法如下,文件都是存到研究空间中的,如果不写路径是认是存在根目录,如df.to_csv('df.csv')

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

2.读取被存成csv文件的dataframe——pd.read_csv()

Pandas是数据分析必须要学的库!这是我见过最详细最牛逼的教程!

文章来源于:JoinQuant聚宽

聚宽,国内最大Python量化平台,提供从数据、回测、模拟、实盘等全流程产品。聚宽已汇聚超过15w量化爱好者,与数十家机构合作,聚宽公众号会定期更新量化干货,教你用Python写出好策略。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


我最近重新拾起了计算机视觉,借助Python的opencv还有face_recognition库写了个简单的图像识别demo,额外定制了一些内容,原本想打包成exe然后发给朋友,不过在这当中遇到了许多小问题,都解决了,记录一下踩过的坑。 1、Pyinstaller打包过程当中出现warning,跟d
说到Pooling,相信学习过CNN的朋友们都不会感到陌生。Pooling在中文当中的意思是“池化”,在神经网络当中非常常见,通常用的比较多的一种是Max Pooling,具体操作如下图: 结合图像理解,相信你也会大概明白其中的本意。不过Pooling并不是只可以选取2x2的窗口大小,即便是3x3,
记得大一学Python的时候,有一个题目是判断一个数是否是复数。当时觉得比较复杂不好写,就琢磨了一个偷懒的好办法,用异常处理的手段便可以大大程度帮助你简短代码(偷懒)。以下是判断整数和复数的两段小代码: 相信看到这里,你也有所顿悟,能拓展出更多有意思的方法~
文章目录 3 直方图Histogramplot1. 基本直方图的绘制 Basic histogram2. 数据分布与密度信息显示 Control rug and density on seaborn histogram3. 带箱形图的直方图 Histogram with a boxplot on t
文章目录 5 小提琴图Violinplot1. 基础小提琴图绘制 Basic violinplot2. 小提琴图样式自定义 Custom seaborn violinplot3. 小提琴图颜色自定义 Control color of seaborn violinplot4. 分组小提琴图 Group
文章目录 4 核密度图Densityplot1. 基础核密度图绘制 Basic density plot2. 核密度图的区间控制 Control bandwidth of density plot3. 多个变量的核密度图绘制 Density plot of several variables4. 边
首先 import tensorflow as tf tf.argmax(tenso,n)函数会返回tensor中参数指定的维度中的最大值的索引或者向量。当tensor为矩阵返回向量,tensor为向量返回索引号。其中n表示具体参数的维度。 以实际例子为说明: import tensorflow a
seaborn学习笔记章节 seaborn是一个基于matplotlib的Python数据可视化库。seaborn是matplotlib的高级封装,可以绘制有吸引力且信息丰富的统计图形。相对于matplotlib,seaborn语法更简洁,两者关系类似于numpy和pandas之间的关系,seabo
Python ConfigParser教程显示了如何使用ConfigParser在Python中使用配置文件。 文章目录 1 介绍1.1 Python ConfigParser读取文件1.2 Python ConfigParser中的节1.3 Python ConfigParser从字符串中读取数据
1. 处理Excel 电子表格笔记(第12章)(代码下载) 本文主要介绍openpyxl 的2.5.12版处理excel电子表格,原书是2.1.4 版,OpenPyXL 团队会经常发布新版本。不过不用担心,新版本应该在相当长的时间内向后兼容。如果你有新版本,想看看它提供了什么新功能,可以查看Open
1. 发送电子邮件和短信笔记(第16章)(代码下载) 1.1 发送电子邮件 简单邮件传输协议(SMTP)是用于发送电子邮件的协议。SMTP 规定电子邮件应该如何格式化、加密、在邮件服务器之间传递,以及在你点击发送后,计算机要处理的所有其他细节。。但是,你并不需要知道这些技术细节,因为Python 的
文章目录 12 绘图实例(4) Drawing example(4)1. Scatterplot with varying point sizes and hues(relplot)2. Scatterplot with categorical variables(swarmplot)3. Scat
文章目录 10 绘图实例(2) Drawing example(2)1. Grouped violinplots with split violins(violinplot)2. Annotated heatmaps(heatmap)3. Hexbin plot with marginal dist
文章目录 9 绘图实例(1) Drawing example(1)1. Anscombe’s quartet(lmplot)2. Color palette choices(barplot)3. Different cubehelix palettes(kdeplot)4. Distribution
Python装饰器教程展示了如何在Python中使用装饰器基本功能。 文章目录 1 使用教程1.1 Python装饰器简单示例1.2 带@符号的Python装饰器1.3 用参数修饰函数1.4 Python装饰器修改数据1.5 Python多层装饰器1.6 Python装饰器计时示例 2 参考 1 使
1. 用GUI 自动化控制键盘和鼠标第18章 (代码下载) pyautogui模块可以向Windows、OS X 和Linux 发送虚拟按键和鼠标点击。根据使用的操作系统,在安装pyautogui之前,可能需要安装一些其他模块。 Windows: 不需要安装其他模块。OS X: sudo pip3
文章目录 生成文件目录结构多图合并找出文件夹中相似图像 生成文件目录结构 生成文件夹或文件的目录结构,并保存结果。可选是否滤除目录,特定文件以及可以设定最大查找文件结构深度。效果如下: root:[z:/] |--a.py |--image | |--cat1.jpg | |--cat2.jpg |
文章目录 VENN DIAGRAM(维恩图)1. 具有2个分组的基本的维恩图 Venn diagram with 2 groups2. 具有3个组的基本维恩图 Venn diagram with 3 groups3. 自定义维恩图 Custom Venn diagram4. 精致的维恩图 Elabo
mxnet60分钟入门Gluon教程代码下载,适合做过深度学习的人使用。入门教程地址: https://beta.mxnet.io/guide/getting-started/crash-course/index.html mxnet安装方法:pip install mxnet 1 在mxnet中使
文章目录 1 安装2 快速入门2.1 基本用法2.2 输出图像格式2.3 图像style设置2.4 属性2.5 子图和聚类 3 实例4 如何进一步使用python graphviz Graphviz是一款能够自动排版的流程图绘图软件。python graphviz则是graphviz的python实