Python - 七种武器之NumPy

女爷i 2022-06-07 12:17 171阅读 0赞

Python是一个优秀的通用性编程语言，站在AI的风口，光芒四射，更是借助开源流行库（NumPy, SciPy, Matplotlib, Pandas等），成为强大的科学计算，机器学习首选环境。我们今天也来学习一下其七种武器之一的NumPy库。

七种武器

Numpy介绍

Numpy安装

基础结构

函数及操作

高阶功能

Pandas介绍

总结

1 Python的七种武器

> 官网 https://scipy.org/

Sigh Pie官网展示了Python的用于科学计算，统计分析，机器学习用途的开源武器：

![1240][]

NumPy:多维数组／矩阵基础包，是很多其他包的基石，如Pandas

SciPy: 科学计算基础包

Matplotlib: 快速生成2D图像

IPython: 增强的交互命令行

Sympy: 数学符号计算库，积分,微分,线性代数

Pandas:基于NumPy的数据分析，支持Series, Time-Series, DataFrame,                     Panel，功能非常强大。

以上六种+Python本身构成了“七种武器”。

2 NumPy介绍

NumPy（NumericalPython Extensions）是一个第三方的开源Python包，用于科学计算，其前身是1995年开始开发的基于一个用于数组运算的库，经过长时间的发展，基本上成了绝大多数Python科学计算的基础包。

NumPy主要操作的对象是同种类型元素的多维数组/矩阵，并提供大量科学计算，尤其是线性代数，简单数学，逻辑，排序，选择，I/O,傅立叶变换，基本统计，随机模拟；而标准Python库中的array.array只提供少量功能。

![1240 1][]

![1240 2][]

> NumPy:http://www.numpy.org/

官网如下简洁介绍：

强大的N维数组对象及处理

sophisticated (broadcasting) functions 强大的函数功能，broadcasting？

与C++与Fortran集成

线性代数、傅立叶转换和随机数生成函数

NumPy提供了两种基本的对象，ndarray（N-dimensional array object）和ufunc（universal function object）可以对其N维数组进行计算处理.

3 NumPy安装

可以去官网下载适合wheels，并在Python环境中进行安装。

> https://pypi.python.org/pypi/numpy

![1240 3][]

![1240 4][]

安装后简单在Python的命令行环境IDLE中运行：

![1240 5][]

![1240 6][]

4 基础结构

多维数组ndarray

NumPy的主要对象是同质多维数组，矩阵。所为同质即其所有元素的类型都相同。其中维度称作轴axes，轴的数目称为秩rank。

ndarray.ndim：数组维度的数量，rank ,如2维数组的rank = 2；

ndarry.shape :数组的维度，对于n行m列的矩阵，shape则是（n,m）, 所以shape元组的长度即是rank

ndarry.size：多维数组总个数，如2\*3矩阵size=6

如下面在PyCharm CE下面的示例：

![1240 7][]

![1240 8][]

首先通过arange(15)个数，并reshape成3\*5矩阵，所以其对应shape为（3，5），维度为2维，矩阵，size为3\*5=15；

内存结构

多维数组的内存结构分为两大对象，一块用来保存数据区域，一块用来描述元数据类型的dtype

![1240 9][]

![1240 10][]

多维数组创建

直接从标准数组创建：

b=np.array( \[(1,2),(3,4)\])

创建复数类型：

![1240 11][]

zeros：创建全部由0组成的数组

ones：则创建一个由1组成的数组

empty：随机由内存中数据生成

arange：安装指定规则生成

linspace：浮点数生成数组

![1240 12][]

简单方便，最后linspace则是针对浮点数，参数则是希望得到的元素个数，而非arange中的步长作为参数。

5 函数及操作

数组／矩阵基本操作

对于数组元素级别的操作：

![1240 13][]

包括数组元素的相减，自己元素\*2，或者平方，或者进行判断操作。

同样对于，多维数组／矩阵也同样适用：

![1240 14][]

对于矩阵的简单基本操作我们已经可以看出NumPy的灵活方便。

对于我们关心的矩阵乘法，则需要使用函数dot

![1240 15][]

如上，a\*b只是简单的对应元素相乘，dot则是真正矩阵乘法。另外，多维数组也支持子操作，如a \*= 2；

其他通用函数

其他通用函数同样可以作用于多维数组／矩阵，如sin，cos，exp，average，cov，ceil, transpose等

all: 测试是否True

![1240 16][]

类似C语言风格，非零即True

soft:用指定算法对数组进行排序，算法包括了quicksort, mergesort, heapsort等，默认快排序，对于排序算法的性能，参考如下：

![1240 17][]

总体来说，做到了简单，灵活。

![1240 18][]

sort甚至可以对结构化数组进行排序：

![1240 19][]

简直方便到让人流口水。。。

transpose：矩阵转置

![1240 20][]

6 高阶功能

Broadcasting

Numpy中引入的广播broadcasting用来解决两个形状不同的矩阵阵列如何进行扩展从而可以继续进行数学计算的机制。简单来说，较小的阵列“广播”扩展到较大的阵列相同的形状维度，使得它们可以对等进行输血计算，广播提供过了一种向量化的操作方式，并且Python的广播不需要数据复制，执行效率高效。

具体的广播规则则是让所有输入数组都向其中shape最长的数组看齐，shape中不足的部分都通过在前面加1补齐：

![1240 21][]

同样，在矩阵乘法中：

![1240 22][]

傅立叶变换／分析

傅立叶变换，表示能将满足一定条件的某个函数表示成三角函数或者它们的积分的线性组合，在各个学科中有广泛的应用。

Numpy中包含了标准FFT（一维，一维离散，两维，N维度等），实际FFT等等。这里自动过滤。

下面看一个官网的一维离散傅立叶变换：

![1240 23][]

![1240 24][]

运行生成的图像为：

![1240 25][]

![1240 26][]

简单财务函数

Numpy提供了一些简单的金融财务的函数，如计算现值pv，终值fv，贷款利息，收益率等比较基本功能，可以自行查阅API文档。

线性代数

这个应该作为多维数组／矩阵框架的基本款吧？

![1240 27][]

![1240 28][]

还有其他计算特征值，范数，行列式，以及求解矩阵方程式或线性标量方程组，最小二乘法，求逆等。

我们来看一下我们感兴趣的最小二乘法吧：

lstsq：求解最小二乘解返回到线性矩阵方程

如 求适合直线，y = mx + c

x = \[0,     1,    2,    3\]

y = \[-1, 0.2, 0.9, 2.1\]

![1240 29][]

![1240 30][]

并且可以用简单代码生成拟合图像：

![1240 31][]

![1240 32][]

运行后，生成如下拟合图：

![1240 33][]

统计／随机抽样

统计与随机分布也是必不可少的函数，包含了随机数据random, sample; 分布beta, binomial, 指数分布，正态分布，泊松分布等等几十种，统计函数如标准方差std，协方差等等。

当然，我们也重点看看我们感(neng)兴(kan)趣(dong)的正态／高斯分布吧：

random.normal(loc, scale, size):高斯分布绘制随机样本

请自行查阅维基百科：http://en.wikipedia.org/wiki/Normal\_distribution

我们来看一下吧：

![1240 34][]

生成的图形如下：

![1240 35][]

7 Pandas介绍

简单提及一下Pandas, 希望有机会可以学习系统介绍一下。

Pandas是Python的一个数据分析包，由于对时间序列提供了很好的支持，被广泛应用到金融数据分析工具，并且支持多种数据结构，包括Series, DataFrame（类似Spark中的DataFrame）,Panel 3维的结构化数据等，并可以进行数据的查询，过滤等分析，并支持2D图像展示。

P.S. 我们最近用户MD大Trader 都开始自己学习用Pandas来进行数据分析，Trading了，与时俱进啊。

![1240 36][]

![1240 37][]

![1240 38][]

8 总结

NumPy作为Python的开源数值计算扩展，可以媲美MatLab来处理存储大型矩阵，并作为其他几种武器之基石，在机器学习的风口上，值得去花时间研究应用，希望我们也有时间继续介绍其他秘密武器，尤其是Pandas。

往期热文推荐

> [Machine Learning 1 - 线性回归算法分析][Machine Learning 1 -]
> 
> [Machine Learning 2 - 非线性回归算法分析][Machine Learning 2 -]
> 
> [Machine Learning 3 - 主成分(PCA)算法分析][Machine Learning 3 - _PCA]
> 
> [AI - TensorFlow][]
> 
> [Docker][]
> 
> [Deep Dive in Redis][]
> 
> [Deep Dive 3 - NIO][]
> 
> [Deep Dive2-Concurrency][]
> 
> [Deep Dive1- Oracle DB][]
> 
> [Spring Boot][]
> 
> [Gemfire:分布式缓存利器][Gemfire]
> 
> [FinTech-Blockchain区块链][FinTech-Blockchain]
> 
> [Apache顶级项目介绍9-Thrift][Apache_9-Thrift]
> 
> [Apache顶级项目8-Geode源码深度分析][Apache_8-Geode]
> 
> [Apache顶级项目介绍7 － HBase][Apache_7 _ HBase]
> 
> [Apache顶级项目介绍6 － Spark][Apache_6 _ Spark]
> 
> [Apache顶级项目介绍5 － Kylin][Apache_5 _ Kylin]
> 
> [Apache顶级项目介绍4 － Hadoop][Apache_4 _ Hadoop]
> 
> [Apache顶级项目介绍3 - ZooKeeper][Apache_3 - ZooKeeper]
> 
> [Apache顶级项目介绍1－Kafka][Apache_1_Kafka]
> 
> [大型互联网技术架构4－分布式存储-II][4_-II]
> 
> [大型互联网技术架构3－分布式存储-I][3_-I]
> 
> [大型互联网技术架构2 － 运维/性能测试][2 _]
> 
> [互联网分布式技术架构 － 1][_ 1]
> 
> [Code Walkthrough - HashMap庖丁解牛][Code Walkthrough - HashMap]
> 
> [Eventual Consistency & Modules in Redis][Eventual Consistency _ Modules in Redis]
> 
> [Spring分布式动态数据源＋事务 II][Spring_ II]
> 
> [Spring分布式动态数据源＋事务][Spring]

公众号：技术极客TechBooster

![1240 39][]

孪生公众号：技术 ＋ 金融 ＝ 程序量化投资Venus

![1240 40][]

[1240]: /images/20220607/512119142eb34ca1849ab5fcb7b294f0.png
[1240 1]: /images/20220607/304eab56a7674206ad1290a90fd450e0.png
[1240 2]: /images/20220607/a6ff32b517714c2eb2d041f05dc9f029.png
[1240 3]: /images/20220607/5c059b11666a4f19af2507c49e4bcc21.png
[1240 4]: /images/20220607/30c072f7f8394faea601c879bb637423.png
[1240 5]: /images/20220607/1637d524201b4cf698c486b17c239301.png
[1240 6]: /images/20220607/26f0d5f0bd4d4b4694e1de3fd11a4b1d.png
[1240 7]: /images/20220607/0cd57d340ac8424a976521fd3289d55f.png
[1240 8]: /images/20220607/ab3e404cfe7f44a8863beae8560f9b19.png
[1240 9]: /images/20220607/5106bb5dfa2e4775b03f4d2f3574aea3.png
[1240 10]: /images/20220607/2c7befaaf2394a6ea7eaa14718b89d38.png
[1240 11]: /images/20220607/fe647ab2e8dd45a4aa5eea4be31a2793.png
[1240 12]: /images/20220607/2078db78e04d4eefa1961fadf4262fea.png
[1240 13]: /images/20220607/df7eb4df4bd44c8ba402b5f355576493.png
[1240 14]: /images/20220607/532d546c43114086abd32cf68f989951.png
[1240 15]: /images/20220607/374857d213734ccb9557f33491e00e2a.png
[1240 16]: /images/20220607/d0750454a7d940f88c075ac4856722ad.png
[1240 17]: /images/20220607/3f2e7ca6db70499eb3dc9ba078b16152.png
[1240 18]: /images/20220607/b098c6eef7f44a89aff304fce1134537.png
[1240 19]: /images/20220607/613d8aa857c541bc9de5f99e7e904a41.png
[1240 20]: /images/20220607/42bdf6b7d2dc4257a392ce43a3d4d241.png
[1240 21]: /images/20220607/3b2b0f325fb54a5491d22b7870bce398.png
[1240 22]: /images/20220607/021ebb916eb14e749c2965a696c2bb5d.png
[1240 23]: /images/20220607/c55fe0b9647a43f7bd7a424f513f4a43.png
[1240 24]: /images/20220607/4f47cfda90cf44c4ac758e19fb362af2.png
[1240 25]: /images/20220607/de013d7160384dbc9eb0bca40851df4b.png
[1240 26]: /images/20220607/d4682b4f93e04be59026da4ca7db32b7.png
[1240 27]: /images/20220607/ac770b1e21d64565baa0ca13196fe615.png
[1240 28]: /images/20220607/9896cca6d4394fb2ae14651c6951364e.png
[1240 29]: /images/20220607/2309d552d13c48b29d8604e625aba412.png
[1240 30]: /images/20220607/4d4ecec81f2441a58eec48bb2c61b10f.png
[1240 31]: /images/20220607/a75c76176d28411c95add9dab8216b6b.png
[1240 32]: /images/20220607/2ec3dffc847247749b3dc65a956f1795.png
[1240 33]: /images/20220607/e322931ec18c45e0a1340ba4e0f546c6.png
[1240 34]: /images/20220607/f890756765a0490b95171b3e183c9c49.png
[1240 35]: /images/20220607/f6ec78536b414df4986c200473824899.png
[1240 36]: /images/20220607/a11631389d234c578870b0f80cce83ca.png
[1240 37]: /images/20220607/6214125a8c924a9590de6febfadab11b.png
[1240 38]: /images/20220607/a1a178b907ee4175a91bffa9303b617e.png
[Machine Learning 1 -]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247484640&idx=1&sn=53159bf9b117c8e125f63bb7be41b845&chksm=9b8afaedacfd73fb930cc0300f865b2ac97ebab79e2227f432adfb4fa2d48e96602a1a1bfcd1&scene=21#wechat_redirect
[Machine Learning 2 -]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247484749&idx=1&sn=aba42308c96136800ad337a437aa5ee1&chksm=9b8afb40acfd7256265228d3e79cd0a48f2ba78f86616125c976021f7a13dd7ecfde77b0757d&scene=21#wechat_redirect
[Machine Learning 3 - _PCA]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247484764&idx=1&sn=ed5a1ced32470779fbf03d96c1ed5273&chksm=9b8afb51acfd72472832c5a341a69e8cc06b44ecff9f3cfc21034bdbf9427da0877e320cb5d4&scene=21#wechat_redirect
[AI - TensorFlow]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247484480&idx=1&sn=d1d74f917b551b6274157360a859a71c&chksm=9b8afa4dacfd735bba463331d637c094d80dfc262338c9d03f9abc731d7a6003cf2d3a977b4f&scene=21#wechat_redirect
[Docker]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247484724&idx=1&sn=fdcc47aaa6f4dacb2819bf2aa553bbdf&chksm=9b8afb39acfd722f6ddffce042c9688e22d71ed5c6c5d0ff03285efe36fb02cf9ea81bf48e6d&scene=21#wechat_redirect
[Deep Dive in Redis]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247484191&idx=1&sn=414b6ce2d86593e1d7f4bd46cb7ec617&scene=21#wechat_redirect
[Deep Dive 3 - NIO]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247483895&idx=1&sn=80448114b61056573d4cf5bc34ce7c95&scene=21#wechat_redirect
[Deep Dive2-Concurrency]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247483881&idx=1&sn=eb3a5d1a03c1e8d18343890fd2b0ed77&scene=21#wechat_redirect
[Deep Dive1- Oracle DB]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247483849&idx=1&sn=7a7e1647b70cf1fb6f3f96b5a595481e&scene=21#wechat_redirect
[Spring Boot]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247484079&idx=1&sn=9110d6be9244f4f1db27df7bed73ebb5&scene=21#wechat_redirect
[Gemfire]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247484279&idx=1&sn=053727480973560caed3b128d891a85b&chksm=9b8afd7aacfd746c42c0cc14a2e7e4615c2502904f82cc5922a25eea7c00f60318ce849e5449&scene=21#wechat_redirect
[FinTech-Blockchain]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247484039&idx=1&sn=0afee1bdd81ecfb2d3ce03b5f930287f&scene=21#wechat_redirect
[Apache_9-Thrift]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247484390&idx=1&sn=addeda2ee4be742593acb9ab0c9b9ef8&chksm=9b8afdebacfd74fd3532fab92974d5f64eeb276ef06cbe9c1c28ffa47811f751632e36b735ae&scene=21#wechat_redirect
[Apache_8-Geode]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247484341&idx=1&sn=e6e05b76f4a01dcbe1e1bc0572389957&chksm=9b8afdb8acfd74ae30ae85faa2048759dd987c2c47e4bd751935ffb8a4fb1e10ec73a847f339&scene=21#wechat_redirect
[Apache_7 _ HBase]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247483826&idx=1&sn=2da7f28b8d3b5039559edee72d493fe6&scene=21#wechat_redirect
[Apache_6 _ Spark]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247483795&idx=1&sn=976fbb18765e23f122b1990dbe638287&scene=21#wechat_redirect
[Apache_5 _ Kylin]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247483750&idx=1&sn=c591ea963e934b1bb9af7dfc688bc2b2&scene=21#wechat_redirect
[Apache_4 _ Hadoop]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247483729&idx=1&sn=1205de86d5aa45ecb166ac4316d31088&scene=21#wechat_redirect
[Apache_3 - ZooKeeper]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247483697&idx=1&sn=ef5e90d35ff2bd0b664b7dc5e52522da&scene=21#wechat_redirect
[Apache_1_Kafka]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247483683&idx=1&sn=e472d32c963da7550d13c3597abba753&scene=21#wechat_redirect
[4_-II]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247483968&idx=1&sn=dfeeebdf3d10c207c24c2cccc4d45973&scene=21#wechat_redirect
[3_-I]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247483937&idx=1&sn=14978ac3531c2f2dfe1ab361016dde01&scene=21#wechat_redirect
[2 _]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247483924&idx=1&sn=abc7ced3eabbe508d6e3c06d432747a9&scene=21#wechat_redirect
[_ 1]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247483912&idx=1&sn=5cff1255bebf518b06f7911a3b59053d&scene=21#wechat_redirect
[Code Walkthrough - HashMap]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247484024&idx=1&sn=f7e3b0a0f214b3974bcb065a72ce279d&scene=21#wechat_redirect
[Eventual Consistency _ Modules in Redis]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247484195&idx=1&sn=a9fd286c47d8cd9effe4a114cef2f0e1&scene=21#wechat_redirect
[Spring_ II]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247484190&idx=1&sn=59f345ef26294735ca071b50ab6aea1c&scene=21#wechat_redirect
[Spring]: http://mp.weixin.qq.com/s?__biz=MzAxNDkzNjkzMA==&mid=2247484164&idx=1&sn=e155276d877b302ed4934eefa182b240&scene=21#wechat_redirect
[1240 39]: /images/20220607/c1c859c8b86d4b27ae93c006afdfccea.png
[1240 40]: /images/20220607/4f39b897294a46d390cd3ee8ce4f60f2.png