Python处理千万级数据
从别人的论文里找到要用的数据的原始数据自己做过滤
捣鼓了两天觉得代码太慢开始用pandas做处理
不得不说最大的感触就是 pandas 以及numpy在一定程度上在还原MATLAB
比如MATLAB中利用逻辑值取数、元素的用法，pandas中有几乎一样的方法
test:
同时pandas中有很多很好用的方法，猜测使用了很多哈希值
但是pandas同numpy一样，增量添加很慢
也就是pandas适用于 已经确定size的数据的读取操作非常友好，但是把两个dataframe合并，是很慢的操作
实际上先做了数据的拷贝再进行的拼接，可想而知是多慢了
而Python里的list是一个动态数组，比较适合用于动态增长的情况，比如append，+，extends这样的方法
总之记住只对dataframe进行读取就够啦
最后写代码的时候 对于for循环要小心！！！
想清楚这个代码是不是在循环里面还是外面！！
把要在循环外面的代码先写着！！
比如这次把生成dataframe的两行代码写了for循环里面
查了好几遍才发现！！ 真的很费时间！！
时间的宝贵使人进步。
加油。
————————————————
版权声明：本文为CSDN博主「HeReCJJ」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/HeReCJJ/article/details/81431240
太过爱你忘了你带给我的痛
今天药忘吃喽~
青旅半醒
超、凢脫俗
Bertha 。
￡神魔★判官ぃ
港控/mmm°
我会带着你远行
还没有评论，来说两句吧...