如何生成可导入数据库的亿级别数据

我不是女神ヾ 2022-09-25 03:22 159阅读 0赞

1. 使用python脚本可以轻松生成满足条件的数据，具体如下

#coding: utf-8
    import os, sys, time, datetime
    from itertools import izip
    
    N = 100000000
    
    def gen_meid():
       return
    
    def gen_seq():
       return
    
    def generate_message(meid,seq):
        ts = time.time();
        time_st = datetime.datetime.fromtimestamp(ts).strftime('%Y-%m-%d %H:%M:%S')
        print '\t'.join(( meid, seq, '\N', '\N', '\N', '\N', '0', '0', '0', '0', time_st, '\N', '\N', '0', '\N', '\N', '\N', '\N', time_st ))
    
    def main(args):
        print '\t'.join(( 'deviceID', 'battery', ... , 'accumulatedTime', 'createDate' ))  // for mongodb, mysql delete
        for meid,seq in izip(gen_meid(),gen_seq()):
            generate_message(meid,seq)
            pass
        return 0
    
    #==============================
    if __name__ == "__main__":
     import sys
     main(sys.argv)
     pass
    #==============================

$ python a.py > device.tsv

2. 切分数据（可选）

tail -n +1      device.csv | head -n 5000000 > part1.txt

tail -n +100001 device.csv | head -n 100000 > part2.txt

tail -n +200001 device.csv | head -n 100000 > part3.txt

tail -n +300001 device.csv | head -n 100000 > part4.txt

3. 生成txt 文件

python a.py > device.txt

发表评论取消回复

表情：

评论列表（有 0 条评论，159人围观）

还没有评论，来说两句吧...

相关阅读

相关过亿级别的用户数据如何检查用户名是否存在?

对于拥有过亿级别用户规模的应用程序，用户名存在性检查是至关重要的一项功能。本文将探讨在这样庞大的用户基础上进行用户名存在性检查的挑战，并介绍一些常见的解决方案。

墨蓝/ 2024年04月22日 15:25/ 0 赞/ 116 阅读

相关如何处理百亿级别的数据信息

导读：本次分享将从以下几个方面进行分享，首先讲一下我们目前所做的工作，目前平台架构是怎么样的，第二个是大量日志情况下如何收集，第三个涉及百亿数据后如何快速存储以及快速查询，第四

本是古典何须时尚/ 2024年04月06日 13:01/ 0 赞/ 109 阅读

相关 MongoDB 数据库数据导入 - 关于如何使用 csv 导入数据的命令方法、图形界面可视化导入方法

序言兴趣使然，突发奇想，想到了就写，就当打发时间了。一、使用 csv 导入数据的命令方法 csv文件路径问题，绝对路径和相对路径都可以方法1 typ

一时失言乱红尘/ 2024年03月23日 15:17/ 0 赞/ 4 阅读

相关 Tinyid分布式亿级别ID生成系统-JAVA

Hello 同学们，在GitHub发现滴滴用Java开发的一款分布式id生成系统，很实用集合了多种类型，支持多种场景，适用于中大型项目。已经测试过&发布在个人测试平台 ---

淩亂°似流年/ 2023年06月15日 09:54/ 0 赞/ 30 阅读

相关 Mysql 导入3亿数据

前言前端时间，以前的同事问我，Mysql能不能导入3亿的数据。我脑子当时翁的一下，不太确定的说应该可以导入的吧！只是导入进去以后，可能会出现查询过慢的情况。于是马上

亦凉/ 2022年10月11日 13:43/ 0 赞/ 197 阅读

相关如何生成可导入数据库的亿级别数据

1. 使用python脚本可以轻松生成满足条件的数据，具体如下 coding: utf-8 import os, sys, time, datetime

我不是女神ヾ/ 2022年09月25日 03:22/ 0 赞/ 160 阅读

相关使用 NoSQL 数据库提供云级别数据可伸缩性

探索云和 NoSQL 数据库设计基础在提及数据库扩展性时，人们就会想到相对低成本的、高性能的 NoSQL（不仅是 SQL）数据库，它包含一些非常有用的特性：水平可伸缩性、对

向右看齐/ 2022年08月24日 14:29/ 0 赞/ 213 阅读

相关亿级别---数据生成及高效率导入

引言做这件事情之前，首先对于mysql，首先需要改改mysql的默认存储路径，以免因为硬盘分区或者挂载容量的问题，导致数据插入不成功。两个解决方案： http:/

待我称王封你为后i/ 2022年07月19日 11:49/ 0 赞/ 260 阅读

相关如何设计一个数据库中间件（支持百亿级别数据存储）

如何设计一个数据库中间件（支持百亿级别数据存储）置顶 2016年05月08日 10:27:06 阅读数：12037 继《如何设计开发一个可用的w

偏执的太偏执、/ 2022年05月20日 08:06/ 0 赞/ 207 阅读

相关如何设计十亿级别数据的用户系统

想必大家都接触过数据设计，那么当系统用户达到十亿级别你会如何设计数据库进行存储呢？或者是说当你开发的系统用户量达到十亿你讲如何维护呢？当下最火的数据库就是mysql，因为开源免

╰半橙微兮°/ 2021年12月23日 15:29/ 0 赞/ 455 阅读