百万级别数据，数据库Mysql，Mongodb，Hbase如何选择？

野性酷女 2022-07-25 15:43 158阅读 0赞

情况说明：

现在需要做一个数据存储，500w左右的数据，日后每天大约产生5w条左右的数据。想把这些数据存储起来，供日后的数据分析用？使用上面说的三种数据库中的哪中比较好？是否有必要建立集群？

个人看法是：从长远角度看，由于单台机器的性能瓶颈，后期肯定要做集群，单纯的做复制最终也无法缓解单台master上读的负担。因此，使用mysql的话会使用cluser。但是了解到mysql的cluser要用好的化还要做负载均衡，而mysql的均衡器是第三方的，无法很好的与mysql整合。使用mongodb的自动分片集群能很好的解决这个问题，而且它的读写性能也快。Hbase提供了大数据存储的解决方案。

回到我问题，最终是要在大数据的基础上做数据分析，虽然mongodb也能与Mapreduce整合，但想必Hbase做这一块会更有优势。

我们的需求是做一个数据仓库，不是线上数据，即是OLAP。数据来源是很多的线上数据库（我们用的是mysql），每隔一段时间会同步数据过来（大概是几天的样子）。这些数据将用于日后的数据分析。因此，对实时性要求不是很高。

答案：

百万级的数据，无论侧重OLTP还是OLAP，当然就是MySql了。

过亿级的数据，侧重OLTP可以继续Mysql，侧重OLAP，就要分场景考虑了。

实时计算场景：强调实时性，常用于实时性要求较高的地方，可以选择Storm;

批处理计算场景：强调批处理，常用于数据挖掘、分析，可以选择Hadoop;

实时查询场景：强调查询实时响应，常用于把DB里的数据转化索引文件，通过搜索引擎来查询，可以选择solr/elasticsearch;

企业级ODS/EDW/数据集市场景：强调基于关系性数据库的大数据实时分析，常用于业务数据集成，可以选择Greenplum；

数据库系统一般分为两种类型：

一种是面向前台应用的，应用比较简单，但是重吞吐和高并发的OLTP类型；

一种是重计算的，对大数据集进行统计分析的OLAP类型。

传统数据库侧重交易处理，即OLTP，关注的是多用户的同时的双向操作，在保障即时性的要求下，系统通过内存来处理数据的分配、读写等操作，存在IO瓶颈。

OLTP（On-Line Transaction Processing，联机事务处理）系统也称为生产系统，它是事件驱动的、面向应用的，比如电子商务网站的交易系统就是一个典型的OLTP系统。OLTP的基本特点是：

数据在系统中产生；

基于交易的处理系统（Transaction-Based）；

每次交易牵涉的数据量很小；

对响应时间要求非常高；

用户数量非常庞大，主要是操作人员；

数据库的各种操作主要基于索引进行。

分析型数据库是以实时多维分析技术作为基础，即侧重OLAP，对数据进行多角度的模拟和归纳，从而得出数据中所包含的信息和知识。

OLAP（On-Line Analytical Processing，联机分析处理）是基于数据仓库的信息分析处理过程，是数据仓库的用户接口部分。OLAP系统是跨部门的、面向主题的，其基本特点是：

本身不产生数据，其基础数据来源于生产系统中的操作数据（OperationalData）；

基于查询的分析系统；

复杂查询经常使用多表联结、全表扫描等，牵涉的数据量往往十分庞大；

响应时间与具体查询有很大关系；

用户数量相对较小，其用户主要是业务人员与管理人员；

发表评论取消回复

表情：

评论列表（有 0 条评论，158人围观）

还没有评论，来说两句吧...

相关阅读

相关如何处理十万级别的数据信息？

导读：本次分享将从以下几个方面进行分享，首先讲一下我们目前所做的工作，目前平台架构是怎么样的，第二个是大量日志情况下如何收集，第三个涉及百亿数据后如何快速存储以及快速查询，第四

Love The Way You Lie/ 2024年04月07日 16:09/ 0 赞/ 100 阅读

相关如何处理百亿级别的数据信息

导读：本次分享将从以下几个方面进行分享，首先讲一下我们目前所做的工作，目前平台架构是怎么样的，第二个是大量日志情况下如何收集，第三个涉及百亿数据后如何快速存储以及快速查询，第四

本是古典何须时尚/ 2024年04月06日 13:01/ 0 赞/ 91 阅读

相关 Redis 单节点百万级别数据读取性能测试.

个人博客网：[https://wushaopei.github.io/][https_wushaopei.github.io] (你想要这里多有) 这里先进行造数据，向

亦凉/ 2023年06月30日 15:00/ 0 赞/ 290 阅读

相关如何把百万级别的订单根据金额排序

前面「码哥字节」介绍了一些[经典排序算法][Link 1]，它们的时间复杂度最好是 O(nlogn)，那如何把百万级别的订单根据金额排序？是不是觉得可以按照之前学的归并排序、

￡神魔★判官ぃ/ 2022年11月01日 04:21/ 0 赞/ 191 阅读

相关百万级别数据，数据库Mysql，Mongodb，Hbase如何选择？

情况说明：现在需要做一个数据存储，500w左右的数据，日后每天大约产生5w条左右的数据。想把这些数据存储起来，供日后的数据分析用？使用上面说的三种数据库中的哪中比较好？是否

野性酷女/ 2022年07月25日 15:43/ 0 赞/ 159 阅读

相关 JAVA使用POI如何导出百万级别数据

用过POI的人都知道，在POI以前的版本中并不支持大数据量的处理，如果数据量过多还会常报OOM错误，这时候调整JVM的配置参数也不是一个好对策（注：jdk在32位系统中支持的内

柔光的暖阳◎/ 2022年07月15日 12:44/ 0 赞/ 192 阅读

相关如何生成每秒百万级别的 HTTP 请求

第一篇：《[如何生成每秒百万级别的 HTTP 请求？][HTTP]》第二篇：《[为最佳性能调优 Nginx][Nginx]》第三篇：《[用 LVS 搭建一

野性酷女/ 2022年06月13日 07:54/ 0 赞/ 197 阅读

相关 JAVA使用POI如何导出百万级别数据

用过POI的人都知道，在POI以前的版本中并不支持大数据量的处理，如果数据量过多还会常报OOM错误，这时候调整JVM的配置参数也不是一个好对策（注：jdk在32位系统中支持

矫情吗；*/ 2022年05月30日 00:42/ 0 赞/ 207 阅读

相关 JAVA使用POI如何导出百万级别数据

用过POI的人都知道，在POI以前的版本中并不支持大数据量的处理，如果数据量过多还会常报OOM错误，这时候调整JVM的配置参数也不是一个好对策（注：jdk在32位系统中支持的

怼烎@/ 2022年05月29日 09:10/ 0 赞/ 302 阅读

相关如何设计一个数据库中间件（支持百亿级别数据存储）

如何设计一个数据库中间件（支持百亿级别数据存储）置顶 2016年05月08日 10:27:06 阅读数：12037 继《如何设计开发一个可用的w

偏执的太偏执、/ 2022年05月20日 08:06/ 0 赞/ 191 阅读