大数据利器2018版

电玩女神 2022-04-22 00:36 260阅读 0赞

<table> 
 <tbody> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">类别</td> 
 <td style="vertical-align:middle;width:160.5pt;">名称 （可重点关注加粗部分）</td> 
 <td style="vertical-align:middle;width:282.75pt;">官网</td> 
 <td style="vertical-align:middle;">备注</td> 
 </tr> 
 <tr> 
 <td style="text-align:left;vertical-align:middle;width:106.5pt;">查询引擎</td> 
 <td style="vertical-align:middle;width:160.5pt;">Phoenix</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://phoenix.apache.org/" rel="nofollow">https://phoenix.apache.org/</a></td> 
 <td style="vertical-align:middle;">Salesforce公司出品，Apache&nbsp;HBase之上的一个SQL中间层，完全使用Java编写</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Presto</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://prestodb.io/" rel="nofollow">http://prestodb.io/</a></td> 
 <td style="vertical-align:middle;">Facebook开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Shark</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://shark.cs.berkeley.edu/" rel="nofollow">http://shark.cs.berkeley.edu/</a></td> 
 <td style="vertical-align:middle;">Spark上的SQL执行引擎，已演化成Spark-SQL和Hive&nbsp;on&nbsp;Spark</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Pig</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://pig.apache.org/" rel="nofollow">http://pig.apache.org/</a></td> 
 <td style="vertical-align:middle;">基于Hadoop&nbsp;MapReduce的脚本语言</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Cloudera&nbsp;Impala</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://www.cloudera.com/content/cloudera/en/products-and-services/cdh/impala.html" rel="nofollow">http://www.cloudera.com/content/cloudera/en/products-and-services/cdh/impala.html</a></td> 
 <td style="vertical-align:middle;">参照Google&nbsp;Dremel实现，能运行在HDFS或HBase上，使用C++开发。Cloudera声称，基于SQL的Impala数据库是面向Apache&nbsp;Hadoop的领先的开源分析数据库。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Apache&nbsp;Drill</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://drill.apache.org/" rel="nofollow">https://drill.apache.org/</a></td> 
 <td style="vertical-align:middle;">参照Google&nbsp;Dremel实现，无主节点的实时的分布式查询引擎。兼容ANSI&nbsp;SQL（国际标准SQL语言）语法作为接口，支持对本地文件，HDFS,HIVE,&nbsp;HBASE,MongeDB作为存储的数据查询，文件格式支持Parquet、CSV、&nbsp;TSV以及JSON这种无模式无关（schema-free)的数据。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Apache&nbsp;Tajo</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://tajo.apache.org/" rel="nofollow">http://tajo.apache.org/</a></td> 
 <td style="vertical-align:middle;">一个运行在YARN上支持SQL的分布式数据仓库</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Kylin</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://kylin.apache.org/%20http://kylin.apache.org/cn/" rel="nofollow">http://kylin.apache.org/ http://kylin.apache.org/cn/</a></td> 
 <td style="vertical-align:middle;">一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay&nbsp;Inc.&nbsp;开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Hive</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://hive.apache.org/" rel="nofollow">http://hive.apache.org/</a></td> 
 <td style="vertical-align:middle;">基于Hadoop&nbsp;MapReduce的SQL查询引擎</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Calcite</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://calcite.apache.org/" rel="nofollow">https://calcite.apache.org/</a></td> 
 <td style="vertical-align:middle;">起源于Hive，源名optiq，2014年5月独立出来后更名为Calcite，一个动态数据管理框架。它将数据存储和数据处理分离出去，专注于成为配置应用与一个或者多个数据存储位置以及数据处理引擎的中间件。独立于存储与执行的SQL解析、优化引擎，广泛应用于各种离线、搜索、实时查询引擎，如Drill、Hive、Kylin、Solr、flink、Samza等。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">流式计算</td> 
 <td style="vertical-align:middle;width:160.5pt;">Facebook&nbsp;Puma</td> 
 <td style="vertical-align:middle;width:282.75pt;">&nbsp;</td> 
 <td style="vertical-align:middle;">实时数据流分析</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Twitter&nbsp;Rainbird</td> 
 <td style="vertical-align:middle;width:282.75pt;">&nbsp;</td> 
 <td style="vertical-align:middle;">分布式实时统计系统，如网站的点击统计</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Yahoo&nbsp;S4</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://incubator.apache.org/s4/" rel="nofollow">http://incubator.apache.org/s4/</a></td> 
 <td style="vertical-align:middle;">Java开发的一个通用的、分布式的、可扩展的、分区容错的、可插拔的无主架构的流式系统</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">jStrom</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/alibaba/jstorm" rel="nofollow">https://github.com/alibaba/jstorm</a></td> 
 <td style="vertical-align:middle;">阿里开源的经过优化的Java版Storm</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Flink</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://flink.apache.org/" rel="nofollow">https://flink.apache.org/</a></td> 
 <td style="vertical-align:middle;">到2018年，Flink已经很成熟了，生态也逐渐丰富，流式（实时）计算和离线计算通吃</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Twitter&nbsp;Storm</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://storm.incubator.apache.org/" rel="nofollow">http://storm.incubator.apache.org/</a></td> 
 <td style="vertical-align:middle;">使用Java和Clojure实现</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">迭代计算</td> 
 <td style="vertical-align:middle;width:160.5pt;">Apache&nbsp;Hama</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://hama.apache.org/" rel="nofollow">https://hama.apache.org/</a></td> 
 <td style="vertical-align:middle;">建立在Hadoop上基于BSP（Bulk&nbsp;Synchronous&nbsp;Parallel）的计算框架，模仿了Google的Pregel。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Apache&nbsp;Giraph</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://giraph.apache.org/" rel="nofollow">https://giraph.apache.org/</a></td> 
 <td style="vertical-align:middle;">建立在Hadoop上的可伸缩的分布式迭代图处理系统，灵感来自BSP（bulk&nbsp;synchronous&nbsp;parallel）和Google的Pregel</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">HaLoop</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://code.google.com/p/haloop/" rel="nofollow">https://code.google.com/p/haloop/</a></td> 
 <td style="vertical-align:middle;">迭代的MapReduce</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Apache&nbsp;Tez</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://tez.apache.org/" rel="nofollow">https://tez.apache.org/</a></td> 
 <td style="vertical-align:middle;">支持DAG作业的开源计算框架，它可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Twister</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://www.iterativemapreduce.org/" rel="nofollow">http://www.iterativemapreduce.org/</a></td> 
 <td style="vertical-align:middle;">迭代的MapReduce</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">图形数据库</td> 
 <td style="vertical-align:middle;width:160.5pt;">FlockDB</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/twitter-archive/flockdb" rel="nofollow">https://github.com/twitter-archive/flockdb</a></td> 
 <td style="vertical-align:middle;">推特开发的FlockDB是一种非常快、扩展性非常好的图形数据库，擅长存储社交网络数据，最近一次更新时间为2016年</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Neo4j</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://neo4j.com/" rel="nofollow">https://neo4j.com/</a></td> 
 <td style="vertical-align:middle;">基于Java的高性能的NOSQL图形数据库，它将结构化数据存储在网络上而不是表中</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">离线计算</td> 
 <td style="vertical-align:middle;width:160.5pt;">Hadoop&nbsp;MapReduce</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://hadoop.apache.org/" rel="nofollow">http://hadoop.apache.org/</a></td> 
 <td style="vertical-align:middle;">经典的大数据批处理系统</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Berkeley&nbsp;Spark</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://spark.apache.org/%20http://shark.cs.berkeley.edu/" rel="nofollow">http://spark.apache.org/ http://shark.cs.berkeley.edu/</a></td> 
 <td style="vertical-align:middle;">使用Scala语言实现，和MapReduce有较大的竞争关系，性能强于MapReduce，也可做离线计算，但是秒级的，不如Flink毫秒级的</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Flink</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://flink.apache.org/" rel="nofollow">https://flink.apache.org/</a></td> 
 <td style="vertical-align:middle;">和Spark类似的，同时适应于实时计算和离线计算</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Apache&nbsp;Ignite</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://ignite.apache.org/" rel="nofollow">http://ignite.apache.org/</a></td> 
 <td style="vertical-align:middle;">内存数据组织框架是一个高性能、集成化和分布式的内存计算和事务平台</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">DataTorrent</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://www.datatorrent.com/" rel="nofollow">http://www.datatorrent.com/</a></td> 
 <td style="vertical-align:middle;">基于Hadoop2.X构建的实时流式处理和分析平台，每秒可以处理超过10亿个实时事件</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">嵌入式DB</td> 
 <td style="vertical-align:middle;width:160.5pt;">SQLite</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://www.sqlite.org/" rel="nofollow">https://www.sqlite.org/</a></td> 
 <td style="vertical-align:middle;">经典的嵌入式SQL库</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Firebird</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://www.firebirdsql.org/" rel="nofollow">http://www.firebirdsql.org/</a></td> 
 <td style="vertical-align:middle;">从Interbase派生出来的，支持SQL，支持事务</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">对象存储</td> 
 <td style="vertical-align:middle;width:160.5pt;">Ozone</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://hadoop.apache.org/ozone/" rel="nofollow">https://hadoop.apache.org/ozone/</a></td> 
 <td style="vertical-align:middle;">2018新增的Hadoop新成员</td> 
 </tr> 
 <tr> 
 <td style="text-align:left;vertical-align:middle;width:106.5pt;">键值存储</td> 
 <td style="vertical-align:middle;width:160.5pt;">LevelDB</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://code.google.com/p/leveldb/" rel="nofollow">https://code.google.com/p/leveldb/</a></td> 
 <td style="vertical-align:middle;">Google开源的高效KV编程库，注意它只是个库</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">RocksDB</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://rocksdb.org/" rel="nofollow">http://rocksdb.org/</a></td> 
 <td style="vertical-align:middle;">Facebook开源的可嵌入式的支持持久化的key-value存储系统，基于Google的LevelDB，但提高了扩展性可以运行在多核处理器上</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">HyperDex</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://hyperdex.org/" rel="nofollow">http://hyperdex.org/</a></td> 
 <td style="vertical-align:middle;">下一代KV存储系统，支持strings、integers、floats、lists、maps和sets等丰富的数据类型</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">TokyoCabinet</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://fallabs.com/tokyocabinet/" rel="nofollow">http://fallabs.com/tokyocabinet/</a></td> 
 <td style="vertical-align:middle;">日本人Mikio&nbsp;Hirabayashi（平林干雄）开发的一款DBM数据库，注意它只是个库（大名鼎鼎的DBM数据库qdbm就是Mikio&nbsp;Hirabayashi开发的）,读写非常快</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Voldemort</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://www.project-voldemort.com/voldemort/" rel="nofollow">http://www.project-voldemort.com/voldemort/</a></td> 
 <td style="vertical-align:middle;">一个分布式键值存储系统，是Amazon&nbsp;Dynamo的一个开源克隆，LinkedIn开源</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Amazon&nbsp;Dynamo</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/dynamo/dynamo" rel="nofollow">https://github.com/dynamo/dynamo</a></td> 
 <td style="vertical-align:middle;">亚马逊的KV模式的存储平台，无主架构</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Tair</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://tair.taobao.org/" rel="nofollow">http://tair.taobao.org/</a></td> 
 <td style="vertical-align:middle;">淘宝出品的高性能、分布式、可扩展、高可靠的KV结构存储系统，专为小文件优化，并提供简单易用的接口（类似Map），Tair支持Java和C版本的客户端</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">TiKV</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/tikv/tikv" rel="nofollow">https://github.com/tikv/tikv</a></td> 
 <td style="vertical-align:middle;">Rust&nbsp;语言编写的分布式键值系统（KVS），它采用Raft协议保证数据的强一致性，同时使用MVCC+2PC的方式实现了分布式事务的支持</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Apache&nbsp;Accumulo</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://accumulo.apache.org/" rel="nofollow">https://accumulo.apache.org/</a></td> 
 <td style="vertical-align:middle;">一个可靠的、可伸缩的、高性能的排序分布式的KV存储系统，参照Google&nbsp;Bigtable而设计，建立在Hadoop、Thrift和Zookeeper之上。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Anna</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/ucbrise/anna" rel="nofollow">https://github.com/ucbrise/anna</a></td> 
 <td style="vertical-align:middle;">伯克利RISE实验室(RISE实验室的前身是赫赫有名的伯克利AMP实验室，开发了著名的Spark、Mesos、Tachyon等)推出的键值存储数据库，也是一个具备惊人的存取速度、超强的伸缩性和优秀的一致性的KVS</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Redis</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://redis.io/" rel="nofollow">http://redis.io/</a></td> 
 <td style="vertical-align:middle;">使用ANSI&nbsp;C语言编写、支持网络、可基于内存亦可持久化的日志型、单机版KV数据库。从2010年3月15日起，Redis的开发工作由VMware主持</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">表格存储</td> 
 <td style="vertical-align:middle;width:160.5pt;">OceanBase</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/alibaba/oceanbase" rel="nofollow">https://github.com/alibaba/oceanbase</a></td> 
 <td style="vertical-align:middle;">支持海量数据的高性能分布式数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Amazon&nbsp;SimpleDB</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://aws.amazon.com/cn/simpledb/" rel="nofollow">http://aws.amazon.com/cn/simpledb/</a></td> 
 <td style="vertical-align:middle;">一个可大规模伸缩、用&nbsp;Erlang&nbsp;编写的高可用数据存储</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Vertica</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://www.vertica.com/" rel="nofollow">http://www.vertica.com/</a></td> 
 <td style="vertical-align:middle;">惠普2011收购Vertica，Vertica是传统的关系型数据库，基于列存储，同时支持MPP，使用标准的SQL查询,可以和Hadoop/MapReduce进行集成</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Cassandra</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://cassandra.apache.org/" rel="nofollow">http://cassandra.apache.org/</a></td> 
 <td style="vertical-align:middle;">Hadoop成员，Facebook于2008将Cassandra开源，基于O(1)DHT的完全P2P架构</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">HyperTable</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://hypertable.org/" rel="nofollow">http://hypertable.org/</a></td> 
 <td style="vertical-align:middle;">搜索引擎公司Zvents针对Bigtable的C++开源实现</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">FoundationDB</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://foundationdb.com/" rel="nofollow">https://foundationdb.com/</a></td> 
 <td style="vertical-align:middle;">支持ACID事务处理的NoSQL数据库，提供非常好的性能、数据一致性和操作弹性</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">PaxosStore</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/Tencent/paxosstore" rel="nofollow">https://github.com/Tencent/paxosstore</a></td> 
 <td style="vertical-align:middle;">微信出品，参照Google&nbsp;MegaStore实现的分布式存储系统，广泛支撑微信在线应用，峰值过亿TPS，运行在数千台服务器上。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">MemSQL</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://www.memsql.com/" rel="nofollow">http://www.memsql.com/</a></td> 
 <td style="vertical-align:middle;">前Facebook工程师创办的，号称世界上最快的分布式关系型数据库，兼容MySQL但快30倍，能实现每秒150万次事务，原理是仅用内存并将SQL预编译为C++。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">ScyllaDB</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://www.scylladb.com/%20http://www.scylladb.cn/" rel="nofollow">https://www.scylladb.com/ http://www.scylladb.cn/</a></td> 
 <td style="vertical-align:middle;">由大神KVM之父Avi&nbsp;Kivity创建的NoSQL数据库，世界级性能领先的NoSQL列存储数据库，C++改写的Cassandra，完全兼容Apache&nbsp;Cassandra</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">HBase</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://hbase.apache.org/" rel="nofollow">http://hbase.apache.org/</a></td> 
 <td style="vertical-align:middle;">Bigtable在Hadoop中的实现，最初是Powerset公司为了处理自然语言搜索产生的海量数据而开展的项目</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">时间序列数据库 （TSDB）</td> 
 <td style="vertical-align:middle;width:160.5pt;">openTSDB</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://opentsdb.net/" rel="nofollow">http://opentsdb.net/</a></td> 
 <td style="vertical-align:middle;">基于HBase的分布式的、可伸缩的时间序列数据库，和Grafana结合使用</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">KairosDB</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://kairosdb.github.io/" rel="nofollow">https://kairosdb.github.io/</a></td> 
 <td style="vertical-align:middle;">基于Cassandra的分布式的、可伸缩的时间序列数据库</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Prometheus</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://prometheus.io/" rel="nofollow">https://prometheus.io/</a></td> 
 <td style="vertical-align:middle;">开源的服务监控系统和时序列数据库，由社交音乐平台SoundCloud在2012年开发，常和Grafana结合使用</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Druid</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://druid.io/" rel="nofollow">http://druid.io/</a></td> 
 <td style="vertical-align:middle;">注意不是阿里的Druid，开源的、快速和近实时的海量数据OLAP系统，诞生于Metamarkets，后核心人员创立了IMPLY公司开发Druid及相关产品，按时间来进行分区（Segment），并且是面向列的存储</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">RRDtool</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://oss.oetiker.ch/rrdtool/" rel="nofollow">https://oss.oetiker.ch/rrdtool/</a></td> 
 <td style="vertical-align:middle;">轮询式数据库，适合时间序列的数据</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Graphite</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://graphiteapp.org/" rel="nofollow">https://graphiteapp.org/</a></td> 
 <td style="vertical-align:middle;">时序数据库，作用是存储和聚合监控数据并绘制图标，不负责数据的收集</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Pinot</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/linkedin/pinot" rel="nofollow">https://github.com/linkedin/pinot</a></td> 
 <td style="vertical-align:middle;">来自&nbsp;Linkedin的开源的实时、分布式OLAP数据存储方案</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">InfluxDB</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/influxdata/influxdb%20https://www.influxdata.com/" rel="nofollow">https://github.com/influxdata/influxdb https://www.influxdata.com/</a></td> 
 <td style="vertical-align:middle;">开源的时序数据库，使用GO语言开发，特别适合用于处理和分析资源监控数据这种时序相关数据，但集群版本收费，和Grafana结合使用</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">文件存储</td> 
 <td style="vertical-align:middle;width:160.5pt;">CouchDB</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://couchdb.apache.org/" rel="nofollow">http://couchdb.apache.org/</a></td> 
 <td style="vertical-align:middle;">面向文档的数据存储，号称是“一款完全拥抱互联网的数据库”，它将数据存储在JSON文档中，这种文档可以通过Web浏览器来查询，并且用JavaScript来处理。它易于使用，在分布式上网络上具有高可用性和高扩展性。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">MongoDB</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://www.mongodb.org/" rel="nofollow">https://www.mongodb.org/</a></td> 
 <td style="vertical-align:middle;">C++&nbsp;语言编写的文档型数据库</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Alluxio</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://www.alluxio.org/" rel="nofollow">https://www.alluxio.org/</a></td> 
 <td style="vertical-align:middle;">原名Tachyon，2016改名为Alluxio，高容错的以内存为中心的虚拟的分布式存储系统，吞吐量要比HDFS高300多倍。加州大学伯克利分校的AMPLab基于Hadoop的核心组件开发出一个更快的版本Tachyon，它从底层重构了Hadoop平台。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">KFS</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://code.google.com/p/kosmosfs/" rel="nofollow">http://code.google.com/p/kosmosfs/</a></td> 
 <td style="vertical-align:middle;">GFS的C++开源版本</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">HDFS</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://hadoop.apache.org/" rel="nofollow">http://hadoop.apache.org/</a></td> 
 <td style="vertical-align:middle;">GFS在Hadoop中的实现</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">资源管理</td> 
 <td style="vertical-align:middle;width:160.5pt;">Twitter&nbsp;Mesos</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://mesos.apache.org/" rel="nofollow">http://mesos.apache.org/</a></td> 
 <td style="vertical-align:middle;">开源分布式资源管理框架，它被称为是分布式系统的内核。最初是由加州大学伯克利分校的AMPLab开发的，后在Twitter得到广泛使用。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Hadoop&nbsp;Yarn</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://hadoop.apache.org/" rel="nofollow">http://hadoop.apache.org/</a></td> 
 <td style="vertical-align:middle;">类似于Mesos</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">日志收集系统</td> 
 <td style="vertical-align:middle;width:160.5pt;">Facebook&nbsp;Scribe</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/facebook/scribe" rel="nofollow">https://github.com/facebook/scribe</a></td> 
 <td style="vertical-align:middle;">Facebook开源的日志收集系统，能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理，常与Hadoop结合使用，Scribe用于向HDFS中Push日志</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Cloudera&nbsp;Flume</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://flume.apache.org/" rel="nofollow">http://flume.apache.org/</a></td> 
 <td style="vertical-align:middle;">Cloudera提供的日志收集系统，支持对日志的实时性收集</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Logstash</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://www.logstash.net/" rel="nofollow">http://www.logstash.net/</a></td> 
 <td style="vertical-align:middle;">日志管理、分析和传输工具，可配合kibana、ElasticSearch组建成日志查询系统</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Kibana</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://www.elasticsearch.org/overview/kibana/" rel="nofollow">http://www.elasticsearch.org/overview/kibana/</a></td> 
 <td style="vertical-align:middle;">为日志提供友好的Web查询页面</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">消息系统</td> 
 <td style="vertical-align:middle;width:160.5pt;">StormMQ</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://stormmq.com/" rel="nofollow">http://stormmq.com/</a></td> 
 <td style="vertical-align:middle;">基于netty的消息队列，Java语言开发</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">RocketMQ</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://rocketmq.apache.org/" rel="nofollow">https://rocketmq.apache.org/</a></td> 
 <td style="vertical-align:middle;">阿里开源的类似于Kafka的分布式消息队列</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">ZeroMQ</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://zeromq.org/" rel="nofollow">http://zeromq.org/</a></td> 
 <td style="vertical-align:middle;">很底层的高性能网络库</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">RabbitMQ</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://www.rabbitmq.com/" rel="nofollow">https://www.rabbitmq.com/</a></td> 
 <td style="vertical-align:middle;">在AMQP基础上完整的，可复用的企业消息系统</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Apache&nbsp;ActiveMQ</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://activemq.apache.org/" rel="nofollow">http://activemq.apache.org/</a></td> 
 <td style="vertical-align:middle;">能力强劲的开源消息总线</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">PhxQueue</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/Tencent/phxqueue" rel="nofollow">https://github.com/Tencent/phxqueue</a></td> 
 <td style="vertical-align:middle;">微信开源的一款基于Paxos协议实现的高可用、高吞吐和高可靠的分布式队列，保证At-Least-Once&nbsp;Delivery。在微信内部广泛支持微信支付、公众平台等多个重要业务。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Jafka</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/adyliu/jafka" rel="nofollow">https://github.com/adyliu/jafka</a></td> 
 <td style="vertical-align:middle;">Java版本开源的、高性能的跨语言Kafka，最早是由Apache孵化的Kafka（由LinkedIn捐助给Apache）克隆而来</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Pulsar</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://pulsar.apache.org/" rel="nofollow">https://pulsar.apache.org/</a></td> 
 <td style="vertical-align:middle;">由雅虎开发并开源的下一代消息系统，Kafka的竞品</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Apache&nbsp;Kafka</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://kafka.apache.org/" rel="nofollow">http://kafka.apache.org/</a></td> 
 <td style="vertical-align:middle;">Linkedin于2010年12月份开源的分布式消息系统，它主要用于处理活跃的流式数据，由Scala写成</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">分布式服务</td> 
 <td style="vertical-align:middle;width:160.5pt;">ZooKeeper</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://zookeeper.apache.org/" rel="nofollow">http://zookeeper.apache.org/</a></td> 
 <td style="vertical-align:middle;">分布式锁服务，PoxOS算法的实现，对应Google的Chubby</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">rethinkdb</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/rethinkdb/rethinkdb" rel="nofollow">https://github.com/rethinkdb/rethinkdb</a></td> 
 <td style="vertical-align:middle;">&nbsp;设计用来存储&nbsp;JSON&nbsp;文档的分布式数据库，可通过简单操作实现多机分布式存储。支持表的联合和分组查询。&nbsp;特点：&nbsp;简单编程模型&nbsp;JSON&nbsp;数据模型和一致性&nbsp;分布式联合查询、子查询、聚合查询和原子更新操作&nbsp;Hadoop&nbsp;风格的&nbsp;map/reduce</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Nacos</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/alibaba/nacos" rel="nofollow">https://github.com/alibaba/nacos</a></td> 
 <td style="vertical-align:middle;">阿里开源的一个更易于构建云原生应用的动态服务发现、配置和服务管理平台</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">PhxPaxos</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/tencent-wechat/phxpaxos" rel="nofollow">https://github.com/tencent-wechat/phxpaxos</a></td> 
 <td style="vertical-align:middle;">微信后台团队自主研发的一套基于Paxos协议的多机状态拷贝类库。它以库函数的方式嵌入到开发者的代码当中，&nbsp;使得一些单机状态服务可以扩展到多机器，从而获得强一致性的多副本以及自动容灾的特性。&nbsp;这个类库在微信服务里面经过一系列的工程验证，并且我们对它进行过大量的恶劣环境下的测试，使其在一致性的保证上更为健壮。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">QJM</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://hadoop.apache.org/" rel="nofollow">http://hadoop.apache.org/</a></td> 
 <td style="vertical-align:middle;">Hadoop内置的JournalNode，用于NameNode元数据容灾，存储NameNode元数据日志，节点间的数据同步可以考虑</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Bookeeper</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://bookkeeper.apache.org/" rel="nofollow">https://bookkeeper.apache.org/</a></td> 
 <td style="vertical-align:middle;">和JournalNode类似</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">etcd</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/coreos/etcd" rel="nofollow">https://github.com/coreos/etcd</a></td> 
 <td style="vertical-align:middle;">一个高可用的键值存储系统，主要用于共享配置和服务发现。etcd是由CoreOS开发并维护的，灵感来自于&nbsp;ZooKeeper&nbsp;和&nbsp;Doozer，它使用Go语言编写，并通过Raft一致性算法处理日志复制以保证强一致性。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">RPC</td> 
 <td style="vertical-align:middle;width:160.5pt;">Apache&nbsp;Avro</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://avro.apache.org/" rel="nofollow">http://avro.apache.org/</a></td> 
 <td style="vertical-align:middle;">Hadoop中的RPC</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">PhxRPC</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/tencent-wechat/phxrpc" rel="nofollow">https://github.com/tencent-wechat/phxrpc</a></td> 
 <td style="vertical-align:middle;">微信后台团队推出的一个非常简洁小巧的基于Protobuf的RPC框架（实现语言为C++），编译生成的库只有450K</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">sofa-pbrpc</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/baidu/sofa-pbrpc" rel="nofollow">https://github.com/baidu/sofa-pbrpc</a></td> 
 <td style="vertical-align:middle;">百度开源的，基于Protobuf的C++实现的RPC</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Dubbo</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://dubbo.incubator.apache.org" rel="nofollow">https://dubbo.incubator.apache.org</a></td> 
 <td style="vertical-align:middle;">阿里开源的RPC，实现语言为Java</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">gRPC</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://www.grpc.io/%20https://github.com/grpc/grpc" rel="nofollow">http://www.grpc.io/ https://github.com/grpc/grpc</a></td> 
 <td style="vertical-align:middle;">一个高性能、通用的开源RPC框架，其由Google主要面向移动应用开发并基于HTTP/2协议标准而设计，基于ProtoBuf(Protocol&nbsp;Buffers)序列化协议开发，且支持众多开发语言。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Finagle</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://twitter.github.io/finagle/" rel="nofollow">https://twitter.github.io/finagle/</a></td> 
 <td style="vertical-align:middle;">Twitter基于Netty开发的支持容错的、协议无关的RPC框架</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Thrift</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://thrift.apache.org/" rel="nofollow">http://thrift.apache.org/</a></td> 
 <td style="vertical-align:middle;">RPC，支持C++/Java/PHP等众多语言</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">集群管理</td> 
 <td style="vertical-align:middle;width:160.5pt;">Nagios</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://www.nagios.org/" rel="nofollow">http://www.nagios.org/</a></td> 
 <td style="vertical-align:middle;">监视系统运行状态和网络信息的监视系统</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">CDAP</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/caskdata/cdap" rel="nofollow">https://github.com/caskdata/cdap</a></td> 
 <td style="vertical-align:middle;">CAST&nbsp;DATA&nbsp;APPLICATION&nbsp;PLATFORM，开源的大数据应用统一集平台，帮助应用开发者和系统管理员基于Hadoop技术栈来构建、测试、部署、管理数据应用程序，由Datasets、Programs、&nbsp;Services、Tools等组件组成。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Hue</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://gethue.com/" rel="nofollow">http://gethue.com/</a></td> 
 <td style="vertical-align:middle;">开源的Apache&nbsp;Hadoop&nbsp;UI系统，由Cloudera&nbsp;Desktop演化而来</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Ganglia</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://ganglia.sourceforge.net/" rel="nofollow">http://ganglia.sourceforge.net/</a></td> 
 <td style="vertical-align:middle;">UC&nbsp;Berkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Ranger</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://hortonworks.com/apache/ranger/" rel="nofollow">https://hortonworks.com/apache/ranger/</a></td> 
 <td style="vertical-align:middle;">一个集中式安全管理框架,它可以对Hadoop生态的组件如Hive、Hbase进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问HDFS文件夹、HDFS文件、数据库、表、字段权限。这些策略可以为不同的用户和组来设置，同时权限可与hadoop无缝对接。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Kafka&nbsp;Manager</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/yahoo/kafka-manager" rel="nofollow">https://github.com/yahoo/kafka-manager</a></td> 
 <td style="vertical-align:middle;">Web可视化Kafka管理软件</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">osquery</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://osquery.io/" rel="nofollow">https://osquery.io/</a></td> 
 <td style="vertical-align:middle;">Facebook开源的一个SQL驱动操作系统检测和分析工具，支持像SQL语句一样查询系统的各项指标，可以用于OSX和Linux操作系统，它使得底层操作系统分析和监控性能更加直观</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Apache&nbsp;Ambari</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://ambari.apache.org/" rel="nofollow">http://ambari.apache.org/</a></td> 
 <td style="vertical-align:middle;">一种基于Web的工具，支持Apache&nbsp;Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、&nbsp;Hbase、Zookeeper、Sqoop和Hcatalog等。Apache&nbsp;Ambari&nbsp;支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">基础设施</td> 
 <td style="vertical-align:middle;width:160.5pt;">SSTable</td> 
 <td style="vertical-align:middle;width:282.75pt;">&nbsp;</td> 
 <td style="vertical-align:middle;">源于Google，orted&nbsp;String&nbsp;Table</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">RecordIO</td> 
 <td style="vertical-align:middle;width:282.75pt;">&nbsp;</td> 
 <td style="vertical-align:middle;">源于Google</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Flat&nbsp;Buffers</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/google/flatbuffers" rel="nofollow">https://github.com/google/flatbuffers</a></td> 
 <td style="vertical-align:middle;">针对游戏开发的，高效的跨平台序列化库，相比Proto&nbsp;Buffers开销更小，因为Flat&nbsp;Buffers没有解析过程</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Protocol&nbsp;Buffers</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://code.google.com/p/protobuf/" rel="nofollow">http://code.google.com/p/protobuf/</a></td> 
 <td style="vertical-align:middle;">Google公司开发的一种数据描述语言，类似于XML能够将结构化数据序列化，可用于数据存储、通信协议等方面。它不依赖于语言和平台并且可扩展性极强。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Consistent&nbsp;Hashing</td> 
 <td style="vertical-align:middle;width:282.75pt;">&nbsp;</td> 
 <td style="vertical-align:middle;">1997年由麻省理工学院提出,目标是为了解决因特网中的热点（Hot&nbsp;spot）问题，初衷和CARP十分类似，基本解决了在P2P环境中最为关键的问题——如何在动态的网络拓扑中分布存储和路由。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Netty</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://netty.io/" rel="nofollow">http://netty.io/</a></td> 
 <td style="vertical-align:middle;">JBOSS提供的一个java开源框架，提供异步的、事件驱动的网络应用程序框架，用以快速开发高性能、高可靠性的网络服务器和客户端程序。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Seastar</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://seastar.io/" rel="nofollow">http://seastar.io/</a></td> 
 <td style="vertical-align:middle;">现代硬件上的高性能C++异步框架，Scylla完全基于Seastar库，KVM之父Avi&nbsp;Kivity大神创建</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Proxygen</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/facebook/proxygen" rel="nofollow">https://github.com/facebook/proxygen</a></td> 
 <td style="vertical-align:middle;">Facebook开源的支持SPDY&nbsp;3.1的HTTP框架</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">libPhenom</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/facebook/libphenom" rel="nofollow">https://github.com/facebook/libphenom</a></td> 
 <td style="vertical-align:middle;">Facebook发布的一个C语言事件框架，用于构建高性能和高可扩展的系统。支持多线程、提供内存管理和常用数据结构、json处理。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">BloomFilter</td> 
 <td style="vertical-align:middle;width:282.75pt;">&nbsp;</td> 
 <td style="vertical-align:middle;">布隆过滤器，1970年由布隆提出，是一个很长的二进制矢量和一系列随机映射函数，可以用于检索一个元素是否在一个集合中，优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">搜索引擎</td> 
 <td style="vertical-align:middle;width:160.5pt;">Nutch</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://nutch.apache.org/" rel="nofollow">https://nutch.apache.org/</a></td> 
 <td style="vertical-align:middle;">开源Java&nbsp;实现的搜索引擎，诞生Hadoop的地方。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Lucene</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://lucene.apache.org/" rel="nofollow">http://lucene.apache.org/</a></td> 
 <td style="vertical-align:middle;">一套信息检索工具包，但并不包含搜索引擎系统，它包含了索引结构、读写索引工具、相关性工具、排序等功能。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">SolrCloud</td> 
 <td style="vertical-align:middle;width:282.75pt;">&nbsp;</td> 
 <td style="vertical-align:middle;">基于Solr和Zookeeper的分布式搜索，&nbsp;Solr4.0&nbsp;的核心组件之一，主要思想是使用&nbsp;Zookeeper&nbsp;作为集群的配置信息中心</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Solr</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://lucene.apache.org/solr/" rel="nofollow">https://lucene.apache.org/solr/</a></td> 
 <td style="vertical-align:middle;">Solr是基于Lucene的搜索。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">ElasticSearch</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://www.elasticsearch.org/%20http://www.elasticsearch.cn/" rel="nofollow">http://www.elasticsearch.org/ http://www.elasticsearch.cn/</a></td> 
 <td style="vertical-align:middle;">开源的（Apache2协议），分布式的，RESTful的，构建在Apache&nbsp;Lucene之上的的搜索引擎。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Sphinx</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://sphinxsearch.com" rel="nofollow">http://sphinxsearch.com</a></td> 
 <td style="vertical-align:middle;">一个基于SQL的全文检索引擎，可结合MySQL、PostgreSQL做全文检索，可提供比数据库本身更专业的搜索功能，单一索引可达1亿条记录，1000万条记录情况下的查询速度为0.x秒（毫秒级）。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">SenseiDB</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://senseidb.com" rel="nofollow">http://senseidb.com</a></td> 
 <td style="vertical-align:middle;">Linkin公司开发的一个开源分布式实时半结构化数据库，在全文索引的基础封装了Browse&nbsp;Query&nbsp;Language&nbsp;(BQL，类似SQL)的查询语法。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">数据挖掘</td> 
 <td style="vertical-align:middle;width:160.5pt;">Mahout</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://mahout.apache.org/" rel="nofollow">http://mahout.apache.org/</a></td> 
 <td style="vertical-align:middle;">Hadoop成员，目标是建立一个可扩展的机器学习库</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">Iaas</td> 
 <td style="vertical-align:middle;width:160.5pt;">OpenStack</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://www.openstack.org/" rel="nofollow">https://www.openstack.org/</a></td> 
 <td style="vertical-align:middle;">美国国家航空航天局和Rackspace合作研发的，以Apache许可证授权云平台管理的项目，它不是一个软件。这个项目由几个主要的组件组合起来完成一些具体的工作，旨在为公共及私有云的建设与管理提供软件的开源项目。6个核心项目：Nova（计算，Compute），Swift（对象存储，Object），Glance（镜像，Image），Keystone（身份，Identity），Horizon（自助门户，Dashboard），Quantum&nbsp;&amp;&nbsp;Melange（网络&amp;地址管理），另外还有若干社区项目，如Rackspace（负载均衡）、Rackspace（关系型数据库）。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Docker</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://www.docker.io/" rel="nofollow">http://www.docker.io/</a></td> 
 <td style="vertical-align:middle;">应用容器引擎，让开发者可打包应用及依赖包到一个可移植的容器中，然后发布到Linux机器上，也可实现虚拟化。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Kubernetes</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/GoogleCloudPlatform/kubernetes/" rel="nofollow">https://github.com/GoogleCloudPlatform/kubernetes/</a></td> 
 <td style="vertical-align:middle;">由Google开源的，Docker编写的容器编排引擎，支持自动化部署、大规模可伸缩、应用容器化管理。支持公有云，私有云，混合云，多重云。简称K8s，是用8代替8个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。ETCD是Kubernetes提供默认的存储系统，保存所有集群数据。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Imctfy</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/google/Imctfy/" rel="nofollow">https://github.com/google/Imctfy/</a></td> 
 <td style="vertical-align:middle;">Google开源的Linux容器</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">关系数据库</td> 
 <td style="vertical-align:middle;width:160.5pt;">PhxSQL</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/tencent-wechat/phxsql" rel="nofollow">https://github.com/tencent-wechat/phxsql</a></td> 
 <td style="vertical-align:middle;">微信开源的基于MySQL的强一致高可用分布式数据库</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">TiDB</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/pingcap/tidb" rel="nofollow">https://github.com/pingcap/tidb</a></td> 
 <td style="vertical-align:middle;">TiDB&nbsp;是&nbsp;PingCAP&nbsp;公司受&nbsp;Google&nbsp;Spanner&nbsp;/&nbsp;F1&nbsp;论文启发而设计的开源分布式&nbsp;HTAP&nbsp;(Hybrid&nbsp;Transactional&nbsp;and&nbsp;Analytical&nbsp;Processing)&nbsp;数据库，目标是为&nbsp;OLTP(Online&nbsp;Transactional&nbsp;Processing)&nbsp;和&nbsp;OLAP&nbsp;(Online&nbsp;Analytical&nbsp;Processing)&nbsp;场景提供一站式的解决方案。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">机器学习</td> 
 <td style="vertical-align:middle;width:160.5pt;">TensorFlow</td> 
 <td style="vertical-align:middle;width:282.75pt;">https://www.tensorflow.org https://www.tensorflow.org/?hl=zh-cn</td> 
 <td style="vertical-align:middle;">最初是由&nbsp;Google&nbsp;Brain&nbsp;团队（隶属于&nbsp;Google&nbsp;的&nbsp;AI&nbsp;部门）中的研究人员和工程师开发的，可为机器学习和深度学习提供强力支持，并且其灵活的数值计算核心广泛应用于许多其他科学领域。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Sonnect</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/deepmind/sonnet" rel="nofollow">https://github.com/deepmind/sonnet</a></td> 
 <td style="vertical-align:middle;">基于TensorFlow的神经网络库</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Facets</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://pair-code.github.io/facets/" rel="nofollow">https://pair-code.github.io/facets/</a></td> 
 <td style="vertical-align:middle;">谷歌开源机器学习可视化工具</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Kubeflow</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/kubeflow/kubeflow" rel="nofollow">https://github.com/kubeflow/kubeflow</a></td> 
 <td style="vertical-align:middle;">让Kubernetes集群具备机器学习能力，致力于在&nbsp;Kubernetes&nbsp;上让&nbsp;ML（Machine&nbsp;Learning）堆栈变得简单、快速、可扩展</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">OpenFermion</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/quantumlib/OpenFermion" rel="nofollow">https://github.com/quantumlib/OpenFermion</a></td> 
 <td style="vertical-align:middle;">Google开源量子计算软件</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">TonY</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/linkedin/TonY" rel="nofollow">https://github.com/linkedin/TonY</a></td> 
 <td style="vertical-align:middle;">LinkedIn开发的在Hadoop上自然运行TensorFlow的框架，核心理念是像MapReduce和Spark一样，使TensorFlow可以在Hadoop上以可靠、灵活的方式运行</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">TensorFlow&nbsp;Fold</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/tensorflow/fold" rel="nofollow">https://github.com/tensorflow/fold</a></td> 
 <td style="vertical-align:middle;">深度学习动态计算图工具</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">微服务</td> 
 <td style="vertical-align:middle;width:160.5pt;">helidon</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/oracle/helidon" rel="nofollow">https://github.com/oracle/helidon</a></td> 
 <td style="vertical-align:middle;">Oracle推出的轻量级Java微服务框架</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Lstio</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://istio.io/" rel="nofollow">https://istio.io/</a></td> 
 <td style="vertical-align:middle;">谷歌，IBM和Lyft开源大型微服务系统管理工具</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">协程</td> 
 <td style="vertical-align:middle;width:160.5pt;">libco</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/Tencent/libco" rel="nofollow">https://github.com/Tencent/libco</a></td> 
 <td style="vertical-align:middle;">微信后台大规模使用的c/c++协程库，2013年至今稳定运行在微信后台的数万台机器上。无需侵入业务逻辑，把多进程、多线程服务改造成协程服务，并发能力得到百倍提升。支持CGI框架，轻松构建web服务。使用hook技术让链接进程序的同步的第三方库变为异步调用，大大提升其性能。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">libgo</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/yyzybb537/libgo" rel="nofollow">https://github.com/yyzybb537/libgo</a></td> 
 <td style="vertical-align:middle;">使用C++11编写的协作式调度的stackful协程库,&nbsp;同时也是一个强大易用的并行编程库。提供golang一般功能强大协程，基于corontine编写代码，可以以同步的方式编写简单的代码，同时获得异步的性能。支持海量协程,&nbsp;创建100万个协程只需使用4.5GB物理内存。使用hook技术让链接进程序的同步的第三方库变为异步调用，大大提升其性能。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">libtask</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://swtch.com/libtask/" rel="nofollow">https://swtch.com/libtask/</a></td> 
 <td style="vertical-align:middle;">C实现的协程库,&nbsp;通过一两千行代码就实现了协程调度、延迟调度以及Channel的功能</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">state-threads</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://sourceforge.net/projects/state-threads/" rel="nofollow">https://sourceforge.net/projects/state-threads/</a></td> 
 <td style="vertical-align:middle;">一个基于setjmp/longjmp实现的C语言版用户线程库或协程库（user&nbsp;level&nbsp;thread）</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Protothreads</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="http://dunkels.com/adam/pt/" rel="nofollow">http://dunkels.com/adam/pt/</a></td> 
 <td style="vertical-align:middle;">“蝇量级”的协程库，针对C语言封装后的宏函数库，为C语言模拟了一种无堆栈的轻量线程环境，能够实现模拟线程的条件阻塞、信号量操作等操作系统中特有的机制，从而使程序实现多线程操作。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:106.5pt;">编程语言</td> 
 <td style="vertical-align:middle;width:160.5pt;">Kotlin</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://kotlinlang.org/" rel="nofollow">https://kotlinlang.org/</a></td> 
 <td style="vertical-align:middle;">现代多平台应用的静态编程语言，由JetBrains（Java&nbsp;IDE&nbsp;IntelliJ的提供商）开发。可以编译成Java字节码，也可以编译成JavaScript，方便在没有JVM的设备上运行，为Android官方支持开发语言。比Java更安全，能够静态检测常见的陷阱，被称之为Android世界的Swift。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Julia</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://julialang.org/" rel="nofollow">https://julialang.org/</a></td> 
 <td style="vertical-align:middle;">集Python、C++和R为一体，面向科学计算的高性能动态高级程序设计语言，可用于天文图像分析、自动驾驶汽车、机器人、3D打印、精准医疗、增强现实、基因组学、风险管理等，主要应用于数据可视化、通用计算、数据科学、机器学习、科学领域、并行计算六大领域。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Rockstar</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://github.com/dylanbeattie/rockstar" rel="nofollow">https://github.com/dylanbeattie/rockstar</a></td> 
 <td style="vertical-align:middle;">图灵完备的能写出诗歌般代码的动态编程语言，用它写下的不仅仅是一行行可执行的代码，还是一首青春的赞美语——就像是它的名字一样，摇滚明星。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Rust</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://www.rust-lang.org" rel="nofollow">https://www.rust-lang.org</a></td> 
 <td style="vertical-align:middle;">由Mozilla研究室主导开发的一门现代系统编程语言，Rust是一种系统编程语言，它有着惊人的运行速度，能够防止段错误，并保证线程安全。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Scala</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://www.scala-lang.org/" rel="nofollow">https://www.scala-lang.org/</a></td> 
 <td style="vertical-align:middle;">典型作品：Kafka，运行在JVM上的多范式的类Java编程语言，集成面向对象编程和函数式编程的各种特性。</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">Clojure</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://clojure.org/" rel="nofollow">https://clojure.org/</a></td> 
 <td style="vertical-align:middle;">典型作品：Storm，运行在JVM上的动态函数式编程语言，语法接近于LISP语言，Lisp是一种以表达性和功能强大著称的编程语言</td> 
 </tr> 
 <tr> 
 <td style="vertical-align:middle;width:160.5pt;">GO</td> 
 <td style="vertical-align:middle;width:282.75pt;"><a href="https://golang.org/" rel="nofollow">https://golang.org/</a></td> 
 <td style="vertical-align:middle;">典型作品：Docker、Kubernetes</td> 
 </tr> 
 </tbody> 
</table>