Hazelcast 介绍与使用(整理)

不念不忘少年蓝@ 2023-06-06 10:51 79阅读 0赞

要用到 Hazelcast 这个东西用作分布式缓存, 网上搜索了下发现这篇文章对我理解 Hazelcast 那种无主从之分, 避免了单点故障很有帮助, Hazelcast 的数据分布方式很有点像磁盘阵列 RAID 1, RAID0+1 的影子. 基本上在一个节点出现故障的情况下是不会影响数据访问的.

下面这个系列讲的很详细:

1.  **[Hazelcast集群服务(1)——Hazelcast介绍][Hazelcast_1_Hazelcast]**
2.  **[Hazelcast集群服务(2)——Hazelcast基本配置][Hazelcast_2_Hazelcast]**
3.  **[Hazelcast集群服务(3)——集群功能详解][Hazelcast_3]**
4.  **[Hazelcast集群服务(4)——分布式Map][Hazelcast_4_Map]**

--------------------

Hazelcast 是一个开源的可嵌入式数据网格（社区版免费，企业版收费）。你可以把它看做是内存数据库，不过它与 Redis 等内存数据库又有些不同。项目地址：[http://hazelcast.org/][http_hazelcast.org]

Hazelcast 使得 Java 程序员更容易开发分布式计算系统，提供了很多 Java 接口的分布式实现，如：Map, Queue, Topic, ExecutorService, Lock, 以及 JCache 等。它以一个 JAR 包的形式提供服务，只依赖于 Java，并且提供 Java, C/C++, .NET 以及 REST 客户端，因此十分容易使用。

## 如何存储数据 ##

Hazelcast 服务之间是端对端的，没有主从之分，因此也不存在单点故障。集群中所有的节点都存储等量的数据以及进行等量的计算。

Hazelcast 缺省情况下把数据分为 271 个区。这个值可配置于系统属性* `hazelcast.partition.count。`* 对于一个给定的键，在经过序列号、哈希并对分区总数取模之后能得到此键对应的分区号。所有的分区等量的分布与集群中所有的节点中，每个分区对应的备份也同样分布在集群中。

下例是拥有2个节点的 Hazelcast 集群：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYW5nYmI4Njg2_size_16_color_FFFFFF_t_70][]

黑色字体表示分区，蓝色字体表示备份。节点1存储了1到135分区，这些分区同时备份在节点2中。节点2存储了136到271分区，并备份在节点1中。

此时如果添加2个节点到集群中，Hazelcast 一个一个的移动分区和备份到新的节点，使得集群数据分布平衡。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYW5nYmI4Njg2_size_16_color_FFFFFF_t_70 1][]

注意实际中分区并不是有顺序的分布，而是随机分布，上面的示例只是为了方便理解。重要的是理解 Hazelcast 平均分布分区以及备份。

Hazelcast 使用哈希算法进行数据分区。对于一个给定的键（如Map）或者对象名称（如topic和list）：

*  序列化此键或对象名称，得到一个byte数组。
 *  对byte数组进行哈希。 
 *  取模后的值即为分区号。

每个节点维护一个分区表，存储着分区号与节点之间的对应关系。这样每个节点都知道如何获取数据。

## 重分区 ##

集群中最老的节点（或者说最先启动）负责定时发送分区表到其他节点。这样如果有节点加入或者离开集群，所有的节点也能更新分区表。

***注意:*** *如果最老的节点挂了，次老节点会接手这个任务。*

这个定时任务时间间隔可配置系统属性 `hazelcast.partition.table.send.interval。` 缺省值为15秒。

重分区发生在：

*  节点加入集群。
 *  节点离开集群。

此时最老节点会更新分区表，分发，接着集群开始移动分区，或者从备份恢复分区。

## 使用方式 ##

有两种方式：嵌入式和客户端服务器。

*  嵌入式，Hazelcast 服务器的 jar 包被导入宿主应用程序，服务器启动并存在于各个宿主应用中。优点是可以更低延迟的数据访问。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYW5nYmI4Njg2_size_16_color_FFFFFF_t_70 2][]

*  客户端服务器，Hazelcast 客户端的 jar 包被导入宿主应用程序，服务器 jar 包独立运行于 JVM 中。优点是更容易调试以及更可靠的性能，最重要的是更好的扩展性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYW5nYmI4Njg2_size_16_color_FFFFFF_t_70 3][]

摘自: [http://www.cnblogs.com/seasonsluo/p/hazelcast-intro.html][http_www.cnblogs.com_seasonsluo_p_hazelcast-intro.html]

--------------------

以下是两段使用 Hazelcast 作为分布式 Map 和 Topic 的例子

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 </td> 
 <td> import com.hazelcast.config.Config; import com.hazelcast.core.Hazelcast; import com.hazelcast.core.HazelcastInstance; &nbsp; import java.util.concurrent.ConcurrentMap; &nbsp; public class DistributedMap { &nbsp;&nbsp;public static void main(String[] args) { &nbsp;&nbsp;&nbsp;&nbsp;Config config = new Config(); &nbsp;&nbsp;&nbsp;&nbsp;HazelcastInstance h = Hazelcast.newHazelcastInstance(config); &nbsp;&nbsp;&nbsp;&nbsp;ConcurrentMap&lt;String, String&gt; map = h.getMap("my-distributed-map"); &nbsp;&nbsp;&nbsp;&nbsp;map.put("key", "value"); &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;//Concurrent Map methods &nbsp;&nbsp;&nbsp;&nbsp;map.putIfAbsent("somekey", "somevalue"); &nbsp;&nbsp;&nbsp;&nbsp;map.replace("key", "value", "newvalue"); &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;map.forEach((k, v) -&gt; System.out.println(k + " =&gt; " + v)); &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;h.shutdown(); &nbsp;&nbsp;} } </td> 
 </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 </td> 
 <td> import com.hazelcast.config.Config; import com.hazelcast.core.*; &nbsp; public class DistributedTopic implements MessageListener&lt;String&gt; { &nbsp; static HazelcastInstance h; &nbsp; &nbsp;&nbsp;public static void main(String[] args) { &nbsp;&nbsp;&nbsp;&nbsp;Config config = new Config(); &nbsp;&nbsp;&nbsp;&nbsp;h = Hazelcast.newHazelcastInstance(config); &nbsp;&nbsp;&nbsp;&nbsp;ITopic&lt;String&gt; topic = h.getTopic("my-distributed-topic"); &nbsp;&nbsp;&nbsp;&nbsp;topic.addMessageListener(new DistributedTopic()); &nbsp;&nbsp;&nbsp;&nbsp;topic.publish("Hello to distributed world"); &nbsp;&nbsp;} &nbsp; &nbsp;&nbsp;@Override &nbsp;&nbsp;public void onMessage(Message&lt;String&gt; message) { &nbsp;&nbsp;&nbsp;&nbsp;System.out.println("Got message " + message.getMessageObject()); &nbsp; &nbsp;&nbsp;&nbsp;&nbsp;h.shutdown(); &nbsp;&nbsp;} } </td> 
 </tr> 
 </tbody> 
</table>

启动后会看到输出

> Members \[2\] \{  
>   Member \[192.168.2.106\]:5702 - 274180a0-f05e-467d-bd84-13249f9db491  
>   Member \[192.168.2.106\]:5703 - 16de21f2-3c5c-477f-aec6-0a33d6d02aba this  
> \}

即使是本地的启动方式也会打开 Socket 端口, 默认在本机启动两个不同的端口号. 其他 Hazelcast 的应用例子可参考 [https://hazelcast.org/][https_hazelcast.org].

### 其他相关链接: ###

1.  [如何使用分布式缓存 Hazelcast][Hazelcast]
2.  [Hazelcast 集群原理分析][Hazelcast 1]
3.  [分布式缓存组件 Hazelcast][Hazelcast 2]
4.  [内存数据网格 Hazelcast 的一些机制原理][Hazelcast 3]

本文链接 [https://yanbin.blog/hazelcast-introduction/][https_yanbin.blog_hazelcast-introduction], 来自 [隔叶黄莺 Yanbin Blog][Yanbin Blog]

[Hazelcast_1_Hazelcast]: https://my.oschina.net/chkui/blog/729698
[Hazelcast_2_Hazelcast]: https://my.oschina.net/chkui/blog/732408
[Hazelcast_3]: https://my.oschina.net/chkui/blog/736892
[Hazelcast_4_Map]: https://my.oschina.net/chkui/blog/746496
[http_hazelcast.org]: http://hazelcast.org/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYW5nYmI4Njg2_size_16_color_FFFFFF_t_70]: /images/20230601/53898a10cf07428bbe721c0ba9537fb1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYW5nYmI4Njg2_size_16_color_FFFFFF_t_70 1]: /images/20230601/01857331dcac4c98a3a4812feb44a7d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYW5nYmI4Njg2_size_16_color_FFFFFF_t_70 2]: /images/20230601/bfc13af15490424abf5513735295b594.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ppYW5nYmI4Njg2_size_16_color_FFFFFF_t_70 3]: /images/20230601/0f84eeeca13e41289acf2ef0098638ef.png
[http_www.cnblogs.com_seasonsluo_p_hazelcast-intro.html]: http://www.cnblogs.com/seasonsluo/p/hazelcast-intro.html
[https_hazelcast.org]: https://hazelcast.org/
[Hazelcast]: http://blog.csdn.net/wangyangzhizhou/article/details/52529067
[Hazelcast 1]: http://blog.csdn.net/wangyangzhizhou/article/details/52677826
[Hazelcast 2]: http://blog.csdn.net/wangyangzhizhou/article/details/52511101
[Hazelcast 3]: http://blog.csdn.net/wangyangzhizhou/article/details/47258457
[https_yanbin.blog_hazelcast-introduction]: https://yanbin.blog/hazelcast-introduction/
[Yanbin Blog]: https://yanbin.blog/