zookeeper学习（七）基于zookeeper实现分布式锁

淡淡的烟草味﹌ 2022-05-30 09:52 187阅读 0赞

一、分布式锁介绍

分布式锁主要用于在分布式环境中保护跨进程、跨主机、跨网络的共享资源实现互斥访问，以达到保证数据的一致性。

二、架构介绍

在介绍使用Zookeeper实现分布式锁之前，首先看当前的系统架构图

![Center][]

解释： 左边的整个区域表示一个Zookeeper集群，locker是Zookeeper的一个持久节点，node\_1、node\_2、node\_3是locker这个持久节点下面的临时顺序节点。client\_1、client\_2、client\_n表示多个客户端，Service表示需要互斥访问的共享资源。

三、分布式锁获取思路

1．获取分布式锁的总体思路

在获取分布式锁的时候在locker节点下创建临时顺序节点，释放锁的时候删除该临时节点。客户端调用createNode方法在locker下创建临时顺序节点，然后调用getChildren(“locker”)来获取locker下面的所有子节点，注意此时不用设置任何Watcher。客户端获取到所有的子节点path之后，如果发现自己在之前创建的子节点序号最小，那么就认为该客户端获取到了锁。如果发现自己创建的节点并非locker所有子节点中最小的，说明自己还没有获取到锁，此时客户端需要找到比自己小的那个节点，然后对其调用exist()方法，同时对其注册事件监听器。之后，让这个被关注的节点删除，则客户端的Watcher会收到相应通知，此时再次判断自己创建的节点是否是locker子节点中序号最小的，如果是则获取到了锁，如果不是则重复以上步骤继续获取到比自己小的一个节点并注册监听。当前这个过程中还需要许多的逻辑判断。

2．获取分布式锁的核心算法流程

下面同个一个流程图来分析获取分布式锁的完整算法，如下：

![Center 1][]

解释：客户端A要获取分布式锁的时候首先到locker下创建一个临时顺序节点（node\_n），然后立即获取locker下的所有（一级）子节点。

此时因为会有多个客户端同一时间争取锁，因此locker下的子节点数量就会大于1。对于顺序节点，特点是节点名称后面自动有一个数字编号，

先创建的节点数字编号小于后创建的，因此可以将子节点按照节点名称后缀的数字顺序从小到大排序，这样排在第一位的就是最先创建的顺序节点，

此时它就代表了最先争取到锁的客户端！此时判断最小的这个节点是否为客户端A之前创建出来的node\_n，如果是则表示客户端A获取到了锁，

如果不是则表示锁已经被其它客户端获取，因此客户端A要等待它释放锁，也就是等待获取到锁的那个客户端B把自己创建的那个节点删除。

此时就通过监听比node\_n次小的那个顺序节点的删除事件来知道客户端B是否已经释放了锁，如果是，此时客户端A再次获取locker下的所有子节点，

再次与自己创建的node\_n节点对比，直到自己创建的node\_n是locker的所有子节点中顺序号最小的，此时表示客户端A获取到了锁！

四、基于Zookeeper的分布式锁的代码实现

1．定义分布式锁接口

定义的分布式锁接口如下：

<table style="width:750px;color:rgb(69,69,69);font-size:16px;background-color:rgb(255,255,255);"> 
 <tbody> 
 <tr> 
 <td>public&nbsp;&nbsp;interface&nbsp;DistributedLock { &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp;&nbsp;/**获取锁，如果没有得到就等待*/&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp;&nbsp;public&nbsp;&nbsp;void&nbsp;acquire()&nbsp;&nbsp;throws&nbsp;Exception;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp;&nbsp;/**&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp;*&nbsp;获取锁，直到超时&nbsp;&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp;&nbsp; *&nbsp;@param&nbsp;time超时时间&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; *&nbsp;@param&nbsp;unit time参数的单位&nbsp;&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp;&nbsp; *&nbsp;@return是否获取到锁&nbsp;&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp;&nbsp; *&nbsp;@throws&nbsp;Exception&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp;*/&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp;&nbsp;public&nbsp; boolean&nbsp;acquire (long&nbsp;time, TimeUnit unit)&nbsp;&nbsp;throws&nbsp;Exception;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp;&nbsp;/**&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;释放锁&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;@throws&nbsp;Exception&nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp;&nbsp;*/&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;public&nbsp; void&nbsp;release()&nbsp; throws&nbsp;Exception;}</td> 
 </tr> 
 </tbody> 
</table>

2．定义一个简单的互斥锁

定义一个互斥锁类，实现以上定义的锁接口，同时继承一个基类BaseDistributedLock，该基类主要用于与Zookeeper交互，包含一个尝试获取锁的方法和一个释放锁。

<table style="width:750px;color:rgb(69,69,69);font-size:16px;background-color:rgb(255,255,255);"> 
 <tbody> 
 <tr> 
 <td>/**锁接口的具体实现，主要借助于继承的父类BaseDistributedLock来实现的接口方法&nbsp;*&nbsp;该父类是基于Zookeeper实现分布式锁的具体细节实现*/public&nbsp;&nbsp;class&nbsp;SimpleDistributedLockMutex&nbsp;&nbsp;extends&nbsp;BaseDistributedLock&nbsp;&nbsp;implements&nbsp; DistributedLock { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;/*用于保存Zookeeper中实现分布式锁的节点，如名称为locker：/locker，&nbsp;&nbsp;&nbsp;&nbsp;*该节点应该是持久节点，在该节点下面创建临时顺序节点来实现分布式锁&nbsp;*/&nbsp;&nbsp;&nbsp;private&nbsp; final&nbsp;String&nbsp; basePath;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;/*锁名称前缀，locker下创建的顺序节点例如都以lock-开头，这样便于过滤无关节点&nbsp;&nbsp;&nbsp;&nbsp;*这样创建后的节点类似：lock-00000001，lock-000000002*/&nbsp;&nbsp;&nbsp;private&nbsp; staticfinal&nbsp;String&nbsp; LOCK_NAME&nbsp;="lock-";&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;/*用于保存某个客户端在locker下面创建成功的顺序节点，用于后续相关操作使用（如判断）*/&nbsp;&nbsp;&nbsp;private&nbsp;String&nbsp; ourLockPath;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;/**&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;用于获取锁资源，通过父类的获取锁方法来获取锁&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;@param&nbsp;time获取锁的超时时间&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;@param&nbsp;unit time的时间单位&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;@return是否获取到锁&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;@throws&nbsp;Exception&nbsp;&nbsp;&nbsp;&nbsp;*/&nbsp;&nbsp;&nbsp;&nbsp;private&nbsp;&nbsp;boolean&nbsp;internalLock (long&nbsp;time, TimeUnit unit)&nbsp;&nbsp;throws&nbsp; Exception { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;//如果ourLockPath不为空则认为获取到了锁，具体实现细节见attemptLock的实现&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;ourLockPath&nbsp;= attemptLock(time, unit);&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp; ourLockPath&nbsp;!=null;&nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;/**&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;传入Zookeeper客户端连接对象，和basePath&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;@param&nbsp;client Zookeeper客户端连接对象&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;@param&nbsp;basePath basePath是一个持久节点&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;*/&nbsp;&nbsp;&nbsp;&nbsp;public&nbsp;SimpleDistributedLockMutex(ZkClientExt client, String basePath){ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;/*调用父类的构造方法在Zookeeper中创建basePath节点，并且为basePath节点子节点设置前缀&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; *同时保存basePath的引用给当前类属性*/&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;super(client,basePath,LOCK_NAME);&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;this.basePath&nbsp;= basePath;&nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;/**获取锁，直到超时，超时后抛出异常*/&nbsp;&nbsp;&nbsp;public&nbsp; void&nbsp;acquire()&nbsp;throws&nbsp;Exception { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;//-1表示不设置超时时间，超时由Zookeeper决定&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;if&nbsp;(!internalLock(-1,null)){ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;throw&nbsp;new&nbsp;IOException("连接丢失!在路径:'"+basePath+"'下不能获取锁!");&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;}&nbsp;&nbsp;&nbsp;}&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;/**&nbsp;&nbsp;&nbsp;&nbsp;*&nbsp;获取锁，带有超时时间&nbsp;&nbsp;&nbsp;&nbsp;*/&nbsp;&nbsp;&nbsp;public&nbsp;boolean&nbsp;acquire(long&nbsp;time, TimeUnit unit)&nbsp;throws&nbsp;Exception { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;return&nbsp;internalLock(time, unit);&nbsp;&nbsp;&nbsp;}&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;/**释放锁*/&nbsp;&nbsp;&nbsp;public&nbsp;void&nbsp;release()throws&nbsp;Exception { &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;releaseLock(ourLockPath);&nbsp;&nbsp;&nbsp;}}</td> 
 </tr> 
 </tbody> 
</table>

3. 分布式锁的实现细节

获取分布式锁的重点逻辑在于BaseDistributedLock，实现了基于Zookeeper实现分布式锁的细节。

public class BaseDistributedLock {
 
 private final ZkClientExt client;
 private final String path;
 private final String basePath;
 private final String lockName;
 private static final Integer MAX_RETRY_COUNT = 10;
 
 public BaseDistributedLock(ZkClientExt client, String path, String lockName){
 this.client = client;
 this.basePath = path;
 this.path = path.concat("/").concat(lockName); 
 this.lockName = lockName;
 }
 
 private void deleteOurPath(String ourPath) throws Exception{
 client.delete(ourPath);
 }
 
 private String createLockNode(ZkClient client, String path) throws Exception{
 return client.createEphemeralSequential(path, null);
 }
 
 /**
 * 获取锁的核心方法
 * @param startMillis
 * @param millisToWait
 * @param ourPath
 * @return
 * @throws Exception
 */
 private boolean waitToLock(long startMillis, Long millisToWait, String ourPath) throws Exception{
 
 boolean haveTheLock = false;
 boolean doDelete = false;
 
 try{
 while ( !haveTheLock ) {
 //该方法实现获取locker节点下的所有顺序节点，并且从小到大排序 
 List<String> children = getSortedChildren();
 String sequenceNodeName = ourPath.substring(basePath.length()+1);
 
 //计算刚才客户端创建的顺序节点在locker的所有子节点中排序位置，如果是排序为0，则表示获取到了锁
 int ourIndex = children.indexOf(sequenceNodeName);
 
 /*如果在getSortedChildren中没有找到之前创建的[临时]顺序节点，这表示可能由于网络闪断而导致
 *Zookeeper认为连接断开而删除了我们创建的节点，此时需要抛出异常，让上一级去处理
 *上一级的做法是捕获该异常，并且执行重试指定的次数 见后面的 attemptLock方法 */
 if ( ourIndex<0 ){
 throw new ZkNoNodeException("节点没有找到: " + sequenceNodeName);
 }
 
 //如果当前客户端创建的节点在locker子节点列表中位置大于0，表示其它客户端已经获取了锁
 //此时当前客户端需要等待其它客户端释放锁，
 boolean isGetTheLock = ourIndex == 0;
 
 //如何判断其它客户端是否已经释放了锁？从子节点列表中获取到比自己次小的哪个节点，并对其建立监听
 String pathToWatch = isGetTheLock ? null : children.get(ourIndex - 1);
 
 if ( isGetTheLock ){
 haveTheLock = true;
 }else{
 //如果次小的节点被删除了，则表示当前客户端的节点应该是最小的了，所以使用CountDownLatch来实现等待
 String previousSequencePath = basePath .concat( "/" ) .concat( pathToWatch );
 final CountDownLatch latch = new CountDownLatch(1);
 final IZkDataListener previousListener = new IZkDataListener() {
 
 //次小节点删除事件发生时，让countDownLatch结束等待
 //此时还需要重新让程序回到while，重新判断一次！
 public void handleDataDeleted(String dataPath) throws Exception {
 latch.countDown(); 
 }
 
 public void handleDataChange(String dataPath, Object data) throws Exception {
 // ignore 
 }
 };
 
 try{ 
 //如果节点不存在会出现异常
 client.subscribeDataChanges(previousSequencePath, previousListener);
 
 if ( millisToWait != null ){
 millisToWait -= (System.currentTimeMillis() - startMillis);
 startMillis = System.currentTimeMillis();
 if ( millisToWait <= 0 ){
 doDelete = true; // timed out - delete our node
 break;
 }
 
 latch.await(millisToWait, TimeUnit.MICROSECONDS);
 }else{
 latch.await();
 }
 
 }catch ( ZkNoNodeException e ){
 //ignore
 }finally{
 client.unsubscribeDataChanges(previousSequencePath, previousListener);
 }
 }
 }
 }catch ( Exception e ){
 //发生异常需要删除节点
 doDelete = true;
 throw e;
 
 }finally{
 //如果需要删除节点
 if ( doDelete ){
 deleteOurPath(ourPath);
 }
 }
 return haveTheLock;
 }
 
 
 private String getLockNodeNumber(String str, String lockName) {
 int index = str.lastIndexOf(lockName);
 if ( index >= 0 ){
 index += lockName.length();
 return index <= str.length() ? str.substring(index) : "";
 }
 return str;
 }
 
 
 private List<String> getSortedChildren() throws Exception {
 try{
 List<String> children = client.getChildren(basePath);
 Collections.sort(
 children,
 new Comparator<String>(){
 public int compare(String lhs, String rhs){
 return getLockNodeNumber(lhs, lockName).compareTo(getLockNodeNumber(rhs, lockName));
 }
 }
 );
 return children;
 
 }catch(ZkNoNodeException e){
 client.createPersistent(basePath, true);
 return getSortedChildren();
 }
 }
 
 
 protected void releaseLock(String lockPath) throws Exception{
 deleteOurPath(lockPath); 
 }
 
 
 protected String attemptLock(long time, TimeUnit unit) throws Exception{
 final long startMillis = System.currentTimeMillis();
 final Long millisToWait = (unit != null) ? unit.toMillis(time) : null;
 
 String ourPath = null;
 boolean hasTheLock = false;
 boolean isDone = false;
 int retryCount = 0;
 
 //网络闪断需要重试一试
 while ( !isDone ){
 isDone = true;
 
 try{
 //createLockNode用于在locker（basePath持久节点）下创建客户端要获取锁的[临时]顺序节点
 ourPath = createLockNode(client, path);
 /**
 * 该方法用于判断自己是否获取到了锁，即自己创建的顺序节点在locker的所有子节点中是否最小
 * 如果没有获取到锁，则等待其它客户端锁的释放，并且稍后重试直到获取到锁或者超时
 */
 hasTheLock = waitToLock(startMillis, millisToWait, ourPath);
 
 }catch ( ZkNoNodeException e ){
 if ( retryCount++ < MAX_RETRY_COUNT ){
 isDone = false;
 }else{
 throw e;
 }
 }
 }
 
 if ( hasTheLock ){
 return ourPath;
 }
 
 return null；
 ｝

[Center]: /images/20220530/fca0094de0a34baeb796c18efa22ce1b.png
[Center 1]: /images/20220530/a2da22c953074aaca0ea72402076f3ce.png