Java 雪花算法生成器及其原理解析

偏执的太偏执、 2023-06-18 11:56 3阅读 0赞

# 各种分布式ID生产算法的优缺点 #

https://juejin.im/post/5bb0217ef265da0ac2567b42

# 关于雪花算法 #

Snowflake是Twitter提出来的一个算法，其目的是生成一个64bit的整数。  
当我们需要无序不能被猜测的ID，并且需要一定高性能，且需要long型，那么就可以使用我们雪花算法。比如常见的订单ID，用雪花算法别人就无法猜测你每天的订单量是多少。

# 雪花算法的结构 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMzI5MzM0MzI_size_16_color_FFFFFF_t_70]

1.  最高位是符号位，始终为0，不可用。
2.  41位的时间序列，精确到毫秒级，41位的长度可以使用69年。时间位还有一个很重要的作用是可以根据时间进行排序。
3.  10位的机器标识，10位的长度最多支持部署1024个节点。
4.  12位的计数序列号，序列号即一系列的自增id，可以支持同一节点同一毫秒生成多个ID序号，12位的计数序列号支持每个节点每毫秒产生4096个ID序号。

上面只是一个将64bit划分的标准，当然也不一定这么做，可以根据不同业务的具体场景来划分，比如下面给出一个业务场景：

服务目前QPS10万，预计几年之内会发展到百万。  
当前机器三地部署，上海，北京，深圳都有。  
当前机器10台左右，预计未来会增加至百台。

这个时候我们根据上面的场景可以再次合理的划分62bit,QPS几年之内会发展到百万，那么每毫秒就是千级的请求，目前10台机器那么每台机器承担百级的请求，为了保证扩展，后面的循环位可以限制到1024，也就是2^10，那么循环位10位就足够了。  
机器三地部署我们可以用3bit总共8来表示机房位置，当前的机器10台，为了保证扩展到百台那么可以用7bit 128来表示，时间位依然是41bit,那么还剩下64-10-3-7-41-1 = 2bit,还剩下2bit可以用来进行扩展。  
![在这里插入图片描述][20191202144740804.png]

# Java实现代码 #

package com.demon.common.utils.gen;
 
 import org.apache.commons.lang3.RandomUtils;
 
 import java.util.Date;
 
 /** * Twitter_Snowflake * SnowFlake的结构如下(每部分用-分开): * 0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000 * 1位标识，由于long基本类型在Java中是带符号的，最高位是符号位，正数是0，负数是1，所以id一般是正数，最高位是0 * 41位时间截(毫秒级)，注意，41位时间截不是存储当前时间的时间截，而是存储时间截的差值（当前时间截 - 开始时间截) * 得到的值），这里的的开始时间截，一般是我们的id生成器开始使用的时间，由我们程序来指定的（如下下面程序IdWorker类的startTime属性）。41位的时间截，可以使用69年，年T = (1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69 * 10位的数据机器位，可以部署在1024个节点，包括5位datacenterId和5位workerId * 12位序列，毫秒内的计数，12位的计数顺序号支持每个节点每毫秒(同一机器，同一时间截)产生4096个ID序号 * 加起来刚好64位，为一个Long型。 * SnowFlake的优点是，整体上按照时间自增排序，并且整个分布式系统内不会产生ID碰撞(由数据中心ID和机器ID作区分)，并且效率较高，经测试，SnowFlake每秒能够产生26万ID左右。 * * * @author Demon-HY * 为方便使用,只需要在同集群应用内将机器标识出不同的编号即可 * @date 2019-7-30 */
 public class SnowflakeIdWorker { 
 
 private static SnowflakeIdWorker idWorker;
 
 // TODO 部署多台服务,这里可以交给 Spring 管理,注入workerId
 static { 
 idWorker = new SnowflakeIdWorker(1);
 }
 
 /** 开始时间截 (1980-01-01) FIXME 保证生成的编号有13位*/
 // private static final long twepoch = 315504000000L;
 /** 开始时间截 (2019-07-01) */
 private static final long twepoch = 1561910400000L;
 
 /** * 时间位取& */
 private static final long timeBit = 0b1111111111111111111111111111111111111111110000000000000000000000L;
 
 /** 机器id所占的位数 */
 private final long workerIdBits = 10L;
 
 /** 数据标识id所占的位数 */
 private final long datacenterIdBits = 0L;
 
 /** 支持的最大机器id，结果是1023 (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数) */
 private final long maxWorkerId = -1L ^ (-1L << workerIdBits);
 
 /** 支持的最大数据标识id，结果是0 */
 private final long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
 
 /** 序列在id中占的位数 */
 private final long sequenceBits = 12L;
 
 /** 机器ID向左移12位 */
 private final long workerIdShift = sequenceBits;
 
 /** 数据标识id向左移22位(12+10) */
 private final long datacenterIdShift = sequenceBits + workerIdBits;
 
 /** 时间截向左移22位(10+0+12) */
 private final long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
 
 /** 生成序列的掩码，这里为4095 (0b111111111111=0xfff=4095) */
 private final long sequenceMask = -1L ^ (-1L << sequenceBits);
 
 /** 工作机器ID(0~1023) */
 private long workerId;
 
 /** 数据中心ID(0) */
 private long datacenterId;
 
 /** 毫秒内序列(0~4095) */
 private long sequence;
 
 private long initSequence;
 
 /** 上次生成ID的时间截 */
 private long lastTimestamp = -1L;
 
 //==============================Constructors=====================================
 
 /** * 构造函数 * @param workerId 工作ID (0~1023) */
 private SnowflakeIdWorker(long workerId) { 
 this(workerId,0);
 }
 /** * 构造函数 * @param workerId 工作ID (0~1023) * @param datacenterId 数据中心ID (0) */
 private SnowflakeIdWorker(long workerId, long datacenterId) { 
 if (workerId > maxWorkerId || workerId < 0) { 
 throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
 }
 if (datacenterId > maxDatacenterId || datacenterId < 0) { 
 throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));
 }
 this.workerId = workerId;
 this.datacenterId = 0;
 //随机生成2000种可能
 this.initSequence=RandomUtils.nextInt(0,2000);
 this.sequence=initSequence;
 //FIXME 1ms内有2000种可猜测
 }
 
 // ==============================Methods==========================================
 /** * 获得下一个ID (该方法是线程安全的) * @return SnowflakeId */
 private synchronized long nextId() { 
 long timestamp = timeGen();
 
 //如果当前时间小于上一次ID生成的时间戳，说明系统时钟回退过这个时候应当抛出异常
 if (timestamp < lastTimestamp) { 
 throw new RuntimeException(
 String.format("Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
 }
 
 //如果是同一时间生成的，则进行毫秒内序列
 if (lastTimestamp == timestamp) { 
 sequence = (sequence + 1) & sequenceMask;
 //毫秒内序列溢出
 if (sequence == 0) { 
 //阻塞到下一个毫秒,获得新的时间戳
 timestamp = tilNextMillis(lastTimestamp);
 }
 }
 //时间戳改变，毫秒内序列重置
 else { 
 sequence = initSequence;
 }
 
 //上次生成ID的时间截
 lastTimestamp = timestamp;
 
 //移位并通过或运算拼到一起组成64位的ID
 return ((timestamp - twepoch) << timestampLeftShift) //
 | (datacenterId << datacenterIdShift) //
 | (workerId << workerIdShift) //
 | sequence;
 }
 
 /** * 从ID中获取时间 * @param id 由此类生成的ID */
 public static Date getTime(long id){ 
 return new Date(((timeBit&id)>>22)+twepoch);
 }
 
 /** * 阻塞到下一个毫秒，直到获得新的时间戳 * @param lastTimestamp 上次生成ID的时间截 * @return 当前时间戳 */
 private long tilNextMillis(long lastTimestamp) { 
 long timestamp = timeGen();
 while (timestamp <= lastTimestamp) { 
 timestamp = timeGen();
 }
 return timestamp;
 }
 
 /** * 返回以毫秒为单位的当前时间 * @return 当前时间(毫秒) */
 private long timeGen() { 
 return System.currentTimeMillis();
 }
 
 /** * 获取唯一ID */
 public static Long getId() { 
 return idWorker.nextId();
 }
 
 /** * 获取随机字符串,length=13 */
 public static String getRandomStr() { 
 return Long.toString(idWorker.nextId(), Character.MAX_RADIX);
 }
 
 //==============================Test=============================================
 /** 测试 */
 public static void main(String[] args) { 
 for (int i = 0; i < 100; i++) { 
 long id = SnowflakeIdWorker.getId();
 String strId = SnowflakeIdWorker.getRandomStr();
 
 System.out.println(id);
 System.out.println(strId);
 System.out.println(SnowflakeIdWorker.getTime(id));
 }
 }
 }

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMzI5MzM0MzI_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191202141619187.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxMzI5MzM0MzI=,size_16,color_FFFFFF,t_70
[20191202144740804.png]: https://img-blog.csdnimg.cn/20191202144740804.png