分布式ID，SnowFlake算法

灰太狼 2021-10-12 17:09 504阅读 0赞

常见的分布式ID方法：  
1、UUID  
UUID有一些缺点，首先他相对比较长，另外UUID一般是无序的。对入库性能有影响（请了解下B-Tree索引的分裂）。

2、数据库自增  
可以保证有序和唯一，但是因为依赖一个集中的分布式数据库，维护成本和网络交互成本较高影响性能。

3、snowflake算法  
snowflake算法为一个综合选用比较高的方法，其不依赖数据库，满足绝大部分高并发分布式系统。  
优点：  
a) 毫秒数在高位，自增序列在低位，整个ID都是趋势递增的。  
b) 不依赖数据库等第三方系统，以服务的方式部署，稳定性更高，生成ID的性能也是非常高的。  
c) 可以根据自身业务特性分配bit位，非常灵活。  
缺点：  
强依赖机器时钟，如果机器上时钟回拨，会导致发号重复或者服务会处于不可用状态。

4、自研规则  
（略）

**snowflake算法**  
snowflake是Twitter开源的分布式ID生成算法，结果是一个long型的ID。其核心思想是：使用41bit作为毫秒数，10bit作为机器的ID（5个bit是数据中心，5个bit的机器ID），12bit作为毫秒内的流水号（意味着每个节点在每毫秒可以产生 4096 个 ID），最后还有一个符号位，永远是0。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zaGFuaHkuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70]  
该算法实现基本就是二进制操作，这个算法理论上可以单机每秒最多可以生成1000\*(2^12)，也就是409.6万个ID（上面说了可以满足绝大部分高并发系统）

下面是一个来自网络的Java工具类：

/**
 * Twitter_Snowflake 
 * SnowFlake的结构如下(每部分用-分开): 
 * 0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 -
 * 000000000000 
 * 1位标识，由于long基本类型在Java中是带符号的，最高位是符号位，正数是0，负数是1，所以id一般是正数，最高位是0 
 * 41位时间截(毫秒级)，注意，41位时间截不是存储当前时间的时间截，而是存储时间截的差值（当前时间截 - 开始时间截)
 * 得到的值），这里的的开始时间截，一般是我们的id生成器开始使用的时间，由我们程序来指定的（如下下面程序IdWorker类的startTime属性）。41位的时间截，可以使用69年，年T
 * = (1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69 
 * 10位的数据机器位，可以部署在1024个节点，包括5位datacenterId和5位workerId 
 * 12位序列，毫秒内的计数，12位的计数顺序号支持每个节点每毫秒(同一机器，同一时间截)产生4096个ID序号 
 * 加起来刚好64位，为一个Long型。 
 * SnowFlake的优点是，整体上按照时间自增排序，并且整个分布式系统内不会产生ID碰撞(由数据中心ID和机器ID作区分)，并且效率较高，经测试，SnowFlake每秒能够产生26万ID左右。
 */
 public class SnowflakeIdWorker {
 
 	// ==============================Fields===========================================
 	/** 开始时间截 (2015-01-01) */
 	private final long twepoch = 1420041600000L;
 
 	/** 机器id所占的位数 */
 	private final long workerIdBits = 5L;
 
 	/** 数据标识id所占的位数 */
 	private final long datacenterIdBits = 5L;
 
 	/** 支持的最大机器id，结果是31 (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数) */
 	private final long maxWorkerId = -1L ^ (-1L << workerIdBits);
 
 	/** 支持的最大数据标识id，结果是31 */
 	private final long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);
 
 	/** 序列在id中占的位数 */
 	private final long sequenceBits = 12L;
 
 	/** 机器ID向左移12位 */
 	private final long workerIdShift = sequenceBits;
 
 	/** 数据标识id向左移17位(12+5) */
 	private final long datacenterIdShift = sequenceBits + workerIdBits;
 
 	/** 时间截向左移22位(5+5+12) */
 	private final long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;
 
 	/** 生成序列的掩码，这里为4095 (0b111111111111=0xfff=4095) */
 	private final long sequenceMask = -1L ^ (-1L << sequenceBits);
 
 	/** 工作机器ID(0~31) */
 	private long workerId;
 
 	/** 数据中心ID(0~31) */
 	private long datacenterId;
 
 	/** 毫秒内序列(0~4095) */
 	private long sequence = 0L;
 
 	/** 上次生成ID的时间截 */
 	private long lastTimestamp = -1L;
 
 	// ==============================Constructors=====================================
 	/**
 	 * 构造函数
 	 * 
 	 * @param workerId 工作ID (0~31)
 	 * @param datacenterId 数据中心ID (0~31)
 	 */
 	public SnowflakeIdWorker(long workerId, long datacenterId) {
 		if (workerId > maxWorkerId || workerId < 0) {
 			throw new IllegalArgumentException(
 					String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
 		}
 		if (datacenterId > maxDatacenterId || datacenterId < 0) {
 			throw new IllegalArgumentException(
 					String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));
 		}
 		this.workerId = workerId;
 		this.datacenterId = datacenterId;
 	}
 
 	// ==============================Methods==========================================
 	/**
 	 * 获得下一个ID (该方法是线程安全的)
 	 * 
 	 * @return SnowflakeId
 	 */
 	public synchronized long nextId() {
 		long timestamp = timeGen();
 
 		// 如果当前时间小于上一次ID生成的时间戳，说明系统时钟回退过这个时候应当抛出异常
 		if (timestamp < lastTimestamp) {
 			throw new RuntimeException(String.format(
 					"Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));
 		}
 
 		// 如果是同一时间生成的，则进行毫秒内序列
 		if (lastTimestamp == timestamp) {
 			sequence = (sequence + 1) & sequenceMask;
 			// 毫秒内序列溢出
 			if (sequence == 0) {
 				// 阻塞到下一个毫秒,获得新的时间戳
 				timestamp = tilNextMillis(lastTimestamp);
 			}
 		}
 		// 时间戳改变，毫秒内序列重置
 		else {
 			sequence = 0L;
 		}
 
 		// 上次生成ID的时间截
 		lastTimestamp = timestamp;
 
 		// 移位并通过或运算拼到一起组成64位的ID
 		return ((timestamp - twepoch) << timestampLeftShift) //
 				| (datacenterId << datacenterIdShift) //
 				| (workerId << workerIdShift) //
 				| sequence;
 	}
 
 	/**
 	 * 阻塞到下一个毫秒，直到获得新的时间戳
 	 * 
 	 * @param lastTimestamp 上次生成ID的时间截
 	 * @return 当前时间戳
 	 */
 	protected long tilNextMillis(long lastTimestamp) {
 		long timestamp = timeGen();
 		while (timestamp <= lastTimestamp) {
 			timestamp = timeGen();
 		}
 		return timestamp;
 	}
 
 	/**
 	 * 返回以毫秒为单位的当前时间
 	 * 
 	 * @return 当前时间(毫秒)
 	 */
 	protected long timeGen() {
 		return System.currentTimeMillis();
 	}
 
 	// ==============================Test=============================================
 	/** 测试 */
 	public static void main(String[] args) {
 		SnowflakeIdWorker idWorker = new SnowflakeIdWorker(0, 0);
 		for (int i = 0; i < 1000; i++) {
 			long id = idWorker.nextId();
 			System.out.println(Long.toBinaryString(id));
 			System.out.println(id);
 		}
 	}
 }

**关于工作机器ID和数据中心ID**  
**datacenterId：** 方便搭建多个生成ID的service，并保证ID不重复，比如在datacenter0将机器0，1，2，3……31（最多31）组成了一个生成ID的service中心，而datacenter1此时也需要一个生成ID的service，从本中心获取ID显然是最快最方便的，那么它可以在自己中心搭建，只要保证datacenterId唯一。如果没有datacenterId，即用10bits，那么在搭建一个新的service前必须知道目前已经在用的id，否则不能保证生成的id唯一，比如搭建的两个ID service中都有machine id为10的机器，如果其server时间相同，那么产生相同id的情况不可避免。

**workerId：** 是实际server机器的代号，最大到31（0-31），同一个datacenter下的workerId是不能重复的。实现一个分布式ID来确保workerId未被其他机器占用。  
服务使用注册中心或者nginx等负载均衡的方式将一个中心的多个worker机器对外提供服务。

关于时间回拨的一个处理策略，美团资料：https://tech.meituan.com/2017/04/21/mt-leaf.html

（END）

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9zaGFuaHkuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70]: /images/20211013/9518b97c76fa44b69ca51cc452fdc57c.png