Web 短链接URL如何实现

刺骨的言语ヽ痛彻心扉 2022-06-01 06:56 283阅读 0赞

最近写的项目中有用到短链接这个功能，项目中只是调用别人的服务。当时想的内部实现就是，服务端首先把长链接映射成对应的短链，再存入数据库，访问短链的时候访问数据库取到对应的长链地址再做转发即可。  
这里考虑的太简单了，没有考虑到其中实现的很多细节：  
1.长链到短链的映射问题，是否能存在这种绝对不碰撞的映射函数？  
2.每次请求都要访问一遍db，是否存在更高效的方式？  
3.转发的时候存在301和302两种方式的重定向，选择哪种比较好？

在知乎上看到一个挺不错的回答，大概的意思是这样：

作者：iammutex  
链接：[https://www.zhihu.com/question/29270034/answer/46446911][https_www.zhihu.com_question_29270034_answer_46446911]  
来源：知乎  
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

通过发号策略，给每一个过来的长地址，发一个号即可，小型系统直接用mysql的自增索引就搞定了。如果是大型应用，可以考虑各种分布式key-value系统做发号器。不停的自增就行了。第一个使用这个服务的人得到的短地址是[http://xx.xx/0][http_xx.xx_0] 第二个是 [http://xx.xx/1][http_xx.xx_1] 第11个是 [http://xx.xx/a][http_xx.xx_a] 第依次往后，相当于实现了一个62进制的自增字段即可。几个子问题1. 62进制如何用数据库或者KV存储来做？  
其实我们并不需要在存储中用62进制，用10进制就好了。比如第10000个长地址，我们给它的短地址对应的编号是9999，我们通过存储自增拿到9999后，再做一个10进制到62进制的转换，转成62进制数即可。这个10～62进制转换，你完全都可以自己实现。2. 如何保证同一个长地址，每次转出来都是一样的短地址  
上面的发号原理中，是不判断长地址是否已经转过的。也就是说用拿着百度首页地址来转，我给一个[http://xx.xx/abc][http_xx.xx_abc] 过一段时间你再来转，我还会给你一个 [http://xx.xx/xyz][http_xx.xx_xyz]。这看起来挺不好的，但是不好在哪里呢？不好在不是一一对应，而一长对多短。这与我们完美主义的基因不符合，那么除此以外还有什么不对的地方？  
有人说它浪费空间，这是对的。同一个长地址，产生多条短地址记录，这明显是浪费空间的。那么我们如何避免空间浪费，有人非常迅速的回答我，建立一个长对短的KV存储即可。嗯，听起来有理，但是。。。这个KV存储本身就是浪费大量空间。所以我们是在用空间换空间，而且貌似是在用大空间换小空间。真的划算吗？这个问题要考虑一下。当然，也不是没有办法解决，我们做不到真正的一一对应，那么打个折扣是不是可以搞定？这个问题的答案太多种，各有各招，我这就不说了。（由于实在太多人纠结这个问题，请见我最下方的更新）3. 如何保证发号器的大并发高可用  
上面设计看起来有一个单点，那就是发号器。如果做成分布式的，那么多节点要保持同步加1，多点同时写入，这个嘛，以CAP理论看，是不可能真正做到的。其实这个问题的解决非常简单，我们可以退一步考虑，我们是否可以实现两个发号器，一个发单号，一个发双号，这样就变单点为多点了？依次类推，我们可以实现1000个逻辑发号器，分别发尾号为0到999的号。每发一个号，每个发号器加1000，而不是加1。这些发号器独立工作，互不干扰即可。而且在实现上，也可以先是逻辑的，真的压力变大了，再拆分成独立的物理机器单元。1000个节点，估计对人类来说应该够用了。如果你真的还想更多，理论上也是可以的。4. 具体存储如何选择  
这个问题就不展开说了，各有各道，主要考察一下对存储的理解。对缓存原理的理解，和对市面上DB、Cache系统可用性，并发能力，一致性等方面的理解。5. 跳转用301还是302  
这也是一个有意思的话题。首先当然考察一个候选人对301和302的理解。浏览器缓存机制的理解。然后是考察他的业务经验。301是永久重定向，302是临时重定向。短地址一经生成就不会变化，所以用301是符合http语义的。同时对服务器压力也会有一定减少。  
但是如果使用了301，我们就无法统计到短地址被点击的次数了。而这个点击次数是一个非常有意思的大数据分析数据源。能够分析出的东西非常非常多。所以选择302虽然会增加服务器压力，但是我想是一个更好的选择。大概就是这样。——五一假期后更新——-  
就回答一点大家最纠结的问题吧，就是如何实现同一个长地址多次转换，出来还是同一个短地址。我上面其实讲到了，这个方案最简单的是建立一个长对短的hashtable，这样相当于用空间来换空间，同时换取一个设计上的优雅（真正的一对一）。实际情况是有很多性价比高的打折方案可以用，这个方案设计因人而异了。那我就说一下我的方案吧。我的方案是：用key-value存储，保存“最近”生成的长对短的一个对应关系。注意是“最近”，也就是说，我并不保存全量的长对短的关系，而只保存最近的。比如采用一小时过期的机制来实现LRU淘汰。这样的话，长转短的流程变成这样：  
1 在这个“最近”表中查看一下，看长地址有没有对应的短地址  
1.1 有就直接返回，并且将这个key-value对的过期时间再延长成一小时  
1.2 如果没有，就通过发号器生成一个短地址，并且将这个“最近”表中，过期时间为1小时所以当一个地址被频繁使用，那么它会一直在这个key-value表中，总能返回当初生成那个短地址，不会出现重复的问题。如果它使用并不频繁，那么长对短的key会过期，LRU机制自动就会淘汰掉它。当然，这不能保证100%的同一个长地址一定能转出同一个短地址，比如你拿一个生僻的url，每间隔1小时来转一次，你会得到不同的短地址。但是这真的有关系吗？

[https_www.zhihu.com_question_29270034_answer_46446911]: https://www.zhihu.com/question/29270034/answer/46446911
[http_xx.xx_0]: http://xx.xx/0
[http_xx.xx_1]: http://xx.xx/1
[http_xx.xx_a]: http://xx.xx/a
[http_xx.xx_abc]: http://xx.xx/abc
[http_xx.xx_xyz]: http://xx.xx/xyz