再谈 eBay 的扩展性最佳实践

爱被打了一巴掌 2022-08-13 15:55 144阅读 0赞

原贴:[http://www.dbanotes.net/arch/best\_practices\_for\_scaling\_websites\_lessons\_from\_ebay.html][http_www.dbanotes.net_arch_best_practices_for_scaling_websites_lessons_from_ebay.html]

# [再谈 eBay 的扩展性最佳实践][http_www.dbanotes.net_arch_best_practices_for_scaling_websites_lessons_from_ebay.html] #

作者: **[Fenng][]** | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及[版权声明][Link 1]  
 网址: [http://www.dbanotes.net/arch/best\_practices\_for\_scaling\_websites\_lessons\_from\_ebay.html][http_www.dbanotes.net_arch_best_practices_for_scaling_websites_lessons_from_ebay.html]

很多人都觉得 eBay 在[ QCon (北京)][QCon] 上的技术[讲座][Link 2]不错，但对我来说，其实冲击力没那么大了。eBay 一两年前就是这个 PPT 。不过还是比 Amazon 的 Jeff Barr 强了很多，以后要是开个什么会，你把 Jeff Barr 请来还讲那个销售文档，估计自己都不好意思。

不过，eBay 这次的PPT 总算还是有点更新的。

**1）数据分片(Partition Everything)**

说是分区(Partition)，这里不能简单等同于 Oracle 的分区，理解成分片(Sharding)就好啦。可以参考一下我以前写的科普小文：[开源数据库 Sharding 技术 (Share Nothing)][Sharding _ _Share Nothing]。这里要强调一下的是，分片是在数据量的确有规模的时候才适合进行，如果单节点足以应付，那么还是不要冒进。

从分片的模式上，eBay 主要根据功能切分(Functional Segmentation)和水平分割(负载均衡考虑)，作为推论，所有会话都是无状态性的。

**2）异步处理(Asynchrony Everywhere)**

其实对于任何网站来说，过度追求"同步"化设计还是比较糟糕的做法。以用户能观察到的数据为视角进行设计，中间可以最大限度用异步来完成。

eBay 的举例的模式有两个，一个是事件队列(Event Queue)，另一个是信息分发(Message Multicast)。前者基本上是个生产者--消费者的模型。后者主要用在搜索的架构上。

![eBay\_message\_multicast.png][eBay_message_multicast.png]

注意到图中的消息总线，这才是 eBay 整个架构中的动脉，估计轻易不会批露技术细节

**3）自动化(Automate Everything)**

这里的自动化举了两个例子，一个是针对[运维][Link 3]方面的，另外举了关于机器学习的东西，这是演讲者 Randy Shoup 的强项所在。

eBay 的自动化，在一年前的另一篇文章里可以窥测一点东西。只是这篇文章当初没有被更多人重视，参见：[eclipse at eBay][]。可以看到 eBay 能在自动化方面做得这么好(起码敢出来讲)不是一朝一夕之功。

**4）故障检测与回溯(Remember Everything Fails)**

更好的失败检测机制: 监控每天超过 2TB 的日志，根据日志中的相关事件得出判断或者预警。这个看起来简单，但实现起来还是需要一点技巧和策略的，重要的是，需要不断根据结果的反馈去改进。

完美回滚: 任何服务都通过服务配置中的标记来识别，无痛回滚。(个人感觉这个非常有难度，尤其是升级的时候)

优雅降级(Graceful Degradation)：能够相对容易的对应用标记"Marks down（下线）"

**5）拥抱不一致性(Embrace Inconsistency)**

举了 [CAP][] 原则，[程立][Link 4]将其形象描述为帽子戏法，非常准确。说起一致性，自从 Amazon CTO Werner Vogels的 [Eventually Consistent ][Eventually Consistent]一出，基本上不需要我废话了，这就是事务处理的九阴真经，大家回家慢慢参详好了。

eBay 也有自己的绝对准则: 绝对没有分布式事务(两阶段提交), 通过状态机与操作顺序最小化不一致性，通过异步事件(消息总线?)达到最终一致性。

\--EOF--

另外小道消息：Amazon CTO Werner Vogels 可能会参加六月份在杭州举办的侠客行大会。

以前的老帖子：[eBay 的Scalability最佳实践][eBay _Scalability]

这篇 【 [再谈 eBay 的扩展性最佳实践][http_www.dbanotes.net_arch_best_practices_for_scaling_websites_lessons_from_ebay.html] 】来自 [dbanotes.net][Fenng] | [![delicious.small.gif][] del.icio.us 收藏][delicious.small.gif_ del.icio.us]

By [Fenng][] on April 13, 2009 6:32 PM  | [Permalink][http_www.dbanotes.net_arch_best_practices_for_scaling_websites_lessons_from_ebay.html] | [TrackBacks (0)][TrackBacks _0] | [Arch][] | [Edit][]

[Generator][] | [Trampoline][]

@import url(http://www.google.com/cse/api/branding.css);

自定义搜索

## 本文相关评论|Comments(13) ##

lithium 的评论:

eBay 也有自己的绝对准则: 绝对没有分布式事务(两阶段提交), 通过状态机与操作顺序最小化不一致性，通过异步事件(消息总线?)达到最终以执行。  
\------------------------------  
貌似有错别字，应该是“达到最终一致性“

[April 13, 2009 5:54 PM][April 13_ 2009 5_54 PM]

[Fenng][] [![Author Profile Page][]][Fenng] 的评论:

@lithium

反馈够快。更新了。多谢！

[April 13, 2009 6:03 PM][April 13_ 2009 6_03 PM]

[anysql][] 的评论:

理解别人的PPT比较容易一些, 但要下决心做, 及何时下决心做更难.

[April 13, 2009 7:45 PM][April 13_ 2009 7_45 PM]

[Fenng][] [![Author Profile Page][]][Fenng] 的评论:

@anysql

谁能承担风险并负责，谁去做好了

[April 13, 2009 8:23 PM][April 13_ 2009 8_23 PM]

[Jinzhu][] 的评论:

我是来打酱油兼祝生日快乐的，哈哈 :)

[April 13, 2009 8:39 PM][April 13_ 2009 8_39 PM]

[anysql][] 的评论:

比较好奇,当初eBay如何一步一步推动这个的,阻力一样是相当大的,谁是那个勇士.

[April 13, 2009 11:25 PM][April 13_ 2009 11_25 PM]

[路途志][Link 5] 的评论:

我接触过的几位ebay牛都很低调，技术着实不错。

[April 13, 2009 11:29 PM][April 13_ 2009 11_29 PM]

[Fenng][] [![Author Profile Page][]][Fenng] 的评论:

@anysql

没有人做，你来做就是最合适的

[April 14, 2009 9:35 AM][April 14_ 2009 9_35 AM]

[面经][Link 6] 的评论:

这次Qcon的内容实在是太丰富拉

[April 14, 2009 11:52 AM][April 14_ 2009 11_52 AM]

[木匠][Link 7] 的评论:

哪里下载演讲稿呀? 是不是仍旧和这篇一样?  
[http://www.infoq.com/cn/articles/ebay-scalability-best-practices][http_www.infoq.com_cn_articles_ebay-scalability-best-practices]

鄙人在我们公司推动的Function split一个月前已经启动啦.

1) [http://zhu1.blogspot.com/2009/04/talk-to-coo.html][http_zhu1.blogspot.com_2009_04_talk-to-coo.html]  
2) [http://mujiang.blogspot.com/2009/01/overview-asynchronous-process-change.html][http_mujiang.blogspot.com_2009_01_overview-asynchronous-process-change.html]

[April 15, 2009 5:44 AM][April 15_ 2009 5_44 AM]

[B2Bmarts][] 的评论:

外企作事还是比较实在，不象国内些平台，事没作，先把锣敲得轰天响！

[April 15, 2009 5:33 PM][April 15_ 2009 5_33 PM]

[Eagle Fan][] 的评论:

to anysql

据我所知,当初推数据库sharding的人就是Mazen了

[April 15, 2009 10:02 PM][April 15_ 2009 10_02 PM]

[ＦovWeb][ovWeb] 的评论:

大哥，您好。已经持续关注您的站好久了，想与您交换个链接。算是对自己的小站简单推广一下吧。内容是关注互联网和网站相关技术与运营。多向大哥学习吧。。。

[April 16, 2009 12:26 PM][April 16_ 2009 12_26 PM]

[http_www.dbanotes.net_arch_best_practices_for_scaling_websites_lessons_from_ebay.html]: http://www.dbanotes.net/arch/best_practices_for_scaling_websites_lessons_from_ebay.html
[Fenng]: http://www.dbanotes.net/
[Link 1]: http://creativecommons.org/licenses/by-nc-sa/2.5/
[QCon]: http://www.qconbeijing.com/
[Link 2]: http://qconbeijing.com/Speaker.aspx?Id=8
[Sharding _ _Share Nothing]: http://www.dbanotes.net/database/database_sharding.html
[eBay_message_multicast.png]: http://www.dbanotes.net/Images/eBay_message_multicast.png
[Link 3]: http://www.dbanotes.net/web/web_operations_automatic.html
[eclipse at eBay]: http://www.ibm.com/developerworks/opensource/library/os-eclipse-ebay1/
[CAP]: http://www.dbanotes.net/arch/cap.html
[Link 4]: http://www.dbanotes.net/arch/infoq_interview_with_alipay_chengli.html
[Eventually Consistent]: http://www.dbanotes.net/arch/Eventually%20Consistent
[eBay _Scalability]: http://www.dbanotes.net/arch/ebay_scalability.html
[delicious.small.gif]: http://www.dbanotes.net/Images/delicious.small.gif
[delicious.small.gif_ del.icio.us]: http://del.icio.us/post
[TrackBacks _0]: http://www.dbanotes.net/arch/best_practices_for_scaling_websites_lessons_from_ebay.html#trackback
[Arch]: http://www.dbanotes.net/arch/
[Edit]: http://www.dbanotes.net/MT/mt.cgi?__mode=view&_type=entry&id=1628&blog_id=1
[Generator]: http://www.tellhowpower.com/
[Trampoline]: http://www.pycfitness.com/Trampoline/trampoline.htm
[April 13_ 2009 5_54 PM]: http://www.dbanotes.net/arch/best_practices_for_scaling_websites_lessons_from_ebay.html#comment-72683
[Author Profile Page]: http://www.dbanotes.net/MT/mt-static/images/comment/mt_logo.png
[April 13_ 2009 6_03 PM]: http://www.dbanotes.net/arch/best_practices_for_scaling_websites_lessons_from_ebay.html#comment-72684
[anysql]: http://www.dbatools.net/
[April 13_ 2009 7_45 PM]: http://www.dbanotes.net/arch/best_practices_for_scaling_websites_lessons_from_ebay.html#comment-72685
[April 13_ 2009 8_23 PM]: http://www.dbanotes.net/arch/best_practices_for_scaling_websites_lessons_from_ebay.html#comment-72686
[Jinzhu]: http://www.zhangjinzhu.com/
[April 13_ 2009 8_39 PM]: http://www.dbanotes.net/arch/best_practices_for_scaling_websites_lessons_from_ebay.html#comment-72687
[April 13_ 2009 11_25 PM]: http://www.dbanotes.net/arch/best_practices_for_scaling_websites_lessons_from_ebay.html#comment-72688
[Link 5]: http://www.lutuzhi.com/
[April 13_ 2009 11_29 PM]: http://www.dbanotes.net/arch/best_practices_for_scaling_websites_lessons_from_ebay.html#comment-72689
[April 14_ 2009 9_35 AM]: http://www.dbanotes.net/arch/best_practices_for_scaling_websites_lessons_from_ebay.html#comment-72690
[Link 6]: http://www.jobsphere.cn/
[April 14_ 2009 11_52 AM]: http://www.dbanotes.net/arch/best_practices_for_scaling_websites_lessons_from_ebay.html#comment-72693
[Link 7]: http://zhu1.blogspot.com/
[http_www.infoq.com_cn_articles_ebay-scalability-best-practices]: http://www.infoq.com/cn/articles/ebay-scalability-best-practices
[http_zhu1.blogspot.com_2009_04_talk-to-coo.html]: http://zhu1.blogspot.com/2009/04/talk-to-coo.html
[http_mujiang.blogspot.com_2009_01_overview-asynchronous-process-change.html]: http://mujiang.blogspot.com/2009/01/overview-asynchronous-process-change.html
[April 15_ 2009 5_44 AM]: http://www.dbanotes.net/arch/best_practices_for_scaling_websites_lessons_from_ebay.html#comment-72699
[B2Bmarts]: http://www.b2bmarts.com/
[April 15_ 2009 5_33 PM]: http://www.dbanotes.net/arch/best_practices_for_scaling_websites_lessons_from_ebay.html#comment-72702
[Eagle Fan]: http://www.dbafan.com/
[April 15_ 2009 10_02 PM]: http://www.dbanotes.net/arch/best_practices_for_scaling_websites_lessons_from_ebay.html#comment-72703
[ovWeb]: http://www.fovweb.com/
[April 16_ 2009 12_26 PM]: http://www.dbanotes.net/arch/best_practices_for_scaling_websites_lessons_from_ebay.html#comment-72704