MyRocks在网易使用和优化实践

本是古典何须时尚 2022-12-26 14:27 202阅读 0赞

**主题：**MyRocks在网易使用和优化实践

**大纲：**

1. 企业选择一种新型数据库，从0到1的实践过程中经过哪些阶段会更稳妥  
2. MyRocks在网易的应用，会带来哪些优势  
3. MyRocks和传统的InnoDB相比，需要配置哪些周边工具  
4. 相比INNODB，MyRocks更适用哪些场景  
5. MyRocks的高可用方案，王老师更推荐哪种

![format_png][]

![format_png 1][]

听说3306π要搞事情了

是啊，马上要搞3306π深圳站了

![format_png 2][]

![format_png 3][]

啊，是吗？哪天啊，在哪里办，怎么报名？

**12月19日**，就在**深圳南山区海岸城**，点文末的原文链接或者扫描二维码就可以报名了，一起来吹吹牛逼。

![format_png 4][]

嘉宾自我介绍

![format_png 5][]

**王刚  ****数据库内核工程师**** **网易杭州研究院数据库内核开发工程师，4年数据库技术开发经验，为网易传媒、音乐等业务提供数据库系统性能、稳定性与可靠性的支撑，擅长 myrocks/innodb 存储引擎，专注数据库及存储领域，喜欢探究底层原理，相信源码之前了无秘密。

![format_png][]

可否请王老师分享下，企业选择一种新型数据库，从0到1的实践过程中经过哪些阶段会更稳妥呢？

![format_png 6][]

我介绍一下MyRocks 在网易内部从0到1落地的过程，供大家参考。业务需要选择一种新型数据库，通常来说是现有的数据库在某些方面存在痛点了，比如云音乐的实时推荐场景，这是MyRocks落地的一个比较重要的场景。该场景写流量很大，RT 敏感。首先考虑的是LSM 模型的数据库，比如pika,myrocks,hbase。除了满足性能要求之外，稳定性、后续的运维难度、和公司其他组件的兼容程度这几个方面也是需要考虑的。实际性能测试下来MyRocks 性能满足需要，并且属于MySQL生态，运维上手快，DDB(网易内部中间件)以及binlog复制都可以继续使用。基于内核组对MyRocks充分的稳定性测试和异常模拟测试，业务最终选择了MyRocks。

请问王老师，MyRocks在网易的应用，会带来哪些优势呢？

![format_png 6][]

节省存储成本是其一大优势，以网易传媒某业务为例，业务之前使用RDS，表中存有longtext类型的字段且数据量较大，RDS最大规格为2T，按数据增长量，已不能满足需求。当时可供于选择的有两种解决方案，分别为MyRocks和DDB(网易内部中间件），由于阿波罗业务数据库使用场景多为等值查询，最终考虑资源及DDB业务还需要在一定程度上变更使用姿势，符合Myrocks大数据量高压缩比及读性能也能满足业务需要，最终选择了Myrocks， 磁盘空间占用由1.8T降至630G，节省了很多存储成本。

MyRocks和传统的InnoDB相比，需要配置哪些周边工具吗？

![format_png 6][]

在 MySQL 5.7 上适配的MyRocks，目前还缺少物理备份恢复工具，Percona 在 8.0 版本xtrabackup 才支持备份MyRocks。Facebook 5.6 版本提供一个myrocks\_hotbackup python 脚本工具，但是这个工具在5.7上使用存在问题，网易内部是在xtrabackup 2.4.8上适配了MyRocks 的备份恢复。

MyRocks发展已经比较成熟，相比INNODB，MyRocks更适用哪些场景呢？

![format_png 6][]

MyRocks 在网易内部主要应用在以下场景，供大家参考：

i. 推荐类场景，这类业务通常写流量很大，并且数据量还不小，RT 敏感，用Redis成本太高，这类场景可以考虑使用MyRocks。

ii. 大数据量场景，这类业务通常是一些历史数据，数据量非常大并且增长很快，原来可能用innodb 存储，成本比较高，而且经常需要扩容，运维成本也高，这类场景适合MyRocks。

MyMyRocks的高可用方案，王老师更推荐哪种呢？

![format_png 6][]

MyRocks 其实上层还是 MySQL嘛，因此基于binlog 的异步、半同步复制依然可以继续使用，网易内部还适配了MGR for myrocks ，也可以作为一个方案。

![format_png][]

![format_png 7][]

**扫码报名**

![format_png 8][]

点击文末“**阅读原文**”链接亦可报名

参与活动

学习新技能

赢取罗小波新书《MySQL复制技术和生产实践》和爱可生精美杯子

活动规则

在[《年轻人不讲武德？12月19日来3306π深圳站学点真本事》][12_19_3306]下方留言

写下您对本次活动的建议

或是想向嘉宾提出的问题

有效留言被选中后，点赞数超过30

按点赞数排名取前10名

赠送礼品

二者任选其一

![format_png 9][]

**关于「3306π」社区**

围绕 MySQL 核心技术，将互联网行业中最重要的数据化解决方案带到传统行业中；囊括其他开源技术RadonDB、ClickHouse、Redis、MongoDB、Hbase、Hadoop、ElasticSearch、Storm、Spark等；分享干货知识，即便是赞助商，也要求如此，拒绝放水

![format_png 10][]

[format_png]: /images/20221120/f59e77b2681e4d9f89979cdc0defa234.png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy93MnBMWDZvaEhxbmxWQW5JSlVBc2lha2dwRWlhSEhxZEpBWEsweXVOV2tNc2FnR3htVENGb2liV2VOVmljMEdZb3lwWmhLWWZpYldpYzVGY2Yzajg4V2licXl5VlEvNjQw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy90dGdrckU3VXBkYmpKWmljcVVuZGg2Nkh3bmpFdGtpY3FWT3hxSXY5RnVrSzg5NUphUjR2RGg1cmEwM0NWcjhwenprbERidzNUYU9RNVpXTWhYQUNYenJnLzY0MA?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy8ySGFBaWM2alVucW9EUUI3UVRUTHRJaDRNMWs3aWFTR2ljZ3F2Ukdmc2lhVmprWFhNOXJsNXFrQThjWWZGNHNuWnZsa3JsZUlCd3dSM0ZVcWRUdlBtdG81U2cvNjQw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9hUjZnczNaRnRZOHZ5ZGhpY1RCMDN6MGZtM0x3SkNjNERDM3pNaWNKY0FWa09lbmNuRWNJNUV2UnpZWnVGaWFrT0p0V1hvRmRGTHdvakVFNUNHcmRBcUo2dy82NDA?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9lbVdKczRhc2ljc0M1NGh5NGhCRXppY0JtOTBuajV5eWMyamliNmJkckZpYnhkZ1hldFA2MVFyeUVaT0N2akVNMzE5NXUxQVgzTnJsaWNKa0VrNkNYZWJnZ1JnLzY0MA?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9lbVdKczRhc2ljc0NNWFZBbzFqN2liQmJPSEVXMGtyTjZxTTh3aWI0eXpyRktRMWtnR0Q0WlBLTkhxM1RHTFhOMXo3aWNsbWs4RzI4eW9jdDc5Q1k4UFVIZFEvNjQw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9lbVdKczRhc2ljc0ExZUVVVUFEamZnOXhpYWYzQkhOMGFwUlg3Z1l5cVRveVBhYkFNbGVTcjI0dDlpY1RFR1ByVWZlVHFRclBPSndLVFR4bGJNRXRmb2VjQS82NDA?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9lbVdKczRhc2ljc0FDTVZtSFBMRlpyd2V1UWJYSExJZlBVTzNXaWMxYkJjTzdMaWNmZWtldTFhbE9rNnhRdEhmQUJENTB1d0EybEZpY0xUVndxY0ZiNENjRkEvNjQw?x-oss-process=image/format,png
[12_19_3306]: http://mp.weixin.qq.com/s?__biz=MzI1NjkzNDU4OQ%3D%3D&chksm=ea1e4780dd69ce96ba2223ae62f7f44fe80e1ef8f087bc4b3f66de337a81e579018dfd5e2301&idx=1&mid=2247487570&scene=21&sn=54ec90afa06e39c5528f8b663cb4880d#wechat_redirect
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9lbVdKczRhc2ljc0NoSDZna2pkZVJ4amRkc1hvUXRReHdqb04yU1BxaWJ5cHpkYzFRdGJraWNwM292RWhrZ1FBTEZIYXQxNFkzZ3N1aWE5ZmN3TWFpY2tXWHNBLzY0MA?x-oss-process=image/format,png
[format_png 10]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9lbVdKczRhc2ljc0J2aE1JRk54Q3JpYXBuNm1IT3J6NW1NTUUwcTBuUFZaaWFYZVFwSXl1RVFhVG9hTE5xcFVyUTVTSlNqSlFlMzdaaWFadmxGUmNpY2xUYTdRLzY0MA?x-oss-process=image/format,png