开源项目介绍｜Apache Ozone-分布式大数据通用存储

偏执的太偏执、 2022-10-08 05:32 2阅读 0赞

**2021腾讯犀牛鸟开源人才培养计划**

**开源项目介绍**

滑至文末报名参与开源人才培养计划

提交项目Proposal

![f5c1f477dda5164744e8faf6e7f84c46.gif][]

![5179a8f9b144979fe2cf1accdb5b1d2a.png][]

**Apache Ozone项目介绍**

**              **

**标签：大数据存储 **

技术栈：Java

![eed698294eba3a8e60702ffeccfa41ed.png][]

**标签：大数据存储 **

**技术栈：Java**

***Apache Ozone-分布式大数据通用存储，***Ozone是一个大数据场景分布式存储，支持百亿到千亿级对象和文件。Ozone提供兼容S3 的对象功能，和兼容Hadoop File System(HCFS)的文件功能，同时通过CSI驱动接入Kubernets生态。Ozone定位于混合云场景存储支持，是面向数据湖的下一代大数据存储系统。

![7680d2517c58ad397eb238c72aaa4b6d.png][]

![65cf1dd4f893cab4915c751f90c509b8.png][]

**Apache Ozone导师介绍**

![format_png][]

**陈怡、费辉、耿斌、赵明超**

陈怡：Apache Ozone PMC Chair、Apache Hadoop PMC

费辉：Apache Ozone Committer， Apache Hadoop Committer

耿斌：Apache Ozone Committer

赵明超：Apache Ozone Committer

***导师寄语：***

“大数据存储是整个大数据系统的基石，Ozone是Hadoop生态推出的新一代大数据场景分布式存储，支持百亿到千亿级对象和文件。希望同学们通过暑期实践，对于大数据生态的存储能有一个深入的了解和掌握。”——陈怡

![7945b1823dfea38bc932af59887a95ba.png][]

![e5f964caea454d1e554acfe5e73b5f5d.png][]

**Apache Ozone拓展资料**

**????Apache Ozone官网****：**

https://ozone.apche.org

**????Apache Ozone最新发布1.1.0文档：**https://ozone.apache.org/docs/1.1.0/

**????TOzone：Native Object Store for Hadoop：**

http://4nqiq.cn/5nXVg

![afad4c0723f7a4378991ecaf1c8558d0.png][]

![7643cf7c826a544aa8cc3a1e72df9acf.png][]

**Apache Ozone实战任务**

（最终具体任务以实战阶段导师布置为准）

**编程任务**

**项目：兼容S3协议的数据Lifecycle管理**

**任务：**  
1. 数据Lifecycle管理的设计  
2. 在S3网关实现Lifecycle 策略的设置和修改  
3. 在Ozone 命令行支持 LifeCycle的CRUD  
4. 在Ozone元数据OM节点，实现Lifecycle的具体功能  
5. 完成代码编写和测试，完成功能使用文档  
6. Demo 演示

**参考资料：**  
https://docs.aws.amazon.com/AmazonS3/latest/userguide/object-lifecycle-mgmt.html  （复制链接粘贴至浏览器即可查看）

![402d4bc45f5d5c7112f8c51b49267de8.png][]

**扫码填写问卷报名，提交项目proposal**

**加入开发实战**

**与导师一起成长这一夏**

![a7c6b54219acfe8f05f6a3b01488fc90.png][]

Apache Ozone开源项目交流群

欢迎对本项目感兴趣的同学一起交流

![4fdabf34096efc6d5b62900dfb7dd014.png][]

更多开源项目信息，

尽在**“腾讯犀牛鸟开源人才社区”**

扫码加入，解锁所有学习资料

![73eb2d40055683ace4064696576025cf.png][]

**关于腾讯犀牛鸟开源人才培养计划：**为响应国家十四五规划的开源战略，腾讯于2021年5月发布“首届腾讯犀牛鸟开源人才培养计划”，希望企业界和教育界形成合力，打造面向高校学生的开源课程和开源实践培养方案，培育开源人才，普及开源文化，助力开源人才生态的发展。

首届项目由教育部计算机教学指导委员会、教育部软件工程教学指导委员会、中国信息通信研究院作为联合指导单位，包括开源基础培训、开源进阶研学、开源项目实战三个环节，项目涉及云原生、微服务、容器、AI、大数据、前端、物联网/边缘计算等多项技术热点。

各位同学报名即可参加线上开源系列课程，学习开源知识，对话学界及产业界大咖。其中入选开源项目实战的学生将在导师的一对一指导下，利用暑假开展编程实战，并有机会获得腾讯开源贡献者证书（目前全球只发出了10+张）。

????学生指南Q&A：https://github.com/Tencent/OpenSourceTalent/issues/14

????官方QQ群：859260607 （加群请备注学校+专业）

**【其他项目介绍】**

[开源项目介绍 ｜TKEStack-开源容器服务平台][_TKEStack-]

[开源项目介绍 ｜OMI-前端【跨框架】框架][_OMI-]

[开源项目介绍 ｜APIJSON- 后端零代码接口和文档ORM 库][_APIJSON- _ORM]

[开源项目介绍 ｜TARS-高性能微服务治理框架][_TARS-]

[开源项目介绍｜Apache InLong-分布式消息中间件系统][Apache InLong-]

[开源项目介绍｜Tencent KonaJDK][Tencent KonaJDK]

[开源项目介绍 ｜SuperEdge-云原生边缘计算平台][_SuperEdge-]

[开源项目介绍 ｜Hippy-跨平台动态化框架][_Hippy-]

[开源项目介绍 ｜ Angel-高性能分布式机器学习平台][_ Angel-]

**【申报指南】**

[申报指南｜这才是报名&提交proposal的正确姿势][proposal]

**腾讯犀牛鸟开源人才培养计划官网**

**https://opensource.tencent.com/summer-of-code**

（点击文末阅读原文直接访问）

合作或疑问欢迎联系：tencentopen@tencent.com

![f94c4d4d037b25693d21a20e7b1ea65d.png][]

[f5c1f477dda5164744e8faf6e7f84c46.gif]: /images/20221005/02a6069abf7a4c5c9a1b06ad15a0cc0c.png
[5179a8f9b144979fe2cf1accdb5b1d2a.png]: /images/20221005/c64e94d4397b4d8781c9216a025f56de.png
[eed698294eba3a8e60702ffeccfa41ed.png]: /images/20221005/2e4b9ffd9a0a417aaef8791810871552.png
[7680d2517c58ad397eb238c72aaa4b6d.png]: /images/20221005/0c833e4c438f4fbab2694aabeacfb31d.png
[65cf1dd4f893cab4915c751f90c509b8.png]: /images/20221005/e744268988d340f4aee7d7e3e6df58aa.png
[format_png]: /images/20221005/33a74c2ec8474207a4e9b7b0bf02ee68.png
[7945b1823dfea38bc932af59887a95ba.png]: /images/20221005/e517166d8cf9428783f3673d1404f9ef.png
[e5f964caea454d1e554acfe5e73b5f5d.png]: /images/20221005/3529cbaf48ed48f5bef4331891a716cb.png
[afad4c0723f7a4378991ecaf1c8558d0.png]: /images/20221005/bb844054c9494db6a3c21f7a0a69e015.png
[7643cf7c826a544aa8cc3a1e72df9acf.png]: /images/20221005/64845359dbf34605bc9add881ccf1346.png
[402d4bc45f5d5c7112f8c51b49267de8.png]: /images/20221005/29ee80093d604eec978eff0a309b0610.png
[a7c6b54219acfe8f05f6a3b01488fc90.png]: /images/20221005/f5f137ff662d44239c75b2ef21e0c76c.png
[4fdabf34096efc6d5b62900dfb7dd014.png]: /images/20221005/a73cc6475c8c4244939b304a67d7114e.png
[73eb2d40055683ace4064696576025cf.png]: /images/20221005/0ecba3dcab9047d4a24f86425f7e3906.png
[_TKEStack-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda15ba1ba284dd81c8c2e8a344433bae7b65336e9809e491443480ff5c459ae384368006d&idx=1&mid=2247487439&scene=21&sn=5de4d076c6d2f54c35985d9f62550b07#wechat_redirect
[_OMI-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda1c6a1ba28d039ed66601b0efa8c1a805a3e0a3f056b9b04af7867db317e69cca4ae9695&idx=1&mid=2247487314&scene=21&sn=500e481751d132a2d361a080f47e38a7#wechat_redirect
[_APIJSON- _ORM]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda1c5a1ba28d3553d08b5f150b62275ecc7bd676e24352a6a03105938fd0ef56e35300e10&idx=1&mid=2247487313&scene=21&sn=9a33c81e296cc88920c09a635a83138c#wechat_redirect
[_TARS-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda01ba1ba290dd8acc17bc91f6a1c084395326f78d428a14c727a0b1c99685451dfda5bc6&idx=1&mid=2247487119&scene=21&sn=25091eed2842493734be05f7dfd77d64#wechat_redirect
[Apache InLong-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda019a1ba290fe43c45e5664e3ae589368bde050a63aa6ce6025e9800c78c0848e6895f95&idx=1&mid=2247487117&scene=21&sn=155dc3e9736912a404f6ba7501932c5d#wechat_redirect
[Tencent KonaJDK]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda0efa1ba29f96f263d6b0182ed0f987f20253191c8a8443671f5b8a99cb4b0d4b8f84d2e&idx=1&mid=2247487099&scene=21&sn=823f119f5c6822d67f944ce64ef4ada8#wechat_redirect
[_SuperEdge-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda352a1ba2a446d994bc684fb6e70dc87f4ffe1ffe857be250b8b083da615796e29f72d08&idx=1&mid=2247486918&scene=21&sn=87cc487244f6d3a93b3493dee3ccff89#wechat_redirect
[_Hippy-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda3f2a1ba2ae4fb62d00c2b7de33146a28e97ad974cb242a4862abb2504d103c7782b7124&idx=1&mid=2247486822&scene=21&sn=9fa6f5778c220de0c168d165b1a0d30d#wechat_redirect
[_ Angel-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda233a1ba2b25ce2fb0a6cc2c2309797321f1fcb4feea3750a6427c799589333815fc6b0a&idx=1&mid=2247486631&scene=21&sn=15fa080953ee5406d8aa06a7727e9bcb#wechat_redirect
[proposal]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda0efa1ba29f91951409acfbdb2d63549773f2f390214f6cb600bb06ee6d85c6766ec52c6&idx=2&mid=2247487099&scene=21&sn=62f3570608c4be7b81cd705e1e0c86c8#wechat_redirect
[f94c4d4d037b25693d21a20e7b1ea65d.png]: /images/20221005/b5bf0825f03947678bb0c38b78f6c448.png