开源项目介绍｜ ncnn-神经网络推理框架

墨蓝 2022-10-08 14:24 404阅读 0赞

**2021腾讯犀牛鸟开源人才培养计划**

**开源项目介绍**

滑至文末报名&提交项目Proposal

![1196300538dbc48a2d3f7b73b82c62c3.gif][]

![a8859aba35c37b783adbd267f3d4da27.png][]

**ncnn项目介绍**

![7b4120328eeed44068d57b73713a591d.png][]

**ncnn是一个为手机端极致优化的高性能神经网络前向计算框架。**基于 ncnn，开发者能够将深度学习算法轻松移植到手机端高效执行，开发出人工智能 APP，将 AI 带到你的指尖。

![3912ee28886790359f1d405ac00fd754.png][]

![d6c841a6f2f1a2aacec9c26a0cefa66f.png][]

**ncnn项目导师介绍**

![format_png][]

**倪辉**

*ncnn作者*

***导师寄语：***

ncnn是业界知名的AI推理框架，社区支持很好，参与研发是能学到知识和技术的，导师会很耐心帮助你的，对吧对吧！

![3378be458400ea521fc76af1c87b0c98.png][]

![e9d18a7928395688b54aac28b26bba65.png][]

**ncnn相关资料**

????***ncnn项目地址**：*https://github.com/Tencent/ncnn

????***ncnn开发的超赞项目集：***

https://github.com/zchrissirhcz/awesome-ncnn

????***如何贡献代码：***https://gist.github.com/nihui/17c06998c59cb7d84bb327e70bd187f3

????***学习文档**：*

https://github.com/Tencent/ncnn/wiki/faq

https://github.com/Tencent/ncnn/wiki

????***ncnn模型部署、使用教学、源码解读：***

https://www.zhihu.com/search?q=ncnn&type=content

![e51455abaff619b3e2a385b5f73eee8a.png][]

***Welcome to advocate your proposal !***

***欢迎发出您的提案！***

![b5aba1708425fac3f617d3d035f94e56.png][]

**ncnn项目实战任务**

（具体任务以实战阶段导师布置为准）

**编程任务**

**项目（一）：**

**ncnn MacOS 和 iOS 平台的 Mat 转换**

**Brief Explanation: **

android Bitmap 对象的转换函数已经有了，但对应的 MacOS 和 iOS 的转换函数还没有。我们提议本项目，为 MacOS 和 iOS 平台添加的图像对象与ncnn::Mat互转的方便函数。此外，必须有测试和文档确保可维护性。

**期望结果：**

*  ncnn::from\_apple\_cgimage 和 ncnn::to\_apple\_cgimage
 *  ncnn::from\_macos\_nsimage 和 ncnn::to\_macos\_nsimage
 *  ncnn::from\_ios\_uiimage 和 ncnn::to\_ios\_uiimage
 *  测试和文档

**预备知识：**

C++ / Objective-C

图像处理

**难度：**简单/中等

**导师：**nihui

**项目（二）：**

**ncnn Mat pixel 类型 RGB565 和 convert\_color 函数**

**Brief Explanation: **

在移动设备上，RGB565 是很常见用于原生窗口缓冲区的格式。RGB565 相较于 RGBA8888 节省了内存使用。我们提议本项目，增加 RGB565 pixel 格式的转换，并提供加速的 pixel 处理函数。此外，必须有测试和文档确保可维护性。

**期望结果：**

*  ncnn::from\_pixels 和 ncnn::to\_pixels 获得 RGB565 支持
 *  ncnn::convert\_color 支持各种 pixel 格式转换
 *  测试和文档

**预备知识：**

C++

图像处理

**难度：**简单/中等

**导师：**nihui

**项目（三）：ncnn 支持 AVX only CPU**

**Brief Explanation: **

有些 CPU 不具备 AVX2 和 FMA 指令集。这种情况下，ncnn 会回退到 SSE2 的优化代码。我们提议本项目，ncnn 添加 AVX-only 的 kernel 实现，以便在这些芯片上享受到 AVX 的加速效果。此外，必须有测试和文档确保可维护性。

**期望结果：**

*  在 AVX-only CPU 上自动使用 AVX-only 优化的层
 *  可观的速度提升
 *  测试和文档

**预备知识：**C++

**难度：**中等

**导师：**nihui

**项目（四）：**

**ncnn 改善 simpleomp (openmp 运行时)**

**Brief Explanation: **

simpleomp 是最小化的 openmp 运行时实现，主要用于 WebAssembly。它可以在没有 openmp 运行时库的平台中带来多线程加速。我们提议本项目，改善 simpleomp 线程池实现，如利用 spinlock 和 futex 扩展。此外，必须有测试和文档确保可维护性。

**期望结果：**

*  set\_kmp\_blocktime 接口
 *  在小型模型上有可观的速度提升
 *  测试和文档

**预备知识：**C++、Linux

**难度：**简单/中等

**导师：**nihui

**项目（五）：**

**ncnn 更好的 android vulkan 相机帧导入和渲染**

**Brief Explanation: **

GPU 是个适合用作图像处理和机器学习的运算设备。对于实时处理，我们应当尽可能减少影响效率的 CPU-GPU 数据拷贝。VK\_ANDROID\_external\_memory\_android\_hardware\_buffer是新的 vulkan 扩展，在 android 平台上可以用该扩展访问相机捕获到的帧像素。然而，编写原生的 vulkan 代码相当困难。我们提议本项目，实现一套简单易用的高层 API 用作 Android vulkan 与 ncnn 交互。此外，必须有测试和文档确保可维护性。

**期望结果：**

*  好用的高层 API，用导入 AHardwareBuffer 到 VkMat 或 VkImageMat 
 *  好用的高层 API，用于渲染 VkMat 或 VkImageMat 到 ANativeWindow
 *  端到端 vulkan GPU 处理的 android 示例应用程序
 *  测试和文档

**预备知识：**C++、Android、Vulkan

**难度：**中等/高级

**导师：**nihui

**项目（六）：**

**ncnn RISC-V V-extension 优化**

**Brief Explanation: **

RISC-V Vector 扩展是 RISC-V SIMD 指令集。ncnn 已经实现了 RISC-V 代码优化的基础架构，但缺少 RISC-V 相关优化。我们提议本项目，为 ncnn 添加 RISC-V kernel 实现，让这些芯片可以享受到 RISC-V Vector 扩展带来的浮点计算加速。此外，必须有测试和文档确保可维护性。

**期望结果：**

*  为 RISC-V 架构实现一些优化的 kernel
 *  测试和文档

**预备知识：**C++、RISC-V 汇编

**难度：**高级

**导师：**nihui

**项目（七）：**

**ncnn 3D 卷积神经网络**

**Brief Explanation: **

3D CNN 算子常用在视频处理模型中。当前 ncnn 不支持 3D 算子。我们提议本项目，做出必要的数据结构更改和算子实现，实现基本的 3D CNN 模型的部署。此外，必须有测试和文档确保可维护性。

**相关 issue：**

Tencent/ncnn\#637

➡️https://github.com/Tencent/ncnn/issues/637

Tencent/ncnn\#889

https://github.com/Tencent/ncnn/issues/889

Tencent/ncnn\#1358

https://github.com/Tencent/ncnn/issues/1358

Tencent/ncnn\#1726

https://github.com/Tencent/ncnn/issues/1726

**期望结果：**

*  扩展 ncnn::Mat d(depth) 成员
 *  实现最简单的 Convolution3D Pooling3D BatchNorm3D 和一些 3D 激活算子
 *  为 caffe/onnx/MLIR等转换器添加 3D 算子转换支持
 *  使用 ncnn 部署简单的 3D CNN pytorch 模型
 *  测试和文档

**预备知识：**C++、PyTorch

**难度：**简单/中等

**导师：**nihui

![e2a7629ef9f9bd0d77a28f8c7661feee.png][]

**扫码填写问卷报名，提交项目proposal**

**加入项目开发实战**

**与导师一起成长这一夏**

![233b9df4f8a78eb88419fec05fede165.png][]

NCNN开源项目交流群

欢迎对本项目感兴趣的同学加入一起交流

![de795a58f5039fb9f6bad68de8de79c6.png][]

更多项目信息，尽在**“腾讯犀牛鸟开源人才社区”**

扫码加入，解锁所有学习资料

![0a0b6860c7cac30f05747807e8ef3724.png][]

**关于腾讯犀牛鸟开源人才培养计划：**为响应国家十四五规划的开源战略，腾讯于2021年5月发布“首届腾讯犀牛鸟开源人才培养计划”，希望企业界和教育界形成合力，打造面向高校学生的开源课程和开源实践培养方案，培育开源人才，普及开源文化，助力开源人才生态的发展。

首届项目由教育部计算机教学指导委员会、教育部软件工程教学指导委员会、中国信息通信研究院作为联合指导单位，包括开源基础培训、开源进阶研学、开源项目实战三个环节，项目涉及云原生、微服务、容器、AI、大数据、前端、物联网/边缘计算等多项技术热点。

各位同学报名即可参加线上开源系列课程，学习开源知识，对话学界及产业界大咖。其中入选开源项目实战的学生将在导师的一对一指导下，利用暑假开展编程实战，并有机会获得腾讯开源贡献者证书（目前全球只发出了10+张）。

????学生指南Q&A：https://github.com/Tencent/OpenSourceTalent/issues/14

????官方QQ群：859260607 （加群请备注学校+专业）

**【其他项目介绍】**

[开源项目介绍 ｜TNN-跨平台AI推理框架][_TNN-_AI]

[开源项目介绍 ｜Apache Ozone-分布式大数据通用存储][_Apache Ozone-]

[开源项目介绍 ｜TKEStack-开源容器服务平台][_TKEStack-]

[开源项目介绍 ｜TencentOS Tiny-腾讯物联网操作系统][_TencentOS Tiny-]

[开源项目介绍 ｜OMI-前端【跨框架】框架][_OMI-]

[开源项目介绍 ｜APIJSON- 后端零代码接口和文档ORM 库][_APIJSON- _ORM]

[开源项目介绍 ｜TARS-高性能微服务治理框架][_TARS-]

[开源项目介绍｜Apache InLong-分布式消息中间件系统][Apache InLong-]

[开源项目介绍｜Tencent KonaJDK][Tencent KonaJDK]

[开源项目介绍 ｜SuperEdge-云原生边缘计算平台][_SuperEdge-]

[开源项目介绍 ｜Hippy-跨平台动态化框架][_Hippy-]

[开源项目介绍 ｜ Angel-高性能分布式机器学习平台][_ Angel-]

**腾讯犀牛鸟开源人才培养计划官网**

https://opensource.tencent.com/summer-of-code

（点击文末阅读原文直接访问）

合作或疑问欢迎联系

tencentopen@tencent.com

![87ca8daee3bb903e3a30ddad40f74dc6.png][]

[1196300538dbc48a2d3f7b73b82c62c3.gif]: /images/20221005/c1dd0c1b53394a50ae57b6b48c4dfaa8.png
[a8859aba35c37b783adbd267f3d4da27.png]: /images/20221005/03f4f30038a248ebab92a4fae77590bb.png
[7b4120328eeed44068d57b73713a591d.png]: /images/20221005/a51e05952f9c46d986eee75043a51c5f.png
[3912ee28886790359f1d405ac00fd754.png]: /images/20221005/0daa6044e4084ab1bd16becd2037ac4b.png
[d6c841a6f2f1a2aacec9c26a0cefa66f.png]: /images/20221005/57bde973429f4672bd085174cdf4f080.png
[format_png]: /images/20221005/5ec56c584fdf4c66a178f5407549e805.png
[3378be458400ea521fc76af1c87b0c98.png]: /images/20221005/b3c593c81d8e456f94f5d3b8a0247af9.png
[e9d18a7928395688b54aac28b26bba65.png]: /images/20221005/e4b3193b70574a138735e66fec400248.png
[e51455abaff619b3e2a385b5f73eee8a.png]: /images/20221005/f42d905a88894e489c22a23a8d41092b.png
[b5aba1708425fac3f617d3d035f94e56.png]: /images/20221005/e45973ae51ae42db84034828d234e0f6.png
[e2a7629ef9f9bd0d77a28f8c7661feee.png]: /images/20221005/b9be650fdd0143b7940d06f2efefab95.png
[233b9df4f8a78eb88419fec05fede165.png]: /images/20221005/797b59dcc651404fa231592014570180.png
[de795a58f5039fb9f6bad68de8de79c6.png]: /images/20221005/ba6f16f4e4614fea8d9f62b16e1a0081.png
[0a0b6860c7cac30f05747807e8ef3724.png]: /images/20221005/85b2c4ef0d6345d7aa358995c69f580d.png
[_TNN-_AI]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda14fa1ba28592b0b6c3771a707a3c266e84cf500e143cde833cb40694dac429eedc36193&idx=1&mid=2247487451&scene=21&sn=a2916c8c91177532a8f89861d4c5ca84#wechat_redirect
[_Apache Ozone-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda14ea1ba285839bb0da9c74d4799b21c68f04ce13ae05ad537016372ad6b3ab6fadb4a6a&idx=1&mid=2247487450&scene=21&sn=2c6d34ed8202c6442dbc1d7c79a0b1ba#wechat_redirect
[_TKEStack-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda15ba1ba284dd81c8c2e8a344433bae7b65336e9809e491443480ff5c459ae384368006d&idx=1&mid=2247487439&scene=21&sn=5de4d076c6d2f54c35985d9f62550b07#wechat_redirect
[_TencentOS Tiny-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda1f6a1ba28e0d134d0419e5673991ece7c228cec74194c601beec57d3f72ddd0dc22c9b1&idx=1&mid=2247487330&scene=21&sn=68a753e8c99c7d330b587c7b4e337261#wechat_redirect
[_OMI-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda1c6a1ba28d039ed66601b0efa8c1a805a3e0a3f056b9b04af7867db317e69cca4ae9695&idx=1&mid=2247487314&scene=21&sn=500e481751d132a2d361a080f47e38a7#wechat_redirect
[_APIJSON- _ORM]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda1c5a1ba28d3553d08b5f150b62275ecc7bd676e24352a6a03105938fd0ef56e35300e10&idx=1&mid=2247487313&scene=21&sn=9a33c81e296cc88920c09a635a83138c#wechat_redirect
[_TARS-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda01ba1ba290dd8acc17bc91f6a1c084395326f78d428a14c727a0b1c99685451dfda5bc6&idx=1&mid=2247487119&scene=21&sn=25091eed2842493734be05f7dfd77d64#wechat_redirect
[Apache InLong-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda019a1ba290fe43c45e5664e3ae589368bde050a63aa6ce6025e9800c78c0848e6895f95&idx=1&mid=2247487117&scene=21&sn=155dc3e9736912a404f6ba7501932c5d#wechat_redirect
[Tencent KonaJDK]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda0efa1ba29f96f263d6b0182ed0f987f20253191c8a8443671f5b8a99cb4b0d4b8f84d2e&idx=1&mid=2247487099&scene=21&sn=823f119f5c6822d67f944ce64ef4ada8#wechat_redirect
[_SuperEdge-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda352a1ba2a446d994bc684fb6e70dc87f4ffe1ffe857be250b8b083da615796e29f72d08&idx=1&mid=2247486918&scene=21&sn=87cc487244f6d3a93b3493dee3ccff89#wechat_redirect
[_Hippy-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda3f2a1ba2ae4fb62d00c2b7de33146a28e97ad974cb242a4862abb2504d103c7782b7124&idx=1&mid=2247486822&scene=21&sn=9fa6f5778c220de0c168d165b1a0d30d#wechat_redirect
[_ Angel-]: http://mp.weixin.qq.com/s?__biz=MzIwMzYwMjkzOQ%3D%3D&chksm=96cda233a1ba2b25ce2fb0a6cc2c2309797321f1fcb4feea3750a6427c799589333815fc6b0a&idx=1&mid=2247486631&scene=21&sn=15fa080953ee5406d8aa06a7727e9bcb#wechat_redirect
[87ca8daee3bb903e3a30ddad40f74dc6.png]: /images/20221005/f04710bc70484a3a90923856c0b708b9.png