深度学习模型移植的移动端框架总结

墨蓝 2022-03-31 07:30 408阅读 0赞

截止2018年，主流移动端框架总结：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70][]

腾讯：ncnn与featurecnn对比，前者开源早，代码、文档完善；后者测试速度略微快一点

小米MACE：刚开源，可能会碰到很多问题

百度MDL：速度比ncnn慢

安卓 cpu类型：ARM，x86

ios cpu类型：ARM

1、 tensorflowLite

文档：[https://tensorflow.google.cn/lite/][https_tensorflow.google.cn_lite]

2、ncnn（腾讯）

如下是ncnn开源项目负责人nihui的采访：[https://juejin.im/entry/599a5e136fb9a024a40430bb][https_juejin.im_entry_599a5e136fb9a024a40430bb]

a)       无任何第三方库

b)      纯c++实现，跨平台

c)       汇编级优化，计算速度极快 使用ARM NEON 指令实现卷积层，全连接层，池化层等大部分cnn关键层

d)      支持多核并行运算

e)       可扩展的模型设计，支持 8bit 量化和半精度浮点存储

f)        支持直接内存引用加载网络模型

g)      可注册自定义层实现并扩展

项目地址：[https://github.com/Tencent/ncnn][https_github.com_Tencent_ncnn]

3、MACE(Mobile AI Compute Engine ) 小米的开源框架

说明文档：[https://mace.readthedocs.io/en/latest/][https_mace.readthedocs.io_en_latest]

项目地址：[https://github.com/xiaomi/mace][https_github.com_xiaomi_mace]

**mdl、ncnn和tflite的对比：**

![E5_9B_BE_E7_89_87_201.png_version_1_modificationDate_1544175892000_api_v2][]

相同点：

a. 只含推理（inference）功能，使用的模型文件需要通过离线的方式训练得到。

b. 最终生成的库尺寸较小，均小于500kB。

c. 为了提升执行速度，都使用了ARM NEON指令进行加速。

d. 跨平台，iOS和Android系统都支持。

不同点：

a. MDL和NCNN均是只支持Caffe框架生成的模型文件，而TfLite则只支持自家大哥TensorFlow框架生成的模型文件。

b. MDL支持利用iOS系统的Matal框架进行GPU加速，能够显著提升在iPhone上的运行速度，达到准实时的效果。而NCNN和TFLite还没有这个功能

4、paddle-mobile (百度)（老版称MDL）

项目地址：[https://github.com/PaddlePaddle/paddle-mobile][https_github.com_PaddlePaddle_paddle-mobile]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTc3MDE2OQ_size_16_color_FFFFFF_t_70]: /images/20220331/812c098f220f4a158253ef38acd5d090.png
[https_tensorflow.google.cn_lite]: https://tensorflow.google.cn/lite/
[https_juejin.im_entry_599a5e136fb9a024a40430bb]: https://juejin.im/entry/599a5e136fb9a024a40430bb
[https_github.com_Tencent_ncnn]: https://github.com/Tencent/ncnn
[https_mace.readthedocs.io_en_latest]: https://mace.readthedocs.io/en/latest/
[https_github.com_xiaomi_mace]: https://github.com/xiaomi/mace
[E5_9B_BE_E7_89_87_201.png_version_1_modificationDate_1544175892000_api_v2]: http://47.96.254.39:8090/download/attachments/3272679/%E5%9B%BE%E7%89%87%201.png?version=1&modificationDate=1544175892000&api=v2
[https_github.com_PaddlePaddle_paddle-mobile]: https://github.com/PaddlePaddle/paddle-mobile