排序层-深度模型-2018：MMOE【多任务学习模型】

比眉伴天荒 2023-09-28 18:49 4阅读 0赞

[《原始论文：Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts》][Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts]

[keras框架实现的开源地址][keras]

多任务学习模型MMoE，如果第一次接触此类模型或是没有相关的研究背景的话，其实容易不太容易理解这种多任务学习的价值所在。

一般来说，大部分人见过更多的都是单任务的模型，即一个模型完成一个任务。如果需要完成多个任务的话，则可以针对每个任务单独训练一个模型，像这样：

![在这里插入图片描述][6d1f66de0583472fbefd36ad8bfa6be2.png]

MMOE产生背景

*  多任务模型：在不同任务之间学习共性以及差异性，能够提高建模的质量以及效率。
 *  传统的多任务模型（Shared Bottom），随着任务之间相关性越小，模型预测效果越差。

--------------------

参考资料：  
[多任务学习之MMOE模型][MMOE]  
[22、谷歌MMOE多任务学习模型（转）][22_MMOE]  
[我要打十个：多任务学习模型MMoE解读][MMoE]  
[推荐模型之多任务模型：ESMM、MMOE][ESMM_MMOE]

[Modeling Task Relationships in Multi-task Learning with Multi-gate Mixture-of-Experts]: https://dl.acm.org/doi/10.1145/3219819.3220007
[keras]: https://github.com/drawbridge/keras-mmoe
[6d1f66de0583472fbefd36ad8bfa6be2.png]: https://img-blog.csdnimg.cn/6d1f66de0583472fbefd36ad8bfa6be2.png
[MMOE]: https://zhuanlan.zhihu.com/p/145288000
[22_MMOE]: https://www.cnblogs.com/Lee-yl/p/13274401.html
[MMoE]: https://www.jianshu.com/p/0f3e40bfd3ce?utm_campaign=haruki&utm_content=note&utm_medium=seo_notes&utm_source=recommendation
[ESMM_MMOE]: https://blog.csdn.net/A496608119/article/details/125410544