多模态视频商品检索记录再刷新！第二届淘宝直播算法大赛完美落幕

淩亂°似流年 2022-09-16 14:27 99阅读 0赞

![5a3ede848635f1199410beb792c0711e.gif][]

10月20-10月24日，多媒体方向学术盛会ACM Multimedia 2021 于中国成都正式召开。阿里巴巴淘系技术与浙江大学联合举办的直播中多模态商品识别Workshop暨第二届淘宝直播商品识别大赛圆满结束。

淘系技术通过该 Workshop 开源了业界首个大规模的多模态视频商品检索数据集，并联合浙江大学教授庄越挺、悉尼科技大学教授杨易、天津大学教授韩亚洪等国内外知名学者发起多模态检索领域的国际挑战赛，旨在共同推动电商直播场景中多模态商品检索识别的研究和 AI 技术在实际应用场景中的落地。

![f22ddfeaaa81dc180fd75dd56c5e4065.png][]

在电商应用场景中，淘系技术通过直播商品识别算法，实现淘宝直播过程中商品和直播讲解点的有效关联，让消费者可以通过点击商品跳转观看该商品的真人讲解，实现边看边买的沉浸式消费体验。而直播间讲解商品多，视觉相似程度高，直播场景复杂度高，给直播中商品检索识别带来巨大的技术挑战。如何基于直播内容的理解，进行多模态商品检索和识别，是非常值得研究并需持续投入的课题。

![b72e22d4ee53790d5337dd5ddb6ef83f.png][]

基于淘宝直播数据构建的多模态视频商品检索数据集Watch and Buy (WAB)，淘系技术于4月27日正式发起第二届淘宝直播商品识别大赛，相较与第一届大赛，在赛题设计上引导选手注重全类别的识别效果，特别是长尾的商品类别、视觉纹理简单商品的识别等，另一方面更加强调多模态信息(主播讲解语音、商品标题)等信息在精确识别视觉相似讲解商品中的重要性。

本届赛事共吸引来自北京大学、清华大学、中科院、卡耐基梅隆大学、伦敦大学、南京大学、浙江大学等全球知名高校学者组成的587支队伍参加，历经3个月的激烈追逐，最终来自中科院计算所、北京大学、中南大学组成的队伍分别获得本赛事的冠军、亚军和季军。

![80e96ee94d8d3047136235d807b261bc.png][]

其中来自中科院计算所的冠军队伍的F1分数高达0.69，超过baseline0.22，Top3队伍的F1分数均超过0.6。在论文征集部分，workshop共接收了5篇论文，包括两篇long paper，三篇short paper。

![aca61d1a1dd5ab4543a9929a63058de7.png][]

Watch and Buy Challenge & workshop 成果总结

直播中多模态商品识别Workshop于10月20日下午在成都举行，聚集了来自海内外的计算机视觉领域专家们带来了精彩分享。

其中包括新加坡国立大学计算机学院的KITHCT讲座教授Tat-Seng Chua分享的“Deep Visual Analytics: Towards more Effective Multimodal Retrieval, QA and Recommendation”的keynote talk，

北京航空航天大学的刘偲副教授以“Cross Modal Intelligence Analysis and Generation”为主题的学术报告，

还有来自悉尼科技大学青年研究员朱霖潮主题为 “Challenges and Opportunities of Multimodal Understanding”的学术报告，

由淘系技术高级算法专家陈志文带来题为“Industrial Practice of Multimodal Video Content Understanding”的工业实践分享。

来自中科院、北大、中南大学、清华、华中科技大学的五位同学进行了口头报告，分享了他们的参赛方案和成果。

![252c0c12a52258b06d67a739016473c7.png][]

阿里巴巴淘系技术资深算法专家李晓波表示，“淘宝拥有最大规模的商品库，淘宝直播作为直播领域的先行者，实现通过直播的方式更好连接商品和消费者。在这个过程中，如何通过 AI 的能力，更好的理解视频直播内容，提升用户边看边买的消费体验是我们一直的追求。本次 workshop 通过提供真实的多模态商品识别的应用场景、数据，希望能够促进更多学术和工业的结合，激发更多创新研究和技术落地。”

本届ACM MM 2021 的大会 co-chair，来自浙江大学的庄越挺教授也表示，“阿里巴巴提供了真实的高质量的直播商品检索场景和数据，能够让学术界很好的参与到这个问题中。”

✿ **拓展阅读**

[![4476f89bbced2f9e313fea413ce97c13.png][]][4476f89bbced2f9e313fea413ce97c13.png 1]

[![74d08ea249a11c3562691d3fe46c280b.png][]][74d08ea249a11c3562691d3fe46c280b.png 1]

**作者****|**淘系技术

**编辑|**橙子君

**出品|**阿里巴巴新零售淘系技术

![aaccfb9edc8c155164a560ec48deb73f.png][]

![a63069b7724adc86ac9897dc80c8d74f.png][]

[5a3ede848635f1199410beb792c0711e.gif]: /images/20220828/fc19ca79c0a443f4bd0473d88ddb8e36.png
[f22ddfeaaa81dc180fd75dd56c5e4065.png]: /images/20220828/4c882127ae5b48aaba299a937de88c98.png
[b72e22d4ee53790d5337dd5ddb6ef83f.png]: /images/20220828/181a8c0e59c140a0955b90a71bbd13e5.png
[80e96ee94d8d3047136235d807b261bc.png]: /images/20220828/f8c21bb6d36344dea5042cfb45e09a55.png
[aca61d1a1dd5ab4543a9929a63058de7.png]: /images/20220828/b65c8b4af283442f8ca6eeec7e29c780.png
[252c0c12a52258b06d67a739016473c7.png]: /images/20220828/26665896e65c436aa5d7f66d6b2a887a.png
[4476f89bbced2f9e313fea413ce97c13.png]: /images/20220828/449c464619c841f986bbd154ef8ca42f.png
[4476f89bbced2f9e313fea413ce97c13.png 1]: http://mp.weixin.qq.com/s?__biz=MzAxNDEwNjk5OQ==&mid=2650432384&idx=1&sn=c3436523d507de87ebf5d677cbbc786e&chksm=8396ab98b4e1228e1bf5d0e325605a2a1c73f32533b2c2921054c6c0e466a05884f387a5833f&scene=21#wechat_redirect
[74d08ea249a11c3562691d3fe46c280b.png]: /images/20220828/a40d2e5cbef9497f9f06d8a3576984d2.png
[74d08ea249a11c3562691d3fe46c280b.png 1]: http://mp.weixin.qq.com/s?__biz=MzAxNDEwNjk5OQ==&mid=2650432016&idx=1&sn=f2b82d9d5201abcd57e1950718812425&chksm=8396aa08b4e1231e6670f92f6256fe0c75595bbbf7fad9668651e748fbb600ecacf150de9265&scene=21#wechat_redirect
[aaccfb9edc8c155164a560ec48deb73f.png]: /images/20220828/be815aae47924705a860a19623cb72fa.png
[a63069b7724adc86ac9897dc80c8d74f.png]: /images/20220828/f8c52f55cf0f4ef8b7529abb748d09b7.png