天池之江杯视频识别&问答-SuperGUTS冠军-解决方案

雨点打透心脏的1/2处 2021-06-24 16:09 346阅读 0赞

[来源][Link 1]

由于PPT上都是图，直接发打字比较好

PPT那么多页其实也就几段字，哪有那么多东西讲

1. mp4关键帧I帧抽取，抽取I帧至40帧，不足则在I帧之间补足40帧

2. 2017vqa冠军的模型 faster rcnn

(1) 抽取36个物体，受限于IO效率，物体和帧之间以帧为重

(2) attribute特征，把输出bbox的属性词作为特征，一是无io压力，二是视频物体种类变化小，可依据该事实通过频率提高该特征信噪比

无效模型 densecap : image caption + action location

本想用它解决动作类问题，无奈句子不方便通过频率筛选，提高特征质量，以及他本身效果不算特别好

外加句子关键词太少

3. prior mask

各类question答案词表分布很不一致，如颜色类问题，数量类问题

很容易想到希望对每一类问题针对性处理，可通过用一个prior mask实现，将该类问题可能回答出的词标1，否则标0，

sigmoid激活后与之相乘，避免常识性错误，以及免去类间干扰(question类别)

如此实现了特征共享，但每类问题针对性处理，且可自由扩展类别数量

question类别用最易于区分的关键字作为类，如what color ,how many 以及or类问题的or两边的词

很容易有下面的改进方法(我没去做,感兴趣试试)

(1) 以2中抽取的视频attribute作为视频关键信息，通过这个抽取视频先验词表改进prior mask

(2) 减小类内干扰，如深红，浅红，细粒度分类无论在nlp还是cv都是个较难的任务,

但是不用细粒度即可答对，干脆放弃细粒度分类

这个问题可以抽象为用尽可能少的答案覆盖该类问题所有答案

4. 问答框架

多问多答，可变长输入

问题不足五个重复补足

1. 免去冗余的五次io

2. 带来上下文信息

3. 劣势是偏固定的采样方式使他分数若不使用上下文信息会劣于一般训练方式

改进方法：用0补，重复会让特征信号加强，然后loss梯度权重加倍。。。

用0补的话是常量无信息，输出时可配合mask把梯度屏蔽掉

5. 针对分镜问题的数据增强方案

找俩视频，各取一半帧数，时间轴拼接 (帧数取太少的话不会有效果的)

问题的话随便取出5个

attribute各取频率最高的一半

一问一答，label直接取逻辑加

交替训练

6. 其他数据增强

(1) 训练时抽来的40帧随机取16帧

(2) 测试时隔帧各采16帧，做test aug

7. 模型

(1) 注意力使用MLB计算（其实啥注意力都差不多)

(2) 注意力集成机制：前几层question和video算出注意力权重后，各个问题生成的权重(16,1,1)取平均

与video(16,36,384)各帧相乘

(3) attribute 与 question直接算MLB加权平均

(4) encode用conv 1\*1

用faster rcnn特征劣势是失去了空间局部依赖，又因此间接导致失去了物体级的时间局部依赖

rnn与cnn都不能用，采用self-attention+attention稀疏化解决跨时空依赖的想法

稀疏化方式 relu(w-(max(w)+min(w))/(1+λ))

经过调了半天λ，输出注意力矩阵后发现近乎为对角矩阵，退化为1\*1conv，故直接用1\*1conv

(6) video与question压成向量用co-attention(其实都差不多)

(7) 多问多答问答框架自带的上下文特征，其他question特征取平均与当前question拼接

(8) unit调到最小再调dropout（吐槽一下某人的0.95的dropout)

(9) 输入层bn + spatial dropout (bn在前，否则会有些shift)

分类层dropout，计算注意力前加spatial dropout

(10) focalloss

8. attention + loss 稀疏化(这部分我没用，分数不稳定，上限高下限低)

topk注意力，取权重前k名的取平均

loss稀疏化，loss最高的k个answer返回梯度，其他不反回

词表太小，loss稀疏化没效果，语言模型如word2vec这种词表近万或过万的有较大效果

可能物体仍然太少，所以不值得稀疏化

[Link 1]: https://tianchi.aliyun.com/forum/new_articleDetail.html?spm=5176.8366600.0.0.aff2311fSlnNAM&raceId=231676&postsId=38767

发表评论取消回复

表情：

评论列表（有 0 条评论，346人围观）

还没有评论，来说两句吧...

相关阅读

相关 Python实现基于先验MASK的视频问答(先验注意力机制的视频问答即之江数据集问答方案)

目录摘要 I Abstract II 第1章绪论 1 1.1 课题研究的背景以及意义 1 1.2 视频问答的国内外研究现状 3 1.3 课题的来源

た入场券/ 2024年03月26日 18:36/ 0 赞/ 76 阅读

相关之江实验室面试（部分）

讲下异步、同步、阻塞、非阻塞的概念。或者说，异步与非阻塞的区别？1 你们项目中用到了ShardingJDBC做分库分表，你们数据库中有多少数据？ Netty这

一时失言乱红尘/ 2023年10月04日 14:25/ 0 赞/ 23 阅读

相关 AI比赛-NER：“万创杯”中医药天池大数据竞赛——中药说明书实体识别挑战

大赛概况疫情催化下，人工智能正在持续助力中医药传承创新加速发展，其中中医用药知识体系沉淀挖掘是一个基础工作。通过挖掘中药说明书构建中药合理用药的知识图谱，将为中医规范诊

朴灿烈づ我的快乐病毒、/ 2023年09月25日 15:39/ 0 赞/ 39 阅读

相关 CVPR 2018 | CPN_COCO2017姿态估计冠军解决方案

[CVPR 2018 | Cascaded Pyramid Network for Multi-Person Pose Estimation][CVPR 2018 _ Casc

小灰灰/ 2023年07月12日 03:49/ 0 赞/ 24 阅读

相关冠军方案分享：ICPR 2020大规模商品图像识别挑战赛冠军解读

> 点击上方“机器学习与生成对抗网络”，关注"星标" > > 获取有趣、好玩的前沿干货！来源丨新智元编辑极市平台赛题介绍随着互联网技术和电子商务的迅猛发展

喜欢ヅ旅行/ 2023年01月08日 04:27/ 0 赞/ 146 阅读

相关 html5视频播放解决方案

关键词：html5 nativeapp webapp mp4 H.264 html5没学习之前总觉的很神秘。近期通过学习和研究html5有点成果，特总结分享给

桃扇骨/ 2022年07月21日 11:14/ 0 赞/ 333 阅读

相关视频直播解决方案

背景当下，视频直播行业在中国逐渐走红。在刚刚过去的2015年，视频直播成为互联网行业最抢眼的领域之一。从游戏到秀场，从传统的网页端到移动互联网，各大直播平台包括斗鱼、熊

清疚/ 2022年06月16日 12:08/ 0 赞/ 354 阅读

相关风险大脑-支付风险识别天池大赛（一）数据预处理

报了个名（据说deadline报名最有生产力），直播一下比赛吧，可能因为没时间会随时断更，大家有好的思路欢迎交流。60万的奖金，还是别指望了

梦里梦外;/ 2022年05月21日 02:59/ 0 赞/ 245 阅读

相关发票识别发票OCR解决方案

越来越多的发票需要整理，越来越多的时间耗费在发票上，手动录入和人工检索，不仅浪费时间，而且容易出错。人工智能的时代已经来临了，越来越多的工作都会用人工智能的方式来解决，效率的提

约定不等于承诺〃/ 2022年01月17日 14:45/ 0 赞/ 246 阅读

相关天池之江杯视频识别&问答-SuperGUTS冠军-解决方案

[来源][Link 1] 由于PPT上都是图，直接发打字比较好 PPT那么多页其实也就几段字，哪有那么多东西讲 1. mp4关键帧I帧抽取，抽取I帧至40帧，

雨点打透心脏的1/2处/ 2021年06月24日 16:09/ 0 赞/ 347 阅读