【阿里天池赛题】医学影像报告异常检测--赛题思路分析

超、凢脫俗 2023-01-11 03:44 262阅读 0赞

### 目录 ###

*  详细赛题
 *  1 初赛赛题分析
 *  2 赛题处理思路
 *  3 准备工作

这是本人的目前的思考拙见，如果有问题，请在评论区指出，还在持续思考实时更新

# 详细赛题 #

[【阿里天池赛题】2021年赛道一：医学影像报告异常检测][2021]

# 1 初赛赛题分析 #

（1）最多17个输入，但不固定，17类label，每个label0-1分类，但需要计算每个label的概率  
样本数量为10份  
训练集10000  
测试集3000  
（2）初赛是一个文本多标签多分类问题  
sklearn包中的两个函数来计算预测结果和预测概率

*  predict()：返回预测标签结果
 *  predict\_proba()：预测属于某个标签的概率

# 2 赛题处理思路 #

（1）详细分析赛题  
待完善。。。  
（2）数据预处理

*  缺失值填充(pandas包)
 *  异常值处理
 *  是否有噪音，是否需要数据清洗
 *  数据分布(Label类别分布、句子长度分布、统计特征的分布异常值、统计字段的缺失比例)+不均衡分布处理  
    （3）特征工程(特征值抽取)
 *  脱敏数据特征提取
 *  文本的向量处理（参考[天池的新闻文本分类][Link 1]也是处理文本向量）
 *  抽取的角度（需要头脑风暴）
 *  特征处理(归一化、特征、标签编码)  
    （4）分类模型
 *  分类算法：NB(Naive Bayes)，决策树、SVM、KNN、LR(Logistic Regression)等
 *  集成学习：RF(Random Forest)、GBDT、Adaboost、XGBoost、LightGBM、GatBoot等
 *  神经网络：DL模型如CNN、LSTM、RNN等  
    当数据量不大，暂不优先考虑神经网络  
    （5）优化
 *  算法优化
 *  参数优化

# 3 准备工作 #

查找相关和类似赛题(关键词：文本分类、多分类、文本向量处理、文本向量神经网络、脱敏数据处理)

*  文本分类：[天池新闻文本赛题][Link 1]
 *  二分类：[Kaggle泰坦尼克号二分类问题][Kaggle]
 *  文本多分类：F[lyAI医疗文本分类][lyAI]
 *  脱敏数据的处理赛题：2018 腾讯广告算法大赛、2018 高校大数据挑战赛—快手活跃用户预测、2018JD Dialog Challenge 任务导向型对话系统挑战赛(比赛信息汇总)
 *  数据处理相关赛题：[天猫重复购买预测][Link 2]

[2021]: https://betterbench.blog.csdn.net/article/details/112742659
[Link 1]: https://tianchi.aliyun.com/competition/entrance/531810/information
[Kaggle]: https://segmentfault.com/a/1190000016030922
[lyAI]: https://www.flyai.com/article/art0d41bcbfd7a6555585a5ea92
[Link 2]: https://tianchi.aliyun.com/notebook-ai/detail?postId=129743