利用PaddleHub 2.x 完成文本分类训练的坑

你的名字 2022-10-15 12:58 167阅读 0赞

基于项目选择了PaddlePaddle 作为文本分类的基础，经过一周多的使用终于有所进展，把文本分类的相关工作做了一个简单模型。  
  
首先说说PaddlePaddle , 现在做深度学习，更多用户使用的是TensorFlow / PyTorch ，但其实还有很多类似的框架，PaddlePaddle就是其中之一。有人会说TensorFlow / PyTorch 已经这么优秀了，为何还用 PaddlePaddle 呢 ？我这里也想结合一周多的使用说说 。当初使用 Paddle Paddle框架我看中的是他在自然语言中文领域有很多现成的模型，举个例子如情感分类，如阅读理解，还有自动问答等，而且在使用上也是非常简单。我就是奔着这个去的，至于其他像内存占用小啊，API易用这些用过就知道其实是一个场景相对的工作。如果我们使用自然语言相关，我是建议使用，但在计算机视觉或者其他的都差不多。PaddlePaddle 在设计初期就兼顾了动态图和静态图，所以还是不错的。

PaddlePaddle 有不少预训练的模型，基于预训练组建了一个PaddleHub , 可以让你快速调用并完成模型的管理，你还可以基于自有的模型做迁移学习，更好地服务应用场景。这里做文本分类，我就直接用了PaddleHub 自有的 ERNIE 进行迁移学习。就这样我就开始了一段神奇之旅。

一.ERNIE

在中文领域，这是一个非常非常棒的自然语言模型，和BERT 比，采用了先知Mask机制，和随机Mask 的BERT比，能更有效对中文常用词进行判断。更多可以参考 [https://github.com/PaddlePaddle/ERNIE][https_github.com_PaddlePaddle_ERNIE]

二. 具体使用遇到的一些问题，PaddlePaddle 在网上搜索的例子都是有问题的，因为基于原来的例子基本是按照1.x 版本([https://aistudio.baidu.com/aistudio/projectdetail/186443][https_aistudio.baidu.com_aistudio_projectdetail_186443])改的，只能自己碰

1. 环境问题，我现在的Cuda 环境是11.1 ， 但是无论最新的2.1 还是2.0.2 其实都没有支持的，开始我自己也慌了第一步就放弃么？但我认真看了下，其实2.0.2 是支持11.0 也是可以在11.1的CUDA上跑，所以安装环境就变成了

pip install paddlepaddle-gpu==2.0.2.post110 -f https://paddlepaddle.org.cn/whl/stable.html

所以对应的PaddleHub 就是2.1.0 (这里还是得修正下，PaddleHub 用2.1，原来是2.0.2)

注：如果你是CPU就不需要考虑这个，但我觉得没有GPU训练也是太扯了如果做这个

2. ERNIE 版本选择，其实我本来想要ERNIE，但最后选择ERNIE-TINY是因为他更小巧，更适应我的场景, 如果你想应用其他也是可以的，他支持多种语义模型

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzODg0MjQ_size_16_color_FFFFFF_t_70][]

import paddlehub as hub
    model = hub.Module(name='ernie_tiny', version='2.0.1', task='seq-cls', num_classes=5)

3. 因为我是做迁移学习的文本分类所以这里就需要去继承原有的TextClassificationDataset，我一直觉得是一个简单活，结果花了我一堆时间，因为这里对数据格式有要求，第一列必须是Label , 而且token是一个Bert+Custom , 并且一定要做好测试集和训练集，这里我真的花了5天去找，但最后还是追看TextClassificationDataset 找到答案，主要是文档太少

from typing import Dict, List, Optional, Union, Tuple
    from paddlehub.datasets.base_nlp_dataset import TextClassificationDataset
    import paddlenlp.data.tokenizer as tk
    from paddlenlp.data import JiebaTokenizer
    from paddlenlp.transformers import BertTokenizer
    from paddlehub.text.tokenizer import CustomTokenizer
    
    DATA_HOME = "./datasets/data/"
    
    class TagDatasets(TextClassificationDataset):
        def __init__(self ,  tokenizer: Union[BertTokenizer, CustomTokenizer],max_seq_len: int = 128, mode: str = 'train'):
            if mode == 'train':
                data_file = 'data_train_list.tsv' 
            elif mode == 'test':
                data_file = 'data_test_list.tsv'
            else:
                data_file = 'data_all_list.tsv'
            super().__init__(
                base_path=DATA_HOME,
                max_seq_len=max_seq_len,
                tokenizer= tokenizer,
                data_file=data_file,
                label_list = ['0', '1', '2', '3', '4'], #改动2
                is_file_with_header=True)
    
    train_dataset = TagDatasets(tokenizer=model.get_tokenizer(), max_seq_len=128, mode='train')
    test_dataset = TagDatasets(tokenizer=model.get_tokenizer(), max_seq_len=128, mode='test')

4. 训练这里细节也挺多的，特别最基本的一个traindata 这里要说，我发现是要补充上learning\_rate ，否则有些东西奇奇怪怪

import paddle
    optimizer = paddle.optimizer.Adam(learning_rate=5e-5, parameters=model.parameters())
    
    trainer = hub.Trainer(model, optimizer,use_gpu=True, checkpoint_dir='./model/2021052501/ernie_text_cls')
    
    trainer.train(train_dataset, epochs=10, batch_size=32, eval_dataset=train_dataset,save_interval=5)
    trainer.evaluate(test_dataset, batch_size=32)

这是我训练的一些结果，还是不错，这个过程我花了5个工作日，真是痛哭流涕

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzODg0MjQ_size_16_color_FFFFFF_t_70 1][]

三. 一些工作还是要继续的

1. 部署，其实PaddleHub建议用PaddleServing 来部署的，但由于现在模型还在调整，数据在增加，所以临时方案还是直接用PaddleHub去解释模型，这里内存在服务器占用大，要改进

2. 调优，还有很多方法，还在学习中，希望日后可以填上

3. onnx , 还是想转换为onnx ，但文档很少，还是得花时间

4. 压缩，模型压缩就是技术活了，怎么样能做到一个精度高，容量小的模型，又是我要考虑的了

四. 小结

学习是一步步的，经过1周多，终于有成果， PaddlePaddle是好东西，但文档，例子欠缺，我希望利用自己项目的经验分享给大家。

[https_github.com_PaddlePaddle_ERNIE]: https://github.com/PaddlePaddle/ERNIE
[https_aistudio.baidu.com_aistudio_projectdetail_186443]: https://aistudio.baidu.com/aistudio/projectdetail/186443
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzODg0MjQ_size_16_color_FFFFFF_t_70]: /images/20221014/0350858ca762407ea6cdc6a49d987bfc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzODg0MjQ_size_16_color_FFFFFF_t_70 1]: /images/20221014/da07778280194e3f9dcd0c68ed2f9eda.png