TorchText实践总结

布满荆棘的人生 2022-04-24 01:28 201阅读 0赞

*  TorchText详细介绍1[传送门][Link 1]
 *  TorchText入门教程，轻松玩转文本处理[传送门][Link 2]

from torchtext.data import Field,TabularDataset,Iterator,BucketIterator
    '''
    声明式加载数据方式
    tokenize：分词方式     可以先定义好函数
    '''
    #Field定义怎么处理原始数据
    TEXT = Field(sequential=True,tokenize=lambda x:x.split(),lower=True)
    #label 默认是数字类型，并且不是顺序序列
    LABEL = Field(sequential=False,use_vocab=False)
    #告诉fields处理那些数据
    tv_datafields = [("id",None),("comment_text",TEXT),("toxic",LABEL),("severe_toxic",LABEL),("threat",LABEL),("obscene", LABEL), ("insult", LABEL),
                     ("identity_hate", LABEL)]
    #splits方法可以同时读取训练集，验证集，测试集
    trn,vld = TabularDataset.splits(path='/Users/yangyang/Desktop/practical-torchtext/data',train='train.csv',validation='valid.csv',format='csv',
                                   skip_header=True,fields = tv_datafields)
    #加载数据后可以建立词典，建立词典的时候可以使用与训练的word vector
    #TEXT.build_vocab(train, vectors="glove.6B.100d")
    TEXT.build_vocab(trn)
    train_iter,val_iter = BucketIterator.splits((trn,vld),batch_sizes=(25,25),sort_key = lambda x:len(x.comment_text),sort_within_batch = False,repeat = False)
    for idx,batch in enumerate(train_iter):
        comment_text,toxic = batch.comment_text,batch.toxic
        print(toxic)
        print(comment_text)

原数据集示例展示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5nX3lhbmdxaQ_size_16_color_FFFFFF_t_70][]

构建后的DataSet示例：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5nX3lhbmdxaQ_size_16_color_FFFFFF_t_70 1][]

[Link 1]: https://zhuanlan.zhihu.com/p/37223078
[Link 2]: https://zhuanlan.zhihu.com/p/31139113
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5nX3lhbmdxaQ_size_16_color_FFFFFF_t_70]: /images/20220221/fad3a32c318449a48cd6d5ca2547f2f0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmd5YW5nX3lhbmdxaQ_size_16_color_FFFFFF_t_70 1]: /images/20220221/0c7d33482707402f97893cda5264d7dc.png