PyTorch深度学习实战 | 基于RNN的文本分类

秒速五厘米 2024-03-25 16:37 113阅读 0赞

![ab0e740c81c84673aa08aeb04c933e3d.jpeg][]

> PyTorch是当前主流深度学习框架之一，其设计追求最少的封装、最直观的设计，其简洁优美的特性使得PyTorch代码更易理解，对新手非常友好。  
> 本文为实战篇，介绍基于RNN的文本分类！

本文将构建和训练基本的字符级RNN（递归神经网络）来对单词进行分类。展示如何“从头开始”进行NLP（自然语言处理）建模的预处理数据，尤其是不使用众多NLP工具库提供的许多便利功能，因此读者可以从系统层面角度了解NLP建模的预处理工作。

字符级RNN将单词作为一系列字符读取，之后在每个步骤输出一个预测结果和“Hidden State”，将其先前的Hidden State输入每个下一步。这里将最终的预测作为输出，即单词属于哪个类别。

具体来说，这里将训练来自18种起源于不同语言的数千种姓氏，并根据拼写方式预测名称的来源，样例如下。

![75b87ad9bf9e4d269cbf2d72f5993173.png][]

## **1、数据准备** ##

数据下载超链接：[https://download.pytorch.org/tutorial/data.zip][https_download.pytorch.org_tutorial_data.zip]。

解压缩上述数据得到18个txt文件，将它们放置在data/names目录下。下面提供一段代码做预处理。

![7ff245f7426949609c3bde75badb34c5.png][]

上述代码输出如下。

![83189e98db554890acd93632362f55c7.png][]

## **2、将名字转换为张量** ##

现在已经整理好了所有数据集中的名字，这里需要将它们转换为张量以使用它们。为了表示单个字母，这里使用大小为<1×n\_letters>的“one-hot”向量。一个one-hot向量用0填充，但当前字母的索引处的数字为1，例如 “ b”=<0 1 0 0 0 …>。为了用这些向量组成一个单词，这里将其中的一些连接成2维矩阵<line\_length × 1 × n\_letters>。

可以观察到数据的维度是<line\_length×1×n\_letters>，而不是<line\_length×n\_letters>，是因为额外的1维是因为PyTorch假设所有内容都是批量的——在这里只使用1的batchsize。

代码如下。

![3e45f7230cae43b0bfff3827c10eb270.png][]

输出如下。

![1f698e0ed3c14de6bd4212e4e7400e6b.png][]

## **3、构建神经网络** ##

在PyTorch中构建递归神经网络（RNN）涉及在多个时间步长上克隆多个RNN层的参数。RNN层保留了Hidden State和梯度，这些状态完全由PyTorch的计算图来自动完成维护。这意味着读者可以以非常“纯粹”的方式实现RNN，即只关心前馈网络（Feed-forward Network）而不需要关注反向传播（Back Propagation）。

下面样例中的RNN模块只有两个线性层，它接受一个输入和一个Hidden State，之后网络输出结果需要经过一个LogSoftmax层。RNN模型如图1所示。

![027f20d71db342abbc6522c2158a0d77.png][]

■ 图1 RNN模型

RNN代码定义如下。

![1745cb061e564a879ec8507acc61bd7b.png][]

![04e5046fc7ff4e1dacb6947f5a2802a4.png][]

要运行此网络，需要传递输入（在本例中为当前字母的Tensor）和先前的Hidden State（首先将其初始化为零）。这里将返回输出（每种语言的概率）和下一个Hidden State（将其保留用于下一步）。

![298c1350f42845f8a9fe401f60b2f231.png][]

为了提高效率，这里不想为每个步骤都创建一个新的Tensor，因此将使用lineToTensor代替letterToTensor并使用切片。这可以通过预先计算一批（Batch）张量来进一步优化。

![f997fa8f0cae4f87a0c7c1e358659a4a.png][]

可以看到，输出为<1×n\_categories>张量，其中每个项目都是该类别的可能性（更高的可能性更大）。

![e5730622825c4d9299a9179140d7c6cf.png][]

[ab0e740c81c84673aa08aeb04c933e3d.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/909f70debece4e85944a3d6adeebad55.png
[75b87ad9bf9e4d269cbf2d72f5993173.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/68252ecb10604f0aaa48a3d709ca27aa.png
[https_download.pytorch.org_tutorial_data.zip]: https://download.pytorch.org/tutorial/data.zip
[7ff245f7426949609c3bde75badb34c5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/0dcb92e6f41a4ba6ae5ed50d238b0b31.png
[83189e98db554890acd93632362f55c7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/e6911268d1924a7ba39b0fa58234615a.png
[3e45f7230cae43b0bfff3827c10eb270.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/8fdf4e8bf78049b8aae6a24d50f2ac30.png
[1f698e0ed3c14de6bd4212e4e7400e6b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/b640789ee5044ca196a0807a89c3db70.png
[027f20d71db342abbc6522c2158a0d77.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/8fbb44ee94b542a0bbed2fd9df76d5a2.png
[1745cb061e564a879ec8507acc61bd7b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/ae705d91b1084bf1bfad80d2ba314e34.png
[04e5046fc7ff4e1dacb6947f5a2802a4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/36519d1681ed4b2e85a92c2954edbf38.png
[298c1350f42845f8a9fe401f60b2f231.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/010e7af3399145129edcaec2aae4efea.png
[f997fa8f0cae4f87a0c7c1e358659a4a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/d3dfe29d24984608b517649bdbdcdda1.png
[e5730622825c4d9299a9179140d7c6cf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/25/5593712475494817b7821caa1271a575.png