Pytorch 基础模型组件：nn.Module、nn.Sequential、优化器类、常见的损失函数

曾经终败给现在 2023-07-24 05:46 8阅读 0赞

# ![20191009191333910.png][][日萌社][Link 1] #

[人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）][AI_Keras PyTorch MXNet TensorFlow PaddlePaddle]

--------------------

# Pytorch基础模型组件 #

## 目标 ##

1.  知道Pytorch中Module的使用方法
2.  知道Pytorch中优化器类的使用方法
3.  知道Pytorch中常见的损失函数的使用方法
4.  知道如何在GPU上运行代码
5.  能够说出常见的优化器及其原理

## 1. Pytorch完成模型常用API ##

在前一部分，我们自己实现了通过torch的相关方法完成反向传播和参数更新，在pytorch中预设了一些更加灵活简单的对象，让我们来构造模型、定义损失，优化损失等

那么接下来，我们一起来了解一下其中常用的API

### 1.1 `nn.Module` ###

`nn.Module` 是`torch.nn`提供的一个类，是pytorch中我们`自定义网络`的一个基类，在这个类中定义了很多有用的方法，让我们在继承这个类定义网络的时候非常简单

当我们自定义网络的时候，有两个方法需要特别注意：

1.  `__init__`需要调用`super`方法，继承父类的属性和方法
2.  `forward`方法必须实现，用来定义我们的网络的向前计算的过程

用前面的`y = wx+b`的模型举例如下：

from torch import nn
    class Lr(nn.Module):
        def __init__(self):
            super(Lr, self).__init__()  #继承父类init的参数
            self.linear = nn.Linear(1, 1) # 声明网络中的组件
    
        def forward(self, x):
            out = self.linear(x)
            return out

注意：

1.  `nn.Linear`为torch预定义好的线性模型，也被称为**全链接层**，传入的参数为输入的数量，输出的数量(in\_features, out\_features),是不算(batch\_size的列数)
2.  `nn.Module`定义了`__call__`方法，实现的就是调用`forward`方法，即`Lr`的实例，能够直接被传入参数调用，实际上调用的是`forward`方法并传入参数

# 实例化模型
    model = Lr()
    # 传入数据，计算结果
    predict = model(x)

### 1.2 nn.Sequential ###

如果模型结构比较简单，在forward函数中没有很复杂的操作。这时可以用nn.Sequential来构建模型，nn.Sequential会自动完成forward函数的创建.

In [163]: model = nn.Sequential(nn.Linear(2,64), nn.Linear(64, 1))
    
    In [164]: x = torch.randn(10,2) # 10个样本，2个特征
    
    In [165]: model(x)
    Out[165]:
    tensor([[-0.3507],
            [-0.3708],
            [-0.4118],
            [-0.2604],
            [-0.4318],
            [-0.3503],
            [-0.4953],
            [-0.5464],
            [-0.5273],
            [-0.4542]], grad_fn=<AddmmBackward>)

### 1.3 优化器类 ###

优化器(`optimizer`)，可以理解为torch为我们封装的用来进行更新参数的方法，比如常见的随机梯度下降(`stochastic gradient descent,SGD`)

优化器类都是由`torch.optim`提供的，例如

1.  `torch.optim.SGD(参数，学习率)`
2.  `torch.optim.Adam(参数，学习率)`

注意：

1.  参数可以使用`model.parameters()`来获取，获取模型中所有`requires_grad=True`的参数
2.  优化类的使用方法
    
    1.  实例化
    2.  所有参数的梯度，将其值置为0
    3.  反向传播计算梯度
    4.  更新参数值

示例如下：

optimizer = optim.SGD(model.parameters(), lr=1e-3) #1. 实例化
    optimizer.zero_grad() #2. 梯度置为0
    loss.backward() #3. 计算梯度
    optimizer.step()  #4. 更新参数的值

### 1.4 损失函数 ###

前面的例子是一个回归问题，torch中也预测了很多损失函数

1.  均方误差:`nn.MSELoss()`,常用于回归问题
2.  交叉熵损失：`nn.CrossEntropyLoss()`，常用于分类问题

使用方法：

model = Lr() #1. 实例化模型
    criterion = nn.MSELoss() #2. 实例化损失函数
    optimizer = optim.SGD(model.parameters(), lr=1e-3) #3. 实例化优化器类
    for i in range(100):
        y_predict = model(x_true) #4. 向前计算预测值
        loss = criterion(y_true,y_predict) #5. 调用损失函数传入真实值和预测值，得到损失结果
        optimizer.zero_grad() #5. 当前循环参数梯度置为0
        loss.backward() #6. 计算梯度
        optimizer.step()  #7. 更新参数的值

[20191009191333910.png]: /images/20230528/aa177725a6e445d3b0b1af754bb6bb4d.png
[Link 1]: http://www.rimengshe.com/
[AI_Keras PyTorch MXNet TensorFlow PaddlePaddle]: https://blog.csdn.net/zimiao552147572/article/details/88867161