BIDAF（Q&A）| Pytorch 用到的知识点总结

深碍√TFBOYSˉ_ 2023-02-28 12:56 37阅读 0赞

1 assert：当后面的语句执行结果为True时，程序继续执行。否则，程序中断。  
2 “\{\}”.format() 字符串格式化函数  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA_size_16_color_FFFFFF_t_70][]  
｛｝里填format（）里的字符串，0，1表示（）里字符串的顺序  
""把前面的结果作为字符串返回  
实例：

for i in range(2):
    	'highway_linear{}'.format(i)

返回结果：  
‘highway\_linear0’  
‘highway\_linear1’

3 setattr() 函数用于设置属性值，该属性不一定是存在的  
setattr(object, name, value)

>>>class A(object):
    ...     bar = 1
    ... 
    >>> a = A()
    
    >>> setattr(a, 'bar', 5)       # 设置属性 bar 值
    >>> a.bar
    5

在本程序中：

for i in range(2):
         setattr(self, 'highway_linear{}'.format(i),
                 nn.Sequential(Linear(args.hidden_size * 2, args.hidden_size * 2),
                               nn.ReLU()))
         setattr(self, 'highway_gate{}'.format(i),
                 nn.Sequential(Linear(args.hidden_size * 2, args.hidden_size * 2),
                               nn.Sigmoid()))

等价于setattr(self, ‘highway\_linear0’, value)

4 F.max\_pool1d  
用法：F.max\_pool1d(卷积结果, 要做池化的维度）F.max\_pool1d(conv, conv.shape\[2\]）  
比如原来维度(batch\_size, num\_filters, seq\_len-filter\_size+1)，池化后就把第三个维度压缩成1，(batch\_size, num\_filters, 1)  
本例：

x = F.max_pool1d(x, x.size(2)).squeeze()
    # (batch * seq_len, char_channel_size, 1) -> (batch * seq_len, char_channel_size)

5 getattr() 函数  
用于返回一个对象属性值 getattr(object, name\[, default\])

# x:(batch, seq_len, char_channel_size + word_dim)
    x = torch.cat([x1, x2], dim=-1)
    for i in range(2):
        h = getattr(self, 'highway_linear{}'.format(i))(x)
        g = getattr(self, 'highway_gate{}'.format(i))(x)
        x = g * h + (1 - g) * x
    # (batch, seq_len, hidden_size * 2)

此处，getattr(self, ‘highway\_linear\{\}’.format(i))返回的应该是

nn.Sequential(Linear(args.hidden_size * 2, args.hidden_size * 2),
                               nn.ReLU())

和：

nn.Sequential(Linear(args.hidden_size * 2, args.hidden_size * 2),
                               nn.Sigmoid())

**那么后面的(x)怎么理解呢？**  
x是这个nn.Sequential的传入参数，可见Relu和Sigmoid都不需要传入参数，Linear函数需要传入的参数只有一个，就是这里的hidden\_size  
所以 x 传给 hidden\_size\***2**。  
x的维度:(batch, seq\_len, char\_channel\_size + word\_dim)，这里就是把最后一个维度作为hidden\_size\***2**。

6 Pytorch的select()方法  
select(dim, index)

# q: (batch, q_len, hidden_size * 2)
    for i in range(q_len):
        # qi:(batch, 1, hidden_size * 2)
        # select:select(dim, index)
        qi = q.select(1, i).unsqueeze(1)

上例中，从第一个维度选择第i个，选完之后第1个维度消失，结果是(batch, hidden\_size \* 2)  
但是又经过了unsqueeze(1)，最终是(batch, 1, hidden\_size \* 2)

7 torch.stack  
把元素进行重排，不影响维度。  
参考：https://blog.csdn.net/Teeyohuang/article/details/80362756  
总结来说，原来三维的Tensor，第一个维度用abcd…z表示则，行和列分别用【】【】表示，则生成的Tensor排序为：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA_size_16_color_FFFFFF_t_70 1]

其中左边蓝色**表示第0个矩阵【第一个维度】，红色表示第0行【第二个维度】**  
黄色表示第一个维度（用abcd表示）的第0行【第二个维度】，绿色表示第0列【第三个维度】

8 python中行末尾的反斜杠：表示该行未输入完

# c: (batch, c_len, hidden_size * 2)
    # q: (batch, q_len, hidden_size * 2)
    # cq: (batch, c_len, q_len)
    s = self.att_weight_c(c).expand(-1, -1, q_len) + \
                    self.att_weight_q(q).permute(0, 2, 1).expand(-1, c_len, -1) + \
                    cq

9 expand（）方法：把tensor扩展为括号后面的维度  
注： **-1表示该维度值不改变**

上例等价于：

s = self.att_weight_c(c).expand(batch, c_len, q_len) + \
                    self.att_weight_q(q).permute(0, 2, 1).expand(batch, c_len, q_len) + \
                    cq

10 torch.max()  
函数返回两个tensor，第一个是最大值，第二个是索引，可以通过torch.max()\[0\], torch.max()\[1\]获取  
参考：https://www.jianshu.com/p/3ed11362b54f

F.softmax(torch.max(s, dim=2)[0], dim=1)

其中s:(batch, c\_len, q\_len)，对第二个维度取最大值，取完之后第二个维度消失，变成(batch, c\_len)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA_size_16_color_FFFFFF_t_70]: /images/20230209/feca016f8fd64f6fa160a0b800143882.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200721205508244.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2t1bkFVR1VTVA==,size_16,color_FFFFFF,t_70