pytorch 输出中间层特征的实例

清疚 2023-01-10 05:04 132阅读 0赞

更多python教程请到： [菜鸟教程][Link 1] https://www.piaodoo.com/

**pytorch 输出中间层特征：**

tensorflow输出中间特征，2种方式：

1. 保存全部模型(包括结构)时，需要之前先add\_to\_collection 或者 用slim模块下的end\_points

2. 只保存模型参数时，可以读取网络结构，然后按照对应的中间层输出即可。

but：Pytorch 论坛给出的答案并不好用，无论是hooks，还是重建网络并去掉某些层，这些方法都不好用（在我看来）。

我们可以在创建网络class时，在forward时加入一个dict 或者 list，dict是将中间层名字与中间层输出分别作为key:value,然后作为第二个值返回。前提是：运行创建自己的网络（无论fine-tune），只保存网络参数。

个人理解：虽然每次运行都返回2个值，但是运行效率基本没有变化。

**附上代码例子：**

import torch
    import torchvision
    import numpy as np
    from torch import nn
    from torch.nn import init
    from torch.autograd import Variable
    from torch.utils import data

EPOCH=20  
BATCH\_SIZE=64  
LR=1e-2

train\_data=torchvision.datasets.MNIST(root=’./mnist’,train=True,  
transform=torchvision.transforms.ToTensor(),download=False)  
train\_loader=data.DataLoader(train\_data,batch\_size=BATCH\_SIZE,shuffle=True)

test\_data=torchvision.datasets.MNIST(root=’./mnist’,train=False)

test\_x=Variable(torch.unsqueeze(test\_data.test\_data,dim=1).type(torch.FloatTensor)).cuda()/255  
test\_y=test\_data.test\_labels.cuda()

class CNN(nn.Module):  
def **init**(self):  
super().**init**()  
self.conv1=nn.Sequential(  
nn.Conv2d(in\_channels=1,out\_channels=16,kernel\_size=4,stride=1,padding=2),  
nn.ReLU(),  
nn.MaxPool2d(kernel\_size=2,stride=2))  
self.conv2=nn.Sequential(nn.Conv2d(16,32,4,1,2),nn.ReLU(),nn.MaxPool2d(2,2))  
self.out=nn.Linear(32*7*7,10)

def forward(self,x):  
per\_out=\[\] \#\#\#\#\#\#\#\#\#\#\#\#修改处\#\#\#\#\#\#\#\#\#\#\#\#\#\#  
x=self.conv1(x)  
per\_out.append(x) \# conv1  
x=self.conv2(x)  
per\_out.append(x) \# conv2  
x=x.view(x.size(0),-1)  
output=self.out(x)  
return output,per\_out

cnn=CNN().cuda() \# or cnn.cuda()

optimizer=torch.optim.Adam(cnn.parameters(),lr=LR)  
loss\_func=nn.CrossEntropyLoss().cuda()\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#

for epoch in range(EPOCH):  
for step,(x,y) in enumerate(train\_loader):  
b\_x=Variable(x).cuda()\# if channel==1 auto add c=1  
b\_y=Variable(y).cuda()

# print(b\_x.data.shape) #

optimizer.zero_grad()
    output=cnn(b_x)[0] ##原先只需要cnn(b_x) 但是现在需要用到第一个返回值##
    loss=loss_func(output,b_y)# Variable need to get .data
    loss.backward()
    optimizer.step()
    
    if step%50==0:
      test_output=cnn(test_x)[0]
      pred_y=torch.max(test_output,1)[1].cuda().data.squeeze()
      '''
      why data ,because Variable .data to Tensor;and cuda() not to numpy() ,must to cpu and to numpy 
      and .float compute decimal
      '''
      accuracy=torch.sum(pred_y==test_y).data.float()/test_y.size(0)
      print('EPOCH: ',epoch,'| train_loss:%.4f'%loss.data[0],'| test accuracy:%.2f'%accuracy)
    #                       loss.data.cpu().numpy().item() get one value

torch.save(cnn.state\_dict(),’./model/model.pth’)

\#\#输出中间层特征，根据索引调用\#\#

conv1: conv1=cnn(b\_x)\[1\]\[0\]

conv2: conv2=cnn(b\_x)\[1\]\[1\]

\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#

**hook使用：**

res=torchvision.models.resnet18()

def get\_features\_hook(self, input, output):\# self 代表类模块本身  
print(output.data.cpu().numpy().shape)

handle=res.layer2.register\_forward\_hook(get\_features\_hook)

a=torch.ones(\[1,3,224,224\])

b=res(a) 直接打印出 layer2的输出形状，但是不好用。因为，实际中，我们需要return，而hook明确指出 不可以return 只能print。

所以，不建议使用hook。