pytorch 中的 transforms.TenCrop 和 transforms.FiveCrop 讲解

待我称王封你为后i 2023-02-17 11:14 5阅读 0赞

# pytorch 中的 transforms.TenCrop 和 transforms.FiveCrop 讲解 #

## 1. transforms.TenCrop 和 transforms.FiveCrop 在干什么？ ##

这一点官方文档写的很清楚。

transforms.FiveCrop 就是在原图片的四个角和中心各截取一幅大小为 size 的图片， 而 transforms.TenCrop 就是在 transforms.FiveCrop 基础上再进行水平或者竖直翻转（Flip），默认为水平翻转。

torchvision.transforms.FiveCrop(size)
    torchvision.transforms.TenCrop(size, vertical_flip=False)

## 2. 怎么用？ ##

我们先看看官方给的例子。

transform = Compose([
    FiveCrop(size), # this is a list of PIL Images
    Lambda(lambda crops: torch.stack([ToTensor()(crop) for crop in crops])) # returns a 4D tensor
    ])
    
    #In your test loop you can do the following:
    input, target = batch # input is a 5d tensor, target is 2d
    bs, ncrops, c, h, w = input.size()
    result = model(input.view(-1, c, h, w)) # fuse batch size and ncrops
    result_avg = result.view(bs, ncrops, -1).mean(1) # avg over crops

上面的例子也还清晰，用了 FiveCrop 或者 TenCrop 之后数据变为 5D（bs, ncrops, c, h, w） 的张量，需要转为 4D(bs\*ncrops, c, h, w)后输入模型中。

## 3. 什么时候用？ ##

上面的例子中提到 “In your test loop”，显然是在测试的时候用，那在训练的时候可以用吗？  
通常我们仅仅在测试的时候用。由于这两种操作会使一张图片变为5张或者10张，那在喂入模型的时候，显然数据会增多，在训练的时候如果要用的话，需要对 label 进行相应的扩充，使 size 一致。另外一方便，在训练的时候用 RandomCrop 效果可能更好，因为 FiveCrop 或者 TenCrop 虽然一次得到多张图像，但是位置是固定的，多个 epoch 下来，不如 RandomCrop 产生的图像丰富。

## 4. 一个完整的例子 ##

test_transform = transforms.Compose([
        transforms.Resize((40, 40)),
        transforms.TenCrop(32),
        transforms.Lambda(lambda crops: torch.stack([transforms.ToTensor()(crop) for crop in crops])),
        transforms.Lambda(lambda crops: torch.stack([transforms.Normalize(norm_mean, norm_std)(crop) for crop in crops])),
    ])
    
    # ============================ inference ============================
    
    BASE_DIR = os.path.dirname(os.path.abspath(__file__))
    test_dir = os.path.join(split_dir, "test")
    
    test_data = RMBDataset(data_dir=test_dir, transform=test_transform)
    test_loader = DataLoader(dataset=test_data, batch_size=1)
    
    for i, data in enumerate(test_loader):
        inputs, labels = data
        bs, nc, c, h, w = inputs.size()
        inputs = inputs.to(device)
        labels = labels.to(device)
        outputs = net(inputs.view(-1, c, h, w))
        outputs_avg = outputs.view(bs,nc,-1).mean(1)
        _, predicted = torch.max(outputs_avg.data, 1)
    
        rmb = 1 if predicted.cpu().numpy()[0] == 0 else 100
        print("模型获得{}元".format(rmb))