Pytorch的骚操作

Myth丶恋晨 2022-03-12 14:17 291阅读 0赞

## 1. Pytorch的detach()、detach\_() ##

**detach():**  
返回一个新的 从当前图中分离的 Variable。  
返回的 Variable 永远不会需要梯度  
如果 被 detach 的Variable volatile=True， 那么 detach 出来的 volatile 也为 True  
还有一个注意事项，即：返回的 Variable 和 被 detach 的Variable 指向同一个 tensor

import torch
    from torch.nn import init
    from torch.autograd import Variable
    t1 = torch.FloatTensor([1., 2.])
    v1 = Variable(t1)
    t2 = torch.FloatTensor([2., 3.])
    v2 = Variable(t2)
    v3 = v1 + v2
    v3_detached = v3.detach()
    v3_detached.data.add_(t1) # 修改了 v3_detached Variable中 tensor 的值
    print(v3, v3_detached)    # v3 中tensor 的值也会改变

**detach\_():**  
将 Variable 从创建它的 graph 中分离，把它作为叶子节点  
(1)将Variable的grad\_fn 设置成None，在BP的时候，到这个Variable就找不到它的grad\_fn，所以就不会再往后BP了  
(2)将requires\_grad设置为False。需要计算梯度的话手动设置requies\_grad=True

## 用处： ##

假设有2个网络A，B，两个关系是这样的y=A(x),z =B(y)现在想用z.backward()来为B网络的参数来求梯度，但是又不想求A网络的梯度:

第一种方法：
    y = A(x)
    z = B(y.detach())
    z.backward()
    第二种方法：
    y = A(x)
    y.detach_()
    z = B(y)
    z.backward()

ps:个人感觉像Python的深copy、浅copy，顺着写一下Python的深浅copy

## Python的复制、深copy、浅copy ##

(1)python的直接赋值默认是浅copy，只是传递对象的引用，原始列表改变，子对象也会改变  
(2)深copy，包含对象里面的子对象的copy，原对象的改变不会造成深copy里任何子元素的改变

发表评论取消回复

表情：

评论列表（有 0 条评论，291人围观）

还没有评论，来说两句吧...

相关阅读

相关队列-来看Java骚操作

队列基本概念队列（Queue）是一种常见的数据结构，采用先进先出（FIFO，First-In-First -Out）的策略来管理数据。类似于现实生活中的

落日映苍穹つ/ 2023年10月13日 19:52/ 0 赞/ 67 阅读

相关 iptables的nat规则骚操作

水一枪我对防火墙这块的认知是比较低的，之前一直没怎么去用最多的要么就是 iptables -A INPUT -p tcp --dport 80 -j A

深藏阁楼爱情的钟/ 2023年08月17日 16:47/ 0 赞/ 143 阅读

相关 Linux的网络配置骚操作

一、设置动态IP地址打开虚拟网络编辑器查看网段 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_t

古城微笑少年丶/ 2023年06月25日 02:23/ 0 赞/ 8 阅读

相关 Chrome调试的骚操作一

Chrome的骚操作一 Chrome的copying & saving copying saving

以你之姓@/ 2023年02月17日 14:56/ 0 赞/ 124 阅读

相关修改数据库名字骚操作

RENAME TABLE bookstore.book TO bookstore\_01.book, bookstore.book2 TO bookstore\_01.bo

迈不过友情╰/ 2023年02月16日 12:03/ 0 赞/ 42 阅读

相关 GIT 操作之冷门骚操作

GIT 操作之冷门骚操作 git log（windows下）显示乱码处理 git 合并远程多次分支提交查看选中

女爷i/ 2022年12月24日 00:53/ 0 赞/ 168 阅读

相关 Pytorch的骚操作

1. Pytorch的detach()、detach\_() detach(): 返回一个新的从当前图中分离的 Variable。返回的 Variable 永

Myth丶恋晨/ 2022年03月12日 14:17/ 0 赞/ 292 阅读

相关 javascript 逻辑非(!) 的骚操作

在前一篇文章[《javascript 逻辑与(&&) 和逻辑或(||) 的骚操作》][javascript _ _ _]中有说逻辑与和逻辑或运算符的非常规使用方式，今

一时失言乱红尘/ 2022年01月23日 06:57/ 0 赞/ 286 阅读

相关 java byte[] 的骚操作

类似于C数组的操作 byte[] bytetest = {0x01,0x03}; 实现C语言的常量结构体数组 class AnsData {

灰太狼/ 2021年09月21日 12:56/ 0 赞/ 358 阅读

相关 github 加速骚操作

这篇文章是比较全的加速方法[https://www.cnblogs.com/pogyang/p/13797430.html][https_www.cnblogs.com_pog

旧城等待，/ 2021年06月24日 13:58/ 0 赞/ 586 阅读