PyTorch中 tensor.detach() 和 tensor.data 的区别详解

你的名字 2023-07-24 14:40 11阅读 0赞

PyTorch0.4中，`.data` 仍保留，但建议使用 `.detach()`, 区别在于 `.data` 返回和 x 的相同数据 `tensor,` 但不会加入到x的计算历史里，且`require s_grad = False`, 这样有些时候是不安全的, 因为 `x.data` 不能被 `autograd` 追踪求微分 。

`.detach()` 返回相同数据的 `tensor` ,且 `requires_grad=False` ,但能通过 `in-place` 操作报告给 `autograd` 在进行反向传播的时候.

**tensor.data**

>>> a = torch.tensor([1,2,3.], requires_grad =True)
    >>> out = a.sigmoid()
    >>> c = out.data
    >>> c.zero_()
    tensor([ 0., 0., 0.])
    
    >>> out     # out的数值被c.zero_()修改
    tensor([ 0., 0., 0.])
    
    >>> out.sum().backward() # 反向传播
    >>> a.grad    # 这个结果很严重的错误，因为out已经改变了
    tensor([ 0., 0., 0.])

**tensor.detach()**

>>> a = torch.tensor([1,2,3.], requires_grad =True)
    >>> out = a.sigmoid()
    >>> c = out.detach()
    >>> c.zero_()
    tensor([ 0., 0., 0.])
    
    >>> out     # out的值被c.zero_()修改 !!
    tensor([ 0., 0., 0.])
    
    >>> out.sum().backward() # 需要原来out得值，但是已经被c.zero_()覆盖了，结果报错
    RuntimeError: one of the variables needed for gradient
    computation has been modified by an

发表评论取消回复

表情：

评论列表（有 0 条评论，11人围观）

还没有评论，来说两句吧...

相关阅读

相关 pytorch和pycharm的区别

PyTorch 是一个深度学习框架，它主要用于深度学习模型的开发、训练和部署。它提供了很多用于深度学习的工具，例如自动求导、神经网络构建和训练等。 PyCharm 是一个 P

水深无声/ 2024年03月26日 08:30/ 0 赞/ 96 阅读

相关 Java中的==和equals()：区别详解

大家好！在 Java 编程中，比较对象的相等性是一个常见的任务。然而，你是否知道在 Java 中有两种不同的方法来比较对象的相等性：== 操作符和 equals() 方法？本文

悠悠/ 2023年10月14日 19:16/ 0 赞/ 92 阅读

相关 Java中==和equals()的区别【详解】

目录一、Java中==和equals()的区别 1、前述 2、数据到底存在哪在方法中声明的变量：在类中声明的变量： 3、“==”与equals() 相同

逃离我推掉我的手/ 2023年10月05日 19:27/ 0 赞/ 74 阅读

相关 PyTorch中的matmul函数详解

PyTorch中的两个张量的乘法可以分为两种： 1. 两个张量对应的元素相乘（element-wise），在PyTorch中可以通过`torch.mul`函数（或者 ∗ \

迈不过友情╰/ 2023年09月27日 12:46/ 0 赞/ 233 阅读

相关 PyTorch中 tensor.detach() 和 tensor.data 的区别详解

PyTorch0.4中，`.data` 仍保留，但建议使用 `.detach()`, 区别在于 `.data` 返回和 x 的相同数据 `tensor,` 但不会加入到x的计算

你的名字/ 2023年07月24日 14:40/ 0 赞/ 12 阅读

相关【pytorch】model.train和model.eval用法及区别详解

使用PyTorch进行训练和测试时一定注意要把实例化的model指定train/eval，eval()时，框架会自动把BN和DropOut固定住，不会取平均，而是用训练好的值，

妖狐艹你老母/ 2022年12月20日 08:38/ 0 赞/ 225 阅读

相关 Pytorch中的Dataset和DataLoader详解

0.总结 LawsonAbs的认知与思考，不一定完善和准确，还请各位读者怀批判思维阅读。使用`Dataset`提供数据集的封装，再使用`Dataloader

朱雀/ 2022年12月04日 09:09/ 0 赞/ 312 阅读

相关 PyTorch中的topk函数详解

https://blog.csdn.net/qq\_34914551/article/details/103738160?utm\_medium=distribute.pc\_

傷城~/ 2022年11月12日 14:59/ 0 赞/ 313 阅读

相关简述pytorch中squeeze函数和view函数的区别

如下图所示： ![在这里插入图片描述][20210503161012304.png] [20210503161012304.png]: /images/20221021

小灰灰/ 2022年10月21日 03:45/ 0 赞/ 116 阅读

相关详解Java中equals和==的区别

【正文】平时在学Android和Java语言的时候，总是碰到“equals”和“==”这两个字符，老感觉差不多；其实还是有一些区别的，今天干脆把它们彻底弄清楚。

旧城等待，/ 2021年07月25日 01:30/ 0 赞/ 536 阅读