强化学习中loss函数不下降

太过爱你忘了你带给我的痛 2021-11-16 13:52 1057阅读 0赞

## 问题描述 ##

采用PPO算法训练`gym.make('CartPole-v0')`环境。  
参数设置如下：

hidden_units = 50
    layers = 3
    learning_rate = 0.001 # critic 和 actor learning rate相同
    max_train_episodes = int(1e4)

在训练过程中效果逐渐变好，即每50步的平均reward增加，但是loss函数不下降  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODEwMjkxMg_size_16_color_FFFFFF_t_70]

但是训练过程中的 critic loss和actor loss（tensorboard）一直不下降

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODEwMjkxMg_size_16_color_FFFFFF_t_70 1]

## 原因分析 ##

随着训练的进行，Buffer内的数据不断增加，数据一直是动态变化的，因而 actor和critic训练的数据集是动态变化的，此和监督学习固定数据集有区别，因此loss不呈现下降趋势。  
参考：  
[https://stackoverflow.com/questions/47036246/dqn-q-loss-not-converging][https_stackoverflow.com_questions_47036246_dqn-q-loss-not-converging]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODEwMjkxMg_size_16_color_FFFFFF_t_70]: /images/20211116/ad8c0022a7fc47d297e650a72c3753b1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODEwMjkxMg_size_16_color_FFFFFF_t_70 1]: /images/20211116/dfacafb5aff14e4e94311444f4c13a63.png
[https_stackoverflow.com_questions_47036246_dqn-q-loss-not-converging]: https://stackoverflow.com/questions/47036246/dqn-q-loss-not-converging

发表评论取消回复

表情：

评论列表（有 0 条评论，1057人围观）

还没有评论，来说两句吧...

相关阅读

相关强化学习算法中深度强化学习（Deep Reinforcement Learning）

深度强化学习（Deep Reinforcement Learning）是一种结合深度学习和强化学习的算法，用于解决具有高维状态空间和动作空间的复杂任务。它通过将神经网络作为值函

本是古典何须时尚/ 2024年03月24日 23:33/ 0 赞/ 175 阅读

相关深度学习——损伤函数（dice_loss）

'dice\_loss' 代表的是一种常用于图像分割任务的损失函数，Dice Loss。该损失函数基于 Dice 系数（Dice Coefficient）进行定义，可以用于评估

深碍√TFBOYSˉ_/ 2024年03月24日 13:09/ 0 赞/ 135 阅读

相关训练loss不下降原因

目录训练loss不下降原因 1. 学习率过大或过小 2. 数据预处理问题 3. 模型复杂度问题 4. 数据集规模问题 5. 参数初始化问题示例：训练loss不

妖狐艹你老母/ 2024年02月19日 10:10/ 0 赞/ 130 阅读

相关模型训练中loss下降陡升的原因

这些天在做一个竞赛，其中的loss下降过程如下左图： ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_

「爱情、让人受尽委屈。」/ 2022年09月12日 04:00/ 0 赞/ 334 阅读

相关 Keras loss函数

''' Created on 2018-4-16 ''' def compile( self, optimizer, 优化器

╰半夏微凉°/ 2022年05月27日 09:13/ 0 赞/ 270 阅读

相关 caffe中的各种loss函数

转自：[https://blog.csdn.net/u012177034/article/details/52144325][https_blog.csdn.net_u0121

约定不等于承诺〃/ 2022年05月11日 00:00/ 0 赞/ 318 阅读

相关降低损失 (Reducing Loss)：梯度下降法

降低损失 (Reducing Loss)：梯度下降法 [外网原文及视频教程链接][Link 1][https://developers.google.com/machin

谁践踏了优雅/ 2022年02月27日 15:24/ 0 赞/ 391 阅读

相关强化学习中的REINFORCE策略函数

转自：[https://blog.csdn.net/Pony017/article/details/81146374][https_blog.csdn.net_Pony017_

小鱼儿/ 2022年01月21日 11:23/ 0 赞/ 265 阅读

相关深度学习实战（九）—— loss不下降的解决方法

当我们训练一个神经网络模型的时候，我们经常会遇到这样的一个头疼的问题，那就是，神经网络模型的loss值不下降，以致我们无法训练，或者无法得到一个效果较好的模型。导致

待我称王封你为后i/ 2021年12月20日 05:45/ 0 赞/ 1635 阅读

相关强化学习中loss函数不下降

问题描述采用PPO算法训练`gym.make('CartPole-v0')`环境。参数设置如下： hidden_units = 50 layer

太过爱你忘了你带给我的痛/ 2021年11月16日 13:52/ 0 赞/ 1058 阅读