三、AI学习笔记|神经网络调试

怼烎@ 2023-02-14 01:47 85阅读 0赞

1、常调节的超参数

学习率
动量梯度下降中的 k
每层的神经元个数 n
子训练集 mini-batch 的大小
神经网络层数 L
学习率控制衰减超参数 decayRate

2、调节方法

网格搜索法：效率很低，不推荐使用

随机搜索法：在合理的取值范围之内，随机选取一些点。可以尝试更多不同的超参数值，先寻找到大概适合的值，将参数确定在该

点的周围区域，然后进行更精密的搜索

3、采样标尺

随机搜索可以叫做随机采样，或者随机均匀采样。

假如取值范围是 0.0001 - 1

线性标尺：

指数标尺：

发表评论取消回复

表情：

评论列表（有 0 条评论，85人围观）

还没有评论，来说两句吧...

相关阅读

相关神经网络学习笔记

神经网络学习笔记 BP神经网络 matlab工具箱函数学习激活函数学习 softmax BP神经网络 matlab工具箱函

向右看齐/ 2023年06月27日 03:11/ 0 赞/ 171 阅读

相关二、AI教程学习笔记 | 调试神经网络（一）

1、[调参][Link 1] 提高速度一般在小数据集上合适的参数，在大数据集上效果也不会太差。因此可以尝试对数据进行精简，以提高速度，在有限的时间内可以尝

心已赠人/ 2023年05月30日 13:00/ 0 赞/ 290 阅读

相关二、AI教程学习笔记 | 神经网络优化（二）

目录 1、mini-batch 2、如何为mini-batch选择合理的大小 3、指数加权平均 4、动量梯度下降 5、RMSprop 6、Adam优化算法 7、学

电玩女神/ 2023年05月30日 10:54/ 0 赞/ 64 阅读

相关二、AI教程学习笔记 | 神经网络优化（一）

目录 1、如何配置数据集 2、欠拟合和过拟合 3、如何解决欠拟合与过拟合 4、L2和L1正则化 5、dropout 6、数据增强为什么需要数据增强：数据增

偏执的太偏执、/ 2023年05月30日 10:54/ 0 赞/ 70 阅读

相关一、AI教程学习笔记 | 神经网络基础知识（二）

目录 1、浅层神经网络 2、如何计算浅层神经网络的前向传播 3、如何计算浅层神经网络的反向传播 4、为什么需要激活函数 5、常见的激活函数（1）sigmoid函数

柔光的暖阳◎/ 2023年05月30日 10:53/ 0 赞/ 98 阅读

相关一、AI教程学习笔记 | 神经网络基础知识（一）

目录 1、如何将数据输入到神经网络中 2、神经网络是如何进行预测的 3、神经网络如何判断自己预测得是否准确 4、神经网络是如何进行学习的 5、计算图 6、如何计算逻

客官°小女子只卖身不卖艺/ 2023年05月30日 10:50/ 0 赞/ 49 阅读

相关三、AI学习笔记|神经网络调试

1、常调节的超参数学习率动量梯度下降中的 k 每层的神经元个数 n 子训练集 mini-batch 的大小神经网络层数 L 学习

怼烎@/ 2023年02月14日 01:47/ 0 赞/ 86 阅读

相关图学习笔记（三）：图神经网络

图学习笔记（三）：图与图学习回顾六. 图神经网络（Graph Neural Networks）一、什么是图神经网络二、有

淩亂°似流年/ 2023年01月12日 04:16/ 0 赞/ 281 阅读

相关 AI入门：神经网络实战----迁移学习

前言学过化学的人都知道，到现在为止，世界上一共只发现118种化学元素，通过不同的排列组合，却可以得到我们丰富多彩的世界。同样的，简单的几何结构也就那么几种，但正是由它们组

r囧r小猫/ 2023年01月01日 09:51/ 0 赞/ 323 阅读

相关神经网络学习笔记-02-循环神经网络

神经网络学习笔记-02-循环神经网络本文是根据WildML的Recurrent Neural Networks Tutorial写的学习笔记。不推荐阅读（写的不好

阳光穿透心脏的1/2处/ 2022年07月11日 16:05/ 0 赞/ 480 阅读