神经网络---数据预处理

客官°小女子只卖身不卖艺 2022-05-31 13:24 430阅读 0赞

在开始训练网络之前，良好的数据预处理和参数初始化能够达到事半功倍的效果。
处理数据和训练模型的技巧

  1. 数据预处理
    中心化：每个特征维度都减去相应的均值实现中心化，使得数据变成0均值，特别对于一些图像数据，为了方便我们将所有的数据都减去一个相同的值
    标准化：在使得数据都变成0均值之后，还需要使用标准化的做法让数据不同的特征维度都有着相同的规模。做法：(1)除以标准差，这样可以使得新数据的分布接近标准高斯分布；(2)让每个特征维度的最大值和最小值按比例缩放到-1~1之间
  2. 权重初始化
    批标准化：标准化这个过程是可微的，减少了很多不合理初始化的问题，可以将标准化过程应用到神经网络的每一个层做前向传播和反向传播，通常批标准化应用在全连接层后面、非线性层后面(激活函数)

  3. 防止过拟合
    如果网络容量过大会造成过拟合，但是防止过拟合的最佳方法并不是减少网络容量。
    (1)正则化:对于权重过大的部分进行惩罚………让参数更新之后更加靠近0
    (2)Dropout

    未完待续

发表评论

表情：
评论列表 （有 0 条评论，430人围观）

还没有评论，来说两句吧...

相关阅读

    相关 数据预处理

      我们已经知道，将数据输入神经网络之前，应该将数据格式化为经过预处理的浮点数张量。现在，数据以JPEG文件的形式保存在硬盘中，所以数据预处理步骤大致如下。 读取图像文

    秒速五厘米秒速五厘米/ 0 赞/ 366 阅读

    相关 神经网络-卷积神经网络

    卷积神经网络最基本的操作：卷积、池化、全连接 1、卷积操作 什么是卷积操作？我们先定义一个目的，让卷积神经网络去识别数字 “17” 和字母 “L”。 有三张图片，

    小鱼儿小鱼儿/ 0 赞/ 548 阅读