神经网络前向传播算法

梦里梦外; 2022-06-02 08:06 279阅读 0赞

#前向传播算法的神经网络，输入为2个参数，隐藏层为3个参数，输出为1个参数
    
    import tensorflow as tf
    
    #声明w1、w2两个变量，通过设定seed参数随机种子，随机种子相同，则每次使用此代码都生成相同的随机数
    #stddev为标准差，没有mean设定均值，则均值默认为0
    w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1)) #w1为输入到隐藏层的权重，2*3的矩阵
    w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1)) #w2为隐藏层打输出的权重，3*1的矩阵
    
    x = tf.constant([[0.7, 0.9]])
    #将输入的特征向量定义为一个常量，x为1*2的矩阵
    
    a = tf.matmul(x, w1) #a为隐藏层的输出,matmul为矩阵的相乘
    y = tf.matmul(a, w2) #y为神经网络的输出
    
    sess = tf.Session() #创建会话
    #需要先初始化w1.w2的值，才能sess.run(y)
    # sess.run(w1.initializer) #初始化w1
    # sess.run(w2.initializer) #初始化w2
    init_op = tf.global_variables_initializer() #init_op为所有初始化的值
    sess.run(init_op)  #所有值进行初始化
    print(sess.run(y)) #输出神经网络的结果
    sess.close() #关闭会话
    
    >>[[ 3.95757794]]

在TensorFlow中，变量(tf.Variable)的作用就是保存和更新神经网络中的参数，需要指定初始值。变量是一种特殊的张量，声明函数tf.Variable知识一个运算，并没有给出直接结果。所有的变量都会被自动的加入GraphKeys.VARIABLES这个集合，通过tf.all\_cariables函数可以得到当前计算图上的全部变量。变量与张量一样，也拥有维度shape和类型type，类型不可改变，需要注意进行计算的时候要类型匹配。但是变量的维度是可以改变的，若w1,w2的维度不一样，但是类型一样，可以通过设置参数validate\_shape=False进行修改。如：

tf.assign(w1, w2, validate_shape=False）
    #赋值操作，将w2的值赋给w1

上面的代码只有一次输入，若想进行训练，需要一个训练数据集batch，利用batch的样例通过前向传播算法得到神经网络模型的预测结果。若像上面的代码使用常量表示batch，则计算图中的节点太多，于是，可以使用placeholder机制提供输入数据，placeholder相当于定义了一个输入数据所处的位置。需要注意的是placeholder中的类型也是不可改变的。若使用数量为3的数据集进行训练，代码如下：

#前向传播算法的神经网络，输入为2个参数，隐藏层为3个参数，输出为1个参数
    
    import tensorflow as tf
    
    #声明w1、w2两个变量，通过设定seed参数随机种子，随机种子相同，则每次使用此代码都生成相同的随机数
    #stddev为标准差，没有mean设定均值，则均值默认为0
    w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1)) #w1为输入到隐藏层的权重，2*3的矩阵
    w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1)) #w2为隐藏层打输出的权重，3*1的矩阵
    
    #定义placeholder作为存放存入数据的地方
    #维度不一定要定义,这里定义了一个3*2的矩阵
    x = tf.placeholder(tf.float32, shape=(3, 2), name="input")
    
    a = tf.matmul(x, w1) #a为隐藏层的输出,matmul为矩阵的相乘
    y = tf.matmul(a, w2) #y为神经网络的输出
    
    sess = tf.Session() #创建会话
    init_op = tf.global_variables_initializer() #init_op为所有初始化的值
    sess.run(init_op)  #所有值进行初始化
    print(sess.run(y, feed_dict={
       x: [[0.7, 0.9], [0.1, 0.4], [0.5, 0.8]]})) #输出神经网络的结果
    #feed_dict是一个字典，用来指定x的取值
    sess.close() #关闭会话
    
    >>[[ 3.95757794]
     [ 1.15376544]
     [ 3.16749239]]

若想使用n个样例，则将上面输入的3\*2改为n\*2则可。