权重初始化对于激活函数的选择：随机常态分布/随机正态分布初始化(标准差为0.01或1)、Xavier(Glorot)初始化、He初始化

﹏ヽ暗。殇╰゛Y 2023-07-02 12:23 27阅读 0赞

# ![20191009191333910.png][] #

# [日萌社][Link 1] #

[人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）][AI_Keras PyTorch MXNet TensorFlow PaddlePaddle]

--------------------

[tensorflow 2.0 画出model网络模型的拓扑图][tensorflow 2.0 _model]

[tensorflow 2.0 的回调函数callbacks（TensorBoard、ModelCheckpoint）][tensorflow 2.0 _callbacks_TensorBoard_ModelCheckpoint]

[TensorBoard视觉化网络每层权重分布、视觉化网络层结构][TensorBoard]

[MSE(均方误差)、MAE(平均绝对误差)][MSE_MAE]

[from\_logits][from_logits]

[CE(Cross-Entropy)、BCE(Binary Cross-Entropy 即Sigmoid+CE)、CCE(Categorical Cross-Entropy 即Softmax+CE)][CE_Cross-Entropy_BCE_Binary Cross-Entropy _Sigmoid_CE_CCE_Categorical Cross-Entropy _Softmax_CE]

[对连续值/离散值进行预处理的两种方式（标准化/one-hot化）、反标准化/逆标准化、字符串预处理][one-hot]

[损失函数loss、指标函数metrics][loss_metrics]

[激活函数 Sigmoid、Tanh、ReLU、Softmax][Sigmoid_Tanh_ReLU_Softmax]

[Batch Normalization][]

[反向传播、梯度下降、学习率、优化器optimizers（GD、SGD、Momentum、AdaGrad、Adam）][optimizers_GD_SGD_Momentum_AdaGrad_Adam]

[权重初始化对于激活函数的选择：随机常态分布/随机正态分布初始化(标准差为0.01或1)、Xavier(Glorot)初始化、He初始化][0.01_1_Xavier_Glorot_He]

[图像增强(IA)、数据预处理][IA]

[混淆矩阵tf.math.confusion\_matrix][tf.math.confusion_matrix]

[使用预训练网络训练的两种方式：Keras Applications、TensorFlow Hub][Keras Applications_TensorFlow Hub]

--------------------

1.权重初始化：
    	0.全连接层/卷积层完整写法
    		1.不显式写权重初始化方法的话，默认使用Glorot uniform initialization（GU），也可以显式写出kernel_initializer='glorot_uniform'
    			layers.Dense(输出神经元数量, '激活函数', False) #第三个参数位置：use_bias=True/False
    			layers.Conv2D(输出的特征图层数, (卷积核h,卷积核w), activation='激活函数')
    			layers.Dense(输出神经元数量, '激活函数', False, kernel_initializer='glorot_uniform') 
    			layers.Conv2D(输出的特征图层数, (卷积核h,卷积核w), activation='激活函数', kernel_initializer='glorot_uniform')

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70][]

2.显式写指定的权重初始化方法的话，则使用指定的权重初始化方法
    			比如RN(随机常态分布/随机正态分布初始化)、GN(Xavier(Glorot)初始化)、HN(He初始化)都要显式写出指定才能使用。
    			RN(随机常态分布/随机正态分布初始化 Random normal distribution initialization)：initializers.RandomNormal(0,0.01)
    			GN(Xavier/Glorot初始化 Glorot normal initialization)：initializers.glorot_normal()
    			HN(He初始化 He normal initialization)：initializers.he_normal()
    
    	1.正态分布初始化(标准差为0.01或1)
    		先导入 from tensorflow.keras import initializers
    		0.随机正态分布：tf.random.normal([5,10],dtype=tf.float64) 生成5*10的二维数组
    		1.正态分布初始化，标准差为0.01：initializers.RandomNormal(0,0.01)
    			缺点：容易造成梯度消失
    		2.正态分布初始化，标准差为1：initializers.RandomNormal(0,1)
    			缺点：当构建太多层网络时，还是容易造成梯度消失
    		3.全连接层/卷积层完整写法
    			layers.Dense(输出神经元数量, '激活函数', False, initializers.RandomNormal(0, 0.01)) #第三个参数位置：use_bias=True/False
    			layers.Dense(输出神经元数量, '激活函数', False,  kernel_initializer=initializers.RandomNormal(0, 1))
    			layers.Conv2D(输出的特征图层数, (卷积核h,卷积核w), activation='激活函数',initializers.RandomNormal(0, 0.01))
    			layers.Conv2D(输出的特征图层数, (卷积核h,卷积核w), activation='激活函数', kernel_initializer=initializers.RandomNormal(0, 1))
    
    	2.Xavier(Glorot)初始化
    		先导入 from tensorflow.keras import initializers
    		Xavier初始化(又称Glorot初始化)：initializers.glorot_normal()
    		全连接层/卷积层完整写法
    			layers.Dense(输出神经元数量, '激活函数', False, initializers.glorot_normal()) #第三个参数位置：use_bias=True/False
    			layers.Conv2D(输出的特征图层数, (卷积核h,卷积核w), activation='激活函数', initializers.glorot_normal())
    			layers.Conv2D(输出的特征图层数, (卷积核h,卷积核w), activation='激活函数', kernel_initializer=initializers.glorot_normal())
    
    		1.Keras使用Xavier(Glorot)初始化作为网络权重的预设初始化。
    		2.隐藏层的激活函数推荐使用ReLU，但如果隐藏层的激活函数使用Sigmoid/Tanh时，可以使用Xavier(Glorot)对权重做初始化，
    		  可以在一定程度上改善了网络层数过深时的梯度消失的问题，但仍然存在反向传播中衰减的问题。
     		3.当隐藏层的激活函数使用ReLU，同时又使用Xavier(Glorot)初始化时，注意不能构建层数太深的网络模型，
    		  因为随着层数的增加，使用ReLU激活函数的该隐藏层的输出值分布会越靠近0，如此很有可能会造成梯度消失问题。
    
    	3.He初始化
    		先导入 from tensorflow.keras import initializers
    		He初始化：initializers.he_normal()
    		全连接层/卷积层完整写法
    			layers.Dense(输出神经元数量, '激活函数', False, initializers.he_normal()) #第三个参数位置：use_bias=True/False
    			layers.Conv2D(输出的特征图层数, (卷积核h,卷积核w), activation='激活函数', initializers.he_normal())
    			layers.Conv2D(输出的特征图层数, (卷积核h,卷积核w), activation='激活函数', kernel_initializer=initializers.he_normal())
    
    		1.He初始化为Xavier(Glorot)初始化的变形，可以解决“Xavier(Glorot)初始化网络权重过程中的使用ReLU激活函数构建层数太深的网络模型时所造成的”梯度消失问题。
    		2.使用He初始化成功解决了“使用Xavier(Glorot)初始化方法的同时使用ReLU激活函数构建层数太深的网络模型时所造成的”输出分布会聚集于0附近的问题，
    		  尤其网络越深时，使用Xavier(Glorot)初始化方法的同时使用ReLU激活函数构建的层数越深的话，Xavier(Glorot)初始化方法会造成输出分布会聚集于0附近，
    	 	  由于He初始化方法使每一层的输出分布都很平均，所以He初始化成功解决了Xavier(Glorot)初始化的问题。
    
    	4.总结
    		1.使用Sigmoid/Tanh作为隐藏层的激活函数的话，建议使用Xavier(Glorot)初始化。
    		2.使用ReLU或其他变形作为隐藏层的激活函数的话，建议使用He初始化。
    		3.使用ReLU作为隐藏层的激活函数的话，其性能优于Sigmoid/Tanh。
    
    2.Batch Normalization
    	1.Batch Normalization 作用
    		强制让每一层的输出分布变得均匀，用于对每一个batch批次数据进行计算mean平均值和std标准差，并最后累加起来，
    		作为对网络每一层的输出都做标准化，还有额外对输出进行缩放(Scale)、偏移(Shift)的参数。
    		Batch Normalization使得可以同时使用较大的学习率进行训练，不仅可以时的网络收敛速度加快，更一定程度上减少梯度消失/梯度爆炸的出现，
    		并可实现减少使用Dropout/正则化Regularization(L1/L2)的同时也同样达到避免过拟合的问题，
    		并且Batch Normalization也不需要依赖权重初始化方法。
    
    	2.Batch Normalization 使用
    		layers.BatchNormalization()：
    			一般配置在卷积层layers.Conv2D和激活函数之间，用于作为对卷积运算输出进行标准化之后使得输出分布变得均匀，
    			然后再输入到激活函数中，使得激活函数的输出分布也同样变得比较均匀，从而达到降低激活函数中出现梯度消失/梯度爆炸的问题。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2][]

1.因为Sigmoid的导函数最大值为f(0)=0.25，也就是说当反向传播中每经过一层隐藏层的Sigmoid时，
      其梯度值都要乘上0.25，代表每经过一次其梯度值就要被衰减0.25倍，如果反向传播中需要经过五层隐藏层的Sigmoid的话，
      那么其梯度值一共至少会被衰减0.25的5次方的倍数，那么将造成神经网络前面的几层的权重将很难被更新。
    2.当隐藏层使用Sigmoid激活函数，并同时使用标准差为1的正态分布初始化的话，那么从Sigmoid函数曲线图得知，
      如果当Sigmoid函数输出值大多都落在0和1附近的话，那么在计算反向传播的过程中，根据Sigmoid的Derivative导数曲线得知，
      传递值会趋于0，依然会造成梯度消失的问题。
    3.当隐藏层使用Sigmoid激活函数，并同时使用标准差为0.01的正态分布初始化的话，那么从Sigmoid函数曲线图得知，
      如果当Sigmoid函数输出值大多都落在0.5附近的话，那么在计算反向传播的过程中，根据Sigmoid的Derivative导数曲线得知，
      传递值会落在0.25附近，虽然一定程度上改善了“使用标准差为1的正态分布初始化所造成的”梯队消失问题，
      但是如果构建太多层网络的话，依然有可能会发生梯度消失的问题。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 5][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 7][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 8][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 9][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 10][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 11][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 12][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 13][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 14][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 15][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 16][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 17][]

[20191009191333910.png]: https://img-blog.csdnimg.cn/20191009191333910.png
[Link 1]: http://www.rimengshe.com/
[AI_Keras PyTorch MXNet TensorFlow PaddlePaddle]: https://blog.csdn.net/zimiao552147572/article/details/88867161
[tensorflow 2.0 _model]: https://azusa.blog.csdn.net/article/details/104092884
[tensorflow 2.0 _callbacks_TensorBoard_ModelCheckpoint]: https://azusa.blog.csdn.net/article/details/104100362
[TensorBoard]: https://azusa.blog.csdn.net/article/details/104132982
[MSE_MAE]: https://azusa.blog.csdn.net/article/details/104094483
[from_logits]: https://azusa.blog.csdn.net/article/details/104095436
[CE_Cross-Entropy_BCE_Binary Cross-Entropy _Sigmoid_CE_CCE_Categorical Cross-Entropy _Softmax_CE]: https://azusa.blog.csdn.net/article/details/104095759
[one-hot]: https://azusa.blog.csdn.net/article/details/104099669
[loss_metrics]: https://azusa.blog.csdn.net/article/details/104099800
[Sigmoid_Tanh_ReLU_Softmax]: https://azusa.blog.csdn.net/article/details/104108314
[Batch Normalization]: https://azusa.blog.csdn.net/article/details/104115714
[optimizers_GD_SGD_Momentum_AdaGrad_Adam]: https://azusa.blog.csdn.net/article/details/104106429
[0.01_1_Xavier_Glorot_He]: https://azusa.blog.csdn.net/article/details/104110857
[IA]: https://azusa.blog.csdn.net/article/details/104114416
[tf.math.confusion_matrix]: https://azusa.blog.csdn.net/article/details/104125078
[Keras Applications_TensorFlow Hub]: https://azusa.blog.csdn.net/article/details/104134536
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200203214849751.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/2020013015253863.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200129221037316.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200129222735492.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200129222734386.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200129222741586.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200129222744593.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200129222747719.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 8]: https://img-blog.csdnimg.cn/20200129222751427.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 9]: https://img-blog.csdnimg.cn/20200129222754427.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 10]: https://img-blog.csdnimg.cn/20200129222801137.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 11]: https://img-blog.csdnimg.cn/20200129222757641.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 12]: https://img-blog.csdnimg.cn/20200129222809150.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 13]: https://img-blog.csdnimg.cn/20200129222805264.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 14]: https://img-blog.csdnimg.cn/20200129222808300.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 15]: https://img-blog.csdnimg.cn/20200129222818872.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 16]: https://img-blog.csdnimg.cn/20200129222814446.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0_size_16_color_FFFFFF_t_70 17]: https://img-blog.csdnimg.cn/20200129222825876.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9henVzYS5ibG9nLmNzZG4ubmV0,size_16,color_FFFFFF,t_70