基于tensorflow框架实现人脸识别算法（支持从头训练和摄像头测试）

女爷i 2024-03-24 20:39 46阅读 0赞

[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88247839  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88247839

## tensorflow-facenet ##

人脸识别算法，结合 facenet 网络结构和 center loss 作为损失，基于 tensorflow 框架，含训练和测试代码，支持从头训练和摄像头测试

### 模型介绍 ###

本代码在训练开始前通过 MTCNN 网络对数据集的图片进行筛选，筛选出能识别的人脸图像，并通过人脸框将图片裁剪 resize 成一定尺度用于模型的输入，对于[人脸检测 MTCNN 算法的讲解][MTCNN]，我的另一篇项目中做了详尽的介绍和代码注释，本代码的实现也是在此基础上简单修改。  
  
  
本代码参考 [FaceNet: A Unified Embedding for Face Recognition and Clustering][FaceNet_ A Unified Embedding for Face Recognition and Clustering] 的主体结构，即使用 inception\_resnet\_v1 作为模型主体架构,输出一定维度的图片 embeddings。facenet 的损失函数采用 triplet\_loss,即对于某张训练图片 img,再选取一张同一类别一张图作为 pos，选取不同类别的一张图作为 neg。img 的 embeddings 与 pos 的 embeddings 的平方和作为 pos\_dist,im 的 embeddings 和 neg 的 embeddings 的平方和作为 neg\_dist，使 pos\_dist 与 neg\_dist 的差总保持一定阈值。实际训练中在每一 batch 中对于某一张图，选取同一类别图像作为 pos，选取 embeddings 平方和大于 pos 的不同类别图像作为 neg，依次构成三元组来训练模型。triplet\_loss 的公式如下所示：  
  
![a28a5532f2e489b01f836f2f8f21e754.png][]  
  
但是这样训练三元组并不能确保每次训练的数据的 pos 和 neg 图片都是最难识别的，而且模型收敛极慢。[A Discriminative Feature Learning Approach for Deep Face Recognition][] 提出 center\_loss，可以对模型很快收敛。本代码的损失函数就参考 center\_loss 论文中损失函数。损失公式如下所示：  
  
![06c9be771bf61b512afc3130cc34cffd.png][]  
  
代码中的损失函数采用 softmax 交叉熵和 center\_loss 相结合。softmax 交叉熵为了使类间距离变大，center\_loss 是计算某一图片与该类别图片 embeddings 的均值的损失，为了使类间距离变小。论文中采取 minst 实验来说明损失函数的功能，如下图所示：  
  
![4e94a7dc5a7ab4b92792520296c919b0.png][]  
![782a14c9c2bc6bc663ca8c79dae4c1e2.png][]  
  
在实际训练中并不是遍历整个数据集来求取某类别 center 的 embeddings，而是只针对每一个 batch 中出现的类别的 center 通过 batch 内相同类别的图像 embeddings 来进行一定学习率的更新，未出现该批次的类别的 center 不进行更新。  
  
  
训练过程中是有类别标记的，那在实际视频测试的时候的验证身份是没有在训练集中出现的类别该怎么办？对于实际测试的时候，有身份图片，和待验证图片，主要就是计算两者 embeddings 之间的平方和均值与阈值进行比较，当待验证图片与身份图片的 embeddings 的平方和均值小于一定阈值就判定待验证图片的身份。  
  
  
我的代码只训练了 15 个 epoch，如果你有兴趣可以在我的基础上重载继续训练或者重新训练，我在筛选图像的时候花费了好长时间，所以要做好心理准备。

### 代码介绍 ###

本代码参考了 [davidsandberg 的 facenet][davidsandberg _ facenet]

#### 环境说明 ####

*  ubuntu16.04  
    
 *  python3.6.5  
    
 *  tensorflow1.8.0  
    
 *  opencv3.4.3  
    
 *  pip install tqdm 为了显示进度条  
    
 *  pip install h5py 测试时候存储身份图片的 embeddings

#### 代码介绍 ####

*  align 下放置的是 MTCNN 的相关代码，align\_mtcnn.py 是筛选图像的主程序，其他代码具体都取自[我的 MTCNN 的项目][MTCNN]  
    
 *  data 下放置的是训练数据以及筛选后的数据  
    
 *  pictures 下放置的是你需要对比的身份图像，特别强调文件名称要是全英文路径，opencv 识别中文路径和添加中文比较费劲我就没加这一功能。  
    
 *  test 下放置的 embeddings.py 是为了生成身份图像的 embeddings 省得每次测试都要重新生成,test.py 是通过摄像头来识别人的身份  
    
 *  train 里放置的 config.py 是一些参数设定，inception\_resnet\_v1.py 是模型主体结构，train.py 是训练代码

#### ***补充说明***    ####

其他 face loss 可参考此[链接][Link 2],包含 arcface,cosface,center loss

#### 下载数据 ####

如果你想自己训练，下载 [CASIA-WebFace 数据][CASIA-WebFace]，提取密码是 y3wj，多谢 [Yang Fang][] 的提供。将 CASIA-WebFace 解压到 data 目录下。  
  
  
如果你想继续我的模型训练或者想纯粹跑一下代码，那么你可以下载我的[训练模型][Link 3]解压里面的模型文件到 model 目录下。

#### 运行 ####

##### 训练: #####

将目录 cd 到 align 下，  
  
python align\_mtcnn.py 生成筛选的人脸图像  
  
将目录 cd 到 train 下，  
  
python train.py 进行训练

###### 测试： ######

将你的身份图片放置到 pictures 目录下  
  
将目录 cd 到 test 下  
  
python embeddings.py 生成身份图像的 embeddings 并存储  
  
python test.py 测试摄像头读取图像的身份，可以自行改变[阈值的选取][Link 4]  
  
如果有什么问题还请留言多多指教！

#### 注意 ####

align/utils.py line95 image=tf.cast(image,tf.float32)-127.5/128.0 应改为 image=(tf.cast(image,tf.float32)-127.5)/128.0  
  
相应 test/test.py line152 scaled=cv2.cvtColor(scaled,cv2.COLOR\_BGR2RGB)-127.5/128.0 应改为 scaled=(cv2.cvtColor(scaled,cv2.COLOR\_BGR2RGB)-127.5)/128.0  
  
test/embeddings.py 的 line115 的 scaled =cv2.resize(cropped,(160, 160),interpolation=cv2.INTER\_LINEAR)-127.5/128.0 改为 scaled =(cv2.resize(cropped,(160, 160),interpolation=cv2.INTER\_LINEAR)-127.5)/128.0  
  
  
由于本人失误我的模型应该就是基于此训练的，所以如果要改正需要重新训练模型，不过我想效果应该会更好！  
  
多谢[@ltpjob][ltpjob] 的 issues7  
  
希望大家继续批评指正！！！

### 结果展示 ###

结果是我通过摄像头的身份验证，其中身份图像来源于百度图片，手机上的图片来源于新浪微博。  
  
![df6c1e6ca03416e5d15177d254863411.png][]  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88247839  
[资源下载地址][Link 1]：https://download.csdn.net/download/sheziqiong/88247839

[Link 1]: https://download.csdn.net/download/sheziqiong/88247839
[MTCNN]: https://github.com/LeslieZhoa/tensorflow-MTCNN
[FaceNet_ A Unified Embedding for Face Recognition and Clustering]: https://arxiv.org/abs/1503.03832
[a28a5532f2e489b01f836f2f8f21e754.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/e473aaa20b0b467ba619c93d77db1523.png
[A Discriminative Feature Learning Approach for Deep Face Recognition]: https://link.springer.com/chapter/10.1007%2F978-3-319-46478-7_31
[06c9be771bf61b512afc3130cc34cffd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/c8c46a7173eb40769556e3b0835c0b6b.png
[4e94a7dc5a7ab4b92792520296c919b0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/ceed4211a92c42c48fd3d1bb1bc7d917.png
[782a14c9c2bc6bc663ca8c79dae4c1e2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/ed90f10ca34c4ffb80398e6b148ecf1f.png
[davidsandberg _ facenet]: https://github.com/davidsandberg/facenet
[Link 2]: https://github.com/LeslieZhoa/Move-Stone/blob/370264cf71d4ff74f40ef53a80474756c283c204/some_trick.py#L32
[CASIA-WebFace]: https://pan.baidu.com/s/1hQCOD4Kr66MOW0_PE8bL0w
[Yang Fang]: https://github.com/Yangel-hide
[Link 3]: https://www.jianguoyun.com/p/DdD70RYQv7mYBxjE5YoB
[Link 4]: https://github.com/LeslieZhoa/tensorflow-facenet/blob/master/test/test.py#L22
[ltpjob]: https://github.com/ltpjob
[df6c1e6ca03416e5d15177d254863411.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/183c6540c2fb44508fb15a7587eb3525.png