有了神经网络，带汤姆实时追踪杰瑞

喜欢ヅ旅行 2022-01-19 01:23 245阅读 0赞

利用大量动物视频数据，对神经网络进行训练，在复杂、动态环境下的动物行为观察中，实现更好的动物与背景分割效果，从而更好地进行动物追踪。

鸟为什么有时候会啄蛋？松鼠摆尾是想表达什么？喵星人弓起腰来是害怕还是愤怒？动物的种种行为背后，是否都蕴藏着这一族群的秘密？

喵星人的小心思你能猜对吗？

最早，有些部落和地区会把动物看做神明，人们希望从动物身上获得上天的预示，获得恩赐。

直到 20 世纪，才开始了对动物行为的科学研究，达尔文就是最早研究动物行为的科学家之一 。

但早期对行为学的研究只能依靠肉眼观察和简单的记录仪。

后来，应用视频观察、无线电遥测等先进技术，在田野和模拟自然条件的实验室中，动物行为可以监控和定量化，将大量数据应用电子计算机处理，使行为学从属于数量准则。

近年来，AI 技术也被重用于动物「行为语言」的捕捉与追踪中。

**利用 AI 工具对动物肢体运动的细节进行追踪**

近日，美国杰克逊实验室的科研人员就运用现代卷积神经网络架构，在开放领域开发了一种可扩展的小鼠跟踪方法，成功实现在复杂和动态的环境中追踪动物运动及行为，其准确度可达到人工水平。

据介绍，他们训练的神经网络能够使用简单的示例学习方法，对不同环境下、不同毛色、体形和行为的小鼠进行长时间跟踪，过程中也不需要人工持续监督。

## **人与自然：通过动物行为学彼此了解 ** ##

宇宙浩渺，地球的存在孤独而珍贵。在这颗星球上，除了人类有着完善的语言体系，其他动物都不曾拥有语言能力，这样让人类和其他族群有着本质的区别与隔阂。

**世界各地的人将不同的动物视为「神的使者」**  
**认为它们会为自己带来恩赐**

不过，某种意义上来说，动物行为就是它们的「语言」。它们种种行为都具有一定的生理基础。通过观察这些行为，人类便能了解动物的生理状况、情绪表达、学习行为等，这对心理学、教育学等学科都会产生一定的影响。

此外，对于养殖业来说，观察动物在各种环境条件下的行为反应，了解动物的活动模式，有助于提高动物的管理水平和生产能力。

对于研究苍蝇和老鼠行为学，旨在消灭目标动物的实验室来说，如果能够通过这些研究，彻底消灭传播疫情、细菌的害虫，对社会的益处就更大了。

观察动物视频是各个动物实验室进行研究的主要手段之一，但是大量的视频如果都靠人工去标记，未免太耗时耗力。

对于跟踪动物行为所产生的大量视频数据， AI 技术能够代替人工追踪与标记工作，甚至能够比人工更加精准地进行追踪。

**2018 年美国哈佛大学的一个团队开发的开源工具**  
**「DeepLabCut」可精准、快速追踪小动物行为**

美国的杰克逊实验室团队，就通过分析大量动物视频数据，训练神经网络自动对动物视频进行分析、跟踪甚至预测。

## **消灭害虫：基于神经网络的老鼠跟踪器 ** ##

杰克逊实验室通过基于神经网络的跟踪器，**实现对老鼠的自动追踪，不需要人工标记每一帧视频，也不需要在研究对象上放置标记物。**

他们针对不同的小鼠和不同的环境条件，比较了三种不同的神经网络结构在视觉上的效果。第一种体系结构是编码器 - 解码器分割网络，第二种网络架构是分箱分类网络，第三种架构是回归网络。

**训练期间，经过测试的网络架构的性能**

实验结果表明，编码器 - 解码器分割神经网络在训练数据最少的情况下，具有较高的分割精度和速度。此外，他们还为行为和神经科学社区提供了标记接口、标记训练数据、调优超参数和预训练网络。

在研究中，为了在视频中捕捉到的小鼠执行的丰富的移动动作，通常会将小鼠抽象为一个简单的点、质心或椭圆进行分析。为了更好地利用现有方法对小鼠进行跟踪，进行适当的分割，团队对实验环境进行了简化，得到了最佳的小鼠与背景的对比度。

神经网络将视频中属于小鼠的像素从背景中进行分类，使这些高级抽象行为能够转化为数据进行数学计算。

为了更好地区分动物，研究者通常会根据动物的皮毛颜色而改变场地的背景颜色，然而这很可能影响其行为。

而使用神经网络的跟踪器，就不需要这样做。它能够在复杂和动态的环境条件下无视涂层颜色，实现跟踪。

如此一来，我们不禁为小老鼠杰瑞捏一把汗，如果这个技术被汤姆掌握，它还能快活地到处蹦跶吗？

## **准确的跟踪：离不开大量的训练** ##

为了测试神经网络架构，他们在多个小鼠品系和实验装置上，建立了** **16,234 个训练图像，和 568 个保持验证图像的训练数据集。他们还创建了一个基于 OpenCV 的标签界面，用于创建训练数据（方法），能够快速注释前景和背景。

他们的网络是在 Tensorflow v1.0 中构建、培训和测试的。提供的培训基准测试在 Nvidia P100 GPU 架构上进行。通过几次训练迭代调整了超参数。

最终的结果是，在上文提到的三种不同架构下，编码器 - 解码器分段网络架构能够高速（超过 6 倍实时）实现最高级别的精度和功能。

此外，他们还提供了一个注释界面，允许用户通过注释少至 2500 个图像来为其特定环境训练新网络，时间只需要大约 3 小时。

## **神经网络跟踪完胜传统方法 ** ##

该团队所训练的神经网络跟踪方法，与传统跟踪方法相比，主要在以下两个方面「获胜」：

**1、不依赖前景与背景视觉对比**

传统跟踪方法是通过操纵环境条件来增加动物和背景之间的对比度，从而实现正确的前景/背景检测(分割)。但是这没有解决动物分割的基本问题，且依赖于前景和背景之间的视觉对比以进行精确跟踪。因此，研究者必须限制环境以获得最佳结果。

也就是说，这种视频追踪技术不能用在复杂和动态的环境，或者不能有基因异质性动物，这使得长期和大型实验都是不可行的。

为了克服以上问题，该团队使用**卷积****网络、神经网络，改善了分割质量。**此外，还利用语义分割技术，为传统的背景减法无法解决的动态环境提供了泛化能力。

**实验中包括具有不同遗传背景的小鼠的视频，不同遗传背景导致表达不同的毛色，包括黑色，刺豚鼠，白化病，灰色，褐色，裸色和花斑**

**2、对小鼠处于特殊位置时的跟踪**

随着环境变得不太适合跟踪，单个视频中不良跟踪实例的频率也会增加。例如，当小鼠在角落，墙壁附近或食物杯上时，跟踪非常不准确。

大多数情况下，不正确的跟踪还是由于老鼠从背景中分割不良造成的。这包括两种类型的错误：背景的部分被分割到前景（例如阴影）；从前景移除部分老鼠时误将老鼠归类为背景 （例如，与背景颜色匹配的白化鼠）。

为解决该问题，他们在实验中使用红外光源在明暗不同条件下记录小鼠行踪，利用红外光束网格检测小鼠当前位置，并采集24小时视频，包括小鼠位于食物杯上或者角落的时间，最后对视频数据优化进行分析。

经过训练的神经网络与人类标注相比，团队得出的结果是前者性能优于Ctrax（一个开源，免费提供机器视觉程序）。

**使用单个神经网络实现高度可扩展的跟踪，在应变测量中，还可跟踪小鼠的视觉变化**

当这一技术被更广泛地应用之后，不仅为研究员节省了大量时间，也许还会带来更多新发现，比如：用它来追踪复杂环境中的小动物，看到一个更加生动且神奇的动物世界。

在未来，我们还可以通过机器学习找到传播疫情的源头、读懂家中宠物的需求、追踪珍稀动物的动态，Make the world a better place！

[点击阅读原文][Link 1]

转载于:https://juejin.im/post/5cb54e8ef265da03a743e8d3

[Link 1]: https://link.juejin.im?target=https%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3NTQ2NDIyOQ%3D%3D%26amp%3Bmid%3D2247485144%26amp%3Bidx%3D1%26amp%3Bsn%3D0edf6f6c9b2a18497a022034c5d6ab20%26amp%3Bchksm%3Dfd23f092ca5479843f474367e3ec174f102c95670efbf693e9dbe683ee976b99da3841d3ada7%26amp%3Btoken%3D446616765%26amp%3Blang%3Dzh_CN%23rd