忆阻器神经形态计算

「爱情、让人受尽委屈。」 2022-10-06 14:59 132阅读 0赞

\*\*

## 忆阻器神经形态计算 ##

\*\*

现阶段，ANN已经取得重大的进展，是人工智能领域重要的信息处理技术，ANN是由一个神经节点网络组成，这些网络由加权突触相互连接。ANN的结构分为前馈网络和递归网络。具体的神经网络理论在这就不进行一一介绍，如果你们感兴趣可以去阅读《pytorch机器学习从入门到实战》和周志华的《机器学习》。

但是在人工传感系统与生物感官系统存在较大差距，如分类精度不高、功耗高、集成密度低等。首先，传感器阵列的响应在许多情况下是非常相似的；其次，气体传感器跨单元和跨时间的固有变异性分散了传感单元的响应。一些传统的分类模型对于一些原始问题中工作得很好，例如，对具有固定浓度的特定气体进行分类，但传感阵列在真实的环境中是很复杂的，现实环境中通常由多种气体所组成，包含不可预测的成分和浓度。而这些是普通的机器学习模型所解决不了的。

对于此类问题，在InfoMat. 2021;1–10.这篇文章中已经进行了详细的描述：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODQzMjk2OA_size_16_color_FFFFFF_t_70]  
对于不同类型的气体，利用PCA降维后是很难进行分辨的。因此最好的办法是对其进行升维，对于一些难于线性可分的数据，升维以后，就可能线性可分。虽然SNN可以进行尖峰脉冲编码，与生物体相似，然而，SNN与当前的计算体系结构不兼容，需要特定的电路。CNN虽然可以提取出特定的传感特征，但是与RNN相同，需要大量的功耗，对于一些并不是那么复杂的动力学混沌任务，并不建议大材小用。

ESN，全称Echo State Network，回声状态网络，也可以称为储备池计算（Reservoir Computing），RC系统的输出是从时间数据中非线性提取的高维特征，其他特定参数都是固定的，只有输出权重需要训练，这样就大大降低了系统所需的功耗。实践证明，RC系统对于时间序列预测任务具有极高的表现力。对于利用RC系统对数字进行识别，大家有兴趣可以看看Schaetti这篇文章《Echo State Networks-based Reservoir Computing for MNIST Handwritten Digits Recognition》，网上有开源的code，一艘就能搜到。

但是对于硬件的RC系统，却没有进行广泛的报道。忆阻器由于其特殊的混沌动力学功能，许多基于忆阻器的系统被设计成通过连接不同类型的传感器来执行不同的任务，如视觉感知，触觉感知，感知增强等功能。再次不多赘述，我现在也要引出这篇文章的重点：利用忆阻器的混沌系统产生虚拟节点，单个器件就能实现一个拥有几百上千神经元储备池的功能，如果没有忆阻器，我们硬件搭建一个储备池网络是十分复杂的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODQzMjk2OA_size_16_color_FFFFFF_t_70 1]  
在Heejun Yang这篇《In-sensor reservoir computing forlanguage learning via

two-dimensional memristors》文章中已经进行了详细的解释。

大致的意思就是利用光脉冲或者电脉冲，对图像进行编码，绿色的部分代表“1”，白色部分代表“0”，把脉冲顺序施加到忆阻器中，就可以完成编码工作，但现有的文章中，都有一个共性的问题，并不是直接对传感数据进行处理，而都是需要人为的进行编码工作，并不是最优化的传感内计算。这方面的工作有很多，光2021年nature，science的工作就有好几篇。

并且，对于忆阻器而言，温度对忆阻器的影响极大，很多器件耐受温度难以超过100度，这也是未来需要进一步优化的工作。

当然，对于忆阻器的神经形态计算，这只是冰山一角，从忆阻器基前馈神经网络，利用忆阻器的电导态进行前馈和反馈，现在这方面在仿真上已经相对成熟，对与硬件系统的搭建，仍然是一个比较困难的问题。再到安全计算，LSTM加速等，忆阻器的潜在价值正在逐步被发现，相信以后忆阻器可以真正与CMOS集成，在不破坏计算机底层架构的情况下，对我们的算法进行加速，对后续算力的不足和总线上能耗的损失具有重大意义。

后续我会经常更新这方面的内容，欢迎大家指点修正。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODQzMjk2OA_size_16_color_FFFFFF_t_70]: /images/20221005/b09d32a776cc45b4a70bd547133ebfc6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODQzMjk2OA_size_16_color_FFFFFF_t_70 1]: /images/20221005/e0eb6e6eee27431aa7b1285952d0d24f.png