CNN之父再出豪言：深度学习需要新的编程语言

柔光的暖阳◎ 2022-02-22 01:13 88阅读 0赞

当地时间2月18日，Facebook首席首席人工智能科学家、卷积神经网络之父Yann LeCun在旧金山的国际固态电路大会上发表了一篇论文，分享了他关于人工智能发展的一些看法，同时也谈到自己对于芯片和硬件发展的关注和研究。在这其中，诸如“深度学习可能需要一种新的编程语言”等说法引起了热烈讨论。

## “深度学习需要一种新的编程语言” ##

自20世纪80年代以来，LeCun就一直致力于神经网络研究。由于他本人对于神经网络发展的贡献，所以被冠以“卷积神经网络之父”的称号。

在当天的演讲中，LeCun对于人工智能的发展提出了一些新的看法。他表示，深度学习可能需要一种比Python更灵活，更易于使用的新编程语言：

> “在谷歌、Facebook和其他地方有几个项目旨在设计这样一种编译语言，这种语言可以有效地进行深度学习，但社区是否会跟进还不清楚，因为人们只想使用Python。但现在的问题是：Python真的是最好的解决方案吗？”

LeCun认为，**深度学习可能需要一种比Python更灵活，更易于使用的新编程语言**。目前尚不清楚这种语言是否必要，但LeCun表示，这种可能性与研究人员和工程师非常根深蒂固的愿望背道而驰，很有可能带来颠覆性的变革。

根据GitHub最近的一份报告显示：Python目前是机器学习项目的开发人员最常使用的语言，该语言同时也是构成Facebook的PyTorch和Google的TensorFlow框架的基础。

但是，随着代码越来越复杂，开发人员对于编程语言的要求也更高了，就连图灵奖得主大卫·帕特森也曾表示：是时候创造新的编程语言了。

与此同时，一些之前名不见经传的小众编程语言也逐渐成为一些开发者的新宠。最能说明问题的就是去年8月才正式发布1.0版本的Julia，从 2012 年到现在，Julia 1.0 在编程界已经打出了自己的一片“小天地”，在 Github 上已经获得了 12293 颗星星。

与其他语言相比，Julia 易于使用，大幅减少了需要写的代码行数；并且能够很容易地部署于云容器，有更多的工具包和库，并且结合了多种语言的优势。据 Julia Computing 的宣传，在七项基础算法的测试中，Julia 比 Python 快 20 倍，比 R 快 100 倍，比 Matlab 快 93 倍。

除了Julia，Swift也成为了数据科学家们的新朋友，感兴趣的读者可以在文章底部的“**拓展阅读**”查看相关文章。

## “未来十年，硬件将左右AI的发展方向” ##

在演讲中，Yann LeCun还专门谈到自己对于芯片和硬件发展的看法。

人工智能已有50多年的历史，但它目前的崛起与计算机芯片和其他硬件提供的计算能力的增长密切相关。

“更好的硬件催生出更好的算法以及更好的性能，更多的人才可以制造出更好的硬件，这样的良性循环只有几年的历史了。”LeCun表示，20世纪80年代他在贝尔实验室工作，并已经能够使用ConvNet (CNN) AI读取邮政信封和银行支票上的邮政编码。

21世纪初，在离开贝尔实验室加入纽约大学后，LeCun与该领域的其他知名人士合作，比如Yoshu Bengio和Geoffrey Hinton，开展了一项研究，以恢复人们对神经网络的兴趣，并让深度学习变得更受欢迎。

近年来，硬件方面的进步——如现场可编程门阵列(FPGA)、谷歌的张量处理单元(TPU)和图形处理单元(GPU)等，在该行业的增长中发挥了重要作用。据了解，Facebook也在开发自己的半导体。

LeCun在演讲中说：“现有的硬件对人们所做的研究有很大的影响，因此**未来十年左右，人工智能的发展方向将很大程度上受到现有硬件的影响**。这对计算机科学家来说是件很丢脸的事，因为我们喜欢抽象地认为，我们的发展不受硬件限制的限制，但实际上我们是很受限制的。”

LeCun强调了未来几年硬件制造商应该考虑的一些AI趋势，并就近期所需的架构提出了建议，建议考虑不断增长的深度学习系统的规模。

他还谈到需要专门为深度学习设计的硬件，以及能够处理一批训练样本的硬件，而不是像现行标准那样，需要批量处理多个训练样本才能有效运行神经网络，他说：“如果你运行一个单一的图像，不可能利用所有的算力，这样的行为会造成资源浪费，所以批量生产迫使人们思考训练神经网络的新方法。”

他还建议使用动态网络和硬件，这些网络和硬件可以灵活调整，只利用完成任务所需的神经元。

在这篇论文中，LeCun重申了他的理念：即**自监督学习将在推进人工智能的发展中发挥重要作用**。

LeCun在论文中写道：“如果自监督的学习最终允许机器通过观察学习关于世界如何运作的大量背景知识，那么可以假设某种形式的机器常识可能出现。”

LeCun认为，未来的深度学习系统将在很大程度上使用自监督学习进行训练，并且需要新的高性能硬件来支持这种自监督学习。他表示，Facebook正致力于尽其所能做的一切，降低功耗并改善延迟问题，以加快处理速度。LeCun补充说，实时监控网站上的视频所带来的巨大需求，使得研发团队需要进行新的神经网络设计。

Facebook还在寻找新的神经网络架构，以模仿人类智能的更多方面，并使其系统更自然地进行交互。

“就新用途而言，Facebook感兴趣的一件事是提供智能助理——这是一种有一定常识的东西，他们有背景知识，你可以和他们就任何话题进行讨论。”

在演讲中，LeCun也表达出对于智能助理研发以及应用的执念。向计算机灌输常识的想法还处于非常早期的阶段，LeCun表示，这种更深层次的智能“不会在明天就发生”。

他说：“研发人员希望一台机器像人类或动物一样，当世界与它互动时，它能够做出正确的反应。”LeCun补充说，Facebook已经在这一方面进行了不少尝试，最近的一项研究就是通过调整神经网络的设计，使其在面对现实世界的变化时反应能更加灵活。

此外，Facebook目前的研究工作还包括在神经网络中增加计算机记忆，这样当机器与人“交谈”时，神经网络就能记住更多的信息，并形成更强的语境感。

神经网络功能方面的进步可能会对驱动芯片的设计产生连锁反应，这可能会为制造当今领先AI芯片的公司带来更多竞争。

#### **拓展阅读** ####

是时候创造新编程语言了！图灵奖得主大卫·帕特森谈后摩尔时代

2019年软件开发人员必学的编程语言Top 3

集Python、C++、R为一体！Julia 1.0重磅发布

为什么数据科学家应该开始学习Swift？

参考链接：