AutoML：攒钱买个“调参侠机器人”划算吗？

朱雀 2023-09-25 14:52 128阅读 0赞

![f3509d370d36e802f5ccc29f1a6bc0a8.jpeg][]

**（一）**

以前，计算机让各种事情自动化。

如今，计算机软件内部在发生自动化。

人工智能（AI）模型的自动化就是计算机软件内部自动化的一种。

为什么AI要自动化（AutoML）？

因为AI专家纯手工打造机器学习模型，单说人力就不便宜。高技术含量的专家数量很少，且很难快速培养。

仅靠少量的AI专家纯手工，这一技术很难普及。不少难题，只有交给那些才华横溢的AI博士们。

![09e23df1e31a1ad95f86e7a4f1824d13.png][]

全靠博士，那可不行。

如果无法普及，那么我们距离“工业化4.0”就遥不可及。

一方面，传统机器学习中用到AutoML，人类AI算法工程师可以用它来跑一遍“参考答案”。

头部云厂商和机器学习平台厂商**均已落地**此项技术，开源社区的方案也可采用。

![ea3127b001027b7b8bfd6bb559e80f94.png][]

另一方面，深度学习领域的AutoML，**难度大，成本高。**

**“亲爱的数据”致电多家AI公司CTO，他们一致认为：深度学习的AutoML，了解过，终究太费钱（GPU），没有应用。**

**贫穷限制了行动力。**

一般来说，汽车装配生产流水线是按工序，机器学习模型生产流水线也是如此。

生产线上下线的是模型，有几大工序：

![98e2f7ebff8a2b0016f6b2d6adebb7a0.png][]

其中“模型构建” “超参数选择”这两步在模型设计中尤其关键。

它们直接决定了最终训练出的模型的成绩（效果）。

AI专家要在“模型构建” “超参数选择”这两步里反复尝试，最终设计出合适的模型结构。

我们可以称之为“量体裁衣”。

更可怕的是，这会给整个建模的工作带来很多不确定性。敢问谁愿意为“不确定性量体裁衣”？

量体裁衣这样的生产方式十分落后，且成本高昂。

![197c136155019a4b8f30478b64134bcc.png][]

**（二）**

可是，怎么自动化呢？

好消息是，过去十年，代码-神经网络的架构已经非常成熟。

到现在为止，我们已经研发了大量算法模型，不仅如此，很多算法模型迭代了五到六年。

有想法的企业还会建立自己的算法库，把之前已经用熟了的模型存在库里，专业说法是“沉淀”，方便日后“复用”。

这为自动机器学习（AutoML）打下了“牢固地基”。

深度学习里会用到一种名叫“神经架构搜索（Neural Architecture Search，NAS）”的算法。

它可是自动机器学习（AutoML）里的“红人”，谷歌公司最先使用，从2016年开始走红。

![ca134ebfef826cfa63b23e7ad57bade4.png][]

在模型结构设计工作里，用“自动**搜索**”代替 “人工设计”这个思路自然而然。

于是，用算法**搜索**算法，或者叫“用算法提高算法”。

讲到这里，那些不理解这个技术的抬杠型网友会说：“禁止俄罗斯套娃梗。”

![44dcfe4c82a5253545b4c5fc83fd7e6e.png][]

工作一开始，从“架子”着手。

我们这里谈到的“架子”，实际是“模型结构”。

专家先把“架子”搭起来。

比如，中英文翻译，可选用Transformer结构。

比如，人脸识别，可选用CNN结构。

架子定好之后，对应的算法组件（模块）不能少。

选模块，就相当于在排列组合里**搜索**。

先由专家决定好会用到的模块，再选出那些好用的模块，并选择模块之间的搭配关系。

打一个比方，一个N层酒店，布局其内部结构，每一层放入设计好的房间。

![712ade5dcce1368d4bba3ae0c2b1dced.png][]

这些房间的房型可以不一样，也可以一样。设计好的房间，就是那些“模块”。

一般来说，每层的房间数量会人为设置一个上限。

![62c6e51473f22978fdfed2c526901995.jpeg][]

假如酒店是50层，每层长50米，自动化的过程就是如何把单人间，双人间，总统套房，布局到酒店大厦。

最终考虑：如何布局酒店最赚钱？

![031f86e6eb25bc61d5ee9dedd26e059b.jpeg][]

当然不同类型的酒店会有不同的备选房型。

如果要造五星级酒店，那么备选房型的清单里就不会有狭窄逼仄的监狱单间。

![6e87a667ca083f9e1323d47d63d54d76.png][]

酒店的“架子”定好了，房型清单（备选模块）也确定了，那么下一步就是去设计酒店的房间布局了（模型每一层的结构）。

简单理解，这就是从所有可能的排列组合中选出最好的组合。

随机组合，也行，全靠运气型选手。

穷举，也行，把所有可能的组合都去评估一遍，努力多金型选手，

（得舍得花钱，毕竟每一次的评估，研究经费都在燃烧。）

方法种种。

神经架构搜索算法的目标是自动找到的“最好”模型结构，得到最好的模型。

这些模型的成绩会和专家的成绩进行比较，有时候，效果远远不如专家做的。有时候，效果超过专家做的。

不过目前而言，在很多任务上还是人类专家强，它的远期目标是超过人类专家。

目前，这种算法还依靠专家搭好架子（设定搜索空间）。

架子是事先设定好的，它在这个架子里**搜索**，局限也在于没法突破架子。它不会凭空捏造出一个结构（比如Transformer）。

![32841ebebfa168ccb885f364545c69f4.png][]

模型架构搜索完成后，再去搜索模型训练的超参数。

当然，你可能会问，为什么不让模型构建和训练超参数调优同时进行呢？

因为 “模型构建”+“超参数选择并不是简单的1+1=2，将二者合并后，会导致搜索空间指数级增加，搜索难度变成地狱级别。

![b28cca4beae4fe2494205de7caacbe41.png][]

巧了，超参调优和模型架构搜索这两个问题都缺乏可解释性，合在一起就更没法解释了。

深度学习的AutoML既可以做计算机视觉任务，也可以做自然语言处理任务。

它的用途在于用算法提高算法设计效率，给又苦又累的脑力活动省些气力。

然而，深度学习的AutoML目前没有做到一切工作都自动化，在企业中用起来有不少困难，AI实验室里的科学家们还在努力。

假如“调参侠机器人”上市，

买了就能“重获自由”，

你还会买嘛？

![62e7572695e29060a64997e5f5108e62.png][]

[f3509d370d36e802f5ccc29f1a6bc0a8.jpeg]: https://img-blog.csdnimg.cn/img_convert/f3509d370d36e802f5ccc29f1a6bc0a8.jpeg
[09e23df1e31a1ad95f86e7a4f1824d13.png]: https://img-blog.csdnimg.cn/img_convert/09e23df1e31a1ad95f86e7a4f1824d13.png
[ea3127b001027b7b8bfd6bb559e80f94.png]: https://img-blog.csdnimg.cn/img_convert/ea3127b001027b7b8bfd6bb559e80f94.png
[98e2f7ebff8a2b0016f6b2d6adebb7a0.png]: https://img-blog.csdnimg.cn/img_convert/98e2f7ebff8a2b0016f6b2d6adebb7a0.png
[197c136155019a4b8f30478b64134bcc.png]: https://img-blog.csdnimg.cn/img_convert/197c136155019a4b8f30478b64134bcc.png
[ca134ebfef826cfa63b23e7ad57bade4.png]: https://img-blog.csdnimg.cn/img_convert/ca134ebfef826cfa63b23e7ad57bade4.png
[44dcfe4c82a5253545b4c5fc83fd7e6e.png]: https://img-blog.csdnimg.cn/img_convert/44dcfe4c82a5253545b4c5fc83fd7e6e.png
[712ade5dcce1368d4bba3ae0c2b1dced.png]: https://img-blog.csdnimg.cn/img_convert/712ade5dcce1368d4bba3ae0c2b1dced.png
[62c6e51473f22978fdfed2c526901995.jpeg]: https://img-blog.csdnimg.cn/img_convert/62c6e51473f22978fdfed2c526901995.jpeg
[031f86e6eb25bc61d5ee9dedd26e059b.jpeg]: https://img-blog.csdnimg.cn/img_convert/031f86e6eb25bc61d5ee9dedd26e059b.jpeg
[6e87a667ca083f9e1323d47d63d54d76.png]: https://img-blog.csdnimg.cn/img_convert/6e87a667ca083f9e1323d47d63d54d76.png
[32841ebebfa168ccb885f364545c69f4.png]: https://img-blog.csdnimg.cn/img_convert/32841ebebfa168ccb885f364545c69f4.png
[b28cca4beae4fe2494205de7caacbe41.png]: https://img-blog.csdnimg.cn/img_convert/b28cca4beae4fe2494205de7caacbe41.png
[62e7572695e29060a64997e5f5108e62.png]: https://img-blog.csdnimg.cn/img_convert/62e7572695e29060a64997e5f5108e62.png