简单生活第一步：数据科学家该了解的4个Python自动库

快来打我* 2022-12-14 13:43 178阅读 0赞

![format_png][]

全文共**4739**字，预计学习时长**12**分钟

![format_png 1][]

图源：unsplash

机器学习（AutoML）是一个新兴领域，其中用来建模数据的机器学习模型是一个自动化的过程，AutoML的功能使建模更为轻松。如果对AutoML感兴趣，笔者向你推荐以下4个必学的Python库。

1.auto-sklearn

auto-sklearn是一个自动机器学习工具包，无缝集成业内许多人都熟悉的标准sklearn界面。通过使用贝叶斯优化等最新方法，构建库来导航可能的模型空间，并学习推断特定的配置是否能很好地完成给定任务。

这个库是由Matthias Feurer等人创建，其技术细节在一篇名为《高效和鲁棒机器学习》的论文中进行了描述。Feurer写道：“我们引入了一个基于scikit-learn的新鲁棒性自动系统——使用15个分类器、14个特征预处理方法和4个数据预处理方法生成110个超参数的结构化假设空间。”

auto-sklearn可能是入门AutoML的最佳库。除了挖掘数据集的数据准备和模型选择之外，它还能学习类似数据集上性能良好的模型。

![format_png 2][]

图源：Efficient and Robust Automated Machine Learning（2015）

在有效实施的基础上，auto-sklearn将所需用户交互降至最低。可以使用pip install auto-sklearn来安装库。

可以使用的两大类是Auto Sklearn Classifier和Auto Sklearn Regressor，分别用于分类和回归任务。两者都有相同的用户指定参数，其中最重要的是时间限制和集成大小。

import autosklearn as ask            #ask.regression.AutoSklearnRegressor()for regression tasks            model =ask.classification.AutoSklearnClassifier(ensemble_size=10, #size of the endensemble (minimum is 1)                                                            time_left_for_this_task=120, #the number ofseconds the process runs for                                                            per_run_time_limit=30) #maximum secondsallocated per model            model.fit(X_train, y_train) #begin fittingthe search model            print(model.sprint_statistics()) #printstatistics for the search            y_predictions = model.predict(X_test) #get predictionsfrom the model

2.TPOT

TPOT是另一个自动化建模管道的Python库，它更强调数据准备、建模算法和模型超参数。它通过一种进化的基于树结构自动化特征选择、预处理和构造，“该结构称为基于树管道优化工具(TPOT)，可以自动设计和优化机器学习管道。”

![format_png 3][]

图源：数据科学自动化中基于树的流水线优化工具的评价（2016）

程序或管道以树状图呈现。遗传程序选择并进化某些程序，以最大化每个自动机器学习管道的最终结果。

正如Pedro Domingos所说：“一个拥有大量数据的愚蠢算法胜过一个拥有有限数据的聪明算法。”事实确实如此，TPOT可以生成复杂的数据预处理管道。

![format_png 4][]

图源：TPOT documentation

就像许多AutoML算法一样，TPOT管道优化器可能要花几个小时才能产生好的结果，你可以在Kaggle commits或者谷歌Colab中运行这些长时间的程序。

import tpot      pipeline_optimizer = tpot.TPOTClassifier(generations=5, #number ofiterations to run the training                                              population_size=20, #number ofindividuals to train                                               cv=5) #number of foldsin StratifiedKFold      pipeline_optimizer.fit(X_train, y_train) #fit thepipeline optimizer - can take a long time      print(pipeline_optimizer.score(X_test, y_test)) #print scoringfor the pipeline      pipeline_optimizer.export( tpot_exported_pipeline.py ) #export thepipeline - in Python code!

也许TPOT的最佳特性是可以将模型导出为Python代码文件，方便以后使用。

3.HyperOpt

由James Bergstra开发的HyperOpt是一个用于贝叶斯优化的Python库。为大规模优化具有数百个参数的模型而设计，该库明确用于优化机器学习管道，并具有在多个核和机器之间扩展优化过程的选项。

“我们的方法是公开一个性能度量(例如验证示例上的分类精度)如何从超参数计算的底层表达式图，这些超参数不仅控制单个处理步骤的应用，而且甚至控制包含哪些处理步骤。”

然而，HyperOpt很难直接使用，因为它存在技术壁垒，需要仔细指定优化过程和参数。我建议使用HyperOpt-sklearn，这是一个包含sklearn库的HyperOpt包装器。

具体来说，尽管HyperOpt支持预处理，但其主要关注几十个进入特定模型的超参数。考虑一次HyperOpt-sklearn搜索的结果，在没有进行预处理的情况下，得到了一个梯度增强分类器：

{ learner : GradientBoostingClassifier(ccp_alpha=0.0, criterion= friedman_mse , init=None,    learning_rate=0.009132299586303643, loss= deviance ,    max_depth=None, max_features= sqrt ,    max_leaf_nodes=None, min_impurity_decrease=0.0,    min_impurity_split=None, min_samples_leaf=1,    min_samples_split=2, min_weight_fraction_leaf=0.0,    n_estimators=342, n_iter_no_change=None,    presort= auto , random_state=2,    subsample=0.6844206624548879, tol=0.0001,    validation_fraction=0.1, verbose=0,    warm_start=False),  preprocs : (),  ex_preprocs : ()}

构建HyperOpt-sklearn模型的文档提到，它比auto-sklearn要复杂得多，比TPOT稍微复杂一点。但如果超参数的作用很重要，那么多余的繁琐工作也是值得的。

4.AutoKeras

与标准的机器学习库相比，神经网络和深度学习要强大得多，因此也更难实现自动化。

·        使用AutoKeras，神经结构搜索算法会找到最好的结构，比如一层中的神经元数量，层的数量，要合并的层，层的特定参数，比如过滤器的大小或Dropout中丢失的神经元的百分比等等。一旦搜索完成，就可以将其当作一个普通的TensorFlow/Keras模型来使用这个模型。

·        通过使用AutoKeras，你可以构建一个包含复杂元素的模型，比如嵌入和空间缩减，否则那些仍在摸索深度学习的人将很难获得这些元素。

·        当AutoKeras创建模型时，已完成并优化许多预处理，如向量化或清理文本数据。

·        启动和训练搜索只需要两行代码。而AutoKeras拥有一个类似于keras的界面，所以它易于记忆和使用。

AutoKeras支持文本、图像和结构化数据，并为初学者和那些希望深入技术知识的人提供接口，AutoKeras使用进化神经结构搜索方法来消除困难和歧义。尽管AutoKeras运行的时间很长，但有许多用户指定的参数可用来控制运行时间、探索的模型数量、搜索空间大小等。

应该使用哪一个自动库呢?

![format_png 5][]

图源：unsplash

·        如果你首选整洁、简单的界面和相对快速的结果，请使用auto-sklearn。可以与sklearn的自然集成，与常用的模型和方法一起使用。

·        如果注重的是高精确度而不介意训练所需消耗时间较长，可以使用TPOT。可通过用树状结构代表管道而达成其强调的先进预处理方法，它还能额外输出最佳模型的Python代码。

·        如果注重高精确度而不介意潜在的较长训练时间，则使用HyperOpt-sklearn，强调模型的超参数优化是否有成效取决于数据集和算法。

·        如果你的问题涉及神经网络，特别是文本或图像形式的问题，请使用AutoKeras。其训练确实需要很长时间，但有大量的措施可以控制时间和搜索空间的大小。

想实现自动化，千万不要错过这四个库。

![format_png 6][]

**推荐阅读专题**

[![format_png 7][]][format_png 7 1]

[![format_png 8][]][format_png 8 1]

[![format_png 9][]][format_png 9 1]

[![format_png 10][]][format_png 10 1]

![format_png 11][]

**留言点赞发个朋友圈**

**我们一起分享AI学习与发展的干货**

编译组：符馨元、石书宁

相关链接：

https://towardsdatascience.com/4-python-automl-libraries-every-data-scientist-should-know-680ff5d6ad08

如转载，请后台留言，遵守转载规范

**推荐文章阅读**

[ACL2018论文集50篇解读][ACL2018_50]

[EMNLP2017论文集28篇论文解读][EMNLP2017_28]

[2018年AI三大顶会中国学术成果全链接][2018_AI]

[ACL2017论文集：34篇解读干货全在这里][ACL2017_34]

[10篇AAAI2017经典论文回顾][10_AAAI2017]

**长按识别二维码可添加关注**

**读芯君爱你**

![format_png 12][]

[format_png]: /images/20221123/117f0c7a38b2413fb018d3c900a13427.png
[format_png 1]: /images/20221123/b8a3d5cf9556499296c30848ee7a510e.png
[format_png 2]: /images/20221123/eca9dacb6c054540b916e9ccc2984e79.png
[format_png 3]: /images/20221123/cc84e4c459284be3a90e73e4718f580e.png
[format_png 4]: /images/20221123/b57b182bc544412f891e580797065a54.png
[format_png 5]: /images/20221123/7702a687827f4580998d3f771310655c.png
[format_png 6]: /images/20221123/785cdd38b1bf4235b6e1cca30e0bea18.png
[format_png 7]: /images/20221123/3ff64ccd441741f5a3eef09f85dbb762.png
[format_png 7 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d2bb194670056d7ed973cf4349656e20d98bd139d8a5d99526a799fb243f8d&idx=1&mid=2247493138&scene=21&sn=d2fa895e71260f2576fa952cf2487522#wechat_redirect
[format_png 8]: /images/20221123/5247b18832d947abb0379624fd6929aa.png
[format_png 8 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cf9a7136dfb1352cf9fb1127b3061293cf716f8ee95b4560e694fce20a1e24&idx=2&mid=2247493135&scene=21&sn=5711dc1074411b7e45b40eb34fecc648#wechat_redirect
[format_png 9]: /images/20221123/6c63bc96b25e4819a61e9e8dc714eeff.png
[format_png 9 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d28ed77a111732be52384c9be414e0aad59c570ada6b29278755d066ae2090&idx=2&mid=2247493138&scene=21&sn=e45fe93b00342ba9eac222f24369d036#wechat_redirect
[format_png 10]: /images/20221123/9b5a3b283ddb4b059080a99272550ce3.png
[format_png 10 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cfbc27f47a160ee926a706f1b3151c53f707c8f221fde0ea51446aabe2148d&idx=1&mid=2247493135&scene=21&sn=cce4cc400933c960a3200fd0dfa4d0a7#wechat_redirect
[format_png 11]: /images/20221123/1e0a19bc409c4cd68328e1bf62727ea1.png
[ACL2018_50]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87ee2addf0673cae27c598a097f5addad5d81b2ed766e570f20fc0fb12b77c5cf34098022e&idx=1&lang=zh_CN&mid=2247489276&scene=21&sn=98e22e2b69478303f1f1a0a51e712570&token=192322725#wechat_redirect
[EMNLP2017_28]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87eaadddf063bb3ab4ec5af616612a45f8d4fe9a5ad558f66278478296060253c1564bd05c&idx=1&lang=zh_CN&mid=2247488123&scene=21&sn=a55185f3a693f7a5d85b1abe3dd36177&token=140500370#wechat_redirect
[2018_AI]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f6ebddf07ffd8e84bcc18d7122f894b6cf5dc967daad9c2e122edb22968fd6f589d6852f&idx=1&mid=2247487037&scene=21&sn=37cd38b305aa874c29d764361c88a202#wechat_redirect
[ACL2017_34]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f59addf07c8c2480dd46784a431612d099d3d0531449aa8e64f68b3ba340363578d95659&idx=1&mid=2247486796&scene=21&sn=a8ae95efbf16985a259c4cd66bf919f2#wechat_redirect
[10_AAAI2017]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&idx=1&lang=zh_CN&mid=2247487100&scene=21&sn=3bd640ec4f00c5104664687194dd9a51&token=77118319#wechat_redirect
[format_png 12]: /images/20221123/2f21ad9d55cf401798b92dc52bdc4eff.png