2019 年度 Python 类库 Top 10

╰半夏微凉° 2023-02-17 02:40 55阅读 0赞

# #

原创 Fabián Torres等 InfoQ *1月3日*

![format_png][]

作者 |  Fabián Torres，Elías Masquil，

Alan Descoins，Germán Hoffman

译者 | 冬雨

策划 | 刘燕

这是第五届 Python 类库 Top 10 年度榜。在这里，你会发现一些隐藏在开源世界中的珍宝，它们能让你开始着手新的项目，或者让你现有的项目更加有趣。从这份榜单里，你既能找到机器学习的库，也能找到非机器学习的库，所以它在各方面均有所涉及。

## HTTPX ##

如果你是一名经常与 api 交互的 Python 死忠粉，可能会很熟悉 requests  类库。然而，异步范式在高性能现代应用程序中越来越常见，如果你使用的正是异步范式，requests 可不会给你带来什么好处。

为了解决这个问题，  Tom Christie 和他的合作者为我们带来了 HTTPX，它是用于下个十年的新一代异步 HTTP 客户端。

HTTPX 延续了 requests 的用法，为你提供了标准特性以及 HTTP/2 和 HTTP/1 支持。除此之外，还包括使用 ASGI 协议直接调用 Python Web 应用程序以及完全类型注解等其他特性。

你需要同时发出大量请求？那么 HTTPX 就是新的首选。

注意：目前仍在 alpha 版本中考虑 HTTPX，现只作为异步客户端开发。在未来，将再重新引入同步客户端。

## Starlette ##

Starlette 是一个轻量级的 ASGI 框架 / 工具包，具有包括 WebSocket 和 GraphQL 支持，进程内后台任务和真正的高性能等一系列特性。除此之外，还有 100% 类型注解的代码库和无依赖。可以把它看作是一版非常轻量的、现代的和异步的 Flask 。

你还可以灵活地选用它，决定是将其作为一个完整的 web 框架来使用，还是仅仅作为一个 ASGI 工具包来使用。

它运行在一个 ASGI 服务器上，比如 uvicorn ，它去年也排进了 Top 10。如果你正在考虑开发一款新的 Web 应用程序，那么你一定要给 Starlette 一个崭露头角的机会。

## FastAPI ##

Starlette 很棒，但它非常简约，且非常开放。这给了你很大的自由，但有时，你只是需要一个把事情做得又对又快的框架。

Sebastian Ramirez 的 FastAPI 正是这样的一款框架。无论在哪层意义上讲，它都可称得上快。

这款新框架基于的是 OpenAPI 标准，用于构建具有 Python 高性能特性和自动交互文档的 API。它默认支持 Swagger UI 和 ReDoc ，使你能够直接从浏览器调用和测试你的 API，从而加快开发时间。使用此框架构建 API 既快速又简单。

这个库还利用了现代 Python 的最佳实践之一：类型提示。FastAPI 在很多方面都使用类型提示，但是最酷的特性之一是由 Pydantic 提供支持的自动数据校验和转换。

FastAPI 是基于 Starlette 构建的，其性能与 NodeJS 和 Go 相当，而且它还支持原生 WebSocket 和 GraphQL。

最后，但并非最不重要的是，它拥有一些为开源库编写的最好的技术文档。说真的，强烈建议看一看。

## Immutables ##

MagicStack 的工作人员回归，他们使用了简单优雅的不可变映射类型 (“冻结的字典”)。

谁能从中受益呢？其底层数据结构是一个哈希数组映射的字典树 (HAMT)，在 Haskell 等函数式编程语言中使用。最有趣的是，对于 set() 和 get() 操作，它们都提供了 O(log N) 性能，对于相对较小的映射来说其实就是 O(1)。

如果你的应用程序使用了更大的字典，可以使用 bump 提高性能，这个酷酷的新库可以值得关注。

## Pyodide ##

Pyodide 是一个真正能让你大吃一惊的项目。它使用 WebAssembly 将 Python 科学栈引入浏览器，将科学计算提升到了一个全新的水平。

想要用 NumPy 处理一些数字吗？使用 Pandas 处理一些较大的数据流？使用 NumPy 标制结果？幸有 Pyodide，现在你可以在浏览器中轻松实现所有这些功能，甚至更多。

除此之外，更好的消息是：它的 packages 目录列出了超过 35 个当前可用的包。不夸张地说，天空是其唯一限制。

## Modin ##

Modin 的座右铭是通过改变一行代码来扩展你的 Pandas 工作流程，真的，就这么简单。只需安装 Modin，改变你的导入语句，在当下拥有多核处理器的笔记本电脑上就能获得高达 4 倍的速度优势。

它是怎么做到的？现在来揭晓这个秘密。Modin 实现了自己的 modin.pandas.DataFrame 对象，它是一个轻量级并行 DataFrame。这个对象的使用是透明的，因为它与 Pandas 是 api 兼容的，并且它是在后台运行的，它将使用 Ray 或 Dask 之类的计算引擎来分发数据和计算。

有时候，只需要对你的代码做一些小的修改就能使速度获得极大的提升，Modin 就是个很好的证明。

## Streamlit ##

在每个重大的机器学习项目中，都有一个你最终需要与模型和数据进行手动交互的时间点。与花费数小时和数千行代码开发应用程序不同，Streamlit 使你能够快速构建应用程序来共享你的模型和分析。现在，创建一个与你的数据和模型的输出进行交互和可视化的 UI 简直易如反掌。

Streamlit 提供了一种从 Python 脚本跳到生产级应用程序的快速方法，只需在代码中添加几行即可。

Streamlit 能与各种数据科学相关的工具一起工作， TensorFlow 、 Keras 、 PyTorch 、 Pandas ，凡是你能想到的，它都可以。

## Transformers ##

如果你正在从事任何与机器学习相关的工作，那么你可能已经听说了在过去一年中围绕自然语言处理 (NLP) 方面的重要进展。

许多新的和高性能的模型，如  BERT 、  XLNet  或者 roBERTa ，已经被开发出来，通过各种 NLP 任务 (如文本分类、机器翻译、命名实体识别等) 来显著提高技术水平。

对于实践者来说，重要的是拥有能够使用这些模型来支撑生产应用程序的工具，这些用起来并不复杂。对于研究人员来说，重要的是拥有能够调整内部机制的类库，这样就可以更轻巧地开发和试验新的模型，而不必浪费太多时间编写样板代码。

Hugging Face  有一帮杰出的人，他们为我们带来了  transformers ，它是一个类库，其中包括打包、预先训练，并已经为使用最现代的 NLP 模型的实现做好了准备。TensorFlow 2.0 和 PyTorch 之间的互操作性帮助该类库迅速成为行业标准，支撑着研究和生产应用程序。它们的发展速度也非常快，随着研究人员的开发，经常有新的模型引入到这个类库中。

蛋糕上的樱桃：Hugging Face  团队开发了  DistilBERT ，它是一个体积更小、速度更快、价格更低、重量更轻的纯净版 BERT。

你还在犹豫要不要使用 Hugging Face / Transformer 以切换到现代的 NLP？那么择日不如撞日，今天就是你的幸运日，看看他们伟大的在线演示，可不要吝惜你的大姆指哟。

## Detectron2 ##

Facebook 的人工智能研究团队 (FAIR) 一直在推动计算机视觉 (CV) 的极限，他们开发了新的模型，用于像对象检测、姿式预估、语义 / 实例划分，以及最近的全景分割等任务。

解决这些问题的可能性就像几年前的科幻小说一样。我们对 FAIR 抱有最好的期望，这一次他们设法再次震撼全场。

Detectron2 是备受期待的 Detectron 续作，它是用 PyTorch 从头开始构建的，装满了最先进的计算机视觉算法。

这样的类库尤其难于进行工程设计，因为它们必须支持不同类型的用例。就像 Hugging Face 的 Transformers 一样，费尔团队也很好地完成了 Detectron2 的设计，它采用了一种非常灵活和模块化的方式，使得它非常适合 CV 的研究应用。同时，它的使用极其简单，对于那些只想快速获得结果而不想干预内部机制的人来说非常理想。是的，你可以使用 Detectron2，让你的软件只用几行 Python 代码就能“理解”图像。

时间将会告诉我们，Detectron2 能否成功地营造一个充满活力的社区，而到目前为止，情况看来很有希望。它很可能成为 CV 应用程序的“首选”解决方案，因为在 CV 应用程序中，新的、更快、更好的模型是由研究人员创建的。如果你正在做任何类型的 CV 工作，一定要密切保持关注！

## Metaflow ##

前方出现一个新生儿，一幅新面孔勉强挤进了 2019 年的名单！但是赞成别不把它当回事：尽管它才是在几周前刚刚发布的，但已经经过了 Netflix 的内部测试，历经两年时间的改进，他们才决定开放源代码。

Metaflow 是一个 Python 类库，用于帮助数据科学家和工程师构建用于现实世界的真实项目。它主要专注于减轻非技术数据科学家的技术负担，例如计算资源、并行执行、体系结构设计和版本控制等。Netflix 与 AWS 的合作，使你能够轻松定义复杂的数据流，同时对分布式计算提供开箱即用的支持。

我们已经在为 Tryolabs 内部的一些关键项目做了 Metaflow 评估。如果你有兴趣更多地了解这款工具，请查看 Netflix 的公开博客。

总结这一年又过去了，它为开源世界留下了非凡的贡献，这些贡献在未来几年仍将具有重要意义。你可以查看我们之前榜单：看看 2015 年、 2016 年、 2017 年、 2018 年来类库的演变。

如果我们漏掉了你最喜欢的 Python 类库，请在下面发表评论。我们很想听听你的意见。

作者介绍

Fabián Torres，全栈开发人员。电气工程学士学位；Elias Masquil，全栈开发人员；Alan Descoins，首席技术官和合作伙伴，计算机工程学士学位；German Hoffman，全栈开发和研究工程师，计算机工程学士学位。

引用：

[https://mp.weixin.qq.com/s/p6a4QT1hdcC2l\_U53GPfOw][https_mp.weixin.qq.com_s_p6a4QT1hdcC2l_U53GPfOw]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9ZcmlhaWFKUGIyNlZNeHJkVkh3NUVnSjlER2liY0FTMkJsZjBMNkZUTjJKbllVYndwYmdiNmszT2NhNFNmRmliTDRYb0JpYWxzSVJJSHV1cVNyUTU2N05ZTmxnLzY0MA?x-oss-process=image/format,png
[https_mp.weixin.qq.com_s_p6a4QT1hdcC2l_U53GPfOw]: https://mp.weixin.qq.com/s/p6a4QT1hdcC2l_U53GPfOw