数据系统读写权衡的一知半解

本是古典何须时尚 2022-08-28 05:43 129阅读 0赞

在计算机领域，有一个有趣的趋势，往系统中写入数据需要做更多的工作。我们需要对数据进行重新组织、合并、重新建立数据库索引等操作，才能使写入的内容更加有用。如果不这样做，必须实现内容搜索或其他工作来支持未来的数据读取。

![0797dfd06cbb21935637175f9d30b521.png][]

## 数据库中的索引 ##

我关系数据库的索引是个有趣而令人困惑的概念，索引如何在对应用程序透明的情况下优化访问的呢？当然，更新索引意味着另外的磁盘访问，因为 b + 树的索引不适合放在内存中。如果以后读取数据，那么对数据库进行更改的额外工作是值得的。

下一个令人困惑的问题是，应该编制多少索引？是否应该对每一列都建立索引？什么时候应该把一列数据编入索引？我索引越多，读取查询就会变得越快。同时，索引越多，数据更新的速度就越慢。

这是一个常见的权衡方案，快速读意味着慢速写。

## 行存储与列存储 ##

将高性能更新与行存储联系起来是很自然的，如果按列组织数据的话，因为具有相同值的许多逻辑行在物理上彼此相近，柱状数据库执行查询的速度非常快。但是，更新列存储就不那么容易了。

通常，行存储中的更新单独保存，因为每一行的数据较小，查询会以相对快速的方式检查行。这些查询与更快的列存储的结果相结合，以提供统一的准确结果。新的行存储更新会定期与列存储合并，以创建新的列存储，这可以以类似于 LSM 树中合并的级联方式完成。

当插入到一个列存储区中时，这种重写和整合新数据的负担是一种写入数据放大的形式，在这种形式下，一次写入之后会变成更多的写入。

## LSM树的应用 ##

LSM树最早是在1996年提出的，这个想法是将对键值存储的更改作为事务跟踪，并在内存中保留新的值。事务提交时，可以将最近键值对的排序集合写入磁盘中唯一命名的文件。此文件包含已排序的键值对以及文件中键的索引。一旦写入磁盘，新提交的更改不需要保存在内存中。

逐键查找值看起来就像在随机地点找东西时的样子。在一个小房间里线性搜索自己的钱包可能是易于处理，但是当搜索空间在大型酒店里就不那么容易了。为了减少数据读取时的烦琐，LSM 树组织数据的方法是边读边重写。

当从存储引擎新写入一个新文件时，它有一堆键值对。为了便于查找键，这些键与前面编写的文件合并。每个 LSM 树都具有某种形式的扇出，其中较低级别的树保存在更多的文件中。LSM 树的深度取决于扇出、每个文件的大小以及树中键值对的数量。一般来说，大部分存储都位于树的最底层。

![5813157a977d0b4d95586bf2ff63eebf.png][]

因此，在越来越受欢迎的 LSM 结构中，有各种各样的实现选择:

### 平衡合并 ###

当一个新文件被添加到一个级别时，在循环遍历中选择下一个文件，并将其与下一个级别的文件合并。假设从10个文件中选择一个扇出，会发现文件中的键范围通常涵盖了下面级别中大约10个文件中的键范围。把11个文件合并在一起，一个下降到下个级别，进而得到11个文件。现在，下一级已经被一个文件增加了，所以需要重复并再次合并。

### 分层合并 ###

在进行合并之前，让一堆文件在每个级别上堆叠起来。假设在每个级别合并之前堆积了10个文件，大大减少了所需的合并数量。

平衡合并有着很大的写入放大， 每次将一个新的键值对写入到级别0，在每个级别上都要重写10到11次，但是读取数据的成本较少。分层合并的写入放大要低得多，因为新文件在合并之前会在每个级别上堆叠起来，所以合并的次数会减少，写入的内容也会减少，但是数据读取所付出的努力要多得多。

![48bfc78f892d1d54d611780569fba552.png][]

## 索引和搜索 ##

搜索在许多方面都是数据库索引的变体。在数据库中，索引标识一般以行 id 或主键的形式隐藏在数据库中。在关系型数据库系统中，索引更新是通过事务集成的，我们能够看到性能差异。

搜索系统在处理文档方面有些不同。大多数搜索系统在文档发生变更后异步更新搜索索引， 这是与某种形式的ID交织在一起。搜索使得读取文档更加容易。它极大地降低了数据读取时的成本，而创建和合并搜索索引是一项复杂的工作，也是数据写入放大的一种形式。

搜索的索引需要语料库，以找到最近写入或更新的文档。其中每一个都需要有一个标识符，然后需要对其进行处理以定位搜索条件(有时称为 n-grams，https://en.wikipedia.org/wiki/n-gram)。在一个典型的文档中找到这些 n-gram 中的每一个元素都需要发送到包含许多索引元素的索引器。因此，文档标识符与可搜索文档中的每个术语(或 n-gram)相关联，所有这一切都是因为用户进行了写操作或创建了文档。每个文档都需要做大量的工作，而且还有很多很多的文档。

![92f513d57cc53bb4987603333655a26a.png][]

## 数据的规范化 ##

在关系数据库的世界里，一般要在数据库中保存规范化数据，努力避免更新异常被认为是极其重要的。大多数系统的分布式趋势在增强，其中大多数都有包含其数据的键值对，这些键值对是为了扩展分片使用的。通过将相关数据分组为一个键值对，很容易获取这个值 ，然后发出请求到远程系统。

如果规范化这个大型分片系统中的数据，规范化的值将可能不会在同一个分片上，执行分布式联接比执行集中式联接更加烦人。

为了解决这个问题，一般在数据上加上版本号，方案虽然并不完美，但比起分布式通信或者跨非规范化数据进行大规模更新，它的挑战性要小得多。大规模的分布式系统对一致读的语义施加了很大的压力，这反过来可以被看作是写入放大和读读成本之间的紧张关系。

## 一句话小结 ##

随着分布式系统的普遍化，数据系统的读写权衡越来越关键，辨认系统中数据读写的使用模式，才能进行设计上的权衡和优化。

【关联阅读】

*  [ES的一知半解][ES]
 *  [NFT 的一知半解][NFT]
 *  [稳定币的一知半解][Link 1]
 *  [DHT算法的一知半解][DHT]  
    
 *  [服务可用性的一知半解][Link 2]
 *  [对AI产品经理的一知半解][AI]
 *  [人工智能伦理学的一知半解][Link 3]
 *  [如何从零开始搭建数据分析后台 ][Link 4]
 *  [数据之道：数据分类管理框架和经验][Link 5]  
    
 *  [NLP的AI产品方法论：如何数据分析迭代优化][NLP_AI]
 *  [知新温故，从知识图谱到图数据库][Link 6]
 *  [基于CRDT的数据最终一致性][CRDT]
 *  [tataUFO 大数据应用实践][tataUFO]
 *  [面向数据架构的云演变][Link 7]
 *  [从应用架构看大数据][Link 8]  
    
 *  [NoSQL 之于大数据][NoSQL]
 *  [数据存储的趣事][Link 9]

[0797dfd06cbb21935637175f9d30b521.png]: /images/20220828/b2f22b62accf4343a975a290e34b6b8f.png
[5813157a977d0b4d95586bf2ff63eebf.png]: /images/20220828/6bdbfb6ad2e4459b85cb08cadf1fc35c.png
[48bfc78f892d1d54d611780569fba552.png]: /images/20220828/a71673ea86794f54991f19b77094f1a4.png
[92f513d57cc53bb4987603333655a26a.png]: /images/20220828/c5c5a603d47c407aa07d55edc7b9b900.png
[ES]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ==&mid=2658973898&idx=1&sn=2377f801ea4da348252e90b530f889ca&chksm=80d325ecb7a4acfa9078d5577e5a12856d6c499bac4c034262ecfb878e46361d1de3d9c19ab6&scene=21#wechat_redirect
[NFT]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ==&mid=2658976464&idx=1&sn=391853d623a61a1edcd4e29f3d326ee5&chksm=80d35ff6b7a4d6e0b54ac2fe76cc095febf25407df660d4cdcb7d9840be97b7586e79eec4658&scene=21#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ==&mid=2658976654&idx=1&sn=d7701e9c7445086b4f8f9d33995f19fb&chksm=80d35ea8b7a4d7be4a393ff6a502298a792ae79551a3d9c6d218123fcc092bc47c95b1767ece&scene=21#wechat_redirect
[DHT]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ==&mid=2658976871&idx=1&sn=ca48f13299ab8a088f08ed906441282a&chksm=80d35941b7a4d057a931f3d621f1b8fe51d30fb29713349ec0dd7e193c7f31f6980d3c6dbd4d&scene=21#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ==&mid=2658975410&idx=1&sn=fab3bc623e4499a185a02b83c3d96cff&chksm=80d32394b7a4aa829f27b259fb81c7191de1a31a9aa3ec8972582b5b4007ac02c40646a44603&scene=21#wechat_redirect
[AI]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ==&mid=2658974931&idx=1&sn=ca6817e7701525f2affc23c6712ab6d0&chksm=80d321f5b7a4a8e36cc3105b9d8767f43f35c3c6644cadf93f86866c5840e9dc6d95e4d7bfff&scene=21#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ==&mid=2658975259&idx=1&sn=3b4f15e6af69dac813ff7194c9ea1791&chksm=80d3233db7a4aa2bb10d318505bb9ee23879a63940fc2ad5ca271fcd171380fcdfd7ddf00218&scene=21#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ==&mid=2658975655&idx=1&sn=96b5f496c8d5dedfbb961a57f25b287e&chksm=80d32281b7a4ab977e3419db1d494b4906804ed422d92ad6ff50da4a04c2e67e6d190c973ad5&scene=21#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ==&mid=2658976212&idx=1&sn=b94b653c98252ee30c23c2a1395a5ad7&chksm=80d35cf2b7a4d5e467a6f8d7ddad3afaf13dd24fff9b2cf73b7c50ab9ed9c1d68d26b225628e&scene=21#wechat_redirect
[NLP_AI]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ==&mid=2658975703&idx=1&sn=5dd819ce4d0e81d57155a86ea9645101&chksm=80d322f1b7a4abe7852afdcf70bd654b8943c15f111e7cf727690f75a2de8c413e62f726c680&scene=21#wechat_redirect
[Link 6]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ==&mid=2658973867&idx=1&sn=841f761874ead7d0e902692316e2d7e7&chksm=80d3258db7a4ac9b57ecc24508a139e4fe4661c45878441d86144fe8985690b8c87cc23d5049&scene=21#wechat_redirect
[CRDT]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ==&mid=2658976836&idx=1&sn=01a76c423122b6c86ff20163c24ff93d&chksm=80d35962b7a4d074a6581932f7c55d1e95239c1a57bf77014a8be5aacd53d5ff4739f0c18858&scene=21#wechat_redirect
[tataUFO]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ==&mid=2658970474&idx=1&sn=796d0c813e4c0f2a5d6002a5ace67fce&chksm=80d3364cb7a4bf5a411dd0dd9caa0785151e4f1a1cc763b99998abd02717a969bb88b7e5e0f7&scene=21#wechat_redirect
[Link 7]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ==&mid=2658973470&idx=1&sn=bc7e3989511f588a93fa7e1f41d46890&chksm=80d32a38b7a4a32ef5dcd40643f463ff3aa892756b74f56865a96c978a4211d52ffa12d41c92&scene=21#wechat_redirect
[Link 8]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ==&mid=2658970056&idx=1&sn=ba9e122f4c91a00cdf59ca09bfedc05f&chksm=80d334eeb7a4bdf8739e84cb1bcc39278da5d9addddc332a78d1b915fdbbd3e300d22782c45a&scene=21#wechat_redirect
[NoSQL]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ==&mid=2658970142&idx=1&sn=fdd43a7c1bd0e3a2fa45cfe8edf15926&chksm=80d33738b7a4be2ebdc6df162b78cd3537e703a68cb692c81fad3f373ff82801bfd96885157e&scene=21#wechat_redirect
[Link 9]: http://mp.weixin.qq.com/s?__biz=MzAwOTcyNzA0OQ==&mid=2658976374&idx=1&sn=2db1b12234360dc98ab025c2ddf26889&chksm=80d35f50b7a4d6463e04be74e1ce527a14d676e7f5fccd219c478f4655392c2ba10d0a51fc39&scene=21#wechat_redirect