kafka CAP理论

朱雀 2022-05-15 05:36 202阅读 0赞

C:Consistency,一致性

1.  通过某个节点的写操作结果对后面通过其他节点的读操作可见

2. 如果更新数据后，并发访问情况下可立即感知该更新，成为强一致性

3. 如果允许之后部分或者全部感知不到该更新，称为弱一致性

4. 若在之后的一段时间（时间不固定）后，一定可以感知该更新，称为最终一致性

A:Availability 可用性

1. 任何一个没有发生故障的节点必须在有限的时间返回合理的结果

P:partition tolerance 分区容忍性

1. 部分节点宕机或者无法与其它节点通信时候，各分区还可以保持分布式系统的功能

CAP理论：分布式系统中，一致性/可用性/分区容忍性最多可以满足俩个条件

一般分区容忍性都要求有保障，因此很多时候是在可用性与一致性之间做权衡

一致性方案：

1. Master-slave

a. RDBMS的读写分离即为典型的Master-salave方案

b.同步复制可保证一致性但会影响可用性

c.异步复制可提供高可用性但会降低一致性

ISR

1. Leader会维护一个与其基本保持同步的Replica列表，该列表称为ISR

每个partition都会有一个leader，每个partition都会有一个ISR

2. 如果一个Follower比leader落后太多，或者超过一定时间未发起数据复制请求，则Leader将其从ISR移除

3. 当ISR中所有Replica都向Leader发送ACK时，Leaders即Commit

Commit策略

server配置

replica.lag.time.max.ms = 10000    //你能在落后的时间是10s，超过10s你一直没有想leader发送finish请求，这时就认为follower，有问题，那么就将他从ISR中移除

replica.lag.max.messages = 4000 //如果follower和leader相差4000条，那么也会将它从ISR中移除

当后边我们的follower落后的时间不是10s,然后相差也小于4000条，那么leader会将它重新加入到ISR中

这时就体现了一个 可用性和一致性的动态应用，再做一个权衡

Topic配置

min.insync.replicas = 1

这个可以指定，再我们的ISR中replica最小为1，这里就是没有备份，当我们一致性更好的化，那么就将他设置为2或者3

Producer配置

request.required.acks = 0

这里是异步的情况，不用等待返回，当为1是那么就是同步的，必须给出返回，才认为是成功  -1 这里其实就不是我们自己维护，这里的话是配合我们上一个参数使用的，当我们的replicas大于等于2的时候，这是必须等待我们的俩个副本都进行返回，然后才是成功

发表评论取消回复

表情：

评论列表（有 0 条评论，202人围观）

还没有评论，来说两句吧...

相关阅读

相关 CAP理论

原文链接:https://blog.csdn.net/chen77716/article/details/30635543 CAP理论在互联网界有着广泛的知名度，知识稍微宽泛

灰太狼/ 2024年02月19日 16:56/ 0 赞/ 14 阅读

相关 CAP理论

分布式系统的三个指标 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9

灰太狼/ 2022年12月25日 15:52/ 0 赞/ 143 阅读

相关 CAP理论

[CAP理论][CAP] CAP理论作为分布式系统的基础理论,它描述的是一个分布式系统在以下三个特性中：一致性（Consistency）可用性（Avai

女爷i/ 2022年12月23日 07:04/ 0 赞/ 163 阅读

相关 CAP理论

CAP理论是分布式计算领域的。 C -> Consistency 一致性 A -> Availability 可用性 P -> Partition Tole

以你之姓@/ 2022年10月28日 14:28/ 0 赞/ 139 阅读

相关 CAP理论

CAP 三指标 CAP理论对于分布式系统的特性做了高度抽象，形成了三个指标：一致性、可用性、分区容错性。一致性指的是客户端的每次读数据的操作，所有节点返回的数据应该是相

心已赠人/ 2022年09月01日 00:04/ 0 赞/ 164 阅读

相关 CAP 理论

CAP理论及对应产品倾向 ![0_1313296881WUYE.gif][] [0_1313296881WUYE.gif]: /ima

Love The Way You Lie/ 2022年06月18日 00:15/ 0 赞/ 161 阅读

相关 kafka CAP理论

C:Consistency,一致性 1. 通过某个节点的写操作结果对后面通过其他节点的读操作可见 2. 如果更新数据后，并发访问情况下可立即感知该更新，成为强一致性 3

朱雀/ 2022年05月15日 05:36/ 0 赞/ 203 阅读

相关 CAP理论&BASE理论

CAP理论 C：Consistency 一致性同一数据的多个副本是否实时相同。 A：Availability 可用性可用性：一定时间内 & 系统返回

不念不忘少年蓝@/ 2022年04月22日 01:34/ 0 赞/ 291 阅读

相关分布式CAP理论/BASE理论

一、什么是CAP？ ![format_png][] CAP示意图 Consistency (一致性)： “all nodes see the same data

客官°小女子只卖身不卖艺/ 2022年03月21日 04:48/ 0 赞/ 302 阅读

相关 CAP理论

一、传统的ACID理论关系型数据库遵循ACID规则。事务在英文中是transaction，和现实世界中的交易很类似，它有如下四个特性： 1、A (Atomici

柔光的暖阳◎/ 2022年02月20日 16:21/ 0 赞/ 226 阅读