elastic统计服务器性能,硬件 | Elasticsearch: 权威指南 | Elastic

╰+哭是因爲堅強的太久メ 2022-09-04 10:46 190阅读 0赞

按照正常的流程，你可能已经在自己的笔记本电脑或集群上使用了 Elasticsearch。

但是当要部署 Elasticsearch 到生产环境时，有一些建议是你需要考虑的。这里没有什么必须要遵守的准则，Elasticsearch 被用于在众多的机器上处理各种任务。基于我们在生产环境使用 Elasticsearch 集群的经验，这些建议可以为你提供一个好的起点。

如果有一种资源是最先被耗尽的，它可能是内存。排序和聚合都很耗内存，所以有足够的堆空间来应付它们是很重要的。即使堆空间是比较小的时候，

也能为操作系统文件缓存提供额外的内存。因为 Lucene 使用的许多数据结构是基于磁盘的格式，Elasticsearch 利用操作系统缓存能产生很大效果。

64 GB 内存的机器是非常理想的， 但是32 GB 和16 GB 机器也是很常见的。少于8 GB 会适得其反(你最终需要很多很多的小机器)，大于64 GB 的机器也会有问题，

我们将在 堆内存:大小和交换 中讨论。

CPUsedit

大多数 Elasticsearch 部署往往对 CPU 要求不高。因此，相对其它资源，具体配置多少个(CPU)不是那么关键。你应该选择具有多个内核的现代处理器，常见的集群使用两到八个核的机器。

如果你要在更快的 CPUs 和更多的核心之间选择，选择更多的核心更好。多个内核提供的额外并发远胜过稍微快一点点的时钟频率。

硬盘对所有的集群都很重要，对大量写入的集群更是加倍重要(例如那些存储日志数据的)。硬盘是服务器上最慢的子系统，这意味着那些写入量很大的集群很容易让硬盘饱和，使得它成为集群的瓶颈。

如果你负担得起 SSD，它将远远超出任何旋转介质(注：机械硬盘，磁带等)。 基于 SSD 的节点，查询和索引性能都有提升。如果你负担得起，SSD 是一个好的选择。

检查你的 I/O 调度程序

如果你正在使用 SSDs，确保你的系统 I/O 调度程序是配置正确的。

当你向硬盘写数据，I/O 调度程序决定何时把数据实际发送到硬盘。

大多数默认 \*nix 发行版下的调度程序都叫做 cfq(完全公平队列)。

调度程序分配 时间片 到每个进程。并且优化这些到硬盘的众多队列的传递。但它是为旋转介质优化的：

机械硬盘的固有特性意味着它写入数据到基于物理布局的硬盘会更高效。

这对 SSD 来说是低效的，尽管这里没有涉及到机械硬盘。但是，deadline 或者 noop 应该被使用。deadline 调度程序基于写入等待时间进行优化，

noop 只是一个简单的 FIFO 队列。

这个简单的更改可以带来显著的影响。仅仅是使用正确的调度程序，我们看到了500倍的写入能力提升。

如果你使用旋转介质，尝试获取尽可能快的硬盘(高性能服务器硬盘，15k RPM 驱动器)。

使用 RAID 0 是提高硬盘速度的有效途径，对机械硬盘和 SSD 来说都是如此。没有必要使用镜像或其它 RAID 变体，因为高可用已经通过 replicas 内建于 Elasticsearch 之中。

最后，避免使用网络附加存储(NAS)。人们常声称他们的 NAS 解决方案比本地驱动器更快更可靠。除却这些声称，

我们从没看到 NAS 能配得上它的大肆宣传。NAS 常常很慢，显露出更大的延时和更宽的平均延时方差，而且它是单点故障的。

快速可靠的网络显然对分布式系统的性能是很重要的。

低延时能帮助确保节点间能容易的通讯，大带宽能帮助分片移动和恢复。现代数据中心网络(1 GbE, 10 GbE)对绝大多数集群都是足够的。

即使数据中心们近在咫尺，也要避免集群跨越多个数据中心。绝对要避免集群跨越大的地理距离。

Elasticsearch 假定所有节点都是平等的—并不会因为有一半的节点在150ms 外的另一数据中心而有所不同。更大的延时会加重分布式系统中的问题而且使得调试和排错更困难。

和 NAS 的争论类似，每个人都声称他们的数据中心间的线路都是健壮和低延时的。这是真的—直到它不是时(网络失败终究是会发生的，你可以相信它)。

从我们的经验来看，处理跨数据中心集群的麻烦事是根本不值得的。

获取真正的高配机器在今天是可能的：成百 GB 的 RAM 和几十个 CPU 核心。

反之，在云平台上串联起成千的小虚拟机也是可能的，例如 EC2。哪种方式是最好的?

通常，选择中配或者高配机器更好。避免使用低配机器，

因为你不会希望去管理拥有上千个节点的集群，而且在这些低配机器上运行 Elasticsearch 的开销也是显著的。

与此同时，避免使用真正的高配机器。它们通常会导致资源使用不均衡(例如，所有的内存都被使用，但 CPU 却没有)而且在单机上运行多个节点时，会增加逻辑复杂度。

发表评论取消回复

表情：

评论列表（有 0 条评论，190人围观）

还没有评论，来说两句吧...

相关阅读

相关部署 Elastic

文章目录安装 eck 安装 elastic 部署 Kibana > 官网：https://www.elastic.co/gui

我不是女神ヾ/ 2024年04月03日 07:10/ 0 赞/ 76 阅读

相关【elastic search】JAVA操作elastic search

![2fcdbbddddb047a09689849dbbd6fba2.png][] ![176087953ff9473c9f15625687d42437.gif][] 目录

柔情只为你懂/ 2024年02月05日 23:26/ 0 赞/ 132 阅读

相关【elastic search】详解elastic search集群

![fb5a01e5fa97412c9f6c047bbd198181.png][] ![af7eff03535a42f593873f24f40e4d71.gif][] 目录

刺骨的言语ヽ痛彻心扉/ 2024年01月30日 02:32/ 0 赞/ 57 阅读

相关 elastic-job

基本情况 > elastic-job是当当开源的一款非常好用的作业框架，在这之前，我们开发定时任务一般都是使用quartz或者spring-task（Scheduled

末蓝、/ 2023年06月28日 04:54/ 0 赞/ 32 阅读

相关 Elastic Search

Elastic Search ELK基础一、什么是Elastic Search 1 相关概念 1.1

╰半夏微凉°/ 2023年06月17日 06:55/ 0 赞/ 47 阅读

相关 Elastic-Job

作业类型说明 Elastic-Job 提供Simple、Dataflow和Script三种作业类型。方法参数shardingContext包含作业配置、分片和运行时信息。可通

矫情吗；*/ 2023年03月13日 03:38/ 0 赞/ 29 阅读

相关 Elastic：菜鸟上手指南

你好，我是 Elastic 的刘晓国， Elastic 认证工程师，认证分析师，阿里云最有价值专家。如果大家想开始学习 Elastic 的话，那么这里将是你理想的学习园地。在我

墨蓝/ 2022年11月17日 05:13/ 0 赞/ 242 阅读

相关 elastic 教程

[https://es.xiaoleilu.com/][https_es.xiaoleilu.com] [https_es.xiaoleilu.com]: https://

以你之姓@/ 2022年09月27日 12:30/ 0 赞/ 322 阅读

相关 elastic统计服务器性能,硬件 | Elasticsearch: 权威指南 | Elastic

按照正常的流程，你可能已经在自己的笔记本电脑或集群上使用了 Elasticsearch。但是当要部署 Elasticsearch 到生产环境时，有一些建议是你需要考虑的。这

╰+哭是因爲堅強的太久メ/ 2022年09月04日 10:46/ 0 赞/ 191 阅读

相关 Elastic学习：（一）windows安装ElasticSearch

最近Elastic大家讨论的比较多，我也来凑凑热闹。看见过一个同事用Elastic的kinbana将数据进行可视化，感觉挺有意思的。当然读完相关文档会发现Elastic的用处不

- 日理万妓/ 2021年12月12日 00:29/ 0 赞/ 336 阅读