9款日志采集和管理工具对比，选型必备！

左手的ㄟ右手 2024-03-16 18:29 10阅读 0赞

![6acc5c779dff6912ee1a14411c9fd254.png][]

*  1、Filebeat
 *  2、Graylog
 *  3、LogDNA
 *  4、Elasticsearch, Logstash and Kibana （ELK stack or Elastic Stack）
 *  5、Grafana Loki
 *  6、Datadog
 *  7、Logstash
 *  8、Fluentd
 *  9、Splunk

--------------------

**简介**

对于日志管理当前网络上提供了大量的日志工具，今天就给大家分析总结一下这些常用工具的特点，希望对你们在选型时有所帮助，如果有用记得一键三连。

### **1、Filebeat** ###

Filebeat是用于转发和集中日志数据的轻量级传送程序。作为服务器上的代理安装，Filebeat监视您指定的日志文件或位置，收集日志事件，并将它们转发到Elasticsearch或Logstash进行索引。

Filebeat的工作方式如下：启动Filebeat时，它将启动一个或多个输入，这些输入将在为日志数据指定的位置中查找。对于Filebeat所找到的每个日志，Filebeat都会启动收集器。每个收集器都读取一个日志以获取新内容，并将新日志数据发送到libbeat，libbeat会汇总事件并将汇总的数据发送到您为Filebeat配置的输出。

![452cf9adab29e1158e12f96dc8e5f2c0.png][]

图片

1.1 主要特点

*  轻量级并且易使用
 *  模块可用于常见用例（例如 Apache 访问日志）。您可以使用它们来设置 Filebeat、Ingest 和 Kibana 仪表板，只需几个命令

1.2 价格

免费开源

1.3 优点

*  资源使用率低
 *  良好的性能

1.4 缺点

有限的解析和丰富功能

### **2、Graylog** ###

Graylog是一个开源的日志聚合、分析、审计、展现和预警工具。功能上和ELK类似，但又比ELK要简单，依靠着更加简洁，高效，部署使用简单的优势很快受到许多人的青睐。

![1fc277ceda08a4773b45b3ab587362e0.png][]

图片

2.1 主要特点

*  一个包含日志处理所有要素的软件包：收集、解析、缓冲、索引、搜索、分析。
 *  开源 ELK 堆栈无法提供的其他功能，例如基于角色的访问控制和警报

2.2 价格

免费和开源，不过也有企业版(根据要求提供价格)

2.3 优点

*  在一个软件包中满足大多数集中式日志管理用例的需求
 *  轻松扩展存储 (Elasticsearch) 和获取通道

2.4 缺点

*  可视化能力是有限的，至少与ELK的Kibana相比是如此
 *  不能使用整个ELK生态系统，因为他们不能直接访问Elasticsearch API。相反，Graylog有自己的API

### **3、LogDNA** ###

LogDNA是日志管理领域的新成员。LogDNA可作为SaaS和内部使用，提供所有日志基础:通过syslog和HTTP(S)以及全文搜索和可视化，提供基于代理和无代理的日志收集，并提供清晰且具有竞争力的价格。

![cb2beb291888d3bec9bab16352e50f9b.png][]

图片

3.1 主要特点

*  用于在组织外部共享日志的嵌入式视图
 *  自动解析常用日志格式

3.2 价格

*  免费：无存储
 *  收费：付费计划起价为每月每GB 1.50 美元，保留 7 天

3.3 优点

*  用于搜索日志的简单 UI，类似于 Papertrail
 *  易于理解的计划

3.4 缺点

*  可视化能力有限
 *  保留期取决于计划（从 7 天到 30 天）。用户数量也是如此（最便宜的计划只允许 5 个）

### **4、Elasticsearch, Logstash and Kibana (ELK stack or Elastic Stack)** ###

![84c874bd794f151e5087e305024e2048.png][]

图片

4.1 主要特点

ELK堆栈包含了日志管理解决方案所需的大多数工具:

*  Log shippers：如Logstash和Filebeat
 *  Elasticsearch是一个可扩展的搜索引擎
 *  Kibana作为搜索日志或构建可视化的UI

它在集中日志方面非常流行，有很多关于如何在网络上使用它的教程。有一个庞大的工具生态系统，您可以在基本设置之上使用这些工具，通过警报、基于角色的访问控制等来增强它。我们将在这篇博文中详细介绍这些额外的附加功能，我们将在其中讨论 Elastic Stack 功能的替代方案。

*  Elasticsearch默认情况下对每个字段进行索引，使搜索速度更快
 *  通过API和Kibana实现实时可视化
 *  索引前的数据解析和充实

4.2 价格

*  免费和开源。一些公司提供托管 ELK 的形式，见上文。
 *  还有 Elastic Cloud，它是云中 ELK 的一种纯粹形式，您主要需要自己管理。

4.3 优点

*  可扩展的搜索引擎作为日志存储
 *  成熟的log shippers
 *  Kibana 中的 Web UI 和可视化

4.4 缺点

*  在规模上，它可能变得难以维护。这就是 Sematext 提供 ELK 堆栈咨询、生产支持和培训的原因
 *  ELK Stack 的开源版本缺少一些功能，例如基于角色的访问控制和警报。您可以通过商业“Elastic Stack 功能”或其替代品或 Visa Open Distro for Elasticsearch 获得这些功能。

### **5、Grafana Loki** ###

Loki 及其生态系统是 ELK 堆栈的替代方案，但它做出了不同的权衡。通过仅索引某些字段（标签），它可以具有完全不同的架构。也就是说，主要的写入组件（Ingester）会将大量日志保存在内存中，从而使最近的查询速度更快。

随着块变老，它们被写入两个地方：用于标签的键值存储（例如 Cassandra）和用于块数据的对象存储（例如 Amazon S3）。当您添加数据时，它们都不需要后台维护（例如 Elasticsearch/Solr 需要合并）。

如果您查询较旧的数据，您通常会按标签和时间范围进行过滤。这限制了必须从长期存储中检索的块的数量。

![126d037359be153a1503a6ba58d639d8.png][]

图片

5.1 主要特点

*  同一 UI 中的日志和指标 (Grafana)
 *  Loki 标签可以与 Prometheus 标签保持一致

5.2 价格

*  免费：免费开源
 *  收费：还有Grafana Cloud，提供Loki的SaaS服务(也有内部部署的选项)。价格从49美元起，包括100GB的日志存储(30天保留)和3000个度量系列

5.3 优点

*  与 ELK 相比，摄取速度更快：索引更少，无需合并
 *  小存储占用：较小的索引，数据只写入一次到长期存储（通常具有内置复制）
 *  使用更便宜的存储（例如 AWS S3）

5.4 缺点

*  与 ELK 相比，较长时间范围内的查询和分析速度较慢
 *  与 ELK 相比，log shippers选项更少（例如 Promtail 或 Fluentd）
 *  不如 ELK 成熟（例如更难安装）

### **6、Datadog** ###

Datadog 是一种 SaaS，最初是作为监控 (APM) 工具，后来还添加了日志管理功能。您可以通过 HTTP(S) 或 syslog，通过现有的日志传送器（rsyslog、syslog-ng、Logstash 等）或通过 Datadog 自己的代理发送日志。

它的特点是 Logging without Limits™，这是一把双刃剑：更难预测和管理成本，但您可以获得即用即付定价（见下文）以及您可以存档和从存档中恢复的事实。

![c5efea918ad447b176d4995a573fb0dc.png][]

图片

6.1 主要特点

*  用于解析和丰富日志的服务器端处理管道
 *  自动检测常见的日志模式
 *  可以将日志归档到 AWS/Azure/Google Cloud 存储并在以后重新使用它们

6.2 价格

*  处理起价为每月每GB 0.10 美元（例如 1GB 每天 3 美元）
 *  处理也适用于从档案中获取，尽管这里的数据是压缩的
 *  100 万个事件的存储起价为 1.59 美元，为期 3 天（例如，47.7 美元，1GB/天，每个 1K，存储 3 天）

6.3 优点

*  容易搜索，良好的自动完成(基于facet)
 *  与DataDog指标和跟踪的集成
 *  负担得起，特别是对于短期保留和/或如果你依靠存档进行一些搜索

6.4 缺点

*  现场不可用。一些用户抱怨成本失控（由于定价灵活）。虽然您可以设置每日处理配额

### **7、Logstash** ###

Logstash 是一个日志收集和处理引擎，它带有各种各样的插件，使您能够轻松地从各种来源摄取数据，将其转换并转发到定义的目的地。它与 Elasticsearch 和 Kibana 一起是 Elastic Stack 的一部分，这就是为什么它最常用于将数据传送到 Elasticsearch。

![d4be2a0cb49231836e9e3d9ada7820a5.png][]

图片

7.1 主要特点

*  许多内置的输入、过滤/转换和输出插件
 *  灵活的配置格式:您可以添加内联脚本，包括其他配置文件等

7.2 价格

*  免费开源

7.3 优点

*  容易开始和移动到复杂的配置
 *  灵活:Logstash用于各种日志记录用例，甚至用于非日志记录数据
 *  写得很好的文档和大量的操作指南

7.4 缺点

*  与其他日志shippers相比，资源使用率高
 *  与替代品相比，性能较低

### **8、Fluentd** ###

作为一个很好的 Logstash 替代品，Fluentd 是 DevOps 的最爱，特别是对于 Kubernetes 部署，因为它具有丰富的插件库。与 Logstash 一样，它可以将数据结构化为 JSON，并涉及日志数据处理的所有方面：收集、解析、缓冲和输出跨各种来源和目的地的数据。

![56212eac21988c80d552366369e2a17a.png][]

图片

8.1 主要特点

*  与库和Kubernetes的良好集成
 *  大量的内置插件，很容易编写新的

8.2 价格

*  免费开源

8.3 优点

*  良好的性能和资源使用
 *  良好的插件生态系统
 *  易于使用的配置
 *  良好的文档

8.4 缺点

*  解析前没有缓冲，可能会导致日志管道出现背压
 *  对转换数据的支持有限，就像您可以使用 Logstash 的 mutate 过滤器或 rsyslog 的变量和模板一样

### **9、Splunk** ###

Splunk 是最早的商业日志集中工具之一，也是最受欢迎的。典型的部署是本地部署 (Splunk Enterprise)，尽管它也作为服务提供 (Splunk Cloud)。您可以将日志和指标发送到 Splunk 并一起分析它们。

![6c4dce12a2cdc7b930596b7e4088906d.png][]

图片

9.1 主要特点

*  用于搜索和分析的强大查询语言
 *  搜索时字段提取（在摄取时解析之外）
 *  自动将经常访问的数据移动到快速存储，将不经常访问的数据自动移动到慢速存储

9.2 价格

*  免费：每天 500MB 数据
 *  付费计划可应要求提供，但常见问题解答建议 1GB 的起价为 150 美元/月

9.3 优点

*  成熟且功能丰富
 *  对于大多数用例来说，良好的数据压缩(假设有有限的索引，正如推荐的那样)
 *  日志和度量在一个屋檐下

9.4 缺点

*  贵
 *  对于较长的时间范围，查询速度较慢(建议使用有限的索引)
 *  用于度量存储的效率低于专注于监控的工具

[6acc5c779dff6912ee1a14411c9fd254.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/67bbf69d3949452db5a9074c3ca74ed7.png
[452cf9adab29e1158e12f96dc8e5f2c0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/95d5a84c4df74d4781b5e303f381a87f.png
[1fc277ceda08a4773b45b3ab587362e0.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/7157a583aee14b6da1416331d833b008.png
[cb2beb291888d3bec9bab16352e50f9b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/de707ce33cf947d19b56097468477312.png
[84c874bd794f151e5087e305024e2048.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/b8023574b04441599d0dde8f88755a5f.png
[126d037359be153a1503a6ba58d639d8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/b461d8a60e754fcc8651da8cc6e50e7f.png
[c5efea918ad447b176d4995a573fb0dc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/e17cc6824bb543e887ec4805bf5e0d44.png
[d4be2a0cb49231836e9e3d9ada7820a5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/e4f88c064a3041329559c025e3d78b27.png
[56212eac21988c80d552366369e2a17a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/2b376c163a904237a23a31cadc195b28.png
[6c4dce12a2cdc7b930596b7e4088906d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/15/df62ae6426214de68cb15423532b8628.png