轻量级日志采集系统Loki+grafana搭建

电玩女神 2023-10-03 02:22 87阅读 0赞

## **轻量级日志采集系统Loki+grafana搭建** ##

**一.Loki介绍**  
整体架构  
![img][]  
Loki的架构非常简单，使用了和prometheus一样的标签来作为索引，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据，不但减少了两种查询之间的切换成本，也极大地降低了日志索引的存储。  
Loki将使用与prometheus相同的服务发现和标签重新标记库,编写了pormtail, 在k8s中promtail以daemonset方式运行在每个节点中，通过kubernetes api等到日志的正确元数据，并将它们发送到Loki。

下面是日志的存储架构：  
![img][img 1]

**二.使用二进制包简单搭建**  
使用docker-composer可能比较方便，我们这里采用二进制包安装  
**1.安装loki主程序包**  
loki-linux-amd64.zip  
![img][img 2]

查看配置文件  
\[root@centos7 Loki\]\# cat loki-config.yaml  
auth\_enabled: false

server:  
http\_listen\_port: 3100

ingester:  
lifecycler:  
address: 127.0.0.1  
ring:  
kvstore:  
store: inmemory  
replication\_factor: 1  
final\_sleep: 0s  
chunk\_idle\_period: 5m  
chunk\_retain\_period: 30s  
max\_transfer\_retries: 0

schema\_config:  
configs:  
\- from: 2018-04-15  
store: boltdb  
object\_store: filesystem  
schema: v11  
index:  
prefix: index\_  
period: 168h

storage\_config:  
boltdb:  
directory: /loki/index

filesystem:  
directory: /loki/chunks

limits\_config:  
enforce\_metric\_name: false  
reject\_old\_samples: true  
reject\_old\_samples\_max\_age: 168h

chunk\_store\_config:  
max\_look\_back\_period: 0s

table\_manager:  
retention\_deletes\_enabled: false

指定配置文件，启动服务  
nohup ./loki -config.file=loki-config.yaml &

**2.采集promtail节点配置**  
这里我们使用的是采集小米数据库代理中间件gaea的日志为例，其他的日志只要写好节点采集路径及名称就可以了  
下载二进制包promtail-linux-amd64.zip

![img][img 3]

查看节点采集配置文件  
![img][img 4]

\[root@db promtail\]\# cat promtail-config.yaml  
server:  
http\_listen\_port: 9080  
grpc\_listen\_port: 0

positions:  
filename: /tmp/positions.yaml

clients:

*  url: http://\*\*\*\*\*\*\*:31000/loki/api/v1/push

scrape\_configs:

*  job\_name: system
    
    static\_configs:
    
     *  targets:
        
         *  localhost  
            labels:  
            job: 92-gaea  
            **path**: /data/gaea/logs/gaea.\*

启动采集服务  
nohup ./promtail -config.file=promtail-config.yaml &

**3.loki服务器端安装展示模版grafana**  
下载包直接yum安装即可，安装完启动服务  
yum install -y grafana-7.0.5-1.x86\_64.rpm

**三.grafana展示查看数据**  
**1.添加loki数据源**  
![img][img 5]

![img][img 6]

**2.打开展示板**  
![img][img 7]

**3.查看日志数据**  
![img][img 8]

![img][img 9]

**四.查询基本语法**  
= 完全相同。  
!= 不平等。  
=~ 正则表达式匹配。  
!~ 不要正则表达式匹配。

\{job=“mysql”\} |= “error”  
\{name=“kafka”\} |~ “tsdb-ops.\*io:2017”

参考链接：

https://blog.51cto.com/anfishr/2511063

[img]: https://img-blog.csdnimg.cn/img_convert/c1b5075571b83a7e67d10b30937b796e.png
[img 1]: https://img-blog.csdnimg.cn/img_convert/f0e80dff7dbc7eadedb65969d405f78e.png
[img 2]: https://img-blog.csdnimg.cn/img_convert/fb06d9ea8c68256737fa1768005ceec7.png
[img 3]: https://img-blog.csdnimg.cn/img_convert/0bacc2fb7eee0f551fd79aaf839ed369.png
[img 4]: https://img-blog.csdnimg.cn/img_convert/ffd3b64b230e1e18e20cf29df2413aec.png
[img 5]: https://img-blog.csdnimg.cn/img_convert/b4b8b0e1ca577d2d65145d391392fa8d.png
[img 6]: https://img-blog.csdnimg.cn/img_convert/4afb1b153733c2b0af8909195e88c5f0.png
[img 7]: https://img-blog.csdnimg.cn/img_convert/61ab485ce95cdc3e34fd664746b65971.png
[img 8]: https://img-blog.csdnimg.cn/img_convert/00e2d230be9c4ddda0cb6b292a1ead61.png
[img 9]: https://img-blog.csdnimg.cn/img_convert/2cb1ca7b4b00d092fa022ab7e65ed2a7.png