使用 Loki 收集 nginx 日志

向右看齐 2023-01-19 04:43 55阅读 0赞

![19e22191ede094df6cf1115b2397dc18.gif][]

之前日志服务用的较多的一般是ELK，EFK，graylog等，但这些日志由java编写，运行需要jdk，而且配置上面，还是有点复杂，比如需要对日志需要写grok将复杂的日志进行匹配，好在后面出了可以根据分隔符的方式进行日志的提取，也就是dissect插件，可以根据分隔符进行分割。

ELK在日志方面给我的感觉是大而全，查询匹配是杠杠的，Kibana图表非常丰富。但如果面对大量的数据，需要查询，在不堆机器的情况下，还是会比较疲软，查询比较慢，之前公司每当突发流量的时候，由于日志写入比较大，队列都在kafka，es消费慢，导致无法实时出数据。

Loki 受到了 prometheus启 发，对日志进行打标签的方式而非全文索引的方，而且也可以跟kubernetes集成。

`Like Prometheus, but for logs!`

## 1安装Loki(使用Local方式) ##

### 安装和运行 ###

1.  https://github.com/grafana/loki/releases/
2.  找到要安装的版本，我采用的是v2.1.0
3.  下载Loki和Promtail, (Loki为日志的引擎，通过Promtail来发送日志到Loki)
4.  在本机找一个目录存放这两个2进制文件
5.  下载两者的配置文件
    
        wget https://raw.githubusercontent.com/grafana/loki/master/cmd/loki/loki-local-config.yaml
        wget https://raw.githubusercontent.com/grafana/loki/master/cmd/promtail/promtail-local-config.yaml
6.  使用如下命令启动Loki
    
        ./loki-linux-amd64 -config.file=loki-local-config.yaml
    
        root@test:~$cd /usr/local/loki/
        root@test:/usr/local/loki$ls
        loki-linux-amd64  loki-local-config.yaml  promtail-linux-amd64  promtail-local-config.yaml
        root@test:/usr/local/loki$./loki-linux-amd64 -config.file=loki-local-config.yaml

## 2尝试搜集nginx日志 ##

1.  所以首先对nginx默认的日志进行改造，让他以json的方式进行输出到目录，然后用Promtail对其进行读取。
2.  读取使用LogQL的json方式去读取，这个LogQL内容填写在grafana中。

### nginx的部分配置改造 ###

虚拟server配置

server {
        server_name  loki.test.com; # 域名设置
        listen       8888;
        access_log /var/log/nginx/loki_access.log promtail_json;
        location / {
            return 200 "It's ok!";
        }
    }

promtail\_json日志格式配置

log_format promtail_json '{"@timestamp":"$time_iso8601",'
            '"@version":"Promtail json",'
            '"server_addr":"$server_addr",'
            '"remote_addr":"$remote_addr",'
            '"host":"$host",'
            '"uri":"$uri",'
            '"body_bytes_sent":$body_bytes_sent,'
            '"bytes_sent":$body_bytes_sent,'
            '"request":"$request",'
            '"request_length":$request_length,'
            '"request_time":$request_time,'
            '"status":"$status",'
            '"http_referer":"$http_referer",'
            '"http_user_agent":"$http_user_agent"'
            '}';

访问127.0.0.1:8888，观察日志已经正常输出为json格式，请保证该json格式正确。

root@test:/etc/nginx/conf.d$tail -f /var/log/nginx/loki_access.log 
    {"@timestamp":"2021-03-06T01:54:42-05:00","@version":"Promtail json","server_addr":"127.0.0.1","remote_addr":"192.168.65.130","host":"127.0.0.1","uri":"/","body_bytes_sent":8,"bytes_sent":8,"request":"GET / HTTP/1.1","request_length":78,"request_time":0.000,"status":"200","http_referer":"-","http_user_agent":"curl/7.29.0"}

**nginx日志改造完毕**

### Promtail配置文件修改 ###

1.  因为搜集日志是Promtail处理，所以自然而然是需要根据自己需求来配置Promtail的配置文件。

server:
      http_listen_port: 9080
      grpc_listen_port: 0
    
    positions:
      filename: /tmp/loki-positions.yaml  # 记录pos点
      sync_period: 5s # 5s一次将当前读取到的pos点同步至filename配置的文件内
    
    clients:
      - url: http://localhost:3100/loki/api/v1/push
    
    scrape_configs:
    - job_name: Loki
      static_configs:
      - labels: # 设定的部分标签
         job: Loki-nginx
         host: localhost
         app: nginx
         __path__: /var/log/nginx/loki_access.log # 待读取的nginx日志

### LogQL json部分文档理解 ###

1.  json的提取分为两种方式，**带参数**和**不带参数**

#### 不带参数的方式 ####

1.  使用`|json`来提取日志的json内容，前提是json内容为有效json格式。
2.  嵌套的字段会用”\_”将内外层的key进行拼接。
3.  **忽略数组。**

看一下官网中不带参数方式的样例

{
        "protocol": "HTTP/2.0",
        "servers": ["129.0.1.1","10.2.1.3"],
        "request": {
            "time": "6.032",
            "method": "GET",
            "host": "foo.grafana.net",
            "size": "55",
            "headers": {
              "Accept": "*/*",
              "User-Agent": "curl/7.68.0"
            }
        },
        "response": {
            "status": 401,
            "size": "228",
            "latency_seconds": "6.031"
        }
    }

被json解后，得到如下：

"protocol" => "HTTP/2.0"
    "request_time" => "6.032"
    "request_method" => "GET"
    "request_host" => "foo.grafana.net"
    "request_size" => "55"
    "response_status" => "401"
    "response_size" => "228"
    "response_size" => "228"

从输出能看到，原本request字段内容为嵌套，**所以request里面的内容的key验证了如上第二点，使用”\_”进行了拼接。****同时servers由于是个数组，所以在解析后直接丢弃了servers这个key，验证了第三点。**

#### 带参数的方式 ####

1.  带参数的方式，json只会根据参数来解开需要的部分(当单条json数据比较大的时候应该能省很多资源)。
2.  使用| json label=”expression”, another=”expression”的方式来编写该方法。可以存在多个参数

看一下官网中带参数方式的样例

使用| json first\_server=”servers\[0\]”, ua=”request.headers\["User-Agent"\]进行提取

输出结果为：

"first_server" => "129.0.1.1"
    "ua" => "curl/7.68.0"

first\_server和ua都为原先参数中指定的key

如果要提取整个对象，可以使用| json server\_list=”servers”, headers=”request.headers 这样就能得到如下输出：

"server_list" => `["129.0.1.1","10.2.1.3"]`
    "headers" => `{"Accept": "*/*", "User-Agent": "curl/7.68.0"}`

### 尝试写一条LogQL表达式 ###

一条完整的LogQL表达式由**两部分**构成：

*  a log stream selector，可以理解为，通过设定的label去匹配要抓取哪些日志。
 *  a log pipeline，可以理解为表达式。比如json的提取。

比如如下表达式

{container="query-frontend",namespace="tempo-dev"} |= "metrics.go" | logfmt | duration > 10s and throughput_mb < 500

\`\{container=”query-frontend”,namespace=”tempo-dev”\}\`\` 部分为log stream selector，后面部分为log pipeline。

### 编写一个简单的nginx日志需求 ###

1.  Loki-nginx日志中状态码为200的条数。
2.  根据当前选定时间范围，自动调整。

思考：

1.  如何指定Loki-nginx，可以使用log stream selector的表达式来选定。
2.  nginx日志已经转变为了json，所以可以用`|json`来提取。
3.  如何获取status字段的信息? |json后面直接跟随|status即可，即`|json|status`。
4.  如何根据当前选定的时间范围？使用内置变量`[$\_\_interval]`。
5.  条数该得用什么方法获得？LogQL有内置函数`count_over_time`配合`sum`，这边需要注意的是`count_over_time`是根据指定时间范围返回日志条目的具体内容，所以还需要配合`sum`获得时间段内的总数。

编写：

1.  首先选定Loki-nginx的日志，`{job="Loki-nginx"}`。
2.  使用count\_over\_time函数配合`[$\_\_interval]`来获取总共的条数。`count_over_time({job="Loki-nginx"}[$\_\_interval])`
3.  过滤status字段，让其等于200，表达式`count_over_time({job="Loki-nginx"} | json | status = 200 [$\_\_interval])`，此时会报错，因为status为字符串，可以添加\_\_error\_\_=””让其忽略转换出现的异常。得到`count_over_time({job="Loki-nginx"} | json | status = 200 \_\_error\_\_="" [$\_\_interval])`
4.  此时在grafana上显示为多条数据，配合sum得到单独一个数值。
5.  最终的表达式为：`sum(count_over_time({job="Loki-nginx"} | json | status = 200 __error__="" [$__interval]))`

![2733b78b98e0acb5da2cb070b2133c6a.png][]

> 原文链接：https://kirakirazone.com/2021/03/06/Loki%E6%97%A5%E5%BF%97%E6%9C%8D%E5%8A%A101/

**公众号后台回复** \[ 加群 \]，加入linux+docker+k8s+devops技术交流群，一起进步、一起成长！

精彩文章推荐

[安装kubernetes集群-灵活安装k8s各个版本高可用集群][kubernetes_-_k8s]

[Prometheus+Grafana+Alertmanager搭建全方位的监控告警系统-超详细文档][Prometheus_Grafana_Alertmanager_-]

[基于Jenkins和k8s构建企业级DevOps容器云平台][Jenkins_k8s_DevOps]

[k8s+jenkins+SonarQube+harbor构建DevOps自动化容器云平台][k8s_jenkins_SonarQube_harbor_DevOps]

[k8s如何学习？搞清k8s关键技术点][k8s_k8s][  
][Link 1]

[Kubernetes将弃用Docker，不必恐慌][Kubernetes_Docker][  
][Link 2]

[5个维度对 Kubernetes 集群优化][5_ Kubernetes]

[K8s自动扩缩容工具KEDA发布2.0版本，全面升级应用扩展能力][K8s_KEDA_2.0]

[应该监控哪些Kubernetes健康指标？][Kubernetes][  
][k8s_k8s]

[如何在 Kubernetes 上扩展微服务][Kubernetes 1]

[容器运行时Containerd基础][Containerd]

[K8S 集群中的认证、授权与kubeconfig][K8S _kubeconfig]

[Kubernetes 1.21正式发布 | 主要变化解读][Kubernetes 1.21_ _]

[k8s控制器Statefulset详细介绍：资源清单编写技巧][k8s_Statefulset]

[Pod高级用法：如何管理pod生命周期][Pod_pod]

[使用k3s部署轻量Kubernetes集群快速教程][k3s_Kubernetes]

![9031e5a0e73b94be3c817993ce0507c3.png][]

公众号后台回复 \[ 加群 \]，加入linux+docker+k8s+devops技术交流群，一起进步、一起成长！

[19e22191ede094df6cf1115b2397dc18.gif]: /images/20221021/9c12fa535844489c90a71fb490161706.png
[2733b78b98e0acb5da2cb070b2133c6a.png]: /images/20221021/186585626ff849cfab54b91cc26cd863.png
[kubernetes_-_k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6384b8cc140dae0e6efba75100e29549cc440a010a5c7976bdd313e9c6139569b197e20a8f&idx=1&mid=2247486381&scene=21&sn=f07ae730cdc3ca2442462e0c7f2caed1#wechat_redirect
[Prometheus_Grafana_Alertmanager_-]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638b08cc14021e5e025f2f0b89d18ec5ef19f9dec4429a56f356e8b596d01095e313dab3e3&idx=1&mid=2247484445&scene=21&sn=bf8928e7aae815b8e7f9ac56a67289ce#wechat_redirect
[Jenkins_k8s_DevOps]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb639ad4cc1413c29af69c3c0c3e48d17ef9a2cf5948696d70fb8fad23eecabc5d75b5d23657&idx=1&mid=2247488961&scene=21&sn=a4ea6111d7b613f2948032a3a16a1ac9#wechat_redirect
[k8s_jenkins_SonarQube_harbor_DevOps]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb639c31cc1415277a4203065c3aaa468949e48dc8c75d65026c59584b0517cef18e26273373&idx=1&mid=2247488292&scene=21&sn=d81030fed2368e707ee984929b2ee6a5#wechat_redirect
[k8s_k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb639ba0cc1412b6c2e6d7c057dceaf125787fe4a0a0e12caf94b7bb3796296dbb3a278c36fe&idx=1&mid=2247488693&scene=21&sn=5ad25ab1809828acfa7e75dcfb824542#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb639f9bcc14168dbffbc995646942ed75995d1181296af73df1cd13b6d3f0052d42934648cc&idx=1&mid=2247487630&scene=21&sn=d4cbb1afb6d2d059c0e9d319dd47fdf0#wechat_redirect
[Kubernetes_Docker]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb639f68cc14167e344cea74d031c8f466e51cb00f19d112d07aeb73fa062a7be5b473d055d7&idx=1&mid=2247487613&scene=21&sn=61308d2c58562ad51ad8c1327a2353e1#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb639f7acc14166ca2176a440bbcde9d563c78df76bff8a5a8e0cff467f23dfc9415b2c5c4ef&idx=1&mid=2247487599&scene=21&sn=8f107a8d869238058e50e8cd73175c5a#wechat_redirect
[5_ Kubernetes]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6383aecc140ab8050df002d52f6063e85ad2777f4ec0941c9d40ea49c50c11f23542f43dfc&idx=1&mid=2247486651&scene=21&sn=2fe1be9d4a335077757c46a36cb1aea2#wechat_redirect
[K8s_KEDA_2.0]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb639d51cc141447eb0ded990df4abe27860fc66b782875f3e656bcdfe5a7b00b2bfb76b9d15&idx=1&mid=2247488068&scene=21&sn=f24c1e2561160fe5feb9a17c6bcc8d1c#wechat_redirect
[Kubernetes]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb639dc8cc1414de4ad7398463fb0a5bbb414e1444a0f4b6d3bb8e922697a1d7b3db6130b650&idx=1&mid=2247488221&scene=21&sn=b7cc4fe1347303ba87f226f24b5985ab#wechat_redirect
[Kubernetes 1]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb639b80cc141296252512e6456dbdcd4d19629630bff9ae07a0aada93029e87dc359d754f46&idx=1&mid=2247488661&scene=21&sn=2e55fb79ddef40022ff4beb642361c95#wechat_redirect
[Containerd]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb639b5ecc141248b6378ace908c840a942257e4790b2b91254ca519ff1cfb13e2924a41d8db&idx=1&mid=2247488587&scene=21&sn=e111dff943411a657b5e9106e73f9dfe#wechat_redirect
[K8S _kubeconfig]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb639bfccc1412ea3cefc4a38f79a735081ec861baeb9b20234a36f893a9517815018b3617d6&idx=1&mid=2247488745&scene=21&sn=d17e44969fe9859282a0cfbd25214bde#wechat_redirect
[Kubernetes 1.21_ _]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb639ad9cc1413cf9c9788f98afc87b2b9c50f8670780653667a29590b95fb930d8a298fedd1&idx=1&mid=2247488972&scene=21&sn=88bb2915bb615507cb3c30dcd3fed1db#wechat_redirect
[k8s_Statefulset]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb639a24cc1413324eef71861544aa3d322b669d37752e078c23714beeaef664d54f2a47e015&idx=2&mid=2247488817&scene=21&sn=5baea68480d87d6de2fe8e70b8338aff#wechat_redirect
[Pod_pod]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb639937cc1410214c9ccf963453db8955df77bbe576710b6cd7482f354bb735b0f88465d4d4&idx=1&mid=2247489058&scene=21&sn=d2f11be65a794bd58ebb0a9e8209e509#wechat_redirect
[k3s_Kubernetes]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb639926cc1410307d0f8a42cdea7dfef6ac48efe0f107b2c9ebb2871c23a41b22bacd898db7&idx=1&mid=2247489075&scene=21&sn=30331a13bc8fc3b399716989098266a5#wechat_redirect
[9031e5a0e73b94be3c817993ce0507c3.png]: /images/20221021/036c87652fdc4ff99d89d707bbc04c09.png