采坑指南——k8s域名解析coredns问题排查过程

男娘i 2021-12-01 14:40 825阅读 0赞

## 正文 ##

前几天，在ucloud上搭建的k8s集群（搭建教程后续会发出）。今天发现域名解析不了。

**组件版本：k8s 1.15.0，coredns：1.3.1**

### 过程是这样的： ###

首先用以下yaml文件创建了一个nginx服务

apiVersion: v1
    kind: Service
    metadata:
      name: nginx-svc-old
      labels:
        app: nginx-svc
    spec:
      selector:
        app: nginx
      ports:
      - protocol: TCP
        port: 80
        targetPort: 80
    ---
    apiVersion: apps/v1beta1
    kind: Deployment
    metadata:
      name: nginx-old
    spec:
      replicas: 1
      template:
        metadata:
          labels:
            app: nginx
        spec:
          containers:
          - name: nginx
            image: nginx
            ports:
            - containerPort: 80

创建好之后：  
![image.png][]  
因只部署了一个master节点。在master宿主机上直接执行以下命令：

nslookup nginx-svc-old.default.svc

![image.png][image.png 1]  
发现不能解析域名。事先也在宿主机上/etc/resolv.conf里配置了nameserver \{coredns的podIP\}  
![image.png][image.png 2]  
这样一来，就以为可能是coredns有问题。。

然后用以下yaml创建了一个busybox作为调试工具：

apiVersion: extensions/v1beta1
    kind: Deployment
    metadata:
      name: busybox-deployment
    spec:
      replicas: 1
      template:
        metadata:
          labels:
            app: busybox
        spec:
          restartPolicy: Always
          containers:
          - name: busybox
            command:
            - sleep
            - "3600"
            image: busybox

这里用的是截止2019/07/20，busybox的最新镜像。创建好之后，exec进入容器，执行测试命令  
![image.png][image.png 3]  
发现解析不了:

/ # nslookup nginx-svc-old.default.svc
    Server:    10.96.0.10
    Address:  10.96.0.10:53
    
    ** server can't find nginx-svc-old.default.svc: NXDOMAIN
    
    *** Can't find nginx-svc-old.default.svc: No answer

根据coredns解析集群内域名原理可知：

服务 a 访问服务 b，对于同一个 Namespace下，可以直接在 pod 中，通过 curl b 来访问。对于跨 Namespace 的情况，服务名后边对应 Namespace即可，比如 curl b.default。DNS 如何解析，依赖容器内 resolv 文件的配置。

查看busybox容器内的resolve.conf文件：

[root@liabio nginx]# kubectl exec -ti busybox-deployment-59755c8c6d-rmrfq sh
    / # nslookup nginx-svc-old.default.svc
    Server:    10.96.0.10
    Address:  10.96.0.10:53
    
    ** server can't find nginx-svc-old.default.svc: NXDOMAIN
    
    *** Can't find nginx-svc-old.default.svc: No answer
    
    / # cat /etc/resolv.conf 
    nameserver 10.96.0.10
    search default.svc.cluster.local svc.cluster.local cluster.local
    options ndots:5
    / #

这个文件中，配置的 DNS Server，一般就是 K8S 中，kubedns 的 Service 的 ClusterIP，这个IP是虚拟IP，无法ping，但可以访问。  
![image.png][image.png 4]  
在容器内发请求时，会根据 /etc/resolv.conf 进行解析流程。选择 nameserver 10.96.0.10 进行解析，然后用nginx-svc-old ，依次带入 /etc/resolve.conf 中的 search 域，进行DNS查找，分别是：

search 内容类似如下（不同的pod，第一个域会有所不同）

search default.svc.cluster.local svc.cluster.local cluster.local

nginx-svc-old.default.svc.cluster.local -> nginx-svc-old.svc.cluster.local -> nginx-svc-old.cluster.local

直到找到为止。所以，我们执行 ping nginx-svc-old，或者执行 ping nginx-svc-old.default，都可以完成DNS请求，这2个不同的操作，会分别进行不同的DNS查找步骤。

根据以上原理，查看到busybox内的域名/etc/resolv.conf没有问题，nameserver指向正确的kube-dns的service clusterIP。

这下更加怀疑core-dns有问题了。

但查看coredns日志，可以看到并没有报错：  
![image.png][image.png 5]  
那就说明不是coredns问题了。。

把busybox里报的错误，进行搜索google

*** Can't find nginx-svc-old.default.svc: No answer

![image.png][image.png 6]

查到了以下两个issue：

#### issues1： ####

https://github.com/kubernetes/kubernetes/issues/66924  
![image.png][image.png 7]

#### issues2： ####

https://github.com/easzlab/kubeasz/issues/260  
![image.png][image.png 8]  
发现都说是busybox镜像的问题，从1.28.4以后的镜像都存在这问题。把镜像换成1.28.3试试？修改yaml版本号：

重新apply后，进入容器：  
![image.png][image.png 9]

确实可以成功解析域名了。

那为什么宿主机上直接执行测试命令，域名不能解析呢？  
![image.png][image.png 10]

继续google，知道resolver域名解析器：

nameserver关键字，如果没指定nameserver就找不到DNS服务器，其它关键字是可选的。nameserver表示解析域名时使用该地址指定的主机为域名服务器。其中域名服务器是按照文件中出现的顺序来查询的，且只有当第一个nameserver没有反应时才查询下面的nameserver，一般不要指定超过3个服务器。  
而我在宿主上/etc/resolv.conf中nameserver如下：  
![image.png][image.png 11]  
且前三个域名解析服务器后可以通。

现在试着把coredns的其中一个podIP：192.168.155.73放到第一个nameserver：  
![image.png][image.png 12]  
可以看到现在可以解析了。

其实最好把kube-dns service的clusterIP放到/etc/resolv.conf中，这样pod重启后也可以解析。  
![image.png][image.png 13]

## 参考 ##

Linux中/etc/resolv.conf文件简析  
https://blog.csdn.net/lcr\_happy/article/details/54867510

CoreDNS系列1：Kubernetes内部域名解析原理、弊端及优化方式

https://hansedong.github.io/2018/11/20/9/

## 历史文章 ##

[k8s中负载均衡器【ingress-nginx】部署][k8s_ingress-nginx]

[k8s使用Job执行任务失败怎么办][k8s_Job]

[从外部访问Kubernetes中的Pod][Kubernetes_Pod]

[k8s负载均衡器配置请求重定向][k8s]

[教你轻松获取k8s镜像和安装包][k8s 1]

[k8s必学必会知识梳理][k8s 2]

[docker基础知识整理][docker]

--------------------

# 作者简洁 #

> 作者：小碗汤，一位热爱、认真写作的小伙，目前维护原创公众号：『我的小碗汤』，专注于写golang、docker、kubernetes等知识等提升硬实力的文章，期待你的关注。 转载说明：务必注明来源（注明：来源于公众号：我的小碗汤， 作者：小碗汤）

[image.png]: /images/20211201/df6e76f34fed423bbb8c73f8466d6022.png
[image.png 1]: /images/20211201/3bd2a51671ab47d5bc1ffac824b4c003.png
[image.png 2]: /images/20211201/8569d1283f92455fb3922f30d700ba07.png
[image.png 3]: /images/20211201/eba3abe20626450c98fe272b709beafb.png
[image.png 4]: /images/20211201/f8cdc01507274ed8b88122822a241857.png
[image.png 5]: /images/20211201/9eccbebbc66443229bb3786a8058e99d.png
[image.png 6]: /images/20211201/f60b9c001f924e2980532de5e9cabb57.png
[image.png 7]: /images/20211201/0324eab2f42e4ca58b6277a06ed17dfe.png
[image.png 8]: /images/20211201/a4ed31b6bfdc402c9fe763dfe8b08dee.png
[image.png 9]: /images/20211201/0d1f0b9a01bc4560a5fff56e0ea5f320.png
[image.png 10]: /images/20211201/a3ca1c9ba91f4e8594e37e5ea6ab0196.png
[image.png 11]: /images/20211201/91444215ae2f47aab79d37cbcef6eb22.png
[image.png 12]: /images/20211201/de619729d7894132954e0010d2619c46.png
[image.png 13]: /images/20211201/0bf3e59d709648258113e496e9392bc1.png
[k8s_ingress-nginx]: http://mp.weixin.qq.com/s?__biz=MjM5MzU5NDYwNA==&mid=2247485274&idx=1&sn=41942eb118d7c60ac6883fae29420230&chksm=a695ead991e263cf85487254cd598637116f591f05ec41ab73a5b17746c70f471b5d5969906e&scene=21#wechat_redirect
[k8s_Job]: http://mp.weixin.qq.com/s?__biz=MjM5MzU5NDYwNA==&mid=2247485298&idx=1&sn=5fb1e07f6248cf0248c3ec8c6d3ef571&chksm=a695eaf191e263e7bb2722a66b52265d448234cf62b121dfe131af7344bb098450d438365e6f&scene=21#wechat_redirect
[Kubernetes_Pod]: http://mp.weixin.qq.com/s?__biz=MjM5MzU5NDYwNA==&mid=2247485247&idx=1&sn=b483cead6ddaa7d20cd640b71eb424b8&chksm=a695eabc91e263aa9c3eda029dc92fa78817f42c7467edce52b86f4f87c283d8592528e73a8d&scene=21#wechat_redirect
[k8s]: http://mp.weixin.qq.com/s?__biz=MjM5MzU5NDYwNA==&mid=2247485253&idx=1&sn=e0633227a59b1edb7f51adad5fed078b&chksm=a695eac691e263d07d7d730de54762d28fdb706c59278a90e08e2257784339644b59b4964698&scene=21#wechat_redirect
[k8s 1]: http://mp.weixin.qq.com/s?__biz=MjM5MzU5NDYwNA==&mid=2247485239&idx=1&sn=5ee60c3eb22e70f91ed9d27b727140b8&chksm=a695eab491e263a231978cbfcc44b038d17ff6ebde2dc7b4dd4970a4a3e5b58b2f8964b4415e&scene=21#wechat_redirect
[k8s 2]: http://mp.weixin.qq.com/s?__biz=MjM5MzU5NDYwNA==&mid=2247485209&idx=1&sn=f971334625bfc9302204d07f2135ca86&chksm=a695ea9a91e2638c24ada9ff8586645f30f5ef133d0f2b0cf7cfd0577ac822baf6234d2042f3&scene=21#wechat_redirect
[docker]: http://mp.weixin.qq.com/s?__biz=MjM5MzU5NDYwNA==&mid=2247485187&idx=1&sn=5c2e6c350695f3efa94a78075985672b&chksm=a695ea8091e26396277a79189d0ec3e70e3a868c004d775f286ad0d43dfda571403dbf761e0d&scene=21#wechat_redirect