helm系列2--helm安装hadoop

忘是亡心i 2022-05-23 10:36 658阅读 0赞

helm安装hadoop

参考： [https://github.com/kubernetes/charts/tree/master/stable/hadoop][https_github.com_kubernetes_charts_tree_master_stable_hadoop]

本文文档均参照以上github上的操作步骤完成，附加了需要注意的地方、测试经验、亲和性、挂载以及扩容缩容等操作。

需求：利用helm编排快速安装hadoop，可进行快速的删除并重新安装；hadoop的datanode的pod安装在指定的机器node节点上；一个node节点上有且只有一个datanode的pod；能够对datanode进行扩容、缩容；暴露nameNode的服务给外界web进行访问。

分析：

1. 进行快速的删除并重新安装---数据挂载的问题；

2. datanode的pod安装在指定的机器node节点上---node亲和性解决；

3.一个node节点上有且只有一个datanode的pod---pod的反亲和性

4. 扩容、缩容---scale命令使用，但是得对hadoop的数据进行测试；

5.暴露nameNode的服务给外界web进行访问---在headlessService之外创建service服务；

1. hadoop的安装

参考文档中一个命令就启动了，其它的都是附加参数；附加参数不提，文档中介绍的够详细了，我们先说一下启动脚本需要注意的地方；

helm install --name hadoop$(./calc\_resources.sh 50)  stable/hadoop

其实helm环境安装好之后（可以查看我的博客），helm install就不用关心了；stable/hadoop其实是一个阿里的远程仓库（你自己搭建一个helm仓库就理解了）；只需要关心. /calc\_resources.sh脚本，该脚本主要是获取一些机器的参数等，执行时注意脚本的路径以及授权（chmod +x ）；$(. /calc\_resources.sh 50)是向脚本中传递50这一参数，然后执行；

在执行脚本之前，linux环境需要安装几个工具

\[root@node01 ~\] yum install epel-release

\[root@node01 ~\] yum install bc

\[root@node01 ~\] yum install jq

最好先下载使用的hadoop镜像（检测是否可以下载成功）

\[root@node01 ~\] docker pull danisla/hadoop:2.7.3

然后直接启动就可以了，理论上应该没什么问题，你通过查看pod、statefulset、svc的状态可以看到hadoop的启动状态。

原理：

helm利用chart编排hadoop的pod和服务

hadoop的镜像不必多说，应该是将hadoop的完整安装包封装进入docker镜像中，无非是几个主要的配置文件等启动时通过挂载configMap传入进去即可；

hadoop编排主要使用了statefulset、headless Service、pvc、configMap等；也是正常有状态服务常用的编排方式，statefulset可以控制pod启动的顺序以及进行编号（所谓有状态，就是每个pod都不一样），headless Service可以获取到所有pod的域名地址进行访问，pvc进行动态挂载，configMap传递配置文件及参数（首先将configMap中挂载的文件挂载进入容器内的相关路径下；然后启动bootstrap.sh(设置环境变量，将这些临时挂载的文件放入到hadoop的相关目录下，然后根据nn、dn等进行相关的操作)等。

2. 数据挂载

因为有状态服务，所以最先考虑的是挺先进的pv与pvc的概念，但是给pass掉了；因为使用任何一个文件系统作为挂载的话，必然会有网络问题或者维护成本的问题；

这样只能考虑本地：empty、localVolume与storageClass

empty因为不会制定具体的挂载路径，跟我们需求不吻合，pass掉；storageClass技术好像很新，k8s的一些低版本好像不是很吻合，应用起来也没有运行成功，所以也放弃掉了（要是哪位大神研究明白了可以给我留个言哈）；最后选择了localVolume，但是还存在一个问题，因为localVolume挂载的数据在pod删除掉之后并不会删除，这对于hdfs本身倒无所谓，因为它自身会同步；但是如何要删除掉集群，再创建时，由于数据的存在，会出现数据不同步（可能）或创建失败的问题；所以调研到了podHook【[https://jimmysong.io/kubernetes-handbook/concepts/pod-hook.html][https_jimmysong.io_kubernetes-handbook_concepts_pod-hook.html]】与helmHook【[https://www.kubernetes.org.cn/2726.html][https_www.kubernetes.org.cn_2726.html] 】；选择podHook是因为helm Hook是一个job，启动一个容器，而我们想要删除掉所有datanode的pod的挂载数据；具体的配置如何，修改了templates/hdfs-dn-statefulset.yaml文件来实现，每个pod创建时会清空挂载的数据，然后启动pod，以此来达到数据的同步或者删除；

话不多说，直接看配置文件；

\[root@node01 ~\] vihadoop1/templates/hdfs-dn-statefulset.yaml

containers:

- name: hdfs-dn

image: \{ \{ .Values.image \}\}

lifecycle:

postStart:

exec:

command:\["/bin/sh","-c","rm -rf /root/hdfs/datanode/\*"\]

preStop:

exec:

command:

- "/bin/bash"

- "touch"

-"/root/hdfs/datanode/preStop"

在containers参数下添加子参数lifecycle参数，lifecyle中定义了容器启动后与关闭前的操作，postStart生效了，preStop不生效，不过有一个生命周期生效就满足我的需求了；

3. datanode选择node节点

\[root@node01 ~\]kubectl label nodes node03cluster=hadoop --overwrite

\[root@node01 ~\]kubectl get nodes -l cluster=hadoop

\[root@node01 ~\] vi templates/hdfs-dn-statefulset.yaml

affinity:

nodeAffinity:

requiredDuringSchedulingIgnoredDuringExecution:

nodeSelectorTerms:

- matchExpressions:

- key: cluster

operator: In

values:

- hadoop

podAntiAffinity:

\{ \{- if eq .Values.antiAffinity "hard" \}\}

在affinity节点下添加子节点nodeAffinity（与podAffinity同级）

4. datanode的pod不存在一个node节点上

因为pod已经定义好了pod的互斥性，只需要看是否强制性就好了；

修改value.yml中的antiAffinity:"soft"为”hard”,我们即可以搞定强制pod不在一个node节点上。

5. 扩容缩容

按顺序进行扩容或缩容（与rc的区别）

\[root@node01 ~\]kubectl scale statefulsethadoop-1-hadoop-hdfs-dn --replicas 2

扩容、缩容很简单，只需要更改后面的副本个数即可；

但我们需要测试扩容、缩容对于hadoop数据的影响；

测试目的：确定在扩容缩容时hadoop的文件副本数会随着增加或缩减

测试过程：

有两种方式：一是在容器外部直接调用命令进行操作；二是进入容器内部进行操作，不过本质上都是一样的

方法一：kubectl exec -n default -it hadoop-1-hadoop-hdfs-nn-0 --/usr/local/hadoop/bin/hdfs dfsadmin –report

方法二：进入容器内部

\[root@node01 ~\]kubectl exec -n default -ithadoop-1-hadoop-hdfs-nn-0/bin/bash

\[root@node01 ~\]cd /usr/local/hadoop/bin

\[root@node01 ~\]/usr/local/hadoop/bin:hadoop fs -ls /

\[root@node01 ~\]hadoop fs -put aa /

\[root@node01 ~\]hdfs fsck /bb -files -blocks\#查看实际存活副本数

\[root@node01 ~\]cd /usr/local/hadoop/sbin

\[root@node01 ~\] ./start-balancer.sh\#立刻进行副本的平衡（可能还是需要一段时间）

datanode节点掉之后，namenode会重试几百次之后断掉与datanode的连接；

6. 暴露服务

hadoop基本对外端口及api：

所有操作都是连接namenode节点进行操作；

namenode：

50015：web页面查看接口

50010：api命令操作接口

datanode：

50075：web页面访问接口

无操作接口命令

rm与nn无关，用户rm进行mapreduce任务；rm管理nm；nm数量与dn数量无关，理论上一对一即可,一个nm管理一个dn资源

我们这儿先为namenode中的50070在外端访问提供服务，只需要重新创建个service，然后将headless service粘贴过来即可，改name，将clustername：null去掉，添加type：nodeType，加nodePort；文件最后放入template中即可。

\[root@node01 ~\] cat nameNodeSvc.yaml

\# A headless service to create DNS records

apiVersion: v1

kind: Service

metadata:

name: \{ \{ template "hadoop.fullname" . \}\}-hdfs-nn-s

labels:

app: \{ \{ template "hadoop.name" . \}\}

chart: \{ \{ .Chart.Name \}\}-\{ \{ .Chart.Version | replace "+""\_" \}\}

release: \{ \{ .Release.Name \}\}

heritage: \{ \{ .Release.Service \}\}

component: hdfs-nn

spec:

type: NodePort

ports:

-name: dfs

port: 9000

protocol: TCP

-name: webhdfs

port: 50070

targetPort: 50070

nodePort: 30070

selector:

app: \{ \{ template "hadoop.name" . \}\}

release: \{ \{ .Release.Name \}\}

component: hdfs-nn

7.知识点

小知识1.helm安装方式

helm安装主要有四种方式：

安装仓库中的 chart，例如：helm install stable/nginx

通过tar 包安装，例如：helm install ./nginx-1.2.3.tgz

通过chart 本地目录安装，例如：helm install ./nginx

通过URL 安装，例如：helm install [https://example.com/charts/nginx-1.2.3.tgz][https_example.com_charts_nginx-1.2.3.tgz]

8.注意

1.彻底删除需要添加--purge，helm del –purge hadoop

2.安装失败，需要删除时，时间会有点长，因为pod在不停的启动；假如你是个急性子，强制停止了del命令进程，必须先删除pod，再删除statefulset，再删除svc，将所有resources都删除掉；

3.挂载的hdfs/datanode中有数据时，datenode时启动不了的；

4.node亲和性，pod运行期间若node的标签发生改变，pod继续运行

5.ue以及其他的编辑器中的格式可能和linux中不一样，导致yml格式错误

[https_github.com_kubernetes_charts_tree_master_stable_hadoop]: https://github.com/kubernetes/charts/tree/master/stable/hadoop
[https_jimmysong.io_kubernetes-handbook_concepts_pod-hook.html]: https://jimmysong.io/kubernetes-handbook/concepts/pod-hook.html
[https_www.kubernetes.org.cn_2726.html]: https://www.kubernetes.org.cn/2726.html
[https_example.com_charts_nginx-1.2.3.tgz]: https://example.com/charts/nginx-1.2.3.tgz