Flink安装linux版 & standalone集群安装(未完)

川长思鸟来 2023-02-15 12:49 1阅读 0赞

本文内容出自Flink官方文档：[http://flink.apache.org/][http_flink.apache.org]  
[https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/deployment/cluster\_setup.html][https_ci.apache.org_projects_flink_flink-docs-release-1.10_ops_deployment_cluster_setup.html]

本文准备了三台阿里云服务器：

<table> 
 <thead> 
  <tr> 
   <th>master</th> 
   <th>x.x.x.1</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>slave1</td> 
   <td>x.x.x.2</td> 
  </tr> 
  <tr> 
   <td>slave3</td> 
   <td>x.x.x.3</td> 
  </tr> 
 </tbody> 
</table>

注意操作不建议使用root用户，会有很多安全问题。

新建用户赋予root权限可参考博客：[https://blog.csdn.net/qq\_36857730/article/details/83274854][https_blog.csdn.net_qq_36857730_article_details_83274854]

**SSH免密码登录**

为了能够启动/停止远程主机上的进程，master节点需要能免密登录所有worker节点。最方便的方式就是使用ssh的公钥验证了。要安装公钥验证，首先以最终会运行Flink的用户登录master节点。所有的worker节点上也必须要有同样的用户（例如：使用相同用户名的用户）。非常不建议使用 root 账户，这会有很多的安全问题。

当你用需要的用户登录了master节点，你就可以生成一对新的公钥/私钥。下面这段命令会在 ~/.ssh 目录下生成一对新的公钥/私钥。

ssh-keygen -b 2048 -P '' -f ~/.ssh/id_rsa

接下来，将公钥添加到用于认证的authorized\_keys文件中：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

最后，将authorized\_keys文件分发给集群中所有的worker节点，你可以重复地执行下面这段命令：

scp ~/.ssh/authorized_keys zhangbin@x.x.x.2:~/.ssh/

将上面的替代成相应worker节点的IP/Hostname。完成了上述拷贝的工作，你应该就可以从master上免密登录其他机器了。

ssh <worker>

首先要确保三台机器上的java安装成功，且版本都为1.8+。

[root@hadoop001 ~]# java -version
    java version "1.8.0_251"
    Java(TM) SE Runtime Environment (build 1.8.0_251-b08)
    Java HotSpot(TM) 64-Bit Server VM (build 25.251-b08, mixed mode)

下载Flink：[https://flink.apache.org/downloads.html][https_flink.apache.org_downloads.html]

本文使用的是1.10.1版本。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MDk1MDU1_size_16_color_FFFFFF_t_70]  
使用scp命令将压缩包上传到三台机器上。

scp flink-1.10.1-bin-scala_2.11.tgz root@x.x.x.1:~

解压到统一路径下，此处路径为`/root/software`

[root@hadoop001 software]# pwd
    /root/software
    [root@hadoop001 software]# ls
    flink-1.10.1-bin-scala_2.11.tgz
    [root@hadoop001 software]# tar -zxvf flink-1.10.1-bin-scala_2.11.tgz 
    
    ...
    
    [root@hadoop001 software]# ls
    flink-1.10.1  flink-1.10.1-bin-scala_2.11.tgz

根据官方文档提供的下图配置  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MDk1MDU1_size_16_color_FFFFFF_t_70 1]  
首先配置master节点的`flink-conf.yaml`配置文件：

[root@hadoop001 conf]# pwd
    /root/software/flink-1.10.1/conf
    [root@hadoop001 conf]# vim flink-conf.yaml

常用配置信息如下：

<table> 
 <thead> 
  <tr> 
   <th>配置项</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>jobmanager.rpc.address</td> 
   <td>master节点的地址</td> 
  </tr> 
  <tr> 
   <td>jobmanager.heap.mb</td> 
   <td>jobmanager节点可用的内存</td> 
  </tr> 
  <tr> 
   <td>taskmanager.heap.mb</td> 
   <td>taskmanager节点可用的内存</td> 
  </tr> 
  <tr> 
   <td>taskmanager.numberOfTaskSlots</td> 
   <td>每个机器可用的cpu个数</td> 
  </tr> 
  <tr> 
   <td>parallelism.default</td> 
   <td>任务的并行度</td> 
  </tr> 
  <tr> 
   <td>taskmanager.tmp.dirs</td> 
   <td>taskmanager的临时数据存储目录</td> 
  </tr> 
 </tbody> 
</table>

此处我们只改了address信息为master机器的ip。建议可以仔细看看里面的配置项。

随后编辑slaves配置文件`vim slaves`，将三个机器的ip都配置进去（包括master所在机器本身）。

[root@hadoop001 conf]# vim slaves 
    [root@hadoop001 conf]# cat slaves 
    x.x.x.1
    x.x.x.2
    x.x.x.3

启动服务`./bin/start-cluster.sh`：

[root@hadoop001 flink-1.10.1]# ./bin/start-cluster.sh 
    Starting cluster.
    Starting standalonesession daemon on host hadoop001.
    The authenticity of host '122.51.239.108 (122.51.239.108)' can't be established.
    ECDSA key fingerprint is SHA256:x3113UfXJHxrOd+DO5gH6u3euWC+YzaMmcWCbiqMK1A.
    ECDSA key fingerprint is MD5:7a:a0:d6:e4:b7:d6:89:94:56:54:de:23:b1:bf:c3:5b.

此处免密登陆存在问题，暂搁置。。。

[http_flink.apache.org]: http://flink.apache.org/
[https_ci.apache.org_projects_flink_flink-docs-release-1.10_ops_deployment_cluster_setup.html]: https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/deployment/cluster_setup.html
[https_blog.csdn.net_qq_36857730_article_details_83274854]: https://blog.csdn.net/qq_36857730/article/details/83274854
[https_flink.apache.org_downloads.html]: https://flink.apache.org/downloads.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MDk1MDU1_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200605155946991.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MDk1MDU1,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MDk1MDU1_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200605160913789.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI0MDk1MDU1,size_16,color_FFFFFF,t_70