flink安装指南

古城微笑少年丶 2023-07-19 04:59 80阅读 0赞

### 文章目录 ###

*  standalone模式
 *   *  1.下载flink压缩包
     *  2.上传到机器
     *  3.解压
     *  4.配置环境变量
     *  5.修改 ./conf/flink-conf.yaml 文件
     *  6.修改 /conf/slave文件
     *  7.启动测试查看
 *  Yarn模式

# standalone模式 #

## 1.下载flink压缩包 ##

点击下载:[flink1.7.2][]

## 2.上传到机器 ##

自己上传  
![在这里插入图片描述][20200329191809574.png]

## 3.解压 ##

tar -zxvf flink-1.7.2-bin-hadoop27-scala_2.11.tgz -C /opt/

## 4.配置环境变量 ##

vim /etc/profile
    # 写入自己flink解压路径等
    export FLINK_HOME=/opt/flink-1.7.2/
    export PATH=${ FLINK_HOME}/bin:$PATH

保存退出，刷新环境变量

source /etc/profile

## 5.修改 ./conf/flink-conf.yaml 文件 ##

cd /opt/flink-1.7.2/conf
    vim flink-conf.yaml

![在这里插入图片描述][20200329192548395.png]  
![在这里插入图片描述][20200329193021990.png]  
配置savepoint路径，可以本地路径或hdfs路径  
![在这里插入图片描述][2020032919463097.png]

## 6.修改 /conf/slave文件 ##

vim slave

多节点，就指定多个  
![在这里插入图片描述][20200329192643488.png]

## 7.启动测试查看 ##

start-cluster.sh

![在这里插入图片描述][20200329192756951.png]  
会启动两个服务：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODYyMDYzNg_size_16_color_FFFFFF_t_70]  
去flink页面看一下吧：  
http://192.168.8.120自己的ip:8081/  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODYyMDYzNg_size_16_color_FFFFFF_t_70 1]

# Yarn模式 #

以Yarn模式部署Flink任务时，要求Flink是有Hadoop支持的版本，Hadoop环境需要保证版本在2.2以上，并且集群中安装有HDFS服务。  
1)启动hadoop集群（略）  
2)启动yarn-session

yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 -nm test -d

参数解释：  
\-n(–container)：TaskManager的数量。  
\-s(–slots)： 每个TaskManager的slot数量，默认一个slot一个core，默认每个taskmanager的slot的个数为1，有时可以多一些taskmanager，做冗余。  
\-jm：JobManager的内存（单位MB)。  
\-tm：每个taskmanager的内存（单位MB)。  
\-nm：yarn 的appName(现在yarn的ui上的名字)。  
\-d：后台执行。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODYyMDYzNg_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODYyMDYzNg_size_16_color_FFFFFF_t_70 3]

[flink1.7.2]: https://archive.apache.org/dist/flink/flink-1.7.2/
[20200329191809574.png]: /images/20230528/05b955ca93524f208ac19cd2551ba02c.png
[20200329192548395.png]: /images/20230528/da8b05981dec4834ad4975fc53f3e649.png
[20200329193021990.png]: /images/20230528/299af32989fe4809ace6801da87725e7.png
[2020032919463097.png]: /images/20230528/f35b74caf26c460389a69574adc35a4b.png
[20200329192643488.png]: /images/20230528/87a575efaa334457a809df700604e9dc.png
[20200329192756951.png]: /images/20230528/d37e32122d4748e990a75c851671dffd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODYyMDYzNg_size_16_color_FFFFFF_t_70]: /images/20230528/a01eaa5e90a34c948716aca07db7088a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODYyMDYzNg_size_16_color_FFFFFF_t_70 1]: /images/20230528/7fcccfcb167a49d8bcbbdd42c0fc9b9a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODYyMDYzNg_size_16_color_FFFFFF_t_70 2]: /images/20230528/180017146a324befa61b1e3e982cd615.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODYyMDYzNg_size_16_color_FFFFFF_t_70 3]: /images/20230528/c9c527c1a19c474da5b0586ff58a83c2.png