pyspark系列8-Spark 运维管理

傷城~ 2023-01-19 07:15 3阅读 0赞

备注:  
Cloudera 6.3.1  
Spark 2.4

### 文章目录 ###

*  一.Spark安装目录结构
 *  二.Spark日志目录结构
 *  三.维护命令与参数
 *  参考:

# 一.Spark安装目录结构 #

Spark组件主要文件安装目录:  
\{BIGDATE\_HOME\} 为 /opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567

![image.png][]

<table> 
 <thead> 
  <tr> 
   <th>目录路径</th> 
   <th>目录说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>bin</td> 
   <td>可执行文件，包含spark-submit、spark-shell</td> 
  </tr> 
  <tr> 
   <td>etc</td> 
   <td>配置文件</td> 
  </tr> 
  <tr> 
   <td>lib、lib64</td> 
   <td>Spark依赖包目录</td> 
  </tr> 
 </tbody> 
</table>

# 二.Spark日志目录结构 #

Spark组件服务日志目录：/var/log/spark/

![image.png][image.png 1]

spark-history-server-hostname.log 代表history-server服务运行的  
lineage 目录下的log文件是spark运行的log

Spark任务日志查看:  
![image.png][image.png 2]

![image.png][image.png 3]

![image.png][image.png 4]

# 三.维护命令与参数 #

因为使用spark-submit命令提交，此处主要讲解spark-submit的参数

spark-submit
    --master MASTER_URL
    --deploy-mode DEPLOY_MODE
    --conf PROP=VALUE
    --py-files PY_FILES
    ... # other options
    <python file> [app arguments]

1.  Master URLS
2.  Local: local、local\[K\]、local\[\*\]
3.  Standalone: spark://HOST:PORT
4.  Mesos: mesos://HOST:PORT
5.  YARN: yarn-client、yarn-cluster（根据本地hadoop配置)

举例:

spark-submit
    --master yarn-client
    --executor-memory 512M
    --driver-memory 512M
    --num-executors 3
    --executor-cores 2
    --queue root.spark
    sparkpi.py 100

# 参考: #

1.https://www.modb.pro/doc/7697

[image.png]: /images/20221021/3079382fe01141d98dd6238aec2956fa.png
[image.png 1]: /images/20221021/f11b65b1cb5347f2a53a23913f91ae11.png
[image.png 2]: /images/20221021/0c6520d9a98d43e8a9ecde2d8c859888.png
[image.png 3]: /images/20221021/d3152abd1341481ba4871313e71e58c0.png
[image.png 4]: /images/20221021/b51ef46d23dc4decb389e80d75882b22.png