Spark命令笔录（2）-spark-submit

小灰灰 2023-02-26 05:26 20阅读 0赞

## 注意 任务jar包如果采用集群模式cluster则需要在集群所有机器上都上传任务jar包 ##

spark-submit \
    --class com.cloudera.datascience.geotime.RunGeoTime \
    --master spark://192.168.146.100:6066 \
    --deploy-mode cluster \ 
    --executor-memory 1G \
    --executor-cores 3 \
    --name "taxiGeoSpace1" \
    /home/fgq/Downloads/ch08-geotime-2.0.0.jar
     
     
     spark-submit \
    --class org.apache.spark.examples.SparkPi \
    --master yarn \
    --deploy-mode client \
    --executor-memory 1G \
    --num-executors 10 \
    /home/fgq/soft/spark/examples/jars/spark-examples_2.11-2.2.3.jar \
    100
    
    --------------------------------------Standalone-----------------------------------------
    ##Standalone-client--------------------
    spark-submit \
    --master spark://master:7077 \
    --class org.apache.saprk.examples.SparkPi \
    /xx/xx/examples/jar/spark-examples.jar
    等价于
    spark-submit \
    --master spark://master:7077 \
    --deploy-mode client \
    --class org.apache.saprk.examples.SparkPi \
    /home/fgq/soft/spark/examples/jars/spark-examples_2.11-2.2.3.jar \
    
    ##Standalone-cluster------------------
    7077----------
    	此种情况为集群计算运行但是driver为固定的一台
    spark-submit \
    --master spark://master:7077 \
    --deploy-mode cluster \
    --class org.apache.saprk.examples.SparkPi \
    /home/fgq/soft/spark/examples/jars/spark-examples_2.11-2.2.3.jar \
    
    6066----------
    	此种情况为集群计算运行 
        driver为集群中随机合适的一台
    	比起上面情况降低了固定某台的压力
    	此时需要每台机器上都上传任务jar包
    spark-submit \
    --master spark://master:6066 \
    --deploy-mode cluster \
    --class org.apache.saprk.examples.SparkPi \
    /home/fgq/soft/spark/examples/jars/spark-examples_2.11-2.2.3.jar \

# \---------------------------------------利用yarn集群提交应用 #

# --class 运行 Java 或 Scala 程序时应用的主类
    # --master 表示要连接的集群管理器
    # --deploy-mode 选择在本地（客户端“ client”）启动驱动器程序，还是在集群中的一台工作节点机
    器（集群“ cluster”）上启动。在客户端模式下， spark-submit 会将驱动器程序运行
    在 spark-submit 被调用的这台机器上。在集群模式下，驱动器程序会被传输并执行
    于集群的一个工作节点上。默认是本地模式
    # --name 应用的显示名，会显示在 Spark 的网页用户界面中
    # 最后是应用入口的 JAR 包或 Python 脚本
    spark-submit  --class com.cloudera.datascience.geotime.RunGeoTime 
    --master yarn --deploy-mode cluster  
    --executor-memory 2g --executor-cores 2  
    --name "taxiGeoSpace"  
    /home/ch08-geotime/ch08-geotime-space-2.0.0.jar

# \---------------------------------------利用spark自带的管理器提交应用 #

# 注意集群模式地址是 spark://master:6066，客户端模式地址是spark://master:7077
    spark-submit  --class com.cloudera.datascience.geotime.RunGeoTime 
    --master spark://master:6066 --deploy-mode cluster  
    --executor-memory 2g --executor-cores 2  --name "taxiGeoSpace1" 
     /home/ch08-geotime/ch08-geotime-space--2.0.0.jar