IgniteRDD学习笔记(三)安装和部署

小咪咪 2022-08-09 13:45 164阅读 0赞

共享的部署意味着IgniteNodes独立于Spark程序和存储状态甚至sparkJob结束后。

**集群部署：**

IgniteNodes应该在每个Spark worker nodes里部署，

支持环境：

<table style="border-collapse:collapse; border-spacing:0px; max-width:100%; width:735px; border-top-width:1px; border-top-style:solid; border-top-color:rgb(204,204,204); border-left-width:1px; border-left-style:solid; border-left-color:rgb(204,204,204); margin-bottom:30px; color:rgb(71,74,84); font-family:'Roboto Slab',serif; font-size:14px; line-height:20px"> 
 <tbody style=""> 
  <tr style=""> 
   <th style="border-right-width:1px; border-right-style:solid; border-right-color:rgb(204,204,204); border-bottom-width:1px; border-bottom-style:solid; border-bottom-color:rgb(204,204,204); padding:5px; background-color:rgb(247,247,247)"> Name</th> 
   <th style="border-right-width:1px; border-right-style:solid; border-right-color:rgb(204,204,204); border-bottom-width:1px; border-bottom-style:solid; border-bottom-color:rgb(204,204,204); padding:5px; background-color:rgb(247,247,247)"> Value</th> 
  </tr> 
  <tr style=""> 
   <td style="border-right-width:1px; border-right-style:solid; border-right-color:rgb(204,204,204); border-bottom-width:1px; border-bottom-style:solid; border-bottom-color:rgb(204,204,204); vertical-align:top; padding:5px"> 
    <div style=""> 
     <p style="margin-top:0px; margin-bottom:10px; line-height:1.7em">JDK</p> 
    </div> </td> 
   <td style="border-right-width:1px; border-right-style:solid; border-right-color:rgb(204,204,204); border-bottom-width:1px; border-bottom-style:solid; border-bottom-color:rgb(204,204,204); vertical-align:top; padding:5px"> 
    <div style=""> 
     <p style="margin-top:0px; margin-bottom:10px; line-height:1.7em">Oracle JDK 7 and above</p> 
    </div> </td> 
  </tr> 
  <tr style=""> 
   <td style="border-right-width:1px; border-right-style:solid; border-right-color:rgb(204,204,204); border-bottom-width:1px; border-bottom-style:solid; border-bottom-color:rgb(204,204,204); vertical-align:top; padding:5px"> 
    <div style=""> 
     <p style="margin-top:0px; margin-bottom:10px; line-height:1.7em">OS</p> 
    </div> </td> 
   <td style="border-right-width:1px; border-right-style:solid; border-right-color:rgb(204,204,204); border-bottom-width:1px; border-bottom-style:solid; border-bottom-color:rgb(204,204,204); vertical-align:top; padding:5px"> 
    <div style=""> 
     <p style="margin-top:0px; margin-bottom:10px; line-height:1.7em">Linux (any flavor),<br style=""> Mac OSX (10.6 and up)<br style=""> Windows (XP and up),<br style=""> Windows Server (2008 and up)</p> 
    </div> </td> 
  </tr> 
  <tr style=""> 
   <td style="border-right-width:1px; border-right-style:solid; border-right-color:rgb(204,204,204); border-bottom-width:1px; border-bottom-style:solid; border-bottom-color:rgb(204,204,204); vertical-align:top; padding:5px"> 
    <div style=""> 
     <p style="margin-top:0px; margin-bottom:10px; line-height:1.7em">Network</p> 
    </div> </td> 
   <td style="border-right-width:1px; border-right-style:solid; border-right-color:rgb(204,204,204); border-bottom-width:1px; border-bottom-style:solid; border-bottom-color:rgb(204,204,204); vertical-align:top; padding:5px"> 
    <div style=""> 
     <p style="margin-top:0px; margin-bottom:10px; line-height:1.7em">No restrictions (10G recommended)</p> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

**Installation:**

1):[https://ignite.apache.org/][https_ignite.apache.org] 下载ApacheIgnite的zip包；

2):解压到安装文件夹；

3):配置IGNITE\_HOME 环境变量；

通过默认配置文件启动节点bin/ignite.sh，节点之间会自动发现彼此，ignite.sh启动通过默认配置文件`config/default-config.xml`.

default-config.xml

通过配置文件来启动节点

$ bin/ignite.sh examples/config/example-cache.xml

部署完毕后通过`ignite.sh` 脚本在每个sparkworker上启动每个node。

Spark动态类加载器没有实现getResource方法，所以无法访问外部jar.

Java日志记录器使用应用程序类装入器(不是上下文类加载器)加载日志处理程序,使用Java日志时导致ClassNotFoundException.

有一个方法可以解决这个问题(需要在spark所有节点配置，master,worker和driver nodes)

`$SPARK_HOME/conf/spark-env.sh`  若这个文件不存在，则用  $SPARK\_HOMR/conf/spark-env.sh.template  创建一个。

在spark-env.sh最后加上下面的代码

# Optionally set IGNITE_HOME here.
    # IGNITE_HOME=/path/to/ignite
    
    IGNITE_LIBS="${IGNITE_HOME}/libs/*"
    
    for file in ${IGNITE_HOME}/libs/*
    do
        if [ -d ${file} ] && [ "${file}" != "${IGNITE_HOME}"/libs/optional ]; then
            IGNITE_LIBS=${IGNITE_LIBS}:${file}/*
        fi
    done
    
    export SPARK_CLASSPATH=$IGNITE_LIBS

现在可以启动/bin/spark-shell输入下面的代码导入ignite包了：

scala> import org.apache.ignite.configuration._
    import org.apache.ignite.configuration._

[https_ignite.apache.org]: https://ignite.apache.org/