中标麒麟(兆芯版)Java相关工具及CDH集群安装测试

﹏ヽ暗。殇╰゛Y 2023-06-30 04:24 10阅读 0赞

# 中标麒麟安装配置 #

## 前言： ##

1、文章中出现的相关包我都有，需要的小伙伴可以私聊我，我发你；

2、如果说安装中遇到什么问题也可以和大帅来一起探讨；

3、相关测试及准备如下，

#### 相关软件测试 ####

<table> 
 <thead> 
  <tr> 
   <th align="center">相关软件/工具</th> 
   <th align="center">是否可用(Yes/No)</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">Jdk-1.8</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">Python-2.7.5</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">Python-3.6.9</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">Nginx-1.17</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">MySql-5.7</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">NTP</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">Tomcat8.5</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">SQL Server</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">MongoDB-4.0.14</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">Redis-5.0.0</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">Eclipse-2019</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">MyEclipse(2019)-&gt;(2017)</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">Git-1.8.3.1</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">SVN-1.7.14</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">DB2(10.5)-&gt;(11.1)</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">Oracle(11)</td> 
   <td align="center">Yes</td> 
  </tr> 
 </tbody> 
</table>

#### 集群准备 ####

<table> 
 <thead> 
  <tr> 
   <th align="center"><strong>前提准备</strong></th> 
   <th align="center"><strong>版本号</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">CDH</td> 
   <td align="center">5.16.1</td> 
  </tr> 
  <tr> 
   <td align="center">Jdk</td> 
   <td align="center">1.8</td> 
  </tr> 
  <tr> 
   <td align="center">Mysql</td> 
   <td align="center">5.7.28</td> 
  </tr> 
  <tr> 
   <td align="center">Python</td> 
   <td align="center">2.7.5</td> 
  </tr> 
 </tbody> 
</table>

#### 集群框架测试 ####

<table> 
 <thead> 
  <tr> 
   <th align="center"><strong>测试集群框架</strong></th> 
   <th align="center">是否可用(Yes/No)</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">HDFS</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">Yarn</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">MapReduce</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">ZooKeeper</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">Hive</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">Impala</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">HBase</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">Redis</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">Sqoop</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">Spark</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">Flume</td> 
   <td align="center">Yes</td> 
  </tr> 
  <tr> 
   <td align="center">Kafka</td> 
   <td align="center">Yes</td> 
  </tr> 
 </tbody> 
</table>

## 开始安装： ##

### 一、SELINUX关闭 ###

setenforce 0  
vim /etc/selinux/config (SELINUX=disabled)

### 二、Jdk1.8安装 ###

相关创建目录  
/root/software  
/usr/local/java  
1、当前目录下解压到目标路径  
tar -zxvf jdk-8u181-linux-x64.tar.gz -C /usr/local/java  
2、进入/usr/local/java下分发  
scp ./jdk-8u181-linux-x64.tar.gz root@VMkylin2:`pwd`  
3、进入~/.bash\_profile配置环境

export JAVA_HOME=/usr/local/java/jdk1.8.0_181
    export PATH=$JAVA_HOME/bin:$PATH

4、执行  
. ~/.bash\_profile  
5、检验  
java -version

### 三、Python3.6.9安装 ###

/root/software  
/usr/local/python3  
1、当前目录下解压到/usr/local/python3  
tar -zxvf Python-3.6.9.tgz -C /usr/local/python3  
2、进入/usr/local/python3/Python-3.6.9目录执行  
./configure --prefix=/usr/local/python3/Python-3.6.9  
3、接连执行  
make  
make install  
4、配置环境变量  
PATH= P A T H : PATH: PATH:HOME/bin:/usr/local/python3/Python-3.6.9/bin  
. ~/.bash\_profile  
5、测试  
python3 -V  
6、此时环境变量配置是：

PATH=$PATH:$HOME/bin:/usr/local/python3/Python-3.6.9/bin
    export JAVA_HOME=/usr/local/java/jdk1.8.0_181
    export PATH=$JAVA_HOME/bin:$PATH

### 四、免密 ###

1、检验是否有.ssh目录  
cd .ssh  
2、没有就创建  
ssh localhost  
3、查看目录是否建成  
ll -a  
4、执行命令，查看.ssh中是否多2个文件  
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id\_rsa  
5、将1的公匙信息拷贝给到2(在1上执行)，查看2的.ssh是否多个文件  
ssh-copy-id VMkylin2  
6、将2公匙给2(在2上执行)  
ssh-copy-id VMkylin2  
7、将3公匙给2(在3上执行)  
ssh-copy-id VMkylin2  
8、cat 2authorized\_keys的文件是否有3个  
9、分发2的authorized\_keys文件(在2上执行)  
scp authorized\_keys VMkylin3:`pwd`  
scp authorized\_keys VMkylin1:`pwd`

### 五、Nginx1.17安装 ###

1、安装相关依赖  
yum install gcc-c++  
yum install -y pcre pcre-devel  
yum install -y zlib zlib-devel  
yum install -y openssl openssl-devel  
2、创建文件夹/usr/local/nginx并安装nginx  
tar -zxvf nginx-1.17.7.tar.gz ./  
3、编译安装，进入/usr/local/nginx执行命令  
./configure  
4、相继执行make和make install  
5、进入usr/local/nginx/conf/nginx.conf的server修改端口号和localhost地址  
80–>8089 localhost–>192.168.125.104  
6、进入/usr/local/nginx/sbin开启nginx  
./nginx -s reload  
（如果报错没有找到pid文件，那就执行 /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf ）  
7、查看nginx进程  
ps -ef | grep nginx  
8、WEb访问nginx界面  
192.168.125.104:8089  
9、附：  
./nginx 启动  
./nginx -s stop 关闭  
./nginx -s reload 重启

### 六、MySql5.7安装 ###

1、将安装包放在创建目录并解压重命名  
mkdir /usr/local/mysql  
tar -zxvf mysql-5.7.28-linux-glibc2.12-x86\_64.tar.gz  
mv mysql-5.7.28-linux-glibc2.12-x86\_64 mysql-5.7.28  
2、添加mysql组合mysql用户  
groupadd mysql  
useradd -r -g mysql mysql  
3、修改解压后mysql目录权限  
chown -R mysql:mysql /usr/local/mysql/mysql-5.7.28  
4、创建mysql数据仓库目录  
mkdir -p /usr/local/mysql/data/mysql-data  
5、修改mysql-data权限  
chown -R root:root .  
chown -R mysql:mysql .  
6、修改mysql数据库默认配置文件，路径是 vim /etc/my.cnf

[mysqld]
    datadir=/usr/local/mysql/data/mysql-data
    basedir=/usr/local/mysql/mysql-5.7.28
    socket=/usr/local/mysql/data/mysql-data/mysql.sock
    user=mysql
    port=3306
    character-set-server=utf8
    # Disabling symbolic-links is recommended to prevent assorted security risks
    symbolic-links=0
    # Settings user and group are ignored when systemd is used.
    # If you need to run mysqld under a different user or group,
    # customize your systemd unit file for mariadb according to the
    # instructions in http://fedoraproject.org/wiki/Systemd
    
    [mysqld_safe]
    #log-error=/var/log/mariadb/mariadb.log
    #pid-file=/var/run/mariadb/mariadb.pid
    log-error=/var/log/mysqld.log
    pid-file=/var/run/mysqld/mysqld.pid
    [client]
    socket=/usr/local/mysql/data/mysql-data/mysql.sock
    #
    # include all files from the config directory
    #
    !includedir /etc/my.cnf.d

7、初始化数据库，在/usr/local/mysql/mysql-5.7.28/bin下  
./mysqld --initialize --user=mysql --basedir=/usr/local/mysql/mysql-5.7.28 --datadir=/usr/local/mysql/data/mysql-data  
8、按在出现的log日志中，记录mysql临时密码  
eg：\[Note\] A temporary password is generated for root@localhost: &lPt2ZMhN.hg  
9、添加系统启动服务  
cp /usr/local/mysql/mysql-5.7.28/support-files/mysql.server /etc/init.d/mysql  
如果启动服务不能使用就直接restart  
10、启动mysql服务  
service mysql start  
11、记录刚刚的临时密码，并修改密码为123456  
./mysqladmin -uroot -p’&lPt2ZMhN.hg’ password 123456  
12、登录mysql，在/usr/local/mysql/mysql-5.7.28下  
bin/mysql -uroot -p123456  
13、使用mysql数据库删除user，并配置命令，刷新，退出mysql  
GRANT ALL PRIVILEGES ON *.* TO ‘root’@’%’ IDENTIFIED BY ‘123’ WITH GRANT OPTION;  
flush privileges;  
exit;

### 七、NTP安装 ###

1、检查是否有，有则删除原有版本  
rpm -qa | grep ntp  
yum -y remove xxxxxxx  
2、进行yum源安装  
yum -y install ntp  
3、在/etc/ntp.conf文件中配置服务，添加命令行，在 ::1 上下添加  
restrict 192.168.125.104 nomodify notrap nopeer noquery //当前节点IP地址  
restrict 192.168.125.2 mask 255.255.255.0 nomodify notrap //集群所在网段的网关（Gateway），子网掩码（Genmask）  
4、选择主节点，修改文件，注释server 0~n，添加  
server 127.127.1.0  
Fudge 127.127.1.0 stratum 10  
5、除主节点外继续添加，指向主节点  
server 192.168.125.104  
Fudge 192.168.125.104 stratum 10  
6、在两个其他节点中，重复3的2个命令行  
restrict 192.168.125.105 nomodify notrap nopeer noquery //当前节点IP地址  
restrict 192.168.125.2 mask 255.255.255.0 nomodify notrap //集群所在网段的网关（Gateway），子网掩码（Genmask）

restrict 192.168.125.106 nomodify notrap nopeer noquery //当前节点IP地址  
restrict 192.168.125.2 mask 255.255.255.0 nomodify notrap //集群所在网段的网关（Gateway），子网掩码（Genmask）  
7、启动ntp服务和开启开机启动  
systemctl start ntpd.service service ntpd start  
systemctl enable ntpd.service chkconfig ntpd on  
8、查看ntp有无和上层ntp连通，需要等待一段时间  
ntpstat  
ntpq -p

### 八、Tomcat8.5安装 ###

1、创建目录加压到/usr/local/tomcat  
tar -zxvf apache-tomcat-8.5.50.tar.gz  
2、更改端口号 vim conf/server.xml（没改，用的默认值）

3、进入bin，开启  
./startup.sh

### 九、CDH插件 ###

yum install -y chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

### 十、Oracle(11)安装 ###

\---------- 11g的安装界面不友好，闪屏卡顿，但是可安装使用 -----------  
1、具体版本：  
linux.x64\_11gR2\_database\_1of2.zip + linux.x64\_11gR2\_database\_2of2.zip  
2、shell安装参考  
https://www.cnblogs.com/muhehe/p/7816808.html  
3、界面安装参考  
https://jingyan.baidu.com/album/48b37f8dccfd4b1a64648808.html?picindex=20  
4、如果界面安装出现乱码，可以在执行安装程序前输入临时变量  
export LANG=en\_US

### 十一、DB2(11)安装 ###

1、下载解压  
tar -zxvf v11.1\_linuxx64\_expc.tar.gz  
2、进入解压路径expc并执行  
./db2setup  
3、界面版安装

### 十二、SQL Server(15.0)安装 ###

\---------- 工具没有安装成功，但是本地测试可以成功 ----------  
1、加载源  
curl -o /etc/yum.repos.d/mssql-server.repo https://packages.microsoft.com/config/rhel/7/mssql-server-preview.repo  
2、安装  
yum install -y mssql-server  
3、安装相应版本和密码设置  
一般选择：2 Devloper  
/opt/mssql/bin/mssql-conf setup  
密码是：Aa.659001  
4、查看数据库运行状态  
systemctl status mssql-server  
5、打开防火墙端口  
firewall-cmd --zone=public --add-port=1433/tcp --permanent  
firewall-cmd --reload  
5、安装命令行管理工具  
curl -o /etc/yum.repos.d/msprod.repo https://packages.microsoft.com/config/rhel/7/prod.repo  
yum install -y mssql-tools unixODBC-devel  
6、测试SA 账户的连接  
\[mssql-tools\]\# sqlcmd -S localhost -U SA -P ‘Aa.659001’

### 十三、MongoDB(4.0.14)安装 ###

1、下载安装  
tar -zxvf mongodb-linux-x86\_64-rhel70-4.0.14.tgz  
2、重命名  
mv mongodb-linux-x86\_64-rhel70-4.0.14 mongodb  
3、配置环境变量，添加  
export PATH=/usr/mongodb/bin:$PATH  
4、创建数据库相关目录和文件  
cd /usr/local/mongodb/mongodb  
touch mongodb.conf  
mkdir db  
mkdir log  
cd log  
touch mongodb.log  
5、编辑mongodb.conf文件

port=27017 #端口
    dbpath= /usr/mongodb/db #数据库存文件存放目录
    logpath= /usr/mongodb/log/mongodb.log #日志文件存放路径
    logappend=true #使用追加的方式写日志
    fork=true #以守护进程的方式运行，创建服务器进程
    maxConns=100 #最大同时连接数
    journal=true #每次写入会记录一条操作日志（通过journal可以重新构造出写入的数据）。
    #即使宕机，启动时wiredtiger会先将数据恢复到最近一次的checkpoint点，然后重放后续的journal日志来恢复。
    storageEngine=wiredTiger  #存储引擎有mmapv1、wiretiger、mongorocks
    bind_ip = 0.0.0.0  #这样就可外部访问了
    auth = true        #校验权限

6、设置文件夹权限  
cd /usr/local/mongodb/mongodb  
chmod 777 db  
chmod 777 log  
7、启动  
mongod --config /usr/local/mongodb/mongodb/mongodb.conf

### 十四、Redis(5.0.0)安装 ###

1、解压安装到/usr/local/redis下  
tar -zxvf redis-5.0.0.tar.gz  
2、进入5.0.0编译安装  
make  
make install PREFIX=/usr/local/redis  
3、后端模式  
cp /usr/local/redis/redis-5.0.0/redis.conf /usr/local/redis/bin/  
4、进入/usr/local/bin/  
vim /usr/local/bin/redis.conf  
找到 daemonize 按i 进入编辑模式 把no 改为 yes  
5、启动进入/usr/local/bin/  
./redis-server ./redis.conf  
6、查看redis进程  
ps aux|grep redis  
7、关闭  
./bin/redis-cli shutdown  
8、redis默认端口为 6379，可更改redis.conf文件，修改端口号

### 十五、Eclipse(2019)安装 ###

1、下载解压安装  
tar -zxvf eclipse-inst-linux64.tar.gz  
2、进入//usr/local/eclipse/eclipse-installer打开eclipse  
./eclipse-inst  
3、进入系统界面并安装即可

### 十六、MyEclipse(2017)安装 ###

\---------- 2019不兼容 ----------

1、下载并修改权限  
chmod 755 myeclipse-2017-ci-10-offline-installer-linux.run  
2、执行  
./myeclipse-2017-ci-10-offline-installer-linux.run  
3、进入系统界面并安装

### 十七、Git(1.8.3.1)安装 ###

–yum安装  
1、安装  
yum -y install git  
2、查看git位置  
whereis git  
3、查看git版本  
git --version  
4、配置git仓库  
https://blog.csdn.net/feengg/article/details/82700498

### 十八、SVN(1.7.14)安装 ###

—yum安装

1、安装  
yum install subversion  
2、查看版本  
svnserve --version  
1.7.14  
3、创建仓库目录  
mkdir -p /home/svn/project  
4、创建项目  
svnadmin create /home/svn/project/  
5、查看是否创建成功  
cd /home/svn/project/  
6、进入conf进行配置 vim svnserv.conf  
anon-access = none \# 使非授权用户无法访问  
auth-access = write \# 使授权用户有写权限  
password-db = password \# 用户密码文件  
authz-db = authz \# 访问控制文件  
realm = /home/svn/project \# 认证命名空间，subversion会在认证提示里显示，并且作为凭证缓存的关键字  
7、进入passwd配置(格式：账号=密码) vim passwd

# harry = harryssecret
    # sally = sallyssecret
    username = 123456

8、进入authz配置 vim authz

# 在末尾添加如下代码
    # r：读，w：写
    [/]
    username = rw

9、启动SVN服务并查看进程信息  
svnserve -d -r /home/svn  
ps -ef|grep svnserve  
10、测试安装  
https://www.centos.bz/2018/03/centos7%E6%90%AD%E5%BB%BAgit%E5%8F%8A%E5%AE%89%E8%A3%85%E4%BD%BF%E7%94%A8/

### 十九、CDH5.16搭建 ###

1、jdk安装以及环境变量配置(3)  
2、集群主机名映射(3)  
vim /etc/hosts  
3、防火墙关闭(3)  
systemctl stop firewalld  
systemctl disable firewalld  
4、禁止交互(3)  
vim /etc/sysctl.conf  
添加一行 vm.swappiness=0  
sysctl vm.swappiness=0  
5、免密  
6、mysql安装  
7、创建CM用户(3)  
useradd --system --home=/opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment “Cloudera SCM User” cloudera-scm  
8、不同节点创建文件夹及授权  
mkdir -p /opt/cloudera-manager --在所有上创建  
mkdir -p /opt/cloudera/parcel-repo --在server上创建  
mkdir -p /opt/cloudera/parcels --在所有的agent节点上创建  
mkdir -p /opt/cloudera-manager/cm-5.16.1/run/cloudera-scm-agent --在所有的agent节点上创建  
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/ -在server上  
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcels -在agent上  
9、上传5个资源(3)并解压  
tar -zxvf /root/software/cloudera-manager-centos7-cm5.16.1\_x86\_64.tar.gz -C /opt/cloudera-manager --xxx是你们的目录，不要直接复制  
10、agent节点执行  
vim /opt/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent/config.ini  
server\_host=VMkylin1  
11、将mysql-connector-java-5.4.40.jar放在/usr/share/java下并重命名(3)  
mv /root/software/mysql-connector-java-5.4.40.jar /usr/share/java  
mv /usr/share/java/mysql-connector-java-5.4.40.jar mysql-connector-java.jar  
12、启动mysql，并设置连接数据库准备temp用户  
service mysql start  
cd /usr/local/mysql/mysql-5.7.28/bin  
./mysql -uroot -p123456  
grant all on *.* to ‘temp’@’%’ identified by ‘temp’ with grant option;  
flush privileges;  
13、进入目录cd /opt/cloudera-manager/cm-5.16.1/share/cmf/schema/执行命令  
/opt/cloudera-manager/cm-5.16.1/share/cmf/schema/scm\_prepare\_database.sh mysql temp -h VMkylin1 -utemp -ptemp --scm-host VMkylin1 scm scm scm  
14、本地化CDH5.15安装源  
移动文件到/opt/cloudera/parcel-repo目录  
mv /root/software/CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel\* /opt/cloudera/parcel-repo  
mv /root/software/\*.json /opt/cloudera/parcel-repo  
15、进入/opt/cloudera-manager/cm-5.16.1/etc/init.d 目录  
启动server  
./cloudera-scm-server start  
在三台agent下启动agent  
./cloudera-scm-agent start  
16、访问server的7180端口

### 二十、CDH下Oozie修复 ###

\--------- WebUI页面无法访问 ----------  
cd /opt/cloudera/parcels/CDH/lib/oozie/webapps/oozie  
cd /var/lib/oozie  
unzip ext-2.2.zip  
chown oozie:oozie -R ext-2.2  
rm -rf ext-2.2.zip

### 二十一、CDH下Spark修复 ###

\---------- CDH安装完毕后，需要增加两个配置 ----------  
1、添加配置项  
cd /opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/etc/spark/conf.dist  
vim spark-env.sh  
export SPARK\_DIST\_CLASSPATH=$(hadoop classpath)  
2、页面添加配置项—spark-conf/spark-env.sh 的 Spark 服务高级配置代码段（安全阀）  
export SPARK\_CLASSPATH=/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/jars/htrace-core-3.2.0-incubating.jar:/etc/hbase/conf:/usr/local/jars/joda-time-2.8.1.jar  
3、启动spark-shell即可  
4、如果进入时spark报错，那就更改yarn页面配置上的2个参数，大于报错的数值即可  
错误：java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster! Please check the values of ‘yarn.scheduler.maximum-allocation-mb’ and/or ‘yarn.nodemanager.resource.memory-mb’.  
更改参数：  
yarn.scheduler.maximum-allocation-mb  
yarn.nodemanager.resource.memory-mb  
5、如果报错：org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x 那就用hdfs的连接方式  
sudo -u hdfs spark-shell

### 二十二、CDH下Kafka修复 ###

\---------- Parcel下载安装激活+heap参数设置 ----------  
1、需要在页面的parcel中下载并激活kafka  
2、启动集群错误，去看角色日志，设置与之匹配的broker.id  
3、更改kafka集群Java Heap Size of Broker参数，设置为1G

## 附录一：安装出现的一些问题（已解决） ##

#### 1、SQL Server ####

可以在本地进行测试，但是安装命令行工具时找不到文件

执行：

\# curl -o /etc/yum.repos.d/msprod.repo https://packages.microsoft.com/config/rhel/7/prod.repo

报错：

\-bash: curl -o /etc/yum.repos.d/msprod.repo https://packages.microsoft.com/config/rhel/7/prod.repo: 没有那个文件或目录

解决方案：

不影响数据库使用，更换其他的工具即可。

#### 2、MyEclipse(2019) ####

安装顺利，但是启动之后，界面无法操作，尝试安装后依旧没能解决

解决方案：

推测是插件/版本问题，下载2017版本进行安装尝试

#### 3、DB2(v10.5) ####

因为官网上是最新版本的，所以得找稳定一些的版本尝试，尝试安装v10.5版本，但是出现一些问题

报错：

DB2 数据库 “Server” 的需求不匹配。版本：“10.5.0.5”。

当前系统上未满足的先决条件的摘要：

DBT3514W db2prereqcheck 实用程序未能找到以下 32 位库文件："/lib/libpam.so\*"。

DBT3514W db2prereqcheck 实用程序未能找到以下 32 位库文件：“libstdc++.so.6”。

版本不匹配，安装时也出现CD盘问题

解决方案：

更换v11.1版本

#### 4、Oracle(11g) ####

安装界面频繁闪频卡顿，体验度极差，但是可以使用  
解决方案：

更换Oracle版本

#### 5、Oozie ####

在CDH的WebUI界面无法访问

解决方案：

下载ext-2.2.zip，将其安装在/var/lib/oozie目录下并赋权

/opt/cloudera/parcels/CDH/lib/oozie/webapps/oozie

/var/lib/oozie

unzip ext-2.2.zipunzip ext-2.2.zip

chown oozie:oozie -R ext-2.2

rm -rf ext-2.2.zip

#### 6、Spark ####

Spark在CDH安装后执行spark-shell出现错误

解决方案：

第一、需在服务器端的配置文件中添加语句：

cd ./opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/etc/spark/conf.dist

vim spark-env.sh

export SPARK\_DIST\_CLASSPATH=$(hadoop classpath)

第二、在页面spark-conf/spark-env.sh 的 Spark 服务高级配置代码段(安全阀)添加配置项信息

Export SPARK\_CLASSPATH=/opt/cloudera/parcels/CDH-5.16.1-1.cdh5.16.1.p0.3/jars/htrace-core-3.2.0-incubating.jar:/etc/hbase/conf:/usr/local/jars/joda-time-2.8.1.jar

第三、如果进入时spark报错，那就更改yarn页面配置上的2个参数，大于报错的数值即可

错误：java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster! Please check the values of ‘yarn.scheduler.maximum-allocation-mb’ and/or ‘yarn.nodemanager.resource.memory-mb’.

更改参数：

yarn.scheduler.maximum-allocation-mb

yarn.nodemanager.resource.memory-mb

第四、如果报错：org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x 那就用hdfs的连接方式

sudo -u hdfs spark-shel

#### 7、Kafka ####

CDH5.16搭建Kafka集群时出现配置错误

解决方案：

1、需要在页面的parcel中下载并激活kafka

2、启动集群错误，去看角色日志，设置与之匹配的broker.id

3、更改kafka集群Java Heap Size of Broker参数，设置为1G

## 附录二：MongoDB启动时出现问题（已解决） ##

MongoDB安装过程中是接连出错，下面列举错误：

#### 第一回合 ####

正常安装后，启动数据库  
 报错：在系统中寻找find / -name libssl.so.1.0.0也是找不到文件

[http://rpmfind.net/linux/rpm2html/search.php?query=libcrypto.so.1.0.0][http_rpmfind.net_linux_rpm2html_search.php_query_libcrypto.so.1.0.0]

解决方案：

1、在系统中找共享库发现没有相应文件  
 ldd /usr/local/mongodb/mongodb-4.0.14/bin/mongod

2、下载并安装相应库

rpm -ivh opera-developer-24.0.1558.21-3.el7.R.x86\_64.rpm --force –nodeps

3、查找 libcrypto.so.1.0.0 和 libssl.so.1.0.0位置

find / -name libcrypto.so.1.0.0

find / -name libssl.so.1.0.0

4、删除原有链接，根据所在位置建立新链接

ln -s /usr/lib64/x86\_64-linux-gnu/opera-developer/lib/libssl.so.1.0.0 /usr/lib/libssl.so.1.0.0

ln -s /usr/lib64/x86\_64-linux-gnu/opera-developer/lib/libcrypto.so.1.0.0 /usr/lib/libcrypto.so.1.0.0

5、再次查看，发现有链接，再次执行发现问题解决！

ldd /usr/local/mongodb/mongodb-4.0.14/bin/mongod

#### 第二回合 ####

执行./mongod  
报错：

缺少glibc-2.18.tar.gz包；

解决方案：

下载安装glibc-2.18.tar.gz

tar zxf glibc-2.18.tar.gz

cd glibc-2.18/

mkdir build

cd build/

…/configure --prefix=/usr

make -j2

make install

再次执行，没有报这个错误，问题解决！

#### 第三回合 ####

执行./mongod

报错：

./mongod: /lib64/libcurl.so.4: no version information available (required by ./mongod)

解决方案：

方案1：

1）删除链接位置，然后下载curl-7.68.0.tar.gz，安装

tar -zxvf curl-7.68.0.tar.gz

cd curl-7.68.0

./configure --prefix=/usr

make

make install

2）执行libtool --finsh /usr/local/curl/lib

报错：bash: libtool: command not found…

3）yum安装libtool，再次执行发现没效果

yum -y install gcc automake autoconf libtool make

4）安装执行libtool无效果

方案2：

1）找libcurl.so.4路径，发现已经安装

locate libcurl.so.4

2）发现正常的libcurl.so.4应该有4+个，但是麒麟里面只有2个

/usr/lib64/libcurl.so.4

/usr/lib64/libcurl.so.4.3.0

3）将原有链接删除指定新链接

ln -s /usr/lib64/libcurl.so.4.3.0 /lib/libcurl.so.4

ln -s /usr/lib64/libcurl.so.4.3.0 /usr/lib/libcurl.so.4

4）再次执行仍出现错误

./mongod: /lib64/libcurl.so.4: no version information available (required by ./mongod)

5）问题未解决，链接配过去./mongod还是找不到。。。

#### 第四回合（KO） ####

发现装错版本了，记录一下自己的蠢行为，浪费一天多时间，太专注于问题的解决了，没想到一开始就是错的…

[http_rpmfind.net_linux_rpm2html_search.php_query_libcrypto.so.1.0.0]: http://rpmfind.net/linux/rpm2html/search.php?query=libcrypto.so.1.0.0

中标麒麟(兆芯版)Java相关工具及CDH集群安装测试

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关安装CDH集群

相关 VMware安装中标麒麟Linux_server_x86_ZX64(兆芯版)

相关中标麒麟离线安装minio

相关中标麒麟(兆芯版)Java相关工具及CDH集群安装测试

相关中标麒麟离线安装nginx

相关中标麒麟系统安装 chrome浏览器记录

相关中标麒麟virtualbox_中标麒麟微信群，剧透中标麒麟7.0

相关 linux (中标麒麟) 安装Qt

相关 CDH集群：为hbase安装phoenix工具

相关中标麒麟（龙芯CPU）--docker基础镜像制作