Hadoop2.7.6+Mysql5.7+Hive2.3.2+zookeeper3.4.6+kafka2.11+Hbase1.4.9+Sqoop1.4.7+Kylin2.4单机伪分布式安装及官方案例测

港控/mmm° 2023-10-13 22:08 8阅读 0赞

\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#  
最新消息：  
关于spark和Hudi的安装部署文档，本人已经写完，连接：  
Hadoop2.7.6+Spark2.4.4+Scala2.11.12+Hudi0.5.1单机伪分布式安装  
注意：  
本篇文章是在本人写的Hadoop+Hive+HBase+Kylin 伪分布式安装指南这篇文章基础上做的修改，为了方便小白也能根据本人的文章从头到脚顺下来能安装成功，这里没在上一篇文章上做变动或单独把新内容写一个文档，而是融合了新内容+老内容新写完整的实施过程，具体新加变动的内容为:  
1、zookeeper改为使用安装的外置zookeeper而非hbase自带zookeeper ，新加zookeeper安装过程  
2、hbase使用外置zookeeper，配置做相应改动  
3、新加kafka相关实施配置来支持Kylin的steam cube（流cube）的实验  
\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#  
文章开始！  
最近学习Kylin，肯定需要一个已经安装好的环境，Kylin的依赖环境官方介绍如下：  
依赖于 Hadoop 集群处理大量的数据集。您需要准备一个配置好 HDFS，YARN，MapReduce,，Hive， HBase，Zookeeper 和其他服务的 Hadoop 集群供 Kylin 运行。Kylin 可以在 Hadoop 集群的任意节点上启动。方便起见，您可以在 master 节点上运行 Kylin。但为了更好的稳定性，我们建议您将 Kylin 部署在一个干净的 Hadoop client 节点上，该节点上 Hive，HBase，HDFS 等命令行已安装好且 client 配置（如 core-site.xml，hive-site.xml，hbase-site.xml及其他）也已经合理的配置且其可以自动和其它节点同步。运行 Kylin 的 Linux 账户要有访问 Hadoop 集群的权限，包括创建/写入 HDFS 文件夹，Hive 表， HBase 表和提交 MapReduce 任务的权限。

————————————————————————————————————————  
原文链接：https://blog.csdn.net/qq\_28356739/article/details/89512113