大数据系列hadoop——开发环境配置

谁践踏了优雅 2022-05-17 05:49 177阅读 0赞

**目录**

简介

安装配置插件

环境变量

代码中的配置

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

mapReduce

--------------------

# 简介 #

一般来说，我们的hadoop部署在linux服务器上，我们在windows上用eclipse进行开发，所以我们要进行开发环境配置。

工具和版本号

JDK：1.8

Eclipse：Jee Oxygen

Hadoop：2.6.5

hadoop-eclipse-plugin：2.6.5

winutils.exe

hadoop.dll

## 安装配置插件 ##

下载插件，放到eclipse安装目录下的dropins文件夹中，重启eclipse

![70][]

注意服务端必须对外开放9000端口， 或者在防火墙中进行配置

![70 1][]

## 环境变量 ##

下载hadoop到开发机并解压，将winutils.exe放到bin目录下

把hadoop.dll放到System32文件夹下

设置环境变量HADOOP\_HOME=hadoop安装目录

设置环境变量PATH=%HADOOP\_HOME%/bin

## 代码中的配置 ##

*  ### core-site.xml ###

fs.defaultFS需要修改成master的ip，其余和服务器上一致

*  ### hdfs-site.xml ###

在开发机上用服务器上的hadoop进行调试时，操作hadoop的用户名默认为开发机的用户名，因此可能存在权限问题。在hdfs-site.xml中有一个配置可以禁用权限验证。需要服务器上做同样的配置

dfs.permissions配置为false，其余和服务器上一致

注意：权限问题还有其它几个办法

1、修改开发机用户名和服务器上的一样

2、代码中设置System.setProperty("HADOOP\_USER\_NAME","服务器用户名");

*  ### mapred-site.xml ###

和服务器上一致

*  ### yarn-site.xml ###

和服务器上一致

注意：如果打包到服务器上调用的时候，需要配置

![70 2][]

否则报错如下

![70 3][]

*  ### mapReduce ###

1、开发环境

上面提到的权限问题，可以通过代码System.setProperty("HADOOP\_USER\_NAME","服务器用户名");设置

设置开发机的hadoop路径System.setProperty("hadoop.home.dir","hadoop路径");

config.set("mapreduce.app.submission.cross-platform", "true");  
            config.set("mapreduce.framework.name", "local");

2、服务器环境

config.set("mapreduce.framework.name", "yarn");

config.set("yarn.resourcemanager.hostname", "master的ip");

[70]: /images/20220517/ee9d43681f594d8b9532fa6f69508c1e.png
[70 1]: /images/20220517/0478e3296b8c41299d7726a7f2f8e6df.png
[70 2]: /images/20220517/dc76fe4e0a6d43e49d5e0bc6243fab7c.png
[70 3]: /images/20220517/e7eec02c68a0449aac968266cf4f5e5d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，177人围观）

还没有评论，来说两句吧...

相关阅读

相关头歌Educoder——大数据Hadoop开发环境搭建

文章目录第1关：配置开发环境 - JavaJDK的配置任务描述相关知识下载JDK 解压

曾经终败给现在/ 2022年11月07日 11:38/ 0 赞/ 1635 阅读

相关大数据学习系列之一 ----- Hadoop环境搭建(单机)

一、环境选择 1，服务器选择阿里云服务器:入门型(按量付费) 操作系统:linux CentOS 6.8 Cpu：1核内存：1G 硬盘:40G

叁歲伎倆/ 2022年06月05日 11:30/ 0 赞/ 270 阅读

相关大数据学习系列之六 ----- Hadoop+Spark环境搭建

引言在上一篇中 [大数据学习系列之五 —– Hive整合HBase图文详解][_ Hive_HBase] ： [http://www.panchengming.com/

素颜马尾好姑娘i/ 2022年06月03日 05:26/ 0 赞/ 207 阅读

相关大数据Hadoop系列之Hadoop分布式集群部署

一、部署规划 1、部署环境各部署单元的软件部署情况如下： ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_t

分手后的思念是犯贱/ 2022年05月25日 09:27/ 0 赞/ 245 阅读

相关大数据Hadoop系列之Hadoop机架感知配置

1）编写topology.data IP地址主机名交换机/机架 192.168.9.60 master60 /dc1/

亦凉/ 2022年05月23日 08:28/ 0 赞/ 229 阅读

相关大数据系列hadoop——MapReduce实例——单词计数

目录一、简介二、思路三、实现 -------------------- 一、简介这个应该是mapReduce里面最简单，也是所

客官°小女子只卖身不卖艺/ 2022年05月17日 08:54/ 0 赞/ 164 阅读

相关大数据系列hadoop——开发环境配置

目录简介安装配置插件环境变量代码中的配置 core-site.xml hdfs-site.xml mapred-site.xml yarn-site.x

谁践踏了优雅/ 2022年05月17日 05:49/ 0 赞/ 178 阅读

相关大数据Hadoop系列之Hadoop服务开机自启动配置

1. 编写运行脚本 > $ sudo cd /etc/init.d > $ sudo vi hadoop !/bin/bash chkconfig

绝地灬酷狼/ 2022年05月15日 16:43/ 0 赞/ 813 阅读

相关配置hadoop环境

下载并且安装jdk 下载hadoop 2.2.1 修改主机名在root用户下编辑/etc/sysconfig/network文件命令：vi /etc/

快来打我*/ 2022年03月06日 11:44/ 0 赞/ 249 阅读

相关 Ubuntu开发环境配置（九）搭建Hadoop开发运行环境

前言尽管Hadoop本身可以运行在Linux、Windows、以及一些类Unix系统，但是Hadoop官方支持的作业平台是Linux，在Windows中运行Ha

男娘i/ 2021年09月16日 06:52/ 0 赞/ 385 阅读