kettle版本对应hadoop平台等问题

た入场券 2022-02-20 05:37 371阅读 0赞

1.kettle版本支持状况  
http://wiki.pentaho.com/display/BAD/4.4+Configuring+Pentaho+for+your+Hadoop+Distro+and+Version  
c:\\Users\\Desktop\\data-integration\\plugins\\pentaho-big-data-plugins\\plugin.properties里面的

\# For more configuration options specific to the Hadoop configuration choosen  
\# here see the config.properties file in that configuration's directory.  
active.hadoop.configuration=hdp24   <-----这里添加hdp24

kettle 6.0版本对应hortworks2.2   配置写为hdp22  
kettle 6.1版本对应hortworks2.3   配置写为hdp23  
kettle 7.0版本对应hortworks2.4   配置写为hdp24  
kettle 7.1版本对应hortworks2.5   配置写为hdp25

2.本地导入hdfs的配置  
http://blog.csdn.net/cdmamata/article/details/56846895

3.kettle的问题集合，（动态抽取）  
http://blog.sina.com.cn/s/blog\_664558d30100q2p6.html

4.1 set/getfacl Linux赋予权限给某个用户组/用户到指定文件夹                                            ----------------------------->Linux权限问题  
https://www.ibm.com/developerworks/cn/linux/l-acl/index.html     --------->IBM官方

命令一：  
\[root@FC3-vm mnt\]\# setfacl -m u:testu1:rwx,g:testg1:r file1  
\[root@FC3-vm mnt\]\# getfacl file1  
\# file: file1  
\# owner: root  
\# group: root  
user::rw-  
user:testu1:rwx  
group::r--  
group:testg1:r--  
mask::rwx  
other::r-

命令二：删除/覆盖/添加并且限制最大权限给指定用户和指定文件   ------->见IBM网页

4.2 chown -R 用户名：组名 文件名  
$ hdfs dfs -chown lisa:input /input    ------ 修改input目录的owner为lisa，group从supergroup改为input

4.3chmod 777/421 文件名 u:所有者  g：所属组  o：其他人

4.4 增添一个已有用户到已有用户组  
usermod -a -G apache cnzhx  次要组  
usermod -g apache cnzhx  主要组  
gpasswd -d user group   如果要将一个用户从某个组中删除，则需要保证 group 不是 user 的主组。

5. hdfs权限管理控制  
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs\_permissions\_guide.html

6.所属组与附属组区别与联系  
在使用useradd命令创建用户的时侯可以用-g 和-G 指定用户所属组和附属组。  
基本组：如果没有指定用户组，创建用户的时候系统会默认同时创建一个和这个用户名同名的组，这个组就是基本组，不可以把用户从基本组中删除。在创建文件时，文件的所属组就是用户的基本组。  
附加组：除了基本组之外，用户所在的其他组，都是附加组。用户是可以从附加组中被删除的。  
用户不论为与基本组中还是附加组中，就会拥有该组的权限。一个用户可以属于多个附加组。但是一个用户只能有一个基本组。