No FileSystem for scheme: hdfs问题

男娘i 2021-10-01 05:04 335阅读 0赞

通过FileSystem.get(conf)初始化的时候，要通过静态加载来实现，其加载类的方法代码如下：

  1. private static FileSystem createFileSystem(URI uri, Configuration conf
  2.       ) throws IOException {
  3.     Class<?> clazz = conf.getClass("fs." + uri.getScheme() + ".impl", null); 
  4.     if (clazz == null) {
  5.       throw new IOException("No FileSystem for scheme: " + uri.getScheme());
  6.     }
  7.     FileSystem fs = (FileSystem)ReflectionUtils.newInstance(clazz, conf);
  8.     fs.initialize(uri, conf);
  9.     return fs;
  10.   }

onf.getClass需要读取hadoop-common-x.jar下面的core-default.xml，但是这个xml里面没有fs.hdfs.impl的配置信息，所以需要将这个类给配置上去。

将hadoop-commom-x.jar里面的core-default.xml文件取出并修改，添加如下代码：

  1. <property>
  2. <name>fs.hdfs.impl</name>
  3. <value>org.apache.hadoop.hdfs.DistributedFileSystem</value>
  4. <description>The FileSystem for hdfs: uris.</description>
  5. </property>

或者应用代码使用时候，自行添加：

  1. configuration.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

转载于:https://www.cnblogs.com/felixzh/p/10268018.html

发表评论

表情：
评论列表 （有 0 条评论，335人围观）

还没有评论，来说两句吧...

相关阅读