R语言读写HDFS文件内容

男娘i 2022-05-21 23:43 280阅读 0赞

参考的github的代码[rHadoopClient源码][rHadoopClient]

在R语言里面定义一个function函数，函数比较简单，就是利用hdfs的cat命令进行读取临时文件，然后再加载临时文件，最后删除临时文件，启动`read.svs()`方法根据需求自行修改。

qtread.hdfs <-
    function(hdfs.path, hadoop.cmd = "hadoop") { 
      tmp.file <- sprintf("tmp_hadoop_%s.csv", as.numeric(Sys.time()))
      cmd <- sprintf("%s fs -cat %s | perl -pe 's/\t/,/g' > %s", hadoop.cmd, hdfs.path, tmp.file)
      cat("执行hadoop命令：",cmd,"\n")
      system(command = cmd)
      df <- read.csv(tmp.file, header = T, stringsAsFactors = F)
      file.remove(tmp.file)
      df
    }

然后使用定义好的函数进行读取就行，命令

data = qtread.hdfs("/20180531_H.csv")

R语言写文件方法，调用write.csv

qtwrite.hdfs <-
    function(data, hdfs.path, hadoop.cmd = "hadoop") { 
      tmp.file <- sprintf("tmp_hadoop_%s.csv", as.numeric(Sys.time()))
      #write.table(data,file=tmp.file,row.names=F,quote=F,col.names=F,sep=sep)
      write.csv(data,file=tmp.file)
      cmd <- sprintf("cat %s | %s fs -put - %s", tmp.file, hadoop.cmd, hdfs.path)
      result <- system(command = cmd)
      file.remove(tmp.file)
      result
    }

[rHadoopClient]: https://github.com/cran/rHadoopClient/blob/master/R/read.hdfs.R

发表评论取消回复

表情：

评论列表（有 0 条评论，280人围观）

还没有评论，来说两句吧...

相关阅读

相关文件内容的读写

⭐ 作者：小胡_不糊涂。

小咪咪/ 2024年04月23日 21:19/ 0 赞/ 122 阅读

相关 HDFS文件系统读写原理

在HDFS中，关键的三大角色为：NameNode（命名节点）、DataNode（数据节点）、Client（客户端） Client(客户端)对HDFS中的数据进行读写操作，分别

迈不过友情╰/ 2024年03月27日 14:52/ 0 赞/ 90 阅读

相关 HDFS文件读写原理

Client（客户端）对HDFS中的数据进行读写操作，分别是Client从HDFS中查找数据，即为Read（读）数据；Client从HDFS中存储数据，即为Write（写）数据

逃离我推掉我的手/ 2023年10月07日 16:29/ 0 赞/ 46 阅读

相关 R语言读写Excel文件

导入Excel数据 -------------------- 在Excel中将其导出为一个csv文件，然后导入R中在Windows系统中可以使用>RODB

爱被打了一巴掌/ 2023年07月23日 04:57/ 0 赞/ 13 阅读

相关 R语言读写带分隔符的文件

有众多的格式和文本文件标准可用于存储数据。用于存储数据的通用格式为分隔符值（即CSV或制表符分割文件）、可扩展标记语言（XML）、JavaScript对象表示法（JSON

布满荆棘的人生/ 2023年07月22日 14:29/ 0 赞/ 13 阅读

相关 HDFS读写文件流程

目录基础概念 block packet chunk HDFS读写文件流程读文件流程写文

分手后的思念是犯贱/ 2023年01月07日 03:54/ 0 赞/ 187 阅读

相关 HDFS文件读写操作

HDFS读文件 1. 客户端首先调用FileSystem对象的open方法打开文件，其实获取的是一个DistributedFileSystem的实例。 2. Distri

布满荆棘的人生/ 2022年05月28日 01:58/ 0 赞/ 314 阅读

相关 R语言读写HDFS文件内容

参考的github的代码[rHadoopClient源码][rHadoopClient] 在R语言里面定义一个function函数，函数比较简单，就是利用hdfs的cat命令

男娘i/ 2022年05月21日 23:43/ 0 赞/ 281 阅读

相关 Hadoop-HDFS 文件读写流程

1.HDFS写流程：客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block

妖狐艹你老母/ 2022年05月15日 04:15/ 0 赞/ 310 阅读

相关 R语言开发之二进制文件读写操作

二进制文件是一个文件，其中包含仅以位和字节形式存储的信息(`0`和`1`)，它们是不可读的，因为其中的字节转换为包含许多其他不可打印字符的字符和符号，随便我们尝试使用任何文本编

古城微笑少年丶/ 2022年05月11日 01:54/ 0 赞/ 259 阅读