3.操作hdfs的api（python）

短命女 2024-02-19 21:04 64阅读 0赞

##### 1.安装依赖包 #####

pip install hdfs

##### 2.连接 #####

# 连接hdfs服务
    from hdfs import InsecureClient
    
    client = InsecureClient('http://183.168.10.11:50070', user='root')

##### 3.列出当前目录下的所有文件 #####

print client.list('/')

##### 4.创建新文件，并写入内容 #####

data = '''
    this is new file by lys！
    '''
    
    with client.write('/foodir/myfile.txt') as writer:
        writer.write(data)

##### 5.读取文件 #####

with client.read('/foodir/myfile.txt') as reader:
        data = reader.read()
        print data

##### 6.文件追加内容 #####

# 通过设置append参数，向一个已经存在的文件追加写入数据
    with client.write('/foodir/myfile.txt', append=True) as writer:
        writer.write('this is append text by lys! \n')

##### 7.重命名 #####

client.rename('/foodir/myfile.txt', '/foodir/myfile2.txt')

##### 8.下载到指定目录 #####

# 下载到指定目录/home
    client.download('/foodir/myfile.txt', '/home/myfile.txt', n_threads=3)

##### 9.创建文件夹 #####

client.makedirs('/testdiretory')

##### 10.上传文件 #####

client.upload(‘目标路径’, ‘本地源路径’)

client.upload('/testdiretory/myfile.txt','/home/myfile.txt' )

##### 11.设置权限 #####

client.set_permission(filepath, 777)

发表评论取消回复

表情：

评论列表（有 0 条评论，64人围观）

还没有评论，来说两句吧...

相关阅读

相关 3.操作hdfs的api（python）

1.安装依赖包 pip install hdfs 2.连接连接hdfs服务 from hdfs import InsecureClie

短命女/ 2024年02月19日 21:04/ 0 赞/ 65 阅读

相关 hdfs操作

1.新建java工程。xia 2.导包。导入/share/hadoop/hdfs 下的hadoop-hdfs-2.7.7.jar包, /share/hadoop/hdfs/l

刺骨的言语ヽ痛彻心扉/ 2023年07月01日 06:26/ 0 赞/ 69 阅读

相关 python使用hdfs3模块对hdfs进行操作详解

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/ 友情链接： [高州阳光论坛][Link 2]https://www.hnt

末蓝、/ 2022年12月29日 06:41/ 0 赞/ 153 阅读

相关 HDFS的文件操作流(3)——写操作(客户端)

在前面的博文中我主要从客户端的角度讲述了HDFS文件写操作的工作流程，但是关于客户端是如何把数据块传送到数据节点，同时数据节点又是如何来接受来自客户端的数据块呢？这就是

迈不过友情╰/ 2022年07月03日 13:26/ 0 赞/ 285 阅读

相关 HDFS的Shell操作

记载下HDFS的shell操作命令一、常用命令实操（0）启动Hadoop集群（方便后续的测试） start-dfs.sh start-yarn.sh （

短命女/ 2022年05月24日 13:29/ 0 赞/ 274 阅读

相关 3.5 Java操作hdfs，Maven配置

/\\ \ <p>内容描述：操作hadoop</p> \ @author lvjie \ @date 2017年7月7日上午11:53:50 \/ public c

叁歲伎倆/ 2022年05月24日 07:19/ 0 赞/ 194 阅读

相关 hadoop-hdfs,java操作hdfs

1.创建一个maven项目引入 1.相关的pom依赖: <dependency> <gro

迷南。/ 2022年05月14日 07:20/ 0 赞/ 386 阅读

相关 HDFS操作

1、使用oiv命令查看hadoop 的镜像文件 [hadoop@s201 ~/hadoop/dfs/name/current]$hdfs oiv Usage

妖狐艹你老母/ 2022年05月14日 05:47/ 0 赞/ 303 阅读

相关 hdfs操作

1. 文件操作 (1) 列出HDFS下的文件 /usr/local/hadoop$bin/ hadoop dfs -ls (2) 列出HDFS文件下名为in的文档中

朴灿烈づ我的快乐病毒、/ 2021年11月17日 04:31/ 0 赞/ 444 阅读

相关 HDFS的Shell操作

Hadoop fs 命令分类使用方法：hadoop hdfs -put 源文件地址上传地址本地-》HDFS put //从本地上传 c

妖狐艹你老母/ 2021年07月27日 01:19/ 0 赞/ 424 阅读