python读取hdfs并返回dataframe教程

川长思鸟来 2022-12-29 06:42 103阅读 0赞

更多编程教程请到：[菜鸟教程][Link 1] https://www.piaodoo.com/

友情链接：

[高州阳光论坛][Link 2]https://www.hnthzk.com/

[人人影视][Link 3]http://www.sfkyty.com/

不多说，直接上代码

from hdfs import Client
    import pandas as pd

HDFSHOST = “http://xxx:50070”  
FILENAME = “/tmp/preprocess/part-00000” \#hdfs文件路径  
COLUMNNAMES = \[xx’\]

def readHDFS():  
‘’’  
读取hdfs文件

Returns：  
df:dataframe hdfs数据  
‘’’  
client = Client(HDFSHOST)

# 目前读取hdfs文件采用方式： #

# 1. 先从hdfs读取二进制数据流文件 #

# 2. 将二进制文件另存为.csv #

# 3. 使用pandas读取csv文件 #

with client.read(FILENAME) as fs:  
content = fs.read()  
s = str(content, ‘utf-8’)  
file = open(“data/tmp/data.csv”, “w”)  
file.write(s)  
df = pd.read\_csv(“data/tmp/data.csv”, names=COLUMNNAMES)  
return df

**补充知识：****Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV**

**1. 目标**

通过hadoop hive或spark等数据计算框架完成数据清洗后的数据在HDFS上

爬虫和机器学习在Python中容易实现

在Linux环境下编写Python没有pyCharm便利

需要建立Python与HDFS的读写通道

**2. 实现**

安装Python模块pyhdfs

版本:Python3.6, hadoop 2.9

读文件代码如下

from pyhdfs import HdfsClient
    client=HdfsClient(hosts='ghym:50070')#hdfs地址
    res=client.open('/sy.txt')#hdfs文件路径,根目录/
    for r in res:
      line=str(r,encoding='utf8')#open后是二进制,str()转换为字符串并转码
      print(line)

写文件代码如下

from pyhdfs import HdfsClient
    client=HdfsClient(hosts='ghym:50070',user_name='hadoop')#只有hadoop用户拥有写权限
    str='hello world'
    client.create('/py.txt',str)#创建新文件并写入字符串

上传本地文件到HDFS

from pyhdfs import HdfsClient
    client = HdfsClient(hosts='ghym:50070', user_name='hadoop')
    client.copy_from_local('d:/pydemo.txt', '/pydemo')#本地文件绝对路径,HDFS目录必须不存在

**3. 读取文本文件写入csv**

Python安装pandas模块

确认文本文件的分隔符

# pyhdfs读取文本文件,分隔符为逗号,
    from pyhdfs import HdfsClient
    client = HdfsClient(hosts='ghym:50070', user_name='hadoop')
    inputfile=client.open('/int.txt')
    # pandas调用读取方法read_table
    import pandas as pd
    df=pd.read_table(inputfile,encoding='gbk',sep=',')#参数为源文件,编码,分隔符
    # 数据集to_csv方法转换为csv
    df.to_csv('demo.csv',encoding='gbk',index=None)#参数为目标文件,编码,是否要索引

以上这篇python读取hdfs并返回dataframe教程就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持菜鸟教程www.piaodoo.com。

[Link 1]: https://www.piaodoo.com/
[Link 2]: https://www.hnthzk.com/
[Link 3]: http://www.sfkyty.com/