hdfs 文档存储服务器,MinIO HDFS网关

迷南。 2022-09-04 01:52 348阅读 0赞

MinIO HDFS网关 ![slack?type=svg][slack_type_svg]

MinIO HDFS网关将Amazon S3 API支持添加到Hadoop HDFS文件系统中。应用程序可以同时使用S3和文件API，而无需任何数据迁移。由于网关是无状态且无共享的，因此您可以弹性地分配所需数量的MinIO实例以分配负载。

运行MinIO Gateway进行HDFS存储

使用二进制

通过core-site.xml 自动从hadoop环境变量 $HADOOP\_HOME 中读取来获取Namenode信息

export MINIO\_ACCESS\_KEY=minio

export MINIO\_SECRET\_KEY=minio123

minio gateway hdfs

您还可以覆盖namenode端点，如下所示。

export MINIO\_ACCESS\_KEY=minio

export MINIO\_SECRET\_KEY=minio123

minio gateway hdfs hdfs://namenode:8200

使用 Docker

使用docker是实验性的，大多数Hadoop环境未进行docker化，可能需要其他步骤才能使其正常工作。在这种情况下，最好只使用二进制文件。

docker run -p 9000:9000 \\

\--name hdfs-s3 \\

\-e "MINIO\_ACCESS\_KEY=minio" \\

\-e "MINIO\_SECRET\_KEY=minio123" \\

minio/minio gateway hdfs hdfs://namenode:8200

使用MinIO浏览器进行测试

MinIO网关 带有基于Web的嵌入式对象浏览器。将您的Web浏览器指向http://127.0.0.1:9000 ，以确保服务器已成功启动。

![minio-browser-gateway.png][]

使用MinIO Client进行测试 mc

mc 提供了诸如ls，cat，cp，mirror，diff等UNIX命令的现代替代方案。它支持文件系统和与Amazon S3兼容的云存储服务。

配置 mc

mc config host add myhdfs http://gateway-ip:9000 access\_key secret\_key

在HDFS上列出存储桶

mc ls myhdfs

\[2017-02-22 01:50:43 PST\] 0B user/

\[2017-02-26 21:43:51 PST\] 0B datasets/

\[2017-02-26 22:10:11 PST\] 0B assets/

已知限制

网关继承了HDFS存储层的以下限制：

没有存储桶策略支持(HDFS没有这样的概念)

不支持存储桶通知API(HDFS不支持fsnotify)

不支持服务器端加密(有意未实现)

不支持服务器端压缩(有意未实现)

路线图

对PutObject操作的其他元数据支持

多部分操作的其他元数据支持

后台附加为多部分操作提供并发支持

进一步探索

[slack_type_svg]: /images/20220829/fd84c98717fb490c9c44eac0f3a70757.png
[minio-browser-gateway.png]: https://raw.githubusercontent.com/minio/minio/master/docs/screenshots/minio-browser-gateway.png

发表评论取消回复

表情：

评论列表（有 0 条评论，348人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS的存储原理

1、存储原理 1.1、HDFS分布式文件存储将文件分为集群节点的部分数，分别存入每个节点中。 ![在这里插入图片描述][3499c48cb17441a9900

快来打我*/ 2024年03月03日 09:06/ 0 赞/ 140 阅读

相关 HDFS存储架构

HDFS是一个分布式的文件系统，相比普通的文件系统来说更加复杂，因此在学习HDFS的操作之前有必要先来学习一下HDFS的存储架构。如下图所示： ![在这里插入图片描述][w

太过爱你忘了你带给我的痛/ 2023年10月07日 16:29/ 0 赞/ 102 阅读

相关 hdfs存储模型

![请添加图片描述][70ce2d30a5dad0d7697b42b396fdf801.png] ![在这里插入图片描述][watermark_type_ZmFuZ3poZ

た入场券/ 2023年10月03日 11:28/ 0 赞/ 2 阅读

相关 hdfs 数据迁移_HDFS-Tiering 数据分层存储

1. 背景随着小米业务迅猛发展，存储到 HDFS 集群的数据量不断增大，存储成本也不断攀升。尤其是海外 HDFS 集群每 GB 数据的成本是国内集群的 10 倍左右，如何优

左手的ㄟ右手/ 2023年01月01日 10:59/ 0 赞/ 192 阅读

相关 Hadoop——HDFS文件存储

目录添加Hadoop依赖 HDFS操作工具类 FileSystem的缓存机制缓存模式非缓存模式 -------------------- Hadoop中

朴灿烈づ我的快乐病毒、/ 2022年11月02日 11:57/ 0 赞/ 188 阅读

相关 hdfs 文档存储服务器,MinIO HDFS网关

MinIO HDFS网关 ![slack?type=svg][slack_type_svg] MinIO HDFS网关将Amazon S3 API支持添加到Hadoop HD

迷南。/ 2022年09月04日 01:52/ 0 赞/ 349 阅读

相关 HDFS文件存储组织

1、作为一个分布式文件系统，HDFS内部的数据和文件存储机制、读写过程与普通的本地文件系统有较大的差别。 2、文件数据的存储组织 ①HDFS中最主要的部分就是NameNod

雨点打透心脏的1/2处/ 2022年07月24日 10:25/ 0 赞/ 261 阅读

相关分布式存储与HDFS

大数据学习一什么是大数据简述大数据技术分布式计算机器学习分布式

素颜马尾好姑娘i/ 2021年09月27日 13:32/ 0 赞/ 491 阅读

相关 HDFS分布式文件存储系统

一、各部分介绍 1.1 NameNode Namenode 是一个中心服务器，单一节点（简化系统的设计和实现），负责管理文件系统的名字空间(namespa

痛定思痛。/ 2021年09月14日 04:16/ 0 赞/ 731 阅读

相关分布式存储系统-HDFS

HDFS作为分布式文件管理系统，Hadoop的基础。HDFS体系结构包括：NameNode、DataNode、SecondaryNameNode。Hadoop shell上传的

心已赠人/ 2021年07月25日 13:35/ 0 赞/ 766 阅读