[hadoop] hdfs的并发写问题

待我称王封你为后i 2023-06-13 04:42 3阅读 0赞

总所周知,hadoop的hdfs组件有一个缺点就是不支持并发写入,不支持文件随即修改.

但是很多人不太了解并发写入是指什么.

有以下两种情况

两个客户端同时向hdfs上传不同名文件:  
![在这里插入图片描述][20191113204852524.png]  
![在这里插入图片描述][201911132049059.png]  
全都上传成功.

两个客户端同时向hdfs上传同名文件:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70]![在这里插入图片描述][20191113205014489.png]  
两个文件全部上传失败.

因此hdfs不能并发写指的是不能同时上传同位置同名文件.

额外一种情况  
两个同名文件,一个文件成功上传,再用另一个客户端上传同名文件:  
![在这里插入图片描述][20191113205413743.png]  
会提示 File exists.

## 结论 ##

hdfs的不能并发写指的是同位置同名文件只能有一个writer,否则会使得所有的上传请求失败.  
不同位置或者不同名的文件可以同时上传.

[20191113204852524.png]: https://img-blog.csdnimg.cn/20191113204852524.png
[201911132049059.png]: https://img-blog.csdnimg.cn/201911132049059.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191113205000711.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM=,size_16,color_FFFFFF,t_70
[20191113205014489.png]: https://img-blog.csdnimg.cn/20191113205014489.png
[20191113205413743.png]: https://img-blog.csdnimg.cn/20191113205413743.png

发表评论取消回复

表情：

评论列表（有 0 条评论，3人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据-Hadoop-HDFS(二)：HDFS读写数据流程

4.1 HDFS写数据流程 4.1.1 剖析文件写入 ![f8ec08193c1f4a8d9fed020575481d41.png][] （1）客户端通过Dist

分手后的思念是犯贱/ 2023年10月08日 23:18/ 0 赞/ 62 阅读

相关图解Hadoop hdfs写数据流程

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NzIz

Bertha 。/ 2023年10月07日 10:35/ 0 赞/ 62 阅读

相关【Hadoop-HDFS】HDFS的读写流程 & SNN的数据写入流程

【Hadoop-HDFS】HDFS的读写流程 & SNN的数据写入流程 1）HDFS的数据写入流程 2）HDFS的数据读取流程 3）SNN的数据写入的流

た入场券/ 2023年10月05日 16:25/ 0 赞/ 69 阅读

相关 [hadoop] hdfs的并发写问题

总所周知,hadoop的hdfs组件有一个缺点就是不支持并发写入,不支持文件随即修改. 但是很多人不太了解并发写入是指什么. 有以下两种情况两个客户端同时向hdfs上传

待我称王封你为后i/ 2023年06月13日 04:42/ 0 赞/ 4 阅读

相关 Hadoop：HDFS读写流程

文章目录一、HDFS写数据流程 1.1 剖析文件写入 1.2 副本存储节点选择二、HDFS读数据流程一、HDFS写数据流程

蔚落/ 2023年02月12日 06:27/ 0 赞/ 99 阅读

相关 HDFS 的并发写问题

hdfs的并发写问题 hdfs的并发写问题结论 hdfs的并发写问题总所周知，hadoop的hdfs组件有一个缺点就是不支持并发写入，不支持文件随

川长思鸟来/ 2022年10月28日 15:29/ 0 赞/ 191 阅读

相关 Hadoop-HDFS读写数据流原理分析

HDFS的数据流（原理分析） HDFS写数据流程 ![\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-b4lYNapi-162501

水深无声/ 2022年10月11日 06:10/ 0 赞/ 221 阅读

相关 Hadoop的HDFS

大数据的特点 1.TB,PB类别的数据 2.数据是以高速增长的趋势 3.数据都是半结构化或者非结构化的数据，需要我们存储以及处理成直观的数据 H

青旅半醒/ 2022年07月12日 04:38/ 0 赞/ 246 阅读

相关 Hadoop-HDFS 文件读写流程

1.HDFS写流程：客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block

妖狐艹你老母/ 2022年05月15日 04:15/ 0 赞/ 337 阅读

相关 Hadoop之HDFS读写数据流程

Hadoop之HDFS读写数据流程 -------------------- 目录 1. HDFS写数据流程 2. HDFS读数据流程 3. 网络拓扑概念

ゝ一纸荒年。/ 2022年01月21日 06:47/ 0 赞/ 355 阅读