在CDH集群中使用HDFS快照

朴灿烈づ我的快乐病毒、 2022-03-20 20:16 487阅读 0赞

HDFS中可以对目录创建Snapshot，创建之后不管后续目录发生什么变化，都可以通过快照找回原来的文件和目录结构，那么在CDH集群中如何使用HDFS的快照功能呢？本博文主要讲述如何在CDH中使用HDFS的快照功能，包括全量快照和增量快照和恢复。

1、启用快照

> 1）登录CM的Web界面，点击HDFS服务
> 
> ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70][]
> 
> 2）点击菜单栏中的“文件浏览器”
> 
> ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 1][]
> 
> 3）选择需要创建快照的目录，创建快照时，必须首先其用哪个该目录的快照
> 
> ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 2][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 3][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 4][]

2、创建目录快照

> 1）在创建快照前，查看/data/mytest/data.dat文件内容
> 
>     $ sudo -u hdfs hadoop fs -cat /data/mytest/data.dat
>     test1@#$test1name@#$test2value
>     test2@#$test2name@#$test2value
>     test3@#$test3name@#$test4value
> 
> 2）创建新的快照
> 
> ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 5][]
> 
> 3）快照创建成功
> 
> ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 6][]
> 
> 4）向/data/mytest/data.dat文件中追加内容
> 
>     $ more test.dat 
>       test4@#$test4name@#$test4value
>       test5@#$test5name@#$test5value
>     $ hadoop fs -appendToFile test.dat /data/mytest/data.dat
>     $ hadoop fs -cat /data/mytest/data.dat
>       test1@#$test1name@#$test2value
>       test2@#$test2name@#$test2value
>       test3@#$test3name@#$test4value
>       test4@#$test4name@#$test4value
>       test5@#$test5name@#$test5value
> 
> 5）在追加数据后再创建一个快照MySecondSnapshot
> 
> ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 7][]

3、快照数据恢复

> 1）将/data/mytest/目录下的所有数据文件删除
> 
>     $ hadoop fs -rm -r /data/mytest/*
>     19/2/9 12:57:24 INFO fs.TrashPolicyDefault: Moved: 'hdfs://ip-172-31-21-45.ap-southeast-1.compute.internal:8020/data/mytest/data.dat' to trash at: hdfs://ip-172-31-21-45.ap-southeast-1.compute.internal:8020/user/ec2-user/.Trash/Current/data/mytest/data.dat
>     $ hadoop fs -ls /data/mytest
> 
> 2）使用快照MyFirstSnapShot恢复数据
> 
>      选择从快照还原目录
> 
> 3）恢复成功后进行验证

4、总结

>  *  HDFS快照的创建是**瞬间**的，取决于扫描文件目录的时间
>  *  *HDFS快照占用很小的空间，但不是原始数据数据拷贝，快照只是记录了列表和文件的大小，相当于元数据信息，不会有数据复制。*
>  *  如果一个目录启用了快照功能，那么它的父目录和子目录都不允许再被设置快照。
>  *  如果一个目录下已经存在快照，那么要删除该目录则必须先删除该目录的所有快照才能对目录进行删除和重命名操作。

\--------------------------------------------------------------------------------------------------------------------------------------------------------------------

用人品去感动别人，用改变去影响别人，用状态去燃烧别人，用行动去带动别人，用阳光去照耀别人，用坚持去赢得别人，要求自己每天都去做与目标有关的事情，哪怕每天只进步一点点，坚持下来你就是最优秀卓越的！欢迎大家加入大数据交流群：725967421     一起交流，一起进步！！

\---------------------------------------------------------------------------------------------------------------------------------------------------------------------

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70]: /images/20220321/985470693af84fb488ef05da71309f6e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 1]: /images/20220321/b32428983c3d401f8ff97bcb252b423c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20190209123407320.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20190209123705535.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 4]: /images/20220321/35c39e3902a14233ba1d5c1800196ff7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 5]: /images/20220321/c6bdf4e94b66460ea2551fc1ffd12931.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 6]: /images/20220321/0b7baf3e557e44aeb62eb913c2836078.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 7]: /images/20220321/6e6da2c514fd4d1aaeefe6bc5705a0ab.png