如何解决如何恢复 hdfs 删除的文件
我被问到以下问题。
采访者:如何在 hdfs 中恢复已删除的文件。 我:我们可以从垃圾目录复制/移回原始目录。 采访者:除了垃圾回收,还有别的办法吗? 我:我说不。
所以我的问题是,是否真的有任何方法可以恢复已删除的文件或面试官只是要求我测试我的信心。
我发现以下恢复方法与 hdfs -cp/mv 不同,但它也从垃圾箱中获取文件。
hadoop distcp -D ipc.client.fallback-to-simple-auth-allowed=true -D dfs.checksum.tpe=CRC32C -m 10 -pb -update /users/vijay/.Trash/ /application/data /vijay;
解决方法
Hadoop从2.1.0版本开始提供HDFS快照(SnapShot)功能 你可以试试用
首先,创建快照
hdfs dfsadmin -allowSnapshot /user/hdfs/important
hdfs dfs -createSnapshot /user/hdfs/important important-snapshot
接下来,尝试删除一个文件
hdfs dfs -rm -r /user/hdfs/important/important-file.txt
最后,恢复它
hdfs dfs -ls /user/hdfs/important/.snapshot/
hdfs dfs -cp /user/hdfs/important/.snapshot/important-snapshot/important-file.txt /user/hdfs/important/
hdfs dfs -cat /user/hdfs/important/important-file.txt
P.S:这样恢复被删除的文件必须使用CP命令(不是MV命令),因为快照中删除的文件是只读文件
希望我的回答能帮到你
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。