• 欢迎访问极客公园网站,WordPress信息,WordPress教程,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站,欢迎加入极客公园 QQ群
  • Git主题现已支持滚动公告栏功能,兼容其他浏览器,看到的就是咯,在后台最新消息那里用li标签添加即可。
  • 最新版Git主题已支持说说碎语功能,可像添加文章一样直接添加说说,新建说说页面即可,最后重新保存固定连接,演示地址
  • 百度口碑求点赞啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊http://koubei.baidu.com/s/gitcafe.net
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏极客公园吧

(总结)Linux下使用rsync最快速删除海量文件的方法

未分类 博客教主 14年前 (2011-06-16) 26520次浏览 12个评论

昨天遇到了要在Linux下删除海量文件的情况,需要删除数十万个文件。这个是之前的程序写的日志,增长很快,而且没什么用。这个时候,我们常用的删除命令rm -fr * 就不好用了,因为要等待的时间太长。所以必须要采取一些非常手段。我们可以使用rsync来实现快速删除大量文件。

1、先安装rsync:
yum install rsync
2、建立一个空的文件夹:
mkdir /tmp/test
3、用rsync删除目标目录:
rsync --delete-before -a -H -v --progress --stats /tmp/test/ log/
这样我们要删除的log目录就会被清空了,删除的速度会非常快。rsync实际上用的是替换原理,处理数十万个文件也是秒删。

选项说明
–delete-before 接收者在传输之前进行删除操作
–progress 在传输时显示传输过程
-a 归档模式,表示以递归方式传输文件,并保持所有文件属性
-H 保持硬连接的文件
-v 详细输出模式
–stats 给出某些文件的传输状态


极客公园 , 版权所有丨如未注明 , 均为原创丨本网站采用BY-NC-SA协议进行授权
转载请注明原文链接:(总结)Linux下使用rsync最快速删除海量文件的方法
喜欢 (0)

您必须 登录 才能发表评论!

(12)个小伙伴在吐槽
  1. 不错,学习了!!
    羽飞2011-06-18 08:54
    • 呵呵,我也是需要删除20G的零散日志文件才发现这个方法才最快。之前程序员写的程序很烂,留下个烂摊子~~
  2. 看来rm 命令还是 一如既往的垃圾~~
    ccc2011-06-18 10:03
  3. 这个方法NB
    testtes2012-11-13 14:32
  4. 原理是什么?
    hueidou2012-11-14 14:50
  5. rm跟rsync替换为啥差了这么多
    sheldWu2013-01-05 13:50
  6. 经测试,rm与rsync在删除单个大文件(4G左右)的速度差不多,没有快到哪里去,请楼主发出详细的测试报告再发帖吧,不要误导大家。
    小笨蛋呀2013-03-11 22:05
  7. 同意“小笨蛋呀” 几十万个小文件,你测试下就知道了。 速度根本不会比rm快。 博主自己没测试过吧.
    fcbu2013-04-23 23:07
  8. 替换是什么意思呢
    aaa2013-05-15 11:39
  9. 删除大量文件效果非常明显 单个确实是没用了
    magicyang872013-05-15 11:47
  10. 经测试,rm与rsync在删除单个大文件(4G左右)的速度差不多,没有快到哪里去,请楼主发出详细的测试报告再发帖吧,不要误导大家。 ----- 这个方法是用于删除非常多的小文件速度快,不是拿来比单文件。
    UClinux2013-08-28 21:48