详解rsync的使用方法

rsync 是一个常用的 Linux 应用程序,用于文件同步,它可以在本地计算机与远程计算机之间,或者两个本地目录之间同步文件(但不支持两台远程计算机之间的同步)。它也可以当作文件复制工具,替代cpmv命令,下面为大家详细讲解一下rsync的使用方法。

rsync 基础

我为一个大概拥有 35,000 开发者并有着几十 TB 文件的全球性机构管理二进制仓库。我经常一次移动或者归档上百 GB 的数据。使用的是 rsync。这种经历使我对这个简单的工具充满信心。(所以,是的,我在家使用它来备份我的 Linux 系统)

基础的 rsync 命令很简单。

rsync -av 源目录 目的地目录

实际上,在各种指南中教的 rsync 命令在大多数通用情况下都运行的很好。然而,假设我们需要备份大量的数据。例如包含 2,000 个子目录的目录,每个包含 50GB 到 700GB 的数据。在这个目录运行 rsync 可能需要大量时间,尤其是当你使用校验选项时(我倾向使用)。

当我们试图同步大量数据或者通过慢的网络连接时,可能遇到性能问题。让我给你展示一些我使用的方法来确保好的性能和可靠性。

rsync 高级用法

rsync 运行时出现的第一行是:“正在发送增量文件列表。” 如果你在网上搜索这一行,你将看到很多类似的问题:为什么它一直运行,或者为什么它似乎挂起了。

这里是一个基于这个场景的例子。假设我们有一个 /storage 的目录,我们想要备份到一个外部 USB 磁盘,我们可以使用下面的命令:

rsync -cav /storage /media/WDPassport

-c 选项告诉 rsync 使用文件校验和而不是时间戳来决定改变的文件,这通常消耗的时间更久。为了分解 /storage 目录,我通过子目录同步,使用 find 命令。这是一个例子:

find /storage -type d -exec rsync -cav {} /media/WDPassport \;

这看起来可以,但是如果 /storage 目录有任何文件,它们将被跳过。因此,我们如何同步 /storage 目录中的文件呢?同样有一个细微的差别是这些选项将造成 rsync 会同步 . 目录,该目录是源目录自身;这意味着它会同步子目录两次,这并不是我们想要的。

长话短说,我的解决方案是一个 “双-递增”脚本。这允许我分解一个目录,例如,当你的家目录有多个大的目录,例如音乐或者家庭照片时,分解 /home 目录为单个的用户家目录。

这是我的脚本的一个例子:

HOMES="alan"
DRIVE="/media/WDPassport"

for HOME in $HOMESdo
cd /home/$HOME
rsync -cdlptgov --delete . /$DRIVE/$HOME
find . -maxdepth 1 -type d -not -name "." -exec rsync -crlptgov --delete {} /$DRIVE/$HOME \;
done

第一个 rsync 命令拷贝它在源目录中发现的文件和目录。然而,它将目录留着不处理,因此我们能够通过 find 命令迭代它们。这通过传递 -d 参数来完成,它告诉 rsync 不要递归目录。

-d, --dirs 传输目录而不递归

然后 find 命令传递每个目录来单独运行 rsync。之后 rsync 拷贝目录的内容。这通过传递 -r 参数来完成,它告诉 rsync 要递归目录。

-r, --recursive 递归进入目录

这使得 rsync 使用的增量文件保持在一个合理的大小。

大多数 rsync 指南为了简便使用 -a (或者 archive) 参数。这实际是一个复合参数。

-a, --archive 归档模式;等价于 -rlptgoD(没有 -H,-A,-X)

我传递的其他参数包含在 a 中;这些是 -l、-p、-t、-g和 -o。

-l, --links 复制符号链接作为符号链接
-p, --perms 保留权限
-t, --times 保留修改时间
-g, --group 保留组
-o, --owner 保留拥有者(只适用于超级管理员)

–delete 选项告诉 rsync 删除目的地目录中所有在源目录不存在的任意文件。这种方式,运行的结果仅仅是复制。你同样可以排除 .Trash 目录或者 MacOS 创建的 .DS_Store 文件。

-not -name ".Trash*" -not -name ".DS_Store"

注意

最后一条建议: rsync 可以是破坏性的命令。幸运的是,它的睿智的创造者提供了 “空运行” 的能力。如果我们加入 n 选项,rsync 会显示预期的输出但不写任何数据。

`rsync -cdlptgovn --delete . /$DRIVE/$HOME`

这个脚本适用于非常大的存储规模和高延迟或者慢链接的情况。一如既往,我确信仍有提升的空间。如果你有任何建议,请在下方评论中分享。

原创文章,作者:晴川运维,如若转载,请注明出处:https://baike.qcidc.com/12864.html

(0)
晴川运维晴川运维
上一篇 2025年9月19日
下一篇 2025年9月19日

相关推荐

  • 数据库和数据湖的关键概念性差异

    在数据库和数据湖的工作中,有几个关键的概念性差异。在这篇文章中,让我们来确定其中的一些差异,这些差异在第一眼看到时可能并不直观,特别是对于具有强大关系型数据库背景的人来说。 服务器…

    Linux系统 2025年9月21日
  • Linux中常用的监控工具

    本篇文章重点为大家讲解一下Linux中常用的监控工具,有需要的小伙伴可以参考一下。 1. iotop 如果你想知道某些进程使用了多少你宝贵的 I/O 资源,那么就使用 iotop …

    Linux系统 2025年6月11日
  • Python StreamlitUI框架

    Streamlit是第一个专门针对机器学习和数据科学团队的应用开发框架,它是开发自定义机器学习工具的最快的方法,你可以认为它的目标是取代Flask在机器学习项目中的地位,可以帮助机…

    Linux系统 2025年9月19日
  • Linux中nmcli命令使用方法

    nmcli命令是redhat7或者centos7之后的命令,该命令可以完成网卡上所有的配置工作,并且可以写入配置文件,永久生效,下面为大家讲解一下nmcli命令使用方法。 基本用法…

    Linux系统 2025年6月8日
  • Linux中使用Cream提高 Vim 的用户友好性

    Cream 附加包通过把一个更加熟悉的“面孔”置于 Vim 文本编辑器之上,同时保留 Vim 的功能,使其更加容易使用。 当我把 Cream 介绍给他们以后,他们的失望就变成了满意…

    Linux系统 2025年6月8日
  • Linux下复用外部shell脚本

    Linux开发中,经常会编写shell脚本来执行一些任务,通常是一个脚本只做一件事,随着任务的增加,脚本会越来越多,可复用的地方也会逐渐增加,这时就需要提取出脚本中的公共的功能放到…

    Linux系统 2025年10月22日
  • 使用date 和 bash将日期进行倒计时

    需要知道重要事件发生前有多少天吗?让 Linux bash 和 date 命令可以帮助你!随着即将来临的重要假期,你可能需要提醒你还要准备多久。幸运的是,你可以从date 命令获得…

    Linux系统 2025年6月8日
  • 网络地址转换(NAT)之连接跟踪工具

    这是有关网络地址转换network address translation(NAT)的系列文章中的第二篇。之前的第一篇文章介绍了 如何使用 iptables/nftabl…

    Linux系统 2025年10月24日
  • 快速扩展sawp 分区

    当物理内存即将耗尽时,Linux 就会用到 sawp 分区。swap 类似于 wiondows 下的虚拟内存一样。当 swap 也耗尽时,这个时候 linux 会遵循内核机制,随机…

    Linux系统 2025年10月26日
  • RHEL7 or CentOS7重设系统密码

    我们有时会忘记linux系统的root密码,有的人不会重置密码只能重置系统了,本篇文章重点为大家讲解一下RHEL7 or CentOS7重设系统密码具体方法。 介绍 目的 在 RH…

    Linux系统 2025年6月8日

发表回复

登录后才能评论