如何使用 AWS CLI 将多个文件从本地复制到 AWS S3 存储桶?

言鼎科技 2023-06-20 311

Amazon 简单存储服务 (S3) 是最常用的对象存储服务之一,它具有可扩展性、安全性、性能和数据可用性。这意味着网站、移动应用程序、企业应用程序和物联网设备等任何规模或行业的客户都可以使用它来存储任何数量的数据。

Amazon S3 提供易于使用的管理功能,因此您可以适当地组织数据以满足您的业务需求。

我们中的许多人每天都在使用AWS s3 存储桶;使用云存储时面临的最常见挑战之一是同时同步或上传多个对象。是的,我们可以在直接存储桶页面上拖放或上传。就像下图一样。

如何使用 AWS CLI 将多个文件从本地复制到 AWS S3 存储桶?

但这种方法的问题是,如果您通过不稳定的网络上传大型对象,如果发生网络错误,您必须从头开始重新上传。

如何使用 AWS CLI 将多个文件从本地复制到 AWS S3 存储桶?

假设您正在上传 2000 多个文件,并且您知道上传失败并且您在最近 1 小时内上传这些文件,重新上传已成为一个耗时的过程。因此,为了克服这个问题,我们有两个解决方案,我们将在下一节中讨论。

先决条件

  • AWS 账户

  • 安装的 AWS CLI

使用分段上传 API 上传对象

分段上传打开了将单个对象作为一组部分上传的大门。考虑到可以以任何顺序独立上传对象部分。

如果任何部分传输失败,可以在不影响任何其他部分的情况下重传该部分。因此,最好使用分段上传而不是在单个操作中上传对象。

使用分段上传的优点:

  • 提高吞吐量——提高上传速度

  • 从任何网络问题中快速恢复:无需从头重新上传

  • 恢复和暂停对象上传

  • 可以在创建对象时上传任何对象。

我们可以使用具有不同技术 SDK 或 REST API 的多部分文件上传 API 以获取更多详细信息,请访问

使用 Bacancy 管理 AWS 云服务!
停止为您的项目寻找 AWS 认证架构师,因为 Bacancy 就在这里!联系最好!获得最好的!立即聘请 AWS 开发人员!

使用 AWS S3 CLI 将文件复制到 AWS S3 存储桶

安装 AWS CLI

我们需要安装 CLI。通过使用 AWS CLI,我们可以执行 S3 复制操作。如果您不知道如何安装 CLI,请遵循本指南:安装 AWS CLI

配置 AWS 配置文件

现在,是时候配置 AWS 配置文件了。为此,请使用“AWS configure”命令。您可以配置 AWS 凭据,在下面找到您的凭据IAM -> 用户 -> security_credentials 选项卡在 AWS 控制台上

我们完成了 AWS 配置文件的配置。现在,您可以使用存储桶命令下方的列表访问您的 S3 存储桶名称“bacancy-s3-blog”

列出 S3 中所有现有的桶

使用以下命令列出所有现有存储桶。

如何使用 AWS CLI 将多个文件从本地复制到 AWS S3 存储桶?
aws s3 ls

将单个文件复制到 AWS S3 存储桶

使用以下命令将单个文件复制到 S3 存储桶。

如何使用 AWS CLI 将多个文件从本地复制到 AWS S3 存储桶?
aws s3 cp file.txt s3://<您的存储桶名称>

AWS S3 复制多个文件

使用以下命令使用 AWS S3 将多个文件从一个目录复制到另一个目录。

如何使用 AWS CLI 将多个文件从本地复制到 AWS S3 存储桶?
aws s3 cp <您的目录路径> s3://<您的存储桶名称> –递归

注意:通过使用 aws s3 cp 递归标志来指示必须递归复制所有文件。

如何使用 AWS CLI 将多个文件从本地复制到 AWS S3 存储桶?

正如您在上面的视频中看到的那样,即使我们的网络连接丢失或在重新连接后连接上,该过程也会继续进行而不会丢失任何文件。

结论

所以,这是关于如何使用 AWS CLI 将多个文件从本地复制到AWS S3 存储桶。如需更多此类教程,请随时访问云教程页面并开始学习!如果您有任何建议或反馈,请随时与我们联系。

言鼎科技主做软件开发,微信小程序,网站开发,软件外包,手机APP开发。如有需要记得联系我们!

The End