Article / 文章中心

怎样同步数据到阿里云OSS?

发布时间:2018-02-27 点击数:2442

用户如希望,将增量数据,自动往OSS的Bucket中同步,可以参考以下方法。

•主要方法

  • OSS跨区域复制:将OSS的BucketA数据,同步到另一个区域的BucketB中。您可以在控制台中,对OSS源Bucket设置跨区域复制。
  • 镜像回源:适用于客户源站无缝迁移数据到OSS。即服务已在建源站或者在其他云产品上运行,需迁移到OSS,但又不能停止服务。在Ossimport完成历史数据迁移后,业务切换到OSS后,当访问的数据不在OSS,会触发镜像回源,到源站抓取下载到OSS中。
    镜像回源
  • OSS API或SDK:使用OSS API或SDK编写代码实现,详情请参见Copy Object、Upload Part Copy。

•场景1:OSS的不同Bucket之间的数据同步

当需要将BucketA数据,同步到BucketB时,可参考如下方法:

  • 设置跨区域复制
    • 适用于源BucketA、目的BuketB都不是归档存储,且分属不同区域场景
  • 镜像回源
    • 适用于当客户端访问BucketB时,BucketB中没有该数据,触发镜像回源去BcuektA中抓取,下载到BucketB。
  • OSS API/SDK Copy Object、Upload Part Copy
    • 适用于用户有特性需求,且有较强开发能力

•常见疑问

  • 是否可以指定Bucket下特定目录而非整个Bucket间进行同步?
    可以。通过设置跨区域复制功能指定文件名前缀进行同步,控制只同步特定目录。

  • 归档存储是否可以使用跨区域复制功能?
    当源Bucket或目标Bucket是归档存储时,不支持设置跨区域复制。用户可以使用OSS API/SDK 编写代码,以实现同步。

    由于归档存储存在恢复时间,如果客户在应用中,需要由归档存储,向标准或低频存储间同步,建议采用更合理的架构,将源Bucket改为标准或低频存储,目标Bucket改为归档存储,节省成本,提升业务体验。

•场景2:第三方数据源的数据“同步”到OSS

第三方数据源,自动同步到OSS,可参考如下方法:

  • 镜像回源
    • 当客户端访问OSS时,OSS如没有该数据,则触发镜像回源去第三方数据源站中抓取,下载到OSS。镜像回源
  • OSS API/SDK Copy Object、Upload Part Copy 
    适用于用户有特性需求,且有较强开发能力
  • 使用OSSimport增量迁移模式 
    使用OSSIMPORT数据迁移增量模式,间隔固定时间,去查询源站数据,并将其同步到OSS中。

•常见疑问

•其他

如果问题还未能解决,请联系售后技术支持。