怎样同步数据到阿里云OSS?
发布时间:2018-02-27 点击数:2442
用户如希望,将增量数据,自动往OSS的Bucket中同步,可以参考以下方法。
•主要方法
- OSS跨区域复制:将OSS的BucketA数据,同步到另一个区域的BucketB中。您可以在控制台中,对OSS源Bucket设置跨区域复制。
-
镜像回源:适用于客户源站无缝迁移数据到OSS。即服务已在建源站或者在其他云产品上运行,需迁移到OSS,但又不能停止服务。在Ossimport完成历史数据迁移后,业务切换到OSS后,当访问的数据不在OSS,会触发镜像回源,到源站抓取下载到OSS中。
- OSS API或SDK:使用OSS API或SDK编写代码实现,详情请参见Copy Object、Upload Part Copy。
•场景1:OSS的不同Bucket之间的数据同步
当需要将BucketA数据,同步到BucketB时,可参考如下方法:
-
设置跨区域复制
- 适用于源BucketA、目的BuketB都不是归档存储,且分属不同区域场景
-
镜像回源
- 适用于当客户端访问BucketB时,BucketB中没有该数据,触发镜像回源去BcuektA中抓取,下载到BucketB。
-
OSS API/SDK Copy Object、Upload Part Copy
- 适用于用户有特性需求,且有较强开发能力
•常见疑问
-
是否可以指定Bucket下特定目录而非整个Bucket间进行同步?
可以。通过设置跨区域复制功能指定文件名前缀进行同步,控制只同步特定目录。 -
归档存储是否可以使用跨区域复制功能?
当源Bucket或目标Bucket是归档存储时,不支持设置跨区域复制。用户可以使用OSS API/SDK 编写代码,以实现同步。由于归档存储存在恢复时间,如果客户在应用中,需要由归档存储,向标准或低频存储间同步,建议采用更合理的架构,将源Bucket改为标准或低频存储,目标Bucket改为归档存储,节省成本,提升业务体验。
•场景2:第三方数据源的数据“同步”到OSS
第三方数据源,自动同步到OSS,可参考如下方法:
-
镜像回源
-
当客户端访问OSS时,OSS如没有该数据,则触发镜像回源去第三方数据源站中抓取,下载到OSS。
-
当客户端访问OSS时,OSS如没有该数据,则触发镜像回源去第三方数据源站中抓取,下载到OSS。
-
OSS API/SDK Copy Object、Upload Part Copy
适用于用户有特性需求,且有较强开发能力 -
使用OSSimport增量迁移模式
使用OSSIMPORT数据迁移增量模式,间隔固定时间,去查询源站数据,并将其同步到OSS中。
•常见疑问
-
如果是将历史数据,批量地迁移或复制到OSS,请参考数据迁移文档
•其他
如果问题还未能解决,请联系售后技术支持。
