发表于: 2018-03-10 22:32:08

1 573


今天完成的事情:修改一些BUG,图片迁移


主要首先是一个迁移工具

这个迁移工具支持从 AWS S3,阿里云 OSS 和七牛云等服务迁移文件到对象存储 COS;同时也支持文件列表迁移,即从一系列给定的 URL 中迁移文件到对象存储 COS。

使用环境

系统环境

Linux 或 Mac 系统

软件依赖

Python 2.7.x,同时应该安装 pip,gcc 与 python-dev。

安装 pip,gcc 与 python-dev:

 sudo yum install python-pip python-devel gcc g++

获取工具:

https://github.com/tencentyun/cos_migrate_tool

安装方法

推荐使用 pip 安装,安装 pip 的方法,可以参考 pip 官网 或者使用 apt/yum 等包管理工具安装 python-pip 包。

 pip install -U cos_migrate_tool

执行完上述命令后,使用如下命令检测是否安装成功:

 cos_migrate_tool -h

返回结果如下图所示,则表示已安装成功:

也可以通过模板的方法:

配置文件

配置文件模板(路径:./cos_migrate_tool-master/conf),配置内容举例如下:

假设用户迁移数据从 OSS 到 COS,common 部分配置基本信息,workspace 是工作目录。source 部分配置数据源的信息,配置 OSS 的属性。destination 部分配置 COS 属性。

配置文件请删除注释文字,即 # 注释 部分,空白模板参考 GitHub 页面。

迁移 OSS 中文件

 [common]

workspace=/tmp/tmp6

threads=20           # 线程数,不配置默认10

[source]

type=oss

accesskeyid=         # oss accesskey id

accesskeysecret=     # oss accesskey secret

bucket=              # 要迁移的bucket名

endpoint=            # oss 的endpoint,例如 oss-cn-beijing.aliyuncs.com

[destination]

type=cosv4

region=sh                  # cos 的 region,如sh, gz

accesskeyid=               # cos 的 accesskeyid

appid=                     # cos 的 appid

accesskeysecret=           # cos 的 accesskeysecret

bucket=sdktest             # cos 的 bucket

prefix_dir=/dir21          # cos 的目录,迁移的文件都会位于该目录下,不配置该项则迁移到根目录



运行工具

在安装成功后,系统会有一个可执行命令 cos_migrate_tool,之后的迁移过程都是使用该命令。执行命令的方式如下:

 cos_migrate_tool -c /path/to/your/conf

配置文件自行编写,模版参考 配置文件。在配置文件中,需要配置一个工作目录,之后迁移过程中产生的临时文件都在放置在该目录,请保证目录空间足够大,如果并行执行多个迁移任务,推荐使用不同的目录。

在迁移过程中,你可以查看你设定的工作目录下面的 fail_file.txt 来查看迁移失败的文件列表。


明天计划的事情:开始任务八


遇到的问题:文件上传时候的文件名校验,用ajax怎么上传文件


收获:自己重新写了几个js文件,对其理解深了一步


返回列表 返回列表
评论

    分享到