发表于: 2018-03-10 22:32:08
1 572
今天完成的事情:修改一些BUG,图片迁移
主要首先是一个迁移工具
这个迁移工具支持从 AWS S3,阿里云 OSS 和七牛云等服务迁移文件到对象存储 COS;同时也支持文件列表迁移,即从一系列给定的 URL 中迁移文件到对象存储 COS。
使用环境
系统环境
Linux 或 Mac 系统
软件依赖
Python 2.7.x,同时应该安装 pip,gcc 与 python-dev。
安装 pip,gcc 与 python-dev:
sudo yum install python-pip python-devel gcc g++
获取工具:
https://github.com/tencentyun/cos_migrate_tool
安装方法
推荐使用 pip 安装,安装 pip 的方法,可以参考 pip 官网 或者使用 apt/yum 等包管理工具安装 python-pip 包。
pip install -U cos_migrate_tool
执行完上述命令后,使用如下命令检测是否安装成功:
cos_migrate_tool -h
返回结果如下图所示,则表示已安装成功:
也可以通过模板的方法:
配置文件
配置文件模板(路径:./cos_migrate_tool-master/conf),配置内容举例如下:
假设用户迁移数据从 OSS 到 COS,common 部分配置基本信息,workspace 是工作目录。source 部分配置数据源的信息,配置 OSS 的属性。destination 部分配置 COS 属性。
配置文件请删除注释文字,即 # 注释 部分,空白模板参考 GitHub 页面。
迁移 OSS 中文件
[common]
workspace=/tmp/tmp6
threads=20 # 线程数,不配置默认10
[source]
type=oss
accesskeyid= # oss accesskey id
accesskeysecret= # oss accesskey secret
bucket= # 要迁移的bucket名
endpoint= # oss 的endpoint,例如 oss-cn-beijing.aliyuncs.com
[destination]
type=cosv4
region=sh # cos 的 region,如sh, gz
accesskeyid= # cos 的 accesskeyid
appid= # cos 的 appid
accesskeysecret= # cos 的 accesskeysecret
bucket=sdktest # cos 的 bucket
prefix_dir=/dir21 # cos 的目录,迁移的文件都会位于该目录下,不配置该项则迁移到根目录
运行工具
在安装成功后,系统会有一个可执行命令 cos_migrate_tool,之后的迁移过程都是使用该命令。执行命令的方式如下:
cos_migrate_tool -c /path/to/your/conf
配置文件自行编写,模版参考 配置文件。在配置文件中,需要配置一个工作目录,之后迁移过程中产生的临时文件都在放置在该目录,请保证目录空间足够大,如果并行执行多个迁移任务,推荐使用不同的目录。
在迁移过程中,你可以查看你设定的工作目录下面的 fail_file.txt 来查看迁移失败的文件列表。
明天计划的事情:开始任务八
遇到的问题:文件上传时候的文件名校验,用ajax怎么上传文件
收获:自己重新写了几个js文件,对其理解深了一步
评论