1. 程式人生 > >阿里雲OSS資料遷移到騰訊雲COS 方法二(強烈推薦)

阿里雲OSS資料遷移到騰訊雲COS 方法二(強烈推薦)

遷移工具使用方法

遷移工具支援將S3,OSS, Qiniu,檔案列表等檔案遷移到COS物件儲存。工具只支援在linux/macos下執行,系統自帶的Python版本在2.6以上。

系統依賴

工具執行平臺為*nix,需要有Python2.7及以上環境,同時機器應該安裝pip,gccpython-dev。您可以使用系統自帶的包管理器安裝相關依賴。

centos上,使用如下命令安裝:

1

sudoyum installpython-pip python-devel gcc gcc-c++ libxml2-devel

ubuntu/debian上,使用如下命令安裝:

sudo apt-get install python-pip python-dev gcc gcc-c++ libxml2-devel

安裝方法

推薦使用pip安裝,安裝pip的方法,可以參考官網或者使用apt/yum等包管理工具安裝python-pip包。

 pip install -U cos_migrate_tool

執行完上述命令後,可以嘗試使用如下命令檢測是否安裝成功。

cos_migrate_tool -h

解除安裝方法

執行如下命令:

pip uninstall cos_migrate_tool

使用方法

在安裝成功後,系統會有一個可執行命令cos_migrate_tool,之後的遷移過程都是使用該命令。執行命令的方式如下:

    cos_migrate_tool -c /path/to/your/conf

配置檔案自行編寫,模版參考下章內容。在配置檔案中,需要配置一個工作目錄,之後遷移過程中產生的臨時檔案都在放置在該目錄,請保證目錄空間足夠大,如果並行執行多個遷移任務,推薦使用不同的目錄。

在遷移過程中,你可以檢視你設定的工作目錄下面的fail_file.txt來檢視遷移失敗的檔案列表。

配置檔案

配置檔案模板,common 部分配置基本配置,workspace是上述的工作目錄。source部分配置資料來源的資訊,如果你想遷移osscos,該部分就是配置oss的屬性。destination部分配置cos屬性。

!! 配置檔案請刪除註釋文字,即#註釋部分,空白模板參考 連結

[common]

workspace=/tmp/tmp6   # 工作目錄threads=20            # 工作執行緒數,如果不配置,則為10執行緒[source]

type=oss

accesskeyid=

accesskeysecret=

bucket=

endpoint=

[destination]

type=cosv4

region=shanghai

accesskeyid=

appid=

accesskeysecret=

bucket=sdktest

遷移OSS

[common]
workspace=/tmp/tmp6

[source]
type=oss

accesskeyid=        # oss accesskey id

accesskeysecret=     # ossaccesskey secret

bucket=            # 要遷移的bucket

endpoint=           #oss endpoint,例如oss-cn-beijing.aliyuncs.com

[destination]

type=cosv4

region=shanghai          # cos region,如shanghai, guangzhou

accesskeyid=             # cos secretid

appid=                  # cos appid

accesskeysecret=          #cos secretkey

bucket=sdktest           # cos bucket

prefix_dir=/dir21/        # cos 的目錄,遷移的檔案都會位於該目錄下,不配置該項則遷移到根目錄overwrite=true           #覆蓋cos上已有的同名檔案,如果不需要,請刪除該行

遷移qiniu

[common]

workspace=/tmp/tmp11

[source]

type=qiniu

accesskeyid=               # qiniu  accesskeyid

accesskeysecret=           # qiniu  accesskeysecret

bucket=                    # 要遷移的qiniubucket

domain_url=                # qiniu 的下載域名

prefix=dir1                # 要遷移的目錄,如果要遷移整個bucket,刪除此行

[destination]

type=cosv4

region=shanghai            # cos  region,如shanghai, guangzhou

accesskeyid=               # cos  secretid

appid=                     # cos  appid

accesskeysecret=           # cos  secretkey

bucket=sdktest             # cos  bucket

prefix_dir=/dir21/         # cos 的目錄,遷移的檔案都會位於該目錄下,不配置該項則遷移到根目錄

overwrite=true             # 是否覆蓋上傳,如果不需要,刪除此行

遷移S3

[common]

workspace=/tmp/tmp21

[source]

type=s3

accesskeyid=               # s3  accesskey id

accesskeysecret=           # s3  accesskey secret

bucket=                    # s3 的要遷移的bucket

prefix=dir1                # s3 的要遷移的目錄,如果要遷移整個bucket,刪除此行

[destination]

type=cosv4

region=shanghai

accesskeyid=

appid=

accesskeysecret=

bucket=

遷移列表檔案

[common]

workspace=

[source]

type=url

url_list_file=/tmp/urllist.txt   # 要遷移的檔案url列表檔案,檔案每一行為一個完整的url

timeout=3                        # http請求的超時時間

[destination]

type=cosv4

region=

accesskeyid=

appid=

accesskeysecret=

bucket=

遷移COSv3

[common]

workspace=

[source]

type=cosv3

accesskeyid=

appid=

accesskeysecret=

bucket=                     # http請求的超時時間

[destination]

type=cosv4

region=

accesskeyid=

appid=

accesskeysecret=

bucket=

COS v3 遷移到COSv4

[common]

workspace=

[source]

type=cosv3

accesskeyid=

appid=

accesskeysecret=

bucket=           

[destination]

type=cosv4

region=

accesskeyid=

appid=

accesskeysecret=

bucket=

COS v4 遷移到COSv4

[common]

workspace=

[source]

type=cosv4

accesskeyid=

region=

appid=

accesskeysecret=

bucket=         

prefix_dir=/foo   # cos 的目錄,遷移的檔案都會位於該目錄下,不配置該項則遷移到根目錄

[destination]

type=cosv4

region=

accesskeyid=

appid=

accesskeysecret=

bucket=

常見錯誤與解決辦法

1.pip命令不存在。使用apt installpython-pip 或者yum installpython-pip 命令安裝PIP

2.使用pip安裝遷移工具不成功。嘗試執行sudo pipinstall cos_migrate_tool

3.提示找不到argparse,使用pip安裝sudo pipinstall argparse

4.對於一直遷移不成功的檔案,可能是COS上有同名殘損檔案,可以嘗試指定overwrite=true引數來覆蓋。

5.遷移前工具會先判斷檔案是否已經在COS上,提示檔案不存在的錯誤的正常的