阿里雲閃電立方——資料備份到雲下

新鈦雲服已累計為您分享815篇技術乾貨

背景

因雲上軟體系統停止執行，40 餘 TB 的 OSS 資料迫切需要進行下雲備份操作。在經過詳盡的全面評估後，最終確定採用阿里雲的閃電立方方案來實現資料遷移。同時，為了妥善儲存這些資料，新購置了一個 NAS裝置。

準備工作

前期準備

NAS前期準備

一般資料量小於50TB以下的，可考慮類似桌面型的塔式NAS儲存，一般為2~6塊硬碟，具體可用大小可根據單盤容量來計算，例如6盤的裝置，單盤12TB（實際容量可按10.91TB計算，這個值可能會因檔案系統格式化和系統保留空間等因素略有減少，但通常不會有太大變化），做完RAID 5後（RAID 5允許一個磁碟故障而不丟失資料）可用容量約50TB。

另外防止資料存在丟失的風險，需要考慮儲存裝置是否有加密措施？群暉NAS裝置有兩種加密措施，一種是共享資料夾加密，另外一種是synology卷加密。具體看需求，不需要兩種同時使用。我打電話問群暉售前，建議用第二種synology卷加密。故採用如下表所示的NAS配置：

預估時間

預估費用

具體操作步驟

下單

下單前請透過工單方式提交申請，將上文“前期準備”中的內容提供給阿里雲。申請審批通過後，會在閃電立方購買頁開放“資料備份到雲下IDC”的購買入口（如下圖所示），資訊填寫完成後下單。

下單成功後，阿里雲會進行備貨，從就近的倉庫呼叫裝置到指定機房，然後做資料下雲操作。下雲完成後給到我一個遷移詳情的excel表格，裡面有資料在閃電立方上的路徑，等收到裝置後即可透過路徑檢視到資料。阿里雲安排裝置下架後，會將裝置寄送到我指定的收貨地址。

注意：因為我這邊需要閃電立方透過萬兆網口直接對拷到NAS上，所以需要告訴阿里雲在備貨時提供2個RJ45的網線和2個光轉電模組。

收到裝置並遷移資料

開箱驗貨

收到閃電立方裝置時，檢視裝置和配件是否完整，配件：2個RJ45的網線、2個光轉電模組、1根國標電源線（機器頂部面板開啟即可看到）。檢查是否有嚴重損壞，如果出現裝置損壞等情況，請立即聯絡阿里雲工作人員。

自備顯示屏、鍵盤、滑鼠連線閃電立方裝置，輸入使用者名稱和密碼（請聯絡阿里雲工作人員獲取使用者名稱和密碼），登入閃電立方。檢查是否缺少資料，因為我這邊在資料傳輸完成後才發現有兩個任務的目的路徑重複了，導致這兩個任務需要重新從OSS下載，所以建議在一開始收到閃電立方的時候就檢查資料。

NAS 掛載到閃電立方

第一步、使用光轉電模組和RJ45的網線，將NAS與閃電立方的萬兆網口直連。

第二步、配置NAS網路。開啟NAS桌面應用程式上的“控制面板”，選擇“網路”，選擇“網路介面”下的“區域網5”進行編輯，手動設定網路配置，將IP地址配置為“192.168.1.2”，子網掩碼配置為“255.255.255.0”，完成後點選“確定”按鈕。

第三步、配置NAS的NFS。在“控制面板”裡的“檔案服務”中，選擇“NFS”，勾選“啟用 NFS 服務”，“最大 NFS 協議”設定為“NFSv3”。

在“控制面板”裡的“共享資料夾”中，選擇想要共享的目錄，配置“NFS 許可權”，新增如下圖所示的配置。

第四步、配置閃電立方網路，將IP地址改為“192.168.1.4”，子網掩碼為“255.255.255.0”，註釋掉閘道器，完成後重啟網絡卡。

ping NAS的地址“192.168.1.2”，檢查是否能ping通

使用下面的命令檢視NAS已經共享出來的目錄

showmount -e 192.168.1.2

使用下面的命令將NAS掛載到伺服器的/mnt/nas目錄

mount -t cifs //192.168.1.2/共享的目錄名稱 /mnt/nas -o username="NAS的使用者名稱",password="NAS的密碼",vers=3.0

遷移資料

步驟一、找到ossimport遷移工具

在閃電立方上執行ps -ef | grep jar，檢視是否有master.jar、worker.jar、tracker.jar 三個程序，有的話執行kill -9 程序號，將3個程序都殺掉。
在閃電立方上執行cd /mnt/cube/software/ossimport進入ossimport目錄，以下操作都在該目錄進行。

步驟二、建立遷移任務

任務是需要指定到目錄層級的。如果需要遷移目的端所有的資料，建立1個遷移任務即可。如果只遷移目的端N個目錄下的資料，則建立N個任務。

1. 配置job.cfg檔案

執行cd conf，進入conf目錄。有幾個遷移任務，就需要複製幾份job.cfg檔案，注意做好cfg檔案區分，例如job1.cfg、job2.cfg、job3.cfg。開啟其中一個cfg檔案，例如 vi job1.cfg，配置下列資訊。

jobName= 自己取任務名。srcType=localsrcPrefix= 填寫源路徑，注意後面要加上/（例如/mnt/cube/data/business/）destType=localdestPrefix= 填寫目標路徑，注意後面要加上/（例如/mnt/nas/business/）

【補充舉例說明：假設目的端掛載到閃電立方上的掛載點是/mnt/nas，要將閃電立方中的資料遷到目的端/mnt/nas/business目錄裡。閃電立方的儲存目錄為/mnt/cube/data/，則srcPrefix填寫/mnt/cube/data/business/，destPrefix填寫/mnt/nas/business/】

2. 部署服務

執行bash console.sh deploy

3. 啟動服務

執行bash console.sh start

4. 輸入ps -ef | grep jar檢視

如果有master.jar、worker.jar、tracker.jar 三個程序，說明啟動正常。

5. 提交遷移任務

執行bash console.sh submit conf/cfg檔名，例如bash console.sh submit conf/job1.cfg

步驟三、檢視遷移日誌，確認遷移狀態

檢視遷移日誌

在ossimport/workdir/logs/ 目錄下會存放一些日誌用於記錄檔案的上傳狀態以及任務的狀態。

•job_status.log該檔案30秒更新一次，用於簡單記錄任務的狀態資訊。