進度流程 Demo

進度流程Demo

Outline • 系統架構 • 註冊檔案格式(大小及數量) • Demoprocess • Q&A

系統架構 mount NAS1 DN1 MN mount Client SN mount NAS2 mount DN2 MN: Master NameNode SN: Slave NameNode DN: Datanode Client directory structure /mnt/HDFS (fuse directory) /mnt/NAS1_NFS/ (NAS1) /mnt/NAS2_NFS/ (NAS2)

檔案大小及數量 • 1G以上 • 5個 • 最大檔案:8.5G • 1G以下 • 25個

資料夾 • 最多三層 • 舉例: • /mnt/NAS_USER/NAS1_DIR • /mnt/NAS_USER/NAS1DIR/NAS1_DIR_2 • /mnt/NAS_USER/NAS1DIR/NAS1_DIR_2/NAS1_DIR_3

Demo流程 • 註冊流程 • 1.Client先在DN1(user1)和DN2(user2)上註冊檔案(時間:5分鐘) • 2.Client在/mnt/HDFS上看到剛剛註冊的檔案 • 檔案操作流程 • 1.Client在/mnt/HDFS上新增檔案(addFile1) • 2.Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案的超連結 • 3.Client在/mnt/HDFS上刪除檔案(addFile1) • 4.Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案的超連結被刪除 • 5. Client在/mnt/HDFS上修改NAS1上註冊的檔案(修改NAS1_File) • 6.Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案的超連結

Cell Recovery流程 • Case1: 當SN不存在時，FSImage掛掉，且NameNodeshutdown • NameNode重新啟動後，Client在 /mnt/HDFS看到原來的檔案 • Case2:當SN存在，FSImage掛掉，且NameNode shutdown • Client重新設定NameNode位置，並重新啟動Fuse，在/mnt/HDFS看到原來的檔案

註冊流程

1.Client先在DN1和DN2上註冊檔案

2.Client在/mnt/HDFS上看到剛剛註冊的檔案

檔案操作流程

1.Client在/mnt/HDFS上新增檔案(addFile1)

2.Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案(addFile1)的超連結2.Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案(addFile1)的超連結

3.Client在/mnt/HDFS上刪除檔案(addFile1)

4.Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案的超連結被刪除4.Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案的超連結被刪除

5. Client在/mnt/HDFS上修改NAS1上註冊的檔案(修改NAS1_File)

6.Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案的超連結6.Client在/mnt/NAS1_NFS或/mnt/NAS2_NFS上看到檔案的超連結

Cell Recovery流程

Case1: 當SN不存在時，FSImage掛掉，且NameNodeshutdown • NameNode重新啟動後，Client在 /mnt/HDFS看到原來的檔案

Case2:當SN存在，FSImage掛掉，且NameNodeshutdown • Client重新設定NameNode位置，並重新啟動Fuse，在/mnt/HDFS看到原來的檔案

Q&A

進度流程 Demo