Assignment 5 : Distributed File Systems (DFS)

1. EECE 600 : Distributed Systems (Fall 2006) Assignment 5 :Distributed File Systems (DFS) 2006. 11. 22 Presented by Park Woo Ram System Software Lab., Postech

2. Outline • Introduction • Technologies • Applications • Real-world cases • Advanced Information • Conclusion

3. 크고 다양한 데이터의 저장과 회수의 필요성. • 사용자들이 네트워크를 통한 파일접근의 용이함. • 저비용, 확장성, 속도의 필요성. Introduction • Motivation 데이터의 대용량화 네트워크의 발달 분산 파일 시스템의 등장

4. Technologies (1) • Basic Concepts • 사용자가 네트워크를 통해 원격에서 접속을 하여 파일에 접근. • 인증 서버는 1개 이상이 될 수 있음. • 사용자는 분산 파일 시스템을 하나의 디스크로 인식. • 사용자가 파일을 생성하거나 쓰게 될 경우, 분산 파일 시스템은 최적의 storage server를 찾아 저장. • 여러 storage server를 하나의 디스크처럼 관리하기 위해 manager server와 directory server, name server가 필요. • 분산 파일 시스템은 scalable 해야 함. • 시스템에 쉽게 storage server를 추가하여 서비스 제공 공간을 확장할 수 있어야 함. • 다른 사용자와 공유될 파일을 설정할 수 있어야 함.

5. Technologies (2) • Basic Attributes • Network transparency • Client는 local 파일과 동일한 operation으로 remote 파일에 접근가능. • Location transparency • 파일의 이름을 통해 파일이 존재하는 storage server를 알 수 없음. • Location independence • 파일의 위치가 변경될 때, 파일의 이름은 그대로 유지됨. • User mobility • 사용자는 네트워크의 어떤 node에서든 server에 접속할 수 있음. • Fault tolerance • 시스템의 일부 component가 failure 되더라도 시스템의 사용이 가능. • Scalability • Component를 추가함으로써 쉽게 용량 확장이 가능. • File mobility • 시스템 내 파일은 한 storage server에서 다른 storage server로 이동이 가능.

6. Technologies (3) • Requirements • Concurrent file updates • 한 client에서 파일이 변경될 경우, 다른 client에 사실을 알려야 함. • File replication • Fault-tolerance, 파일 load의 효율성. • Heterogeneity • 플랫폼에 독립적인 interface를 제공. • Fault-tolerance • Client나 server의 일부 component에서 fault가 발생하더라도 시스템이 유지. • Consistency • 파일의 일관성을 보장. • Security • Access control. • Efficiency • 기존 local 파일 시스템과의 성능 차이 최소화.

7. Technologies (4) • Basic Architecture • Server-Client 모델 • Server : 데이터를 저장할 수 있는 storage를 제공. • Client : Server에 데이터를 쓰기, 읽기, 삭제, 생성. 실제 데이터 저장공간을 제공. Storage Servers Client Server 디렉토리 구조를 관리함. 분산파일시스템의 동작을 제어. Directory Server Manager Server

8. Technologies (5) < Case : 파일 read > • 파일 요청 • Manager server에서 요청 수락 • Directory server에서 파일이 위치한 storage server 파악 • 해당 Storage server에서 파일 제공 • 파일 전송 < Client Viewer > < Server Viewer > Client Server 1 5 4 Storage Servers 3 Directory Server 2 Manager Server

9. Applications (1) • NFS (Network File System) • Introduction • Sun Microsystems, 1985. • Open Network Computing Remote Procedure Call (ONC RPC) • 현재 Version 4 (2000)까지 나옴. • Unix, Mac OS, Microsoft Windows 등에서 사용 가능. • Characteristic • Server의 디렉토리의 일부를 client에서 mount 하여 사용. • Server의 response가 느릴 경우, client에서 지속적으로 request를 재전송.

10. Client computer Server computer Application Application program program UNIX system calls UNIX kernel UNIX kernel Virtual file system Virtual file system Local Remote UNIX UNIX Other file systems NFS NFS file file client server system system NFS protocol Applications (2)

11. Applications (3) • RFS (Remote File Sharing) • Introduction • AT&T, 1980s • Unix 에서만 사용이 가능. • Characteristic • UNIX/POSIX 파일 sementic을 지원. (File locking 등) • Server의 디렉토리 뿐 아니라 device에 대한 mount도 허용. • 여러 client의 cache 일관성을 보장. • Wright-through 정책 : Client에서 파일을 write 할 경우, 해당 파일이 열려있는 다른 client에 server가 파일이 변경되었음을 알려줌.

12. Applications (4) • AFS (Andrew File System) • Introduction • Carnegie Mellon University, 1985 • 현재는 Transarc에서 지속적으로 발표. • Characteristic • 네트워크를 독립된 클러스터로 분할. • Session semantics : 파일이 열려있는 상태에서 다른 client에 의해 수정되더라도 다른 session이 열릴 때까지는 변경된 사항이 보여지지 않음. • 파일 open : client local file system에 caching. • 파일 close : 변경된 사항을 server에 알리고, server는 해당 파일을 open한 모든 client에 알림. • Volume (File, Directory) 단위로 replication, backup, 삭제, 이동이 이루어짐. • read-write volume, read-only volume

13. Workstations(clients) Servers Venus User program Vice UNIX kernel UNIX kernel Venus User Network program UNIX kernel Vice Venus User program UNIX kernel UNIX kernel Applications (5)

14. Applications (6) < AFS vs. NFS >

15. Real-world cases • POSTECH HEMOS System • Introduction • POSTECH, 1995 • AFS를 기본 파일 시스템으로 사용. • Usage (Feb. 2000) • 관리 단위 : 1 Cell (postech.ac.kr) • File server : 9대 • Disk 용량 : 457 Gbytes • File client : 약 300대 • 사용자 : 4609명

16. Advanced Information (1) • Self-* Storage (1) • Storage system이 스스로 self-configuring, self-organizing, self-tuning, self-healing, self-managing 등을 수행. • 이를 위해서 storage system은 현재 상태와 목표를 이해하고, 그에 맞게 자신을 manage 해야 함. • Current status • Access pattern • Lifetime • Size • ….., etc • Current status • Access pattern • Lifetime • Size • ….., etc time limit • Goal • Availability • Reliability • Performance • …., etc Self- * operations time Dissatisfaction Satisfaction

17. Advanced Information (2) • Self-* Storage (2) • Storage system의 가장 중요한 역할은 component failure나 accident에 의해서 저장되어 있는 데이터가 손실되지 않도록 유지하는 것. 4. Long-term archiving Network 1. User mistake & S/W problems 2. Storage component failures 3. Site failures Data Replication Where ? How many ? When ? Distributed brick storage systems

18. Advanced Information (3) Clients Router I/O request routing Workers (Storage bricks) Storage Management hierarchy Configuration, Organizing, Tuning, Managing Supervisors Data Replication Data Migration Reliability & Availability Load balancing Administrator Goal specification & complaints (Source: CMU PDL)

19. Conclusion • 분산 파일 시스템 발전 • 데이터의 대용량화와 네트워크의 발달 • 분산 파일 시스템 • 사용자는 local 파일 시스템을 사용하듯 분산 파일 시스템에서 파일을 사용할 수 있음. • 분산 파일 시스템에서 제공해야 하는 주요 기능 • Consistency • Fault-tolerance • Security • 네트워크 & 분산 파일 시스템의 발전 방향 • Self-* Storage • 파일 시스템 스스로 최적화 및 fault tolerance. • 관리자와 사용자의 역할을 최소화.