1 / 25

TANDEM-X: Zwei gegen den SAM-FS-Cache

TANDEM-X: Zwei gegen den SAM-FS-Cache. Stephan Schropp DLR Oberpfaffenhofen. Video TDM-X. Systemübersicht. SAM-FS Cache. Archiv Server. CoSSC. Prozessor. 4 x 8 Gb /s SAN. 8 x 4 Gb /s SAN. DEM. Prozessor. 10Gb/s Transfer Netz. Tape Library.

bat
Download Presentation

TANDEM-X: Zwei gegen den SAM-FS-Cache

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. TANDEM-X: Zwei gegen den SAM-FS-Cache Stephan Schropp DLR Oberpfaffenhofen

  2. > Stephan Schropp Video TDM-X

  3. > Stephan Schropp Systemübersicht SAM-FS Cache Archiv Server CoSSC Prozessor 4 x 8 Gb/s SAN 8 x 4 Gb/s SAN DEM Prozessor 10Gb/s Transfer Netz Tape Library

  4. > Stephan Schropp Ursprünglichen Konfiguration der 6780 • Beschafft im Jahr 2009 • ~ 50 TB auf 15K FC • ~ 36 TB auf 7,2K SATA • Je Tray: raid6 256KB 16 Disks

  5. > Stephan Schropp Datenfluß Phase 1 SAM-FS Cache Archiv Server Cossc + RawDem ~1,5TB/d ≈ 20MB/s CoSSC Prozessor CoSSC ~1TB/d ≈ 12MB/s DEM Prozessor 10Gb/s Transfer Netz

  6. > Stephan Schropp Datenfluß Phase 1 SAM-FS Cache Archiv Server Cossc ~1TB/d ≈ 12MB/s CoSSC Prozessor CoSSC ~1TB/d ≈ 12MB/s Bandkopie 1+2 ~2TB/d ≈ 24MB/s Bandkopie ~1TB/d ≈ 12MB/s DEM Prozessor Summen Datenrate für CoSSC LUN ~3TB/d ≈ 36MB/s 10Gb/s Transfer Netz

  7. > Stephan Schropp Datenfluß Phase 1 SAM-FS Cache Archiv Server Cossc ~1TB/d ≈ 36MB/s CoSSC Prozessor CoSSC 36MB/s Bandkopie 1+2 46MB/s DEM Prozessor Summen Datenrate für CoSSC Lun ~82MB/s 10Gb/s Transfer Netz

  8. > Stephan Schropp Datenfluß Phase 1 SAM-FS Cache Archiv Server Cossc ~2 - 4TB/d CoSSC Prozessor Cossc 50 - 140MB/s Bandkopie 1+2 33 - 96MB/s DEM Prozessor Summen Datenrate für CoSSC Lun bis zu 236MB/s 10Gb/s Transfer Netz

  9. > Stephan Schropp Datenfluß Phase 2 Aufnahme-Kachel aus Phase1 Aufnahme-Kachel aus Phase2

  10. > Stephan Schropp Datenfluß Phase 2 SAM-FS Cache Archiv Server Cossc ~1TB/d ≈ 36MB/s CoSSC Prozessor CoSSC + oldCossCs 126 MB/s Old Cosscs ~2,5TB/d ≈ 90MB/s Bandkopie 1+2 46MB/s Staging 90MB/s DEM Prozessor Summen Datenrate für CoSSC Lun ~262MB/s 10Gb/s Transfer Netz

  11. > Stephan Schropp Verbesserungsmöglichkeiten • Kleinere LUNs:LSI empfiehlt 4 + 1, 4 + 2, 8 + 1 oder 8 + 2diese sind schneller, da von der HW besser unterstützt.Praktische Tests zeigten, dass selbst ein 4 + 1 Raid5 die gleichePerformance ( ~ 200 MB/s ) erreichen kann, wie die bestehenden14 + 2 Raids.Durch Striping über diese kleineren LUNs steigt dann die Gesamtperformance.

  12. > Stephan Schropp Verbesserungsmöglichkeiten • Kleinere LUNs • Streifen zur Verteilung über alle Backend-Channels

  13. > Stephan Schropp Verbesserungsmöglichkeiten • Kleinere LUNs • Streifen zur Verteilung über alle Backend-Channels • Streifen an den zugehörigen Controller binden→ weniger Verkehr über Controller Backplane

  14. > Stephan Schropp Verbesserungsmöglichkeiten • Kleinere LUNs • Streifen zur Verteilung über alle Backend-Channels • Streifen an den zugehörigen Controller binden • Angepasste DAU Sizes → FullStripeWrites

  15. > Stephan Schropp Verbesserungsmöglichkeiten • Unangepasste DAU Sizes Alte Raid6 (14 + 2) Konfiguration mit std.SAM-FS DAU 64k IO Statistics: Small Small Large Large Cache Reads Writes Reads Writes Total Hits Requests 38978 376296 0 0 415274 19587 Blocks 1234178 5953759 0 0 7187937 454437 Avg Blocks 31 15 0 0 17 23 IO Pct 9.38% 90.61% 0.00% 0.00% 100.00% 4.71% IOs Stripes /IO Clusters /IO Reads 38978 39387 1.01 41151 1.05 Writes 376296 377675 1.00 381908 1.01 Write Full Partial RMWNoParity RMW2 FSWT Algorithms2683 8172 65904 0 0 0

  16. > Stephan Schropp Verbesserungsmöglichkeiten • Angepasste DAU Sizes → FullStripeWritesneues Raid5 ( 5 + 1 ) mit 128 KB Segment Size und QFS DAU 640K IO Statistics: Small Small Large Large Cache Reads Writes Reads Writes Total Hits Requests 257059 5293719 0 0 5550778 2245 Blocks 714391397 4359131651 0 0 5073523048 1691767 Avg Blocks 2779 823 0 0 914 753 IO Pct 4.63% 95.36% 0.00% 0.00% 100.00% 0.04% IOs Stripes /IO Clusters /IO Reads 257059 813420 3.16 3046417 11.85 Writes 5293719 8694700 1.64 22317642 4.21 Write FullPartial RMWNoParity RMW2 FSWT Algorithms3406728 2073 7100 0 0 0

  17. > Stephan Schropp Aktuelle Konfiguration Jeder Streifenist ein Raid5 mit jeweils • 5 + 1 FC Platten • einer Segment Size von 128KB • einer Kapazität von ~2TB • einem maximal Durchsatz von ~ 220MB/s → CoSSC Filesystem (grün): hat eine Kapazität von ~16TB kann max 1,6 GB/s durchsetzten → RawDEM Filesystem (hellblau): hat eine Kapazität von ~8TB kann max0,8 GB/s durchsetzten

  18. > Stephan Schropp Resultate 195MB/s + 64MB/s = 259 MB/s Auslastung und Durchsatz alte CoSSC LUN (14+2)

  19. > Stephan Schropp Resultate 27MB/s + 18MB/s = 45 MB/s Auslastung und Durchsatz eines neuen CoSSC LUNs (5+1)

  20. > Stephan Schropp Resultate ( 27MB/s + 18MB/s ) * 8 = 360 MB/s Auslastung und Durchsatz eines neuen CoSSC LUNs (5+1)

  21. > Stephan Schropp Weg zur aktuellen Konfiguration

  22. > Stephan Schropp Weg zur aktuellen Konfiguration

  23. > Stephan Schropp Weg zur aktuellen Konfiguration

  24. > Stephan Schropp Resultate • Das StorageTek 6780 kann mit den beschriebenen Maßnahmen mindestens 2,6 GB/s durchsetzten(gemessen über 500GB Daten mit 2 Servern) • Die Geschwindgkeit ist nun ausreichend hoch für das TANDEM-X Projekt • Die Maßnamen mit dem höchsten Leistungssteigerungen waren: • viele kleine LUNs • angepasste DAUs

  25. > Stephan Schropp Danke, Ihr Stephan Schropp TANDEM-X: Zwei zusammen mit dem SAM-FS-Cache

More Related