ISILON : Флагманская платформа для больших данных от EMC

1. ISILON : Флагманская платформа для больших данных от EMC Евгений Пухов EMC Россия и СНГ

2. ЕМС – полный спектр решений Data Analytics Enterprise Applications Big Data Applications High End Enterprise SecurityMgmt Federation Scale-Out Distributed Mid Range SMB Primary Storage Backup Backup Archive

3. ЕМС – полный спектр решений Enterprise Applications Big Data Applications Greenplum Ionix VPLEX VMware VMware VMAX VNX Atmos Isilon Backup And Archive Data Domain, Avamar, Networker Primary Storage

4. Отрасли, где исторически распространен EMC Isilon Здравоохранение Моделированиеи HPC Сейсмические исследования Медиа П CAD, производство Internet/ Video-on-Demand Видеонаблюдение

5. Большие данные в традиционных ИТ задачах Откуда их так много ?? • Виртуализация • Домашние каталоги пользователей • Неструктурированные данные 80% данных представлено файловым доступом Source: IDC

7. Архитектура Isilon Операционная среда isilon 1 Узлы isilon 2 Минимум 3 узла внутренняя шина Infiniband Отказоустойчивое подключение 3

8. Сравнение с типичной архитектурой Isilon 95% конкурирующих файловых систем EMPTY BALANCED 60 sec Upgrade EMPTY FULL BALANCED EMPTY FULL BALANCED EMPTY FULL BALANCED Many Systems or 2-way clusters Many File Systems and Volumes Many Points of Management EMPTY FULL BALANCED Directories and files striped across nodes in a single volume Balanced Utilization & Performance Uneven Utilization / Data Migration

9. Аппаратная архитектура Isilon Scale Linearly! Scale Connectivity Scale Performance Isilon meter 3 узла Каждый узел добавляет: • емкость • производительность • Сетевые интерфейсы 144 узла

10. Ключевое преимущество : единая операционная среда OneFS • Единая файловая система размером до 20 ПБ ! • Производительность до 100 ГБайт/с ! • >80% утилизация сырого пространства • Полностью симметричный кластер без «главных узлов» • Единый и простой интерфейс управления • Прозрачное многоуровневое хранение • Функционал по защите данных. Репликация

11. Запись на Isilon Servers NFS, CIFS, FTP, HTTP, ISCSI Servers (optional 2nd switch) (optional 2nd switch) (optional 2nd switch) Servers

12. Запись на Isilon (optional 2nd switch)

13. Запись на Isilon Чтение с Isilon Servers NFS, CIFS, FTP, HTTP, ISCSI Servers (optional 2nd switch) (optional 2nd switch) (optional 2nd switch) Servers

14. Масштабируемость Isilon производительность Емкость

15. Уровень защиты данных привязан к файлам и каталогам Сохранение производительности при отказах Защита до N+4 Быстрое восстановление 100% 100% 100% 100% 100% 100% 100% 100% FAILED FAILED Защита данных N+1 N+2 N+3 N+4

16. Типы узлов Isilon S-Series Линейная масштабируемость по производительности и емкости X-Series NL-Series Высокая производительность Универсальность и гибкость Большая емкость производителеьность емкость

17. Многоуровневое управление данными Archive MB/s I/Ops TechnicalInnovation • Single Point of Management • Single File System • Single Volume • Tiers of Performance • Automatic Data Movement • Policy-Based Movement • Transparent Reallocation • NO application-changes • File-Level Granularity • Performance/Layout • Protection Settings DATASET Infiniband Core Network DATASET DATASET DATASET “With Isilon’sSmartPools, we’ll be able to eliminate tedious, manual data migration tasks and better utilize our existing storage -The cost-savings potential is significant.” ─ Nick Bali, Senior Engineer Sony Pictures Imageworks

18. Гибкость конфигураций • Рост файловых данных часто непредсказуем • Архитектура Isilon готова к переменному профилю нагрузки П Р О И З В О Д И Т Е Л Ь Н О С Т ь Появилась архивная задача Требуется увеличить производительность Емкость

19. Использование SSD • Гибкость • Данные и/или метаданные • Идеальны для метаданных • Преимущественно чтения • Важна задержка • > 50% операций при файловомдоступе – это работа с метаданными • Небольшая емкость (1-2%), большой прирост производительности • Одна копия на SSD • Требуется меньше места • GNA • Использование SSD для метаданных всегокластера SSD SSD SATA SATA SSD SATA SATA

20. Жизненный цикл Isilon • Быстрое расширение • Отсутствие простоя при расширении • Полностью автоматические процессы перераспределения данных • Отсутствие необходимости миграции данных • Сосуществование различных поколений в рамках одной системы • Вывод устаревших узлов из эксплуатации Без миграции данных

21. SmartConnect Балансировка DNS Server 3 4 1. \\cluster\ifs 2 5 SmartConnect Service IP 10.1.1.200 Node 1 10.1.1.10 Client Node 2 10.1.1.11 6 Node 3 10.1.1.12

22. Резервное копирование Isilon Для Больших Данных репликация лучше бэкапа !! • Для инсталляций > 100TB • Для инсталляций <100TB • Поддержка NDMP • Идеально для любых задач

23. SyncIQ Функционал асинхронной репликации • Enterprise-wide: Возможны конфигурации один-ко-многим • Flexible: Гибкие политики на уровне файлов • Intelligent: Высокая производительность в несколько потоков Additional cluster LAN/ WAN connection Additional cluster Additional cluster Primary source cluster

24. InsightIQ Детальный исторический анализ использования файловой системы ( от минут до годов ) • Статистика производительности • Использование ФС: • 1000самых больших/старых/новых файлов • Распределение емкости по каталогам • Распределение файловпо размеру • и многое другое • Фильтры по протоколам,узлам, пользователями т.д.

25. Другой функционал

26. Storage as a service

27. Аудит файловой системы Доступность Q4 2013

28. Дедупликация Доступность Q1 2014

29. Ключевое преимущество : единая операционная среда OneFS • Единая файловая система размером до 20 ПБ ! • Производительность до 100 ГБайт/с ! • >80% утилизация сырого пространства • Полностью симметричный кластер без «главных узлов» • Единый и простой интерфейс управления • Прозрачное многоуровневое хранение • Функционал по защите данных. Репликация

30. Вопросы и комментарии ? Евгений Пухов Ведущий специалист по файловым системам хранения , EMC Россия и СНГ