Технологии построения хранилищ данных: Oracle Data Integrator

1. Технологии построения хранилищ данных:Oracle Data Integrator Родион Константинов

2. План презентации <Insert Picture Here> • 4 Ключевых преимущества • Расширенные возможности • 6 шагов к внедрению • Сценарии использования

3. Информация там и в том виде в каком необходимо Business Intelligence Corporate Performance Management Business Process Management Business Activity Monitoring Интеграция данных Migration Data Warehousing Master Data Management Federation SOA (Messaging) Data Synchronization - - - - - - - - - - - - Данные в несогласованных источниках --- --- --- --- --- --- --- --- --- --- --- --- --- --- --- --- --- --- - - - Legacy ERP CRM Best-of-breed Applications Почему интеграция данных? НУЖНО… ИМЕЕМ…

4. Oracle Data Integrator • Трансформация и перемещение данных из множественных источников в гетерогенной среде • Скорость: Архитектура “E-LT” • Гибкость: Активная интеграция • Продуктивность: Декларативный дизайн • Расширяемость: Модули знаний Преимущества Отличительные возможности

5. «Обычная» ETL Архитектура Transform Extract Load Архитектура нового поколения “E-LT” Transform Transform Extract Load E-LT архитектураВысокая производительность • Специализированный ETL сервер • Черный ящик • Слабая производительность • Высокая цена • Преобразования внутри СУБД • Использование современных возможностей • Эффективность • Высокая производительность • Преимущества • Оптимальная производительностьи масштабируемость • Легкость управленияинизкая цена

6. Service Interfaces and Developer APIs Design-Time Runtime User Interfaces Data Flow Generator Knowledge Module Interpreter Data Flow Generator Runtime Session Interpreter Agent Data Flow Conductor Designer Operator Thin Client Knowledge Modules Data Flow Metadata Management Master Repository Work Repositories Runtime Repositories Архитектура: Концепция • Java design-time environment • Работает на любых платформах • Тонкий клиент для просмотра метаданных • Java runtime environment • Работает на любых платформах • Управляет выполнением потока задач • Metadata repository • Ставится на любую БД • Модульность и расширяемость

7. Development ODI Design-Time Environment Development Servers and Applications User Interfaces Data Warehouse Design-time Repositories Topology/Security CRM Code Execution Administrators Agent Data Flow Conductor Legacy Execution Log Return Codes Metadata/Rules ERP Designers Files / XML ESB Scenarios and Projects Releases Production ODI Runtime Environment Production Servers and Applications User Interfaces Runtime Repository Topology/Security Administrators Code Execution Data Warehouse Agent Data Flow Conductor CRM Execution Log Execution Log Return Codes Operators Legacy ERP Thin Client Files / XML Metadata Navigator Metadata Lineage ESB Data Stewarts Архитектура: Компоненты

8. Oracle Data Integrator Event Conductor Service Conductor Event-oriented Integration Service-oriented Integration Declarative Design Metadata Data-oriented Integration Data Conductor Активная интеграцияCобытийная и сервис-ориентированная интеграция • Переход от пакетной загрузки к хранилищам реального времени • Единообразие инструмента • Интеграция на лету Преимущества • Позволяет построить хранилища реального времени и хабы • Можно использовать в SOA

9. Используется опыт лучших наработок Легко администрировать Модули знаний (Knowledge Modules)Модульность, гибкость, расширяемость Reverse Engineer Metadata Journalize Read from CDC Source Load From Sources to Staging Check Constraints before Load Integrate Transform and Move to Targets Service Expose Data and Transformation Services Reverse WS WS WS Staging Tables Load Integrate Services CDC Check Journalize Target Tables Sources Error Tables Готовыемодули знаний Log Miner SQL Server Triggers Oracle DBLink JMS Queues Check MS Excel TPump/ Multiload Oracle Merge SAP/R3 Oracle Web Services Siebel DB2 Journals DB2 Exp/Imp Oracle SQL*Loader Check Sybase Type II SCD Siebel EIM Schema DB2 Web Services Преимущества

10. Готовые Knowledge Modules • Netezza Performance Server 2.2.1 • Hyperion Essbase • PostgresSQL 8.1 • MySQL 4.0 • MySQL 5.0 • Oracle BI Suite 10g • Oracle BAM 10g • Oracle Internet Directory 9i • OpenLDAP 2.3 • Siebel CRM 7.8 • JD Edwards • PeopleSoft • SAP R/3 • Oracle EBusiness Suite • Oracle AQ 10g • Oracle SOA Suite • Oracle ESB 10g • SalesForce.com App Exchange • Any JMS Standard Implementation • Generic SQL DB • Oracle DB 9i • Oracle DB 10g • Oracle DB 10g XE • IBM DB2/400 • IBM DB2/UDB • IBM Informix SE • IBM LDAP Server • MS SQL Server 2000 • MS SQL Server 2005 • MS SQL Server 2005 SE • MS Office Access 2000 • MS Office Excel 2000 • MS Active Directory • Sybase ASA 8.x & 9.x • Sybase IQ 12.x • Sonic MQ v7.0 • Teradata V2R5.x • Teradata V2R6.x Out-of-Box Knowledge Modules

11. Традиционный ETL дизайн ODI Declarative Design 1 2 Define What You Want Automatically Generate Dataflow DefineHow: Built-in Templates Declarative DesignПродуктивность разработчиков • Традиционный подход • Разработчик должен определить каждый шаг сложного ETL процесса • Требуются специальные ETL навыки • Существенные усилия по разработке и поддержке • Declarative Set-based Design • Уменьшается число шагов • Автоматическая генерация процедур • Преимущества • Существенное ускорение обучения • Уменьшение сроков внедрения • Облегчение понимания для не-ИТперсонала

12. Oracle Data IntegratorРасширенные возможности

13. Расширенные возможности • Master Data Management enabled • Создание унифицированных форматов • Автоматическое создание канонического формата и трансформаций • Встроеннаяпроверка целостности данных • Real-time enabled • Захват изменений • Message Oriented Integration (JMS) • SOA enabled • Службы доступа к данным • Службы трансформации • Extensibility • Knowledge Modules Framework • Языки сценариев • Open Tools

14. Master Data MDM: Canonical Format Design • Разработка и наполнениеКанонического формата • Использование имеющихся объектов для построения MDM приложений (entities, fields, relationships) • Создание и поддержка структур эталонных данных Enterprise Service Bus CRM SCM Legacy ERP

15. MDM: Встроеннаяпроверка целостности данных • Определениеограничений (constraints)на уровне таблиц • Дизайнсценариев и проверка целостности • Просмотр, очистка или повторная обработка отброшенных записей

16. Real-time enabled: Changed Data Capture • Публикация и подписка CDC Framework • Database logs • Triggers • Third-tier solutions • Поддержка целостности транзакций затрагивающих несколько таблиц • Создайте или сгенерируйте сценарий • Выбирите Journalized Data Only • ЗапуститеЖурналирование CDC

17. Subscribe JMS Provider (MOM, ESB) Publish Real-time enabled: Интеграция основанная на сообщениях • Подключитесь к провайдерупубликации сообщений и подписки на них(JMS) • Проверьте, что целостность сообщений не нарушается • Сложные трансформации • Разрабатывайте сложные сценарии используя очереди, БД и приложения • Используйте JMS Queues как источники и приемники CDC

18. SOA Enabled: Data Access Services SOA Infrastructure Business Processes Services Data Access • Создавайте и публикуйте службы доступа к данным • Создайте службу доступа к данным • Протестируйте службу • Задействуйте службу доступа к данным в вашей SOA инфраструктуре Transform ESB Business

19. Bulk Transf. SOA Enabled: Data Flow Services SOA Infrastructure Business Processes Services • Представьте сценарии как Web Services • Манипулируйтесценариями • Публикуйте сценарии как web-сервисы в вашей SOA инфраструктуре Data Access Transform ESB Business

20. 120+ KMs out-of-the-box Доступ к best practices Упрощение администрирования Уменьшение стоимости владения Переопределение и расширение KM’s Meta Code Executed Code Metadata Pluggable Knowledge Modules Architecture Reverse Engineer Metadata Journalize Read from CDC Source Load From Sources to Staging Check Constraints before Load Integrate Transform and Move to Targets Service Expose Data and Transformation Services Reverse WS WS WS Staging Tables Load Integrate Services CDC Check Journalize Target Tables Sources Error Tables Knowledge Modules KM Interpreter

21. Scripting Framework • Используйте языки сценариев • Применяйтеязыки встроенные в базы данных • SQL, PL/SQL, Transact SQL, etc. • Используйте OS shell скрипты • Win32 DOS, sh, ksh, csh, OS400 commands, JCL, etc. • Используйте языки совместимые с Bean Scripting Framework Java, JavaScript, Jython (Java Python), Perl, etc.

22. Open Tool • Расширяйте ODI • Добавляйте свои инструменты в палитру • ОпределитеOdiOpenToolAbstract Java интерфейс • Зарегистрируйте Open Tool в Designer • Используйте Open Tool в среде разработки

23. Oracle Data Integrator6 шагов к внедрению

24. Получите/Создайтеметаданные Разработайте трансформации Настройте сценарии выполнения Сгенерируйте сценарии Мониторинг выполнения Анализируйте влияние Files / XML Files / XML ESB ESB User Interfaces User Interfaces Runtime Repository Design-time Repositories Administrators Design-time Repositories Designers 6 шагов к внедрению Development Production Development Servers and Applications Production Servers and Applications Data Warehouse Data Warehouse CRM CRM Legacy Legacy ERP ERP ODI Design-Time Environment ODI Runtime Environment Agent Data Flow Conductor Agent Data Flow Conductor Operator Metadata Navigator

25. ESB 1 Получите/Создайтеметаданные Development Servers and Applications Design-Time Environment ODI Designer ERP Data Warehouse • Reverse-engineer • Автоматическая • Настраиваемая • 40+ технологий • Созданиеметаданных • Документирование • Правила дляцелостности данных Design-time Repositories CRM Files / XML Legacy

26. 3 Автоматически сгенерируйте трансформацию 2 ОпределитеКакделать: Выберите шаблон 2 Разработайте трансформации 1 Определите ЧтоВыхотите Oracle Data Integrator “Interface” Declarative Design Bulk Load • Changed Data Capture • Incremental Update • Slowly Changing Dimension

27. 3 Настройте сценарии выполнения • Последовательность трансформаций • ODI инструменты • Data Quality Processes • Files/Archives Management • Send/Receive Emails • Web Services Invokation • Event Detection • Создайте собственные инструменты • Используйте • Цыклы • Условия • Обработку ошибок

28. Design-time Repositories Scenarios and Projects Releases Runtime Repository 4 Сгенерируйте сценарии • Скомпилируйте сценарии для выполнения • Используйте управление версиями • Advanced Version Management • Перенесите в Production

29. 5 Мониторинг выполнения • Просмотр выполнения сессий в ральном времени • Просмотр кода • Детальная статистика • Перезапуск сбойных сессий

30. 6 Анализируйте влияния/зависимости ? • Поддержка большого числа сценариев в сложных проектах • Основанный на Web инструмент просмотра • Отследите ваши потоки данных • Следуйте по пути данных • Drill-down к трансформациям

31. Сценарии использования

32. Инкрементальное обновление Загрузка Преобразование Захват изменений Агрегация Экспорт ---- ---- Оперативные системы Аналитика ---- ---- Cube Data Warehouse Cube Cube Метаданные E-LT для хранилищ данных • Гетерогенные источники и цели • Инкрементальная загрузка • Медленно меняющиеся размерности • Целостность данных • Захват изменений (CDC) • Анализ влияния

33. Разработка Канонического формата Очисткаи согласование Захват изменений Загрузка основных данных Публикация эталонных данных ---- ---- ---- ---- ---- ---- ---- ---- CDC CDC Эталонные данные CDC Метаданные Master Data Management(Управление основными данными) • Используется как инфраструктура для создания собственного хаба • Описания потоков данных • Захват изменений (CDC) • Очистка и согласование данных • Публикация эталонных данных • Расширение метаданных

34. Преобразование в новый формат Начальная загрузка CDC для синхронизации Двусторонний захват изменений ---- ---- Старое приложение Новое приложение ---- ---- CDC CDC Метаданные Миграция • Массовая перегрузка данных в новое приложение • Преобразование форматов • Синхронизация старого и нового приложения в период совместного использования • Двусторонний захват изменений (CDC)

35. Создание сервисов Публикация сервисов Развертывание и использование сервисов ---- ---- Оперативные системы ---- ---- Services Business Processes Data Access Transformation Others Метаданные Использование в SOA • Вызов внешних сервисов для интеграции • Создание сервисов • Публикация сервисов

36. Oracle Data Integrator: Roadmap • Focus Areas for Next Major Release • Deep Integration with Fusion Middleware • Runtime, Design time, Security, Administration, Events • Functional Integration with Oracle Warehouse Builder • Runtime Integration, Metadata Sharing, Knowledge Module Sharing • Deployment of ODI for Embedded Data Integration • OracleBI Enterprise Edition, Data Hubs, Application Migrations • Enhanced Usability and Debuggability • Wizards, New Views, User-definable Debugging • Improved Support for Native Oracle Database Features • Oracle OLAP

37. Заказчики

38. Q & A