oracle data integrator
Download
Skip this Video
Download Presentation
Технологии построения хранилищ данных: Oracle Data Integrator

Loading in 2 Seconds...

play fullscreen
1 / 40

Технологии построения хранилищ данных: Oracle Data Integrator - PowerPoint PPT Presentation


  • 223 Views
  • Uploaded on

Технологии построения хранилищ данных: Oracle Data Integrator. Родион Константинов. План презентации. <Insert Picture Here>. 4 Ключевых преимущества Расширенные возможности 6 шагов к внедрению Сценарии использования. Информация там и в том виде в каком необходимо. Business Intelligence.

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about 'Технологии построения хранилищ данных: Oracle Data Integrator' - ikia


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide2
План презентации

  • 4 Ключевых преимущества
  • Расширенные возможности
  • 6 шагов к внедрению
  • Сценарии использования
slide3
Информация там и в том виде в каком необходимо

Business Intelligence

Corporate Performance Management

Business Process Management

Business Activity Monitoring

Интеграция данных

Migration

Data Warehousing

Master Data Management

Federation

SOA (Messaging)

Data Synchronization

- - -

- - -

- - -

- - -

Данные в несогласованных источниках

---

---

---

---

---

---

---

---

---

---

---

---

---

---

---

---

---

---

- - -

Legacy

ERP

CRM

Best-of-breed Applications

Почему интеграция данных?

НУЖНО…

ИМЕЕМ…

oracle data integrator1
Oracle Data Integrator
  • Трансформация и перемещение данных из множественных источников в гетерогенной среде
  • Скорость: Архитектура “E-LT”
  • Гибкость: Активная интеграция
  • Продуктивность: Декларативный дизайн
  • Расширяемость: Модули знаний

Преимущества

Отличительные возможности

slide5
«Обычная» ETL Архитектура

Transform

Extract

Load

Архитектура нового поколения

“E-LT”

Transform

Transform

Extract

Load

E-LT архитектураВысокая производительность
  • Специализированный ETL сервер
  • Черный ящик
  • Слабая производительность
  • Высокая цена
  • Преобразования внутри СУБД
  • Использование современных возможностей
  • Эффективность
  • Высокая производительность
  • Преимущества
  • Оптимальная производительностьи масштабируемость
  • Легкость управленияинизкая цена
slide6
Service Interfaces and Developer APIs

Design-Time

Runtime

User

Interfaces

Data Flow Generator

Knowledge Module Interpreter

Data Flow Generator

Runtime Session Interpreter

Agent

Data Flow Conductor

Designer

Operator

Thin Client

Knowledge Modules

Data Flow

Metadata Management

Master

Repository

Work

Repositories

Runtime

Repositories

Архитектура: Концепция
  • Java design-time environment
    • Работает на любых платформах
    • Тонкий клиент для просмотра метаданных
  • Java runtime environment
    • Работает на любых платформах
    • Управляет выполнением потока задач
  • Metadata repository
    • Ставится на любую БД
    • Модульность и расширяемость
slide7
Development

ODI Design-Time Environment

Development Servers and Applications

User Interfaces

Data Warehouse

Design-time Repositories

Topology/Security

CRM

Code

Execution

Administrators

Agent

Data Flow Conductor

Legacy

Execution Log

Return Codes

Metadata/Rules

ERP

Designers

Files / XML

ESB

Scenarios

and Projects

Releases

Production

ODI Runtime Environment

Production Servers and Applications

User Interfaces

Runtime Repository

Topology/Security

Administrators

Code

Execution

Data Warehouse

Agent

Data Flow Conductor

CRM

Execution Log

Execution Log

Return Codes

Operators

Legacy

ERP

Thin Client

Files / XML

Metadata Navigator

Metadata Lineage

ESB

Data Stewarts

Архитектура: Компоненты
slide8
Oracle Data Integrator

Event Conductor

Service Conductor

Event-oriented

Integration

Service-oriented

Integration

Declarative Design

Metadata

Data-oriented Integration

Data Conductor

Активная интеграцияCобытийная и сервис-ориентированная интеграция
  • Переход от пакетной загрузки к хранилищам реального времени
  • Единообразие инструмента
  • Интеграция на лету

Преимущества

  • Позволяет построить хранилища реального времени и хабы
  • Можно использовать в SOA
knowledge modules
Используется опыт лучших наработок

Легко администрировать

Модули знаний (Knowledge Modules)Модульность, гибкость, расширяемость

Reverse

Engineer Metadata

Journalize

Read from CDC Source

Load

From Sources to Staging

Check

Constraints before Load

Integrate

Transform and Move to Targets

Service

Expose Data and Transformation Services

Reverse

WS

WS

WS

Staging Tables

Load

Integrate

Services

CDC

Check

Journalize

Target Tables

Sources

Error Tables

Готовыемодули знаний

Log Miner

SQL Server Triggers

Oracle DBLink

JMS Queues

Check MS Excel

TPump/ Multiload

Oracle Merge

SAP/R3

Oracle Web Services

Siebel

DB2 Journals

DB2 Exp/Imp

Oracle SQL*Loader

Check Sybase

Type II SCD

Siebel EIM Schema

DB2 Web Services

Преимущества

knowledge modules1
Готовые Knowledge Modules
  • Netezza Performance Server 2.2.1
  • Hyperion Essbase
  • PostgresSQL 8.1
  • MySQL 4.0
  • MySQL 5.0
  • Oracle BI Suite 10g
  • Oracle BAM 10g
  • Oracle Internet Directory 9i
  • OpenLDAP 2.3
  • Siebel CRM 7.8
  • JD Edwards
  • PeopleSoft
  • SAP R/3
  • Oracle EBusiness Suite
  • Oracle AQ 10g
  • Oracle SOA Suite
  • Oracle ESB 10g
  • SalesForce.com App Exchange
  • Any JMS Standard Implementation
  • Generic SQL DB
  • Oracle DB 9i
  • Oracle DB 10g
  • Oracle DB 10g XE
  • IBM DB2/400
  • IBM DB2/UDB
  • IBM Informix SE
  • IBM LDAP Server
  • MS SQL Server 2000
  • MS SQL Server 2005
  • MS SQL Server 2005 SE
  • MS Office Access 2000
  • MS Office Excel 2000
  • MS Active Directory
  • Sybase ASA 8.x & 9.x
  • Sybase IQ 12.x
  • Sonic MQ v7.0
  • Teradata V2R5.x
  • Teradata V2R6.x

Out-of-Box

Knowledge

Modules

declarative design
Традиционный ETL дизайн

ODI Declarative Design

1

2

Define

What

You Want

Automatically Generate

Dataflow

DefineHow: Built-in Templates

Declarative DesignПродуктивность разработчиков
  • Традиционный подход
  • Разработчик должен определить каждый шаг сложного ETL процесса
  • Требуются специальные ETL навыки
  • Существенные усилия по разработке и поддержке
  • Declarative Set-based Design
  • Уменьшается число шагов
  • Автоматическая генерация процедур
  • Преимущества
  • Существенное ускорение обучения
  • Уменьшение сроков внедрения
  • Облегчение понимания для не-ИТперсонала
slide13
Расширенные возможности
  • Master Data Management enabled
    • Создание унифицированных форматов
    • Автоматическое создание канонического формата и трансформаций
    • Встроеннаяпроверка целостности данных
  • Real-time enabled
    • Захват изменений
    • Message Oriented Integration (JMS)
  • SOA enabled
    • Службы доступа к данным
    • Службы трансформации
  • Extensibility
    • Knowledge Modules Framework
    • Языки сценариев
    • Open Tools
mdm canonical format design
Master DataMDM: Canonical Format Design
  • Разработка и наполнениеКанонического формата
    • Использование имеющихся объектов для построения MDM приложений (entities, fields, relationships)
    • Создание и поддержка структур эталонных данных

Enterprise Service Bus

CRM

SCM

Legacy

ERP

slide15
MDM: Встроеннаяпроверка целостности данных
  • Определениеограничений (constraints)на уровне таблиц
  • Дизайнсценариев и проверка целостности
  • Просмотр, очистка или повторная обработка отброшенных записей
real time enabled changed data capture
Real-time enabled: Changed Data Capture
  • Публикация и подписка CDC Framework
    • Database logs
    • Triggers
    • Third-tier solutions
  • Поддержка целостности транзакций затрагивающих несколько таблиц
  • Создайте или сгенерируйте сценарий
  • Выбирите Journalized Data Only
  • ЗапуститеЖурналирование

CDC

real time enabled
Subscribe

JMS Provider

(MOM, ESB)

Publish

Real-time enabled: Интеграция основанная на сообщениях
  • Подключитесь к провайдерупубликации сообщений и подписки на них(JMS)
  • Проверьте, что целостность сообщений не нарушается
  • Сложные трансформации
    • Разрабатывайте сложные сценарии используя очереди, БД и приложения
    • Используйте JMS Queues как источники и приемники

CDC

soa enabled data access services
SOA Enabled: Data Access Services

SOA Infrastructure

Business Processes

Services

Data Access

  • Создавайте и публикуйте службы доступа к данным
    • Создайте службу доступа к данным
    • Протестируйте службу
    • Задействуйте службу доступа к данным в вашей SOA инфраструктуре

Transform

ESB

Business

soa enabled data flow services
Bulk Transf.SOA Enabled: Data Flow Services

SOA Infrastructure

Business Processes

Services

  • Представьте сценарии как Web Services
    • Манипулируйтесценариями
    • Публикуйте сценарии как web-сервисы в вашей SOA инфраструктуре

Data Access

Transform

ESB

Business

knowledge modules2
120+ KMs out-of-the-box

Доступ к best practices

Упрощение администрирования

Уменьшение стоимости владения

Переопределение и расширение

KM’s Meta Code

Executed Code

Metadata

Pluggable Knowledge Modules Architecture

Reverse

Engineer Metadata

Journalize

Read from CDC Source

Load

From Sources to Staging

Check

Constraints before Load

Integrate

Transform and Move to Targets

Service

Expose Data and Transformation Services

Reverse

WS

WS

WS

Staging Tables

Load

Integrate

Services

CDC

Check

Journalize

Target Tables

Sources

Error Tables

Knowledge Modules

KM

Interpreter

scripting framework
Scripting Framework
  • Используйте языки сценариев
  • Применяйтеязыки встроенные в базы данных
    • SQL, PL/SQL, Transact SQL, etc.
  • Используйте OS shell скрипты
    • Win32 DOS, sh, ksh, csh, OS400 commands, JCL, etc.
  • Используйте языки совместимые с Bean Scripting Framework Java, JavaScript, Jython (Java Python), Perl, etc.
open tool
Open Tool
  • Расширяйте ODI
  • Добавляйте свои инструменты в палитру
    • ОпределитеOdiOpenToolAbstract Java интерфейс
    • Зарегистрируйте Open Tool в Designer
    • Используйте Open Tool в среде разработки
slide24
Получите/Создайтеметаданные

Разработайте трансформации

Настройте сценарии выполнения

Сгенерируйте сценарии

Мониторинг выполнения

Анализируйте влияние

Files / XML

Files / XML

ESB

ESB

User Interfaces

User Interfaces

Runtime Repository

Design-time Repositories

Administrators

Design-time Repositories

Designers

6 шагов к внедрению

Development

Production

Development Servers and Applications

Production Servers and Applications

Data Warehouse

Data Warehouse

CRM

CRM

Legacy

Legacy

ERP

ERP

ODI Design-Time Environment

ODI Runtime Environment

Agent

Data Flow Conductor

Agent

Data Flow Conductor

Operator

Metadata Navigator

slide25
ESB

1

Получите/Создайтеметаданные

Development Servers and Applications

Design-Time Environment

ODI Designer

ERP

Data Warehouse

  • Reverse-engineer
    • Автоматическая
    • Настраиваемая
    • 40+ технологий
  • Созданиеметаданных
    • Документирование
    • Правила дляцелостности данных

Design-time Repositories

CRM

Files / XML

Legacy

slide26
3

Автоматически сгенерируйте трансформацию

2

ОпределитеКакделать: Выберите шаблон

2

Разработайте трансформации

1

Определите ЧтоВыхотите

Oracle Data Integrator “Interface”

Declarative Design

Bulk Load • Changed Data Capture • Incremental Update • Slowly Changing Dimension

slide27
3Настройте сценарии выполнения
  • Последовательность трансформаций
  • ODI инструменты
    • Data Quality Processes
    • Files/Archives Management
    • Send/Receive Emails
    • Web Services Invokation
    • Event Detection
    • Создайте собственные инструменты
  • Используйте
    • Цыклы
    • Условия
    • Обработку ошибок
slide28
Design-time Repositories

Scenarios

and Projects

Releases

Runtime Repository

4

Сгенерируйте сценарии
  • Скомпилируйте сценарии для выполнения
  • Используйте управление версиями
    • Advanced Version Management
  • Перенесите в Production
slide29
5Мониторинг выполнения
  • Просмотр выполнения сессий в ральном времени
  • Просмотр кода
  • Детальная статистика
  • Перезапуск сбойных сессий
slide30
6Анализируйте влияния/зависимости

?

  • Поддержка большого числа сценариев в сложных проектах
  • Основанный на Web инструмент просмотра
    • Отследите ваши потоки данных
    • Следуйте по пути данных
    • Drill-down к трансформациям
slide32
Инкрементальное

обновление

Загрузка

Преобразование

Захват изменений

Агрегация

Экспорт

----

----

Оперативные системы

Аналитика

----

----

Cube

Data Warehouse

Cube

Cube

Метаданные

E-LT для хранилищ данных
  • Гетерогенные источники и цели
  • Инкрементальная загрузка
  • Медленно меняющиеся размерности
  • Целостность данных
  • Захват изменений (CDC)
  • Анализ влияния
master data management
Разработка Канонического формата

Очисткаи согласование

Захват изменений

Загрузка основных данных

Публикация эталонных данных

----

----

----

----

----

----

----

----

CDC

CDC

Эталонные

данные

CDC

Метаданные

Master Data Management(Управление основными данными)
  • Используется как инфраструктура для создания собственного хаба
  • Описания потоков данных
  • Захват изменений (CDC)
  • Очистка и согласование данных
  • Публикация эталонных данных
  • Расширение метаданных
slide34
Преобразование в новый формат

Начальная загрузка

CDC для синхронизации

Двусторонний захват изменений

----

----

Старое приложение

Новое приложение

----

----

CDC

CDC

Метаданные

Миграция
  • Массовая перегрузка данных в новое приложение
  • Преобразование форматов
  • Синхронизация старого и нового приложения в период совместного использования
  • Двусторонний захват изменений (CDC)
slide35
Создание сервисов

Публикация сервисов

Развертывание и использование сервисов

----

----

Оперативные системы

----

----

Services

Business Processes

Data Access

Transformation

Others

Метаданные

Использование в SOA
  • Вызов внешних сервисов для интеграции
  • Создание сервисов
  • Публикация сервисов
oracle data integrator roadmap
Oracle Data Integrator: Roadmap
  • Focus Areas for Next Major Release
    • Deep Integration with Fusion Middleware
      • Runtime, Design time, Security, Administration, Events
    • Functional Integration with Oracle Warehouse Builder
      • Runtime Integration, Metadata Sharing, Knowledge Module Sharing
    • Deployment of ODI for Embedded Data Integration
      • OracleBI Enterprise Edition, Data Hubs, Application Migrations
    • Enhanced Usability and Debuggability
      • Wizards, New Views, User-definable Debugging
    • Improved Support for Native Oracle Database Features
      • Oracle OLAP
slide38
Q

&

A

ad