1 / 17

Ghayoun Information & Communication, INC.

FastReader High Performance Database Un-Load Utility. Ghayoun Information & Communication, INC. Supported by W isdom F orce. 회 사 소 개. FastReader Overview. 미국 워싱턴 소재 Wisdomforce Technologies 사의 제품 시스템 오버헤드 없이 대용량 오라클 데이터베이스로부터 매우 빠른 데이터 추출

channing-tyler
Download Presentation

Ghayoun Information & Communication, INC.

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. FastReader High Performance Database Un-Load Utility Ghayoun Information & Communication, INC. Supported by WisdomForce

  2. 회 사 소 개

  3. FastReader Overview • 미국 워싱턴 소재 Wisdomforce Technologies사의 제품 • 시스템 오버헤드 없이 대용량 오라클 데이터베이스로부터 매우 빠른 데이터 추출 • 추출된 데이터를 다양한 Data Loader용 Utility들이 활용 할 수 있게 자동적으로 Input용 Loader 제공 • Initial Unload & Aggregation 단계의 시간을 대폭 절감함으로써 신속한 Unload를 제공 • Oracle로부터 MS-SQL Server로의 데이터 전송에 있어 안정성이 매우 뛰어나고, 속도가 매우 빨라 Microsoft사 에서 표준 마이그레이션 툴로 추천하고 있는 제품

  4. FastReader Workflow FastReader Workflow • Monitoring • Reporting • Fast Data • Compression • Output into flat • Text ASCII files • Create schema • Definition scripts • Data loaders for • Oracle, DB2 • SQL Server, • Sybase, MySQL • External tables • create scripts • Write into • pipe • Parallel • Processing • Solaris • AIX • Linux/386 • IA64 • Windows • HPUX • Tru64 Source Oracle data • Third Party • Application via • API or Queue Target Databases Ghayoun Information & Communication, INC.

  5. FastReader Solution • FastReader 는 데이터베이스에 대한 사용자의 조작 없이, 실시간 데이터의 Locking 없이 DataBase Unload를 제공 • FastReader는 동일한 CPU 사용율에 10 -15 %의 성능 • 개선을 제공 • 운용중인 OLTP 데이터베이스의 최초 데이터 추출 시 소요 시간 비교 • - 기존의 Unload 제품 사용 시 : 20시간 소요 • - FastReader 제품 사용 시 : 2시간 소요 • Source Database : Oracle • Target Database : Oracle, DB2, MS-SQL Server, • Sybase, My-SQL… 등 지원

  6. Why use FastReader • 대용량 데이터베이스에서 flat text file로의 효율적인 알고리즘을 적용하여 고성능의 데이터 추출 • 고성능을 위한 병렬 데이터 추출(최적의 상태로 설정 가능) • 매우 낮은 CPU 사용율(타사 및 기존제품 대비) • 데이터베이스 시스템의 오버헤드가 없음(직접 액세스 기능) • 직관적이며, 편리한 GUI 제공(Java기반이므로 플랫폼 독립적 운영가능) • 데이터베이스의 원격 관리 및 튜닝을 제공 • 데이터 추출을 위해 컬럼 조건 변경이 가능(데이터 변환가능)

  7. Why use FastReader • 대부분의 DB loader를 지원 (Oracle, DB2, MS-SQL, MySQL, Sybase, Netezza 등) • 모든 종류의 플랫폼을 지원 (AIX, HPUX, Tru64, Linux/386, Solaris, Widows, IA64, …) • Oracle 엔진을 사용하지 않고 데이터파일에 Direct read가 가능 • ASM (Automatic Storage Management)에 대하여 Direct path를 이용한 데이터 추출이 가능 • 멀티프로세서와 멀티 쓰레드 기능 제공

  8. Why use FastReader • Direct Path Data를 지원 (indirect 옵션 설정 가능) • OS authentication • 특정 파티션이나, 서브파티션 및 특정조건의 컬럼 데이터 추출 가능(Where절 사용가능) • 데이터 추출을 위해 컬럼 조건 변경이 가능 • 모든 표준 데이터타입 지원. ( binary, BLOB/CLOB, chained and migrated rows, fixed length rows… ) • 스키마 변환이 가능

  9. Why use FastReader • 멀티 프로세서와 멀티 쓰레드 지원 • row migration, partitions 지원 • Oracle의 모든 버전 지원 : 8 ~ 11g • 레포팅과 모니터링, Alerts 기능 제공 • Data Unload시 다양한 Format으로 Unload하며 여러 Filesystem에 분산하여 Data Unload 가능 • 업무환경에 따른 다양한 활용 및 데이터가공 엔진 활용 • SQL 엔진과 Kernel을 우회하고 데이터 블록에서 직접 읽기 때문에 빠른 속도 보장

  10. Why use FastReader • 다른 데이터베이스, 다른 벤더, 다른 플랫폼으로 빠른 데이터 이동이 필요할 때 • 대용량의 테이블에서 빠른 실시간 압축과 백업이 필요할 때 • 실사용DB에서 테스트환경의 DB로 대용량 데이터테이블 이나 테이블 파티션을 이동하거나 데이터를 추출할 때 • 데이터베이스간의 복제를 하기 전 처음으로 데이터동기화를 할 때 • CLOB 데이터형식을 휴대용 텍스트형식으로 추출하거나 검토할 때 • NAS large tables을 위해 백업을 만들 때

  11. Advenced FastReader • 대용량 데이터파일을 지원 (2Gbyte 보다 큰 raw partitions, 파일시스템의 제한보다 크게) • Dictionary로부터 데이터 직접 추출 • Local managed Tablespaces로부터 데이터 추출 • Cluster 파일시스템, 혹은 Cluster Row Device로 구성된 OPS 혹은 RAC의 테이블스페이스로부터 데이터 추출 • Chained rows, ASM(10g) 지원 • XML 형식으로 data 추출 가능(Option) • External tables을 위하여 생성스크립터 제공 (Option)

  12. Benchmark Test • 테스트 환경 (S 보험사, 2008.08) • HPUX 11.x, 12Way, 12GB RAM, Oracle 10g • Partitioned Table : No sub-partition • <테스트 결과 1> (211Byte Row, 31,620,000건 Unload) - FastReader : 2분 31초 - C사 제품 : 5분 01초 • <테스트 결과 2> (206 Byte Row, 118,040,000건 Unload) - FastReader : 5분 54초 - C사 제품 : 20분 26초

  13. Where Use FastReader • 다양한 운영체제하에서 구동하는 서로 다른 데이터베이스로 신속한 데이터 이동이 필요한 경우 초대형 오라클 DB테이블에서 필요한 데이터만 고성능으로 추출하여 MS-SQL, Oracle, Sybase, DB2, MySQL 등으로 스키마 생성과 함께 데이터 전송 • 업무에 영향을 주지 않고초대형 OLTP 테이블에서 필요한 데이터만 선별적으로 신속하게 Backup을 받아야 하는 경우 필요할 때 언제든지 실무 테이블의 스냅샷을 신속하게 제공 • 테스트 환경을 구축하는 경우 실무 시스템에 영향을 주지 않고 필요한 대용량 데이터 및 파티션 데이터를 추출하여 구축하고자 하는 테스트 데이터베이스로 빠르고 편리하게 전송함으로써 손쉽게 테스트 환경 구축 가능

  14. Where Use FastReader • 데이터베이스 사이의 데이터 이중화 프로세스를 시작하기 전, 초기 데이터의 동기화가 필요한 경우 대형 실무 데이터베이스에 대해 데이터 이중화 솔루션 적용 전에 초기 데이터의 동기화가 필요하며 FastReader를 활용하여 이기종 데이터베이스 사이의 데이터 동기화를 신속하게 수행할 수 있음 • OLTP 데이터베이스로부터 필요한 데이터를 추출/전송하여 소규모 Data Mart를 구축하는 경우 실무시스템에 영향을 주지 않고 필요한 데이터만 선별적으로 추출하여 이 기종 혹은 동종의 데이터베이스를 사용하는 소규모 Data Mart의 구축 가능 • NAS (Network Attached Stroage)등에 대형 테이블 백업을 생성하는 경우 초대형 테이블을 디스크 혹은 NAS/SAN/NFS 저장 장치로 신속하게 백업 받고자 하는 경우(Portable Text 포맷)

  15. FastReader 요약

  16. 적 용 사 례

  17. 감사합니다 Ghayoun Information & Communication, INC.

More Related