1 / 29

Microsoft SQL Server 2005 SSIS 整合服務

Microsoft SQL Server 2005 SSIS 整合服務. 資料轉換的困難. 異質資料來源 商業邏輯運算與彈性 分割 , 過濾 , 彙總 , 聯集 , 排序 … 等 效率 校正與一致化 男 / 女  M/F  0/1 週期性處理與管理 安全議題. SSIS 簡介. 特色 大幅強化 DTS (Data Transformation Services) 的功能 分離 Control Flow 與 Data Flow 加入 Event Handler 封裝 (Packaging) 功能提升.

genica
Download Presentation

Microsoft SQL Server 2005 SSIS 整合服務

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Microsoft SQL Server 2005SSIS整合服務

  2. 資料轉換的困難 • 異質資料來源 • 商業邏輯運算與彈性 • 分割,過濾,彙總,聯集,排序…等 • 效率 • 校正與一致化 • 男/女  M/F  0/1 • 週期性處理與管理 • 安全議題

  3. SSIS簡介 • 特色 • 大幅強化DTS (Data Transformation Services)的功能 • 分離 Control Flow 與Data Flow • 加入Event Handler • 封裝(Packaging)功能提升

  4. SQL 2005 Integration Service 全新的 SQL Server 商業智慧應用程式 Data Transformation Services 的接續版本 高效能的資料整合平台 1GB/10 mins in FET DW(Trans data from Teradata to SQL 2005) 全新用 .NET 撰寫的架構，更豐富的功能 完善的資料檢視、單步除錯與錯誤處理 透過 pipeline 可以更豐富地加值資料，且全部在記憶體內完成，不需要中介資料表 以封裝(Package)為執行單位，而非專案(Project)

  5. Merge data from heterogeneous data stores: Text files Mainframes Spreadsheets  Multiple RDBMS Refresh data in data warehouses and data marts Cleanse data before loading to remove errors High-speed load of data into online transaction processing (OLTP) and online analytical processing (OLAP) databases Send status notifications on success/failure Build BI into a data transformation process without the need for redundant staging environments Automate data-administrative functions Integration ServicesWhy ETL Matters 5

  6. Enterprise ETL platform High performance High scale More trustworthy and reliable Best in class usability Rich development environment Source control Visual debugging of control flow and data Great range of transforms out-of-the-box Highly extensible Custom tasks Custom enumerations Custom transformations Custom data sources Integration ServicesBreakthrough ETL Capabilities 6

  7. Data Integration Architecture:Before Integration Services Alerts and escalation Call centre data: semi structured Data mining ETL Text Mining Staging Legacy data: binary files Staging Warehouse ETL Hand coding Staging Cleansing & ETL Reports Application database ETL Mobile data • Integration and warehousing require separate, staged, operations. • Preparation of data requires different, often incompatible, tools. • Reporting and escalation is a slow process, delaying smart responses. • Heavy data volumes make this scenario increasingly unworkable. 7

  8. Data Integration Architecture With Integration Services Alerts and escalation Mobile data Text mining components Call centre: Semi-structured data Merges Data cleansing components Data mining components Standard sources Custom source Warehouse Legacy data: Binary files Reports SQL Server Integration Services Application database Data Integration Architecture:With Integration Services • Integration and warehousing are a seamless, manageable, operation. • Sourced, prepare and load data in a single, auditable process. • Reporting and escalation can be parallelized with the warehouse load. • Scales to handle heavy and complex data requirements. 8

  9. How SSIS Works • Data sources can be diverse, including custom or scripted adapters • Transformation components shape and modify data in many ways. • Data is routed by rules or error conditions for cleansing and conforming. • Flows can be as complex as your business rules, but highly concurrent. • And finally data can be loaded in parallel to many varied destinations. 9

  10. Data Cleansing Provides data mining and AI expertise Domain-independent data cleansing Fuzzy lookup Lookup on approximate matches Tune for best match De-duplication Eliminate approximate duplicates “Windows XP”, “WinXP”, etc. Tune for confidence Managing Slowly Changing Dimensions E.g. Sales organization changes E.g. Customer movement E.g. Product category changes SQL Server Integration ServicesNew Paradigm for the ETL Platform 10

  11. SSIS 整體架構

  12. SSIS 架構 內含其他物件、如 Task、Container 等，提供群組物件、執行單元、迴圈、交易管理等服務 透過既有的工具，如設計環境、精靈、命令列工具或是自行開發的應用程式，經由標準的程式介面可以控制 SSIS 引擎 SSIS 物件核心，提供原生及 .NET 的程式存取介面，可與 SSIS 所附的工具程式或自行開發的程式溝通。 執行封裝、容器、工作。提供執行記錄、設定中斷點、可彈性設定、管理連線、交易、事件處理… 資料流程引擎，將資料從來源提取出來，經過各種工作完成轉換，再放入到目的。在流程中，你也可以加入自製的元件。 封裝、Container 以及 Task 都可以輸出執行過程紀錄，經由多種紀錄提供者，如文字逗號分隔檔(CSV)、Profiler Trace(trc)、SQL 檔案…等等，可以記錄到不同的地方，你可以此監控、除錯 各種資料來源，可以提供資料給 SSIS 在 For Each Loop Container 可以透過不同的 enumerator 來取得各種集合內的物件，也可以自行撰寫 enumerator 類別 設計時管理各連線屬性，執行時實際建立出連線。SSIS 支援多種 Connection Manager 型態，如 ADO、ADO.NET、Excel、File、OLE DB… 各種可執行的物件，如封裝、Container、Task 會丟出事件，你可已撰寫事件處理函式來因應這些事件的發生 Windows 服務程式。用來管理封裝儲存、遠端啟動執行與呈現當下執行的封裝。

  13. SSIS設計環境

  14. 建立專案 • 開始程式集Microsoft SQL Server 2005 SQL Server Business Intelligence Development Studio

  15. 方案總管 • 資料來源 • 方便統一連接資料來源,但是和連接管理員沒有相依性 • 資料來源檢視 • 封裝 • 副檔名為dtsx, SSIS專案的執行單位 • XML格式存放在SQL Server的MSDB系統資料庫內 • 透過“部署”發佈到資料庫裡

  16. 部署 • XCopy • 透過建立部署公用程式，然後執行「封裝安裝精靈」 • 透過命令列指令搭配 dtutil 工具程式部署 • 透過 SSIS Services 部署 • 透過 BIDS 的 File/Save Copy of ~ As 選項 • 必須在 SSIS Designer 獲得 Focus 才有這個選項

  17. 方案總管 Demo 資料來源和資料來源檢視 • 資料來源 • 「資料來源」可用於所有的封裝，只需定義一次，便可讓多個封裝中的「連接管理員」參考。 • 整合開發環境提供資料來源物件與封裝內參考該物件的連接之間的同步處理。 • 資料來源與參考其定義的連接管理員之間沒有實質的相依性，連線字串還是會包含在封裝內。 • 資料來源檢視 • 多個資料流程元件可使用單一資料來源檢視。 • 重新整理資料來源檢視即可反映其基礎資料來源的變更，另外，資料來源檢視可快取建立於其上的資料來源之中繼資料。 • 集中呈現各封裝中資料流程元件所使用的物件清單。

  18. 控制流程 • SSIS的資料整合工作，主要是透過控制流程加上資料流程來進行 • 控制流程負責程序的進行 • 容器(Container) • 工作(Task) • 優先順序條件約束

  19. 資料流程 • 資料流程負責控制流程當中，有關於資料存取、轉換的部份 • 資料來源存取 • 資料轉換 • 資料目的存取 • 可以觀察資料變化的過程

  20. SSIS 管線(Plumbing)… 資料流程(Data Flow) 控制流程(Control Flow) SQL Data Source FTP Task Merge Send Mail 迴圈 Execute SQL Multi-cast Derive Column SQL Server Flat File Data Flow Task Flat File Source

  21. 資料流程組成 來源：讓資料流程中的其他元件使用外部的資料 轉換：具有廣泛的功能。它可以執行如更新、彙總、摘要、清除、合併、散發資料以及與分析服務相關的工作 目的地：將資料流程中的資料寫入特定存放區，或在記憶體中建立資料集 若 SSIS 既有提供的來源、轉換和目的地不夠用，都可以指令碼元件延伸，或以程式撰寫自訂元件

  22. SSIS 相關工具 封裝檔案 匯入/匯出精靈 佈署 安裝相關的檔案群組 Dtutil.exe Mgt Studio SSIS 服務 Dtexec.exe Dtexecui.exe SSIS 封裝 佈署 BI Studio 管理 檢視當下的執行狀況 與匯入/匯出 執行

  23. 範例一、控制流程 • 條件約束 • Dts.TaskResult=Dts.Results.Success

  24. 範例二、資料連結與檔案輸出 • IP:203.68.231.118 • 帳號: hr 密碼: hr

  25. 範例三、衍生的資料與排序 • Gender==“M”? “男”: “女”

  26. 範例四、FTP • IP: 203.68.231.46 Port:222 • 帳號/密碼: student / student

  27. 範例五、檔案系統工作

  28. 參考資料 • Microsoft Technet-微軟二日營, 恆逸資訊 胡百敬, http://www.microsoft.com/taiwan/technet/webcast/ondemand/downloads_technet.aspx • Microsoft SQL Server 2005 SSIS整合服務, 恆逸資訊 胡百敬 姚巧玫,悅知文化 • 商業智慧及資料倉儲運作架構 SQL-2005 BI Solution Architecture, 慧盟資訊

More Related