Chapter 3 資料與知識管理

1. Chapter 3資料與知識管理

2. 本章概要 • 資料管理：關鍵成功因素 • 資料倉儲 • 企業情報發現的資訊與知識 • 資料探勘概念與應用 • 資料視覺化科技 • 以網路為基礎的資料管理系統 • 知識管理

3. 資料管理 • 關鍵成功因素(Critical Success Factors，CSF) • 組織將資料管理視為關鍵成功因素 • 有高品質的資料 • 資料需具備精確與完整性、即時性、一致性、可存取性、相關性、簡單扼要等特性 • 管理資料的困難度 • 資料的量隨著時間以指數的方式增加 • 資料散置在組織各處，且由多人用各種方式來蒐集 • 組織作決策時，需要考量外部資料 • 資料安全性、品質與完整性是相當重要的 • 選擇適當的資料管理工具是一個很大的問題 • 資料確認與資料管理的困難度，讓組織需尋求更有效率及有效的資料管理解決方案

4. 資料生命週期

5. 資料來源 • 內部資料來源 • 通常指的是儲存於公司資料庫中的人事、產品、服務與流程等資料 • 個人資料 • 根據公司員工的專業將資料文件化，並由員工作維護 • 形式 • 銷售預估、競爭者情報、經營法則、程序等 • 外部資料來源 • 商業資料庫、政府報告等

6. 文件管理 • 定義：對電子化文件、全文影像、試算紙、文書處理文件與其他複雜文件的自動化控制，其管理時間涵蓋了從文件產生到最後存檔的整個生命週期 • 文件管理系統(Document Management Systems，DMSs) • 以電子化格式提供辨識、儲存、整理、追蹤與簡報資訊給決策者的電腦系統 • 功能 • 文件確認、儲存與管理 • 追蹤、版本控制 • 工作流程管理 • 簡報 • 主要工具 • 工作流程軟體、作者工具、掃瞄器、影像系統以及資料庫

7. 資料倉儲 • 交易處理(Transaction Processing) • 資料以階級結構被組織，並集中以快速與有效率地處理例行、重複的資料 • 分析處理(Analytical Processing) • 累積資料的分析，常常由最終使用者進行，也稱為企業情報 • 包含資料探勘、DSS、查詢等 • 資料倉儲(Data Warehouse) • 隨時可供分析處理活動(像是資料探勘、決策支援、查詢與其他應用)的形式組織而成的主題導向之歷史資料的儲存處

8. 資料倉儲的特徵 • 組織Organization- 資料以主題方式組織，包含只與決策支援相關的資訊 • 一致性Consistency • 在不同營運資料庫的資料可能以不同方式編碼，在資料倉儲裡，會用一致性的方式編碼 • 時間變化Time variant • 資料被儲存多年所以可以用來瞭解趨勢、預測與比較 • 不變性Nonvolatile- 資料一旦輸入到倉儲就不再更新 • 多維度- 一般資料倉儲使用多維度結構 • 網路為基礎 • 以網路為基礎之有效率的運算環境

9. 資料倉儲架構與觀點

10. 關聯式資料庫 • 關聯式資料庫：將資料儲存在二度空間的表格

11. 多維度資料庫 • 多維度資料庫：一般以陣列方式儲存資料，至少是要三個維度的組合，例如地理區域、產品線、業務、時間等 • Data Cube

12. 關聯式與多維度資料庫之間的對應陣列

13. 關聯式與多維度資料庫之間的對應陣列(續)

14. 資料超市 • 資料超市(Data Mart) • 設計給策略專業單位(SBU)或是部門使用的小型資料倉儲 • 優點 • 低成本(價格低於10萬美元，比起資料倉儲要價高達100萬美元或是更多) • 明顯較短的導入提前期，常常少於90天 • 地方控制而非中央控制，賦與使用團體權力 • 比起泛企業資料倉儲有更快速的反應並更容易瞭解與操作 • 類型 • 複製型資料超市(Replicated/dependent data marts) • 單機型資料超市(Stand-alone data marts) • 針對特定應用，例如行銷、財務、或工程等

15. 企業情報(Business Intelligence，BI) • BI：蒐集、儲存、分析和提供存取資料的應用與技術之廣稱，用以協助企業使用者做更好的企業與策略決策 • 主要應用 • 查詢與報告的活動與技術、線上分析處理(OLAP) 、決策支援、資料探勘、預測與統計分析 • BI的工具分為 • 資訊與知識發現(information and knowledge discovery) • 決策支援與情報分析(decision support and intelligent analysis)

16. BI的運用

17. 企業情報類別

18. 知識發現(Knowledge Discovery，KD) • 從大量資料萃取知識的流程，包括資料探勘 • 主要的目標 - 在資料裡辨識有效的、新的、潛在的、有用的，與最終可理解的模式(pattern) • KD所使用的科技支援 • 大量資料蒐集 • 有力的多處理器電腦 • 資料探勘與其他演算法 • 主要工具 • 傳統的查詢語言 (例如 SQL (structured query language) 或QBE (query-by-example) ) • OLAP • 資料探勘(Data mining )

19. 資訊與知識發現演進的階段

20. 線上分析處理(Online Analytical Processing, OLAP) • OLAP • 分析與綜整資料以反應企業需求的一組工具 • 企業結構允許使用者作快速的問與答 • 在資料倉儲與資料超市上進行 • 分類 • ROLAP (Relational OLAP) • 在現存關連式資料庫上執行 • 多維角度：每次針對使用者需求產生 • MOLAP (Multidimensional OLAP) • 特殊的多維資料倉庫(multidimensional data store，例如 Data Cube） • 多維角度：已實體儲存於特定資料檔案中

21. 資料探勘(Data mining) • 資料探勘 • 在大型資料庫、資料倉儲或是資料超市裡搜尋有價值的企業資訊 • 功能 • 趨勢與行為的自動化預測 - 在大型資料庫自動化找尋預測性資訊的流程 • 自動化過去未知模式的發現 - 辨識過去隱藏的模式 • 應用 • 零售業與銷售：預測銷售以及決定正確的存貨水準與商店之間的配銷時程和預防虧損 • 銀行業：預測借貸呆帳水準與盜刷信用卡 • 製造業與生產：預測機械的錯誤，並發現主要控制製造功能最佳化的因素 • 保險：預測申請理賠數量與醫療保險內容的成本 • 警察工作：追蹤犯罪模式、地點與犯罪行為 • 健康保建：提供與重要病症相關的病人地理位置 • 行銷：用來預測哪些顧客將會反應郵件或是購買特定產品的顧客地理位置

22. 資料探勘技術與工作 • 技術 • 案例推理(Case-based reasoning) – 使用歷史案例辨識型態 • 類神經計算(Neural computing) – 機器學習方法， 對型態作解釋 • 智慧型代理人(Intelligent agents) –從網際網路或公司內網路為基礎之資料庫擷取資訊 • 關連式分析(Association analysis) – 使用演算法從大型資料組中作整理排序，表示項目(items)間的統計規則 • 決策樹(Decision trees) • 基因演算法(Genetic algorithms) • 工作 • 分類(Classification) • 分群(Clustering) • 關連式法則(Association) • 循序分析(Sequencing) • 預測(Forecasting) • 迴歸(Regression) • 時間序列(Time Series)

23. 其他探勘環境 • 文字探勘(Text Mining) • 對於無結構與較無結構的文字檔案作資料探勘 • 查詢「隱藏的」文件內容或利用一般主題的群體文件(如辨識所有類似抱怨之保險公司的顧客) • 網路探勘(Web Mining) – 對web資料作探勘 • 應用領域： • 資訊過濾(電子郵件、雜誌與報紙) • 監視(競爭者、專利與技術發展) • 分析使用狀況的網路存取登錄的探勘(點選狀況的分析) • 協助瀏覽；以及網際網路對抗犯罪的服務。 • 功能 • 資源發現：在網路上找出不熟悉的文件與服務 • 資訊萃取：從網路上發現新的資訊自動化萃取特定資訊 • 歸納：在網站上與跨許多網站上找出一般模式 • 空間探勘(Spatial Mining) • 時間探勘(Temporal Mining)

24. 資料視覺化科技 • 資料視覺化(Data Visualization) • 利用數位影像、地理資訊系統、使用者繪圖介面、多維度表格與圖片、虛擬實境、3D呈現、視訊與動畫以及其他多媒體格式的資料視覺呈現 • 視覺化套裝軟體 - 提供使用者自我引導探索與大量資料的視覺分析的功能 • 類型 • 地理資訊系統(Geographical Information System ，GIS) • 以電腦為主使用數位繪製的擷取、儲存、查詢、整合、操作與顯示資料的系統 • 最明顯的特徵：每筆紀錄或是數位元件有可辨識的地理位置，利用整合空間導向資料庫與其他資料庫的地圖，使用者可以產生規劃、問題解決與決策的資訊，以增加其生產力與決策品質 • 視覺互動模式(Visual Interactive Modeling ，VIM) • 使用電腦繪圖顯示呈現不同管理或是營運決策在目標上的影響，如利潤或市場佔有率，該模式可以使用在決策支援與訓練上 • 視覺互動模擬(Visual Interactive Simulation ，VIS) • 最終使用者以動畫形式觀看模擬模式的一種方法，其使用繪圖終端機 • 虛擬實境(Virtual Reality，VR) • 互動的、電腦產生的、三度空間繪圖，透過頭戴式顯示器傳送給使用者 • 虛擬實境標記語言 (VRML) • 虛擬實境的獨立平台標準使人們可以線上方式在超級市場、博物館，與商店瀏覽如同與文字資訊一樣簡易 • VRML可以允許物件被網際網路使用者用來在虛擬空間裡「行走」

25. 以網路為主的資料管理系統

26. 以網路為主的資料管理系統（續） Continued

27. 知識管理(Knowledge Management, KM) • 知識(Knowledge) • 或稱智慧資本/資產(Intellectual capital/assets) • 有背景的、有意義的與可行動的，且必須在人們之間交換且必須可以成長 • 知識分類 • 外顯知識(Explicit Knowledge) ：更多客觀的、合理的與技術的知識 • 內隱知識(Tacit knowledge) ：主觀或是經驗學習累積儲存的、它是高度個人的難以形式化 • 知識管理 • 協助組織辨識、選擇、組織、散播、轉換已成為組織部分記憶的重要資訊與專家知識之程序 • 知識長(Chief Knowledge Officer ，CKO) • 目標：將公司的知識資產最大化、設計與導入知識管理策略，並且有效地在內部與外部交換知識資產 • 實務社群(Community of practice)：組織中一群有共同專業興趣的人

28. 知識管理系統(Knowledge management system, KMS) • 知識管理系統 • 使用現代資訊科技來系統化、提升與促進公司內部與公司之間的知識管理 • 目的 - 利用組織的人力資本廣泛的存取專家知識來協助組織處理流動、快速變革與裁員 • 知識管理系統循環 • 創造知識：知識是當人們決定新的做事方式或是發展新的技能時所創造出來的 • 擷取知識：新知識必須被認為是有價值且以合理的方式呈現 • 精鍊知識：新知識必須以脈絡方式被放置，如此才可以行動 • 儲存知識：有用的知識必須以合理的格式被儲存在知識儲存處，如此在組織裡的其他人才可以存取 • 管理知識：就像圖書館，知識必須隨時維持在最新狀態 • 散播知識：知識必須在組織裡以有用的格式讓任何需要的人在任何時候獲得

29. 知識管理系統循環圖

30. 知識管理 -資訊科技 • 通訊科技(Communication technologies) • 允許使用者存取需要的知識，並且與彼此溝通-特別是與專家溝通 • 電子郵件、網際網路、公司內部網路與其他以網路為主的工具提供通訊功能 • 協同科技(Collaboration technologies) • 提供執行團隊工作的方法 • 例如以電子腦力激盪提昇團隊工作，特別是對知識的貢獻 • 儲存與檢索科技(Storage and retrieval technologies) • 指利用資料庫管理系統以儲存與管理外顯知識 • 屬於協同運算系統的電子文件管理系統與特殊化儲存系統是用來擷取、儲存與管理內隱知識的工具

31. 知識管理之支援技術 • 人工智慧(Artificial intelligence) • 是人類思考流程並且在機器上呈現這些流程的研究(像是電腦與機器人等) • 智慧型代理人(Intelligent Agents) • 學習使用者如何工作並提供其日常任務協助的軟體系統 • 資料庫裡的知識發現(Knowledge Discovery in Database， KDD) • 用來從大量文件與資料搜尋與萃取有用資訊的流程 • 資料探勘(Data mining) • 模式倉儲(Model warehouses) • XML (Extensible Markup Language)

32. 知識管理工具

33. 知識管理系統之整合