第 23 章 類神經網路

1. 第23章　類神經網路 本章的學習主題  1.類神經網路的基本概念 2.類神經網路之應用 3.倒傳遞類神經網路 4.類神經網路之運算注意事項 5.類神經網路STATISTICA軟體操作範例說明 企業研究方法 第 23 章

2. 23.1 類神經網路的基本概念 一種計算系統，包括軟體與硬體，它使用大量簡單的相連人工類神經元來模仿生物神經網路的能力。人工神經元是生物神經元的簡單模擬，它從外界環境或者其它人工類神經元取得資訊，並加以運算，再輸出其結果到外界環境或者其它人工神經元。 企業研究方法 第 23 章

3. 圖 23 - 1 生物神經網路結構 圖 23 - 2 人工神經元結構 企業研究方法 第 23 章

4. 圖 23 - 3 簡單的類神經網路 企業研究方法 第 23 章

5. 一、類神經網路的分類 (一)依學習策略分類 1.監督式學習網路 (supervised learning network) 2.無監督式學習網路(unsupervised learning network) 3.聯想式學習網路(associate learning network) 4.最適化應用網路(optimization application network) 企業研究方法 第 23 章

6. (二)依網路架構分類 1. 向前式架構：神經網路由神經元分層排列，形成輸入層、隱藏層、 輸出層。每一層只接受前一層的輸出作為輸入，稱前向式架構。 圖 23 - 4 前向式架構 企業研究方法 第 23 章

7. 2. 回饋式架構：即輸出層神經元的資訊回饋到輸入層，或層內各神經元間有連結者，或神經元不分層排列，只有一層，各神經元均可相互連結者稱回饋式架構。 圖 23 - 5 回饋式架構 企業研究方法 第 23 章

8. 加權值 未學習網路 訓練範例 已學習網路 + + 學習演算 加權值 二、類神經網路運作範例 類神經網路的運作範例大致上分為三種： (一)訓練範例 1. 監督式訓練範例：由代表範例特徵的輸入變數資料，與代 範例預測或分類的目標輸出變數資料共同組成。 2. 無監督式訓練範例：由代表範例特徵的輸入變 數資料組成。 3. 聯想式訓練範例：由代表範例特徵的狀態變數資料組成，該 變數值既是輸入亦是輸出，以替代方式決定變數值。 企業研究方法 第 23 章

9. 評估 推論 精度 推論輸出值 測試範例 待推案例 已學習網路 待推案例 + + 回想演算法 回想演算法 已學習網路 已學習網路 + + (二)測試範例 測試範例為評估已學習網路之學習效果所使用的範 例，其形式與訓練範例相同。該範例只使用回想演算 法得到推論輸出值，之後與目標輸出值比較，以評估 網路學習的精確度。 (三)待推案例 網路學習完後，可用網路推論待推案例的結果。待推 案例沒有目標輸出變數資料。網路根據待推案例之輸 入變數資料，透過回想演算法，推論出輸出值。 企業研究方法 第 23 章

10. 三、類神經網路的基本架構 類神經網路的基本架構可分三個層次： (一)處理單元的作用可用三個函數來說明 (二)層(layer) (三)網路 (network) 企業研究方法 第 23 章

11. (一)處理單元的作用可用三個函數來說明 1. 集成函數(summation function)：將輸入變數 資料或前一層神經元之輸出與連接加權值加以 綜合，即 I = f (W, X)。常用的函數包括加權乘 積和與歐氏距離等。 2. 作用函數(activity function)：將集成函數值與 神經元狀態加以綜合，通常是直接使用集成函 數輸出，即netjn = Ijn 企業研究方法 第 23 章

12. 3. 轉換函數(transfer function)：將作用函數輸出值 轉換成處理單元輸出，即Yj = f (netj)。常用函數 包括硬限函數、線性函數與非線性數函數。 企業研究方法 第 23 章

13. (二)層(layer) 若干個具有相同作用的處理單元集合成「層」。 層本身有三個作用： 1.正規化輸出：將同層中的處理單元的原始輸出值加以 正規化，作為「層」的輸出。 2.競爭化輸出：在同層的所有處理單元之原始輸出值 中，選擇一個或數個最強值的處理單元，令其值為1， 其餘為0後，再作為「層」的輸出。 3.競爭化學習 ：在同層的所有處理單元之原始輸出值 中，選擇一個或數個最強值的處理單元，網路將只調 整與該單元相連的下層網路連結。 企業研究方法 第 23 章

14. (三) 網路 (network) 網路本身有兩種作用： 1. 學習過程(learning)：從範例中學習，以調整網 路連接加權值的過程。 2. 回想過程(recalling)：以輸入資料決定網路輸 出資料的過程。 企業研究方法 第 23 章

15. 23.2 類神經網路之應用 類神經網路的應用極為廣泛，在工業與工程方面的應用包含工業與工程資料分析、工業與工程故障診斷、工業與工程決策諮詢、工業與工程製程監控、工業與工程最適化問題求解；在商業與金融方面的應用包括商業決策、商業預測、商業分析；在科學與資訊方面的應用包括醫學疾病診斷、醫學影像診斷、氣象預測、化學儀器分析解釋、複雜現象映射與模式化、感測資料分類、軍事目標追蹤、犯罪行為聚類分析、性向測驗分析、資料庫聯想搜尋、電腦輔助教學、電腦音樂、專家系統等。 企業研究方法 第 23 章

16. 表 23 - 1 類神經網路架構模式 企業研究方法 第 23 章

17. 23.3 倒傳遞類神經網路 倒傳遞網路是應用一個訓練範例的一輸入值向量X，與一目標 輸出向量T，修正網路加權值W，而達到學習的目的。基本原 理是利用最陡坡降法的觀念，將誤差函數予以最小化。 • 誤差函數 • Tj=輸出層目標輸出值 • Aj=輸出層推論輸出值 企業研究方法 第 23 章

18. 一、網路架構 • 輸入層：輸入變數資料，該層處理單元數目依問題而定。處理單元之轉換函數為線性函數，亦即 f(x)=x。 • 隱藏層：表現輸入層處理單元間的交互影響。處理單元之轉換函數為非線性函數。 • 輸出層：輸出變數，該層處理單元數目依問題而定。處理單元之轉換函數為非線性函數。 倒傳遞網路在隱藏層與輸出層之非線性轉換函數，最常使用雙彎曲函數，即 企業研究方法 第 23 章

19. 圖 23 - 6 倒傳遞類神經網路模型 企業研究方法 第 23 章

20. 23.4 類神經網路運算注意事項 • 資料的準備—樣本數 • 若樣本數接近所需估計的權重數時，就會產生過度配適(over-fitting)的情形，使模型失去通則性(generalizability)。 • 樣本數應為五至10倍的連結權重數。 • 連結權重數未知時： • 樣本數則為輸入變數數目的平方值 • 樣本數≧c×(輸入變數數目×輸出變數數目) • 隨機分配樣本為訓練樣本與測試樣本 企業研究方法 第 23 章

21. 23.4 類神經網路運算注意事項 • 資料的準備—檢視資料 • 輸入變數應使用計量資料：對於非計量變數值應重新編碼。 • 極端值應被仔細地考慮甚至刪除。 • 變數標準化。 企業研究方法 第 23 章

22. 23.4 類神經網路運算注意事項 • 定義模型架構 • 隱藏層層數 • 一般問題可取一層隱藏層，較複雜的問題則取二層隱藏層。 • 隱藏層處理單元數目 • (輸入層單元數+輸出層單元數)/2 • (輸入層單元數*輸出層單元數)1/2 • 若問題複雜度較高，隱藏層單元數目宜多。 • 若測試範例之誤差值遠高於訓練範例之誤差值，則隱藏層單元數目應減少，反之，則應增加。 企業研究方法 第 23 章

23. 23.4 類神經網路運算注意事項 • 模型估計 • 在網路的訓練過程中，訓練範例與測試範例的誤差值均會逐漸降低，但若測試範例的誤差停止下降，甚至開始上升時，則表示有過度訓練的情形發生，因此研究者應在測試範例之誤差上升前即停止訓練。 企業研究方法 第 23 章

24. 23.4 類神經網路運算注意事項 • 評估模型結果 評估模型包括評估輸出變數的預測或分類水準。在預測的問題上，通常使用誤差均方根來評估模型；在分類的問題中，可利用分類矩陣(classification matrix)來計算出個案被正確分類的機率是多少。 企業研究方法 第 23 章

25. 23.4 類神經網路運算注意事項 • 模型效度 最後一步是要確認所找到的解是整體最適且要 盡可能的一般化。，研究者應該使用不同的處 理單元數目去測試，以確定不可能再達到更好 的解。 企業研究方法 第 23 章

26. 模型之評估指標 企業研究方法 第 23 章

27. 六、使用類神經網路之優缺點 • 類神經網路的能力可處理複雜的關係，特別是非線性的關係。 • 預測及分類。 • 無法針對輸入變數的相對重要性以及變數間的相關提供解釋。 企業研究方法 第 23 章

28. 範 例 1.信任關係(SCF1) 2.互惠關係(SCF2) 3.互動關係(SCF3) 4.顧客資本(IC_CF) 5.人力資本(IC_HF) 6.結構資本之交易成本導向(IC_SF1) 7.結構資本之創新運作導向(IC_SF2) 8.集權化(OOMF1) 9.正式化(OOMF2) 知識管理績效(KMEF) 企業研究方法 第 23 章

29. 範例結果—類神經網路權重 企業研究方法 第 23 章

30. 範例結果—模式之評估 企業研究方法 第 23 章