模糊類神經網路之 函數近似使用基因演算法 四自控四甲 翁一成 49012059 陳立偉 49012032 張桐榮 49012003

1. 模糊類神經網路之 函數近似使用基因演算法 四自控四甲 翁一成49012059 陳立偉49012032 張桐榮49012003

2. 類神經網路簡介 1.前言 2.類神經網路特性功能應用 3.類神經網路架構 4.生物神經網路與類神經網路 (1)膜電位與通道 (2)動作電位 (3)生物學習能力 (4)類神經網路系統架構 (5)單層前饋式類神經網路 (6)回饋式類神經網路 (7)類神經網路之學習方式

3. 一、前言 • 類神經網路（Neural Network）與模糊理論(Fuzzy Theory）- 目前均被成功地應用在各個不同的領域上，因此在這裡我們所要探討的。舉例來說：類神經網路與模糊集合常常被相提並論，基本上兩者均有增加系統智慧，模擬一個輸入，輸出對應關係等的能力。這意謂著，兩者間有一種巧妙的關係存在。到底這種關係為何，兩者間有何相似、差異性，便是一個值得思索的題目。此外，在工程應用或問題解決上，如何在兩耆間做一合適的選擇，也是常見的問題。更甚者，如何擷取兩者間的優點，互補缺失，並發展一種新的模式，也 是一研究發展方向。

4. 類神經網路今日已經廣泛地應用在各各領域，從電機，資訊機械化工土木水利環工海洋，等理工相關領域，到醫學農學等生物相關領域及經濟，管理財務金融，都可以看到類神經網路的相關研究，類神經網路今日已經廣泛地應用在各各領域，從電機，資訊機械化工土木水利環工海洋，等理工相關領域，到醫學農學等生物相關領域及經濟，管理財務金融，都可以看到類神經網路的相關研究， • 因而在語音聽覺影像和視覺方面均有很完美的表現，其記憶存取與斯維推論也十分神奇，類神經網路及仿造神經系統的運作藉由大量的運算單元(神經元)和位於運算單元間的眾多連結所組成，這些運算單元乃是以平行且分散的方式所運作，而此一設計可被用來處理各種需要大量資料運算的應用，如語音手寫辨識等。

5. 類神經網路 • 模仿人類神經系統之資訊處理能力所建構之電腦軟硬體系統。 • 類神經網路為平行處理式架構，具備大量互相連結的處理單元。

6. 類神經網路之特性 • 聯想速度快 • 網路架構易維持 • 解決最佳化、非線性系統問題 • 具容錯特性 • 具平行處理能力

7. 類神經網路之功能 • 學習（Learning） • 回想（Recall） • 歸納推演（Generalization）

8. 類神經網路之應用 • 最佳化（Optimization） • 辨識與分類（Recognition/Classification） • 預測（Prediction） • 評估、診斷與決策（Diagnosis/Decision） • 聯想（Association） • 近似（Approximation） • 歸納推演（Generalization）

9. 模糊類神經網路的架構 • 如圖一所示模糊類神經網路，總共有四層；第一層為輸入節點，代表輸入的語意變數。第二層作為隸屬函數，分別描述各個語意變數的語詞。第三層描述模糊法則庫。第四層表示模糊法則的後件部。

11. 生物神經系統 • 感覺輸入（sensory input） • 整合（integration） • 動作輸出（motor output）

12. 生物神經元（Neuron） • 具有相當大的細胞體（cell body or soma），內有細胞核（nucleus），擁有纖維狀的突起來延長傳導訊息的距離。 • 突起分為： • 樹突（dendrite）：將訊息傳入細胞體。 • 軸突（axon）：將訊息傳出細胞體，僅一個。軸突與細胞體之相接處為神經軸丘（axon hillock）。 • 軸突末端分出千百個分支，形成特化的末稍，稱為突觸（synaptic）。

13. 生物神經元（Neuron）

14. 生物神經元（Neuron）

15. 生物神經元（Neuron） • 神經訊息在生物神經元內的傳遞是一種電的訊號，靠離子（iron）流動通過細胞膜（cell membrane）來達成。 • 膜電位（membrane potential）：細胞膜內外之電位差。 • 膜電位為負神經元處於休止狀態（resting state）。

16. 生物神經元（Neuron） • 外界刺激造成神經元表面的離子流動，進入或離開細胞膜內，使得膜電位變小或變大；若在某一時刻，一神經元所有刺激對膜電位影響的總和超過該神經元之門檻值（threshold），則該神經元會產生動作電位（action potential），由神經元之軸突將訊號傳出，再藉由突觸末端視出神經傳導物質將訊息傳至下一神經元。

17. 生物學習能力 • 生物大腦中有數十億至數百億個神經元，有的神經元間沒有相互連結，有的則以複雜方式連結（如：環狀或回饋連結），相連結的神經元才可互相傳遞訊息，神經元間的連結有強弱之分，因而影響到接收訊息神經元的膜電位。 • 生物對新事物之學習是造成神經元間連結強弱的改變或是使沒有連結的神經元間產生新的連結。

18. 學習演算法 1.簡介與通用學習法 (1)赫賓學習法 (2)最小均方演算法（LMS） (3) Delta學習法 (4) Correlation學習法 (5)贏者全拿（Winner-Take-All）學習法 (6) Grossberg學習法 2.類神經網路及模糊理論的共同特性 3.類神經網路及模糊理論的差異性性 4.類神經網路模糊理論優缺點 5..結論

19. 簡介與通用學習法 • 簡介 • 類神經網路的學習與訓練為網路中連結權重的調整，藉由不斷的調整權重，使網路的輸出滿足我們的需求。 • 學習演算法即為權重調整演算法。 • 監督式學習：權重的調整依據輸入條件與輸出結果和目標輸出值的差異來決定。 • 非監督式學習：權重的調整只依輸入條件來決定。

20. 簡介與通用學習法 • 通用學習法（Amari, 1990） • r：學習訊息函數 • Wj：所有連結到第j個神經元的連結權重向量Wj=[wj1, wj2, …, wjn]T • DWj：Wj的疊代調整量 • X：輸入向量 • dj：第j個神經元的目標輸出值 • h：學習率，正數

21. 簡介與通用學習法

22. 赫賓學習法 • “Organization of Behavior”- by Hebb, 1949. • 假設神經元的軸突足以刺激鄰近的神經元，當我們持續不斷地給予刺激，因而激發了神經元的新陳代謝，促使神經元的功效增加。 • 神經元傳送訊息之兩種法則（Stent, 1973） • 若兩個連結的神經元同時被激發，則其連結的強度將增強； • 若兩個連結的神經元非同時被激發（即一個有反應，另一個沒有反應），則其連結的強度將變弱或消失。

23. 最小均方演算法（LMS） • 最小均方演算法（least-mean square algorithm, LMS）由Widrow及Hoff發展（1960），又稱Widrow-Hoff學習法或Delta學習法，為監督式學習法中最常用的方法。 • 神經元活化函數為輸入向量與連結權重向量乘積之線性疊加值，如下式：

24. 最小均方演算法（LMS）

25. 最小均方演算法（LMS） • h為學習速率（正值）； h太小收斂速度慢， h太大會發生震盪與不穩定的狀況；因此，Haykin（1996）建議h值的範圍為：

26. Delta學習法 • Delta學習法由McClelland及Rumelhart發展（1986），為監督式學習法，適用於活化函數為連續函數的神經元。 • 學習訊號為：

27. Delta學習法 • 與感知器學習法比較，Delta學習法用於神經元具有連續性質，又稱為連續性感知器學習法。 • Delta學習法有時又稱為LMS，與Widrow-Hoff之LMS比較，McClellandRumelhart的Delta學習法則適用於任一具有連續性質的活化函數。

28. Correlation學習法 • Correlation學習法為監督式學習方式，適用於活化函數為非連續函數的神經元（如二位元）。 • 以通用學習法來看其學習訊號r=dj。 • 權重值之調整方式為： • 赫賓學習法之特例，學習訊號為訓練範例的目標輸出值dj。 • 權重初始值需設為零。

29. 贏者全拿（Winner-Take-All）學習法 • 贏者全拿（Winner-Take-All）學習法為非監督式學習方式。 • 演算過程是針對一群神經元進行競爭式學習。 • Winner-Take-All是將輸入項的特性記憶於優勝神經元的連結權重；優勝神經元為對輸入項有最大反應值之神經元，即與輸入項最為相似之神經元；僅優勝神經元可調整其連結權重值，其他神經元則不可調整其連結權重值。

30. 贏者全拿（Winner-Take-All）學習法 • 此學習法每次疊代過程中逐漸縮小輸入向量與優勝神經元之連結權重向量差距，最終，每一神經元的連結權重向量代表數個被歸為同一類別輸入向量的平均值。

31. Grossberg學習法 • Grossberg 學習法為監督式學習方式。 • 演算過程是針對同一層神經元進行競爭式學習以選取優勝神經元，並調整其連結的權重向量。 • 需目標輸出值，以調整連結到輸出神經元的權重向量，使得網路輸出向量與目標輸出向量趨於一致。

32. 結論

33. 類神經網路及模糊理論的共同特性 1.模擬人類的心智，推理等屬於心理成份的部份。如果我們把類神經網路比喻成大腦的硬體成份，則模糊邏輯就好像軟體部份，藉由兩者間的相輔相成，便能描述人類的種種思考行為。 2.由不同模糊集合（Fuzzy set) 上的不同的歸屬程度（Membership grade）所表達。 3.兩者均是可以訓練的動態系統 4.均具有歸納（Generalization）能力及容錯能力

34. 類神經網路及模糊理論的差異性 • 1.可快速產生模糊法則 • 2.可產生較為接近資料分佈的歸屬函數 • 3.對於有新增加資料的情況，不需重新產生全 部的模糊群

35. 類神經網路及模糊理論優缺點 • 優點： • 可以建構非線性的模型。 • 良好的推廣性，對於未知的輸入亦可得到正確的輸出。 • 可以接受不同種類的變數作為輸入，適應性強。可應用的領域相當廣泛。 • 缺點： • 類神經網路以迭代方式更新鍵結值與閥值，計算量大，相當耗費電腦資源。 • 類神經網路的解有無限多組，無法得知哪一組的解為最佳解。 • 類神經網路訓練的過程中無法得知需要多少神經元個數，太多或太少的神經元均會影響系統的準確性，因此往往需以試誤的方式得到適當的神經元個數。

36. 報告簡介 • 基因演算法基本演化流程 • 簡介 • 倒傳遞類神經網路（BPN）架構 • 倒傳遞類神經網路（BPN）學習演算法 • 倒傳遞類神經網路（BPN）應用實務探討 • 應用實例 • 例題

37. 基因演算法 • 基因演算法的運作，是將欲求解的問題其目標變數 (Object Variable)，以模擬生物學上的染色體 (Chromosome) 將其轉換成字串 (String) 的形式，字串中各個位元 (Bit) 即為染色體中的基因 (Gene)，從生物學的觀點來看基因演算法則是根據親代來進行複製 (Reproduction)、交配 (Crossover) 及突變 (Mutation) 等運算，以完成世代演算並找出最佳化的解。

38. 基因演算法的特點 • 基因演算法的特點 • 1.基因演算法以族群字串工作，並行搜尋許多峰值而非單一的點。 • 2.基因演算法採用機率轉變法則，而非決定性法則。 • 3.基因演算法採用目標函數資訊，而非導數或其他輔助知識，所以對於連續或非連續變數的系統皆可適用，不像傳統的搜尋方法只能用連續變數的系統。

39. 實數型基因演算法 • 使用二進位基因演算法在編碼及解碼上耗費許多時間，尤其是當參數增加時，多參數問題的大量運算將嚴重延遲程式執行的效率。 • 我們改以實數型基因演算法來搜尋多參數問題的最佳解。針對最佳化問題，假設w為所求參數的集合(即模糊類神經網路所有權重值集合)。

40. 模擬結果下圖為三種交配方法由第1 代到第200 代的誤差情形

41. 實數型的交配過程： • 方法1：隨機選擇交配點法。 • 此種方法為傳統所使用的方法，其交配點為隨機選擇，不去測試交配後新族群的適應性是否會比未交配前的族群好，惟有保留原族群適應性最佳的染色體到下一代的族群。 • 方法2 • 為循序搜尋交配點法，我們從頭至尾搜尋交配後適應性函數會較交配前高的交配點； • 方法3 • 為循序搜尋單參數交配點法，若交配點為j，則我們只在j 行做線性組合的交配運算而已。

42. 基本演化流程

43. 以下是四個輸入與一個輸出的倒傳遞網路模型 圓圈的部分代表神經元

44. 簡介 • 倒傳遞類神經網路（Backpropagation Neural Network，BPN） • 以最佳化方式建立輸入與輸出間的非線性映射關係。 • 以最陡坡降法調整參數，配合網路運算逐步修正參數，經過多次疊代以獲得更精確解。 • 學習精度高、回想速度快、輸出值可為連續值。 • 應用：樣本辨識、分類、函數趨近、預測、系統控制、雜訊過濾、資料壓縮等。

45. 倒傳遞類神經網路學習演算法 • 誤差倒傳遞演算法（EBP） • 正向傳遞：輸入訊息由輸入層經由隱藏層加權運算，透過活化函數處理後，再傳向輸出層 • 反向傳遞：當正向傳遞在輸出層不能得到目標輸出值時。

46. 倒傳遞類神經網路學習演算法

47. 倒傳遞類神經網路學習演算法

48. 倒傳遞類神經網路學習演算法 • BPN之學習效率提升方法 • 加入慣性項（momentum term） • 批次學習 • 使用變動的學習速率 • 使用不同的轉換函數 • 使用不同的目標函數 • 加入範例重要性因子 • 加入隨機擾動量以跳出局部最小值（local minima）

49. 倒傳遞類神經網路學習演算法 • 加入慣性項（momentum term） • 基本概念為：每一代權重的更新依著前一代的方向進行。

50. 倒傳遞類神經網路學習演算法 • 優點： • 多組範例推求誤差函數的平均梯度，其效果通常佳。 • 若範例中含有雜訊干擾時，學習效果較好。 • 批次學習亦較適用於細緻複雜的最佳化搜尋方法。 • 缺點： • 需較大的儲存空間與運算技巧。 • 若輸入範例特意加入白雜訊，批次學習因平均效應而無法脫離局部最佳解。