類神經網路在智慧型管理決策之應用

類神經網路在智慧型管理決策之應用 盧坤勇

第一部份類神經網路介紹 壹、導論貳、類神經網路架構參、類神經網路演算法肆、類神經網路之應用

壹、導論 一、類神經網路簡介二、類神經網路之類型三、類神經網路之運作四、類神經網路之需求能力

一、類神經網路簡介 類神經網路之定義：「類神經網路是一種由軟體和硬體所組成之計算系統，使用許多相連的人工神經元來模仿生物神經網路。透過人工神經元從外界環境或其它神經元取得所需資訊，經過簡單的運算之後，將結果輸出到外界環境或其它神經元，這些資訊可作進階使用。」

一、類神經網路簡介(續) 類神經網路之背景 ‧早在1957年即有人提出此觀念 ‧早期是一種感知機（perception）之型式 ‧在1960年代中期即告沒落 ‧在1980年代中期之後又再度流行

一、類神經網路簡介(續) 生物神經網路之組成元素神經核（soma）軸索（或稱神經軸）（axon）樹突（或稱神經樹）（dendrites）突觸（或稱神經節）（synapse）

一、類神經網路簡介(續) 生物神經元模型示意圖神經樹神經節神經核神經軸

一、類神經網路簡介(續) 人工神經元模型輸入訊號處理單元淨值連結加權值轉換函數閥值 X1 輸出訊號 X2 netj f Wij θj Yj Xn

一、類神經網路簡介(續) 人工神經元資訊處理模型其中 Yj 表模仿生物神經元模型的輸出訊號 f 表模仿生物神經元模型之轉換函數（transfer function） Wij表模仿生物神經元模型之神經節強度，又稱為連結加權值 Xi 表模仿生物神經元模型之輸入訊號 θj 表模仿生物神經元模型之閥值

一、類神經網路簡介(續) 類神經網路組成單元輸入層：用來輸入外在環境之資訊隱藏層(有些網路模型無此層) ：提供類神經網路表現處理單元間之交互作用，以及所處理問題之內在結構能力輸出層：用來輸出訊息給外在環境

一、類神經網路簡介(續) 倒傳遞類神經網路模型輸入層輸出層隱藏層輸入向量輸出向量

二、類神經網路之類型 ‧監督式學習模型（Supervised learning network） ‧非監督式學習模型（Unsupervised learning network） ‧聯想式學習（Associated learning network） ‧最適化應用網路（Optimization application network）可綜合為四大類

監督式學習模型 範例: 老師在黑板書寫英文字母A B C D，後向學生說明它們是英文字母A B C D，學生開始學習認字。下次老師重新寫上英文字母A B C D，雖然與前次之樣子不太相同，但學生依然可認出其為英文字母A B C D。

非監督式學習模型 範例: 老師在黑板書寫英文字母A B C D，但不向學生說明它們是何字。下次老師重新寫上英文字母A B C D，雖然與前次之樣子不太相同，但學生依然可認出其為前次書寫之英文字母A B C D中之某一個。

聯想式學習 範例: 老師在黑板書寫英文字母A B C D，學生則學習老師之書寫筆順。下次老師重新寫上英文字母A B C D，縱使英文字母之筆畫有部份殘缺，但學生依然可聯想其正確筆順。

最適化應用網路 針對一問題，設定相關變數及對應值，在滿足限制條件下，使得目標函數可達最佳化。

二、類神經網路之類型(續) 監督式學習從問題領域中取得所需之學習範例（必須有輸入變數值和輸出變數值），透過範例之學習以取得輸入變數與輸出變數之對應規則再以此規則應用於新案例之推論（只有輸入值，輸出值則以推論方式取得）。

二、類神經網路之類型(續) 監督式學習常用模型感知機網路（Perception）倒傳遞網路（Back-propagation Network，簡稱BPN）機率神經網路（Probabilistic Neural Network，簡稱PNN）學習向量量化網路（Learning Vector Quantization，簡稱LVQ）反傳遞網路（Counter- propagation Network，簡稱CPN）

二、類神經網路之類型(續) 非監督式學習從問題領域中取得所需之學習範例（只有輸入變數值），透過範例學習找出內在之聚類規則，再以這個聚類規則應用於新的案例之分析。

二、類神經網路之類型(續) 非監督式學習常用模型自組織映射網路（Self-Organization Map，簡稱SOM）自適應共振理論網路（Adaptive Resonance theory Network，簡稱ART）

二、類神經網路之類型(續) 聯想式學習從問題領域中取得所需之學習範例（狀態變數值），透過學習範例導出內在記憶規則，再以這個規則應用於新的案例之分析。

二、類神經網路之類型(續) 聯想式學習常用模型霍普菲爾網路（Hopfield Neural Network，簡稱HNN 雙向聯想記憶網路（Bi-directional Associative Memory，簡稱BAM）

二、類神經網路之類型(續) 最適化應用網路類神經網路除可應用於學習過程外，也可依問題本質來決定其設計變數值，在滿足設計之限制條件下，使得所設計之目標可達於最佳狀態。

二、類神經網路之類型(續) 最適化應用網路常用模型霍普菲爾-坦克網路（Hopfield –Tank Neural Network，簡稱HTN）退火神經網路（Annealed Neural Network，簡稱ANN）

三、類神經網路之運作 類神經網路之運作方式乃模擬人類之學習過程，事前透過學習以取得一些經驗法則，事後則透過聯想方式，比對待解決問題與所記憶之類型。學習與訓練

三、類神經網路之運作(續) 學習與回想型態監督式：範例資料是由代表範例特徵輸入變數向量和代表範例分類或預測目標值之輸出變數共同組成。非監督式：範例資料僅由代表範例特徵輸入變數向量所組成。

三、類神經網路之運作(續) 學習與回想型態聯想式：範例資料僅由代表範例特徵之狀態變數向量所組成（變數同時具有輸入和輸出之特性，是以迭代方式來決定變數值，故稱為狀態變數）。

三、類神經網路之運作(續) 類神經網路運作過程訓練範例未學習網路已學習網路（調整加權值）學習演算法測試範例已學習網路已學習網路（確認精度）回想演算法法待推案例已學習網路待推案例（輸出推論結果）回想演算法法

四、類神經網路之需求能力 高速計算能力龐大的記憶容量學習能力容錯能力優良的類神經網路應具備

貳、類神經網路架構 一、網路構成元素二、處理單元三、網路層的規劃四、網路處理過程五、網路設計綜合探討

一、網路構成元素 類神經網路之組成單元處理單元(processing element) 層(layer) 網路(network)

一、網路構成元素(續) 處理單元(processing element) 為網路最基本單元，通常透過下列函數來處理資料： ‧集成函數 ‧作用函數 ‧及轉換函數

一、網路構成元素(續) 層(layer) 由具有相同作用之若干個處理單元所組成，作用特性可分成三類： ‧輸入層 ‧輸出層 ‧學習層

一、網路構成元素(續) 網路(network) ‧網路是由「層」集合而成 ‧通常具有學習和回想兩種作用

二、處理單元 處理單元之類型 ‧集成函數(summation function) ‧作用函數(activity function) ‧轉換函數(transfer function)

二、處理單元(續) 處理單元間作用關係示意圖作用函數集成函數其它處理單元輸出網路連結 I W f1 X 集成函數值 f2 轉換函數 net Y 作用函數值處理單元輸出 f3

二、處理單元(續) 集成函數集成函數之功能在於將從其它處理單元轉來之資訊加以綜合，可用下式表示：常用的集成函數有下列型式： ‧加權乘積和 ‧歐式距離

二、處理單元(續) 作用函數作用函數之功用在於將集成函數值與處理單元目前之狀態加以綜合，函數型式如下：常用的作用函數有三種型式： ‧直接使用集成函數之輸出 ‧加入前次集成函數之輸出 ‧加入前次作用函數之輸出

二、處理單元(續) 轉換函數轉換函數的功用是將作用函數之輸出值轉換成處理單元之輸出值，函數型式為：常用的轉換函數型式： ‧硬限函數 ‥Perceptron函數（又稱為階梯函數step function）

二、處理單元(續) ‥Hopfield函數 ‥Signum函數

二、處理單元(續) ‥Signum0函數 ‥BAM函數

二、處理單元(續) ‧線性函數 ‥門限型函數 ‥無門限型函數

二、處理單元(續) ‧非線性函數 ‥雙彎曲函數（Sigmoid function） ‥雙曲線正切函數（Hyperbolictangent function）

三、網路層的規劃 隨不同的網路模式而有不同的的作用形態，常用的「層」作用有三種形式： ‧正規化輸出 ‧競爭化輸出 ‧競爭化學習

三、網路層的規劃(續) 正規化輸出正規化輸出是將同一層中的處理單元之原始輸出向量予以正規化，轉成單位長度向量後，才作為層的輸出。

三、網路層的規劃(續) 競爭化輸出競爭化輸出是從同一層中的處理單元之原始輸出向量選擇若干個最強的處理單元，將其值設為1，其餘值設為0，然後將結果作為層的輸出。

三、網路層的規劃(續) 競爭化學習競爭化學習是從同一層中的處理單元之原始輸出向量選擇若干個最強的處理單元（優勝單元），網路只調整與優勝單元相連的下層網路連結。

四、網路處理過程 運作過程可分成兩個階段： ‧學習階段（Learning）學習階段乃將適量的學習範例套入學習演算法，經逐次的學習之後，調整網路連結之加權值。

四、網路處理過程(續) ‧回想階段（Recalling）回想階段乃將適量的測試範例套入回想演算法內，用來測試所建構之網路品質。

四、網路處理過程(續) 類神經網路學習演算法從能量函數（Energy function）的觀點推導演算法，能量函數可用來測度網路之學習效果，學習過程則在於求得能量函數之最小化。

類神經網路 在智慧型管理決策之應用