slide1 n.
Download
Skip this Video
Loading SlideShow in 5 Seconds..
第 23 章 類神經網路 PowerPoint Presentation
Download Presentation
第 23 章 類神經網路

Loading in 2 Seconds...

play fullscreen
1 / 30

第 23 章 類神經網路 - PowerPoint PPT Presentation


  • 110 Views
  • Uploaded on

第 23 章 類神經網路.  本章的學習主題  1. 類神經網路的基本概念 2. 類神經網路之應用 3. 倒傳遞類神經網路 4. 類神經網路之運算注意事項 5. 類神經網路 STATISTICA 軟體操作範例說明. 23.1 類神經網路的基本概念 . 一種計算系統,包括軟體與硬體,它使用大量簡單的相連人工類神經元來模仿生物神經網路的能力。人工神經元是生物神經元的簡單模擬,它從外界環境或者其它人工類神經元取得資訊,並加以運算,再輸出其結果到外界環境或者其它人工神經元。 . 圖 23 - 1 生物神經網路結構 . 圖 23 - 2 人工神經元結構 .

loader
I am the owner, or an agent authorized to act on behalf of the owner, of the copyrighted work described.
capcha
Download Presentation

PowerPoint Slideshow about '第 23 章 類神經網路' - bly


An Image/Link below is provided (as is) to download presentation

Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author.While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server.


- - - - - - - - - - - - - - - - - - - - - - - - - - E N D - - - - - - - - - - - - - - - - - - - - - - - - - -
Presentation Transcript
slide1
第23章 類神經網路

本章的學習主題 

1.類神經網路的基本概念

2.類神經網路之應用

3.倒傳遞類神經網路

4.類神經網路之運算注意事項

5.類神經網路STATISTICA軟體操作範例說明

企業研究方法 第 23 章

slide2
23.1 類神經網路的基本概念

一種計算系統,包括軟體與硬體,它使用大量簡單的相連人工類神經元來模仿生物神經網路的能力。人工神經元是生物神經元的簡單模擬,它從外界環境或者其它人工類神經元取得資訊,並加以運算,再輸出其結果到外界環境或者其它人工神經元。

企業研究方法 第 23 章

slide3

圖 23 - 1 生物神經網路結構

圖 23 - 2 人工神經元結構

企業研究方法 第 23 章

slide4

圖 23 - 3 簡單的類神經網路

企業研究方法 第 23 章

slide5
一、類神經網路的分類

(一)依學習策略分類

1.監督式學習網路 (supervised learning network)

2.無監督式學習網路(unsupervised learning network)

3.聯想式學習網路(associate learning network)

4.最適化應用網路(optimization application network)

企業研究方法 第 23 章

slide6
(二)依網路架構分類

1. 向前式架構:神經網路由神經元分層排列,形成輸入層、隱藏層、

輸出層。每一層只接受前一層的輸出作為輸入,稱前向式架構。

圖 23 - 4 前向式架構

企業研究方法 第 23 章

slide7
2. 回饋式架構:即輸出層神經元的資訊回饋到輸入層,或層內各神經元間有連結者,或神經元不分層排列,只有一層,各神經元均可相互連結者稱回饋式架構。

圖 23 - 5 回饋式架構

企業研究方法 第 23 章

slide8

加權值

未學習網路

訓練範例

已學習網路

+

+

學習演算

加權值

二、類神經網路運作範例

類神經網路的運作範例大致上分為三種:

(一)訓練範例

1. 監督式訓練範例:由代表範例特徵的輸入變數資料,與代

範例預測或分類的目標輸出變數資料共同組成。

2. 無監督式訓練範例:由代表範例特徵的輸入變 數資料組成。

3. 聯想式訓練範例:由代表範例特徵的狀態變數資料組成,該

變數值既是輸入亦是輸出,以替代方式決定變數值。

企業研究方法 第 23 章

slide9

評估

推論

精度

推論輸出值

測試範例

待推案例

已學習網路

待推案例

+

+

回想演算法

回想演算法

已學習網路

已學習網路

+

+

(二)測試範例

測試範例為評估已學習網路之學習效果所使用的範

例,其形式與訓練範例相同。該範例只使用回想演算

法得到推論輸出值,之後與目標輸出值比較,以評估

網路學習的精確度。

(三)待推案例

網路學習完後,可用網路推論待推案例的結果。待推

案例沒有目標輸出變數資料。網路根據待推案例之輸

入變數資料,透過回想演算法,推論出輸出值。

企業研究方法 第 23 章

slide10
三、類神經網路的基本架構

類神經網路的基本架構可分三個層次:

(一)處理單元的作用可用三個函數來說明

(二)層(layer)

(三)網路 (network)

企業研究方法 第 23 章

slide11

(一)處理單元的作用可用三個函數來說明

1. 集成函數(summation function):將輸入變數

資料或前一層神經元之輸出與連接加權值加以

綜合,即 I = f (W, X)。常用的函數包括加權乘

積和與歐氏距離等。

2. 作用函數(activity function):將集成函數值與

神經元狀態加以綜合,通常是直接使用集成函

數輸出,即netjn = Ijn

企業研究方法 第 23 章

slide12

3. 轉換函數(transfer function):將作用函數輸出值

轉換成處理單元輸出,即Yj = f (netj)。常用函數

包括硬限函數、線性函數與非線性數函數。

企業研究方法 第 23 章

slide13
(二)層(layer)

若干個具有相同作用的處理單元集合成「層」。

層本身有三個作用:

1.正規化輸出:將同層中的處理單元的原始輸出值加以

正規化,作為「層」的輸出。

2.競爭化輸出:在同層的所有處理單元之原始輸出值

中,選擇一個或數個最強值的處理單元,令其值為1,

其餘為0後,再作為「層」的輸出。

3.競爭化學習 :在同層的所有處理單元之原始輸出值

中,選擇一個或數個最強值的處理單元,網路將只調

整與該單元相連的下層網路連結。

企業研究方法 第 23 章

slide14
(三) 網路 (network)

網路本身有兩種作用:

1. 學習過程(learning):從範例中學習,以調整網

路連接加權值的過程。

2. 回想過程(recalling):以輸入資料決定網路輸

出資料的過程。

企業研究方法 第 23 章

slide15
23.2 類神經網路之應用

類神經網路的應用極為廣泛,在工業與工程方面的應用包含工業與工程資料分析、工業與工程故障診斷、工業與工程決策諮詢、工業與工程製程監控、工業與工程最適化問題求解;在商業與金融方面的應用包括商業決策、商業預測、商業分析;在科學與資訊方面的應用包括醫學疾病診斷、醫學影像診斷、氣象預測、化學儀器分析解釋、複雜現象映射與模式化、感測資料分類、軍事目標追蹤、犯罪行為聚類分析、性向測驗分析、資料庫聯想搜尋、電腦輔助教學、電腦音樂、專家系統等。

企業研究方法 第 23 章

slide16

表 23 - 1 類神經網路架構模式

企業研究方法 第 23 章

slide17
23.3 倒傳遞類神經網路

倒傳遞網路是應用一個訓練範例的一輸入值向量X,與一目標

輸出向量T,修正網路加權值W,而達到學習的目的。基本原

理是利用最陡坡降法的觀念,將誤差函數予以最小化。

  • 誤差函數
    • Tj=輸出層目標輸出值
    • Aj=輸出層推論輸出值

企業研究方法 第 23 章

slide18
一、網路架構
  • 輸入層:輸入變數資料,該層處理單元數目依問題而定。處理單元之轉換函數為線性函數,亦即 f(x)=x。
  • 隱藏層:表現輸入層處理單元間的交互影響。處理單元之轉換函數為非線性函數。
  • 輸出層:輸出變數,該層處理單元數目依問題而定。處理單元之轉換函數為非線性函數。

倒傳遞網路在隱藏層與輸出層之非線性轉換函數,最常使用雙彎曲函數,即

企業研究方法 第 23 章

slide19

圖 23 - 6 倒傳遞類神經網路模型

企業研究方法 第 23 章

slide20
23.4 類神經網路運算注意事項
  • 資料的準備—樣本數
  • 若樣本數接近所需估計的權重數時,就會產生過度配適(over-fitting)的情形,使模型失去通則性(generalizability)。
  • 樣本數應為五至10倍的連結權重數。
  • 連結權重數未知時:
    • 樣本數則為輸入變數數目的平方值
    • 樣本數≧c×(輸入變數數目×輸出變數數目)
  • 隨機分配樣本為訓練樣本與測試樣本

企業研究方法 第 23 章

slide21
23.4 類神經網路運算注意事項
  • 資料的準備—檢視資料
  • 輸入變數應使用計量資料:對於非計量變數值應重新編碼。
  • 極端值應被仔細地考慮甚至刪除。
  • 變數標準化。

企業研究方法 第 23 章

slide22

23.4 類神經網路運算注意事項

  • 定義模型架構
  • 隱藏層層數
    • 一般問題可取一層隱藏層,較複雜的問題則取二層隱藏層。
  • 隱藏層處理單元數目
    • (輸入層單元數+輸出層單元數)/2
    • (輸入層單元數*輸出層單元數)1/2
    • 若問題複雜度較高,隱藏層單元數目宜多。
    • 若測試範例之誤差值遠高於訓練範例之誤差值,則隱藏層單元數目應減少,反之,則應增加。

企業研究方法 第 23 章

slide23

23.4 類神經網路運算注意事項

  • 模型估計
  • 在網路的訓練過程中,訓練範例與測試範例的誤差值均會逐漸降低,但若測試範例的誤差停止下降,甚至開始上升時,則表示有過度訓練的情形發生,因此研究者應在測試範例之誤差上升前即停止訓練。

企業研究方法 第 23 章

slide24

23.4 類神經網路運算注意事項

  • 評估模型結果

評估模型包括評估輸出變數的預測或分類水準。在預測的問題上,通常使用誤差均方根來評估模型;在分類的問題中,可利用分類矩陣(classification matrix)來計算出個案被正確分類的機率是多少。

企業研究方法 第 23 章

slide25

23.4 類神經網路運算注意事項

  • 模型效度

最後一步是要確認所找到的解是整體最適且要

盡可能的一般化。,研究者應該使用不同的處

理單元數目去測試,以確定不可能再達到更好

的解。

企業研究方法 第 23 章

slide26
模型之評估指標

企業研究方法 第 23 章

slide27
六、使用類神經網路之優缺點
  • 類神經網路的能力可處理複雜的關係,特別是非線性的關係。
  • 預測及分類。
  • 無法針對輸入變數的相對重要性以及變數間的相關提供解釋。

企業研究方法 第 23 章

slide28
範 例

1.信任關係(SCF1)

2.互惠關係(SCF2)

3.互動關係(SCF3)

4.顧客資本(IC_CF)

5.人力資本(IC_HF)

6.結構資本之交易成本導向(IC_SF1)

7.結構資本之創新運作導向(IC_SF2)

8.集權化(OOMF1)

9.正式化(OOMF2)

知識管理績效(KMEF)

企業研究方法 第 23 章

slide29
範例結果—類神經網路權重

企業研究方法 第 23 章

slide30
範例結果—模式之評估

企業研究方法 第 23 章