訓 練 評 估

1. 訓 練 評 估 Chapter 6

2. 第6章　訓練評估 學習目標 詳讀本章之內容後，讀者應可達成下 列目標： 1.解釋員工訓練的重要性。 2.了解並選擇成果以評估訓練計畫。 3.試討論用以計畫並執行一良好訓練 評估的過程。

3. 第6章　訓練評估 4.探討不同評估設計的優缺點。 5.根據公司的特性及該訓練的重要性與 目的，選擇適當的評估設計。 6.主導一訓練計畫之成本利潤分析。

4. 第6章　訓練評估 引　言 ˙訓練效益（training effectiveness）就 是公司與受訓人員因員工訓練所蒙受的利 益。 ˙訓練成果或是訓練準則 （training outcomes or criteria）乃 指訓練人員與公司用以評估訓練計畫的衡 量法，為決定該計畫的有效性，Walgreen 必須主導一項評估。

5. 第6章　訓練評估 ˙訓練評估（training evaluation）係蒐 集各種訓練成果以決定員工訓練是否有效 的過程。 ˙評估設計（evaluation design）意指為 決定訓練計畫的效益，應先了解誰需要資 訊；需要什麼資訊；何時需要資訊；以及 如何蒐集所需的資訊。

6. 第6章　訓練評估 為何需作訓練評估？ ˙訓練評估包括形成式評鑑與總結式評鑑。 ˙形成式評鑑（formative evaluation）乃是 改善訓練過程的評估，亦即，形成式評鑑乃 為協助確保： (1)該訓練計畫組織良好且能順利運作； (2)受訓人員得以順利學習且對此一計畫感到 滿意。

7. 第6章　訓練評估 ˙領航員測試（Pilot testing）乃是和潛在受 訓人員、經理人或是顧客（泛指那些支付該計 畫發展費用的人）預先演練訓練計畫的過程。 ˙總結式評鑑（summative evaluation）則是對 於受訓人員參與訓練計畫後，致使其能力改變 程度的評估 。 ˙總結式評鑑經常運用測驗、行為評等、或是諸 如銷售量、意外事件、專利權等績效之目標衡 量法來蒐集計量資料。

8. 第6章　訓練評估 從針對形成式與總結式評鑑所做的探討，你 可能更加清楚為什麼一項訓練計畫需要作評 估： 1.了解該計畫的優缺點，這包括決定此計畫 是否滿足學習目標；學習環境的品質以及 訓練遷移是否確實在工作崗位上發生。 2.評估該計畫的行程、提供的膳宿、訓練人 員以及資料等訓練的內容；組織與管理是 否有助於員工學習，以及將訓練的內容應 用在工作上。

9. 第6章　訓練評估 3.了解受訓人員自此一計畫中，受益最多與 最少的是什麼。 4.詢問參與訓練的員工是否會推薦其他人來 參加此一計畫；為什麼參加這個計畫；以 及他們對這個計畫的滿意度等，蒐集可供 行銷計畫使用的資料，決定該項計畫的利 潤與成本。

10. 第6章　訓練評估 5.比較訓練與非訓練投資（如工作設計 或是一個更佳的員工甄選系統）的成 本與利潤。 6.比較不同的訓練計畫之成本與利潤， 以選擇一最佳計畫。

11. 第6章　訓練評估 評估過程總覽 圖6-1　　評估過程

12. 第6章　訓練評估 運用於評估訓練計畫的成果 表6-1即D.L.Kirkpatrick將訓練成果加以分類 的四層次架構： ˙第一、二層的判斷準則（反應與學習）都是 在受訓人員回到他們的工作崗位前所蒐集到 的。 ˙第三、四層判斷準則（行為與結果）則是衡 量受訓人員將訓練內容應用到工作上的程度 ，亦即，第三、四層判斷準則係用來取決訓 練遷移的大小。

13. 第6章　訓練評估 表6-1Kirkpatrick之四層次評估判斷準則架構

14. 第6章　訓練評估 訓練成果可以分為以下五種類型： 1.認知成果、 2.技能本位成果、 3.情感成果、 4.結果、 5.投資報酬。

15. 第6章　訓練評估 認知成果 ˙認知成果（cognitive outcomes）乃是用 來取決受訓人員對於在訓練計畫中所強調 的原則、事實、技巧、程序或是過程的熟 悉程度，認知成果──係包括Kirkpatrick 架構中的第二階段（學習）的判斷準則在 內──乃用來衡量受訓人員在訓練計畫裡 所學習的知識。

16. 表6-2 在評估訓練計畫中，所使用的成果

17. 表6-3　　用以衡量學習之測驗題樣本

18. 第6章　訓練評估 技能本位成果 ˙技能本位成果（ski11-based outcomes）係 用來評估技術水準、動作技能或是行為的成 果，技能本位成果包括技能的取得或是學習 （技能學習），以及將這些技能運用在工作 上（技能遷移）。 ˙藉由模擬物等方法來觀察受訓人員在工作樣 本上的種種表現，可以衡量他們所學習到的 技能範圍。技能遷移經常可透過實地觀察來 取決。

19. 第6章　訓練評估 情感成果 ˙情感成果（affective outcomes）包含了 態度與動機。其中一種情感成果乃是受訓 人員對訓練計畫的反應。 ˙反應成果（reaction outcomes）即受訓 人員對於訓練設備、訓練人員與受訓內容 在內之訓練計畫的知覺（反應成果經常被 視作對「物質享受」的一種衡量法）。

20. 第6章　訓練評估 ˙反應成果通常都要藉由受訓人員所完成的 問卷來蒐集 ˙情感成果可以利用調查法來衡量，員工對 某件事物關切的態度完全取決於其訓練計 畫的目標。

21. 表6-4　　行為衡量評等表之樣本

22. 第6章　訓練評估 表6-5　　反應衡量之樣本

23. 第6章　訓練評估 結　果 ˙結果（results）係用來決定訓練計畫所 創造之報酬多寡的成果，結果的例子有降 低因員工離職或是意外事件所衍生的額外 成本，增加產量以及改善產品品質或是顧 客服務。

24. 第6章　訓練評估 投資報酬 ˙投資報酬（return on ivestment, ROI）乃 是訓練計畫所創造的貨幣性利益與其投入成 本的比較，訓練成本包括直接與間接成本。 ˙直接成本（directed costs）包括受訓人員 、講師、顧問與設計該計畫的員工在內之所 有參與訓練的員工薪資與福利；訓練計畫耗 用的各種資料與物資、購買或是租用設備、 教室的費用以及交通費等成本。

25. 第6章　訓練評估 ˙間接成本（indirect costs）則是和該訓 練計畫的設計、發展與傳遞無直接關聯的 成本，它們通常是一般辦公設備以及其他 相關費用；與該計畫無直接關聯的交通費 ；與任何一項計畫皆無關聯的訓練部門管 理階層與職員的薪資；以及行政部門及其 職員的支援薪資。 ˙利潤（benefits）則是指公司從訓練計畫 中所獲得的價值。

26. 第6章　訓練評估 如何得知成果孰好、孰壞？ 相關性 ˙準則相關性（criteria relevance）乃是在 訓練計畫中，訓練成果與訓練內容兩者所強 調的應習得的能力之間的相關程度。 ˙準則牽制（criteria contamination）係將 訓練成果用來衡量不適當的能力，或是訓練 成果受到外在條件影響的程度。

27. 第6章　訓練評估 圖6-2　　準則不足、相關性與牽制

28. 第6章　訓練評估 ˙評斷準則也會有不足的情況發生，準則不足 （criteria deficiency）意指無法衡量訓練 目的所強調的訓練成果。 ˙圖6-3乃訓練計畫的不同目標；以及其在評 估成果的選擇上所具備的意涵，訓練計畫的 目標通常和學習與遷移有關，換句話說，它 們希望受訓人員除了習得知識與認知技能外 ，同時也能夠把這些知識或是策略展現在他 們工作崗位的行為上。

29. 第6章　訓練評估 圖6-3　　訓練計畫目標與其對訓練評估的意涵

30. 第6章　訓練評估 信　度 ˙信度（reliability）就是訓練成果不因時 間而改變；其衡量的成果保持一致性的程 度。 鑑別度 ˙鑑別度（discrimination）就是受訓人員在 某訓練成果上的績效表現，真實地反應出訓 練績效與實際狀況間的差異程度。

31. 第6章　訓練評估 實際性 ˙實際性（practicality）意指蒐集成果衡 量的容易度。 ˙企業不願在其訓練計畫評估中納入學習、 績效與行為成果的理由是： 蒐集這些成果的負荷過重（這樣做會花費 公司許多時間與精力）。

32. 第6章　訓練評估 評估實務 圖6-4　　訓練評估實務

33. 第6章　訓練評估 評估設計 效度威脅：評估結果之另類解釋 ˙表6-6列出對於評估的效度威脅，效度威脅 （threats to validity）乃泛指會引發某 人產生質疑的因素，這些因素有： (1)研究結果的可信度； (2)評估訓練結果適用於其他群體的受訓人員 與情境的程度。

34. 第6章　訓練評估 控制效度威脅的方法 在此有三個將效度威脅極小化的方法： 1.訓練前與訓練後測試、 2.比較群體的使用 3.隨機分派。

35. 表6-6　　效度威脅

36. 第6章　訓練評估 訓練前與訓練後測試 ˙改善研究結果內部效度的方法之一，就是 先建立衡量該成果的底線或是訓練前衡量 （pretraining measure），另一成果衡量 可以在訓練結束後再採行，這就是所謂的 訓練後衡量（posttraining measure）。

37. 第6章　訓練評估 比較群體的使用 ˙比較群體（comparison group）是指有參與評 估研究，但未投入訓練計畫的員工，比較群體 所具備的個人特性（如性別、教育、年齡、年 資、技能水準）會儘可能與受訓人員相雷同。 ˙我們可以作出以下合理的結論：訓練（並非是 像詢問受訓人員與比較群體參加研究時，所投 注的注意力等諸如此類的因素）對於員工安全 工作行為上的顯著差異負有責任。

38. 第6章　訓練評估 隨機指派 ˙隨機指派（random assignment）係按機 率指派員工參與訓練計畫，或是成為比較 群體的一員。 ˙要注意的是隨機指派通常不太切合實際， 公司通常想要那些需要接受訓練的員工參 與訓練。

39. 第6章　訓練評估 評估設計的類型 表6-7　　各評估設計之比較

40. 第6章　訓練評估 僅有訓練後測試 ˙僅有訓練後測試（posttest-only）設計 意指僅蒐集訓練後成果之評估設計，如果 再增加比較群體的話（指可協助排除對於 改變的其他說法），當預期受訓人員（若 有採用比較群體的話，亦應納入）擁有類 似訓練前的知識、行為或是結果的水準時 （例如，相同的銷售數字），則適合採取 僅有訓練後測試。

41. 第6章　訓練評估 訓練前測試／訓練後測試 ˙訓練前測試／訓練後測試(pretest/posttest) 是指蒐集訓練前和訓練後成果衡量之評估 設計。 ˙這種設計並沒有比較群體，正因為缺乏比 較群體致使欲排除企業條件的影響，或是 解釋改變的其他因素的工作 變得較為困難。

42. 第6章　訓練評估 訓練前測試／訓練後測試暨比較群體 ˙訓練前測試／訓練後測試暨比較群體 （pretest/posttest with comparison group） 係包括受訓人員與比較群體在內的評估設計 ，成果衡量乃蒐集自訓練前與訓練後兩個群 體，如果訓練群體的進步較比較群體來得大 ，那麼就表示該訓練造成了改變，這種類型 的設計控制了大部分的效度威脅。

43. 第6章　訓練評估 表6-8　　訓練前測試／訓練後測試暨比較群體設計之實例

44. 第6章　訓練評估 時間數列 ˙時間數列（time series）是指定期在訓練前與 訓練後，蒐集訓練成果之評估設計（在其他已 經討論過的評估設計裡，其訓練成果只在訓練 前後各蒐集一次），時間數列設計亦可以採用 比較群體。 ˙它的優點之一是隨著時間流轉，訓練成果分析 將仍具有穩定性，此類設計通常都是用來評估 那些重點放在改善諸如意外事件發生率、生產 力或是缺勤率等極易觀察到成果之訓練計畫。

45. 第6章　訓練評估 表6-9　　時間數列設計之實例

46. 第6章　訓練評估 所羅門四群體 ˙所羅門四群體（solomon four-group）設計 ，乃是結合了訓練前測試／訓練後測試暨比 較群體以及僅訓練後測試之控制群體設計， 在所羅門四群體設計裡，其中一個訓練群體 與比較群體的成果，乃於訓練前與訓練後進 行衡量，而另一訓練群體與控制群體則僅於 訓練後才做衡量，這項設計控制了大部分內 在與外在效度威脅。

47. 第6章　訓練評估 表6-10　　所羅門四群體設計實例

48. 第6章　訓練評估 在選擇評估設計時，應有的考量 我們有幾個理由可以用來說明為什麼不作評 估： ˙首先，經理人與訓練人員可能不會願意花 費大把的時間與精力去蒐集訓練成果。 ˙其次，經理人或是訓練人員可能欠缺這方 面的專業知識去主導一項評估研究。 ˙第三，公司可能會把訓練視作只能回收一 點或是毫無回收的投資。

49. 第6章　訓練評估 若是具備以下情況，你就應該考慮一份比較 嚴謹的評估設計（訓練前測試／訓練後測試 暨比較群體）： 1.評估的結果可以用來改變該計畫。 2.該訓練計畫會一直持續進行；且具有影響 許多員工（與顧客）的潛能。 3.此一訓練計畫涵蓋許多課程與 受訓人員。

50. 第6章　訓練評估 4.訓練成本證明乃是依據許多指標做成的（在 這裡，公司具有十分強烈的評估導向）。 5.你，或者其他人皆具備製作評估設計以及分 析評估研究中各項資料的專業知能（或是擁 有從外界購入專業知能的預算）。 6.訓練成本創造出一個顯示 這項訓練確實有效的需求。