公部門績效評估之現況與展望及從績效評估觀點談求職面試

1. 公部門績效評估之現況與展望及從績效評估觀點談求職面試公部門績效評估之現況與展望及從績效評估觀點談求職面試 李翎竹 博士/組長 國研院政策中心 明志科技大學、2012/2/23

2. 演講大綱 政府績效評估之目的與挑戰 研究機構組織績效評估之作法：以農業為例 美國NSF評估指南 績效回饋的作法 績效評估與求職面試 2

3. 公部門績效評估 緣起 • 產業模式的改變：創新驅動 • 政府預算赤字的增加 政府績效評估目的 • 課責性(accountability) • 學習(learning) 3

4. 公部門績效評估的挑戰 效益評估層面 執行層面 績效評估與資源分配連結？ 外部性效益不易評估 政府的思維模式，大政府或小政府？ 績效評估的文化，使命必達？ 效益的遞延性 應著重長期或短期的效益？ 4

5. 研究機構組織績效管理制度特色 國外農業研究機構組織績效評估資料分析結果

6. 各國績效管理制度特色_1 日本 依據「政府投資研發評估指導綱要」進行。 要求組織均應設計出一套針對該組織的評估指導綱要的方式，增加評估制度的適用性，強迫組織於設計過程中重新檢視整體組織的運作流程，評估可改善與加強的部份，並對自己所設計出的評估綱要負責。 資訊的公開，使得評價作業的運作能更務實與公正客觀，也能刺激出組織間的潛在競爭意識，進而提升組織整體績效表現。 資料來源：國外農業研究機構組織績效評估資料分析結果 6

7. 各國績效管理制度特色_2 美國 依據「政府績效與成果法案」(Government Performance & Results Act, GPRA)進行。 農業研究署年度績效報告中包含組織功能與業務的介紹、設定機構整體目標與達成之措施、建立適合且可衡量之量化指標，並說明當年目標達成狀況與下年度計畫等資訊。 層次分明的目標設定及運作過程中，關鍵效益提示與表達。 資料來源：國外農業研究機構組織績效評估資料分析結果 7

8. 各國績效管理制度特色_3 英國 依據根據「公共服務協定 (Public Service Agreement, PSAs)」進行。 要符合該國內部PSAs對於組織的規範，同時還需要符合歐盟協會的規範。 歐洲共同監督與評估手冊（Common Monitoring and Evaluation Framework），教導機構如何設定目標及設計指標，並將指標分成一般指標與特殊指標，且均有提供參考指標。 資料來源：國外農業研究機構組織績效評估資料分析結果 8

9. 各國績效管理制度特色_4 荷蘭 清楚制訂組織四年內發展策略與績效衡量方法，並要求每四年重新檢視組織發展策略與目標，以避免組織策略的設定與現實脫勾。 組織績效評估的週期為每年進行，並比較過去與現在表現的差異並具體分析原因，以作為改善的方向與調整優先領域的建議。 每年以「Distance-to-target」之方式檢視目標的達成度，該方法之優點在於可使組織專注於長期目標的發展及認真思考未來達成的目標值。 資料來源：國外農業研究機構組織績效評估資料分析結果 9

10. 各國績效管理制度特色_5 國際糧食政策研究所─組織績效評估系統(OPAS) 1 將績效限制加入的分數之計算，以正確的評估組織的各項績效，避免因先天環境不良而產生績效表現不佳之衡量偏誤。 2 強調組織的評估作業應視各組織的特色量身定做，並設計出各組織為達成不同目標的指標，以能順利且正確的進行評估作業，將組織作業與組織目標相結合。 資料來源：國外農業研究機構組織績效評估資料分析結果 10

11. 我國組織績效管理制度現況問題分析 我國農業研究機構的組織願景、目標及組織短、中、長期規劃的契合度不足 我國目前的評估模式缺乏協助受評單位發掘問題與改進之機制 評估模式中應建立客觀量化的評比標準 形成專家問卷13項建議項次 資料來源：國外農業研究機構組織績效評估資料分析結果 11

12. 專家問卷調查與結果 應訓練組織內部成員，使其瞭解績效管理的重要性，且需仔細考量執行時所遭遇的困難與解決方案。 各研究機構的責任或目標，原則上應是在於協助農委會解決該政策議題，所以其績效應該在於該政策議題被解決的程度（幅度及品質）及投入資源的妥適性。 績效評估必須從完整的規劃-執行-檢視的循環中反省，而且資源分配時，如果發現有機構無法達成解決政策議題的目標，則應彈性地引進競爭者與其競爭，以突顯績效。 資料來源：國外農業研究機構組織績效評估資料分析結果 12

13. 對我國農業研究機關組織績效管理制度提出之規劃建議對我國農業研究機關組織績效管理制度提出之規劃建議 1 研究機關應依據國家總體農業政策或施政計畫等上位指導方針撰寫年度計畫書，作為組織績效評估之依據。 2 研究機構組織目標與績效指標之設置，應依各機構功能與特色量身訂定。 3 建立研究機關適用之績效評估手冊，具體規範各項客觀量化評比指標。 4 建立良好誘因制度，強化組織績效管理制度之落實。 資料來源：國外農業研究機構組織績效評估資料分析結果 13

14. 美國國家科學基金會計畫評估手冊

15. 報告大綱 手冊製作目的 評估概念與類型 執行評估步驟 量化與質化資料蒐集概觀 回應文化議題的評估策略 15

16. 手冊製作目的 該手冊提供計畫管理者瞭解國家科學基金會(NSF)評估教育計畫的基本指南。 • 旨在幫助人們對於「評估能做什麼」及「如何進行評估」能有更多的了解。 • 「評估能做什麼」：增加計畫管理者對於評估過程的瞭解，以及知道NSF對 • 於計畫評估的需求 • 「如何進行評估」：協助他們有效地與評估者溝通並管理本身計畫評估 16

17. NSF進行評估的主要原因… 評估可以提供改善計畫的資訊 • 評估是計畫管理週期的一環節 規劃/修改計畫 評估計畫 需求評估及評估基線的蒐集 執行計畫 17

18. NSF進行評估的主要原因… 評估提供利益關係人彼此溝通的資訊 • 評估使計畫證明本身的價值 • 它也可以讓計畫管理者透過評估來告訴高層決策者瞭解其投資效益 18

19. 手冊內容 評估概念與類型 執行評估步驟 量化與質化資料蒐集概觀 回應文化議題的評估策略 19

20. NSF之評估層次(1) • Program vs. Project 大型計畫 (program) 計畫/專案 (project) • 由大型計畫所資助的特 • 別調查或活動。 • 一個大型計畫包含 • 一群不同計畫/專案，用來滿足 • 一連串的目標和目的 20

21. Program projectC projectB projectA 關 鍵 要 件 2 關 鍵 要 件 1 關 鍵 要 件 1 關 鍵 要 件 1 關 鍵 要 件 2 關 鍵 要 件 2 NSF之評估層次(2) • Program Evaluationvs. Project Evaluation 21

22. 手冊內容 評估概念與類型 執行評估步驟 量化與質化資料蒐集概觀 回應文化議題的評估策略 22

23. Step 1 Step 2 Step 6 Step 5 Step 3 Step 4 建立專案概念模型及確定關鍵評估要點 建立評估問題並定義可衡量的效益 設計評估 蒐集資料 分析資料 將評估結果整理成報告並推廣給有興趣的人 執行計畫評估之六步驟 23

24. 步驟一：建立專案概念模型及確定關鍵評估要點步驟一：建立專案概念模型及確定關鍵評估要點 • 一個典型的模型包含四個元素： 投入 支持專案的各種資金和資源來源。 活動 描述專案特定的要點如服務、資料、活動。 短期產出 立即呈現專案活動的結果。 長期效益 是更廣泛、更持久地影響系統的成效。 24

25. 國家科學基金會(NSF)之概念模型 投入 活動 短期產出 長期效益 採用高品質課程 與材料 挑戰制度性的 教學 國家科學基金會 資金 有效利用新教材 和課程 增強學生的學習 和表現 通過鼓勵查詢和 問題解決作為新 教學方法 地方和國家 資金 形成基於標準的 專業發展的擴展 改善學生的成就 其他專業發展 補助 檢視新的政策 制定多樣化群 體教學需求 25

26. 步驟二：建立評估問題並定義可衡量的效益 • Step2.1：確定重要的利益關係人 發展評估時，在計畫的早期「確認利益關係人」和「借鑒其知 識作為計畫的雛型」是評估設計階段最重要的。一個重要的利 益關係人對計畫的各個要點是重要的，像是解決問題、確定可 信證據的來源、檢視結果和協助計畫的解釋。 26

27. 步驟二：建立評估問題並定義可衡量的效益 Step2.2 列出利益關係人有興趣潛在的評估問題 確認潛在資訊需求的過程，使規劃評估的人員可做出明確的決定，也讓他們在評估問題中做出明智的選擇。以下列出每一個潛在問題應思考的基礎原則： • 所蒐集資訊對NSF目標和計畫利益關係人的貢獻程度 • 誰會使用這些資訊 • 問題所回應的答案是否對現階段無法提供有效資訊 • 這些資訊對於主要群體或幾個利益相關人是重要的 • 資訊是否引起持續性關注和利益 • 如何將問題轉為可衡量的項目 • 在有限資源下如何獲得可能的資訊 27

28. 步驟二：建立評估問題並定義可衡量的效益 Step2.3 定義可衡量的效益 重點在於要如何把目標轉化成可衡量目的。有以下幾點： • 簡述該計畫目的 • 指出上述該計畫的總體目標 • 盡可能清楚地說明評估的目標 • 將目標進一步的分解？須清楚地具體描述所希望看到的記錄或需更改的地方 • 如果目標不是可衡量的，那麼就需要重新制定 • 一旦完成以上的步驟，回到步驟三然後寫下一個目標，繼續完成步驟四、五、六 Step2.4 將評估問題做優先次序和刪除不必要的評估問題 視所提供資源的可行性，如：時間、經費、人員專業能力。 28

29. Step 1 Step 2 Step 3 Step 4 Step 5 Step 6 建立專案概念模型及確定關鍵評估 要點 建立評估問題並定義可衡量的效益 將評估結果整理成報告並推廣給有興趣的人 設計評估 蒐集資料 分析資料 Step 3.1 Step 3.2 選擇適當方法論和資料收集工具 確定對象與時間 29

30. 步驟三：設計評估 Step3.1 選擇適當方法論和集資料收集工具 量化(數字)和質化(文字)是一般性的方法論。在發展評估設計時，兩種一般性的方法論的方法－量化和質化－經常被視為替代方案。以數字來描述量化資料和以文字來描述質化資料是這兩種方法明顯的區分方式。 Step3.2 確定對象與時間 設計開發時還需要考慮其他因素，例如使用對照組、時間、順序和資料蒐集的頻率。 30

31. 步驟四：蒐集資料 Step4.1 獲得必要的許可和權限 首先在資料蒐集前，須取得必要的許可和權限。許多團體尤其是教育體系都建立一套程序來獲得有關學生、老師、或計畫的資料。 Step4.2 考慮受訪者任何的需要及敏感的問題 考量參與者的需求，部份評估可能對於參與者是具威脅性的，所以必須告訴參與者說明資料為何被蒐集和結果如何被使用。 31

32. 步驟四：蒐集資料 Step4.3 確保蒐集資料的人員能得到充分培訓並以客觀、公正態度運作 旨在讓資料蒐集了解相互之間的辭語，使得能夠讓雙向進行溝通並讓相互理解的程度最大化。 Step4.4 盡可能從很多的樣本中獲得資料 試圖取得更多成員的資料，調查結果的有效性不僅取決於如何選擇的樣本及取得資料選擇學習的成功程度。 Step4.5 減少正在進行工作的干擾原因 盡可能蒐集少受到外部因素干擾的資料。 32

33. 步驟五：分析資料 Step5.1 檢查原始資料，並準備進行分析 量化資料分析中檢查其資料是否可能脫節或是不可能發生的資料。如果這種問題反應發現，則可能需要消除該計畫的項目。 Step5.2 在評估計畫基礎上進行初步評估分析 使用方便的統計軟體進行資料分析，然而分析人員仍然需要小心所使用的資料搜集是否滿足該技術使用的假設。 Step5.3 在初步結果上進行深入的分析 初步分析會引起很多不同結果，因此例如：第一次分析研究教師整體的績效，而第二次分析可能是對群組細分成若干小組進行分析。這些分析週期可能經過幾次的重覆。 Step5.4 整理成報告 最後的任務是選擇分析來做呈現，將分散的分析整合到整體情況然後建立有關資料的結論。 33

34. 步驟六：將評估結果整理成報告 Step6.1 一份正式的報告需包含以下內容： 摘要部分：描述研究的摘要與結論。 背景：包含需要解決的問題、相關的文獻回顧、計畫目標、預期計畫可衡量的成果等等。 評估研究問題：根據不同利益相關人所需的資訊。 評估程序：旨在告訴評估人員如何抽樣受訪人員及樣本的個數等等策略。 資料分析：所使用的問卷調查、所選擇的參與樣本等等都是重要的區別特色。 結論與建議：報告結論的部份是更具有廣泛基礎和總結性發言的結果，涉及計畫評估問題的結果與總體規劃的目標。 34

35. 步驟六：推廣給有興趣的人 Step6.2 在計畫評估最後一步驟就是推廣 將研究結果分享給列表上的各利益關係人是有益的，尤其直接參與計畫的人、企業成員或政治團體等。在建立推廣時，有兩方面需要考量： 不同團體所需要的資訊是什麼。 向利益關係人傳達資訊最好的方式。 35

36. 績效評估回饋之概念The Concept of Performance EvaluationFeedback

37. 為何要作績效回饋? 績效回饋是將評估的資訊與結果及時傳遞給決策管理階層與被評估績效的人，這個資訊必須可信，並且在績效上能提供被評估績效的人一個指導的方向，使目標能正確地被達成，並作為以後學習和改進的基礎。 同時，決策管理階層利用適當的回饋資訊，作為下一個計畫之參考，經過不斷經驗累積與改進，促使組織目標的達成。 37

38. Grady(1991)指出，回饋即是持續由上往下溝通的過程，以確定組織活動能遵循策略，結果能符合組織的目標與願景。Grady(1991)指出，回饋即是持續由上往下溝通的過程，以確定組織活動能遵循策略，結果能符合組織的目標與願景。 績效管理回饋系統 回饋 38

39. 績效評估回饋的定義 「績效評估回饋是一個動態的過程，包含評估資訊的呈現與擴散，以確保其結果得以應用在新興或已存在的發展活動中……不僅僅是評估結果的擴散，回饋機制是一個確認的過程，確保學習的經驗被納入組織新的運作之中。」 DAC, 1990. 績效評估回饋是一個總稱，代表各種處理與傳遞評估訊息的管道與機制，並透過這些訊息而使組織所執行的工作與目標有所影響與作用。 OECD, 2001. 39

40. 評估回饋的目的 結果的課責(Accountability) 即所謂的責任歸屬機制，無論是組織內部或外部，組織與員工皆須對其所執行的行為承擔所謂的績效責任 學習(Learning) 改善組織內部的管理（成果管理）。是提升執行效率與確保經驗學習的關鍵要素 OECD, 2001. “Evaluation Feedback for Effective Learning and Accountability.” 40

41. 學習效果的阻礙_1 組織文化 中華文化重視權威跟面子的因素，致使華人企業與組織較少有針對團體或個人的績效回饋，並且甚少有下對上的回饋；反之，西方企業與組織多採直接的個人績效回饋。 支付經費的壓力 組織有支付經費的壓力，因此在計畫規劃與批准的階段，往往採取較快速的程序，先前的經驗學習則容易被忽略 41

42. 學習效果的阻礙_2 缺乏遠見 計畫期間缺乏課責機制的建立，使學習動力不高 缺乏傳承 通常為員工流動率高、過於依賴短期諮詢的顧問、或是部門的削弱或解散的情況。 目標不明確或搖擺不定 對於執行的工作，員工感到目標過於模糊或不明確；亦或部門的優先辦理工作經常更動，都會對學習效果產生不良的影響 42

43. 評估回饋的方式_1 做中學(Learning by doing) 是評估回饋最有效的途徑，直接參與評估與相關諮詢會議的人員擁有最多的機會接觸具體的經驗學習以及相關的背景資訊，因此這些人最能內化這些經驗學習，並將這些有用的資訊回饋到下一期新計畫的規劃與執行作業當中。 關聯性(Relevance) 決定評估的經驗是否被接受最關鍵的因素取決於評估經驗的關連性，計畫的績效評估最常被批評的地方在於評估結果的意見不是太過具體就是太過籠統。為了解決這個問題，組織可採取提升評估層級的方法，如國家級、專題評估等等，藉此提高評估的關連性。 43

44. 評估回饋的方式_2 評估的及時性(Timeliness) 由於產出評估報告與相關附帶結果會需要一段時間，導致評估回饋工作會有「資訊太多，時間太遲」(too much, too late)的情形；意即，由於包含的資訊已然過時導致實質投入在評估的產出往往是白費的，如事後的評估報告，與當初規劃階段的時間點太遠，因此報告的內容往往反映的是前期的思維；因此，即使事後評估報告是有效的，往往會因不再與當下情形相關而被屏棄。 44

45. 評估回饋的方式_3 評估的及時性(Timeliness) 解決評估及時性困難的方法有 提前計畫，早做安排，使評估的產出得以及時與主要政策形勢對應。例如，關鍵會議、部門或國家策略的編制，使評估的經驗學習得以導入更廣泛的規劃程序之中 強化期中評估，使評估結果得以及時納入下一期的規劃程序中。 鼓勵績效評估過程中的回饋作業。獎勵評估過程中的資訊回饋有助於提前評估資訊的揭露，特別在評估的結果具有重要性或爭議性的情況，提前回饋將有助於評估資訊被採納與考量。例如，在評估結果報告完成前將評估簡報呈交給高階管理者，有助於使管理決策者對於評估調查結果有所警覺，採取後續行動的可能性也會大為上升，並能提供決策者緩衝的時間，在評估資訊被揭露前做好適當的準備與回應。 45

46. 評估回饋的方式_4 評估作業的品質 一般而言，審查委員對於評估結果的建議過於模糊往往是評估的證據與分析太過薄弱以及局部適用的評估經驗未與較為廣泛的評估經驗做區分所致，甚至造成評估的訊息無法被採納。 諮詢小組(reference groups)、同儕考評過程(peer review processes)、設計良好的反覆式諮詢過程等皆有助於改善評估作業的品質。世界銀行也開始發展相關準則與培訓來改善評估審查建議的品質。 46

47. 評估回饋的方式_5 網路的運用 以網路為基礎的新一代溝通方式，包括網站與組織的內部網路，如今已廣泛被認為是具有高附加價值的一項績效評估回饋工具。從資訊揭露的角度來看，利用組織官網來公開績效報告是非常符合成本效益的方式。此外，網站還具有資料庫的功能，同時也是一種有用的諮詢工具，以世界銀行組織對林業部門調查為例，官網上放置的草案吸引了超過200人的評論。 另一種創新的網路運用方式是由加拿大國際發展署(Canadian International Development Agency, CIDA)所提出的，發展出一個電子系統，在計畫規劃的階段，CIDA的評估經驗學習資料庫的相關提示連結會透過組織內部網路連結至員工的電腦螢幕，提醒員工可以利用這個管道來參考以往相關評估之經驗。 47

48. 評估回饋的方式_6 面對面的交流溝通 面談對話(face-to-face dialogue)在績效回饋中是一項最有效執行思想交流與信息傳遞的方式，包括組織內外部各種的會議、座談會與簡報會議等。 48

49. 評估回饋的工具 績效評估的回饋工具應包含哪些項目，學者與專家間各有不同的見解。綜觀國內外的現況發現，在績效回饋的執行過程中，評估報告是一項非常重要且具有代表性的擴散工具。儘管如此，回饋工作不能只著重在評估報告上，因為相對來說，評估過程的回饋工作也同等重要。 總結各國之意見，綜觀組織各項擴散與回饋評估結果的管道，最有助於績效評估結果的擴散與回饋的工具為： 總結評估經驗的年度報告 針對特別的評估報告與主題所舉辦的一次性員工會議/研討會(One-off staff meetings/workshops) 評估單位與機構內部其他單位針對具體調查所召開的交流對談(Dialogue) 49

50. 評估回饋的工具 關於回饋工具的選擇，必須先確認的是回饋目標客群；目標客群會根據評估的形式、訊息的公開以及評估發生的特定背景而變化；因此，需要積極針對特定情況中的目標客群進行確認與回饋優先順序的劃分。 以丹麥國際開發署(Danish International Development Agency, DANIDA)為例，將組織外部的回饋目標客群劃分為三個主要類別，面對各個類別的目標客群所使用的回饋工具也不盡相同。 50