PISA 計劃簡介 ~ 科學素養的概念架構與評量形式 ~

1. PISA計劃簡介~科學素養的概念架構與評量形式~ 整理者：李 暉　 國立東華大學　科教中心 報告者：李松濤 台中教育大學　科教中心 2012/11/22

2. What is PISA? • PIZZA? • 當然不是！

3. OECD PISA • OECD • Organisation for Economic Cooperation and Development （經濟合作發展組織） • PISA • TheProgramme for International Student Assessment （國際學生能力評估計畫 ）

4. 經濟合作發展組織 (Organization for Economic Cooperation and Development, OECD) • 具有 30個會員國，旨在推動民主和市場經濟的國際組織 • 提供資料的比較、分析和展望 • 以便政府能夠： - 比較政策經驗 - 對一般問題尋求解答 - 識別好的政策 - 調整政策

5. 經濟合作發展組織 (Organization for Economic Cooperation and Development, OECD) • 七大工業國(G7)：美國、加拿大、日本 (1964)、德國、法國、英國及義大利。 • 太平洋兩國：澳洲(1971)、紐西蘭(1973)。 • 歐聯之八個會員國：比利時、荷蘭、盧森堡、丹麥、愛爾蘭、希臘、西班牙、葡萄牙 • 歐洲自由貿易協會(EFTA)六國：挪威、瑞典、芬蘭（1969）、冰島、瑞士、奧地利。 • 其他國家：土耳其、墨西哥 (1994) 、捷克 (1995) 、匈牙利(1996) 、波蘭 (1996)、韓國(1996)、斯洛伐克(2000)。 • 未註明為1961年創始國家

6. 經濟合作發展組織 (Organization for Economic Cooperation and Development, OECD) • 前身為歐洲經濟合作組織。OECD於1961年成立，總部設於法國巴黎，另在德國波昂、日本東京、墨西哥市及美國華府設有辦事處。 • OECD會員國的國民生產毛額占世界三分之二。OECD係世界先進國家聚會談論國際經濟事務之論壇，素有智庫、監督機構、富人俱樂部、非學術性大學等不同稱號。 • 是世界重要議題的智庫兼發動機構，許多世界重要議題的政策研究和形成都來自於OECD，參加OECD，就可直接躋身到世界事務的決策核心。

7. 廣布全球的國際組織 OECD Member Countries

8. 共同參與工作的全球各國 Economies with which the OECD has working relationships

9. OECD 的工作方式 收集資料 分　析 討　論 決　策 執　行 專家檢劾、多重監控

10. What PISA Is • 國際學生能力評量計畫 (PISA)係由參與國家所共同發展，針對十五歲的在學學生進行的一項國際性標準化評量 • PISA 在 2000 年首度實施時有43 個國家參與，2003 年第二度實施時有41國參與，2006 年最後有57 個國家參加， 2009 年有65 個地區參加 • 每個家參與的學生人數介於 4,500 到 10,000 人

11. Assessment Cycle • 每三年舉辦一次 • 每次皆以年度為名，迄今已舉辦過PISA 2000,PISA 2003,PISA 2006和 PISA 2009四次。目前正在進行中的是PISA 2012。 • 每一次的PISA都包含閱讀、數學和科學素養等領域。PISA 2000的施測重點為閱讀能力，PISA 2003強調數學能力與解決問題，PISA 2006著重於科學素養。PISA 2009重新輪回於閱讀能力

12. What PISA Assesses • PISA 評估學生在義務教育上所獲取的知識和技能中，有多少在本質上可以讓他們充分的參與社會。 • 在歷次測驗中，都包含了閱讀、數學和科學素養三個部份，範圍不僅限於教科書的內容，還包括了成人日常生活所需的重要知識和技能。 • 在 PISA 2003 測驗中，多加了一項問題解決能力 (problem solving) 的評估。

13. What PISA Assesses • 數學素養(Mathematical Literacy ) • 認識與瞭解數學在所處世界中所扮演的角色。 • 能應用數學做有根據的評斷，以適應個體的生活需要，使成為一個建設性的，關懷的和具有反省能力的公民。 • 在各種情況下辨認和明確陳述數學問題(或將數學問題化為算式)之能力。

14. What PISA Assesses • 閱讀素養(Reading Literacy ) • 個體為了達成其目的，或發展個人知識與潛能，以參與社會活動而對寫作文本理解、應用與反省之能力。 • 除此之外尚有解讀、字面的理解，閱讀素養包括閱讀、解釋與反思，以及利用閱讀去實現生活中目標的能力。 • PISA 的重點在於利用閱讀去學習而非去學習閱讀，因此所要評量學生的不是最基本的閱讀技能。

15. What PISA 2006 Assesses • 科學素養(Scientific Literacy) • 使用科學知識的能力 • 能辨認關於自然世界的問題 • 基於證據作出結論以利決策 • 通過人類活動做出改變

16. What PISA Assesses • 問題解決(Problem Solving )能力 • 解決問題是個體使用認知過程面對和解決解決實際且跨學科的能力，其解決方式不是顯而易見的，而其範圍亦不僅限於數學、科學或閱讀等單一領域。

17. Method of Assessment • 使用紙筆測驗，測驗時間 2 小時。 • 試題為題組型式，包括選擇題與問答題，取材自日常生活中之知識與議題。 • 學生受測試題依組合型式而有所不同（詳述於後）。 • 受測學生尚須接受20-30 分鐘關於個人背景與家庭現況之問卷調查。 • 受測學校校長亦須填答約 20 分鐘關於學校之問卷。

18. The Consortium of PISA • ACER (Australia) • Australian Council for Educational Research • ACER leads the PISA Consortium and ACER will manage the communication between the Consortium and country contacts. • ETS (USA) • Educational Testing Services • NIER (Japan) • National Institute for Education Policy Research of Japan • WESTAT (USA) • Cito (The Netherlands)

19. PISA 2006 in Taiwan • 主持人(National Project Manager) • 林煥祥 國立花蓮教育大學 • 林福來 國科會科教處處長(前) • 共同主持人 • 周進洋 國立高雄師範大學 • 劉聖忠 國立花蓮教育大學 • 李 暉 國立花蓮教育大學

20. 施測時間 • 2005 Field Trail • 2005/03/15 ~ 2005/04/15 • 2006 Main Study • 2006/04/15 ~ 2006/05/15

21. PISA 2009 / 2012 in Taiwan http://pisa.nutn.edu.tw/download_tw.htm

22. 保密約定 試題及問卷嚴禁有下列行為發生： 1. 作為 PISA 測試以外的施測(考試)題目。 2. 作為上課的教材。 3. 當作學生的習題。 4. 當作學生課外補充材料。 5. 流至各級學校或補習班當作教材、考試題目。 6. 私下給學生（含校內、校外）測驗。 7. 作為個人著作之補充材料。 8. 據為個人著作財產而出版或發行。

23. Procedure of PISA 2006 in Taiwan • 取樣 • 舉辦施測人員講習會 • 分四區舉辦學校主任講習會 • 施測 • 分四區同步進行紙筆測驗 • 閱卷(coding)及資料鍵入

24. Sampling

25. Sampling (Main Study) • 為確保施測品質，取樣須遵守下列六項關鍵程序： • 依定義確認學生母群。 • 依符合資格之學生，列出學校（或機構）名單。 • 自名單中抽取學校樣本。 • 自學校樣本中找出合格的學生母群。 • 自每一抽中學校中再抽出所需之學生樣本 • 保留取樣過程之文件，並據以計算取樣和調查操作之有效性。

26. 取樣要求 • 提供全國十五歲在學學生名單及出生年月日 • 提供所有學校名單、類型及所在地區 • 所有偏遠小校皆應考慮在內 • 說明排除被選取學校之學生數及理由 • 至少 150 校，4500 學生

27. Sampling(2005 Field Trail) • 母群 • 十五歲在學學生(1989/01/01 ~ 1989/12/31) • 分層叢集取樣 • 分北市、高市及北、中、南、東共六區依母群比例 • 分普通高中、職業學校依母群比例 • 預計共取 40 校，40 人／校 • 實際取樣 1,566 人，到考率為 97.9%

28. Sampling (Main Study) • 母群 • 十五歲在學學生(1990/01/01 ~ 1990/12/31) • 共334,391人(教育部統計處) • 分層叢集取樣(KeyQuest are used) • 分北市、高市及北、中、南、東共六區依母群比例 • 按學制(高中、高職、五專、國中、…)依母群比例 • 預計共取 236 校，40 人／校 • 實際取樣 8,815人(女4,193，男4,622)，到考率為 93.4%

29. Item

30. 試題 • 分為 13 個題本(booklet) • 每個題本有 4個題組(cluster) • 每個題組(cluster)含 3-4個大題 • 共 48 個大題(每個題目含數個小題)，某些大題尚包括 2-3個科學態度問題 • 小題題型包括選擇題與問答題 • http://pisa-sq.acer.edu.au/

31. Test Booklet Design PISA 2006 MS

36. 試題本的輪換 • 13 個題本，在學生中輪替作答 • 例如：第一位學生作答題本 12，則第二位學生將作答題本 13，第三位學生作答題本 1，第四位學生作答題本 2，餘類推。 • 每校大約有 40 位學生受測 • 每一題本在任一校約有 3 (40/13) 本被作答 • 我國今年共 236 校參與 • 實際受測人數為8815人 • 平均每一題本被作答之數量約為 678 (8815/13) 本

37. 情境 (context) 與生活相關的科學與科技 能力 (competencies) ․形成科學的議題 ․以科學解釋現象 ․使用科學的證據 需要具備 a) 知識 (knowledge) 能夠瞭解 ․科學內容的知識 ․關於科學的知識 能力和態度被左右於 b) 態度 (Attitudes) 對於科學議題的回應（興趣、科學探究的支持、責任） 科學評量架構

38. 科學的情境向度

39. 科學能力素養向度

40. 科學態度素養向度

41. 試題實例

42. 試題實例

43. 試題實例

44. 試題實例

45. 閱讀評量與能力 • The form of reading materials: • Continuous textsincluding different kinds of prose such as narration, exposition, argumentation • Non-continuous textsincluding graphs, forms and lists • Type of reading task or process: • Retrieving information • Interpreting texts • Reflecting and evaluating of texts

48. 數學評量與能力 • Clusters of relevant mathematical areas and concepts: • Quantity • Space and shape • Change and relationships • Uncertainty • Competency clusters define skills needed for mathematics: • Reproduction(simple mathematical operations) • Connections(bringing together ideas to solve straightforward problems) • Reflection(wider mathematical thinking)

49. 下圖是兩組學生參加科學測驗的結果，這兩組學生分別為A 和B 兩組。A 組的平均分數是62.0 分，B 組的平均分數是64.5分。學生通過這個測驗的標準是50分以上。老師認為B 組學生比A 組學生的表現較佳。但A組學生不同意老師的看法。他們試著說服老師B 組並不一定比較好。利用下圖，寫出一個A 組學生可能使用的數學論點。

50. 研究者發現理想的硬幣應具備下列條件： • 硬幣直徑不能小於15 mm且不能大於45 mm • 一種硬幣的直徑應大於另一種硬幣直徑的30% • 製幣機僅能製造直徑為整數毫米的硬幣(例如17 mm是可以的，但17.3 mm則不行) 問題： 你被要求依上述條件設計一套硬幣，所有的硬幣都必須是圓形， 請由15 mm開始， 儘可能設計出最多枚不同尺寸的硬幣， 並請寫依序出它們的直徑。