評価研究の巨人ペーター・ロッシとは？

評価研究の巨人ペーター・ロッシとは？ • Peter H. Rossi (1921-2006)。享年85歳。 • 評価研究の世界でもっとも売れた本Evaluation: A Systematic Approach (1st – 7th edition)の著者。 • 評価の7人のパイオニアの一人。（Shadish, Cook & Leviton (1991)）

・・・・・・　個人的には、クロンバックの位置づけをキャンベルの直後にするべきと考える。・・・・・・　個人的には、クロンバックの位置づけをキャンベルの直後にするべきと考える。

『エビデンスに基づく教育政策の是非を巡る論争とその影響：ロッシ＆リプシー　対　スクリヴェンの論争から』『エビデンスに基づく教育政策の是非を巡る論争とその影響：ロッシ＆リプシー　対　スクリヴェンの論争から』佐々木亮立教大学大学院 21世紀社会デザイン研究科兼任講師 (財）国際開発センター主任研究員

１．ロッシの経歴と主要業績 • 1910年に両親がイタリアから移民。 • 1921 New York Cityに生まれる。

大恐慌時代に少年時代を過ごす。その後の思想に大きな影響を受ける。大恐慌時代に少年時代を過ごす。その後の思想に大きな影響を受ける。 • 貧困問題、社会格差の問題に生涯取り組むことになる。 • 若い頃は極左的思想に傾倒し、当時は「トロツキスト」だったが、スターリン時代を経て幻想から覚めたと語っている。

ニューヨーク市立大学のNon-tuition policyにより、大学学部で勉強できた（1930年代）。 • 第二次世界大戦に従事（1942-1945）。 • G.I.Billを得て、コロンビア大学大学院で勉強できた(1946?-1951)。 • 同大学の「応用社会調査局」で研究助手として働くことができた。

所長のLazerfeldは、「因果関係分析には、ランダム実験デザインがもっとも厳格だが、社会調査では実際的ではない」と教える。所長のLazerfeldは、「因果関係分析には、ランダム実験デザインがもっとも厳格だが、社会調査では実際的ではない」と教える。 • かわりに、クロスタビュレーションとパネルスタディがもっとも使えるデザインだと教える。（ランダム実験デザイン・・・フィッシャーが初めて体系化した。主に農業で利用された。（R.A. Fisher (1935))）

コロンビア大学で、博士号取得(1951)。ハーバード大学に職を得るも、社会関係論をテーマとせねばならず、シカゴ大学に移る（1955）。コロンビア大学で、博士号取得(1951)。ハーバード大学に職を得るも、社会関係論をテーマとせねばならず、シカゴ大学に移る（1955）。 • シカゴ大学のNational Opinion Research Center(NORC)の所長に就任。その頃は自分が「評価」を行っているとは思っていなかった。

（１）キャンベルの「実験と擬似実験デザイン」（1963）のドラフトを読んで感銘を受けた。擬似実験デザインの制約と、それと対比される実験デザインの価値について再認識した。（１）キャンベルの「実験と擬似実験デザイン」（1963）のドラフトを読んで感銘を受けた。擬似実験デザインの制約と、それと対比される実験デザインの価値について再認識した。（２）有名なNew Jersey-Pennsylvaia Income Maintenance Experiment（Mathematicaとウィスコンシン大学が実施）を知った。

NORCの所長としてセールスマンとしての仕事が多くなってきたので、ジョンズホプキンズ大学に移る（1967）。Sage Publicationが資金援助した研究会（”Evaluating evaluation”）に参加。クックなど多数の評価研究者と交わった。 • マサチューセッツ大学に移りリタイヤするまで在籍した（1974-1992）。 • そして、自分が、社会学者よりも、評価研究者(Evaluation Researcher)だと認識したと語る。

1975年にOECDの会合に招かれた。外国援助の評価に利用できる手法について発表してほしいとの依頼だった。1975年にOECDの会合に招かれた。外国援助の評価に利用できる手法について発表してほしいとの依頼だった。 • ロッシ／ライトと、別の招待者であるフリーマンが発表したペーパーはほぼ同一だった。OECDのNicolas Ibodenが共同で一冊の本にしてみないかと提案。 • 1979年に英語とフランス語で出版（‘Evaluating Social Projects in Developing Countries’）。

同年、事例をODAの事例からアメリカ国内の事例に差し替えて、アメリカ国内市場向けに出版（Evaluation: A Systematic Approach (1st ed.)）。(“Sibling but not clones”)。つまり、『兄弟だが双子ではない』。

ライトは評価研究から抜けてウォール街へ転身を図った。経済的に成功したらしい。ライトは評価研究から抜けてウォール街へ転身を図った。経済的に成功したらしい。

その後数年おきに改訂版を出した。改定の度に売り上げを伸ばす。大学のProgram Evaluationのテキストとして定着。(1979, 1982, 1985, 1989, 1993) • 第５版の改定が済んだ1993年にフリーマンが飛行機事故で死亡。もう改訂版は出さないと決心する。

しかしその後、Sage Publicationの紹介でバンダービルド大学のリプシーを紹介される。その後、２回改訂版を出版して現在に至る。(1999, 2004)。 • 2006年没。

２．「評価」に関するロッシの認識 （１）「評価とは、応用社会調査である」(Evaluation is applied social research)。 ←スクリヴェンが強く非難。

（２）「評価は判断を含む」(Evaluation involves making judgment). Needs, Program “theory”, implementation, impact, efficiency. （３）社会政策は、民主的な社会において、民主的な政治プロセスによって形成されるもので、評価はそれに貢献する。（評価がそれに取って代わることはない。）

（４）倫理的な評価ができないときには、評価者は評価をすることを拒否せねばならない。（４）倫理的な評価ができないときには、評価者は評価をすることを拒否せねばならない。（５）評価研究の機能は成功と失敗を峻別することである。この機能がうまく働くことにより、よりよい社会を導くことができるだろう。（キャンベルのExperimenting Societyと同じ発想だと表現している。）

３．評価研究の業績について ・多数のアイディアをいろいろな専門分野から借りた。そして統合することを試みた。

「セオリーに推進された評価」はチェンを指導する過程で形成された。「セオリーに推進された評価」はチェンを指導する過程で形成された。

４．実験デザインへの厚い信頼 ・ボルチモアＬＩＦＥプログラムのインパクト評価。それがロッシが実施したランダム実験デザインを用いた唯一の評価だった。そして、その経験は、彼の評価者としての一生のなかでもっとも満足できるものだったと語っている。

・「ロッシは、信じるに足る答えを得るために、ランダム実験に内在する能力に価値を認めていた」（Lipsey（2007））・「ロッシは、信じるに足る答えを得るために、ランダム実験に内在する能力に価値を認めていた」（Lipsey（2007））

・「現在主流である定量的手法よりも定性的手法を使うべきだという主張は、ほとんど神秘主義的(Mystical)だ。そして、インパクトの特定に関して、事業実施者それ自身の意見を受け入れてしまっている」(Rossi, 1985, p.7) 　←Pattonがよく引用する『評価の賢者Halcom』への批判だろう。

５．アメリカ教育省の提案をめぐる論争

「子供を一人も落ちこぼれにしないための2001年法」（No Child Left Behind Act of 2001）。 • 「科学的根拠(Scientifically-based evidence)に基づいた研究に予算を与える」

では科学的根拠とは何か？→「厳密なエビデンスに基づいた実践の識別と実践：ユーザーフレンドリーガイド」（Identifying and Implementing Educational Practices Supporting Rigorous Evidence: A User Friendly Guide）　 • 最も厳密なエビデンスを得るのはランダム実験デザイン（ＲＣＴ）と明記した。

2003年の全米評価学会。評価の‘暗黒時代’（1970年代）への逆戻りだ。2003年の全米評価学会。評価の‘暗黒時代’（1970年代）への逆戻りだ。　－1970年代の実験デザインの全盛期　　（思想として）。　－1980年代の反論と代替案の提案。　－1990年代の共存。

スクリヴェンのリーダーシップにより、教育省宛に次のステートメントが郵送された。スクリヴェンのリーダーシップにより、教育省宛に次のステートメントが郵送された。「AEA Statement 科学的根拠に基づくというのは支持できるが、実験デザインを最上位とすることには反対だ。因果関係を評価するためには、実験デザインが適用できない場合もあるし、実験デザインを用いなくても特定できる。」（2003年11月24日。Molley Engle（AEA会長2002）、Richard Krueger（AEA会長2003）、Nick Smith(AEA会長2004)、Sharon Rallies(AEA会長2005)）

これに反論するグループによって、教育省宛に次のステートメントが郵送された。これに反論するグループによって、教育省宛に次のステートメントが郵送された。「NOT AEA Statement AEA Statementにおける実験デザインと擬似実験デザインに対する一般的な反論は正当化できるものではない。当該反論は、評価研究における方法論的な規範(norm)に沿っていないし、実験デザインと擬似実験デザインの経験を有する全米評価学会の主流の見方でもない。

教育省の科学的根拠に基づく評価は、評価研究のメジャーなテキストの解説に沿っている。また社会科学および医学で一般的に認識されている方法論的スタンダードに沿っている。」教育省の科学的根拠に基づく評価は、評価研究のメジャーなテキストの解説に沿っている。また社会科学および医学で一般的に認識されている方法論的スタンダードに沿っている。」 (2003年12月３日。Leonald Bickman, Thomas De. Cook, David S. Cordray, Mark W. Liksey, Peter Rossi, Lee Sechres)

メジャーなテキストとは、 Evaluation: A Systematic Approachのこと。 • 社会科学の方法論的スタンダードとは、キャンベルの「実験と擬似実験デザイン」のこと。

AEAメーリングリスト上での論争。 リプシー vs. 多数の定性的評価者。リプシーの「実験デザインのほかに、因果関係を完全に客観的に明らかにできることが証明された方法はないし・・・」という発言に端を発する論争。 • リプシーとスクリヴェンの討論会（The Claremont Debate 2004）を開催。

Absolutely YES. Absolutely NO.

この論争に関連して、ロッシは、全米評価学会を脱退した。次の言葉を残して。「なぜ、地球が平らだという会　　　　　　　（Flat Earth Society)のメンバー　　　　でなければならない？」（真実を知っているものは、勇気を持って真実を語って、そして死すのみ、の意味）。(Lipsey, 2007)

スクリヴェンいわく「この論争によって何人かのシニアメンバーが脱退した。しかしそれは仕方ない。」スクリヴェンいわく「この論争によって何人かのシニアメンバーが脱退した。しかしそれは仕方ない。」ただし、「評価とは社会を改善する活動である」という基本的な定義は、両者とも共有している。

＜余談＞ • 1999年にロッシの自宅を訪問した。ホンダのバンで迎えに来てくれた。親交を結ぶ。 • 自書（『政策評価の理論と技法』）と山田治徳（『政策評価の技法』）を後で送った。 • その後、スクリヴェンに誘われて、彼が運営する博士課程に学ぶ。何の因果か？

＜最後に＞ • 貧困問題、社会格差の問題に生涯取り組んだ。 • ロッシは、同世代の他の移民の研究者と同じように、公教育によってチャンスを得て、一生懸命働くことによって、学問的に成功した。（Berk, 2007） • ランダム実験デザインに大きな信頼を抱いていた。そして、30年の時を経て、それがまさに広く普及しようかという時期に世を去った。 “エビデンスに基づく実践”として普及のきざし

討論会のビデオ http://www.cgu.edu/pages/2668.asp The Debate Video Based on popular request, we are pleased that we have been able to make this debate available to users with Apple Quicktime, RealPlayer v.10, or RealOne Player. Debate Section 1: Lipsey's Opening Comments Debate Section 2: Scriven's Response and Lipsey's Rebuttal Debate Section 3: Questions from the Audience

評価研究の巨人ペーター・ロッシとは？