susususu’s blog

気ままに書くかも

東京大学政策評価研究教育センターについて

 

本記事はみゅーもりアドベントカレンダー20日目。このような機会をくれたみゅーもりくんに感謝。

 

東京大学政策評価研究教育センター(CREPE)という組織が最近できた。本記事ではEBPM周りのお気持ちとCREPEに期待されそうなこと自分の理解のためにつらつらと書いていく。若さにかまけてナイーブに書きます。

 

注)当記事はあくまで個人の見解をまとめたもので、CREPEなど所属組織の見解とは無関係です。

 

1 EBPMとCREPE

1-1 EBPM

 Evicdence Based Policy Making (EBPM)、昨今耳目に触れることの多くなったこのワード、具体的に何を指すのか。改めて知りたいので調べた。

 

内閣府EBPM推進委員会なる組織が存在する。その第1回会合における議事要旨を見てみると、当時の山本行政改革担当大臣の発言で、

 

    「証拠に基づく政策立案、すなわちEBPM」

 

とある。それはそう(とっつきやすい略語は濫用につながるのでいやですね)。その後三輪補佐官がもう少し具体的にしてくれる。

 

「EBPMのPM、つまりpolicy makingを、確かな証拠に基づかず政策を決めてしまうというエピソードベースではなく、政策の立案の前提となる事実認識をきちんと行い、立案された政策とその効果を結びつけるロジックを踏まえ、その前提となるエビデンスをチェックすることで、合理的な政策立案に変えていこうということである。」

 

「「今やっていることの実質的内容と目的・位置づけをはっきりさせろ」と言いながら、事業等の目的や必要性は何か、ロジックモデルで示される因果関係が明確かつ適切か、それらは統計データ等の確かなエビデンスに基づいているかなどを検証する。」

 

なるほど。要するにEBPMは以下のステップで構成されているらしい。

  1. 政策立案の前提となる事実認識をきちんと(おそらく統計的な意味で)行う。
  2. それを元に政策を立案。その際に、「なぜ」「どのように」政策が有効であるかというロジックを明確にしておく。
  3. そのロジックが正しいのかについて「エビデンス」を元に検証し、合理的とされた政策のみを採用する。
  4. 現行の政策を上記のプロセスに組み込む

ふむふむ。何となくわかってきた気がする。

 

EBPM推進の大前提として、何で今までそうじゃなかったの?今までどうやって政策運営してきたの?という疑問がある。流石に何にも評価してこなかったわけではなさそうである。先の発言は以下のように続く。

 

「政策レベルは内閣府経済財政諮問会議事務局「経済・財政再生計画」におけるKPI)、施策レベルは総務省行政評価局政策評価法の評価)、事務事業レベルは行革事務局行政事業レビュー)が既にEBPM推進の観点から取組を始めている。」

 

なるほど。じゃあ別に新たにEBPMとか言い出す必要ないでしょという気もする。続けて「行政事業レビュー」なるものに注力するのが大事だと述べているので、こいつを詳しく見てみれば今までの評価がどんなもんかがわかるっぽい。

 

1-2 行政事業レビュー 

行政事業レビューは毎年公開討論会的なものを催している。平成30年度の秋のレビューについて見てみると、なるほど数多くのトピック、政策に関してレビューシートが作成、公開されている。試しに一つ「農地集約化」に関するレビューシートを見る。(農家の跡継ぎ不足などを背景として農地集約化による生産効率の改善は日本の農業における重要なトピック)

 

ここで中間管理機構を用いた農地集約について論じるつもりはないが、この事業レビューシートを使えば先に述べたEBPMを実行に写すことができるだろうか?多分難しい。少なくとも私には。

 

まず一番大事っぽいKPIが設定されていない。アウトカムとしてみている指標は目的が達成されたかどうか以上の情報を何も教えてくれない。事業内容の改善も、当初見込みを下回っているから見直し!とだけ述べていて、「なぜ」「どのように」うまくいったか / いかなかったかについてこのシートからは何も読み取れない。関連する記述統計をまとめてもいない。EBPMに必要な要素を何一つ持っていない気がするんですが…

(しかも、この政策について特別こんな感じ、というわけではない。むしろよく書かれている方である。)

 

行政事業レビューはみんな大好きtwitterをやっている ( アカ)。マスコットキャラクターのセンス…)

 

1-3 委託

ということで、EBPMの推進に際し、既存の評価体系では不十分っぽい。まぁ省庁ごとにやっているものもあるみたいだが、EBPM推進委員会的には省庁の垣根を超えた体系を整備したいみたいなのでそこらへんは無視する。

そもそも、官僚の皆さんは現行の制度運営ですでに死ぬほど(literally)忙しいので、EBPMに必要な、「統計的調査」「ロジックの策定」「エビデンス集め」は必然として外注すべきだと思う。で、実際政府はすでに、いろんな企業に調査を外注してやってもらっている。

 

経産省のやっている委託調査の一覧がこちらである。それらの調査を担っているのはどれも聞いたことある大企業ばかりなのでさぞしっかり調査してくれているのだろう…安心安心…

 

実際、報告書をみる限り、これらの企業は「調査」という観点においてとてもしっかりやっているように思える。

 

例えば、三菱UFJリサーチ&コンサルティングの手がけた「人手不足下における中小企業の生産性向上に関する調査に係る委託事業」を見る。まず140ページというハードワークぶりにひいてしまうが、人手不足の現状に関する基礎的な調査にとどまらず自前のアンケート調査を用いた分析もしていて充実している。

 

が、この資料を参考に、次の政策をよりよくしていく、なんていう芸当ができる人間は存在しないのではないかとも思う。明らかに情報量が多すぎるし、アンケートはとにかく結果を全てグラフにして全部のせろ!みたいな感じなのでどの表から何を読み取ればいいのかわかりにくくなってしまっている。(みんな大好き3D円グラフ!)

 

他の委託調査もデータを用いるものから用いないものまでとにかく分量が多すぎてインプリケーションを引き出すのは困難。泣いちゃうと思う。

 

1-4 CREPE

以上見てきたことをまとめると、

  • 現行の評価制度 → 使えなさそう
  • 「(統計的)調査」 → 情報は十分存在するが、意味のある分析かというと…

という感じである。EBPMを進めるにはまだ「ロジックの特定」と「エビデンスの収集」が必要であり、現状では個別政策ごとに有識者へのヒアリングなどを通してこれらを補っているようだ。

 

こういう見方をしたとき、CREPEの存在意義が理解しやすい。すなわち

  • 調査会社や省庁の持つデータをアカデミアなりに分析、作成することで、解釈性や政策含意の面での付加価値をつける
  • 大学の経済学者と密接に連携する組織として「ロジックの特定」と「エビデンス

の収集」に関して大学と省庁をつなぐ

  • 以上2つの機能を果たすことでEBPMの促進に貢献する組織

という感じである。

なるほろほろ。

2 アカデミアなりって…

上記の2点目は間違いなく大学が他の組織を圧倒する点なのでいいとして、1点目の「アカデミアなり」ってなに?って感じがするのでそこを具体化する。

 

まず大前提として、統計分析は「ざっくりとした調査」みたいなことは苦手である。というか人間には社会のざっくりとした状況を定量的に把握して意思決定に繋げる能力など備わっていない。極度に限定された状況における定量的関係ですら、統計や計量経済学の教育を受けたごく一部の人をのぞいて理解することはできず、いわんやそれに基づく意思決定をや、である。ゆえに、「エビデンスベースド」をしたいなら、policy maker側の問題意識の明確化が全てを差し置いて重要になる。

 

上にあげた委託調査などはこの「ざっくり調査」に該当すると思うが、明確な問題設定がないゆえにこのような調査を委託したのだろうし、無駄な調査をさせてる時間で問題の認識を明らかにしたほうがいいだろという気がする。

 

CREPEのようなアカデミア発の外部組織が政策決定に関わることの第1の意義として、「ざっくり調査」を成果として出したい!というような、官庁の人事事情に起因する謎のスピード感重視を無視し、政策決定者の問題意識の明確化やそのための統計調査作りなどを官僚組織でなく国民のために提供することができうる、という点があると思う。

 

第2の意義はもちろん分析面で、エクセルの表やグラフでは通常表現しきれない、かつアカデミックな分析では扱うことのできる要素である「識別問題」に対する対処である。具体的には、

 

  1. 異質性
    1. 変数同士の関係性自体に異質性を考えたい
    2. 観察できない要因によるサンプル間の違いを明示的に扱いたい
  2. 内生性
    1. 変数間に入れ子の関係があるとき
    2. 交絡因子があるとき
    3. 想定する母集団に対しサンプル自体に偏りがあるとき

 

みたいな状況を扱いたいケースが社会科学では非常に多いため、それらへの対応策を十分に取り込んだ結果をだすことができる。

 

なんだかんだいっても上記の誘導系による分析は「なんらかの意味での条件付き期待値の比較」以上のことは構造上ほぼできないので、本気出せばエクセルの表やグラフで上記の要素を扱った表現も可能だと思う。が、同時にその理解は困難になる。ので、統計ソフトでサクッと処理して結果はコンパクトに係数の形でだすのがベストな気がする。

 

3 まとめ

EBPMに対する温度差の意味するところなる記事がこないだ公開された。政府内部の事情をよく知った方のご意見のようで、とても学ぶところが大きい。そこでも指摘されている通り確かに(まともな)経済学者はこれまでロビーイング的な活動も含め政治と距離がありすぎたとは思う。しかし、データが省庁間の権力争いの道具にされていて、そういう大人な事情があるから学者の欲しがるデータは出せないんよ、などと言われても、どしぇしぇ〜〜〜って感じしかしない。

 

EBPMというフレームワーク自体が官僚機構の国民に対する言い訳や予算を増やすための口実でしかないならやらないほうがいいし、そうならないためにCREPEのような外部機関は存在意義を増していくべきだと思う。



「東大に入った時点でエリートだからね。それなりの意識を持って行動してほしいね。」

(by 某先生)

 

ということらしいので政策決定者のための組織でなく国民のための組織でありたいものですね。というお気持ち。その際に自分が学んできたことが活かせるならそれほど素晴らしいことはない。というお話でした。

 

4 お気持ち

  • よくある話として、EBPMが有効であるエビデンスは?みたいなのがある。当然の疑問である。これに関しては詳しくないので語り得ないのだが、成田先生が何かしらやっているらしいので、興味があれば問い合わせましょう。
  • またよくある話として、EBPMとか利益団体のロビーイングに使われそうだしやだっていう話がある。政策を第三者が評価することは客観性の観点ではいいことだが、同時に評価する側もまた人間であるということも忘れず、評価のプロセスを作っていくことが必要そう。
  • 政策に関するエビデンスの提供とロジックの策定は基本的に社会科学の理論に基づかないと結び付けられないものだと認識している。”The Generalizability Puzzle”を読むとお気持ちがわかります。
  • 上記の委託先のような規模の大きいリサーチ、コンサル会社には、経済学やら統計やらを修めた我らの先輩も多く在籍しているわけで、分析自体の水準、結果の見せ方、問題設定など、あらゆる点でもっとクオリティが高くてもいい気がする。時間がない(=仕事が多すぎる)、toolが利用できない、上層部にはそういった人材があまりいない、リサーチマネジメント的スキルを持った人間が皆無、そもそも来る調査がざっくりしすぎてる、などの要因が考えられると思うんですが、実際何が1番のボトルネックになっているのですか?誰か教えてください。
  • とは言え、社会の大半の人にとって回帰分析の結果をまとめた表なんて意味のない数字の羅列でしかないし、t値が2以上ならオッケーですみたいな伝え方も非常にまずい。だからと言って、「わかる」結果をだすという点に重きをおけば現在各社がやっているような結果の出し方に落ち着いてしまう気がする。ちょうどいい塩梅の結果の見せ方はないもんですかね?
  • そんな大層なことできるの?という気持ちもある。ある友達は、こういうのは祭りにしないと社会は変わらないと言っていたが、そんなことはなく、のんびり浸透していけばいいと思ってる。10年ぐらい誰かが先頭に立って動き続ければなんとかなるのではないでしょうか?その誰かにはお前がなるんだよ!
  • 先の記事ついてはtwitterで先生たちが有益なコメントをしてくださっています。例えば、

 

 

諸外国の事例についてもっと調べて日本ではどういう形で実現できるのか、僕も考

えていきたいです。

 

  • CREPEでの具体的な仕事は諸事情あり書かなかったので、気になる人は僕とかに直接聞いてください!