心理学の再現可能性問題と事前登録

心理学の再現可能性の問題が指摘されるようになって久しいわけですが，実はちょっとまだ良くわからないんだという方もおられるかもしれません。ざっと問題を把握する上では，心理学評論の特集「心理学の再現可能性」を読むと良いかと思います。

この心理学の再現性問題では様々な問題が指摘されていますが，以下の２つは大きな問題となっています。

  • 統計学的に有意な差や関連を検出するために帰無仮説検定を繰り返し，統計学的に有意な結果だけを報告する（pハッキングと選択的報告）。

  • データ収集＆解析後に仮説を作って，あたかも事前に立てた仮説だったかのように記載する(HARKing)。

これらは問題のある研究実践である。しかし，提出された論文や報告だけから，pハッキングやHARKingが行われたかどうかは分からない。そこで，データ収集や解析を行う前に，研究の仮説・方法・解析などを，第三者が管理するサーバーなど（AsPredictedやOSF）にアップロードする事前登録が行われるようになってきています(山田祐樹先生の心理学ワールド記事「自由を棄てて透明な心理学を掴む」がわかりやすいかと思います）。


AsPredcted形式で事前登録してみる

事前登録にもいくつか形式がありますが，「とりあえずやってみようかな」という時にいきなりハードな内容だとくじけてしまうかもしれません。その点，AsPredictedの形式だと少しお手軽かもしれません。AsPredictedは，研究者が簡単に事前登録できるようにするためのプラットフォームであり，簡単な質問に簡潔に回答することで，事前登録ができるというものです。もちろん，登録するとタイムスタンプがついて，１枚のPDF形式になり，実に便利です。サンプルPDFをみてもらうとわかりますが，簡潔なので，「これなら書けるかも」と思えるのではないでしょうか。基本的には，英語で書くことを考えていますが，日本語でも良いかもしれません。ただ，もう便利なソフトもある時代なので，英語で書くこともそこまで大変ではないです。実際ゼミ生には30分くらいで書いていました。


AsPredictedテンプレート用Rmdファイル

AsPredcted形式で事前登録する場合は，AsPredictedのサイトを使っても良いですし，OSFにWordのテンプレートもあるので，そちらを使って，OSFにアップロードしても良いかと思います。私のゼミの卒論の場合，通常GitHubを使っているので，OSFのアカウントを事前登録のためだけのために作るのは少し手間だったので，自作したAsPredictedテンプレート用Rmdファイルを使って作成したものを卒論用GitHubプライベートリポジトリにアップしています。

以下では，AsPredictedテンプレート用Rmdファイルの説明をしていきます。まず，Rで以下のコードを実行して，AsPredictedテンプレート用Rmdファイルをダウンロードします。

download.file("https://raw.githubusercontent.com/ykunisato/AsPredicted_Rmd_template/master/AsPredicted_Rmd_template.Rmd", "Aspredicted.Rmd")


研究のタイトルと著者名

Aspredicted.Rmdを開いて，上の方にあるtitleとauthorを自分のものに変更ください。

  • title: “研究のタイトル＜変更してください＞”
  • author: “著者名＜変更してください＞”


1. Have any data been collected for this study already?

  • Yes, at least some data have been collected for this study already
  • No, no data have been collected for this study yet

仮説を登録する前にデータ収集をしていたかどうかを聞いています。すでにデータ収集をしている場合は，Yesを選び（Noの１行を消す），そうじゃない場合はNoを選んでください(Yesの１行を消す)。


2. What’s the main question being asked or hypothesis being tested in this study?

この研究における主な研究疑問や検証する仮説について書いてください。複数の文にわけて長く書くのではなく，１つの文で簡潔に書くようにしましょう（仮説は，「A will reduce B」のような独立変数と従属変数の関係が分かりやすい主張にする）。仮説が複数ある場合は，-を使ってリスト化します。


3. Describe the key dependent variable(s) specifying how they will be measured.

主な従属変数（アウトカム）を書きましょう。その測定法も記載しましょう。複数ある場合は，-を使ってリスト化しましょう（類似したアウトカムがある場合は主要なアウトカムと副次的なアウトカムを決めます）。


4. How many and which conditions will participants be assigned to?

研究で操作する条件が複数ある場合は記載します。複数の条件に参加者を割り付ける方法も記載ください。


5. Specify exactly which analyses you will conduct to examine the main question/hypothesis.

研究疑問や仮説の検証にあたって，行う解析法について記載してください。


6. Any secondary analyses?

副次的な分析方法について記載してください


7. How many observations will be collected or what will determine the sample size? No need to justify decision, but be precise about exactly how the number will be determined.

サンプルサイズについて書いてください。サンプルサイズを決めた理由は書かなくても良いですが，数は正確に書いてください。


8. Anything else you would like to pre-register? (e.g., data exclusions, variables collected for exploratory purposes, unusual analyses planned?)

上記以外で事前に登録しておきたことを記載ください（データの除外，探索的な目的でのデータ収集，一般的ではないデータ解析プランなど）。


事前登録の最初の一歩としてのAsPredicted

ちょっと面倒な気もしなくもないですが，私達はちゃんとやっているつもりでも気が付かないうちに自分に都合のよい解釈をしてしまいがちです。あまり手間がかかってもやる気がなくなりますので，まずはAsPredicted形式のようなシンプルなものから始めてみるのはいかがでしょう？