藤島・樋口(2016)

藤島喜嗣樋口匡貴
社会心理学における”p-hacking”の実践例
Case studies of “p-hacking” in Social Psychology
【論文PDF】

There is a debate about reproducibility in social psychology. One reason for low reproducibility is an excessive use of questionable research practices called “p-hacking”. We present two direct replication studies about social priming and embodied cognition that failed to replicate the original findings under circumstances of high statistical power. However, a variety of p-hackings made it possible to get some false-positive findings from the data of these two studies. We point that reporting the results selectively and making hypothesis after the results are known may disguise the existence of p-hackings, and argue that pre-registration of studies and fair publishing of negative results can inhibit p-hackings.

Key words: reproducibility, p-hacking, direct replication, pre-registration, publication bias

社会心理学研究における再現性の低さが議論になっている。再現性を低める一因として、p-hackingと呼ばれる問題ある研究実践がある。本論文では、身体化認知とプライミングに関わる直接的追試研究を2事例用意し、p-hackingの実践例を示す。著者らはp-hackingにより、本来なら仮説を支持する証拠が得られないにも関わらず、事後的に仮説を支持する結果を導きだすことができた。選択的な結果報告と事後的な仮説生成がp-hackingを隠蔽する可能性を指摘し、研究の事前登録と否定的結果の公開がp-hackingを抑制すると主張する。

キーワード: 再現性, p-hacking, 直接的追試, 事前登録, 出版バイアス