反証の作法
先日、とある本を立ち読みしていて、あまりの出来の悪さに頭を抱えた。同時に、ネット時代になって「データを用いて文章を書く」ことの問題も痛感させられた。その本では、著者が取り上げた分野について論じているもののうち、こちらの議論は根拠のない決めつけで、あちらの議論にはそれを覆すデータがある、といったことがこれでもかと並べられている。その膨大なデータ量は、反論の材料としては十分すぎるほどで、普通に見れば「よく調べたなあ」と言ってもらえるものだろうと思った。
では何がダメなのか。要は、著者が批判している議論より、自分が出してきた議論の方が信頼に足るという根拠が、どこにも示されていないからだ。確かに、データがないものよりはデータがあるものの方が信頼性はあるだろう。では、そのデータがねつ造だった場合には？著者が言っているのは、あちらの人はこう言っているが、別の人はこう言っている。自分は後者の言うことの方が信頼に足ると「思う」ということでしかない。
データがある議論を反証するにふさわしいものだということを証明するためには、何をすればいいのだろうか。たとえば「ゲーム脳」の場合、発端となった論者は、脳波を測定し、ゲームとボケ状態の相関は明らかだと主張していた。それに対して反論する論者は、相手の理論上の欠陥、測定機器の問題などを指摘したわけだが、さて、脳科学に対して素人の私たちが、反論の方を支持する理由は何だろうか。端から「ゲーム脳なんて嘘っぱち」という予断をもって、「こうして反証する専門家がいるからそちらの方が正しいはずだ」と思いこもうとしていないだろうか。
もちろん、こうしたバイアスで判断してしまうというのは仕方がないことだし、多くの人は自分の専門でない分野については、「どうやらこちらの方が確からしそう」という程度の材料で、支持・不支持を決めるほかない。だが、いみじくも誰かの言っていることを棄却して、別の人の言っていることを正しい言説として採用する以上、その根拠は示されなければいけないはずだ。これは別に、その本の著者に限ったことではない。
学問の世界では通常、あるデータの方が信頼に足ることを根拠づける場合、以下のような手法を採用する。
(1) 追試を行う
同じデータを用いて同じように測定すれば、同じ結果が出るというのが科学の基本だ。実験が可能な分野の場合は、測定する環境を完全に同一にして追試を行う。ネイチャーなどに掲載された新しい業績も、いきなりは信頼されない。多くの他の研究者が同じ結果を測定できたとき、初めてその人の主張は「正しい」と認定される。ちなみに同一環境での追試がほぼ不可能である場合が多い社会科学や心理学においても、サンプルを変えて何度か測定してみるとか、元のデータを入手して、同じ分析手法で分析してみるといった手段があり得る。社会科学の場合、SSJDAのようなところに利用申請をすれば、個票単位で生のデータを取得できる（参照1）。
(2) その論文をどのくらいの人が引用しているかを確認する
自分で追試が困難なデータの場合（というかそっちの方が多いのだが）、その元となったデータが掲載された論文が、どの程度、他の研究者によって引用されているかということを指標にする場合が多い。自然科学の分野では、引用されない論文などゴミ扱いだが、社会学などの分野でも、近年では助成金や大学のランク付けのために、被引用数を重視する傾向が強くなっている。被引用数は、大学図書館の端末などからWeb of Scienceにアクセスして検索する。ちなみに自然科学での被引用数を元にした大学ランキングはトムソンサイエンティフィックが公開している（参照2）。もひとつちなみにGoogleの検索順位表示アルゴリズムのモデルになったのも、この「言及されている奴がエラい」という発想。
もちろんこの指標に問題がないわけではない。被引用数はどうしても研究者の関心が高い直近の研究で多くなる傾向にあるが、日本の貧困に関心を持つ研究者は、やはり日本に偏っているわけで、世界中の研究者が関心を持つテーマよりはどうしても数が少なくなる。だが、元のデータを引用した論文で、既にデータが反証されていたり追試されていたりする場合もあるので、それらを確認するためにも引用論文にあたることが重要である。
(3) 査読誌に掲載されたものであるかを確認する
通常、学術的な研究を発表する場は、書店で売られている本ではなく、学会などが発行する機関誌になる。そこで論文を掲載するためには、何名かの同じ分野の研究者に査読をしてもらい、掲載許可をもらわなければならない。逆に言えば、そうした査読誌に掲載されていないデータの場合、執筆者が勝手に主張しているだけで、学会によって認められたものではない、恣意的なものである可能性がある。各学会のリストは国立情報学研究所の学協会情報発信サービスから検索できる（参照3）。
査読誌に掲載されたわけではない論文でも、たとえば権威ある研究者が主筆者となった書籍に掲載された論文ならば、相応の信頼性があると見なすこともできる。ただしこちらの場合、書籍を出版する目的がその主筆者の学会内での地位確立だったり、弟子に業績を作ってやることだったりする場合があり、データに対する検証が甘くなる場合もあるので注意が必要だ。
(4) 同じテーマについて書かれたものを検索する
学術誌以外にも、この世には様々な媒体が存在し、多くのテーマを扱っている。学術的ではないし、そもそも学術的に取り上げるに値しないテーマだが、社会的に注目を集めているようなものの場合、論壇誌などの一般雑誌で反論・批判が行われている場合がある。そうしたものを検索するには、雑誌や分野ごとに用意されているデータベースを利用するのがいい。よく使われるのはGeNiiだろうか（参照4）。その他、図書館の端末から様々なデータベースにリンクされている場合があるのでそれを確認してもよい。ここでは実践女子大のページが見つかったのでそちらにリンクしておく（参照5）。
難しいものから簡単なものへと順番に並べてみたが、あるデータが信頼に足るかどうかを確認するためには、最低でもこれだけの手順が必要になる。もちろん、確認するまでもなく、論理が破綻しているとか、常識で判断可能なミスというのもある。だが、理論研究などのように、データより先に抽象的な枠組みが提示される場合、実証的な検証が追いついていなくても、それはその理論がトンデモだということを、必ずしも証明してはいない。「まだ実証されていない」というだけのことだ。データがないことを鬼の首を取ったようにあげつらう輩をときどき見かけるが、そう思うのなら自分で実証してみればいい。それすら経ずにある主張を学術的に棄却できると考えるのは、単なる怠慢である。その人自身の好き嫌いの話だというのなら別だが。
さて、くだんの著作だが、ざっと見る限り残念ながら、こうしたプロセスを経ているとは思えない主張が満載だ。せいぜい、自分が調べられる範囲で得た情報の中では、こちらの方が確からしそうだ、という思いこみの判断を、どうにか情報量で中和しようとしている、という程度だろうか。むろん書店に流通する書籍なのだし、と甘く見ることもできるが、であれば著者が批判する議論も、同様に甘く見てあげるべきだろう。
残念なことはふたつ。ひとつは、ある情報網を組み上げて別の情報を否定するという振る舞いが、おそらく著者の一番嫌いなポストモダニズムと同様の落とし穴に落ちているということだ。ポストモダニズムは、科学の絶対性を批判し、価値相対主義を主張したとされている。実際には政治的に無価値とされている「矮小なもの」を顕在化するためにそのようなことを言ったに過ぎないのだが、ともあれその価値相対主義は、結果として「戦争中の虐殺だってゲーム脳だって、あるという人とないという人がいるんだから、どっちもどっちじゃないか」というズブズブの相対主義に陥ってしまった。左翼的な価値観で「ひっくり返し」をやる道具だったポストモダニズムが、左翼的な価値のひっくり返しに用いられるということに気づいた人々は、一斉にポストモダニズムから離反する（いわゆる「ポストモダンの左旋回」）。いい政治目的に照らした相対主義は許されるが、悪い目的に利用されるなら許せないというダブルスタンダードが、そこで生じる。こうした醜い転向を避けるためにこそ、科学的基準というものが重要になるはずなのだが、それが踏まえられていないのだ。
ふたつめ。こちらの方がより残念だが、なぜその著者の主張は一定程度受け入れられるのか。それは、著者が批判する対象が、多くの人にとって直感的に間違っていると理解可能なものだからだ。どう考えてもおかしいのに、世の中でまかり通っている奇妙な主張を批判するためなら、多少の脇の甘さは許してやるか、と思った人々が、政治的な目的で著者の言動を支持しているのではないか。だがそれは、自分もその批判対象に入れられそうだとなると、一斉にその支持を失ってしまうということでもある。なぜなら、その主張の内容ではなく、政治性によって認められていたに過ぎないからだ。実際その著者は、既に幾人かの研究者によってやり玉に挙げられつつある。世の中でものを書くなら、敵の選び方には慎重にならなければいけないという当たり前の処世術さえ教えてもらえないほど、著者の周囲は貧しいのだろうか。それとも、取り巻き連中もその著者を使って一儲けして、使い捨ててやればいいと思っているのだろうか。
もし著者が今後も、ある主張の誤りを批判し、読まれるべき主張を取り上げていきたいと思うなら、悪いことは言わないから、いますぐ大学か大学院に入り直して、専門的な指導教員のもとで、科学的批判のなんたるかを学んだ方がいい。もちろん、毒舌ライター的な立場で生きていくという道もないわけではないが、それにしては面白みがなさ過ぎる。少なくとも、「これであいつもこいつもやっつけちゃいましたね！痛快すね！」としか言ってくれない連中しか、周りにいないのなら、そのことに危機感を持つべきだと思う。
