科学的試験方法入門

今日はカンニングシートを帽子の中に隠して腕に書いた公式を隠すために袖を下ろして科学的試験方法の世界に潜り込んでみる。

青汁のエピソードに関してわたしが受けたフィードバックは、青汁はすでに試験されて多くの異なる病気を治し体に良い効果があることが証明されているというものだ。青汁を恐れている巨大悪徳会社にわたしは雇われているというメール一通ごとにもしわたしが１ドルもらえらたら、わたしはこの最もいんちきな詐欺飲料を毎日買うことができる。

そこでわたしはある主張や発表された結果が正当かどうかを見極める能力を素人にも備えてもらうために科学的試験法についての入門をここに紹介する。正当な主張と本物の研究は以下に述べるすべての手続きに従うし、それに従ったことをあなたに明示する。ジャンバ・ジュースで読んだポスターがその主張に関する試験方法の詳細を述べていないか、試験方法がわたしが以下に示すものに合わないようなら、そのポスターの主張に対して懐疑的になる充分な理由になる。もし何かが本当に効果があるなら、そのメーカーは喜んでその証明をあなたに明示するはずだからだ。

例えば、何かを医学的に試験するには、関係者の間では臨床試験と呼ばれる試験が行われる。以前には無作為化比較試験として知られていた。いくつかの一般的な基礎はどんな科学的試験にも適用される。無作為化とは、同様なサイズのグループに被験者を無作為に分布させることを差す。徹底的かつ責任感を持って行われる時は、被験者の割当に関するあらゆる偏りを除くためとその割当が参加者と試験者に解らないことを保証するために複雑な統計的な処理が使われる。間違えて欲しくないのは、この見たところ単純な試験の最初の手順だが、これをどれくらい詳細に注意して包括的に行うかどうかが、本物の試験とほとんどの似非科学的現象の支持者によって主張される典型的な逸話の“試験”との違いになる。

正当な試験の最も重要な特徴の一つは対照標準である。例えばあなたの手首が痛いとしよう、そしてあなたは鍼治療を試して手首が痛くなくなったとする。あなたはおそらく鍼治療を試験してそれに効果があったのでその効力を証明したと考えるだろう。しかし、実際にはこれは対照標準がなかったので正当な試験ではないのだ。あなたの手首は自然に治ったのかもしれないのだ。または、となりの部屋にいた心霊術師によって癒されたのかもしれない。鍼治療にどんな効果があったのか、あったとしても、知りようがないのだ。逆に治るのが遅くなってたのかもしれない。最も基本的な対照標準としては、同様な怪我をした少なくとも二人に対して、一人は鍼治療を受けて、もう一人は対照標準の治療を受けさせて、他のすべての条件は同じにしなくてはいけない。対照標準を持って始めて正当な試験ができるのである。

盲検化も基本の一つである。盲検化とは試験の参加者に目隠しをしておくという意味である。もし被験者が何を与えられているか知っていたり、どんな結果が報告されることが期待されるかを知っていたり、どのような結果を探せばいいかを知っていると、結果は信用できない。みんな人間なので、目隠しされていないと知らず知らずに結果をねじ曲げたり、または何か意図的に自分の目的に合わせて解釈してしまう機会を与えてしまう。盲検化は、一重、二重、または三重にすることができる。

一重盲検試験では、実験の参加者は結果をねじ曲げるような情報を知らない。もし彼らが飲み薬を試験してるとすると、参加者は本物の薬を飲んでいるのか対照標準の偽薬を飲んでいるのかは知ってはいけない。もし彼らが鍼治療を受けるなら、彼らが伝統的な鍼治療を受けているのかウソの鍼治療を受けているのかを知ってはいけない。この場合、鍼治療の経験がない参加者を注意深く選ばなくてはならない。もし彼らが青汁の試験をするなら、参加者は本物の青汁を飲んでいるのか偽薬の青汁を飲んでいるのか分からないように飲ませるようにしなくてはならない。参加者を盲検化する目的は故意にまたは無意識に本来と違った報告や反応をして試験の結果を操作してしまうことを防ぐためである。

一重盲検試験も良いが、二重盲検試験はさらに良い。二重盲検試験では、被験者も試験官もどのグループがどの試験対象なのかを知らない。試験官は本物の薬を与えてるのか偽薬を与えてるのかも知らない。二重盲検試験は試験官が故意にまたは無意識に異なった行動をして被験者に情報を与えてしまって結果をねじ曲げてしまう可能性を取り除く。

三重盲検試験はそれをさらに究極まで突き詰める。三重盲検試験は二重盲検試験と同じだが、統計学者にも目隠しをするという要素が加わる。試験の結果を表にしたり解析したりする人々に目隠しをするには、彼らに与えるデータはどの被験者からなのか、どの試験官からなのかなど、いっさい分からないようにする。彼らには“被験者Ａは薬Ｂを試験官Ｃによって与えられて結果は１３％改善した”などのデータが与えられる。彼らは被験者Ａが対照標準グループなのか試験対象のグループなのか知らないし、薬Ｂが何なのか知らないし、試験官Ｃが誰なのか知らない。こうすることによって、完全に偏見のない試験結果の詳細を提供することができる。なぜなら統計学者自身ですらそのデータがどういう意味なのか知らないから。

こうした試験が終わった時点で、試験結果が公開される準備ができる。もし試験結果を真剣に受け止めて欲しければ、その結果はピアレビューされる必要があって、さらにその段階を通り抜けなくてはならない。

ピアレビューとは試験結果をその分野の専門家に提出することである。誰が専門家なのか？ それはその研究を誰が公開するか、または誰が資金を出すかに依る。もしそれが科学誌だったら、編集局員が審査員の集まりを通常保持している。もしそれがあなたの研究に資金を出すかどうか考慮しているグループなら、そのグループが何人かの専門家を通常雇う。もしあなたの研究が責任を持って実施されて、あなたの結論が証拠によって充分支持されていれば、審査員たちは通常それに公開しても良いという成績を与える。

例えば UFO 研究家が UFO は他次元から来るという論文を書いたとする。そして、彼が同僚（訳注：ピア）だと考える彼の仲間である UFO 学者たちの何人かが彼の論文を推奨したとする。これでピアレビューされたことになるか？ そうはならない。なぜなら彼自身が審査員を選んだからだ。もし秘密の UFO パンフレットの編集者が選んだ UFO 学者の審査員たちがその論文を推奨したとしたら、ピアレビューされたことになるか？ そうはならない。なぜならその審査員たちには明らかに偏りがあるし彼らの科学的判断は一般の科学会の目から見て正しいと見なされないからだ。通常、公開されるメディアには、綿密なピアレビューによる長期に渡る評判と厳密な必要条件がある。ピアレビューによる行程は審査委員会によってふるいにかけられた個人個人とはいえ間違えたり怠けたり企みがあったりたまたま機嫌が悪かったりする人間に依存するので完全ではない。しかし、ピアレビューは失敗する場合に比べて圧倒的に多くの場合に成功するので、もしあなたの研究を真剣に扱って欲しければ、その研究はピアレビューされるべきなのである。

信頼おける結果を報告する記事にはどんな試験が行われたのかとどんな試験方法が使われたかの詳細が記されていることを覚えておいて欲しい。もし、ある主張があまりのも現実離れしていて、それを主張する人が提供する試験を支持する資料が不十分な場合は、あなたが懐疑的になるべき良い理由である。

ブライアン・ダニング

参考
© 2009 Skeptoid.com