シンギュラリティ教徒への論駁の書

"Enjoying science fiction is not the same thing as doing science or making science policy." - Dale Carrico

カーツワイル氏の予測的中率は本当に86%なのか?

カーツワイル氏は、1990年代から未来予測を発表しているため、一部の予測の期限は既に到来しています。彼の予測手法は、直近の過去におけるテクノロジーの進歩のトレンドを、未来へと外挿するという手法です。それゆえ、カーツワイル氏が過去に発表した予測と、現在2018年時点における予測の結果を見ることによって、今後の将来予測の妥当性を検討する上で重要な示唆を得られると考えています。

実際のところ、カーツワイル氏自身も、過去の予測の的中率を評価しています。1999年の書籍『スピリチュアル・マシーン』中の予測について、2010年に評価を行なったものです。この自己評価はウェブ上で公開されていますが、147件の予測のうち127件が的中しており、すなわち予測の的中率は86%であると主張しています。この的中率は、カーツワイル氏を紹介する記事においても広く引用されています。この数字だけを見れば、カーツワイル氏は未来をかなり正しく予測していたように聞こえるかもしれません。

けれども、また別の見方もあります。近年の認知心理学が教えるところによれば、人間の知能が持つ大きな機能として、「自己正当化」があるとされています。さまざまな心理的バイアスによって、自分自身の評価と他者からの評価が食い違うことはしばしば見られる状況であり、それはカーツワイル氏も例外ではないでしょう。単に人々に夢を見させるための未来予想ではなく、実証的根拠に基いた妥当な未来予測を目指すのであれば、自己評価のみではなく、第三者からの視点を用いた評価が必要となります。

実際に、カーツワイル氏の予測に対する第三者の主観評価は、既に実施されています。これは、シンギュラリタリアンでもあるエリエゼル・ユドコウスキー氏が主催するコミュニティサイトLess Wrong上で、人工知能研究者・フューチャリストスチュアート・アームストロング氏によって、2013年に実施されたものです。

評価の手法としては、カーツワイル氏が『スピリチュアル・マシーン』の中で、2009年 (刊行からおよそ10年後) の未来予測として提示した文章を1文ごとに区切り、合計172件についてそれぞれ予測の成否を判定するというものです。また、判定の分類としては「True (正しい)」、「Weakly True (やや正しい)」、「Cannot decide (判定不能)」、「Weakly False (やや誤り)」、「False (誤り)」の5段階で評価を行ないます。評価を行なった対象者は9名で、各対象者は172件の予測の一部または全部を評価しています。(なお、詳細な評価手法については原文を参照してください)

f:id:liaoyuan:20180130231457p:plain

図:全ての評価の平均値

f:id:liaoyuan:20180130231535p:plain

図:全ての評価者の平均値 (評価者が評価した個数の差異による影響を除くためのもの)

f:id:liaoyuan:20180130231820p:plain

図:別サイト (Youtopia) で募集されたボランティアによる評価

 

結果を見ると、カーツワイル氏の予測的中率は「正しい」、「やや正しい」の2つを合わせても50%程度に留まっています。また、誤りとして判定されている予測は調査によって40%〜50%程度となっています。また、特筆するべきはどのアンケートを見ても10%程度「判定不能」という評価があることです。


もちろん、アームストロング氏も述べている通り、カーツワイル氏が試みている将来予測は有限の事象に対するものではありません。つまり、コインの裏表や競馬の着順のように有限個の選択肢から1つを選ぶものではなく、またあるいは株価予想のように1つの数値の大小を予測するものでもなく、限り無く存在する未来世界の姿を予想するものです。この種の予測において、的中率が低いからと言って未来予測者としての能力に劣っているとか、予測手法が誤りであると断定するつもりはありません。

そして、以前私が述べた通り未来予測の本当の目的は、現在時点における人々の認識を変えることであるとするならば、予測の的中率は問題ではなく、自身の予測を広く世間に広めることができれば目的は達成されていると言えるかもしれまえん。少なくとも、未来の世界をある程度説得的かつ魅力的に語り、それを広く届けることができるカーツワイル氏は、優れたフューチャリストであると言えるでしょう。

けれども、ここで1つだけ強調しておきたいのは、カーツワイル氏自身による評価と、第三者による評価が大きく食い違っていることです。「予測者としての能力はともかく、自己評価と他者からの判定は異なっている」と評価せざるを得ないですし、少なくとも「的中率86%」という主張を額面通りに受け取ることは難しいと考えています。

さて、次回は私自身も『スピリチュアルマシーン』中の未来予測を具体的に紹介し、その内容を検証してみたいと思います。

参考

Assessing Kurzweil: the results - Less Wrong

Assessing Kurzweil: the gory details - Less Wrong Discussion