シンギュラリタリアンやトランスヒューマニストが (分子) ナノテクノロジーの重要な応用先としてみなしているのは、医療分野であるということをこの連載の最初に述べました。
そこでは、分子スケールで動作するナノマシンを体内に注入することによって、たとえば、内臓疾患を体内から検査したり、病原菌や癌細胞を個別に破壊して治療すること、更には、身体や臓器そのものを作り替えることで寿命を劇的に延長したり、脳をスキャンすることで自分の自我をコンピュータ上にアップロードすることなどが想像されています。
ここで1つ大きな問題となるのは、ヒトの1つの細胞は約10^14個の原子から構成されており、個々の臓器には10億〜100億もの細胞が存在するということです。個々の細胞や臓器をナノスケールで操作することは (もし可能だとしても) 途方もない時間を要するでしょう。
アセンブラーと指数関数的製造
この問題に対して、分子ナノテクノロジーの提唱者が仮説上の解決策として提案しているアイデアに、「自己増殖型のアセンブラー(レプリケーター)」があります。すなわち、ナノマシン自体に自身と同等のナノマシンを作成する能力を持たせることによってナノマシン自体を倍々で増加させ、巨視的な物体を操作するに足る大量のナノマシンを作り出すというものです。
そもそも「レプリケーター」を実際に作ることが可能なのかという工学的な問題はさておき、「自己増殖型のナノマシンが自己増殖型のナノマシンを作成する」というアイデア、ナノマシンが一定時間のうちに倍々に、指数関数的に増えていくという考え方は、ある種の破滅的な未来像へと即座に継がるということは理解できるでしょう。暴走し制御不能となったアセンブラーが、指数関数的に周囲のあらゆる物質をアセンブラーへと作り替えていき、短時間のうちに地球上のあらゆる物質がアセンブラーと変えられてしまうという、一種の終末論的な未来予想です。
この仮説上の終末予測は「グレイ・グー」、原義では「灰色のドロドロ」と呼ばれています。分子ナノテクノロジーの提唱者エリック・ドレクスラーが著書『創造する機械』の中で議論し、またビル・ジョイ氏の『ワイアード』誌の記事「なぜ未来は我々を必要としないのか？*1」の中でも取り上げられており、特に米国では (サイエンスフィクション作家や未来学者を中心に) 非常に活発に可能性と危険性が議論され、科学者や政府関係者がその可能性を打ち消すために発言が必要なまでの状況となったようです。ナノ・ハイプの記述によれば、『グレイ・グーのシナリオは「ばい菌や病原菌に対する人間の原始的な恐怖を引き出した」』ためであると記載されています。
リスク、確率、期待値
ここで私が議論したいことは、グレイ・グーのシナリオの妥当性や蓋然性の高低ではありません。(実際のところ、グレイ・グーどころか「自己増殖しないナノマシン」でさえ本当に可能であるのかすらまだ実証されていないのですから) そもそも、ナノテクに対するハイプ自体が下火の現在、グレイ・グーを大真面目に心配している人もごく少数でしょう。
けれども、注目するべきは、破滅的で終末論的な将来予測を持ち出すことを正当化するための論理です。
グレイ・グーに限らず極端な将来予測を取り上げる論者は、議論の必要性を述べるために、しばしばリスク評価に関する期待値を持ち出しています。
「(リスク)=(事象の発生確率)x(予想される損害) 」として定義される「リスク=期待値」を考慮すると、発生確率が微小であっても損害が巨大であるのならば「リスク」はある一定の値を取ります。ゆえに、ありふれた些細なミスも、ごく稀にしか発生しない重大な事故も、双方に同様の注意を払うべきであるという結論が得られます。
このリスク計算の考え方は、ある範囲内では合理的なものです。2011年に発生した東日本大震災の原発事故の際、政府・東京電力関係者は「想定外」、「予見不可能」という言葉を繰り返し発していました。けれども、原発事故によって発生することが予想される被害は甚大なものになるということは、過去の原発事故から既に広く知られていた事実でした。つまり、地震や津波といった天災の確率がいかに低いものであり予測不可能であったとしても、原発事故を想定した対策を事前に準備できなかったことに対して政府・電力会社が不作為の責任を負うことは避けられないでしょう。
同様の論理が、ナノテクのグレイ・グーの議論にも、そして人工知能のシンギュラリティに関する議論を正当化するためにも使われています。このような極端な未来を考慮すると、そこで予測される損害は不可逆的かつ無限大 (ないし極めて巨大な値)であるために、どれほど発生確率が小さくとも、リスクの値「事象の発生確率 (有限の正の値)」x「損害 (無限大)」から計算される値は、無限大の (ないし極めて巨大な) 値を取ります。ゆえに、蓋然性が高いと思われる平凡な未来よりも、極端で破滅的な (またはユートピア的な) 未来像を考慮し、議論することが必要なのである、と主張されることがあります。
この主張は、一見、地震や原発事故のリスク計算と同様の論理構造を持っているかのように見えます。けれども、私はこの主張はあまり妥当ではないと考えています。
まず、「事象の発生確率」について言えば、天災や戦乱のような人類史において度々起きた「ありふれた」出来事と異なり、グレイ・グーやシンギュラリティの「発生確率」を明確に定義することはできません。そもそも、ジャン=ガブリエル・ガナシア氏が言うところの「蓋然性や可能性を論じる前に信憑性すら疑われる話」なのですから。
また、人類史において前例がなく、発生確率は極小と考えられる事象であっても、人類に対して不可逆かつ甚大な影響をもたらすと考えられる出来事は多数存在しています。たとえば、巨大隕石の衝突、破局噴火、核戦争、巨大磁気嵐、ガンマ線バースト、宇宙人の地球侵略、アセンションなどいくらでも挙げられるでしょう。(これらの事象が起きないということを明確に証明することは困難です) ここで挙げたような、可能性を否定することができず、グレイ・グーやシンギュラリティよりも蓋然性が高いと思われる、あらゆる破滅的な終末を考慮せず、自分が好む特定の説だけに注目することは、論理整合的な態度であるとは言い難いものです。
そして、「予想される損害」に関して言えば、この項に無限大 (または極めて巨大な値) が入ることは、リスク評価の計算をひどく歪めてしまいます*2。
一等の賞金が無限大であるような宝くじの存在を仮定してみます。すると、たとえ一等の確率がどれほど小さいものであったとしても、それがゼロでない限りは全財産をつぎ込んででも宝くじを買うことが「合理的」であるという、パラドックスめいた状況に陥ります。想定被害が無限大の場合も同様であり、被害を避けるためには現時点の全てのリソースをつぎ込んででも回避することが必要であるという、これまたとんでもなく馬鹿げた話となってしまいます。セントルイス・ワシントン大学の哲学教授であるロイ・ソーレンセンは、意思決定モデルとしての『パスカルの賭け』を検討した論文の中で、サンクトペテルブルクの逆説を例に挙げて、無限大の期待値を含む意思決定理論の妥当性について注意を促しています*3。
極端な未来予想のリスク計算においては、「事象の発生確率」と「予想される損害」のそれぞれについて、非常に重大な問題が隠れていると言えます。
なぜこの議論は問題か
さて、このようなリスク推定の議論が問題であるのは、しばしばこの論理が立証責任を懐疑論者に転嫁するために用いられる手段であるからです。既に何度か、私はシンギュラリタリアンが立証責任を放棄し、むしろ懐疑論者へと立証責任を押し付ける傾向について論じてきました。
ここでは、トランスヒューマニストとして著名な哲学者、ニック・ボストロム氏の論文から一例を紹介します。
…to assume that artificial intelligence is impossible or will take thousands of years to develop seems at least as unwarranted as to make the opposite assumption. At a minimum, we must acknowledge that any scenario about what the world will be like in 2050 that postulates the absence of human-level artificial intelligence is making a big assumption that could well turn out to be false. It is therefore important to consider the alternative possibility: that intelligent machines will be built within 50 years.*4
(試訳) 人工知能が不可能である、または開発に数千年かかると推定するのは、少なくとも、その逆の仮定をすることと同じくらい不当であるように思われる。最低でも、ヒトレベルの人工知能が存在しないことを前提とする2050年の世界に関するシナリオは、誤っている可能性の高い仮定であることを認めなければならない。したがって、別の可能性を考えることが重要である：知能機械は50年以内に構築される。
この議論は、無知論証の一種であると言えます。すなわち、可能性を否定する根拠がないのだからそれは可能である (議論に値する)、と主張する論理的な誤りです*5。
論理的に、あるいは物理法則からは予測を否定できないため可能性はゼロではないのだから、あとは極端な被害や利益をもたらす予測を提示しさえすれば、期待値は巨大となる。ゆえに、その予測は議論に値する、それを否定するのであれば懐疑論者が不可能である根拠を示せ、というわけです。
実際のところ、何らかの未来予測について語る場合には、普通は予測者自身に予測の妥当性を立証する責任がある、と考えられます。たとえば、地球温暖化の人為説を論じるのであれば、通常は人為説を唱える側が人間の活動と温暖化との関連を立証する責任が発生します。ところが、この種の誤ったリスク計算の観点からは、むしろ懐疑論者が根拠を立証する責任を負わされ、否定の根拠を示せないのであれば、懐疑論の主張自体が無責任だと非難されてしまうのです。
このような責任転嫁は、シンギュラリティ論に限らず、ナイーブな反原発運動や代替医療など疑似科学的な主張において広く見られます。
もう一件、この種の議論が問題である実際的な理由は、現在現実に発生している問題、または近い将来発生しうる蓋然性の高い問題への注目を下げてしまう可能性があることです。
ナノテクの例を挙げれば、カーボンナノチューブが発ガン性を持つ可能性が指摘されていますし、脳に蓄積した微小粒子とアルツハイマー病の関連を疑う研究もあります。人工知能と機械学習の問題について言えば、たとえばビッグデータの利用にからむプライバシー権の問題、中立を装ったアルゴリズムによって人々が眼にする記事やSNSの投稿が巧妙に操作され、特定の企業、政党や国家へ有利なように意見が誘導される問題などが挙げられるでしょう。
このような問題は、科学技術的な観点からの議論のみならず、法的な制度設計も含めた広範な議論を必要としますが、極端な未来予測によってそれが覆い隠される危険性も存在しています。それどころか、この種の極端な未来予測は、ガナシア氏が指摘する通り現在起きている何らかの問題から世間の注目を遠ざけるための目くらましとして使用されている可能性さえあります。この種の問題は、遠い将来に起きる可能性があるごく小さな発生確率の問題ではなく、今の時点で既に起きている現実の問題です。
ドイツ ダルムシュタット工科大学の哲学・科学哲学教授のアルフレッド・ノルドマン教授は、哲学や倫理学の思考のために用いられる思考実験において、科学技術を乱用することを戒めています。それは、我々の倫理的な関心や公共的な議論は希少な有限の資源であり、現在においてすらテクノロジーに由来する問題が生じている状況で、遠い未来の不確かな予測に対して、資源を乱用するべきではない、という理由からです。ノルドマン教授が主に対象としているのはナノテクノロジーですが、これは人工知能に関する昨今の議論にも全く同様に当てはまります*6。
もちろん、改めて言うまでもなく未来は不確実であり、未来のリスクを評価しマネジメントすることは重要なプロセスです。けれども、この種の極端な未来予測が、私たちの将来に関する議論と政策を歪めることは望ましくない、と私は考えています。
*2:これは原義のシンギュラリティ、無限大の発生により論理や規則が破綻することですね。
*3:Roy Sorensen(1994) "Infinite decision theory" Gambling on God: Essays on Pascal's Wager, p.139-159
*4:Nick Bostrom (2006), Welcome to a world of exponential change
*5:ホメオパシーなどの代替医療に効果があることは否定できないのだから、それは議論に値する、否定するのであればその根拠を示せ、という疑似科学的主張と論理的に同等。
*6:Alfred Nordmann (2007), If and Then: A Critique of Speculative NanoEthics https://www.americanbar.org/content/dam/aba/administrative/bioethics/nordmann-if-and-then-a-critique-of-speculative-nanoethics.authcheckdam.pdf
