シンギュラリティ教徒への論駁の書

"Enjoying science fiction is not the same thing as doing science or making science policy." - Dale Carrico

シンギュラリティは雪男である

私のシンギュラリティ懐疑論の立場は、「シンギュラリティは来ない」ではなく「シンギュラリティが来るという根拠がない」というものです。

私のこの立場については、これまでも何度か説明してきているのですが、再度整理しておきたいと思います。*1

  • 「人間と似た人工物」が作成可能であることは、原理的に否定する根拠はない
  • 「人間と似た人工物」が近い将来に作成可能であるという予想には、根拠がない
  • 「人間と似た人工物」ができれば「シンギュラリティ」が発生するという説には、根拠がない *2
  • 「原理的に否定する根拠がない」目標を目指す、個人や有志の研究活動の意義を否定するものではない
  • ただし、「原理的に否定する根拠がない」程度の信憑性の話を、社会の政策や技術開発の指針とすることは反対する


これを説明する分かりやすいたとえを考えてみたところ、私は「雪男」として捉えると適切ではないかと思いました。他の方も、土星人だとかスーパーマンだとか、あるいは鉄腕アトムとゴジラだとか、はたまた永久機関だとか、いろいろなたとえを使われていますが、ガス惑星である土星に生命が存在しないこと、フィクションの登場人物であるスーパーマンやアトムやゴジラが存在しないことはおそらく当然であり、また、熱力学の法則から原理的に不可能だと示されている永久機関も、たとえとしてあまり適切ではないと思うからです。

雪男信仰

  • ヒマラヤ山脈のどこかに、まだ発見されていない雪男がいるかもしれないしいないかもしれない
  • 生物に関する既存の科学的知識からは、「雪深い山の中に住む、ヒトとは別種の高い知能を持つ生物種」が存在する可能性は、原理的に否定できない
  • 雪男の実在を信じる人がいてもよい
  • 個人や有志で、雪男を探す活動に問題があるとも思わない
  • 最終目標である「雪男探し」が荒唐無稽であっても、調査の進め方自体が妥当であれば、たとえば山岳地帯の動植物や地理、地質や気候などの科学的知識が深まるだろう
  • であるため、個人的には雪男の存在を信じないけど、雪男を探したい人(かつまともな調査ができる人)に、ある程度の妥当な額の公的資金を支出してもいいんじゃないの? と思う

雪男と思考実験

  • もしも仮に雪男が存在するとしたら…というスペキュレーティブな思考実験も、あってよい
  • 「もしも仮に、人間に近い (または超える) 認知能力を持つ別種の生物が存在するとしたら、我々は法・社会・経済的に雪男をどのように扱うべきだろうか、あるいは人間はどう扱われるだろうか」という思考実験自体に問題はない
  • 極端な事例を考えることで、自明視されていた思考の前提が問い直され、首尾一貫した新たな洞察を得られる場合があり、それ自体を否定するつもりはない

空想生物とフィクション

  • もちろん、雪男を描く小説や漫画や映画やゲームがあっても良い
  • 空想の生物は創作者のイマジネーションを刺激し、たくさんの作品を生み出してきた

スペキュレーションと政策

  • とはいえ、「雪男の存在を否定する根拠がないこと」「雪男が存在すること」の根拠ではなく、「雪男の存在問題を真剣に考慮するべきである」という理由にもならない
  • 既に雪男が存在するかのように、あるいはすぐに発見されるかのように考え、雪男の存在をもとに社会の政策を検討すること、たとえば「雪男の侵略に備えて防壁を作るべきだ」とか「将来、雪男が我々の代わりに労働するのだ」といった主張には反対する

立証責任の担い手


これは架空の会話。

A 「私は雪男が存在する証拠を見つけた!この毛皮がそれだ!」
B 「検査の結果、この毛皮は雪男ではなくクマのものであると分かりました。」
A 「雪男が居るか居ないか、それは分からない。科学的には、雪男は居るとも居ないとも言えない。『雪男は存在しない』という狭量な前提のもとで議論し、『雪男がいる』という可能性を狭めるのは、非科学的である。」
A 「雪男の存在を否定するなら、その根拠を出せ!!」
B 「…」

 

 下記の記事で紹介した論文もご覧ください。

 

ところで、Wikipediaに掲載されていた情報ですが、ロシアのある学会によると、ロシアに雪男が存在する可能性は95%以上だそうです。(個人的には、雪男が発見されたらめっちゃ面白そうなので是非探してほしい)

恐怖の雪男 [Blu-ray]

恐怖の雪男 [Blu-ray]

*1:なお、この議論では、おもに「知能爆発説」のビジョン(未来予測)を念頭に置いています。「収穫加速説」については、「明確な定義も、過去の実証的根拠も無い」で議論が尽きているので

*2:私はこの2つを区別します

論文紹介:『もしとならば: ナノ倫理思考実験批判』(アルフレッド・ノルドマン)

近年の「人工知能」を取り巻く言説の興味深い点としては、テクノロジー自体やその開発の見通しよりも、テクノロジーの発展に伴う社会的・倫理的影響のほうに大きな注目と関心が集まることが挙げられます。

このような、テクノロジーがもたらす影響についての語りを批判的に検討する上で、参考になる文献を紹介したいと思います。ドイツ、ダルムシュタット工科大学の哲学教授であり、科学史・科学技術哲学を専門とするアルフレッド・ノルドマンが、2007年にNanoethics誌に発表した論文『if-and-then: a critique of speclative nanoethics(pdf) です。ここでの検討の対象は、当時ハイプの最高潮にあったナノテクノロジーが中心ですが、この議論はそのままバイオ、人工知能や脳神経科学に対するスペキュレーションにも適用できるものであると言えます。

ノルドマンの主張を端的に要約すると、次の2点です。

  • テクノロジーの進歩に対する過激な未来予測をベースとした思考実験が短絡的に受け入れられることによって、無根拠なビジョンに信憑性を与え現時点での義務が発生し、技術開発の方針や政策を歪める危険性がある。
  • 倫理的関心と公的な議論は希少な資源である。現在既にテクノロジーに起因する問題が生じているにもかかわらず、信憑性すら疑われる遠い将来の問題に、それら資源を乱用するべきではない。


***

テクノロジーの発展は、往々にして、かつては存在しなかった倫理的・社会的・法的・経済的な問題を引き起こす場合があります。未だ普及していない新興技術であっても、将来的な発展を見越した上であらかじめ対策を講じておかなければならないこともあります。近年の事例では、生殖技術、つまりヒトの受精卵に対する遺伝子組み換えやゲノム編集技術の適用が挙げられます。あるいは、フィクションの設定のような空想的な将来予想それ自体は (決して完全に価値中立的ではないとは言えども) あまり危険視して否定する必要は無いものです。

けれども、著者のノルドマンはあるタイプの思考実験を強く批判しています。テクノロジーに対する空想的な未来予測を前提とした、倫理的な思考実験(特に人間の「強化」に関する思考実験)です。この種の議論は、技術開発の方針を歪める懸念があるからです。

いかなる議論であるか、またどのような問題が生じるかについては、本文中で挙げられた具体例を見れば理解できると思います。

The true and perfectly legitimate conditional "if we ever were in the position to conquer the natural ageing process and become immortal, then we would face the question whether withholding immortality is tantamount to murder" becomes foreshortened to "if you call into question that biomedical research can bring about immortality within some relevant period of time, you are complicit with murder" – no matter how remote the possibility that such research might succeed, we are morally obliged to support it.


(試訳) 正しく、完全に妥当な条件文『もし、我々が自然の老化プロセスを克服し不死となりうる状況に置かれたならば、そこで我々は不死からの撤退は殺人の共犯に等しいのかという疑問に直面することになるだろう。』これが短絡されると、次のようになる。『何らかの妥当な期間中に不死をもたらしうるバイオ医学研究に疑いを差し挟むことは、殺人の共犯である。』- そのような研究が成功する可能性がどれほど小さいものであったとしても、我々は倫理的にその研究を支持する義務を負ってしまう。


つまり、ここでの彼の批判対象は、テクノロジーの未来に対するスペキュレーティブで、過激な、無根拠な予想を利用して、予想自体の妥当性を問うことなしに現在における義務を生じさせるような主張です。こういった主張は、研究者、技術者や投資家が資金獲得のため自覚的に利用している場合も見られますし、未来予測を議論する中でナイーブに主張されることもあります。

近年の「人工知能」言説においては、倫理的義務を課すためのスペキュレーションとして、未来の労働や雇用問題に関する空想が持ち出される場合が多いようです。その空想の信憑性がどれほどであったとしても、物理法則の上で否定できないのであれば、空想を実証的に検証する行為自体が「経済的弱者切り捨てを是認する非人間的態度である」と非難されてしまうのです。

過激な将来予想を元に、その社会的・倫理的影響を論じること自体が、その予想に対する信憑性を与え、結果として研究開発の方向性を歪める傾向があるとノルドマンは批判しています。

論文中では、スペキュレーティブな思考実験を正当化するために利用される、技術開発の将来性を誇張する詭弁的論法がいくつか指摘されていますが、その中の1つとして「ムーアの法則」の乱用があります。取り上げられている事例は、ブレインマシンインターフェイス(BMI) あるいはブレインコンピュータインターフェイス (BCI)と呼ばれる、脳の電磁気的な活動を計測しコンピュータとの通信に用いるデバイスの将来予想です。

In 2002, patients were able to transmit 2 bits/min, 4 years later this figure is up to 40 bits or five letters per minute. If this rate of progress were to continue indefinitely, one could calculate that by 2020 such patients will be able to communicate to the computer as fast as healthy people speak (...). The quoted draft minutes do not claim that this extrapolation will actually hold, nor do they call it into question. Instead, they implicitly invoke Moore’s Law as a standard for envisioning the future potential of brain–machine interfaces. In light of Moore’s Law, the conditional “if present trends continue” becomes a virtual assurance, allowing us once again to drop the “if” and move on to the“then“.


2002年には、患者は1分あたり2ビットを転送できたが、4年後にはこの数値は40ビットあるいは1分あたり5文字に増加している。もしもこの進歩率が途切れることなく続くならば、2020年にはこのような患者とコンピュータとのコミュニケーション速度は健康な人間の会話速度に匹敵するだろうと計算できる。(…) ここで引用した議事録の原稿は、この外挿が実際に実現されるとも、この予測には疑問があるとも述べているわけではない。実際には、彼らはブレインマシンインターフェイスの将来のポテンシャルを夢想する基準として、暗黙のうちにムーアの法則に訴えているのである。ムーアの法則の光に照らされ、条件文「もしも現在のトレンドが続くならば [if present trends continue]」は、事実上確定的なものとなり、ここでも「もし [if]」という語を落として「ならば [then]」へと進むことを許してしまうのだ。

ムーアの法則のような指数関数的な成長があらゆるテクノロジーに適用できるという詭弁は、シンギュラリティ論を唱える人間によっても何度も何度も何度も繰り返されています。このような「予想」は、妥当な未来予測と対策への呼びかけ、たとえば地球温暖化の予測とその対策についての科学的議論とは対照的です。つまり、「遠い将来の夢想的なビジョン」を「近未来の確定的な世界のあり方」として信じ込ませるための詭弁ではなく、未来予測に付随する本質的な不確実性を考慮に入れて、いくつかのシナリオの蓋然性を最初に検討する(その後で影響を考慮する)という方法こそ、妥当な、あるべき未来予測論だと言えます。(そして著者は「妥当な未来予測」や「単なる思考のための思考実験」と、上記のような「倫理的スペキュレーション」を区別するよう注意しています)


この種のスペキュレーティブな未来予想には、しばしば「立証責任の転嫁」が伴います。この事例として、人工知能と超知能に関する思考実験で著名な哲学者、ニック・ボストロム氏による次のような議論が取り上げられています。

[...] to assume that artificial intelligence is impossible or will take thousands of years to develop seems at least as unwarranted as to make the opposite assumption. At a minimum, we must acknowledge that any scenario about what the world will be like in 2050 that postulates the absence of human-level artificial intelligence is making a big assumption that could well turn out to be false. It is therefore important to consider the alternative possibility: that intelligent machines will be built within 50 years.


人工知能が不可能である、または開発に数千年かかると推定するのは、少なくとも、その逆の仮定をすることと同じくらい不当であるように思われる。最低でも、ヒトレベルの人工知能が存在しないことを前提とする2050年の世界に関するシナリオは、誤っている可能性の高い仮定であることを認めなければならない。したがって、別の可能性を考えることが重要である:知能機械は50年以内に構築される。

つまり、「否定する根拠がない、ゆえに正しい (あるいは考慮に値する)」というタイプの詭弁であり、これは無知論証のバリエーションであると言えます。ここでは、予想を否定するのであれば懐疑論者が根拠を示せ、という形で「立証責任の転嫁」をするために使われています。

著者が挙げている通り、再び地球温暖化の例を取れば、肯定派から懐疑派への「立証責任の転嫁」が問題であることは理解できるでしょう。いわゆる「悪魔の証明*1という言葉もある通り、何かが「無い」、あるいは何かが「将来に渡って起こらない」と示すことは非常に困難であり、通常の、対等の立場同士での議論の場合は、何かが「ある」、「起こる」と考える立場に立証責任があるものだからです*2

If you believe that human societies are threatened by global warming and that something should be done about this, you better produce some evidence for the reality of this threat. Bostrom and Ord reverse this burden of proof. Those who refuse to prepare for an unknown and unknowable future of cognitive enhancement are required to justify their stance (...) Such reversals of the burden of proof are familiar from other contexts such as Creationism or Intelligent Design.


もしあなたが人類社会は地球温暖化によって危機に晒されていると信じており、温暖化に対して何らかの対策が取られるべきであると信じているならば、あなたはこの危機が現実のものだという何らかの証拠を挙げなければならない。ボストロムとオルドはこの立証責任を逆転させている。認知能力強化という未知であり不可知の未来への備えを拒否する人間は、自らの立場を正当化することを要求されるのだ (…) このような立証責任の逆転は、創造論インテリジェント・デザインなどの他の文脈ではよく知られたものである。*3

***

このようなスペキュレーションが問題である理由は、今現在または近い未来の差し迫った危険性を隠蔽するからであると言います。

ナノテクノロジーにおける問題については、既に私も取り上げました。終末論めいた「グレイ・グー」の思考実験によって、微小粒子の毒性や、微小粒子とアルツハイマー病との関係など、専門知識を要する分かりづらい危険性から注意が逸らされたという批判がありました。

まったく同じ問題が、昨今のAIと「超知能とシンギュラリティ」の言説でも生じています。「AIの危険性」に関する議論は、ともすれば「自我に目覚めた超知能が反乱を起こす」あるいは「未来の技術的失業」などの問題ばかりが取り上げられることが多いようですが、既に実用化されているAI技術と機械学習技術によってさえ、現在問題が生じている状況です。代表的な問題としては、統計データと機械学習モデル内に取り込まれた有害なバイアス*4や、世論操作などがあります。更には、過激な将来予想を後援するIT企業の意図として、現在生じている問題を隠蔽し世間の注目を逸らす目的があるのではないか、という批判さえあります。


再度言っておくと、本論文で主に注目されているのはナノテクノロジーです。けれども、ここで挙げられた議論とまったく同等の批判が、昨今の人工知能に対するスペキュレーションにも適用できるものです。また、おそらく確実に、次にハイプの対象となる未来のテクノロジーに対しても適用できるだろうと考えています。

Once one breaks the spell of the if-and-then, a lot of work needs to be done. As we have seen, distinctions need to be made and maintained. In order to resist foreshortening, considerable work is required to hold the scientific community to its own standards of honesty and clarity.

ひとたび 「もしとならば」の魔法から覚めたら、たくさんの仕事がなされる必要がある。既に見てきた通り、区別がなされ、また維持されなければならない。短絡に抵抗するために、科学コミュニティには、自身の正直さと明晰さに対する基準を保持するよう、多大な仕事が要求される。

*1:もともとの「悪魔の証明」という用語は、自身に所有権があると立証することの困難さを表したものだったと言われています。

*2:ノルドマン自身は地球温暖化を否定しているわけではなく、ここで挙げられた事例は立証責任を誰が担うべきかを示すためのものです。

*3:なお、ここで取り上げられた立証責任のあり方はいわば哲学的・科学的な原則論であると言えます。たとえば、公害被害者個人と企業との間の訴訟のように、立場の強弱や立証の困難さによって、実務上の(法的な)立証責任の運用は変化することもあり、「予防原則」により「悪影響がないこと」、「危険がないこと」の立証が求められる場合もあるようです。

*4:There is a blind spot in AI research : Nature News & Comment

翻訳:約束の経済

以下の文章は、イギリス、シェフィールド大学天文物理学科教授であり、ナノテクノロジーを専門とするリチャード・ジョーンズ教授が2008年に公表した文章 "Economy of Promises" の翻訳です。

なお、編集された版がNature Nanotechnology誌のサイトに掲載されています。

約束の経済

ナノテクノロジーは2015年までにガンを治療できるだろうか? アメリカ国立ガン機関 (NCI) [National Cancer Institute] のガンナノテクノロジー計画を読むと、そんな印象を受けるだろう。この計画書は、印象的な宣言から始まっている。

To help meet the Challenge Goal of eliminating suffering and death from cancer by 2015, the NCI is engaged in a concerted effort to harness the power of nanotechnology to radically change the way we diagnose, treat and prevent cancer.

--

2015年までにガンによる苦痛と死を根絶するという目標への挑戦に対する支援のため、NCIは、ガンの診断、治療、予防方法を根本的に変えるナノテクノロジーの能力を制御するための、協調した取り組みに従事している。

ナノテクノロジーが、潜在的には、ガンとの戦いに大きく貢献する可能性があることを疑う人間はいないだろう。新たなセンサは早期診断を可能とし、化学療法のための新たな薬品デリバリーシステムは、生存率向上のために役に立つだろう。けれども、7年の間に苦痛と死を根絶するにはほど遠い。そこで、この文書を詳細に内容分析してみよう。NCIは、2015年までにナノテクノロジーによりガンが治療可能となると、明示的に主張しているわけではないと理解できる。実際には、「目標への挑戦」および「障壁を下げる」と言っているだけだ。けれども、このようなうっかりした誤読によって容易に誤った結論が引き出されてしまうような書き方は、本当に賢明であると言えるだろうか。

ナノテクノロジーの開発には、誇張と誇大広告的な約束が伴ってきたということは、まったく新しい洞察でもない。(...)この誇張された約束に対して、科学者は自身の無実を訴え、距離を置こうとするかもしれない。結局のところ、ナノボット、万能アセンブラーやその他のサイエンスフィクション的ナノテクノロジーのビジョンは、シンギュラリタリアンやトランスヒューマニストのようなフリンジ的運動のメンバーが提唱しているものであり、主流派のナノ科学研究者のものではないからだ。そして、ナノテクノロジーのビジネス的側面に関わる商業主義は、多くの科学者にとってアカデミアから遠く離れた出来事のように見える。けれども、ナノテクノロジーを取り囲む「約束の経済」とでも呼べる現象について、本当に科学者はまったく責任を負っていないのだろうか?

もちろん、ほとんどの人が新しい科学の進歩について知る手段は、科学文献ではなくマスメディアである。加えて、アカデミアの研究室で得られた結果が一般メディアの記事へと変換されるプロセスにおいて、当然のごとくドラマチックさと研究の潜在的影響が強調される。論文誌の学術論文から大学広報局のプレスリリースへと至る道のりは、学術論文としての注意深い言葉遣いをシステマティックに除去するプロセス、また、あいまいな将来の可能性を近未来の確定的な成果へと変換させるプロセスとして特徴付けられるだろう。

ここでのキーワードは「可能性がある」だ。--一流論文誌に掲載された、堅実ではあるが革新的でもない論文のプレスリリースの中で、この研究は革命的でラディカルな技術や薬品の開発に繋がる「可能性がある」という表現を、どれほど頻繁に眼にしたことがあるだろうか?

ジャーナリズムの現場では、科学者たちから自然に生じる障壁に対応できないと言われている。それゆえ、多くの科学者はこのプロセスを黙認し従っている。これらニュースストーリーを語る、選ばれた「エキスパートの」コメンテーターは、問題に対する深い技術的知識を持っておらず、誇張された技術的成果のアジェンダを宣伝する願望とコミュニケーションスキルを組み合わせたような人間である場合も多い。

ナノテクノロジーの議論についての奇妙で予期不能な特徴としては、ナノテクノロジーの社会的な影響と倫理的側面について語ること自体が、期待の高まりを助長していることが挙げられる。(...) あまりに極端なナノテクノロジー発展の外挿をもとにして、その倫理的・社会的な影響を空想すること自体が、暗黙のうちに、そのビジョンに対するお墨付きを与えてしまうのだ。もしも、テクノロジー発展の帰結を想像することができ、それが自然法則に反すると証明できない場合には、社会に起こりうるインパクトについて考えないことは、無責任だと言われてしまうのだ。この場合、妥当性や実現性についての疑問は脇に置かれてしまう。(...)

科学者たちは、過激なナノテクノロジーのビジョンが公共の場に根付き活力を保っていることに対し、ある種の無力感を感じるかもしれない。メディアが科学ストーリーを扱う方法に対して、科学者ができることがそう多くあるとは思えない。科学の進歩の潜在的重大性を控え目に語ることによりメディアでのキャリアを築いた人は、おそらく確実に存在しないだろう。これは、メディアの制約条件の中で、科学者がその責任と正確性を行使するべきではないと述べているのではない。それでも、「約束の経済」は、我々が認識するよりもはるかに深く科学的活動の中に埋め込まれている。

約束を絶対的な前提とする文書の種類としては、研究提案が挙げられる。研究資金の提供機関から、潜在的に経済的インパクトのある研究を行うようにという圧力が高まるにつれて、研究者が自分の研究は劇的な成果に繋がるという強い主張を述べるようになることは避けられない現象であるようだ。このような主張と伝統的なアカデミックな価値観との衝突が、ある種の冷笑主義を生むことはおそらく理解できるだろう。科学者は、自分の研究を正当化する独自の方法を持っており、研究の究極的な応用についての誇張された主張、あるいは実現不可能な主張に対する罪悪感を緩和させられるかもしれない。多少無謀な主張を正当化する方法としては、科学と技術は実際に社会と経済に大きな影響を与えてきており、そのインパクトは元々の研究が行われたときには予測不可能であった場合すらある、という観察が挙げられる。たとえ個々の研究者の主張が妥当ではないとしても、研究者全体としては重要な成果をもたらせるのだと正当化できるかもしれない。

つまり、科学者は、自分自身の研究のみが大きな影響を与えるとは信じていないかもしれないが、一方で科学全体は大きな利益をもたらすと確信している。その一方で、大衆は、科学技術が約束したものの実現できなかった約束について長く記憶しているだろう。 (原子力発電は「測定不要なほど安価」という宣伝は、最も悪名高い例である)これは、他に何もなければ、ナノサイエンスのコミュニティ自身が約束の支払いを負うことを示している。

ハイプとハイプ・サイクル

残念なことに、強調と過剰な熱意と誇張の間には違いがある。ハイプは文字通りに理解するためのものではない。

デイヴィッド・M・ベルーベ著『ナノ・ハイプ狂騒』(上巻 p.32)

新たなテクノロジーの黎明期に、「ハイプ」--過大評価と誇大広告-- が見られるという観察は、何も新しいものではありません。というよりも、「過去一世紀ほどの間のテクノロジーで過剰宣伝されなかったものなど皆無だ」というシニカルな意見さえあります。

未来研究所(Institute for the Future)の共同創業者ロイ・アマラ博士は、既に1960年代〜70年代ごろ、「アマラの法則」として知られる言葉を述べたと言われています。

私たちは短期的にはテクノロジーの効用を過大評価し、長期的には過小評価する傾向にある。

そして、おそらく「ハイプ」を冠したものの中でも一番有名な (あるいは、悪名高い) のは、「ハイプ・サイクル」の分析手法 (および、情報通信業界の調査会社であるガートナー社が作成する同名のレポート)ではないかと思います。

f:id:liaoyuan:20180606220144p:plain wikimedia commonsより

個人的には、こういう類いの何を表しているのか訳が分からないグラフは好みではないのですが、それでも、「アマラの法則」が見抜いた短期的な過大評価と長期的な過小評価を視覚的に図示し、テクノロジー受容の社会的・心理的側面を表すものとして、一定の意義はあります。

一般に、新しいテクノロジーが発明されたり関心を集めるようになると (テクノロジーの引き金)、関心の集中自体が原因となって、テクノロジーは流行を迎えます(過剰な期待のピーク)。その次の段階では、期待に応えられなかったテクノロジーは幻滅され、世間の関心を失います (幻滅の谷)。その後、次第にテクノロジーの本質が理解され、世間に普及するようになり(啓蒙の坂)、主流の技術として受容されるようになります (生産性のプラトー)。もちろん、これはあくまで一種のマーケティング用ツールとして模式的に表現されたものであり、すべてのテクノロジーがこのような過程を辿るわけではありません。(たとえば、生産性のプラトーに辿りつく前に「死ぬ」テクノロジーもあります)

イノベーションの理論によれば、世間からの注目が集った後、「幻滅期」が発生する理由として次のような理由が挙げられています。

  • あるテクノロジーへの注目が集まると、深い知見を持たないままにテクノロジーを利用する人間や企業が生じる
  • 流行したテクノロジーにあやかるために、関連の無いテクノロジーや製品がその名前を借用するようになる
  • 流行りや宣伝に飛び付いた深い知見のない人間は、テクノロジーの導入、利用に失敗する場合が多い

満たされなかった期待によって起こる「幻滅期」は、そのテクノロジーに対する信用と評価を傷つけ、しばしば研究開発を停滞させる場合があります。ここでも既に述べた通り、AIにおいてもかつて2度の「AIの冬」と呼ばれる「幻滅期」がありました。ほぼ確実に、近い将来にまた「第3のAIの冬」が発生するだろうと考えています。対象のテクノロジーが変わったとしても、それを使う企業や大学組織、そして人間の心理は、ほとんど変化しないものであるからです。

ナノ・ハイプ狂騒(上)アメリカのナノテク戦略

ナノ・ハイプ狂騒(上)アメリカのナノテク戦略

イノベーションの普及

イノベーションの普及

ハイプとは何か?

新たなテクノロジーの出現時には、「ハイプ」 --すなわち、開発者による誇大広告と一般大衆の過剰な期待、より広く言えば、将来の可能性に対する「過大評価」と「誇張」-- またその裏返しである「恐怖」が見られます。これは何も、最近の機械学習人工知能に限った現象でもありません。

19世紀末から20世紀初頭にかけては、新技術である電気の将来性に対する夢想が存在しました。電気を題材にしたさまざまな空想科学小説が書かれ、またゼネラル・エレクトリック社などの大企業も、広報のため電力に対する大衆的イメージを積極的に利用したと言われています。

あるいは、既に本書でナノテクノロジーを論じた際に引用した「ナノ・ハイプ狂騒」にも、20世紀末から2000年代初頭にかけて、学術・産業界および政治・行政・メディア・市民運動などさまざまな分野で、各々の思惑からナノテクノロジーの将来性に対する著しい過大評価が起こったと記録されています。

またあるいは、私とほぼ同世代以上の、現在30代以上の人々は、80年代~90年代には「サイバースペース」、2000年代には「Web2.0」などの標語の元に、コンピュータとインターネットの未来に対する楽観的な夢想が広がっていたことを、まだ覚えているだろうと思います。

もちろん、インターネットの将来に関する彼らの想像が的確であった部分もあります。けれども、国家と国際的超巨大企業に支配され管理統制を強める現在のインターネット、リベンジポルノやフェイクニュース、漫画など著作物の違法アップロードから諜報機関による世論操作に至るまで、インターネットが解き放ったさまざまな負の側面を省みると、当時想像されていた情報化社会の未来像とはやや異なる印象を受けることも確かです。

ところで、新しい情報メディアの登場時に表れる、社会制度が抜本的に改革され政治的不平等が消滅するという空想は、まったく新しいものではありません。19世紀には新聞、ラジオやテレビなどの新しいメディアが人々の意思を統一し真の民主主義を打ち立て、専制を終わらせるという主張も存在していました。実際のところはその逆に、19世紀アメリカの新聞が煽り立てた米西戦争、20世紀のドイツ、イタリアや日本の独裁政権など、新たなメディアは新たな形のポピュリズムファシズムを可能ならしめるものであったと言えます。

その他にも、かつて1960年代には、核融合が無尽蔵のエネルギーを供給するため、「あまりに安価すぎるため測定不要」 (too cheap to measure) になるという想像がされていたようです。「無尽蔵のエネルギー供給」をうたう核融合エネルギーの研究史は、あまりに馬鹿げたレベルの楽観主義と希望的観測による錯誤と研究不正、その裏返しである失望と、過去の失敗の忘却の繰り返しでした。

ひとたび新しいテクノロジーが発明されれば一挙に普及して社会を一変させ、旧弊な体制と価値観を葬り去るという希望と誇張に満ちた主張、あるいはその裏返しである恐怖に満ちた主張は、古くから何度も何度も何度も繰り返されてきたものです。ここで再びヨギ・ベラの深遠なる洞察を用いるなら、「これはまるでデジャブの繰り返しだ。」とでも言えるかもしれません。

ウェブ進化論 本当の大変化はこれから始まる (ちくま新書)

ウェブ進化論 本当の大変化はこれから始まる (ちくま新書)

テクノ・ハイプ論 ~なぜシンギュラリティは問題か~

「シンギュラリティの主張は、はっきりとした科学的証明がなされていないという点で、認識論的に間違っている。しかしそれだけで済ますことはできない。シンギュラリティの主張は、倫理的にも非難されるべきである。シンギュラリティという特殊なシナリオを示すことにより、他にも存在するさまざまな危険性から人の目をそらし、その危険の存在を隠蔽しているからだ。」ジャン・ガブリエル・ガナシア著『そろそろ、人工知能の真実を話そう』 (p.138)

ここまで、「シンギュラリティ」の妥当性について、主にシンギュラリティ論の内部の立場に立って論じてきました。

けれども、ごく基礎的な科学・工学教育を受けた人であれば、シンギュラリティ論が経験的根拠に基いた「近未来の予測」というよりは、「遠い将来の夢想」を描いたビジョンであることは、わざわざ詳細に検討するまでもなく一目瞭然だろうと思います。実際のところ、私の書いたものを読んだ(科学的・思想的な素養のある)人の反応もおおむねそのようなものであり、またそんなコメントを受け取ったこともあります。

結局のところ、シンギュラリタリアニズム/トランスヒューマニズムは、アメリカでさえ主流派とは言いがたい周縁的な運動であり、現実にはさしたる影響力を持っていないじゃないか。そんな主張をする人間は、だいたいがAI関連分野の利害関係者で、彼らは何の根拠もないと理解した上で、プレゼンスと研究資金の獲得のために利用しているだけだろう。あまりに楽観的すぎるのは確かだけれども、それでも、未来のビジョンとしては面白いし、科学やテクノロジーに対する大衆のポジティブなイメージ向上に役立つのだから、さして危険視して躍起になって否定しなくても良いではないか、というわけです。

そこで、最終章ではこの疑問に応えたいと思います。つまり、シンギュラリティ論が 「正しいか誤りか」という議論の外側に出て、「なぜシンギュラリティは問題か」を議論します。


私がシンギュラリティ論を検討してきた理由は、より広い意味で、テクノロジーの研究開発に対する「ハイプ」-誇大広告と過剰期待- の存在とそれが引き起す問題を考える上での題材となると考えたからであり、また、シンギュラリタリアニズム/トランスヒューマニズムの主張と、主流派の「テクノロジーによって可能となると考えられていること」の間の距離は、さして隔たっていないと考えるからです。

そこでまずは、科学技術に対するハイプとそのあり方を明らかにした上で、テクノロジーのハイプが科学技術の研究と政策を歪めていること、そして、現在現実に発生している問題を隠蔽してしまう問題について検討したいと思います。そして、更に広い視点からは、この種のハイプ (広く言って、実証的基盤を持たない将来予測) が、我々のテクノロジーに対する見方を歪曲し、ありえる未来の姿に対する視野を狭め、建設的な未来への議論を損なっていることを批判したいと思います。

翻訳:シンギュラリティは近くない:「シンギュラリタリアン」の知的欺瞞

以下は、ジャーナリストのCorey Pein氏による記事 "The singularity is not near: The intellectual fraud of the “Singularitarians” " の翻訳です。

シンギュラリティは近くない:「シンギュラリタリアン」の知的欺瞞

70年以上前、クリスチャンのアナーキスト哲学者であったジャック・エリュールは、テクノロジーは現代国家の真の公認宗教であると断定した。優れた男であり、ホロコーストからの避難民を保護したフランス地下レジスタンス運動のリーダーであったエリュールは、科学者とエンジニアによって可能となったグローバルなカタストロフィを生き延びた。それゆえに、これら同じテクニシャンたちが、これら偽司祭たちが今世紀を統べるだろうと気づいたのである。そして、エリュールは科学者とエンジニアをこのように嫌っていた。「とりわけ不安なのは、彼らが得た莫大な力と、彼らの批判的な能力のギャップである。それはまったく無いと見積もらねばなるまい。」

もしも、エリュールの言う通り、テクノロジーが国家の公認宗教であるならば、シンギュラリタリアニズムはその最も過激で狂信的な宗派に違いあるまい。シンギュラリティは、ガジェット崇拝の戦後世界の教会のオプス・デイである。レイ・カーツワイルは、この教団で最も名の知られた預言者かもしれないが、しかし彼は最初の人間ではない。シンギュラリタリアニズムの真の教父は、ウィスコンシン州出身のSF作家であり元数学教授であるヴァーナー・ヴィンジである。彼が最初にこのアイデアについて書いた解説はOMNI誌の1983年1月号に掲載された。この風変わりな「科学」雑誌は、キャシー・キートンによって創設されたものである。ニューヨークタイムズの死亡記事によれば、彼女はかつてヨーロッパ随一の高給ストリッパーであった。しかし、よく知られているのは、癌の代替医療の宣伝と、夫のボブ・グッチョーネと共に創刊したPenthouse誌のほうだろう。このご大層な記事は、「海猿、猿人や生きている恐竜」に関するの記事の間に掲載されたものだが、そこでヴィンジは、迫り来る「技術的特異点」の到来を予測していた。コンピュータの知能が、創造者である人間にも理解できないほどに上回る時である。ヴィンジの主張によれば、技術的発展の目覚しい指数関数的曲線は、減速を始めているのではなく、その逆に、あらゆる想像を超えた加速が開始されるところであるのだという。「我々はすぐに我々自身の知能よりも優れた知能を作り出すだろう」とヴィンジは書いた。のちの論者とは異なり、必ずしもヴィンジはシンギュラリティが人類にとってのポジティブな発展となるとは捉えていなかったようだ。「物理的な絶滅は最悪の可能性ではないかもしれない」と彼は記した。「我々が動物を扱うような、異なる方法を考えてみてほしい」つまりは、新しいロボットの大君主オーバーロードは、人間を奴隷、家畜、良くてペットとしてしまうかもしれないというのだ。

多くのクリエイティブな人々と同じく、ヴィンジはビジネスの才能を欠いていたため、自身のアイデアのマーケット上の潜在能力を十分に生かすことができなかった。その仕事はレイ・カーツワイルへと引き継がれた。有能なブランドビルダーであるカーツワイルは、ヴィンジの渋面をひっくり返し、シンギュラリティを巨大な宇宙規模のパーティとして作り替え、巨大な商業的成功へと導いた。科学者でありライターであるダグラス・ホフスタッターは、カーツワイルをあざけり、「狂ったアイデアと…堅牢なアイデアの奇妙な混合物」と評した。にもかかわらず、それは勝利の方程式だったのだ。2011年には、Time誌はカーツワイルを「世界で最も影響力のある100人」に選出し、シンギュラリティ教を雑誌のカバーストーリーに飾ったのである。Time誌が宣言したところによると、これは「途方もない」話のように見えるかもしれないが、「超知能の不死サイボーグ」の見通しは、「冷静で慎重な評価」に値するのだそうだ。

サイエンス・フィクションのように聞こえるかもしれないが、それは違う。天気予報がサイエンス・フィクションではないのと同じである。それは非主流派のアイデアでもない。地球上の生命の未来に関する真剣な仮説なのだ。

これはバカげている。科学は懐疑より始まる。他の全ては売り物である。そしてカーツワイルは、科学者というよりは商売人である。彼が書くものと話すものの中では、聞き飽きた同じキャッチフレーズと逸話が何度も何度も繰り返されている。彼の主張すべては、2つのマジックワードにかかっている。ムーアの法則、毎年、コンピュータの処理能力が指数関数的に成長していくという経験則である。この法則は、インテルの共同創業者ゴードン・ムーアによって提唱された(後に彼の名にちなんで名付けられた)ものであるが、インテルマイクロチップに対するある種の宣伝としての意味も持っている。また、ムーアの法則は、カーツワイル独自の「収穫加速の法則」をインスパイアした。これはすべてのテクノロジーイノベーションは、時が経つにつれて、指数関数的に加速するという彼の信念を要約したものである。数十年以内に、カーツワイルの予想によれば、留まることのないガジェットの進化がシンギュラリティをもたらし、次のようなことが実現するのだという。すなわち、無限のエネルギー、超人的AI、文字通りの不死、死者の復活、そして、「宇宙の覚醒」、言うなれば、すべての物質とエネルギーが目覚めるのである。

カーツワイルは科学者とは言えないかもしれないが、しかし面白い教祖グルではある。彼の「信じれば望みは叶う」的アプローチは、とても楽しく見える。それを生死が絡む問題に対するハッタリをかますのに使わなければであるが。更に悪いことに、権力を持つ人々が彼の主張を真面目に受け止めている。なんとなれば、カーツワイルは彼らが聞きたいと望むことを延々と語り、行き過ぎた消費資本主義を熱心に防御してくれるからである。ピーター・ティールのような技術ユートピア主義者と同様、未来の「新しいパラダイム」は企業の利害によって支配されるべきである、とカーツワイルはずっと主張してきた。このような見解が、長年企業幹部とセールスマンを勤めた人物から発せられるのは何ら驚きではない。化石燃料がこの惑星を破壊するのか? 心配はいらない、カーツワイルは宣言する。我々はすぐに常温核融合の問題を解決し、ナノボットが—いつもナノボットを!— 破壊された環境を修復するだろう。アメリカ人の幸福と展望が悪化したことで、カーツワイルの楽観的な夢想はこれまで以上に売れていった。著者の主張によると、ものごとは良くなっており、すぐにもっと驚くべきことが起こるのだという。

あらゆる想像しうる問題に対して計画があり、それは常に同じ計画である: 未来の誰かが何かを発明して、問題を解決してくれる。カーツワイルは、アメリカ人が常に待ち望んでいた真の信仰をもたらしたのだ。そしてそれは、ビジネスフレンドリーな千年王国運動ミレナリアンの、バカげたまでの楽観的形式であることが判明した。これは、ジャック・エリュールの言う技術信仰の戯画であると見なせるだろう。

このトリックは、今後数十年間生き延びるだろう。原子サイズの医療用ナノロボットや人間の意識のデジタルなバックアップが発明されるまで。「我々は、永遠の生命を得られるまで長く生きていられる手段を手にしています。」カーツワイルは書いている。「けれども、ほとんどのベビーブーマーはそれに間に合わないでしょう。」これによって、更なるいかがわしい強迫観念が生み出された。- 寿命延長である。急速に老化が進む同世代を支援し、Googleクラウドサーバへ記憶や人格のアップロードが可能となる技術的な転換点 - 彼の予測では2045年頃 - が訪れるまで生存できるように、カーツワイルは食事、運動と未承認の寿命延長サプリメントを売り込んでいる。もしも、死神から逃れることに失敗した場合は、後世での復活のために自身の身体や脳を冷凍保存しておくことができる。これはクライオニクスとして知られるプロセスであり、カーツワイルが最後の望みを託す手段である。

病気と死に対するカーツワイルの病的な強迫観念は、テクノロジーの装いをまとった代替医療の深淵へと彼を導いた。その習慣は多くのシンギュラリタリアンが従っている。カーツワイルは、35歳のときに糖尿病と診断された。インシュリン治療に不満を抱き、彼はより優れた方法の発見を目指したのだ。その結果生まれたのが、奇妙な、絶え間なく変化するハーブ薬品のメニュー、加えて1日数百の栄養サプリメントとカスタム・フィットネスの健康法である。詳細は、カーツワイルと彼の主治医であるテリー・グロスマンが共著した2冊の本の中で説明されている:「Fantastic Voyage: Live Long Enough to Live Forever」と「Transcend: Nine Steps to Living Well Forever」である。後者には、69ページのレシピが掲載されており、その中にはステビア、ヤムヤムで甘味を付けられたニンジンのサラダについてのレシピを含んでいる。Skeptic誌は、「Fantastic Voyage」は「根拠と常識に対する希望の勝利」であると酷評し、アドバイスの一部は実際には有害であるかもしれないと述べた。

カーツワイルとグロスマンは、自身の権威を利用して臆面もなく金儲けを行っている。規制の緩いサプリメントを、騙されやすい消費者に販売しているのだ。それには「レイとテリーの長寿プロダクト - 科学と栄養学の出会い」とラベル付けされている。著者のウェブサイトでは怪しげな処方箋が販売されている。その中には、1か月間の「スマート栄養素」の提供を約束する、86ドルの「アンチエイジング・マルチパック」が含まれている。この効果の証明として、カーツワイルは自分自身を提示している。この執筆の時点で彼は70歳であるが、彼は長い間、自分の本当の「生物学的年齢」はそれより20年若いと主張してきた。カメラのレンズはそうではないことを示している。2014年には、カーツワイルは、スポーツマンのような新しい髪形を始めた。- 長く、直毛で、以前よりも少しばかり暗い色の髪形である。突然の変化によって、彼のウェブサイトkurzweilai.net上のコメンターたちの一部は心配した。それはカツラだったのか?白髪染めの不運な失敗?あるいは、カーツワイルはついに本物の奇跡の薬を発見したのか?

***

シンギュラリタリアニズムを新しい宗教やカルトであると見なしているのは、何も私が最初の人間ではない。カーツワイル自身も、不死性に対する執着を考えれば、この比較は「理解できる」と述べている。けれども、彼はこのセクトが本質的に宗教的であるという主張は否定する。なぜならば、彼はスピリチュアルな探求の結果としてそこに至ったわけではないからだ。実際には、彼がシンギュラリタリアンとなったのは、「テクノロジー企業の設立における最適な戦術的意思決定」のための「実際的な」努力の結果である、と彼は書いた。スタートアップが道を示したのだ!

シンギュラリタリアンとなることは、カーツワイルの主張によれば、「信仰の問題なのではなく理解の問題なのである。」これは、シンギュラリタリアンとサイエントロジストが共有する常套句である。L.ロン・ハバードは、常に自身の教義を「テクノロジー」として売り込んでいた。これにより、シンギュラリタリアンとの議論は不可能となる。彼らは、自身の信念に科学的に到達したと確信しているために、彼らのバカげた結論に異議を唱える者は非合理的でなければならないのだ。この宗派が、ビジネス、政治、軍事の問題に対して権力を持つ人々の耳に届いていなければ、その教祖は滑稽に見えるかもしれない。けれども、彼らは本気であり、それゆえに危険である。