シンギュラリティ教徒への論駁の書

"Enjoying science fiction is not the same thing as doing science or making science policy." - Dale Carrico

論文紹介:『もしとならば: ナノ倫理思考実験批判』(アルフレッド・ノルドマン)

近年の「人工知能」を取り巻く言説の興味深い点としては、テクノロジー自体やその開発の見通しよりも、テクノロジーの発展に伴う社会的・倫理的影響のほうに大きな注目と関心が集まることが挙げられます。

このような、テクノロジーがもたらす影響についての語りを批判的に検討する上で、参考になる文献を紹介したいと思います。ドイツ、ダルムシュタット工科大学の哲学教授であり、科学史・科学技術哲学を専門とするアルフレッド・ノルドマンが、2007年にNanoethics誌に発表した論文『if-and-then: a critique of speclative nanoethics(pdf) です。ここでの検討の対象は、当時ハイプの最高潮にあったナノテクノロジーが中心ですが、この議論はそのままバイオ、人工知能や脳神経科学に対するスペキュレーションにも適用できるものであると言えます。

ノルドマンの主張を端的に要約すると、次の2点です。

  • テクノロジーの進歩に対する過激な未来予測をベースとした思考実験が短絡的に受け入れられることによって、無根拠なビジョンに信憑性を与え現時点での義務が発生し、技術開発の方針や政策を歪める危険性がある。
  • 倫理的関心と公的な議論は希少な資源である。現在既にテクノロジーに起因する問題が生じているにもかかわらず、信憑性すら疑われる遠い将来の問題に、それら資源を乱用するべきではない。


***

テクノロジーの発展は、往々にして、かつては存在しなかった倫理的・社会的・法的・経済的な問題を引き起こす場合があります。未だ普及していない新興技術であっても、将来的な発展を見越した上であらかじめ対策を講じておかなければならないこともあります。近年の事例では、生殖技術、つまりヒトの受精卵に対する遺伝子組み換えやゲノム編集技術の適用が挙げられます。あるいは、フィクションの設定のような空想的な将来予想それ自体は (決して完全に価値中立的ではないとは言えども) あまり危険視して否定する必要は無いものです。

けれども、著者のノルドマンはあるタイプの思考実験を強く批判しています。テクノロジーに対する空想的な未来予測を前提とした、倫理的な思考実験(特に人間の「強化」に関する思考実験)です。この種の議論は、技術開発の方針を歪める懸念があるからです。

いかなる議論であるか、またどのような問題が生じるかについては、本文中で挙げられた具体例を見れば理解できると思います。

The true and perfectly legitimate conditional "if we ever were in the position to conquer the natural ageing process and become immortal, then we would face the question whether withholding immortality is tantamount to murder" becomes foreshortened to "if you call into question that biomedical research can bring about immortality within some relevant period of time, you are complicit with murder" – no matter how remote the possibility that such research might succeed, we are morally obliged to support it.


(試訳) 正しく、完全に妥当な条件文『もし、我々が自然の老化プロセスを克服し不死となりうる状況に置かれたならば、そこで我々は不死からの撤退は殺人の共犯に等しいのかという疑問に直面することになるだろう。』これが短絡されると、次のようになる。『何らかの妥当な期間中に不死をもたらしうるバイオ医学研究に疑いを差し挟むことは、殺人の共犯である。』- そのような研究が成功する可能性がどれほど小さいものであったとしても、我々は倫理的にその研究を支持する義務を負ってしまう。


つまり、ここでの彼の批判対象は、テクノロジーの未来に対するスペキュレーティブで、過激な、無根拠な予想を利用して、予想自体の妥当性を問うことなしに現在における義務を生じさせるような主張です。こういった主張は、研究者、技術者や投資家が資金獲得のため自覚的に利用している場合も見られますし、未来予測を議論する中でナイーブに主張されることもあります。

近年の「人工知能」言説においては、倫理的義務を課すためのスペキュレーションとして、未来の労働や雇用問題に関する空想が持ち出される場合が多いようです。その空想の信憑性がどれほどであったとしても、物理法則の上で否定できないのであれば、空想を実証的に検証する行為自体が「経済的弱者切り捨てを是認する非人間的態度である」と非難されてしまうのです。

過激な将来予想を元に、その社会的・倫理的影響を論じること自体が、その予想に対する信憑性を与え、結果として研究開発の方向性を歪める傾向があるとノルドマンは批判しています。

論文中では、スペキュレーティブな思考実験を正当化するために利用される、技術開発の将来性を誇張する詭弁的論法がいくつか指摘されていますが、その中の1つとして「ムーアの法則」の乱用があります。取り上げられている事例は、ブレインマシンインターフェイス(BMI) あるいはブレインコンピュータインターフェイス (BCI)と呼ばれる、脳の電磁気的な活動を計測しコンピュータとの通信に用いるデバイスの将来予想です。

In 2002, patients were able to transmit 2 bits/min, 4 years later this figure is up to 40 bits or five letters per minute. If this rate of progress were to continue indefinitely, one could calculate that by 2020 such patients will be able to communicate to the computer as fast as healthy people speak (...). The quoted draft minutes do not claim that this extrapolation will actually hold, nor do they call it into question. Instead, they implicitly invoke Moore’s Law as a standard for envisioning the future potential of brain–machine interfaces. In light of Moore’s Law, the conditional “if present trends continue” becomes a virtual assurance, allowing us once again to drop the “if” and move on to the“then“.


2002年には、患者は1分あたり2ビットを転送できたが、4年後にはこの数値は40ビットあるいは1分あたり5文字に増加している。もしもこの進歩率が途切れることなく続くならば、2020年にはこのような患者とコンピュータとのコミュニケーション速度は健康な人間の会話速度に匹敵するだろうと計算できる。(…) ここで引用した議事録の原稿は、この外挿が実際に実現されるとも、この予測には疑問があるとも述べているわけではない。実際には、彼らはブレインマシンインターフェイスの将来のポテンシャルを夢想する基準として、暗黙のうちにムーアの法則に訴えているのである。ムーアの法則の光に照らされ、条件文「もしも現在のトレンドが続くならば [if present trends continue]」は、事実上確定的なものとなり、ここでも「もし [if]」という語を落として「ならば [then]」へと進むことを許してしまうのだ。

ムーアの法則のような指数関数的な成長があらゆるテクノロジーに適用できるという詭弁は、シンギュラリティ論を唱える人間によっても何度も何度も何度も繰り返されています。このような「予想」は、妥当な未来予測と対策への呼びかけ、たとえば地球温暖化の予測とその対策についての科学的議論とは対照的です。つまり、「遠い将来の夢想的なビジョン」を「近未来の確定的な世界のあり方」として信じ込ませるための詭弁ではなく、未来予測に付随する本質的な不確実性を考慮に入れて、いくつかのシナリオの蓋然性を最初に検討する(その後で影響を考慮する)という方法こそ、妥当な、あるべき未来予測論だと言えます。(そして著者は「妥当な未来予測」や「単なる思考のための思考実験」と、上記のような「倫理的スペキュレーション」を区別するよう注意しています)


この種のスペキュレーティブな未来予想には、しばしば「立証責任の転嫁」が伴います。この事例として、人工知能と超知能に関する思考実験で著名な哲学者、ニック・ボストロム氏による次のような議論が取り上げられています。

[...] to assume that artificial intelligence is impossible or will take thousands of years to develop seems at least as unwarranted as to make the opposite assumption. At a minimum, we must acknowledge that any scenario about what the world will be like in 2050 that postulates the absence of human-level artificial intelligence is making a big assumption that could well turn out to be false. It is therefore important to consider the alternative possibility: that intelligent machines will be built within 50 years.


人工知能が不可能である、または開発に数千年かかると推定するのは、少なくとも、その逆の仮定をすることと同じくらい不当であるように思われる。最低でも、ヒトレベルの人工知能が存在しないことを前提とする2050年の世界に関するシナリオは、誤っている可能性の高い仮定であることを認めなければならない。したがって、別の可能性を考えることが重要である:知能機械は50年以内に構築される。

つまり、「否定する根拠がない、ゆえに正しい (あるいは考慮に値する)」というタイプの詭弁であり、これは無知論証のバリエーションであると言えます。ここでは、予想を否定するのであれば懐疑論者が根拠を示せ、という形で「立証責任の転嫁」をするために使われています。

著者が挙げている通り、再び地球温暖化の例を取れば、肯定派から懐疑派への「立証責任の転嫁」が問題であることは理解できるでしょう。いわゆる「悪魔の証明*1という言葉もある通り、何かが「無い」、あるいは何かが「将来に渡って起こらない」と示すことは非常に困難であり、通常の、対等の立場同士での議論の場合は、何かが「ある」、「起こる」と考える立場に立証責任があるものだからです*2

If you believe that human societies are threatened by global warming and that something should be done about this, you better produce some evidence for the reality of this threat. Bostrom and Ord reverse this burden of proof. Those who refuse to prepare for an unknown and unknowable future of cognitive enhancement are required to justify their stance (...) Such reversals of the burden of proof are familiar from other contexts such as Creationism or Intelligent Design.


もしあなたが人類社会は地球温暖化によって危機に晒されていると信じており、温暖化に対して何らかの対策が取られるべきであると信じているならば、あなたはこの危機が現実のものだという何らかの証拠を挙げなければならない。ボストロムとオルドはこの立証責任を逆転させている。認知能力強化という未知であり不可知の未来への備えを拒否する人間は、自らの立場を正当化することを要求されるのだ (…) このような立証責任の逆転は、創造論インテリジェント・デザインなどの他の文脈ではよく知られたものである。*3

***

このようなスペキュレーションが問題である理由は、今現在または近い未来の差し迫った危険性を隠蔽するからであると言います。

ナノテクノロジーにおける問題については、既に私も取り上げました。終末論めいた「グレイ・グー」の思考実験によって、微小粒子の毒性や、微小粒子とアルツハイマー病との関係など、専門知識を要する分かりづらい危険性から注意が逸らされたという批判がありました。

まったく同じ問題が、昨今のAIと「超知能とシンギュラリティ」の言説でも生じています。「AIの危険性」に関する議論は、ともすれば「自我に目覚めた超知能が反乱を起こす」あるいは「未来の技術的失業」などの問題ばかりが取り上げられることが多いようですが、既に実用化されているAI技術と機械学習技術によってさえ、現在問題が生じている状況です。代表的な問題としては、統計データと機械学習モデル内に取り込まれた有害なバイアス*4や、世論操作などがあります。更には、過激な将来予想を後援するIT企業の意図として、現在生じている問題を隠蔽し世間の注目を逸らす目的があるのではないか、という批判さえあります。


再度言っておくと、本論文で主に注目されているのはナノテクノロジーです。けれども、ここで挙げられた議論とまったく同等の批判が、昨今の人工知能に対するスペキュレーションにも適用できるものです。また、おそらく確実に、次にハイプの対象となる未来のテクノロジーに対しても適用できるだろうと考えています。

Once one breaks the spell of the if-and-then, a lot of work needs to be done. As we have seen, distinctions need to be made and maintained. In order to resist foreshortening, considerable work is required to hold the scientific community to its own standards of honesty and clarity.

ひとたび 「もしとならば」の魔法から覚めたら、たくさんの仕事がなされる必要がある。既に見てきた通り、区別がなされ、また維持されなければならない。短絡に抵抗するために、科学コミュニティには、自身の正直さと明晰さに対する基準を保持するよう、多大な仕事が要求される。

*1:もともとの「悪魔の証明」という用語は、自身に所有権があると立証することの困難さを表したものだったと言われています。

*2:ノルドマン自身は地球温暖化を否定しているわけではなく、ここで挙げられた事例は立証責任を誰が担うべきかを示すためのものです。

*3:なお、ここで取り上げられた立証責任のあり方はいわば哲学的・科学的な原則論であると言えます。たとえば、公害被害者個人と企業との間の訴訟のように、立場の強弱や立証の困難さによって、実務上の(法的な)立証責任の運用は変化することもあり、「予防原則」により「悪影響がないこと」、「危険がないこと」の立証が求められる場合もあるようです。

*4:There is a blind spot in AI research : Nature News & Comment

翻訳:約束の経済

以下の文章は、イギリス、シェフィールド大学天文物理学科教授であり、ナノテクノロジーを専門とするリチャード・ジョーンズ教授が2008年に公表した文章 "Economy of Promises" の翻訳です。

なお、編集された版がNature Nanotechnology誌のサイトに掲載されています。

約束の経済

ナノテクノロジーは2015年までにガンを治療できるだろうか? アメリカ国立ガン機関 (NCI) [National Cancer Institute] のガンナノテクノロジー計画を読むと、そんな印象を受けるだろう。この計画書は、印象的な宣言から始まっている。

To help meet the Challenge Goal of eliminating suffering and death from cancer by 2015, the NCI is engaged in a concerted effort to harness the power of nanotechnology to radically change the way we diagnose, treat and prevent cancer.

--

2015年までにガンによる苦痛と死を根絶するという目標への挑戦に対する支援のため、NCIは、ガンの診断、治療、予防方法を根本的に変えるナノテクノロジーの能力を制御するための、協調した取り組みに従事している。

ナノテクノロジーが、潜在的には、ガンとの戦いに大きく貢献する可能性があることを疑う人間はいないだろう。新たなセンサは早期診断を可能とし、化学療法のための新たな薬品デリバリーシステムは、生存率向上のために役に立つだろう。けれども、7年の間に苦痛と死を根絶するにはほど遠い。そこで、この文書を詳細に内容分析してみよう。NCIは、2015年までにナノテクノロジーによりガンが治療可能となると、明示的に主張しているわけではないと理解できる。実際には、「目標への挑戦」および「障壁を下げる」と言っているだけだ。けれども、このようなうっかりした誤読によって容易に誤った結論が引き出されてしまうような書き方は、本当に賢明であると言えるだろうか。

ナノテクノロジーの開発には、誇張と誇大広告的な約束が伴ってきたということは、まったく新しい洞察でもない。(...)この誇張された約束に対して、科学者は自身の無実を訴え、距離を置こうとするかもしれない。結局のところ、ナノボット、万能アセンブラーやその他のサイエンスフィクション的ナノテクノロジーのビジョンは、シンギュラリタリアンやトランスヒューマニストのようなフリンジ的運動のメンバーが提唱しているものであり、主流派のナノ科学研究者のものではないからだ。そして、ナノテクノロジーのビジネス的側面に関わる商業主義は、多くの科学者にとってアカデミアから遠く離れた出来事のように見える。けれども、ナノテクノロジーを取り囲む「約束の経済」とでも呼べる現象について、本当に科学者はまったく責任を負っていないのだろうか?

もちろん、ほとんどの人が新しい科学の進歩について知る手段は、科学文献ではなくマスメディアである。加えて、アカデミアの研究室で得られた結果が一般メディアの記事へと変換されるプロセスにおいて、当然のごとくドラマチックさと研究の潜在的影響が強調される。論文誌の学術論文から大学広報局のプレスリリースへと至る道のりは、学術論文としての注意深い言葉遣いをシステマティックに除去するプロセス、また、あいまいな将来の可能性を近未来の確定的な成果へと変換させるプロセスとして特徴付けられるだろう。

ここでのキーワードは「可能性がある」だ。--一流論文誌に掲載された、堅実ではあるが革新的でもない論文のプレスリリースの中で、この研究は革命的でラディカルな技術や薬品の開発に繋がる「可能性がある」という表現を、どれほど頻繁に眼にしたことがあるだろうか?

ジャーナリズムの現場では、科学者たちから自然に生じる障壁に対応できないと言われている。それゆえ、多くの科学者はこのプロセスを黙認し従っている。これらニュースストーリーを語る、選ばれた「エキスパートの」コメンテーターは、問題に対する深い技術的知識を持っておらず、誇張された技術的成果のアジェンダを宣伝する願望とコミュニケーションスキルを組み合わせたような人間である場合も多い。

ナノテクノロジーの議論についての奇妙で予期不能な特徴としては、ナノテクノロジーの社会的な影響と倫理的側面について語ること自体が、期待の高まりを助長していることが挙げられる。(...) あまりに極端なナノテクノロジー発展の外挿をもとにして、その倫理的・社会的な影響を空想すること自体が、暗黙のうちに、そのビジョンに対するお墨付きを与えてしまうのだ。もしも、テクノロジー発展の帰結を想像することができ、それが自然法則に反すると証明できない場合には、社会に起こりうるインパクトについて考えないことは、無責任だと言われてしまうのだ。この場合、妥当性や実現性についての疑問は脇に置かれてしまう。(...)

科学者たちは、過激なナノテクノロジーのビジョンが公共の場に根付き活力を保っていることに対し、ある種の無力感を感じるかもしれない。メディアが科学ストーリーを扱う方法に対して、科学者ができることがそう多くあるとは思えない。科学の進歩の潜在的重大性を控え目に語ることによりメディアでのキャリアを築いた人は、おそらく確実に存在しないだろう。これは、メディアの制約条件の中で、科学者がその責任と正確性を行使するべきではないと述べているのではない。それでも、「約束の経済」は、我々が認識するよりもはるかに深く科学的活動の中に埋め込まれている。

約束を絶対的な前提とする文書の種類としては、研究提案が挙げられる。研究資金の提供機関から、潜在的に経済的インパクトのある研究を行うようにという圧力が高まるにつれて、研究者が自分の研究は劇的な成果に繋がるという強い主張を述べるようになることは避けられない現象であるようだ。このような主張と伝統的なアカデミックな価値観との衝突が、ある種の冷笑主義を生むことはおそらく理解できるだろう。科学者は、自分の研究を正当化する独自の方法を持っており、研究の究極的な応用についての誇張された主張、あるいは実現不可能な主張に対する罪悪感を緩和させられるかもしれない。多少無謀な主張を正当化する方法としては、科学と技術は実際に社会と経済に大きな影響を与えてきており、そのインパクトは元々の研究が行われたときには予測不可能であった場合すらある、という観察が挙げられる。たとえ個々の研究者の主張が妥当ではないとしても、研究者全体としては重要な成果をもたらせるのだと正当化できるかもしれない。

つまり、科学者は、自分自身の研究のみが大きな影響を与えるとは信じていないかもしれないが、一方で科学全体は大きな利益をもたらすと確信している。その一方で、大衆は、科学技術が約束したものの実現できなかった約束について長く記憶しているだろう。 (原子力発電は「測定不要なほど安価」という宣伝は、最も悪名高い例である)これは、他に何もなければ、ナノサイエンスのコミュニティ自身が約束の支払いを負うことを示している。

ハイプとハイプ・サイクル

残念なことに、強調と過剰な熱意と誇張の間には違いがある。ハイプは文字通りに理解するためのものではない。

デイヴィッド・M・ベルーベ著『ナノ・ハイプ狂騒』(上巻 p.32)

新たなテクノロジーの黎明期に、「ハイプ」--過大評価と誇大広告-- が見られるという観察は、何も新しいものではありません。というよりも、「過去一世紀ほどの間のテクノロジーで過剰宣伝されなかったものなど皆無だ」というシニカルな意見さえあります。

未来研究所(Institute for the Future)の共同創業者ロイ・アマラ博士は、既に1960年代〜70年代ごろ、「アマラの法則」として知られる言葉を述べたと言われています。

私たちは短期的にはテクノロジーの効用を過大評価し、長期的には過小評価する傾向にある。

そして、おそらく「ハイプ」を冠したものの中でも一番有名な (あるいは、悪名高い) のは、「ハイプ・サイクル」の分析手法 (および、情報通信業界の調査会社であるガートナー社が作成する同名のレポート)ではないかと思います。

f:id:liaoyuan:20180606220144p:plain wikimedia commonsより

個人的には、こういう類いの何を表しているのか訳が分からないグラフは好みではないのですが、それでも、「アマラの法則」が見抜いた短期的な過大評価と長期的な過小評価を視覚的に図示し、テクノロジー受容の社会的・心理的側面を表すものとして、一定の意義はあります。

一般に、新しいテクノロジーが発明されたり関心を集めるようになると (テクノロジーの引き金)、関心の集中自体が原因となって、テクノロジーは流行を迎えます(過剰な期待のピーク)。その次の段階では、期待に応えられなかったテクノロジーは幻滅され、世間の関心を失います (幻滅の谷)。その後、次第にテクノロジーの本質が理解され、世間に普及するようになり(啓蒙の坂)、主流の技術として受容されるようになります (生産性のプラトー)。もちろん、これはあくまで一種のマーケティング用ツールとして模式的に表現されたものであり、すべてのテクノロジーがこのような過程を辿るわけではありません。(たとえば、生産性のプラトーに辿りつく前に「死ぬ」テクノロジーもあります)

イノベーションの理論によれば、世間からの注目が集った後、「幻滅期」が発生する理由として次のような理由が挙げられています。

  • あるテクノロジーへの注目が集まると、深い知見を持たないままにテクノロジーを利用する人間や企業が生じる
  • 流行したテクノロジーにあやかるために、関連の無いテクノロジーや製品がその名前を借用するようになる
  • 流行りや宣伝に飛び付いた深い知見のない人間は、テクノロジーの導入、利用に失敗する場合が多い

満たされなかった期待によって起こる「幻滅期」は、そのテクノロジーに対する信用と評価を傷つけ、しばしば研究開発を停滞させる場合があります。ここでも既に述べた通り、AIにおいてもかつて2度の「AIの冬」と呼ばれる「幻滅期」がありました。ほぼ確実に、近い将来にまた「第3のAIの冬」が発生するだろうと考えています。対象のテクノロジーが変わったとしても、それを使う企業や大学組織、そして人間の心理は、ほとんど変化しないものであるからです。

ナノ・ハイプ狂騒(上)アメリカのナノテク戦略

ナノ・ハイプ狂騒(上)アメリカのナノテク戦略

イノベーションの普及

イノベーションの普及

ハイプとは何か?

新たなテクノロジーの出現時には、「ハイプ」 --すなわち、開発者による誇大広告と一般大衆の過剰な期待、より広く言えば、将来の可能性に対する「過大評価」と「誇張」-- またその裏返しである「恐怖」が見られます。これは何も、最近の機械学習人工知能に限った現象でもありません。

19世紀末から20世紀初頭にかけては、新技術である電気の将来性に対する夢想が存在しました。電気を題材にしたさまざまな空想科学小説が書かれ、またゼネラル・エレクトリック社などの大企業も、広報のため電力に対する大衆的イメージを積極的に利用したと言われています。

あるいは、既に本書でナノテクノロジーを論じた際に引用した「ナノ・ハイプ狂騒」にも、20世紀末から2000年代初頭にかけて、学術・産業界および政治・行政・メディア・市民運動などさまざまな分野で、各々の思惑からナノテクノロジーの将来性に対する著しい過大評価が起こったと記録されています。

またあるいは、私とほぼ同世代以上の、現在30代以上の人々は、80年代~90年代には「サイバースペース」、2000年代には「Web2.0」などの標語の元に、コンピュータとインターネットの未来に対する楽観的な夢想が広がっていたことを、まだ覚えているだろうと思います。

もちろん、インターネットの将来に関する彼らの想像が的確であった部分もあります。けれども、国家と国際的超巨大企業に支配され管理統制を強める現在のインターネット、リベンジポルノやフェイクニュース、漫画など著作物の違法アップロードから諜報機関による世論操作に至るまで、インターネットが解き放ったさまざまな負の側面を省みると、当時想像されていた情報化社会の未来像とはやや異なる印象を受けることも確かです。

ところで、新しい情報メディアの登場時に表れる、社会制度が抜本的に改革され政治的不平等が消滅するという空想は、まったく新しいものではありません。19世紀には新聞、ラジオやテレビなどの新しいメディアが人々の意思を統一し真の民主主義を打ち立て、専制を終わらせるという主張も存在していました。実際のところはその逆に、19世紀アメリカの新聞が煽り立てた米西戦争、20世紀のドイツ、イタリアや日本の独裁政権など、新たなメディアは新たな形のポピュリズムファシズムを可能ならしめるものであったと言えます。

その他にも、かつて1960年代には、核融合が無尽蔵のエネルギーを供給するため、「あまりに安価すぎるため測定不要」 (too cheap to measure) になるという想像がされていたようです。「無尽蔵のエネルギー供給」をうたう核融合エネルギーの研究史は、あまりに馬鹿げたレベルの楽観主義と希望的観測による錯誤と研究不正、その裏返しである失望と、過去の失敗の忘却の繰り返しでした。

ひとたび新しいテクノロジーが発明されれば一挙に普及して社会を一変させ、旧弊な体制と価値観を葬り去るという希望と誇張に満ちた主張、あるいはその裏返しである恐怖に満ちた主張は、古くから何度も何度も何度も繰り返されてきたものです。ここで再びヨギ・ベラの深遠なる洞察を用いるなら、「これはまるでデジャブの繰り返しだ。」とでも言えるかもしれません。

ウェブ進化論 本当の大変化はこれから始まる (ちくま新書)

ウェブ進化論 本当の大変化はこれから始まる (ちくま新書)

テクノ・ハイプ論 ~なぜシンギュラリティは問題か~

「シンギュラリティの主張は、はっきりとした科学的証明がなされていないという点で、認識論的に間違っている。しかしそれだけで済ますことはできない。シンギュラリティの主張は、倫理的にも非難されるべきである。シンギュラリティという特殊なシナリオを示すことにより、他にも存在するさまざまな危険性から人の目をそらし、その危険の存在を隠蔽しているからだ。」ジャン・ガブリエル・ガナシア著『そろそろ、人工知能の真実を話そう』 (p.138)

ここまで、「シンギュラリティ」の妥当性について、主にシンギュラリティ論の内部の立場に立って論じてきました。

けれども、ごく基礎的な科学・工学教育を受けた人であれば、シンギュラリティ論が経験的根拠に基いた「近未来の予測」というよりは、「遠い将来の夢想」を描いたビジョンであることは、わざわざ詳細に検討するまでもなく一目瞭然だろうと思います。実際のところ、私の書いたものを読んだ(科学的・思想的な素養のある)人の反応もおおむねそのようなものであり、またそんなコメントを受け取ったこともあります。

結局のところ、シンギュラリタリアニズム/トランスヒューマニズムは、アメリカでさえ主流派とは言いがたい周縁的な運動であり、現実にはさしたる影響力を持っていないじゃないか。そんな主張をする人間は、だいたいがAI関連分野の利害関係者で、彼らは何の根拠もないと理解した上で、プレゼンスと研究資金の獲得のために利用しているだけだろう。あまりに楽観的すぎるのは確かだけれども、それでも、未来のビジョンとしては面白いし、科学やテクノロジーに対する大衆のポジティブなイメージ向上に役立つのだから、さして危険視して躍起になって否定しなくても良いではないか、というわけです。

そこで、最終章ではこの疑問に応えたいと思います。つまり、シンギュラリティ論が 「正しいか誤りか」という議論の外側に出て、「なぜシンギュラリティは問題か」を議論します。


私がシンギュラリティ論を検討してきた理由は、より広い意味で、テクノロジーの研究開発に対する「ハイプ」-誇大広告と過剰期待- の存在とそれが引き起す問題を考える上での題材となると考えたからであり、また、シンギュラリタリアニズム/トランスヒューマニズムの主張と、主流派の「テクノロジーによって可能となると考えられていること」の間の距離は、さして隔たっていないと考えるからです。

そこでまずは、科学技術に対するハイプとそのあり方を明らかにした上で、テクノロジーのハイプが科学技術の研究と政策を歪めていること、そして、現在現実に発生している問題を隠蔽してしまう問題について検討したいと思います。そして、更に広い視点からは、この種のハイプ (広く言って、実証的基盤を持たない将来予測) が、我々のテクノロジーに対する見方を歪曲し、ありえる未来の姿に対する視野を狭め、建設的な未来への議論を損なっていることを批判したいと思います。

翻訳:シンギュラリティは近くない:「シンギュラリタリアン」の知的欺瞞

以下は、ジャーナリストのCorey Pein氏による記事 "The singularity is not near: The intellectual fraud of the “Singularitarians” " の翻訳です。

シンギュラリティは近くない:「シンギュラリタリアン」の知的欺瞞

70年以上前、クリスチャンのアナーキスト哲学者であったジャック・エリュールは、テクノロジーは現代国家の真の公認宗教であると断定した。優れた男であり、ホロコーストからの避難民を保護したフランス地下レジスタンス運動のリーダーであったエリュールは、科学者とエンジニアによって可能となったグローバルなカタストロフィを生き延びた。それゆえに、これら同じテクニシャンたちが、これら偽司祭たちが今世紀を統べるだろうと気づいたのである。そして、エリュールは科学者とエンジニアをこのように嫌っていた。「とりわけ不安なのは、彼らが得た莫大な力と、彼らの批判的な能力のギャップである。それはまったく無いと見積もらねばなるまい。」

もしも、エリュールの言う通り、テクノロジーが国家の公認宗教であるならば、シンギュラリタリアニズムはその最も過激で狂信的な宗派に違いあるまい。シンギュラリティは、ガジェット崇拝の戦後世界の教会のオプス・デイである。レイ・カーツワイルは、この教団で最も名の知られた預言者かもしれないが、しかし彼は最初の人間ではない。シンギュラリタリアニズムの真の教父は、ウィスコンシン州出身のSF作家であり元数学教授であるヴァーナー・ヴィンジである。彼が最初にこのアイデアについて書いた解説はOMNI誌の1983年1月号に掲載された。この風変わりな「科学」雑誌は、キャシー・キートンによって創設されたものである。ニューヨークタイムズの死亡記事によれば、彼女はかつてヨーロッパ随一の高給ストリッパーであった。しかし、よく知られているのは、癌の代替医療の宣伝と、夫のボブ・グッチョーネと共に創刊したPenthouse誌のほうだろう。このご大層な記事は、「海猿、猿人や生きている恐竜」に関するの記事の間に掲載されたものだが、そこでヴィンジは、迫り来る「技術的特異点」の到来を予測していた。コンピュータの知能が、創造者である人間にも理解できないほどに上回る時である。ヴィンジの主張によれば、技術的発展の目覚しい指数関数的曲線は、減速を始めているのではなく、その逆に、あらゆる想像を超えた加速が開始されるところであるのだという。「我々はすぐに我々自身の知能よりも優れた知能を作り出すだろう」とヴィンジは書いた。のちの論者とは異なり、必ずしもヴィンジはシンギュラリティが人類にとってのポジティブな発展となるとは捉えていなかったようだ。「物理的な絶滅は最悪の可能性ではないかもしれない」と彼は記した。「我々が動物を扱うような、異なる方法を考えてみてほしい」つまりは、新しいロボットの大君主オーバーロードは、人間を奴隷、家畜、良くてペットとしてしまうかもしれないというのだ。

多くのクリエイティブな人々と同じく、ヴィンジはビジネスの才能を欠いていたため、自身のアイデアのマーケット上の潜在能力を十分に生かすことができなかった。その仕事はレイ・カーツワイルへと引き継がれた。有能なブランドビルダーであるカーツワイルは、ヴィンジの渋面をひっくり返し、シンギュラリティを巨大な宇宙規模のパーティとして作り替え、巨大な商業的成功へと導いた。科学者でありライターであるダグラス・ホフスタッターは、カーツワイルをあざけり、「狂ったアイデアと…堅牢なアイデアの奇妙な混合物」と評した。にもかかわらず、それは勝利の方程式だったのだ。2011年には、Time誌はカーツワイルを「世界で最も影響力のある100人」に選出し、シンギュラリティ教を雑誌のカバーストーリーに飾ったのである。Time誌が宣言したところによると、これは「途方もない」話のように見えるかもしれないが、「超知能の不死サイボーグ」の見通しは、「冷静で慎重な評価」に値するのだそうだ。

サイエンス・フィクションのように聞こえるかもしれないが、それは違う。天気予報がサイエンス・フィクションではないのと同じである。それは非主流派のアイデアでもない。地球上の生命の未来に関する真剣な仮説なのだ。

これはバカげている。科学は懐疑より始まる。他の全ては売り物である。そしてカーツワイルは、科学者というよりは商売人である。彼が書くものと話すものの中では、聞き飽きた同じキャッチフレーズと逸話が何度も何度も繰り返されている。彼の主張すべては、2つのマジックワードにかかっている。ムーアの法則、毎年、コンピュータの処理能力が指数関数的に成長していくという経験則である。この法則は、インテルの共同創業者ゴードン・ムーアによって提唱された(後に彼の名にちなんで名付けられた)ものであるが、インテルマイクロチップに対するある種の宣伝としての意味も持っている。また、ムーアの法則は、カーツワイル独自の「収穫加速の法則」をインスパイアした。これはすべてのテクノロジーイノベーションは、時が経つにつれて、指数関数的に加速するという彼の信念を要約したものである。数十年以内に、カーツワイルの予想によれば、留まることのないガジェットの進化がシンギュラリティをもたらし、次のようなことが実現するのだという。すなわち、無限のエネルギー、超人的AI、文字通りの不死、死者の復活、そして、「宇宙の覚醒」、言うなれば、すべての物質とエネルギーが目覚めるのである。

カーツワイルは科学者とは言えないかもしれないが、しかし面白い教祖グルではある。彼の「信じれば望みは叶う」的アプローチは、とても楽しく見える。それを生死が絡む問題に対するハッタリをかますのに使わなければであるが。更に悪いことに、権力を持つ人々が彼の主張を真面目に受け止めている。なんとなれば、カーツワイルは彼らが聞きたいと望むことを延々と語り、行き過ぎた消費資本主義を熱心に防御してくれるからである。ピーター・ティールのような技術ユートピア主義者と同様、未来の「新しいパラダイム」は企業の利害によって支配されるべきである、とカーツワイルはずっと主張してきた。このような見解が、長年企業幹部とセールスマンを勤めた人物から発せられるのは何ら驚きではない。化石燃料がこの惑星を破壊するのか? 心配はいらない、カーツワイルは宣言する。我々はすぐに常温核融合の問題を解決し、ナノボットが—いつもナノボットを!— 破壊された環境を修復するだろう。アメリカ人の幸福と展望が悪化したことで、カーツワイルの楽観的な夢想はこれまで以上に売れていった。著者の主張によると、ものごとは良くなっており、すぐにもっと驚くべきことが起こるのだという。

あらゆる想像しうる問題に対して計画があり、それは常に同じ計画である: 未来の誰かが何かを発明して、問題を解決してくれる。カーツワイルは、アメリカ人が常に待ち望んでいた真の信仰をもたらしたのだ。そしてそれは、ビジネスフレンドリーな千年王国運動ミレナリアンの、バカげたまでの楽観的形式であることが判明した。これは、ジャック・エリュールの言う技術信仰の戯画であると見なせるだろう。

このトリックは、今後数十年間生き延びるだろう。原子サイズの医療用ナノロボットや人間の意識のデジタルなバックアップが発明されるまで。「我々は、永遠の生命を得られるまで長く生きていられる手段を手にしています。」カーツワイルは書いている。「けれども、ほとんどのベビーブーマーはそれに間に合わないでしょう。」これによって、更なるいかがわしい強迫観念が生み出された。- 寿命延長である。急速に老化が進む同世代を支援し、Googleクラウドサーバへ記憶や人格のアップロードが可能となる技術的な転換点 - 彼の予測では2045年頃 - が訪れるまで生存できるように、カーツワイルは食事、運動と未承認の寿命延長サプリメントを売り込んでいる。もしも、死神から逃れることに失敗した場合は、後世での復活のために自身の身体や脳を冷凍保存しておくことができる。これはクライオニクスとして知られるプロセスであり、カーツワイルが最後の望みを託す手段である。

病気と死に対するカーツワイルの病的な強迫観念は、テクノロジーの装いをまとった代替医療の深淵へと彼を導いた。その習慣は多くのシンギュラリタリアンが従っている。カーツワイルは、35歳のときに糖尿病と診断された。インシュリン治療に不満を抱き、彼はより優れた方法の発見を目指したのだ。その結果生まれたのが、奇妙な、絶え間なく変化するハーブ薬品のメニュー、加えて1日数百の栄養サプリメントとカスタム・フィットネスの健康法である。詳細は、カーツワイルと彼の主治医であるテリー・グロスマンが共著した2冊の本の中で説明されている:「Fantastic Voyage: Live Long Enough to Live Forever」と「Transcend: Nine Steps to Living Well Forever」である。後者には、69ページのレシピが掲載されており、その中にはステビア、ヤムヤムで甘味を付けられたニンジンのサラダについてのレシピを含んでいる。Skeptic誌は、「Fantastic Voyage」は「根拠と常識に対する希望の勝利」であると酷評し、アドバイスの一部は実際には有害であるかもしれないと述べた。

カーツワイルとグロスマンは、自身の権威を利用して臆面もなく金儲けを行っている。規制の緩いサプリメントを、騙されやすい消費者に販売しているのだ。それには「レイとテリーの長寿プロダクト - 科学と栄養学の出会い」とラベル付けされている。著者のウェブサイトでは怪しげな処方箋が販売されている。その中には、1か月間の「スマート栄養素」の提供を約束する、86ドルの「アンチエイジング・マルチパック」が含まれている。この効果の証明として、カーツワイルは自分自身を提示している。この執筆の時点で彼は70歳であるが、彼は長い間、自分の本当の「生物学的年齢」はそれより20年若いと主張してきた。カメラのレンズはそうではないことを示している。2014年には、カーツワイルは、スポーツマンのような新しい髪形を始めた。- 長く、直毛で、以前よりも少しばかり暗い色の髪形である。突然の変化によって、彼のウェブサイトkurzweilai.net上のコメンターたちの一部は心配した。それはカツラだったのか?白髪染めの不運な失敗?あるいは、カーツワイルはついに本物の奇跡の薬を発見したのか?

***

シンギュラリタリアニズムを新しい宗教やカルトであると見なしているのは、何も私が最初の人間ではない。カーツワイル自身も、不死性に対する執着を考えれば、この比較は「理解できる」と述べている。けれども、彼はこのセクトが本質的に宗教的であるという主張は否定する。なぜならば、彼はスピリチュアルな探求の結果としてそこに至ったわけではないからだ。実際には、彼がシンギュラリタリアンとなったのは、「テクノロジー企業の設立における最適な戦術的意思決定」のための「実際的な」努力の結果である、と彼は書いた。スタートアップが道を示したのだ!

シンギュラリタリアンとなることは、カーツワイルの主張によれば、「信仰の問題なのではなく理解の問題なのである。」これは、シンギュラリタリアンとサイエントロジストが共有する常套句である。L.ロン・ハバードは、常に自身の教義を「テクノロジー」として売り込んでいた。これにより、シンギュラリタリアンとの議論は不可能となる。彼らは、自身の信念に科学的に到達したと確信しているために、彼らのバカげた結論に異議を唱える者は非合理的でなければならないのだ。この宗派が、ビジネス、政治、軍事の問題に対して権力を持つ人々の耳に届いていなければ、その教祖は滑稽に見えるかもしれない。けれども、彼らは本気であり、それゆえに危険である。

翻訳:「人工知能」の種の起源 (ロドニー・ブルックス)

この記事は、ロドニー・ブルックス氏が自身のブログで発表した記事、[FoR&AI] The Origins of “Artificial Intelligence” – Rodney Brooks の翻訳です。

人工知能」の起源

過去はプロローグである[原注1]

私はこの言葉に2通りの意味を込めている。シェイクスピアが戯曲テンペストでアントニオに言わせたこの台詞に対する、2通りの解釈と同じである。

1つの解釈は、過去が今後進んでいく帰結をあらかじめ定めているというものだ。つまり、人工知能の研究でも、現在の場所にどうやって辿り着いたかが次に進む方向を定めるだろうと私は信じている。それゆえ、過去から学ぶことには意義があるだろう。

別の解釈では、実際のところ過去は重要ではなく、必要な仕事の大部分は目の前にあるというものである。-私はこれも正しいと信じている。人工知能の研究は始まってすらおらず、まだたくさんの仕事が目前に残されている。

創成期

一般的に認められている通り、1956年のダートマス会議へ向けた提案書[原注2]で、ジョン・マッカーシーが「人工知能」という語を作った。日付は1955年8月31日である。その執筆者は、記載された順に、ダートマス大学ジョン・マッカーシーハーバード大学マーヴィン・ミンスキーIBMナサニエルロチェスターベル研究所クロード・シャノンである。ロチェスターを除く全員がのちにMITの教員に就任した。ただし、60年代初めにミンスキーはMITを離れ、スタンフォード大学に参画している。19ページの提案書には、1枚のタイトルと6ページの導入部 (1から5a) があり、続いて4人の著者によって個別に執筆された研究提案のセクションがある。マッカーシーが最初の6ページを書いたと考えられており、その中にはロックフェラー財団から10名の研究者へ提供された予算に関する記述を含む。

タイトルページはこう書かれている。「人工知能に関するダートマス夏季研究プロジェクトへの提案」[A PROPOSAL FOR THE DARTMOUTH SUMMER RESEARCH PROJECT ON ARTIFICIAL INTELLIGENCE] 最初のパラグラフには、「知能」に言及した文章が含まれている。

本研究は、学習あるいは知能のいかなる特徴も、原理的には、機械にシミュレートさせられるほどに詳細な描写が可能であるという仮定のもとに進められる。

また、第二のパラグラフの最初の文章はこのように始まる:

以下は人工知能の問題のいくつかの側面である。

これだけだ! 人間の知能とは何であるかについての説明はなく、機械にそれが可能であるのかどうかという主張もなく (すなわち、「知的なことをする」[do intelligence])、更には、「人工知能」という用語の導入に対するファンファーレもない。(全て小文字で書かれている)

上でリンクしたファイルには、1956年3月6日の日付で4ページの補遺が加えられている。これはアレン・ニューウェルとハーバート・サイモンによって書かれたもので、当時それぞれRANDコーポレーションとカーネギー工科大学*1に所属しており (後に両者ともカーネギーメロン大学の重鎮となった)、彼らが提案した研究に対する貢献が記載されている。彼らは自分たちが従事した複雑な情報処理領域への進出について述べ、また「この活動の大部分は人工知能という表題のもとで行なわれた」と述べられている。これを見ると、「人工知能」というフレーズは、それが何であるかの形式的な定義なしで容易かつ即座に受け入れられたようだ。

マッカーシーの序文と、名前を挙げられた6名の参加者が意図した研究のアウトラインには、野心に欠けるところはないようだ。

今日のコンピュータの速度とメモリ容量は、人間の脳の高次機能の多くをシミュレートするには不十分であるかもしれない。しかし、大きな障害はマシンの能力の不足ではなく、我々が手にしたものを最大限活用するプログラムを書くための、我々の能力の不足にある。

マッカーシーが序文で概要を説明したAIのトピックの中には、コンピュータに人間の言語を使用させる方法、概念を構成できるように「ニューロンネット」を作成する方法 (1943年に考案された--今日のテクノロジーエリートたちが始めて耳にし、激しく興奮するよりも少し前である)、機械が自分自身を改善 (すなわち、学習や進化) する方法、機械がセンサを使って外界を観測し抽象化する方法、創造的にコンピュータに思考させる方法などが存在した。これらのトピックは、シャノン、ミンスキー、ロチェスターマッカーシーらの個別の研究提案によって拡張された。ニューウェルとサイモンの補遺には、機械にチェスをプレイさせる方法 (学習を通した方法を含む)、数学的な定理の証明などに加えて、人間に可能な問題を解決させるための手法などが記されていた。

野心に欠けるところがない! そして、当時世界にはほんの一握りのデジタルコンピュータしかなく、それらすべてがプログラムの動作とデータ用にせいぜい数10キロバイトのメモリしか持っておらず、長期の記憶装置としてはパンチカードや紙テープしかなかったことを思い返してほしい。

マッカーシーは、機械と「知能」について語った始めての人間ではない。そして実際、アラン・チューリングも、「人工知能」という名前こそ使わなかったものの、それ以前に知能について執筆し公表している。最もよく知られた彼の研究は、「計算する機械と知性」[Computing Machinery and Intelligence][原注3]*2であり、1950年10月に出版されている。この論文では、後に「チューリングテスト」と呼ばれるようになる「模倣ゲーム」が提案されている。それは、ある人間が1950年代版のインスタントメッセンジャーを通して会話を行ない、相手が人であるかコンピュータであるかを判断するものだ。チューリングの推定では、128MBのメモリ (彼は2進数で 10^9 桁と述べている) を持つ2000年のコンピュータは、70%の確率で人間を騙すだろうとされていた。

この論文のタイトルには「知能」という言葉が使われているものの、本文中でこの言葉はただ一箇所でしか使われていない。 (一方で、「機械」は207回出現している) また、そこで言及されているのは人間の知能であり、大人の人間を模倣できる機械の構築を目指す人間の知能について述べられたものである。けれども、彼の目的は明白である。チューリングは、西暦2000年までには人間と同様に思考できる機械を作ることが可能だと信じていた。必要となるプログラマの数の推定もある。(60人による50年間の研究というのが彼の答えであり、つまりたった3000人年である-今日の多くのソフトウェアシステムの標準と比較してごく小さな量である)

それより少し前の1948年に、「知的な機械」[Intelligent Machinery] と題した論文で、チューリングは「離散制御機械」[discrete controlling machines] の性質について概要を述べていた。ただし、この論文は1970年、著者の死後ずっと後まで公表されることはなかった[原注4]。この機械は、今日我々が「コンピュータ」と呼ぶものであり、実質的に彼は1937年に書いた論文においてデジタルコンピュータを考案していたのだ。更に彼は完全に人間を模倣する機械の作成について考察し、彼の推論によれば、人間を模倣した機械の脳部分は大きすぎるため、機械のセンサやモーターの身体部分には収容できず、遠隔操作を行う必要があるだろうと述べている。また彼は、当時のセンサやモーターシステムの性能はそれほど高くないかもしれないと指摘し、それゆえ、最初に知能の部分から手を付けることにして、最良の調査方針はゲームや暗号、その次に言語の翻訳や数学であると結論づけている。

ここでも、野心に欠けるところがない。しかし、当時の技術的な現実を認めて従っている。

AI研究が始まったとき、人間レベルの性能と人間レベルの知能がインスピレーション元であることは明らかだった。この目標が、最初の60年間、ほとんどの研究者をAI分野に集めてきたものであると思う。我々がこれらの願望の成功に近づいていないという事実は、研究者たちが真剣に働いていないわけでもなく、優秀でないということを示すわけでもない。それはとても困難な目標なのだ。

1991年に、私は人工知能の前史と初期の研究を扱った「Intelligence without Reason[原注5]という(長い)論文を書いた。27年前に、[ダートマス会議までの] 35年間をさかのぼったものだ。私の現在のブログ記事は、その詳細を説明し、新しい世代のためのアップデートを提供して、これがどれほど長期のプロジェクトであるかを理解してもらうためのものである。多くの人にとって、AIは輝かしく、エキサイティングで、新しいものと見えているようだ。それらのうちでは、エキサイティングであるということだけが正しい。

今日に向けて

AIの創成期には、センサをデジタルコンピュータに接続する方法、あるいはコンピュータに外界のアクチュエータを制御させる方法は、ごく限られたものであった。

1960年代初期の人々がコンピュータ上で画像処理アルゴリズムを動作させようと考えた場合には、フィルムで写真を撮影して印刷し、その写真をドラムに取り付け、更に、単一の光センサの横でドラムを回転させたり上下に動かしたりして、写真を光強度の配列へと変換しなければならなかった。70年代後半には、1万ドルもする重さ20~30ポンドの装置を使って、直接的にデジタル画像をカメラからコンピュータへ取り込めるようになった。80年代になるまで、ものごとはそう簡単にはならなかったが、時が経つごとに段階的に簡単かつ安価になっていった。

他のあらゆるセンサモダリティについても似たような話があり、コンピュータプログラムの出力結果を外界の物理的動作に変換する手法にも同様にあてはまる。

ゆえに、チューリングが考察した通り、初期の人工知能研究はセンシングや動作の必要性が少ない領域に向かっていった。これらの研究としては、人間とコンピュータの指し手をキーボードやプリンタを通して容易に入出力できるゲーム分野、記号代数に計算を適用する数学的演習、論理学における定理の証明、算数の文章題がタイプされた英語の文章理解などがあった。

ゲームをプレイするプログラムの作成は、すぐに「ツリー探索」というアイデアへと繋がった。この方法は、上述の初期のAI実験の分野ほとんどすべての鍵となった。そして、実際に、今日においても多くのコンピュータ科学分野における基礎的なツールである。また、ゲームのプレイは、機械学習の探索とその特別な変種である強化学習の発明へと繋がった。強化学習は、最近のAlphaGoプログラムの成功の中心に位置するものである。私は強化学習の初期の歴史について、2017年8月の記事「Machine Learning Explained」で詳細な説明を行なった。

「ブロックワールド」として知られる分野が開発されるよりずっと前から、知能の分野におけるあらゆる種類の問題が探求されていた。おそらく、コンピュータビジョンに関する最初の博士論文、MITのラリー・ロバーツによる1963年の論文では、丁寧に光を当てられた光景から、木製ブロックのすべての辺と面を再構成できることが示されている。 http://rodneybrooks.com/wp-content/uploads/2018/04/roberts.png

この研究によって、ブロックを用いる複雑な問題を扱う際に、ブロックの位置の記述や辺のみをプログラムの入力とするというアイデアの正しさが検証された。原理的には、ブロック問題の知覚に関する部分は解決しうると捉えられたのだ。そこで、シミュレーションされた知覚と行動の世界が作られ、その後数十年AIの主要な実験場となった。

ある人は、二次元のブロックと、積み上げられたブロックを掴んだり離したりできる想像上のロボットハンドを使って、問題解決の研究を行なった。

http://rodneybrooks.com/wp-content/uploads/2018/04/blocks2d.png

また別の人は、線画と影の入力のみから三次元的なブロックの配置を再構成する研究を行ない、ロバーツが実証したものよりも完璧なビジョンシステムの未来へ向けて、道を拓いた者もいる。

http://rodneybrooks.com/wp-content/uploads/2018/04/shadowblocks.png

更に別の人は、複雑な自然言語理解と、複雑な三次元的ブロックの世界におけるあらゆる種類の問題解決に取り組んだ。

http://rodneybrooks.com/wp-content/uploads/2018/04/SHRDLU.png

ブロックワールドの問題に彼らが取り組んだ理由は、これらが彼らの野心を実現するものであったからではない。実際には、利用可能なツールを使ううちで、人間レベルの知能に向けて重要な進歩を遂げることができると感じていたからである。同時に、彼らは人間レベルの知能が、一つの魔法のようなブレークスルーによってすべてが理解され、実装され、デプロイされて、すぐにでも実現されるとは考えていなかった。

時が経ち、発見した特定の下位問題へのアプローチを研究者たちがより深く深く理解するにつれて、AIの下位分野が開発される場合もある。それほど長くない間に、誰もAI研究の広がりに追いつくことができないほどに、新しい研究が生まれていった。これらの分野には、計画、問題解決、知識表現、自然言語処理、探索、ゲームプレイ、エキスパートシステムニューラルネットワーク、機械推論、統計的機械学習、ロボティクス、モバイルロボティクス、地図位置同時推定 [SLAM] *3、コンピュータビジョン、画像理解などがある。

独立グループ

しばしば、取り組むべき共通の問題を発見した研究者たちは、主流集団から離れ、独自のジャーナルとカンファレンスを創設することがある。そこでは、特定の問題の歴史と文脈を理解している人々によって、すべての論文の査読が行なわれるようになる。

私も、1980年代後半から1990年代初頭にかけて、このような独立グループの2つに関与した。両者とも今日でも続いている。人工生命、および適応行動シミュレーションである。前者は、無秩序から秩序が生じる根本的なメカニズムを研究するものであり、進化のプロセスを含む。後者は、認知、行動と計算のインタラクションから、どうすれば動物の行動を生じさせられるのかを研究するものである。両方のグループとジャーナルは、今日でも活動が続いている。

以下は、1993年から2014年までの、紙で公表された人工生命のジャーナルの完全版である。今日では、MITプレスによってオンラインで公表されている。

http://rodneybrooks.com/wp-content/uploads/2018/04/ALIFE.jpg

他にも人工生命のジャーナルがある。また1989年以来、国際会議も開催されている。私は1994年のカンファレンスを運営し、参加者は数百人であった。綿密に査読された56件の論文は、印刷された予稿集として公表された。その予稿集は、私がパティ・メイズと共に共同で編集したものだ。これら全ての論文は、現在オンラインで利用可能である。

また、こちらは適応行動ジャーナルの私のコレクションで、紙で発表されていた1992年から2013年までのものである。このジャーナルも、Sageによって今日ではオンラインで公表されている。

http://rodneybrooks.com/wp-content/uploads/2018/04/AB.jpg

また、常時活発に複数のメジャーカンファレンスが開催され続けている。このカンファレンスはSAB、適応行動シミュレーション [Simulation of Adaptive Behavior] と呼ばれており、論文誌と現在オンラインの予稿集がある。

人工生命カンファレンスは、今年6月に東京で、SABカンファレンスは8月にフランクフルトで開催される予定である。どちらも数百名の研究者を呼び寄せるだろう。また、上述した20巻以上のジャーナルにはそれぞれ4号程度あるため、100号に近い。また、それぞれの"号"は4から10報の論文を掲載しているため、このジャーナルには数百もの論文がある。これらの研究者コミュニティは活発に活動している。また、人工生命コミュニティは、実アプリケーションでも利用される遺伝的アルゴリズム開発を通して、エンジニアリング的なインパクトを与えている。

けれども、人工生命コミュニティも適応行動シミュレーションコミュニティも、当初のゴールを達成してはいない。

いかにして生命を持たないシステムから生命システムが生じるのか、我々は未だ理解していない。実のところ、生命が本当は何であるかの明確な定義さえないのだ。計算的な進化を通してシステムの改善を続けられるような、汎用的に利用可能な進化シミュレーションも存在しない。それは、この分野が開始された当初の目標であった。加えて、原始的なコンポーネントから完全な汎用知性が生じるようにシステムを進化させる方法も分かっていない。たとえ、極めてシンプルな生物であっても。

SAB側については、かなり長い間研究が続いてきた最も単純な生物の行動を、コンピュータ的にシミュレーションすることさえできていない。これは C.エレガンスと呼ばれる小さな線虫であり、合計959個の細胞のうち302個がニューロンである。その完全なコネクトーム (および56個のグリア細胞についても) が判明しているものの、その行動の多くを生み出すようなシミュレーションは未だ実現できていない。

私が具体的なストーリーを述べたのは、これらが比類なく特別なものだからではない。特にアカデミアで、困難な問題への研究がどんなふうに進んでいくかを理解できるようにと考えたからだ。これ以外にも、多くの、多くの (少なくとも20から30の) AIの下位グループが存在し、同じように専門化した領域に取り組んでいる。それらの下位グループは、時として栄えることもあるし、時として消滅することもある。これらすべての下位グループは個別の名前を与えられているが、どのコミュニティもサイズ、研究者の数は大きく、活発にアイデアを共有し公表している。

けれども、AI分野のすべての研究者は、究極的には、フルスケールの人間の汎用知能実現に興味を抱いている。たいていの場合、彼らの研究成果は狭く、実世界の問題に対するアプリケーションは狭いものであるように見える。けれども、いつも汎用知能は目標とされていた。

専門化した大規模な研究者グループについての話をして、このセクションを終えたいと思う。そのグループとは、コンピュータビジョンである。この分野は本当のエンジニアリング上のインパクトをもたらした。コンピュータビジョン分野では、35年以上にわたって、1年間に4回あるいはそれ以上のメジャーカンファレンスが開催されている。半ダースほどのメジャージャーナルもある。1987年には、私もコンピュータビジョンのジャーナル、International Journal of Computer Vision(IJCV) を金出武雄と共同で創設した。IJCVは126巻の350号が出版され (ただし私が編集者だったのは最初の7巻までである) 、2080件の個別の記事を掲載している。思い出してほしい。これは半ダースもあるメジャージャーナルのうちの1つでしかないのだ。コンピュータビジョンのコミュニティは、本当に大きな研究の推進力がどのように見えるか教えてくれる。何十年もの間続く、世界中の何千人もの研究者による持続的なコミュニティである。

キャッチーな名前

私が思うに、近年、報道機関と専門外の人々は、ある1つのスピンオフ分野の名前によって混乱させられているようだ。AGI、汎用人工知能 [Artificial General Intelligence] を自称する分野である。加えて、本当にやっかいな点として、まったく繋がりがない複数のスピンオフグループがそれぞれAGIを自称していることが挙げられる。けれども、私が知る限りにおいて、彼らのアプローチあるいは進歩の測定手法にはほとんど共通点がない。これは、報道機関やAIの専門外の人々を極めて混乱させており、過去には存在しなかった人間レベルの人工知能の実現に向けて、現在何かしら本当の研究が進められていると思い込まされてしまっているようだ。そのため彼らは混乱して、もしも研究者がこの新しい目標に向けて新しい研究を始めたとすれば、きっと新しく驚異的な進歩が即座にもたらされるだろうと考えてしまうのだ。この推理の間違いは、数千人の研究者がAIの問題を62年間も研究してきたという事実にある。我々は突然の変曲点に居るわけではない。

AGIのジャーナルは存在しており、ここで発見できる。2009年以来、合計で14号が公開されており、多くはたった1つの論文しか掲載されておず、ここ10年以上を合計しても47報の論文しかない。その中にはAGIについて予測した論文もあるが、ほとんどは非常に理論的で、控え目な、特殊な論理上の問題を扱った論文であるか、行動選択のためのアーキテクチャを扱ったものである。何らかの意味のある方法で知能を示すような、実装されたシステムについて述べたものは存在しない。

異なるグループの年次カンファレンスもある。2008年以来、1年あたりだいたい20程度の論文で、おおむね、1年毎に開催されている。ほとんどはオンラインの、著者自身のウェブサイト上でのものである。もう一度言えば、論文はAGIによるリスクから非常に理論的に特化した、あいまいな研究トピックまで多岐に渡っている。どれ一つとして、何らかのエンジニアリングへと近づいたものはない。

ゆえに、AGIコミュニティは存在するものの、コミュニティはごく小さいものである。報道機関が使うAGIという言葉の意味で汎用人工知能を生み出せるような、何らかのエンジニアリング上の問題にはまったく取り組んでいない。

私は報道機関によるAGIについての話で、よく言及される2つのグループについて少しばかり深く調べてみた。

一つのグループは、おそらく報道で最も頻繁に取り上げられるものであるが、東サンフランシスコベイの研究機関を自称し、数理的に人間にとって安全なAGIの実現を目指すと主張している。安全な人間レベルの知能は、まさしくほぼすべてのAI研究者の目標である。けれども、ほとんどの研究者はそのゴールは遥か遠くにあるものだと理解しているために、楽観的である。

この研究グループは、2001年から2018年までのすべての出版物とプレゼン資料をウェブサイト上で公開している。これはすばらしいことであり、アカデミアでもほとんどの研究者グループが従っている慣行だ。

2001年以来、10冊のアーカイブジャーナル論文が公開されており、カンファレンスでは29件のプレゼンテーションが行なわれている。書籍の9つの章を執筆し、加えて45件の内部報告書もある。アウトプットは合計で93件ある。-だいたい、研究大学での平均的な研究者の一集団、プラス学生によって生み出される成果として想定される件数である。けれども、93件のアウトプットのうち、36件はいつAGIが「実現」されるかという単なる予測である。それゆえ、テクニカルなアウトプットの件数は57件に減少する。それでは中身を見てみよう。すべては表現と推論に関しての非常に理論的な数理的・論理的な主張であり、実用的なアルゴリズムも実世界でのアプリケーションも含まれていない。18年間に渡って、いかなるデモンストレーション用のアプリケーションも、どこにも存在しない。

また、10冊のアーカイブジャーナル論文は、ごく一握り以上の人に読まれる機会があるものだろうか? そのいずれにも、AGIがいつ実現するかについての予測が含まれているのだ。

このグループは、報道機関とAGIを不安がる人によって、何度も何度も引用されている。けれども、もしも批判的な目を持って彼らを見るならば、彼らの研究はAGIに向けた進歩の主要な要因ではないことが分かるだろう。

AGIの出典としてよく引用される別のグループは東ヨーロッパの企業であり、10年以内に汎用人工知能を生み出すと主張している。*4この「企業」は、成功した起業家が必要な資金をつぎ込んでいるために存続できているにすぎない。再び、ウェブサイトから何が分かるかを見てみよう。

ここで、彼らは外部からの提案やアイデアを求めており、何を目標としているかを次のように要約している。

We plan to implement all these requirements into one universal algorithm that will be able to successfully learn all designed and derived abilities just by interacting with the environment and with a teacher.
我々はこれらすべての要件を一つの万能アルゴリズムへと実装することを計画している。そのアルゴリズムは、環境と教師とのやりとりのみを通して、あらゆる設計された、推論された能力を学習可能となるだろう。

えぇ、その通り。これは1948年にチューリングが提案したことと等しい。つまり、このグループは、およそ70年以上前とまったく同等の願望を抱いているのだ。そして彼らは、これが願望であるものの、今のところ実現方法について何のアイデアもないと認めている。チューリングは、1948年の時点で、少なくともいくつかの手法を提案していた。

もしもあなたがジャーナリストやAIのコメンテーターであり、AGIのムーブメントが巨大で活発で、何らかの工学的システムの現場で今まさに爆発的に発展する寸前だと考えているのならば、あなたは混乱している。本当に、本当に混乱している。

ジャーナリスト、あるいは一般の予言者の方々は、どうか、どうか自身の宿題をしてほしい。表層的な事象の裏を掘り下げ、自身の研究説明にAGIというフレーズを用いるグループが、真に人間レベルの人工知能をもたらす可能性があるのか、あるいはその目標に向かって何らかの測定可能な進捗を遂げているのか、実際に評価してほしい。極端な主張をする人、アカデミックな役職に就いておらず、勇敢な研究をし、自分が他人とはいかに異なるのかを語り、何か新しく特異なものを作るのだと主張する人、聡明な不適合者であると語る人に注目したくなるかもしれない。けれども、十中八九、彼らは何十年後も成功することはないだろう。私が関与していた人工生命や適応行動シミュレーション分野の研究者グループが、ほぼ30年以上前からの当初の目標を未だ実現できていないのと同様である。

誰かが自分はAGI、汎用人工知能を研究していると言ったとしても、それをどのように構築するか、どれほどの時間を要するか、あるいは、何らかの進歩を遂げる方法を理解していると意味するわけではない。これらの理解不足は、歴史的に普通の状態だった。確実に、1950年代から1960年代の人工知能分野の創設者たちも、汎用知能実現の鍵となる要素について研究していると考えていただろう。けれども、それは彼らが目標に近づいていたことを意味するのではない。たとえ、彼らが実現までそう遠くないと考えていたとしても。

だから、ジャーナリストは、10年後に私のところへ戻ってきて、我々が約束された汎用人工知能はどこにあるのですか、などと聞くことは、どうか、どうか止めてほしい。それはすぐには実現できないのだ。

加えて、キャッチーな名称について言えば、「ディープラーニング」を忘れないでほしい。名前の中の「ディープ」という単語によって、外部の人が多少勘違いしているのではないかと思う。どうやら、「ディープラーニングアルゴリズムが何かを学習する時に、深いレベルでものごとを理解しているという印象を与えてしまうようだ。実際のところは、「深い」という語が示すような理解はしておらず、非常に浅いものである。「ディープラーニング」における「ディープ」とは、ユニットの層、あるいはネットワークの「ニューロン」の数を意味している。

バックプロパゲーションディープラーニングの実際の学習メカニズムは1980年代に開発されたが、当時ほとんどのネットワークは2, 3層でしかなかった。最近の革命的ネットワークは、30年前と同じ構造ではあるものの、12程度の層を持っている。*5 これが「深い [deep]」という言葉が意味するものであり、つまり12層対3層である。これらの「深い」ネットワークに学習をさせるためには、より大きな計算力 (ムーアの法則が30年間以上も貢献していた)、個々のニューロンでの活性関数の巧妙な変更、クランピングとして知られる段階的なネットワークの訓練方法などが必要であった。けれども、ここに深い理解は存在しない。

なぜこのエッセイを書いたか?

なぜ私はこの記事を投稿したのか? 私は、人工知能および、人工知能研究者の目標に関する混乱を晴らしたいと考えているからだ。

1956年以来、確実に何万人年ものAI研究が行なわれてきただろう (チューリングが想像した3000人年よりもはるかに多い!)。更に多くの工数が、AIの開発とデプロイに費されている。

人工知能の実現という当初の願望から、我々は未だ遠く離れている。そこにどれほど近づいたのかすら分からない。次回のブログ記事では、フルスケールの人工的な知能を持つエンティティを構築する方法について、我々が未だ理解できていないことをすべて説明したい。

次の記事での私の意図は、次の通りである:

  1. 差し迫った超知能の出現に関する不安を止めること
  2. AIの未来に対して真に影響を与えられる研究の方向性を提示し、またそれを加速させること
  3. どれほど楽しい研究分野が残されているかを示し、誇大広告のエサとなるような人目を引くデモだけではなく、困難な問題を研究するよう人々に促すこと

最後に、アラン・チューリングの論文「計算する機械と知性」の最後の文を紹介したいと思う。68年前と同じく、これは今日でも正しい。

私たちはまだほんのすこし先までしか見通せない。 しかし私たちのやることは、まだたくさんあるのがわかる。*6


原注1: 本記事全体は、私が今書いているロボティクスとAIの未来シリーズの2つの長い記事に対する脚注として始まった。脚注にするには長すぎることは明らかだが、しかしこの記事は、いつもの長いエッセイよりはかなりいくぶん短い。

原注2: 私はAIに関する歴史的な文書や映像のハードコピーを一か所に収集し始めている。それらの資料はWeb上の人目に付かない場所にあり、個人ページや講義ページの再構成によってリンクが変更されることがあるからだ。もちろん、私もこのリンクが永遠に続くことを保証はできないが、けれども可能な限り維持しつづけようと思う。私のWebアドレスは、既にほぼ10年半ほど安定している。

原注3: このバージョンは、参照を含めて、Mind誌で公表されたオリジナルのフルバージョンである。Web上で見つかるほとんどのバージョンは、参照や図を削除してのちに組版されたものである-私は新しい版の誤植をすべてチェックできてはいないが-少なくとも1件、10^9 となるべきところが109となっていることに気づいた。そのため私はオリジナル版を追跡して、ここで共有している。

原注4: イギリス国立物理学研究所(NPL)の彼の上司であるチャールズ・ダーウィン卿、あのチャールズ・ダーウィンの孫が、チューリングが執筆したものを承認せず、それゆえ報告は公開されなかった。最終的に1970年に公開されたときには、「Machine Intelligence」と題された英国の年次シリーズの第5巻に対する「プロローグ」としてラベル付けされた。このときの編集者は、戦時中 [イギリスの暗号研究機関]ブレッチリー・パーク時代のチューリングの同僚だったバーナード・メルツァーとドナルド・ミッチーであった。彼らもまた、過去をプロローグとして使ったのだ。

原注5: この論文は、1991年に、International Joint Conference on Artificial Intelligence (IJCAI) が半年ごとに若手研究者へ贈るComputer and Thought賞を (現在コーネル大学長のマーサ・ポラックと) 共同受賞した際に書かれたものである。私自身はまだ若いと考えていたのだが、36歳は本当に"若手"であるのかという議論が起こった。その後、規則は厳格化されたので、この賞の最年長受賞者は永遠に私だということが保証された。いずれにせよ、私は旧来のAIの世界とときどき衝突を起こしていたため (私は「怒れる若者」…と呼ばれたことを覚えている)、私はこの賞を受賞に対して非常に感謝した。会議の予稿集は、一般論文にはダブルカラムで6ページのページ制限があった。賞の受賞者として、私はページ制限なしで論文を寄稿するよう招待を受けた。私はその言葉を文字通り受け取り、27ページにわたる2万5000語以上の論文を生み出したのだ!それは、私が見た進路に沿って、AI分野を学術的に解体しようとする試みであったのだ。

*1:訳注:当時の名称。1967年にカーネギーメロン大学に改称。

*2:訳注:和訳あり。Computing Machinery and Intelligence (計算する機械と知性)

*3:訳注:simultaneous localization and mapping。地図データのない未知の環境でエージェントが自律的に行動する手法を研究する

*4:訳注:おそらくチェコのGoodAI社を指していると思われる

*5:訳注:近年では1000以上の層を持つネットワークもある

*6:訳注:和訳は以下より引用。Computing Machinery and Intelligence (計算する機械と知性)