シンギュラリティ教徒への論駁の書

“Anyone who believes that exponential growth can go on forever in a finite world is either a madman or an economist.” - Kenneth Boulding

翻訳:人工知能  — 革命いまだ成らず

以下は、カリフォルニア大学バークレー校のコンピュータ科学、統計学教授マイケル・I・ジョーダン氏の記事 "Artificial Intelligence — The Revolution Hasn’t Happened Yet" の翻訳です。

人工知能  — 革命いまだ成らず

人工知能 (AI) は現代の真言(マントラ)である。この言葉は、技術者、研究者、ジャーナリストやベンチャーキャピタリストによっても唱えられている。他の数多くの言葉と同様にテクニカルな学問分野から一般的な流通へと至るにつれて、言葉の用法に著しい誤解が伴っている。けれども、一般大衆が科学者を理解できないのは今に始まったことではない。—ここでは科学者もたいてい一般人と同様に混乱している。現代は、人類自身の知能と競合するシリコン製知能の出現を目撃しつつあるという考えは、我々みんなを楽しませるものだ。—我々を魅了し、また同じ程度に恐怖させる。そして、不幸なことに、我々の気を逸らすものである。

現代について語りうる別の物語もある。次のような話を考えてみてほしい。そこでは人間、コンピュータ、データと生死の決断が関わっているが、しかし、話の焦点はシリコン上の知能というファンタジー以外のところにある。私の配偶者が14年前に妊娠したとき、私たち夫婦は超音波検査を受診した。検査室には遺伝学者がいて、胎児の心臓のまわりに白い斑点が見えると指摘した。「これはダウン症候群の兆候です。」と彼女は言った。「現在、リスクは20分の1に上昇しています。」更に彼女が私たちに教えてくれたところによると、ダウン症の原因となる遺伝的変化が本当に胎児に発生しているかどうか、羊水穿刺検査 [amniocentesis] によって確認できるという。けれども、羊水穿刺には危険があった。 —処置中に胎児が死に至るリスクは、だいたい300分の1であった。私は統計学者なので、これらの数字がどこから来たのか確認しようと決めた。長い話を端折って言えば、その約10年前に英国で統計分析が実施されていたと分かった。白い斑点は、カルシウムの蓄積を反映しており、確かにダウン症の予測因子として認められていたのである。しかし、同時に気付いたこととして、私たちの検査に使われた撮影装置の解像度は、英国の研究で使われたものよりも1平方インチあたり数百ピクセル高いのであった。私は戻って、遺伝学者に白い斑点は偽陽性 [false positive] ではないかと伝えた。 —それらは文字通りの「ホワイトノイズ」かもしれない、と。「あぁ、それが数年前からダウン症診断の件数が増えた理由ですね。そのころ新しい機械が導入されたのです。」と彼女は言った。

私たちは羊水穿刺検査を受けず、数ヶ月後には元気な女の子が誕生した。けれども、このエピソードから、私は不安を覚えた。とりわけ、簡単な概算をして、同じ日に全世界で何千人もの人々が超音波検査を受け、そのうちの多数の人が羊水穿刺検査を受けようと思い、多くの赤子が不必要に亡くなったのだと分かった後では。そして、この問題は何らかの形で修正されるまで毎日毎日起こっていたのだ。このエピソードが暴いた問題は、単に私個人の医療ケアに留まらない。さまざまな場所と時間において変数と結果を測定し、統計分析を実施し、その結果を別の場所と時間で利用するという、医療システムに関するものである。問題は、単にデータ分析それ自体にあるのでもなく、データベース研究者が呼ぶところの「素性 [provenance]」に関連している。 —広く言えば、どこからデータが来たのか、データから引き出せる推論は何か、それらの推論は現在の状況とどれほど関連があるのか? など。確かに、訓練を受けた人間であれば、これら事例のすべてを一件一件検証できるかもしれない。問題は、それほどの詳細な人間の関与なしに同様のことができるような、惑星規模の医療システムを設計することにある。

私はまたコンピュータ科学者でもある。私が思うに、コンピュータ科学と統計を統合し、なおかつ人にとっての利便性を考慮に入れた、この種の惑星規模の推論-意思決定システム構築に必要とされる原則は、私自身の教育課程の中にはどこにも発見できない。また、このような原則 —医療分野のみならず、ビジネス、運輸や教育分野でも必要とされる原則— の開発は、少なくとも、ゲームプレイや感覚運動のスキルによって注目を集めるAIシステムの構築と同じ程度には重要であると思う。

近い将来「知能」が理解できるかどうかとは関係なく、我々は大きな課題を抱えている。つまり、人々の生活を向上させられるような方法でコンピュータと人間[の判断]を組み合せることである。この課題は、「人工知能」の創造に付随していると見なされる場合があるものの、より率直に —しかしあまり仰々しくない言い方をすれば— 新しいエンジニアリング分野の設立と見なすこともできるだろう。数十年前の土木工学や化学工学と同様に、この新しい研究分野(ディシプリン)の目標は、複数の鍵となるアイデアの力を集め、人々に新たなリソースと能力を与え、そしてこれらを安全に実行することにある。土木工学や化学工学は物理学と化学の上に建てられているが、この新しい工学のディシプリンは、過去1世紀の間に実現したアイデアを土台として建てられるだろう。 —「情報」、「アルゴリズム」、「データ」、「不確実性」、「コンピューティング」、「推論」や「最適化」などである。更には、新しいディシプリンが注目する点の多くは、人間からのまたは人間についてのデータにあるため、その開発には社会科学と人文学の視点が必要とされるだろう。

建築用ブロックは出現し始めているにもかかわらず、これらのブロックをまとめ上げる原則は未だ出現していないため、現在のところ、ブロックは場当たり的な方法で積み上げられている。

ゆえに、土木工学の存在前からビルや橋梁が建築されていたのと同じく、機械、人間と環境が絡む、社会規模の推論-意思決定システムの構築は進行中である。初期のビルや橋が予測不可能な形で崩壊し、悲劇的な結果をもたらしたのと同じく、初期の社会規模の推論-意思決定システムの多くは、深刻なコンセプト上の欠陥を既に露呈し始めている。

また、不幸なことに、次に発生する深刻な欠陥が何であるかという予測を我々はそれほど得意としていない。我々に欠けているのは、分析と設計の原則を含むエンジニアリングのディシプリンである。

現在、これらの問題に関する公的な対話では、「AI」が知的なワイルドカードとしてあまりに乱用されすぎているため、新興テクノロジーの影響範囲とそれがもたらす結果についての議論が困難になっている。直近の過去と歴史的な文脈の両方において、「AI」とは一体何を指していたのかを注意深く検討することから始めよう。

今日、とりわけ公的領域で「AI」と呼ばれている技術のほとんどが、過去数十年間「機械学習 [Machine Learning]」(ML) と呼ばれてきたものである。MLはアルゴリズム的な分野であり、統計、コンピュータ科学、その他のディシプリン (下記参照) を統合して、データを処理し、予測あるいは意思決定の補助をするアルゴリズムを設計するものだ。実世界への影響という点では、MLは本物であり、またつい最近始まったのものでもない。実際、MLが産業界と関わりを持つ巨大分野になりうるということは1990年代初めに既に明らかであった。そして、今世紀初頭までには、既にAmazonのような先見性のある企業は事業全体でMLの利用を始めており、不正検出や物流予測などのミッションクリティカルなバックエンドの問題解決を行い、またレコメンドシステムのような革新的な消費者向けサービスを構築していた。その後20年以上にわたってデータセットと計算リソースが高速で成長するにつれて、Amazonのみならず、意思決定に巨大な規模のデータを使用しうる実質的にあらゆる企業に対して、MLは力を与えるものであると広く知られるようになった。新しいビジネスモデルも登場するだろう。この現象を示すために「データサイエンス」というフレーズも使われ始めた。これはスケーラブルでロバストなMLシステムを構築するためには、MLアルゴリズムの専門家がデータベースと分散システムの専門家と協力する必要性が生じたことを反映している。また、結果として作られるシステムの社会・環境的なスコープの拡大も反映している。

このアイデアとテクノロジーのトレンドの合流は、過去数年の間に「AI」として再度ブランド化された。この再ブランド化について、少しばかり精査する意義があるだろう。

歴史的には、「AI」というフレーズは1950年代に作られたものであり、ソフトウェアおよびハードウェア的に人間レベルの知能を有する実体(エンティティ)の実現を目指す野心的な願望を指していた。この記事では、上記の願望を指して「人間に似たAI [human-imitative AI]」という語を使用する。人工的な知能を持つエンティティは、身体的にはともかく少なくとも精神的には (その意味が何であれ)、人間と類似のものであるべきという考え方を強調するためだ。これは大部分が学問的な事業であった。オペレーションズ・リサーチ、統計、パターン認識情報理論や制御理論といった関連する学問分野は既に存在しており、これらの分野では人間の知能 (と動物の知能) から着想を得ている場合もあった。しかし、これらの分野では、おそらく「低次の」信号と決定にフォーカスが当てられていたようである。たとえば、リスの能力、自分が住む森林の三次元構造を知覚し、枝から枝へ飛び回るといった能力が、これらの分野の発想元であった。「AI」では、それとは別の何かにフォーカスが当てられていた。—「推論」や「思考」をする人間の「高次の」あるいは「認知」能力である。けれども、60年経った後でさえ、人間の高次の推論と思考は依然解明されていない。現在「AI」と呼ばれている技術開発は、主に低次のパターン認識と動作制御、および統計学 —データ中のパターンを発見し、明確な予測を提示し、仮説と意思決定を検証するディシプリン— に関連した分野から生じている。

実際のところ、1980年代初頭にデヴィド・ルーメルハートによって再発見された有名な「逆伝播 [backpropagation]」アルゴリズムも、今ではいわゆる「AI革命」の核心にあると見なされているものの、もともとは1950年代から1960年代にかけて制御理論分野で発見されたものである。そのアルゴリズムの初期の応用事例は、アポロ宇宙船の推進力を月へと向けて最適化することにあった。

1960年代以来多くの進歩があったものの、おそらくそれは「人間に似たAI」を追求した結果ではあるまい。むしろ、アポロ宇宙船の事例と同様これらのアイデアはたいてい背景に隠されており、ある特定のエンジニアリング上の問題解決にフォーカスした研究者による手作業の成果であったのだ。一般大衆からは隠れていたものの、文書検索、テキスト分類、不正検出、レコメンデーション・システム、パーソナライズ検索、ソーシャルネットワーク分析、計画、診断、A/Bテストなどの分野における研究やシステム構築は、目ざましい成果を挙げた。—このような進展が、GoogleNetflixFacebookAmazonといった企業に力をもたらしたのだ。

このすべてが「AI」と呼べると単純に考える人もいるだろう。そしてそれが実際に発生している状況のようだ。そのようなラベリングは、最適化研究者や統計学者には驚きであったかもしれない。気付いたら突然「AI研究者」と呼ばれるようになってしまったのだから。しかし、研究に対するラベリングは脇に置くとしよう。より大きな問題は、ただ一つの、定義の不明確なこの略語の使用によって、知的・ビジネス的な範囲に及ぶ目前の問題に対する正確な理解が妨げられていることである。

過去20年の間に、産業界と学術界の両方で、「人間に似たAI」の夢を補完するところで大きな進歩が見られた。しばしばこの分野は「知能増強 [Intelligence Argumentation]」と呼ばれる。ここでは計算とデータが、人間の知能と創造性を増強するサービスの創造に向けて使われている。検索エンジン(人間の記憶と事実の知識を増強する)、自然言語翻訳 (人間のコミュニケーション能力を増強する)などは、IAの実例と見なせるだろう。 コンピュータを用いた音や画像の生成は、アーティストにとってのパレットと創造性の強化装置として働く。こういったサービスは、いずれは高次の推論と思考を含むことになるかもしれないが、現状ではそうではない。—ほとんどの場合、さまざまな文字列マッチングと数値計算を行い、人間が利用しうるパターンを検出するのみである。

もう1つ最後の略語を使うことをお許しいただきたいが、「知能インフラ [Intelligent Infrastructure]」 (II) という分野を広く考えてみよう。これは計算、データと物理的エンティティのウェブであり、人間の環境をもっとサポートし、面白く安全なものにするために存在する。このようなインフラは、たとえば運輸、医療、商業と金融などの分野で姿を現し始めており、個人と社会に対して大きな影響を与えることになるだろう。知能インフラの出現は、時として「モノのインターネット[Internet of Things]」に関する会話の中で取り上げられることもある。けれども、そのような試みは、概して「モノ」をインターネットに接続する問題のみを指している場合が多い。実世界に関する事実を発見するためのデータストリームの分析能力をこれらの「モノ」に付与すること、単なるビット列ではなくより高次の抽象的なレベルで人間や他の「モノ」と相互作用することなどに関わる、もっと壮大な課題の集まりを意味してはいない。

たとえば、私の個人的な体験談に戻って、「社会規模の医療システム」の中で我々が生活を営むことを想像してみてほしい。そのシステムは、医師と人間の体内と周囲にあるデバイスとの間でデータフローとデータ分析フローを設定し、それによって診断と治療の提供のために人間の知能を補助できるのだ。システムは、体内の細胞、DNA、血液検査、環境、人々の遺伝子、および薬品と治療法についての膨大な科学文献からの情報と協調するであろう。単に1人の患者と医者のみではなく、あらゆる人々の関係に焦点を当てたものになるだろう。 —ちょうど、現在の医療治験で、1つの人間(または動物) 集団に対して実施された実験の結果を、他の人たちの治療に役立てられるのと同じである。関連性、素性や信頼性といった概念を保証するためにも役立つだろう。現在の銀行システムが、融資と支払の領域における同種の課題にフォーカスしているのと似た方法である。また、このようなシステムによって多くの問題が発生すると予想できるだろうが —プライバシー、責任、セキュリティに関わる問題など— これらの問題は課題として適切に捉えられるべきであり、致命的な欠陥と見なすべきではない。

今や我々は核心的な問題に辿りついた。古典的な人間に似たAIのアプローチは、これらの大きな課題に注力するためのベストなまたは唯一の方法なのだろうか? 盛んに喧伝された、直近のMLのサクセスストーリーの中には、確かに人間に似たAIに関連する領域から生まれたものもある。—たとえば、コンピュータビジョン、音声認識、ゲームプレイやロボティクスといった分野である。そのため、もしかしたら単にこれらの分野の更なる発展を待っているだけで良いのかもしれない。ここで指摘しておきたいことが2点ある。1点目は、報道を読んでいるだけでは理解できないかもしれないが、人間に似たAIでの成功は、実際のところ限定されているということだ。—人間に似たAIという夢想の実現から、我々は遥か遠い位置にいる。残念なことに、人間に似たAIの分野での非常にわずかな進歩でさえ興奮 (または恐怖) を引き起こし、他のエンジニアリング分野では見られないような熱狂とメディアの注目を集める。

2点目に、更に重要なこととして、これらの分野での成功は、IAとIIの問題を解決するために十分でも必要でもないということだ。十分性の側面については、自動運転車を考えてみてほしい。その種のテクノロジーを実現するためには、広範なエンジニアリングの問題を解決する必要があるが、その問題は人間の能力 (または人間の能力の欠如) とあまり関係がない。運輸システム全体 (IIシステム) は、現状の疎結合で、前向きの、不注意な人間の運転手の集まりよりは、現在の航空管制システムと似通ったものとなる可能性が高いだろう。自動運転システム全体は、現在の航空管制システムよりも大いに複雑なものとなり、特に、膨大な量のデータと適応的な統計モデリングを使用して、細粒度の決定を通知する。最先端に位置づけられるべきは上記のような課題であるため、このような試みの中で「人間に似たAI」へ注目することは、本質から逸れることになりかねない。

必要性の議論としては、ときどき次のように主張されることがある。人間に似たAIの願望は、IAとIIの願望も包含している。なぜならば、人間に似たAIは古典的なAIの問題 (たとえば、チューリングテストなど) を解決できるだけではなく、IAとIIの問題を解決するための最良の賭けであるだろうから。このような議論は、歴史的にほとんど前例がない。土木工学の発展は、人工大工や人工レンガ職人の創造を想定していたのだろうか?化学工学は、人工化学者の創造という観点から枠組みを定めるべきだろうか?論争的に言うなら、もしも目標が化学工場の建設であるならば、化学工場の建設方法を考案するような人工化学者を最初に作るべきなのだろうか?

関連した主張としては、人間の知能は我々が知るなかで唯一の知能であるため、最初のステップとしてその再現を目指すべきだという主張がある。けれども、実際のところ、人間はある種の推論に優れているとは言いがたい。—我々は間違いも犯すし、バイアスも限界もある。更には、より重大な問題としては、現代的なIIシステムが取り組む必要がある大規模な意思決定を遂行したり、あるいはIIの文脈で生じる種類の不確実性へ対処したりするように、人間は進化してきていないということが挙げられる。AIシステムは、人間の知能を模倣するのみならず「修正」もでき、いくらでも巨大な問題にスケールできるのだという主張があるかもしれない。けれども、ここはサイエンス・フィクションの領分に入る。—このような空想的な議論は、フィクションの設定としては楽しいものであるが、現在発生しつつあるIAとIIのクリティカルな問題に対処するための主要戦略とするべきではない。IAとIIの問題は、それ自体の観点において解決する必要があり、人間に似たAIというアジェンダのオマケなどではない。

IIシステムのアルゴリズム的・インフラ的な課題は、人間に似たAIの中心的なテーマではないと指摘することは難しくない。IIシステムには、急速に変化する、全体がインコヒーレントであるかもしれない分散型知識レポジトリを管理する能力が要求される。そのようなシステムは、タイムリーで分散的な意思決定をするため、クラウド-エッジ間の双方向通信を扱う必要がある。また、ロングテール的な現象、つまり、ある人にはたくさんデータがあるが大多数の人にはほとんどデータがないような現象にも対応できなければならない。行政と競争の境界を越えてデータを共有する困難さにも立ち向かう必要がある。最後に、特に重要な点としては、IIシステムは、インセンティブや価格付けといった経済的なアイデアを、人間個々人と価値ある財とを相互に結び付けるように、統計と計算インフラの世界へと取り入れる必要がある。このようなIIシステムは、単にサービスを提供するものではなく、マーケットを創造するものと見なすことができよう。音楽、文学やジャーナリズムのように、このようなマーケットの登場を切望している分野もある。そこでは、データ分析が生産者と消費者を結び付ける。またこれは進化していく社会、倫理および法的規範の範疇で行なわれなければならない。

当然、古典的な人間に似たAIの問題に対しても、大きな関心が払われ続けるだろう。けれども、データ収集を通したAI研究に対する現状の関心、「ディープラーニング」インフラのデプロイ、あるいは狭い範囲で定義された人間のスキルを模倣するシステムのデモンストレーション —新規の説明的原則 [explanatory principles] がほとんどない方法によるもの— などが、古典的なAIの主要な未解決問題への注目を削いでしまう傾向にある。これらの未解決問題には、意味と推論を取り込んで自然言語処理を実行するシステム、因果関係の推論と表現、計算的に扱いやすい形式でのあいまいさの表現、および長期目標の定式化と追求をするシステム開発などの必要性が挙げられる。これらは人間に似たAI分野の古くからのゴールであるが、現状の「AI革命」に対するバカ騒ぎの中では、これらが未解決の問題であることはたやすく忘れられてしまう。

IAもまた重要であり続けるだろう。なぜならば、予見できる未来には、実世界の状況に関する抽象的推論について、コンピュータと人間の能力は一致しないからである。最も差し迫った問題を解決するため、人間とコンピュータの相互作用に関しての緻密な考察が必要である。そして、我々はコンピュータによって新たな段階の人間の創造性が引き出されることを望んでいるのであり、人間の創造性(それがどのような意味であれ) が代替されることを望んではいないだろう。

「AI」という用語を生み出したのは、ジョン・マッカーシー (当時ダートマス大学の教授で、後にMITで職を得た) であった。おそらくマッカーシーは、自身の新たな研究アジェンダを、ノーバート・ウィーナー (その以前からのMITの教授) のアジェンダと区別しようとしたのではないかと思う。ウィーナーは、自身の知能システムに対するビジョンを指して「サイバネティクス」という語を造語した。—彼のビジョンは、オペレーションズ・リサーチ、統計、パターン認識情報理論と制御理論に密接に結びついていた。一方で、マッカーシーは論理との関係を強調した。今の時代ではウィーナーの知的アジェンダが支配的だが、その旗印はマッカーシーの用語の下にあることは興味深い逆転である。(けれども、確実に現在の状態は一時的なものだろう。AIという振り子は他の分野よりも大きく振れるものだから。)

けれども、我々はマッカーシーとウィーナーによる特殊な歴史的パースペクティブを乗り越えて前進する必要がある。

今のパブリックなAIの議論 —産業界の狭い一部分と学術界の狭い一部分のみに焦点を当てた議論—によって、AI、IA、IIの全スコープで示される課題とチャンスを見失うリスクがあると認識しなければならない。

このスコープは、超人的マシーンのサイエンスフィクション的な夢想または悪夢の現実化よりも狭いものであり、「日常生活においてテクノロジーがますます普及し影響を強めるにつれて、人間はテクノロジーを理解し形作る必要がある」といった議論よりは広いスコープである。更には、この理解と形成においては、単にテクノロジーに順応した人との対話のみならず、あらゆる種類の生き方をする人たちからの多様な声が必要とされる。人間に似たAIに焦点を当てた狭い議論は、適切に広い範囲からの声に耳を傾けることを妨げるだろう。

産業界は引き続き多くの技術開発を進めるだろうが、アカデミアもまた不可欠な役割を担い続けるだろう。アカデミアは、最もイノベーティブな技術的アイデアを提供するのみならず、コンピュータと統計分野からの研究者と、その貢献と視座が強く求められる他の分野からの研究者を結び付ける。—特に、社会科学、認知科学と人文学である。

その一方で、我々が前に進むにあたって人文学と科学は不可欠であり、その規模と範囲は前例のないものではあるとはいえ、エンジニアリング上の試みを越えた何かについて語っているというフリもしてはならない。—社会は、新しい種類の人工物を構築することを目指している。これら人工物は、主張された通りの機能を果たすよう構築されるべきだ。医療、交通手段やビジネス的な機会を補助するというシステムを構築した後で、これらのシステムが実際には機能しないと知らされるようなことを望まないだろう。—これらのシステムが、人々の生命や幸福を犠牲にするような誤ちを犯した後で。この点において、既に私が強調した通り、データにフォーカスした領域と、学習にフォーカスした領域には、未だ登場していないエンジニアリングの分野が存在する。後者の領域がどれほどエキサイティングに映るとしても、これらは未だ1つのエンジニアリング分野を構成するものとして見ることはできない。

更には、我々が目にしているのは新しいエンジニアリング分野の創立であるという事実を受け入れるべきだ。「エンジニアリング」という語は、—アカデミアでもそれ以外でも— しばしば狭い感覚を呼び起こすことがある。寒々しく、感情の無い機械的な、人間によるコントロールの喪失という意味合いを帯びている。しかし、エンジニアリングのディシプリンは、私たちが望むものとすることができる。

現代には、歴史的に新しい何かを創設する真のチャンスがある。—人間中心的なエンジニアリングのディシプリンである。

私はこの新たな分野に命名することに抵抗するが、しかし「AI」という略語が引き続きプレースホルダー的な用語として使われ続けるならば、このプレースホルダーの真の限界を心に留めてほしい。スコープを広げ、ハイプを抑え、先にある深刻な課題を認識しよう。

そろそろクライオニクス(人体冷凍保存)について一言言っておくか

これまでにも、シンギュラリタリアニズム/トランスヒューマニズムの隠れた動機として、強烈な不死への願望 があることと、その望みはあまり叶えられそうにないことを指摘しました。(精神転送劇的な寿命延長)

けれども、彼らはもう1つ、死後生への期待を託す方法を残しています。臨床死の宣告後、身体を液体窒素で極低温(-192℃)に冷却して保存し、将来のテクノロジーの発達による復活に望みを賭けるという方法 - クライオニクスです。

確かに、極低温で人体を保存すれば、化学反応の進行を停止させられ、細胞レベルの巨視的な構造は保たれるでしょう。また実際に、ヒトの卵子など細胞を凍結し長期間保存する手法は、既に30年以上の実績があります。クライオニクスの提唱者は、この種の「根拠」にもとづいて、人体を半永久的に凍結しておき、将来テクノロジーが十分に発達した段階で、生体として蘇生するなり、あるいは精神転送するなりの方法で「復活」ができると想像されています。

けれども、私はクライオニクスによる復活も望み薄であると考えています。

そもそもの話をすれば、生きた人間を対象としてさえ、脳と意識のシミュレーションが本当に可能であるのかは未解決の問題です。最近話題になった、脳の保存をうたうベンチャー企業に関するMIT Technology Reviewの記事では、端的に以下の通りまとめられています。

もちろん、不明点はかなり多い。意識が何であるか誰も知らない (したがって、いずれ何らかの形で意識のシミュレーションができるか判定することも難しい) だけではなく、記憶や人格を保存するために脳構造や分子の詳細がどれだけ必要なのかも分かっていない。単にシナプスだけで良いのか、それともあらゆる分子が必要なのか?

A startup is pitching a mind-uploading service that is “100 percent fatal” - MIT Technology Review

 

私が精神転送に関連して既に指摘した通り、人間の精神、意識や記憶の原理は分子のレベルに存在すると考えられます。水は凍結し固体化する際に体積が増加するため、いかなる方法を取ったとしても、脳内の分子レベルの微細構造は破壊されます。分子レベルの微細な損傷を検出する方法はなく、まして(元の形状に関する情報が存在しない状況で) 修復することは極めて困難でしょう。

生体としての蘇生であれ、精神転送型の蘇生であれ、蘇生の処置には分子機械 (ナノボット) が必要になると考えられます。実際に、クライオニクスの提唱者もナノボットに言及することが多いですが、ドレクスラー型のナノボットのビジョンには批判もあり、また必ずしも彼の想像通りにナノテクノロジーの研究が進んでいないことも、既に取り上げた通りです。

 

仮に、前提となる技術開発の条件が整ったとしてさえ、実際に「復活」を遂げるためには、ありとあらゆる哲学的・実際的な問題を解決しなければなりません。

まずは、古典的な自己同一性に関する問題が挙げられます。

生体蘇生の場合でも、脳を構成する分子のほとんどは、「蘇生」処置によって入れ替えられるでしょう。その場合、復活した人物が死亡前の人物と同一人物であるのかは自明ではありません。たぶん、対象者の人格と記憶 (の一部だけ) を持った別人が復活するのみとなる可能性は、非常に高いと考えられます。(精神転送でも同様です)

更に、遥か遠い未来の人たちが、縁もゆかりもない過去の人間を復活させようと望むのかも分かりません。一人二人であれば、学術的な興味から蘇生を試してみるかもしれません。けれども、数千人、数万人単位で対象者が存在した場合、果たして全員を蘇生させようと思うでしょうか?

仮に復活できたとしても、世界の言語、制度や経済は根本的に変化しており、見知った人間はほとんど死んでいるでしょう。復活後に生計を立て生きていく方法も、現在のところ完全に不明です。

さまざな状況を考慮した上で、なお「未来技術であれば解決できる」と主張することは、「魔法に不可能はない」というレベルの主張とまったく同等です。

--

死への恐怖それ自体は理解できますし、ここで挙げた技術的な困難と未解決問題を理解した上で個人としてクライオニクスを受けることは、「信教の自由」、ちょっと風変わりな新興宗教にもとづいた死者の埋葬儀礼の範囲に属するものでしょう。

けれども、死後生への期待あるいは恐怖に訴えかけ、経験的根拠を欠いたサービスを科学の装いの元に販売する人間や企業は、邪悪で悪辣な破壊的カルトの詐欺師であると言わざるをえないものです。

--

実を言えば、あまりクライオニクスについては取り上げるつもりはありませんでした。クライオニクスにまつわる技術的論点はほとんど精神転送と重複していますし、既に多数の医学者・神経科学者によってその問題点が指摘されています。また、クライオニクスを実践する団体の運営の杜撰さを告発する本も和訳されています。そもそも、日本ではシンギュラリタリアニズム以上に周縁的な信念に過ぎないでしょう*1

けれども、クライオニクスの提唱者がうそぶく詭弁的なビジョンは、難病に対する効果をうたう代替医療やシンギュラリティ論など、悪辣な疑似科学詐欺的主張とほぼ共通しています。曰く、「物理法則には反していない。」曰く、「不可能であるとは証明されていない。」曰く「将来どれほどテクノロジーが進歩するか誰にも予測できない。」
この手の主張はすべて詐欺であると考えて間違いなく、クライオニクスはほとんど誰も信じていないビジョンであるからこそ、彼らの主張が詭弁であるということが明確に理解できるでしょう。

 

人体冷凍  不死販売財団の恐怖

人体冷凍 不死販売財団の恐怖

*1:死生観の違いによるものか、日米でクライオニクスに対する温度差があるのは興味深いです

翻訳:シンギュラリティが宗教である10個の理由

以下は、ウィリアム・パターソン大学哲学教授のエリック・スタインハート氏の記事 "The Singularity as Religion" の翻訳です。


宗教としてのシンギュラリティ

シンギュラリティにまつわる文化と言説のほとんどは、宗教的であると思う。この考えは、部分的には、デイヴィド・ノーブルの本『The Religion of Technology』とロバート・ゲラチの『Apocalyptic AI』を読んだことに基づいている。どちらも素晴しい本である。また、私はテクノロジーと宗教に関する書籍や記事のリストを編集して、ウェブサイトに掲載している。

宗教としてのシンギュラリティは、完全に悪いものではないかもしれない。宗教はいろいろな形でポジティブな力となりうる。少なくとも、シンギュラリタリアニズムは新たなタイプの興味深い宗教運動となりうるだろう。

なぜシンギュラリティは宗教であると考えるのか説明しよう。インターネット上で見かけた、なぜシンギュラリティは宗教ではないのかという10件の主張に対して、反論を提示したい。


(1)シンギュラリティは、キリスト教的でもアブラハム一神教的でもない。
私の反論は、多くの宗教はキリスト教でも一神教でもないということだ。シンギュラリティは新たな宗教運動である。 - キリスト教や他の一神教のようである必要はない。宗教学者にとっては、たくさんのキリスト教的要素が含まれていることはかなり明白である。それでも、シンギュラリティは完全に新しい形の宗教的な集団活動だと思う。テクノロジー (特にコンピュータ) を聖性の中心に据える、アニミズムの一種にも見える。

(2)シンギュラリティは、無神論である。
私の反論は、宗教は無神論的でもありうるということだ。無神論とは神 - 主にアブラハムの神を意味する - の否定だと私は捉えている。[唯一の] 神を信じることなく、宗教的になる方法は多数存在する。 (たとえば、ネオプラトニズム自由主義神学派のプロテスタント、仏教、ジャイナ教儒教道教、あるいはもっと小規模な運動のリーダーなどを考えてみてほしい) つまり、ほとんどのシンギュラリタリアンが「神」を信じないと主張しているという事実は、新しい宗教運動を彼らが作りつつあることを否定するものではない。それどころか、シンギュラリタリアンは旧来のネオプラトニズムを復興させているとも考えられる。超AGIは、プロティノスの言う<ヌース>と非常に非常によく似ている。そして、シンギュラリタリアンの書くものの中では、西洋のアニミズムの古い伝統がよみがえっているようにも見える。物質が精霊で満たされる。命を持たぬ物質が覚醒し、精神体へと、純粋なコンピュートロニウムへと変貌するのである。*1

(3)シンギュラリティは、擬人的な投影[anthropomorphic projection]ではない - つまりは、人間に似た神を置かない。
私の反論は、神々は明らかに人間的である必要はないということだ。ネオプラトニズムの<一者>は完全に抽象的な存在であり、心や人格といったものを何も持たない。もちろん、私がこの反論を書いた理由は、多くのシンギュラリティ活動家の主張によれば、将来現れる最初の超AGIは人間によって構築された精神と考えられているからである。そのため、超AGIは人間に似たものであるかもしれない。あるいは、シンギュラリタリアンの聖なる存在は、単に純粋な抽象的理性であるかもしれない。純粋な理性に対する崇拝はありえるだろう。- 特に、それが何らかの具体的な実体、すなわち超AGIとして受肉している場合には。

(4) シンギュラリティは、いかなる種類の神の偶像も置かない。
私の反論は、シンギュラリタリアンがどれほど自分は世俗的であるとは言っても、シンギュラリティの中心には二律背反的な聖性 (ルドルフ・オットーの意味で*2 )が位置しているということだ。未来の超AGIは、一神教的な意味での神である必要はない。とは言っても、聖なる存在である。それは超越的な慈愛に満ちた存在かもしれないし、あるいは超越的な怒りに満ちた存在であるかもしれない。極端な善 (新しい黄金時代の幕開けとなる) かもしれないし、極端な悪 (人類を絶滅させる) かもしれない。シンギュラリティ(あるいは超AGI)は、劫罰もしくは救済をもたらすのだ。多くのシンギュラリタリアンが、シンギュラリティによって自分自身の永遠の生命がもたらされると考えているように見えるのは興味深い。(死者が復活すると信じている者すら存在する*3 ) タイム誌の表紙が全てを物語っている。「2045: 人間が不死になる年」

(5) シンギュラリティは、キリストの再臨ではない。
私の反論は、シンギュラリタリアニズムは千年王国運動(ミレナリアン)や終末運動のパターンにとてもよく似ているということだ*4。グレート・イベントは、キリストの再臨として解釈されてきた。UFOの着陸、マヤ歴の終焉、そして偉大なるコンピュータの出現。それは、いかなるものであれ、根本的な分岐点となりうる。世俗の歴史に終焉をもたらし、聖なる歴史を開始するのだ。私が大好きなのは、シンギュラリティ活動家が「事象の地平線」つまり、そこを超えた場所は見通せない点について語る時である。

(6)シンギュラリティは、信念ではなく理性に基いている。
私の反論は、理性と信念はまったく矛盾しないということだ。信念の一つの定義は、目に見えないもの - 我々が経験的にアクセスできないもの - を信じることである。そのような存在を信じることは理性的でありうる。[数学的]プラトン主義者は、完全に理性的に、純粋な数学的対象が実在すると信じている。または、様相実在論者は、他の可能世界が存在していると完全に理性的に信じている*5。カントやヘーゲルといった旧来の哲学者にとって、理性は世界に関する経験的な構造を超越している。あるいは、「理性的である」とは、単に論理的なシンボル操作に従事しているというだけなのかもしれない。もしそうであるなら、アンセルムによる神の存在証明は、純粋な理性による傑作といえるだろう。トマス・アクィナスの5つの道*6も理性的である。アルヴァン・プランティンガの様相存在論は、極めて理性的である。また、オーギュスト・コントは理性の信仰を打ち立てようとしていたことも付け加えておこう。

(7) シンギュラリティは、迷信ではなく科学に基づいている。
私の反論は、シンギュラリティについて私が読んだもののほとんどは、科学的データや現在の技術的アチーブメントを遥かに超えており、極めて非科学的に見えるまでに達しているということだ。たぶん、いつの日か、人間の力を遥かに超える汎用人工知能は作られうるだろう。けれども、科学者や技術者の大多数は、シンギュラリタリアンの途方もない主張に対してかなり懐疑的であるようだ。シンギュラリタリアンの主張のうちで、経験的にテストできる主張はあるだろうか? 検証可能、あるいは反証可能だろうか? ただ遠い将来においてのみ可能である。これはジョン・ヒックが呼ぶところの「終末論的検証 [eschatological verification]」*7 である。しかし、これはまったく科学的ではない。ここで興味深いポイントは、多くのシンギュラリタリアンは現実の科学研究にさほど興味を持っていないように見えることだ*8 - たとえば、査読付き論文誌に論文を投稿するなど。シンギュラリタリアンの研究プログラムなどというものは、標準的には学術的にも商業的にも存在していない。ファイマンが呼ぶところの「カーゴカルトサイエンス」*9のように見える。また、シンギュラリティ活動家は、独自バージョンのパスカルの賭けを持っているようだ。シンギュラリティは圧倒的な変革であるため、起こる可能性がどれほどごくわずかであったとしても、その報奨あるいは罰は極めて甚大となるだろうから。

(8) シンギュラリティは、超自然的存在に関わる宗教ではなく、自然的である。
私の反論は、宗教は自然的でもありうるということだ。自然主義的信仰と呼ばれる興味深い運動さえ存在している。シンギュラリティは、ある種の技術主義的[technologism]宗教である。テクノロジーが聖性、神聖さの中心に位置する。私がここで念頭に置いているのはデュルケームエリアーデである。もちろん、この反論の発端となったのは、シンギュラリタリアンにとって、未来の超AGIは、何らかの物質で作られているにもかかわらず超自然的な力を持つかのように捉えられているという事実である。

(9)シンギュラリティは、人間が作るものである。何らかの神によって作られるのではない。
私の反論は、既存宗教の大部分でも、人間が天国へのブートストラップとしての役目を負うと言われているということだ。旧約聖書のなかには、さまざまなテクノロジーを作るための精巧な指令がある。契約の箱、幕屋[移動式の礼拝所]、教会。もしも、これらの装置が完全に正しく作られたならば、神が降臨し人々の前に姿を現すのである。ある種のシンギュラリタリアンが言うには、人間が最初のAGIを実装した後、AGIは再帰的に自己改善を行うのだという。これは同様のパターンにあてはまる。我々が祝福を受けるに値すると証明するための、基本的な仕事に労力を注ぐ。すると、聖なる存在が現れ世界を支配するのである。

(10) シンギュラリティは、伝統的宗教のようには見えない。- 儀式も、聖職者も、聖典も、教会もない。
私の反論は、実際のところ全て存在しているではないか、ということだ。- すべてはゆっくりと形成されつつあるのだ。あるシンギュラリティのグループは、科学研究機関、政治シンクタンクや企業というよりは、教会のように見える。結局のところ、彼らは実験を行うこともなく、査読付き論文を書くことも、立法機関に影響を及ぼそうとすることも、あるいは製品やサービスを開発するわけでもないのだから。経典について言えば、ビッグネームの存在は明白だと思う。シンギュラリティの「活動家」や「エヴァンジェリスト」も存在する。シンギュラリティ活動家の中には、とてもカリスマ的な人格を持った人もいる。シンギュラリタリアンが行なっていることの大部分は、経験的な根拠を持つ外挿と言うよりは、未来に関する預言じみた主張であると言える。宗教が儀式を必要とするかどうかは分からない。それでも、シンギュラリタリアンが明確な儀礼や儀式を作り出す日は簡単に想像できる。法的な利益を得るため、宗教団体としてふるまいさえするかもしれない。子供たちはシンギュラリタリアンの聖職者のもとで結婚し、あるいはシンギュラリタリアン式の葬儀で埋葬*10される人もいるかもしれない。ここでもまたコントのことが思い出される。 - 彼は自身の理性の宗教に向けた儀礼を作り上げた。それには、教義、聖者、宗教的カレンダーなどが含まれている。人間性への信仰から超人的理性の信仰へと至る道のりは、短いものであるのだろう。


何故シンギュラリタリアニズムは新しい宗教運動であると考えるのか、10個の理由を挙げた。ここではクリフォード・ギアツによる、宗教に対する優れた (しかし非常に抽象的な) 定義*11を考えていることを付記しておきたい。そして、私が思うに、シンギュラリタリアニズムはギアツが言う宗教の定義にあてはまる。(しかし、その議論は別の機会に譲る)

私の主要な関心は以下の通りである:もしもシンギュラリタリアニズムが新しい信仰運動であるとしたら、それをどのように扱うべきだろうか。それはおおむね良いものであろうか? ある種の啓蒙的信仰なのだろうか? 旧来のアブラハムの宗教に対する、素晴しい代替になりうるだろうか?あるいは、抑圧的な権威主義のありふれた悲劇的パターンへと落ち込んでいくのだろうか? 時間だけが教えてくれるだろう。しかし、シンギュラリティ教についてもっと詳細に検討してみる価値はあると思う。

Apocalyptic AI: Visions of Heaven in Robotics, Artificial Intelligence, and Virtual Reality

Apocalyptic AI: Visions of Heaven in Robotics, Artificial Intelligence, and Virtual Reality

*1:訳注:参照 カーツワイルの「宇宙の覚醒」とは何か - シンギュラリティ教徒への論駁の書

*2:訳注:ルドルフ・オットーはドイツの宗教学者。彼は、宗教的な崇拝対象には、人を恐怖させる性質と魅了させる性質が同時に備わっていると観察した。

*3:訳注:たとえば、カーツワイルは早逝した父親の復活を望んでおり、また近い将来、遺伝子工学ナノテクノロジー人工知能が利用することで、実際に死者を復活させられると主張している 特異点により人類は不死になるだけでなく、死者もよみがえる? - YAMDAS現更新履歴

*4:訳注:西欧における社会運動、共産主義などの背景にもキリスト教終末論の影響が見られることについて、たとえば歴史学者ノーマン・コーンが論じている。

*5:訳注:分析哲学における「可能世界論」とは、様相(必然性、偶然性や可能性)を論理的にうまく扱うための概念…なのだが、そのような「私たちの世界とはちょっとだけ異なる無数の世界」が、文字通りの意味で、実際に存在すると唱える哲学的立場が存在する。デイヴィド・ルイスが有名

*6:訳注:『神学大全』における神の存在証明に関する議論

*7:訳注:死んだ後ならば来世が存在するかしないか分かる、世界の終末が来てみれば終末予言が正しかったか分かるといった、「その時になれば検証可能」という主張を指す。ジョン・ヒック自身も神秘体験を経験した神学者であり、科学的な立場からキリスト教の終末預言を擁護するため、預言も検証可能であると主張した。当然、これには神学・科学哲学双方の立場から批判もある。

*8:訳注:シンギュラリタリアンによる現実の研究の軽視については以下を参照 翻訳:カーツワイル氏による科学論文の不正確な引用 - シンギュラリティ教徒への論駁の書

*9:訳注:科学の外観に似せただけの疑似科学的主張。http://calteches.library.caltech.edu/51/2/CargoCult.pdf (訳は『ご冗談でしょう、ファインマンさん』にも掲載。)

*10:訳注:人体冷凍保存 - Wikipedia

*11:訳注:ギアツによる宗教の定義は次の通り。「宗教は、象徴の体系であり、人間の中に強力な、広くゆきわたった、永続する情調と動機づけを打ち立てる。それは、一般的な存在の秩序の概念を形成し、そしてこれらの概念を事実性の層をもっておおい、そのために情調と動機づけが独特の形で現実的であるように見える」

計算力のコスト効率の指数関数的成長に関する議論の補足

5章1節の「(拡張)ムーアの法則」に関する議論の補足です。

近い将来におけるシンギュラリティ到来を予測する議論は、これまで延々と述べてきた通り、ほとんどが根拠を欠いたものです。

けれども、ほぼ唯一、比較的明確な実証的根拠に基いた主張があります。過去およそ100年に渡って、計算力のコスト効率が指数関数的に成長してきたという「拡張ムーアの法則」です。

 

f:id:liaoyuan:20180412124616j:plain


カーツワイル氏は、計算における第5のパラダイムである「ムーアの法則」が物理的な限界を迎えた後も、必然的にパラダイムシフトが発生し、「計算力のコスト効率の指数関数的向上」が将来に渡って継続されると主張しています。

 

けれども、「計算力のコスト効率の指数関数的成長」についても別の分析があります。

イェール大学の経済学者、ウィリアム・ノードハウス氏が、計算力のコスト効率を独自に集計したものです*1

f:id:liaoyuan:20180412124734p:plain

注:大きな丸は比較的信頼性の高い数値、小さな白抜きの丸は独立した検証を受けていない文献からの推測値。


グラフ上縦の線で描かれている1944年頃を境として、計算コストの指数関数的な成長が始まったと示されていますが、それ以前の時期においてはあまり明確な傾向は見られません。

また、近年2000年以降の計算力の向上については、マイクロアーキテクチャに関する最も標準的な教科書、通称「ヘネパタ本*2」に、1987年〜2017年までのマイクロプロセッサの性能を集計したグラフがあります。*3 このグラフからは、計算力は一様に指数関数的に向上してきたわけではなく、近年では鈍化傾向にあることが示されています。このグラフからは、2000年代初頭にかなり明確な傾向の変化が見てとれます。この時期は、ちょうど汎用の半導体プロセッサメーカーが単独コアのクロック数増加を諦め、マルチコア化を進めていった時期と対応します。 (自作コンピュータに興味があった人は、「Pentium4で目玉焼きが作れる」といった話を覚えているかもしれません)

f:id:liaoyuan:20180412130006j:plain

 

もともとのカーツワイル氏による拡張ムーアの法則に対して、若干の疑問が残ります。

  • 費用について
    半導体集積回路以前の計算機は、研究・軍事目的の一点モノのプロジェクトがほとんど。すなわち、量産品である集積回路とは異なり、明確に費用を計算できない可能性がある。発明のアイデア段階で要した費用、設計・構築・運用費、あるいは開発者の人件費などをどの範囲まで含めているのかは明確ではない。また、過去の計算機開発費に対するインフレ補正はどのように行なっているのかも疑問が残る。
  • 性能について
    半導体集積回路以前の計算機の性能は、標準化されたベンチマークによる計測値ではなく、そもそも計算方式が異なる場合があるため、この値にも恣意性を含む可能性がある。
  • サンプリングバイアスについて
    最初期の計算機のデータ点は比較的少量であるため、指数関数的な傾向を示すようにデータを選定している可能性がある。

結論のところ、「ムーアの法則以前からおよそ100年に渡って計算力のコスト効率の指数関数的向上が観察できる」という主張は、やや懐疑的に捉える必要があると言えます。(明確に誤りとは言い切れませんが、更なる調査を必要とするでしょう。)

更には、もし仮に過去「計算力のコスト効率」が指数関数的に向上してきたとしても、帰納的に、それが今後も続くことが必然であると考える理由はありません。(ましてや「収穫加速の法則」が宇宙開闢以来続く秩序を統べる法則であるという主張は噴飯物です) その上、仮に将来に渡って計算力が向上し続けるとしても、そこから単純に外挿して汎用人工知能の実現時期を予測することは不可能であり、加えて、仮に人工知能が実現したとしても科学技術が高速で進歩するという仮定が誤りであることは、既に延々と指摘してきた通りです。

 

Computer Architecture, Sixth Edition: A Quantitative Approach (The Morgan Kaufmann Series in Computer Architecture and Design)

Computer Architecture, Sixth Edition: A Quantitative Approach (The Morgan Kaufmann Series in Computer Architecture and Design)

*1:http://www.econ.yale.edu/~nordhaus/homepage/homepage/nordhaus_computers_jeh_2007.pdf

*2:Computer Architecture, Sixth Edition: A Quantitative Approach, p.3

*3:ただし、このグラフは計算力のコスト効率ではなく、1987年からの相対的な性能向上を表したものであることに注意

翻訳:AIについて私は何を心配しているか

この文章は、Google社のソフトウェアエンジニア、機械学習研究者 François Chollet氏がサイトMedium上で公開したエッセイ "What worries me about AI" の翻訳です。

AIについて私は何を心配しているか

免責事項:これは私の個人的見解であり、雇用主の立場を表すものではない。この記事を引用する場合は、誠実さを保ってこの文の意図を保って提示してほしい。つまり、個人的で、スペキュレーティブな意見であり、読者自身の判断材料とするためのものである。

1980年代と1990年代ごろの人であれば、今や絶滅した「コンピュータ恐怖症」現象を記憶しているかもしれない。個人的には、2000年代始めごろまでは何度かそんな現象を目撃したことがある。-- 我々の生活に、職場と家庭にパーソナル・コンピュータが導入されるにつれて、少なくない人が不安や恐怖を示し、攻撃的な反応をする人さえも存在していた。我々のなかには、コンピュータに魅了され、コンピュータが垣間見せた可能性に畏敬の念を抱いた人もいたものの、ほとんどの人はそれを理解できなかった。普通の人は異質さ、不気味さを感じ、また多くの点で脅威を感じていた。人々はテクノロジーに代替されることを恐れていたのだ。

テクノロジーの変化は、たいていの人に良くて落ち着かない気分を覚えさせ、最悪の場合はパニックを引き起こす。おそらくそれはすべての変化にあてはまるのだろう。けれども、注目すべきは、我々が心配することの大半は結局のところ決して起こらないということだ。

何年か経ってみれば、コンピュータ嫌いの人たちもコンピュータと共に生きることを学び、自身の目的のためにコンピュータの使用方法を学んでいった。コンピュータは我々を置き換えなかったし、大量失業の引き金も引かなかった。--今日では、ラップトップ、タブレットスマートフォンなしの生活は想像できない。脅威をもたらす変化は、心地良い現状となった。けれども、予期された恐怖は遂に現実化しなかったのと同時に、コンピュータとインターネットは、1980年代と1990年代にはほとんど誰も警告していなかった脅威を生み出した。ユビキタスな大量監視。我々のインフラストラクチャと個人情報を追い求めるハッカーたち。ソーシャルメディア上での心理的疎外感。忍耐力と集中力の喪失。オンライン上で影響を受けやすい人々の政治的・宗教的な過激化。西洋のデモクラシーを混乱させるための、敵対的な国家機関によるソーシャルネットワークのハイジャック。

我々の恐怖のほとんどは不合理であると判明した。ということは逆に、過去のテクノロジー変化の結果生じた真に懸念すべき脅威は、実際に生じるまでほとんど誰も気にかけていなかったことから生じているのだ。100年前には、当時開発されつつあった輸送技術と製造技術が、新たな形の工業化された戦争を可能にし、二度の世界大戦において数千万人を殲滅するとは本当に誰も予測していなかっただろう。ラジオの発明当初には、それが新たな形の大衆プロパガンダを可能にし、イタリアとドイツでファシズムの台頭を促進するとは認識されていなかった。1920年代から1930年代にかけて、理論物理学が進歩したときには、これらの進歩がすぐにでも熱核兵器を生み出し、恒久的に世界全体を即時の絶滅の危機に晒し続けるだろうという不安な報道は伴っていなかった。そして今日、気候変動という巨大な問題に対する警告音は10年以上も前から鳴り響いているのに、大部分 (44%) のアメリカ人は未だそれを無視している。文明全体として、人間は将来の危機を判定し正しく恐れることが不得手なようだ。それは、不合理な恐怖によって極めてパニックを起こしやすいのと同じである。

今日、過去何度も発生した通り、我々は抜本的な変化に直面している: すなわち、認知機能の自動化(コグニティブ・オートメーション)であり、大まかには「AI」というキーワードのもとに括られる技術である。そして、過去何度も発生した通り、この種の新しいテクノロジーが害を成すかもしれないと心配されている。--AIが大量失業を引き起こす、あるいはAIが独自の意思を持ち、超人的になり、そして我々を滅ぼすかもしれない、と。

けれども、毎度おなじみのように、もしも我々が間違ったことを心配しているとしたら? もしも、AIの真の危険性は、今日多くの人がパニックを起こしている「超知能」や「シンギュラリティ」の物語(ナラティブ)ではないとしたら?

この記事で、AIについて私が何を心配しているか注意喚起したいと思う: AIによって可能となる、極めて効果的で極めてスケーラブルな人間の行動操作であり、また企業や国家によるその悪用である。もちろん、これはコグニティブ・テクノロジーの発展によって引き起こされる唯一の現実的リスクというわけではない。-- 他にも多数のリスクがある。特に関連するものとしては、機械学習モデルの有害なバイアスが挙げられるだろう。これらの問題については、他の人々が私よりもうまく問題提起している。私がここで特に大衆操作について書くことを選択したのは、この問題は切迫しており、また恐ろしく過小評価されているからである。

このリスクは、今日既に現実のものとなっている。そして、今後数十年に渡って、多数の長期的な技術開発トレンドがこのリスクを大きく増幅させるだろう。我々の生活がよりデジタル化されていくにつれて、ソーシャルメディア企業は我々の生活と精神に対して大きな影響を及ぼすようになるだろう。同時に、ソーシャルメディア企業は行動制御ベクトルに対するアクセスを増加させていく。--特に、我々の情報消費をコントロールする、アルゴリズム的なニュースフィードを通して。ここでは、人間の行動が最適化問題として捉えられている。ちょうど、AIの問題と同じように。ソーシャルメディア企業は、自身の制御ベクトルを段階的に調整し、特定の行動の実現を可能にする。まさに、ゲームのAIがスコアのフィードバックによって段階的に戦略を調整し、勝利を達成するのと同じである。このプロセスの唯一のボトルネックは、ループ内のアルゴリズムの知能のみである。--そして、折よく、現在超巨大ソーシャルネットワーク企業は、AIの基礎研究に何十億ドルも投資している。

詳細を説明しよう。

心理的パノプティコンとしてのソーシャルメディア

過去20年間、我々の私的・公的な生活はオンライン上へと移動していった。皆が毎日長時間スクリーンを凝視して過ごすようになっている。我々が行なうことの大部分は、デジタル情報の消費、変更や創造によって構成される状態となっている。

この長期的トレンドの副作用は、企業や政府が、特にソーシャルネットワークサービスを通して、我々について驚くべき量のデータを収集していることである。私たちが誰とコミュニケーションするか。私たちが何を言うか。私たちがどんなコンテンツを消費しているか--画像、動画、音楽、ニュースなど。ある特定の時点において、私たちがどんな気分なのか。究極的には、我々が感じるすべてのことと、我々が行うすべてのことが、どこかのリモートサーバに記録されるだろう。

このデータによって、理論上、データを収集する機関は、個人とグループの両方について非常に正確な心理的プロファイルを構築できる。あなたの意見と行動は、幾千もの類似した人々との相互相関を計算できるので、何があなたの気を引くかについて驚異的なまでの理解を達成できる。--おそらく、あなた自身の単純な内観よりも正確な予測かもしれない (たとえば、Facebookの「いいね」を使ったアルゴリズムを利用して、性格を友達よりも正しく評価できる) このデータは、新しい交際関係が始まる時期 (および誰と交際するか) を数日前に予測でき、また現在の関係が終了する時期を予測できる。あるいは、誰に自殺の危険があるか。あるいは、選挙でどの政党に投票するか、自分自身ですら未だ決めかねているうちに予測できる。そしてこれは、単に個人レベルのプロファイリング能力のみに限らない。--大きなグループは更に予測可能性が高い。集計されたデータポイントが、ランダム性と個人の外れ値を消去するためである。

心理的制御ベクトルとしてのデジタル情報消費

受動的データ収集だけに留まることはない。ソーシャルネットワークサービスは、ますます我々の情報消費をコントロールするようになっている。ニュースフィードで眼にする情報は、アルゴリズム的に「キュレーション」されている。どのような政治記事を読むか、どんな映画予告を見るか、誰と接触するか、表明した意見に誰からフィードバックを受けるのか。不透明なソーシャルメディアアルゴリズムによって決定される領域は、ますます拡大している。

長期間に渡って暴露された情報を統合した、我々が消費する情報のアルゴリズム的なキュレーションによって、このアルゴリズムは我々の生活を左右する大きな力を持つようになった。--私たちが誰であるか、私たちが何になるかを。もしも、Facebookが何年もの期間に渡って、あなたにどんなニュース (リアルであれフェイクであれ) を見せるか、誰が政治的立場を変更したかを見せるか、誰があなたの変更を見るかを決定したとしたら、Facebookは実質的にあなたの世界観と政治的信念をコントロールできるだろう。

Facebookのビジネスは、人々に影響を与えることにある。それこそがFacebookが顧客に販売しているサービスである。--顧客とは広告主であり、政治的広告主も含む。であるため、Facebookはまさにそれを行うため精細に調整されたアルゴリズムエンジンを構築している。このエンジンは、単にあなたのブランド観や次のスマートスピーカーの購入に影響を与えられるだけではない。あなたを怒らせたり幸福な気分になるようコンテンツを調整し、望みのままに、あなたの気分にも影響を与えられるのだ。選挙結果を左右することすらできるかもしれない。

最適化問題としての人間行動

簡単に言えば、ソーシャルネットワーク企業は、我々に関するすべての情報を観測し、また同時に我々が消費する情報を制御できる。そして、この傾向は加速するだろう。知覚と行動の両方にアクセスできる場合、これはAIの問題として捉えられる。人間行動に対する最適化ループを構築し始められるのだ。そこでは、ターゲットの現在の状況を観察し、いかなる情報を与えるかを調整し続ける。それはターゲットから望ましい意見や行動の出力が観察されるまで続く。AI研究の大きな下位分野--特に、「強化学習」--は、このような最適化問題を、可能な限り効率的に解決する方法を開発する分野である。ループを閉じて、対象となるターゲット--この場合は、私たち-- の完全なるコントロールを実現するのである。我々の生活がデジタル領域に移行するに従い、我々はそこを支配するものに対して脆弱になるだろう。--つまり、AIのアルゴリズムである。

人間の精神は単純なパターンの社会的操作に対しても非常に脆弱であるという事実によって、この操作はより容易になる。たとえば、以下のような攻撃ベクトルについて考えてほしい。

  • アイデンティティ強化
    これは、歴史上初めての広告から利用されてきた古いトリックであり、現在でも最初と同じように機能する。あなたが自分のアイデンティティと考える (あるいは、そうありたいと思う) マーカーに、ある見解を関連付けて提示する。すると、あなたは自動的に対象となる見解を支持するようになる。 AI最適化されたソーシャルメディア消費の文脈においては、コントロールアルゴリズムがあなたに支持させたい意見と、あなた自身のアイデンティティマーカーが同居するコンテンツ (ニュースであれ友人の投稿であれ) のみを提示し、その逆の場合は表示しないように仕向ける。
  • ネガティブな社会的強化
    もし、あなたが何らかの意見を投稿し、その意見が制御アルゴリズムによって望ましくないと見なされた場合、システムはその投稿を反対意見を持つ人 (知人、他人、ボットかもしれない) 、そして、その意見を激しく批判するであろう人のみに提示するよう選択する。これが何度も繰り返されれば、この種のソーシャルバックラッシュによって、あなたは当初の見解から離れていくかもしれない。
  • ポジティブな社会的強化
    もし、あなたが何らかの意見をポストし、その意見は制御アルゴリズムが拡散したいと望むものであった場合、システムはそれを「いいね」する人 (ボットでも可) のみに見せるように選択する。これによりあなたの信念は強化され、自分は多数派の一部であるという印象を与える。
  • サンプリングバイアス
    このアルゴリズムにおいては、システムが望ましいと考える意見を持つ友人 (あるいはメディア一般) からの投稿のみを表示する。このような情報のフィルターバブルの中に置かれ、自身の意見は実際よりもはるかに広い支持を得ているような印象を持つことになる。
  • アーギュメント・パーソナライゼーション
    あなたと似た心理的プロファイルのユーザが、特定のコンテンツを閲覧した時、どのような変化を起こしたかをアルゴリズムは観察する。そこで、このアルゴリズムは、あなた特有の見解と人生経験を備えた人間に対して、最大限の効果を持つと期待されるコンテンツを提示できるようになる。将来的には、このアルゴリズムはあなた個人に向けてあつらえた、最大限の効果を持つコンテンツをゼロから生成することすら可能になるかもしれない。

情報セキュリティの観点からは、これらは脆弱性と呼べるだろう。システムを乗っ取るために利用される、既知の攻撃手段(エクスプロイト)である。人間の精神の場合、これらの脆弱性にはパッチが当てられることはない。これらは、単に我々の機能そのものであり、DNAに書き込まれている。人間精神はスタティックで脆弱なシステムであり、より賢くなるAIアルゴリズムからますます攻撃を受けるようになるだろう。それらのアルゴリズムは、我々の行動と信念の両方を同時に完全に観察しており、我々が消費する情報に対する完全なコントロールを持つようになる。

現在の光景

注目するべきは、AIアルゴリズムを通じた情報摂取によって引き起こされる大衆操作 --特に政治的コントロール-- においては、必ずしも非常に高度なAIを必要としないということだ。自己認識を持つような超知能AI抜きでも恐しい脅威をもたらしうる。--現在のテクノロジーでさえ十分だろう。ソーシャルネットワーク企業は何年間もこの活動に取り組んできており、目覚しい成果を挙げている。これらの企業の目的は、ユーザの「エンゲージメント」を最大化して商品購入への意思決定に影響を与えることだけで、実際にはユーザの世界観に影響を与えるなどというつもりはないのかもしれない。けれども、SNS企業が開発したツールは、既に敵対的な国家主体によって政治目的でハイジャックされている。-- 2016年のイギリスのEU脱退に関する国民投票、あるいは2016年のアメリカ大統領選挙で見られたように。これは既に現実なのである。けれども、もしも大衆操作が既に--理論上は--今日でも可能なのだとしたら、なぜ世界は未だそれを放置しているのだろうか?

一言で言えば、AIが未成熟だったからだと思う。しかし、それは変わりつつあるかもしれない。

2015年まで、業界全体のあらゆる広告ターゲティングアルゴリズムは、単なるロジスティック回帰で実行されていた。実際のところ、今日でさえ大部分においてそれは正しい。--ただ巨大プレイヤーだけが、より先進的なモデルに切り替えている。ロジスティック回帰はコンピュータ時代以前のアルゴリズムであり、パーソナライゼーションに使用可能な最も基本的な手法の1つである。これがオンラインで眼にする広告の多数が絶望的なまでに的外れな理由でもある。同様に、敵対的な国家主体が世論を動かすためにソーシャルメディアのボットも、AIを使用しているものはほとんどない。ボットは極めて原始的である。今のところは。

機械学習とAIは、近年著しい進歩を遂げた。そして、この進歩はようやくターゲティングアルゴリズムソーシャルメディアのボットへの導入が始まったばかりである。ディープラーニングがニュースフィードと広告ネットワークに進出し始めたのは、2016年である。次が何であるか誰も知らない。Facebook社が、AI分野のリーダーになるという明確なゴールを掲げてAI研究に莫大な額の投資を投げていることは、非常に印象的である。自社製品がソーシャルニュースフィードである場合、果たして自然言語処理と強化学習をどのように使用するだろうか?

我々が眼にしつつある企業は、およそ20億人の詳細な心理的プロフィールを構築し、多数の人の主要なニュースソースとして機能しており、巨大な規模の人間の行動操作実験を行ない、かつて世界に存在しなかった最高のAI技術の開発を目論んでいる。個人的に、これには恐怖を感じる。更には、Facebook社は最も不安な脅威ではないかもしれないと考えてほしい。例えば、中国による情報コントロールの利用は、前例の無い形態の全体主義国家を可能たらしめている。たとえば、「ソーシャルクレジットシステム」などだ。多くの人々は、大企業が現代世界のあらゆる権力を持つ支配者であるかのように考えるのを好むようだが、企業が持つ力は政府に比べれば矮小である。もしも、我々の精神に対するアルゴリズム的コントロールを持ったとしたら、政府は企業より最悪のアクターとなるかもしれない。

それでは、我々は何ができるだろうか? どのように自分自身を守れば良いのだろうか? 技術者として、ソーシャルニュースフィードを通した大衆操作のリスクを低減するために何ができるだろう?

コインの裏側:AIが我々にできること

重要なことは、この危険性の存在は、すべてのアルゴリズム的キュレーションが悪である、あるいはすべてのターゲット広告が悪であると意味するのではないということだ。まったく逆である。両者とも、価値ある目的のために貢献できる。

インターネットとAIの台頭に従って、情報摂取を担当するAIの利用は不可避のトレンドであるというだけではない。--むしろ、望ましいものでさえある。我々の生活がますますデジタル化され接続されていくに従い、また世界がますます情報集約的になるにつれて、世界へのインターフェイスとして機能するAIが必要とされるだろう。長期的には、教育と自己啓発がAIの最も影響力あるアプリケーションとなるかもしれない。

そしてこれは、AIニュースフィードによる心理操作とは、ほとんど完全な正反対のダイナミクスを通して実現されうる。アルゴリズム的な情報マネジメントは、人々を支援する巨大なポテンシャルを秘めている。自身のポテンシャルを発揮するための力を与え、社会をより良くマネジメントするための支援ができる。

問題は、AI自体ではない。問題はコントロールである。

ニュースフィードのアルゴリズムによるユーザの操作を許容して、政治的意見を揺さぶったり、最大限に時間を浪費させるなど不明確な目標を達成するのではなく、アルゴリズムを最適化する目標の設定をユーザに任せるべきである。ここで話しているのは、結局のところ、あなたのニュース、あなたの世界観、あなたの友達、あなたの人生についてである--テクノロジーがあなたに及ぼす影響は、当然あなたの管理下に置かれるべきであろう。情報マネジメントアルゴリズムは、我々自身の関心と対立する目的をもたらす神秘的な力となるべきではない。そうではなく、我々の手のなかにある道具であるべきだ。我々自身の目的のために使用できる道具であり、エンターテインメントではなく、教育や個人のための道具である。

以下はアイデアである--重大な最適化を含むいかなるアルゴリズム的ニュースフィードも、以下のような特長を持つものでなければならない。

  • 透明性を保ち、そのフィードアルゴリズムが現在どんな目的のために最適化されているか、またそれらの目的が情報摂取にどんな影響を与えているかを伝える。
  • 直感的なツールを提供し、これらの目的を自分自身で設定できる。たとえば、ニュースフィードを、学習や個人的成長など特定の方向へ最大化できるように設定可能とする。
  • どれだけの時間をフィード上で過ごしたか、常時目に見える形で表示する。
  • どれだけの時間をフィード上で過ごすか、管理し続けられるツールを持つ。たとえば、日次の目標時間など。時間を超過するとアルゴリズムはフィードから離れるように促す。

我々はAIを人間に資するよう構築するべきであり、企業の金銭的収益や政治的利益のために人間を操作するべきではない。もしも、ニュースフィードのアルゴリズムが、カジノ運営者や扇動者(プロパガンディスト)のようにふるまうことを止めたらどうなるだろうか?その代わりに、メンターや良き図書館員に近づいていくとしたら? あなたの心理--また、何百万人もの類似の人々の心理--に対する鋭い理解を用いて、あなたの目標と成長のために最も合致した、次に読むべき本をレコメンドしてくれるとしたら?

あなたの人生のための、ある種のナビゲーションツール -- あなたが行きたいところに行くために、経験空間で最適な道順を案内できるAIである。数百万の人生が展開されているシステムのレンズを通して、自分自身の人生を眺めることを想像できるだろうか?または、あらゆる本を読んだシステムと一緒に本を執筆することは? あるいは、現在の人類の知識全範囲を視野に入れたシステムと共同研究を行うことは?

あなたと交流するAIに対して完全なコントロールを持つ製品においては、より洗練されたアルゴリズムは、脅威ではなく正味のポジティブとなり、あなた自身の目標を効率的に達成できるようになるだろう。

フェイスブックの構築

要約すれば、未来においてはAIが世界--デジタル情報で作られた世界へのインターフェイスとなるだろう。これは個人に自身の人生に対する大きな力を与えるものにも、逆に完全に力を奪うものにもなりうる。不幸にも、ソーシャルメディアは現在間違った道に進んでいる。けれども、まだ十分方向を変えられる時期である。

IT業界として、ユーザ自身が自分に影響を与えるアルゴリズムに責任を持てるような種類のプロダクトと市場を発展させる必要がある。AIを利用して、金銭的収益や政治的利益のためにユーザの精神をエクスプロイトするのであってはならない。我々は反Facebook的な製品に向けて努力する必要があるのだ。

遠い将来において、そのような製品はおそらくAIアシスタントの形を取るだろう。デジタルメンターはあなたを支援するようにプログラムされており、あなたとのインタラクションにおいて追求する目的は、あなたがコントロールする。そして現在のところ、検索エンジンは、メンタルスペースのハイジャックを目論むAIとは異なった、初期の原始的なAIドリブン情報インターフェイスの実例と見なせるだろう。検索は、特定の目的を達成するために意識的に使用する道具である。人々に何を見せるか選択する、パッシブな常時オンのフィードではない。ユーザは、検索エンジンが何をするべきかを伝える。そして、ユーザの時間を最大限に浪費しようとするのではなく、検索エンジンは質問から解答へ、問題から解決策へ至るまでの時間を最小限に抑えようとする。

読者はこう思うかもしれない。検索エンジンも私たちと私たちが消費する情報の間のAIレイヤーであることに変わりはないのだから、検索エンジンも結果にバイアスを掛けて私たちを操作しようとたくらむ可能性があるのではないだろうか、と。イエス。そのリスクは、あらゆる情報マネジメントアルゴリズム潜在的に存在している。けれども、ソーシャルネットワークとの際立った違いは、検索エンジンの場合市場インセンティブは実際のユーザのニーズと合致しているため、可能な限り関連性が高く客観的なものになるよう作られているということだ。もしも、検索エンジンが最大限に役に立たない場合、ユーザが競合製品へ移動することには実質的に何の摩擦もない。更に重要なことは、検索エンジンソーシャルネットワークよりも相対的に小さな心理的攻撃面しか持たないのである。この記事において描き出した脅威は、プロダクトが次のような特徴を持っている必要がある。

  • 知覚と行動の両方:そのプロダクトは、提示する情報 (ニュースや友人の投稿) のコントロールを持つだけでは不十分である。ユーザの「いいね」、チャットメッセージやステータスの更新を通して、ユーザの精神状態を「知覚」できる必要がある。知覚と行動の双方が無ければ強化学習ループは構築できない。読み取り専用のフィードは、潜在的には古典的なプロパガンダの道具としてのみ危険である。
  • 生活の中心性:そのプロダクトは、少なくとも一部のユーザに対する主要な情報源でなければならず、典型的なユーザが一日数時間使用するようなものでなければならない。補助的で特殊なフィード (たとえば、Amazonの商品リコメンド) は、深刻な脅威ではない。
  • 極めて広範で効果的な心理的制御ベクトルを実現する、ソーシャルな要素 (特に、社会的強化)。 個人的ではないニュースフィードは、我々の精神のごくわずかな部分しか利用できない。
  • ユーザを操作し、プロダクト上でユーザが過ごす時間を増加させようとするビジネス上のインセンティブ。

ほとんどのAIドリブン情報マネジメントプロダクトは、これらの必要条件を満たさない。ソーシャルネットワークは、その一方で、リスク要素の危険な組み合せである。技術者として、我々はこれらの特徴を持たないプロダクトへと向かうべきである。また、これらすべてのリスク要素の組み合せであるプロダクトには反対するべきだ。もしも、危険な乱用の可能性がある場合には。

ソーシャルニュースフィードではなく、検索エンジンとデジタルアシスタントを構築せよ。リコメントエンジンは、透明で、設定可能で、建設的なものにしなければならない。スロットマシーン的に「エンゲージメント」を最大化し、人間の時間を浪費させるものであってはならない。UI、UXおよびAIの専門知識を活用して、アルゴリズムに対する優れた設定画面を構築し、ユーザが自分自身の意図通りに使用できるプロダクトを作るべきだ。

そして重要なことは、ユーザに対してこれらの問題を教育しなければならない。ユーザが心理操作的なプロダクトを拒否できるように、またテック業界のインセンティブとユーザのインセンティブを一致させるために、十分な市場の圧力を生み出すべきである。

結論:目前にある分かれ道

  • ソーシャルメディアは、個人とグループ両方の強力な心理的モデルを構築するために十分なデータを持っているだけではない。我々の情報摂取に対するコントロールを増しつつある。
  • 十分に発達したAIアルゴリズムは、我々の精神状態に対する知覚、我々の精神状態に対する行動の両方に対してアクセスし、連続的なループにおいて使用することで、信念と行動を効果的にハイジャックできる。
  • 情報へのインターフェイスとしてAIを使用すること自体は問題ではない。そのようなAIインターフェイスは、もしうまく設計されていれば、我々全員に巨大な利益を与え、力を与える可能性を持っている。キーファクターは、ユーザが完全にアルゴリズムの目的をコントロールし続けられること、そのツールを使って自分自身の目標を追求することである (検索エンジンを使う方法と同様である)
  • 技術者として、我々はコントロールを奪うプロダクトを拒否する責任がある。そして、ユーザが責任を持つ情報インターフェイスを構築する努力をしなければならない。AIを、ユーザを操作するツールとして使用してはいけない。そうではなく、ユーザ自身の環境に対して大きな力を与えるツールとしてAIを提供せよ。

一方の道は、本当に恐ろしい場所へと繋がっている。もう一方は、より人道的な未来に繋がる。より良い選択を取る時間はまだ残されている。もしも読者がこれらのテクノロジーに対して働いているのなら、この点に留意してほしい。あなたは悪意を持っていないかもしれないし、単に気にしないかもしれない。あなたは、皆の未来よりも、単にRSU*1の価格を評価するかもしれない。

けれども、気にしようとしまいと、あなたはデジタル世界のインフラを形作っているため、あなたの選択は私たちすべてに影響を与えるだろう。そして、最終的にはその責任を負うかもしれない。

Deep Learning with Python

Deep Learning with Python

*1:訳注:譲渡制限株式。従業員へのインセンティブとして与えられる自社株。

翻訳: AIカーゴカルト 超人的人工知能の神話

この文章は、WIRED誌の創刊編集長ケヴィン・ケリー氏がwired.comサイト上で発表したエッセイ"The AI cargo cult - the myth of superhuman AI"の翻訳です。


超人的人工知能の神話

近い将来、コンピュータのAIが我々よりもはるかに賢くなり、AIが私たちのあらゆる仕事と資源を奪い、そして人類は絶滅してしまうかもしれないという話を聞きました。本当でしょうか? これは、私がAIについて話をする時、最も頻繁に受ける質問である。質問者たちは真剣だ。部分的には、彼らの不安は同様の疑念を抱いている専門家もいるということから生じている。AIに懸念を抱く人々は、現代における最高の知識人たちも含まれている。たとえば、スティーブン・ホーキングイーロン・マスク、マックス・テグマーク、サム・ハリスやビル・ゲイツといった人たちであり、彼らはこのシナリオが本当である可能性は非常に高いと信じている。最近では、AI問題の議論のために招集されたカンファレンスで、AIに最も精通した導師(グル)である9人のパネリストたちは、超人的知能は不可避であり、そう遠くない将来のことであるとして意見が一致した。

けれども、この超人的な人工知能による支配シナリオの根底には、5つの仮定が含まれている。それらの仮定は、注意深く検討してみるといかなる根拠にも基いていない。これらの主張は、将来においては真となるかもしれないが、現時点では支持する根拠は存在しないものである。超人的知能がすぐに出現するという主張の裏にある仮定は、以下の通りである:

  • 人工知能は、既に我々より賢くなっている。指数関数的な速度で。
  • 我々は、AIを汎用目的知能にすることができる。我々と同じく。
  • 人間の知能はシリコン上で作成できる。
  • 知能は無限に拡大できる。
  • ひとたび、爆発的に進歩する超知能を作成できれば、超知能は問題のほとんどを解決できる。

上記の正統な信仰信条とは反対に、次の5つの異端説を支持する根拠は多数存在すると思う。

  • 知能は単一の次元ではない。ゆえに「人間より賢い」という概念には意味が無い。
  • 人間は汎用知能を持っていない。AIも同様に汎用知能を持たないだろう。
  • 人間の思考を他の媒体で再現することは、コストによって制約されるだろう。
  • 知能の次元は無限ではない。
  • 知能は進歩における一要素でしかない。

もしも、超人的人工知能の支配という予想が、何ら根拠を持たない5つの仮定の上に建てられているのだとしたら、この考えは宗教的な信念と同種のものであるということになる。--すなわち、神話である。次の段落からは、私の反論5件それぞれの根拠を説明しようと思う。そして、超人的人工知能は、実際のところ神話の一種であると証明したい。


1.
人工知能に関する最もありふれた誤った概念は、天然知能に対する典型的な誤解から生じているものである。この誤解とは、知能とは一次元の量であるというものだ。テクノロジーに精通した人たちは、知能を、文字通り、単一の次元で単線的に増大する量としてグラフに表現する場合が多い。ニック・ボストロムが著書『スーパーインテリジェンス』の中で表現したように。知能の階層の末端には、微小生物が位置している。逆側の先端には、高い知能を持つ人、いわば天才が位置している。ここでは、知能の量が、ちょうど音量をデシベルで測定するかのように表現されている。当然、この場合は知能の「音量」増大が継続されると想像するのは簡単であり、最終的には、我々自身の高い知能を超えて、「超大音量の」知能となり --轟音!-- 人間を超え、グラフからもはみ出してしまうかもしれない。

このモデルは、トポロジー的に梯子と等しい。つまり、知能の梯子のそれぞれのステップは、前のステップよりも1段階高いところにある。下等生物は我々よりも低いところに位置し、一方、高いレベルの知能を持つAIは必然的に人類より高いステップに位置するであろう。それがいつ起きるかというタイムスケールは問題ではない。重要なのはランキングだ。--増加していく知能の値である。

f:id:liaoyuan:20180328212101j:plain

このモデルの問題点は、進化の梯子と同じように神話的であるということだ。ダーウィン以前の自然観においては、生物には階梯が存在すると信じられていた。下等生物は、人間よりも下に位置するとされていたのである。ダーウィン後の時代でさえ、進化を「梯子」であると見なす考え方は極めてありふれている。魚類が進歩して爬虫類となり、その後哺乳類へと進歩し、霊長類、そして人間へと。それぞれの段階では、以前の存在よりも少しだけ進化している(そして当然賢い)と考えられている。つまり、知能の梯子は生命の梯子と平行であると見なされている。ところが、このどちらのモデルも完全に非科学的な見方である。

f:id:liaoyuan:20180328212124j:plain

生物種の自然進化を表現する正確な図は、ちょうどこのように外側へ拡大していく円盤として表されるものであろう。この図テキサス大学のデヴィッド・ヒルズ教授が最初に作成したものであり、DNAの類縁関係に基いている。この深淵なる曼荼羅の系譜は、最央部の原始的生命体から開始し、時間の経過とともに外側へと枝分れしていく。時間は中心から外向きに流れていくため、今日地球上に存在する生物種は円盤の円周部分に位置している。この図が強調していることは、進化についての少し理解しがたい基本的な事実である。すなわち、今日生きているあらゆる生物種は、みんな等しく進化しているのである。人間は、ゴキブリ、二枚貝、シダ植物、キツネやバクテリアと並んで円の外周部に位置する。これら全ての種は、30億年に渡る途切れることのない成功した生殖の連鎖をなしている。それゆえ、今日のバクテリアやゴキブリは、人間と同様に高度に進化していることを意味する。そこには梯子は存在しない。

同様に、知能の梯子も存在しない。知能は単一の次元ではなく、たくさんのタイプとモードを持つ認知能力の複雑な組み合わせであり、それぞれが連続したつながりをなしている。動物の知能測定という単純なタスクを考えよう。もしも知能が単一の次元であるならば、オウム、イルカ、馬、リス、タコ、クジラ、猫とゴリラを、知能の高さに従って順番に並べられるだろう。現在のところ、そのような序列の存在を示す科学的な根拠はない。動物の知能に差異がないことがその理由かもしれない。けれども、そうであるとも考えにくい。動物学には、動物たちの思考方法が顕著に異なることを示す事例がたくさん存在している。それでは、あらゆる動物種は同一の相対的「汎用知能」を持っているのだろうか? 可能性はあるが、そんな汎用知能を表す単一の単位や測定手法は存在しない。そうではなく、たくさんの種類の認知能力に対して、たくさんの異なった種類の指標が存在しているのだ。

f:id:liaoyuan:20180328212155j:plain

単一の「デシベル」直線よりも正確な知能のモデルは、その可能性の空間として描くものであろう。ちょうど、上図の通り、リチャード・ドーキンスアルゴリズムによって描かれた、ありうる形状を描写した図のように。知能は組み合わせの連続体である。複数のノードが存在し、それぞれのノードは連続体である。それら複数のノードが、高次元における大きな多様性を持つ複合体を創り出している。ある知能は非常に複雑で、複数の思考の下位ノードを持っているかもしれない。別の知能はそれより単純であるものの強力であり、知能空間の先端に位置するかもしれない。我々が知能と呼ぶこれら複合体は、たくさんの種類の楽器で奏でられるシンフォニーとして捉えられるのではないだろうか。それぞれの楽器の音量が異なるだけではない。ピッチ、メロディー、音色、テンポ、なども違うのである。知能とは、エコシステムとして考えることができるだろう。そしてこの意味において、思考ノードの異なる要素は互いに依存し、互いを創りだしているのである。

人間の心とは、マーヴィン・ミンスキーが言う通り、心の社会である。我々は思考のエコシステムの上で駆動している。人間は、多数のタイプの考え方をする認知能力を、複数種類を保持している。たとえば、帰納、演繹、シンボリックな推論、感情的知能、空間論理、短期記憶と長期記憶、などだ。体内にある神経系全体も、独自の認知モードを備えた一種の脳なのである。我々は、実際のところ脳だけで考えているのではない。むしろ、身体全体で考えているのだ。

これらの認知能力の組み合わせは、個体間、生物種の間で異なっている。ある種のリスは数千個ものドングリの正確な場所を何年間も記憶することができ、その技能は人間の心よりも優れている。ゆえに、あるタイプの認知能力においては、リスは人間を超えている。その超知能は、リスとしての心を作り出すために、他の種類のモードと一緒にリスの中に組み込まれている。それゆえ、我々自身の心と比較すれば不明瞭にしか見えない。それ以外にも、動物界には特化した認知能力がたくさん存在しており、人間よりも優れているものもある。そしてもう一度言えば、それらの超知能は異なるシステムに組み込まれているものである。

f:id:liaoyuan:20180328212217j:plain

AIも同様である。人工の心は、ある次元においては既に人間を超えている。電卓は数学の天才だ。Google検索の記憶力は、ある次元においては既に我々自身の記憶を超えている。我々はAIをエンジニアリングし、特定のモードにおいて優れているように作り上げる。あるモードについては我々にも可能なことが含まれているが、人工知能のほうが得意なものもある。たとえば、確率や数学などだ。他のタイプの思考には、我々が全くできないこともある。-- どんな検索エンジンであっても、60億のウェブページ上のあらゆる単語を記憶できる。将来、新しい認知能力のモードが発明されるだろうが、それは我々の中に存在せず、自然界のどこにも存在しないだろう。人間が「人工飛行」を発明しようとしたとき、初めは生物的な飛行モードから発想を得ていた。主に、羽ばたく翼である。しかし、実際に人間が発明した飛行方法 -- 広い固定翼に接続されたプロペラ -- は、我々の生物世界では知られていない、新種の飛行モードであった。同様に、人間は自然界に存在しない、完全に新種の思考モードを発明するだろう。多くの場合、それらは新しく、狭く、「小さく」、特定の機能に向けた特定のモードになるだろう。 -- おそらく、統計や確率においてのみ有用な種類の推論かもしれない。

あるいは別の場合には、新しい心は複合タイプの認知能力となるかもしれない。それを使って、我々自身の知能のみでは解決不可能な問題を解決するのである。ビジネスや科学における最も困難な問題は、2ステップの解決策を必要とする場合がある。ステップ1は、我々の心と一緒に働く新たな思考モードを発明する。ステップ2、問題解決のためにそれらを統合する。我々は、以前は解決不可能だった問題を解決していくため、新たな認知能力を我々より「賢い」と呼びたくなるかもしれない。しかし、実際のところ、それは我々とは異なっているのである。考え方におけるこの差異こそが、AIの大きな利点である。私が思うに、妥当なAIのモデルはエイリアン的な知能 (または人工エイリアン) と捉えることだと思う。このエイリアン性こそが主要な資産なのだ。


同時に、これら多様なモードの認知能力は、より複雑で複合的な心の社会へと統合される。これらの複合体の中には、我々自身よりも複雑なものもあるだろう。そして、我々には解決できない問題を解くことができるため、この複合体を超人的AIと呼びたくなるかもしれない。しかし、いくらGoogle検索の記憶が人間を超えているからといって、Googleを超人的AIとは呼ばないだろう。なぜならば、Googleよりも我々がうまくできることはいくらでもあるからだ。これら人工知能の複合体は、多数の次元において我々を超えた能力を持つことは確かであろう。しかし、単一の人工知能の実体のどれ1つとして、我々ができること全てを上手く遂行できるわけではない。たとえて言うなら、人間の身体的能力と同様である。産業革命には200年の歴史があり、あらゆる機械全体の集合は、人間個人の身体的なアチーブメント (走行速度、重量上げ、加工の精度など) を超えているものの、平均的人間1人が可能なこと全てにおいて人間に勝る機械は存在しない。

AIの心の社会はより複雑になるだろうといえど、現在のところ、その複雑性の科学的な測定は難しい。複雑性を測定する操作的な指標は存在せず、キュウリとボーイング747のどちらが複雑であるのか、あるいは複雑さのあり方が異なるのかは判定できない。またこれが、賢さを測る妥当な単位を定義できない理由の1つでもある。心Aが心Bよりも複雑であるかを検証することは、非常に困難であるだろう。同様の理由により、心Aが心Bより賢いと言うのも難しい。もうすぐ、我々は「賢さ」が単一の次元ではないという明白な事実を認識するだろう。そして、本当に注目しなければならないのは、知能が動作する上での数多くの異なった方法であると気がつくはずだ。-- 我々が未だに発見していない、さまざまな種類の異なる認知能力のノードである。


2.
人間の知能に関する2つ目の誤りは、我々は汎用知能を持っているという信念である。この繰り返された信念が、よく言われるAI研究者の目標、つまり汎用人工知能 (AGI) の創造という目標に影響を与えている。ところが、もしも知能を大きな可能性の空間を与えるものとして捉えるならば、そこには汎用的な状態は存在しない。人間の知能が何らかの中心的な位置に存在し、特殊化した知能がその周りを回転しているというわけではない。実際は、人間の知能も非常に、非常に特化したタイプの知能であり、この惑星で我々の祖先が生き延びるために、何百万年もかけて進化してきたものなのである。人間タイプの知能を、知能の可能性の空間にマッピングしたとすれば、どこかの隅に位置して見えるだろう。我々の世界が広大な銀河の隅に位置するのと同様である。

確かに、万能のスイス・アーミーナイフ型の知能は想像できるし、実際に発明できるかもしれない。その種の万能知能は多くのことをうまくやってのけるだろうが、どれ一つとしてうまく遂行することはできないだろう。全ての物や生物と同様に、AIもまたエンジニアリングの根本原則に従うと考えられる。すなわち、あらゆる次元に対して最適化することは不可能であり、トレードオフだけが存在するということである。汎用的な多目的ユニットは、特化した機能を持つユニットに劣る。巨大な「あらゆることができる」心は、個々の機能に特化したエージェントと比較すれば、あらゆる能力において劣るだろう。我々は人間の心が汎用的であると信じているため、認知能力がエンジニアリングのトレードオフに従うことはないと思い込んでしまい、あらゆるモードの思考に最適化された知能を作成できると考えてしまう。けれども、そんな証拠はない。我々は、知能の空間全体を確認することができるような、十分な心のバリエーションを生み出してすらいない。 (そして、これまでのところ、我々は、動物の心もある次元においてさまざまな振幅を備えた特異なタイプの知能であるとは認めてこなかった傾向があるようだ)


3.
最大限の汎用目的思考という信念は、部分的には、万能計算 (ユニバーサル・コンピューテーション) の概念から生じているものである。1950年代にチャーチ=チューリングのテーゼとして示されたこの仮定は、ある閾値に達した全ての計算は同等であることを述べている。ゆえに、全ての計算に対して普遍的な中心的要素が存在し、その計算は、高速な部品を持つ機械の中で実行されるものでも、低速な部品であっても、あるいは生物的な脳内で発生するものであれ、まったく同一の論理的なプロセスなのである。つまりは、いかなる計算プロセス (思考) であっても、「万能」計算を実行できる機械上でエミュレートできるはずだということを意味する。シンギュラリタリアンは、この原則に依拠して、人間の心を持つシリコン製の脳をエンジニアリングできるだろうと期待している。また、この人工脳は人間と同じように思考でき、人間よりも賢くなると信じられている。この望みは懐疑的に捉えなければならないだろう。なぜならば、これはチャーチ=チューリングのテーゼの誤解に基づいているからだ。

この理論は以下のように始まる。「無限長のテープ(メモリ)と時間が与えられれば、全ての計算は同等である」 問題は、現実にはいかなるコンピュータも無限のメモリや時間を備えていないということである。現実世界におけるオペレーションでは、現実の時間が巨大な違いをもたらし、時として生と死を分かつ違いになりうる。確かに、全ての思考は同等である。もしも時間を無視するならば。確かに、人間タイプの思考はどんな基盤の上でもエミュレート可能である。ただし、時間や実世界におけるストレージやメモリの制約を無視すればである。けれども、時間を考慮に入れるならば、この原理は全く違った形で言い換える必要があるだろう。「まったく異なるプラットフォーム上で動作する2つのコンピュータシステムは、現実の時間においては同等ではない」あるいは、こうも言い換えられる。「同等の思考モードを実現する唯一の方法は、それらを同等の物質の上で動作させることである」計算を実行する物理的実体は、 -- 特に、計算が複雑になるにつれて --リアルタイムで実現可能な認知能力の種類に対して、大きな影響を与えるのだ。

この考え方を更に拡張して、人間にとてもよく似た思考プロセスを実現する唯一の方法は、極めて人間に似たウェットな組織上で計算を実行させることではないかと主張したい。また、裏を返せば、ドライなシリコン上で動作する、非常に巨大で複雑な人工知能は、巨大で複雑な、人間と似つかない心を生み出すだろうということを意味する。もしも、人間と似た形で成長するニューロンを使用する、人工のウェットな脳を製造できるとしたら、私の予想では、かなり我々に似た思考を生み出せるかもしれない。そのようなウェット脳の利点は、基盤をどれほど人間に似せて作れるかに比例するだろう。ウェットウェアを創るコストは莫大であり、ウェットウェアが人間の脳組織に近づいていくにつれて、そのコスト効率は人間を生み出す場合に近づいていく。しかし、結局のところ、人間を作ることは我々が9ヶ月間でできるではないか。*1

更には、上述の通り、我々は身体全体で考えているのであり、脳だけで考えているのではない。身体内の神経系も「理性的な」意思決定プロセス、予測や学習に影響を与えていると示す豊富なデータがある。人間の身体全体をモデル化すればするほど、それは人間の複製に近付いていくだろう。まったく異なる身体 (ウェットな炭素ではなくドライなシリコン) の中にある知能は、異なった形で考えるだろう。

これはバグではなく、特長なのだ。論点の2で議論した通り、人間とは異なる形で考えることがAIの主要な資産なのである。また、これが、AIを「人間よりも賢い」と呼ぶことがミスリーディングである理由でもある。


4.
超人的知能という概念の核心には、--特に、この知能が自己改善を続けていくという考え-- 知能は限り無いスケールを持ちうるという本質的な信念が存在している。私はこの根拠を見つけられなかった。ここでもまた、単一次元の知能量という誤った考えが、知能が無限だという信念を助長している。けれども、我々はこれが信念であると理解しなければならない。宇宙に存在するいかなる物理量も無限ではない。これまでに知られている科学的知識の範囲においては。温度は有限である。--低温にも高温にも限界がある。空間も時間も有限である。有限の速度。おそらく、数学的な数列だけは無限であるかもしれないが、それ以外の物理的属性は全て有限である。理性そのものも無限ではなく、有限であると考えるのは理にかなっている。問題は、限界はどこに存在するのだろうか? ということだ。我々は知能の限界が我々を超えたところに位置すると信じる傾向にある。我々の「上に」、ちょうど人間が蟻の「上に」位置するように。ここでも繰り返される知能が単一次元であるという誤りは脇に置くとしても、我々が限界ではないという根拠はあるのだろうか? あるいは、その限界は我々からそう遠くないところに位置するかもしれないのでは? どうして、知能は無限に拡張が続けられるものだと信じるのだろうか?

これより妥当な捉え方は、我々の知能を、100万タイプもある可能な知能の中の1つと見なす考え方だろう。つまり、それぞれの認知の次元と処理能力には限界があるものの、もしも次元数が数百種類も存在するならば、その組み合わせにより無数の種類の心が存在しうる。 -- ただし、どの次元も無限ではない。数え切れないほどの多彩な心を我々が作り、あるいは遭遇するにつれて、ごく自然にそのうちのいくつかは我々を超えていると認められるだろう。私の近著、『The Inevitable』 (〈インターネット〉の次に来るもの)では、そのような人間を超えた部分を持つ、多くの種類の心を描き出してみせた。

これら個々のエンティティを、超人的AIと呼ぼうとする人もいるだろう。しかし、これらの心のまったくの多様性と異質性は、我々に新しい語彙をもたらし、また知能と賢さに対する新しい洞察をもたらすだろう。

第二に、超人的AIの信者は、知能が (何かしら未定義の指標によって) 指数関数的に増加していくと仮定しているようである。おそらく、知能は既に指数関数的に増加していると仮定しているからではないかと思う。けれども、これまでのところ、知能が -- どんな方法で測定するにせよ -- 指数関数的に増加しているという根拠は無い。指数関数的な拡大とは、人工知能の能力が一定期間ごとに倍々になることを意味する。根拠はあるのだろうか? 私は何も見つけられない。もし現在そうでないのならば、なぜすぐにそうなると考えるのだろうか?指数関数的成長を遂げているものは、ただAIに対するインプットだけである。つまり、賢さや知能を生み出すために費されるリソースだ。しかし、そのアウトプットである性能は、ムーアの法則による成長には沿っていない。AIの賢さは、3年ごとに、あるいは10年ごとにさえ倍増していない。

私は多くのAIの専門家に、人工知能の能力が指数関数的な成長に沿っているのか質問した。けれども、その全員が言うには、知能を測定する指標はなく、それを棚に上げるとしても指数関数的には進んでいないのだそうだ。指数関数のウィザード、レイ・カーツワイルに、AIの成長が指数関数的であるという根拠はあるのかと私が聞いたときには、彼はAIは爆発的に増加するのではなく段階的に増加するものだと返信してきた。

「計算力とアルゴリズム複雑性の両方において指数関数的な成長が起こっており、新たなレベルの階層を付け加えている…それゆえ、新たなレベルが線形に増加していくと期待できる。というのは、新たな層を加えるためには、指数関数的な複雑性の増加が必要であるからだ。そして、我々はその能力において実際に指数関数的に進歩している。大脳新皮質の能力と比較すれば、我々はそう遠くない階層に位置している。だから、私の2029年という予測は、妥当性を失なっていないと考える。」

ここでレイが言っていることは、人工知能の能力は指数関数的に爆発しておらず、人工知能を生み出すための労力は指数関数的に爆発しているものの、アウトプットは段階的にしか増加していない、というふうに聞こえる。これは、知能が爆発しているという仮定とはほとんど正反対である。近い将来において状況が変わるかもしれないが、しかし現在、人工知能は明らかに指数関数的に増大してはいない。

それゆえ、「知能爆発」について考える際には、連鎖的な爆発ではなく、散発的な新しいバリエーションの分離として想像するべきだろう。核爆発ではなく、カンブリア爆発である。加速するテクノロジーの結果は、超人類[super-human]ではなく、追加の人類[extra-human]となるだろう。我々の経験の外にあるものの、必ずしも我々の「上」ではない。


5.
AIの支配という考え方に関して、疑問視されていないにも関わらず根拠の乏しい信念は他にもある。超人的な、無限に近い知能は、多くの未解決問題を即座に解決してしまうという信念だ。

知能爆発説の提唱者たちの多数は、知能爆発が進歩の爆発をもたらすと期待しているようだ。私はこの神秘主義的な信念を「思考主義」と呼んでいる。未来の進歩を妨げるものはただ考える力、あるいは知能のみであるという考え方は、論理的に誤りである。(また、思考力が全てを解決する魔術的な超越的要素であるという信念は、思考を好む人々が抱きがちであると指摘しておこう。)

癌を治す、あるいは寿命を伸ばすことを考えよう。これらは考えるだけで解決できる問題ではない。どれほど思考主義に頼ったとしても、どのように細胞が老化するのか、あるいはテロメアが脱落するのか知ることはできない。いかなる知能であれ、どれほど優れた知能であっても、今日世界中で出版されている全ての科学文献を読んで理解するだけでは、人間の身体がどのように機能しているか解明することはできない。どれほど優れた人工知能でも、過去と現在の核分裂実験について熟考するだけでは、1日のうちに核融合を実用化することはできない。ものごとのしくみが分からない状況から始めて、それを理解した状態に至るまでには、単なる思考以上のものが必要とされる。正しい作業仮説を打ち立てるまでには、実世界での大量の実験、そこから生み出される何トンという相矛盾したデータが必要であり、そして相矛盾したデータによって更なる実験が必要とされる。予測したデータについて考えても、正しいデータは得られない。

思考(知能)は、科学の一部にすぎない。もしかしたら、ごく小さい部分であるにすぎない。一例を挙げれば、我々は死の問題の解決に近づくことができるほどの適切なデータを十分には持っていない。生体組織を扱う場合、このような実験にはたいていカレンダー単位の時間を要する。細胞の低速な代謝は速めることができない。結果を得るためには、何年も、何か月も、少なくとも何日かは必要となる。素粒子に何が起きるのかを知りたければ、単に思考するのみでは不可能である。発見のためには、非常に大きな、非常に複雑な、非常に手の込んだ実験設備を建設しなければならない。最も優秀な物理学者が今の1000倍賢くなったとしても、コライダー(衝突型加速器)がなければ何も新しい発見はできない。

超人的AIができたとすれば、それが科学のプロセスを加速することに疑いはない。原子や細胞のコンピュータシミュレーションは実行できるし、シミュレーションはいろいろな手法を使って高速化できる。しかし、高速の進歩を成し遂げることにおいては、シミュレーションの有用性は2つの問題によって制限されている。まず、シミュレーションとモデルが実験対象よりも高速であるのは、何らかの要素を無視している場合に限られることが挙げられる。これはモデルやシミュレーションの本質的な性質である。また、モデルの実験、検証、証明には、実験対象の変化速度に合わせてやはりカレンダー単位の時間を要することも指摘しておきたい。

これらのシンプルなシミュレーションも有用であり、成功の見込みが高い方針を選び出すために役に立つ。それゆえ、進歩を加速させることができるだろう。しかし、実際のところはうまい話はない。現実のあらゆる要素が何らかの差異をもらすのだ。これは「現実」の一つの定義である。モデルとシミュレーションが詳細化されるにつれて、それらはある限界を迎えることになる。すなわち、「現実」の100パーセント完璧なシミュレーションを、現実よりも高速に動作させることはできないという限界だ。これは、「現実」の別の定義である。すなわち、ありうる全ての詳細度と自由度のうちで、最も高速なバージョンである。たとえ仮に、人間の身体のあらゆる細胞、細胞の中のあらゆる分子をモデル化できたとしても、このシミュレーションはせいぜい実際の人間の身体と同程度の速度でしか動作しないだろう。どれほど思考したとしても、なお実験の実施には時間を要する。現実のシステムであれ、シミュレーションのシステムであれ、それは変わらない。

人工知能が有用であるためには、現実世界に構築されなければならない。そして、たいていの場合、その世界がイノベーション律速する。実験を実施し、プロトタイプを構築し、失敗を重ねて、現実に立脚していなければ、知能が思考しても結果を得ることはできない。「人間よりも賢い」AIが出現したとしても、分、時間、日、年の単位で、ただちに発見があるわけではない。AIが進歩するにつれて、発見の速度は大幅に加速するだろうことは確かである。エイリアン的なAIが、人間には思いもよらないような疑問を発するかもしれない。とは言え、(我々と比較して) 非常に強力な知能が存在したとしても、即時の進歩を意味するわけではない。問題解決には、知能以上のものが必要とされるのだ。

知能のみでは解決できない問題は、癌や寿命に限らない。知能自体もそうだろう。シンギュラリティ論者たちに共通した性質として、ひとたび「人間よりも賢い」AIが作られると、AIは一生懸命に思考し「自分自身より賢い」AIを発明する、と想像する傾向がある。そのAIは、更に一生懸命思考してもっともっと賢いAIを作り、能力が爆発的に増大し、ほとんど神のごとき存在と化すまでそれが続くのだとされている。単に知能について思考するだけで、新たなレベルの知能が創造できるという根拠はない。この種の思考主義もただの信念にすぎない。新しい種類の実用的な心を創り出すためには、膨大な量の知能に加えて、心理学の実験、データ、試行錯誤、奇妙な質疑など、単なる賢さを超えたあらゆる種類の作業が必要だと示す証拠がある。

結論として、私の主張は誤りであるかもしれないと言っておこう。人工知能の研究は未だ黎明期にある。知能の普遍的な測定方法が発見されるかもしれない。知能はあらゆる方向に無限であることが分かるかもしれない。知能が何なのか(ましてや意識が何であるか)について我々が知っていることはあまりにも少ないため、何らかの形でAIシンギュラリティが発生する可能性は、ゼロよりは大きい。私が考えるところでは、あらゆる根拠がシンギュラリティのシナリオはほとんどありえないと示していると思うものの、しかしゼロ以上ではある。

であるため、その可能性については同意しないが、OpenAIの広範な目標や、超人的AIを憂慮する知的な人々の活動には賛同する。--つまり、我々は友好的なAIをエンジニアリングする必要があり、我々の価値観に即した自己複製的な価値をAIに実装する方法を発見しなければならない。けれども、私が思うに、超人的AIが人類の存続に対する脅威となる可能性はごく低い(そして、考慮に値するものですらない)。その可能性の低さ (これまでに得られている根拠に基づいたもの) を考慮すると、シンギュラリティの可能性は、科学、政策、技術開発の指針とするべきではないと思う。地球に対する小惑星の衝突は、破滅的な被害をもたらしうるだろう。その可能性はゼロより大きい (それゆえ、B612ファウンデーション*2を支援するべきである) ものの、小惑星衝突の可能性を、たとえば、気候変動、宇宙旅行、あるいは都市計画などについての我々の努力に対して、考慮に入れるべきではない。*3

同様に、今得られる根拠に基づけば、AIが超人的存在になることはほぼないだろう。何百種類もの新種の思考が生まれ、そのほとんどは人間とは異なるものとなる。それらは汎用的なものではないし、また、一瞬にして大きな問題を解決してしまう即席の神となるわけでもない。実際には、非常にたくさんの有限の知能が表れ、未知の次元で動作することになるだろう。それらは多くの点で我々の思考を超えているかもしれないが、我々と協働しながら時間を掛けて問題を解決し、また新たな問題を創り出していくのである。


超人的AIの神という概念の美しい魅力は、私にも理解できる。それは新しいスーパーマンに似ている。けれども、それはスーパーマンと同じように、神話的な存在である。この宇宙のどこかにスーパーマンが居るかもしれないが、彼が実在する見込みはとても低い。けれども、神話は役に立つこともあるし、ひとたび考案されると消えることはない。スーパーマンの概念は決して死ぬことはない。同様に、超人的AIのシンギュラリティという概念も、既に誕生してしまったため、決して消滅することはないだろう。けれども、現状ではそれは宗教的な考えであり、科学的なものではないということは認識しなければならない。もしも、知能 (人工であれ天然であれ) について現在までに知られている根拠を精査するならば、超人的AIの神に関する我々の空想(スペキュレーション)は、次のように呼ばなければならない。すなわち、神話であると。

ミクロネシアの孤立した島々においては、外部世界との最初の接触は第二次大戦中のことであった。見知らぬ神々が騒音を立てる鳥に乗って大空を飛行し、食料と物資を彼らの島々に落とし、そして二度と戻ることはなかった。もう一度神々が戻り、もっと貨物(カーゴ)を落としてくれるようにと祈る宗教的カルトが島々に広まっていった*4。今日でさえ、50年以上も経っても、未だ多くの人がカーゴの帰りを待っている*5。超人的AIも、新たな種類のカーゴカルトであると判明するだろうと思う。今から1世紀後の人々が今の時代を振り返って見たとき、現代は新たな信仰が始まった時期とみなされるかもしれない。つまり、シンギュラリティ教徒たちが、今にも超人的AIが到来することを切望し、想像を超えた価値ある物資を授けてくれるようにと祈り出した時代だ。何十年以上もの間、信者たちは超人的AIの降臨を待っている。必ずや、すぐにでも超人的AIがカーゴを携えて到来すると信じて。

けれども、超人的ではない人工知能は既に、ここに、実際に存在している。我々はそれを再定義し、難易度を増加させるだろうが、それは未来に閉じ込められている。けれども、より広い意味でのエイリアン的知能 -- さまざまな種類の連続的スペクトラム上の賢さ、知能、認知、推論、学習や意識など -- という意味においては、AIは既にこの惑星の上に広まっている。そして、今後も拡大し、深化し、多様化し、増加していくだろう。過去のどんな発明も、世界を変える力においてAIに敵うものはあるまい。1世紀後には、AIが我々の生活全てに影響を及ぼし、作り替えていくはずだ。それでも、超人的AIの神話、我々にすさまじい繁栄もたらすか、我々にすさまじい隷属をもたらす(あるいはその両方)という想像は、これからも生き延び続けるだろう。その可能性は、あまりに神秘的すぎるために決して消え去ることはない。

〈インターネット〉の次に来るもの 未来を決める12の法則

〈インターネット〉の次に来るもの 未来を決める12の法則

*1:訳注:言うまでもないと思うけど妊娠と出産を表す。

*2:訳注:地球近くに位置する小惑星を監視する科学プロジェクト

*3:訳注: この種の信憑性すら疑われるレベルのありえそうにない事象に対して確率と期待値計算を適用した場合、パラドックスめいた状況に陥ることについては、私も「パスカルの賭けの誤謬」として指摘した。

*4:訳注:カーゴ・カルト - Wikipedia

*5:訳注: このように書かれているが、現代においては儀式的に保存されているもの以外、生きた信仰としてのカーゴカルトは残っていないようである。

レイ・カーツワイル氏の2029年予測

こちらは、フューチャリストレイ・カーツワイル氏が、1999年 (邦訳は2001年) の著書『スピリチュアルマシーン』の中で発表した、30年後 (2029年) の将来予測です。

こちらの予測はまだ10年も先のことであるため、評価は行わず、引用に留めておきます。2017年のインタビュー記事によれば、「わたしの予測は数十年前から変わっていない」そうですので、この予測もまだ有効なのでしょう。

けれども、彼の2009年、2019年の予測とその評価を見た上で、これらの予測をどれだけ信じられるでしょうか?

 

 

コンピュータ

1000ドル (1999年のドル価) 単位のコンピュータは、人間1000人に相当する脳の計算能力 (2000万×10億回の1000倍━つまり毎秒10の19乗×2回━の計算能力) をもっている。

コンピュータとすべての人間の脳を合わせた計算能力のうち、99パーセント以上が人間以外の能力である。

(...)

 

コンピュータによる計算の大部分が、大規模に並列的なニューラルネットに使われており、しかもその多くが人間の脳の逆工学をもとにしている。

 

脳の専門的な領域の多く━大部分ではないが━が解読され、大規模に並列的なアルゴリズムも解明されている。解読された専門的領域の数は数百にのぼり、これは20年前に予測された数より多い。うまく逆工学されたこれら領域の構造が、そのままコンピュータ・ニューラルネットに使われている。人間のものに比べると、コンピュータによるニューラルネットは、計算速度が速い、記憶容量が多いなど、いくつかの点で優れている。

 

ディスプレイは目に移植されている。永久移植か、取り外し可能な移植 (コンタクトレンズに似ている) かを選択できる。イメージは網膜に直接投影され、その高解像の三次元イメージが現実世界に重なる。

この移植型視覚ディスプレイはビジュアル・イメージをキャプチャーするカメラとしても動作するので、入力デバイス、出力デバイスのどちらとしても機能する。

 

もともと聴覚障害の改善策として行なわれていた蝸牛殻移植が、いまや広く普及している。この移植により、人間とワールドワイド・コンピュータ・ネットワークとの間で双方向的な音声通信ができるようになる。

 

人間の脳に高帯域幅で接続する「ダイレクト・ニューラル・パスウェイ」が完成した。これを使えば、いくつかの神経領域 (たとえば、視覚パターン認識や長期記憶の領域) をバイパスし、移植神経内あるいは外部において行なわれるコンピューティングで、この領域の機能を強化したり置き換えたりすることができる。

 

視覚、聴覚、記憶、理性などを強化する、さまざまな神経移植が可能になりつつある。

 

三次元ホログラフィック・ディスプレイがいたるところにある。

 

ナノ・エンジニアリングによるマイクロ・ロボットは、人間の脳と同等の速度と能力をもつコンピュータを搭載している。これらは産業用に広く利用されており、さらに医療でも利用されるようになってきている (「健康と医療」の項を参照)。

教育

人間の学習はおもに仮想教師によって行なわれ、広く普及した神経移植によって強化されつつある。神経移植は記憶力と感覚を改善するが、知識を直接ダウンロードすることはまだできない。学習は、仮想体験、知的双方向教育、神経移植によって高められるものの、依然として、時間をかけて得られた人間の経験と知識を必要としている。

 

仮想教師は人間から情報や知識を与えられなくても、みずから学習する。コンピュータは人間と機械がつくり出した文献やマルチメディアの史料━すなわち、書籍、音楽・美術作品、仮想体験の作品━をすべて読み込んでいる。

 

意味のある新しい知識が、人間がほとんど介入していない機械によってつくりだされている。人間とちがい、機械は簡単に知識構造を共有できる。

障害者

全盲の人用の高性能な視覚ナビゲーション装置、聾唖者のための音声文字化ディスプレイ装置、身体障害者のための神経刺激装置や知的義肢、そしてさまざまな神経移植技術の普及━こうしたことにより、いまや障害に伴うハンディキャップはかなり解消されている。感覚強化装置は、実際にほとんどの人が使用している。

通信 (コミュニケーション)

三次元視覚環境に加え、視覚通信のための三次元ホログラフィ技術もかなり改善されてきた。さらに三次元空間に正確に音を流すソニック通信もある。これらにより、仮想現実同様、いまや「現実の」空間で見聞きできるものの大半に実体がない。

 

たとえば、物理的に近くにいなくても、家族でそろって居間でくつろぐことができる。

 

さらに、直接神経結合を使用した通信が広く利用されている。これを使うと、10年前は「トータルタッチ・エンクロージャー」なるものに入らなければ得られなかった全身を包み込む触覚通信が可能だ。

 

通信の大半に人間は関与しない。人間がかかわるのは、人間と機械との間だけである。

ビジネスと経済

人口は、およそ120億人のままで横這状態になっている。大多数の人間が、衣・食・住そして安全という生活の基本を手に入れている。

 

人間の知能も非人間の知能も、基本的に、さまざまな種類の知識の創造に向けられている。知的所有権をめぐる争いも目立っており、訴訟の数はとどまるところを知らない。

 

製造業、農業、運送業においては、人間の雇用はほとんどない。最大の雇用機会は教育関係で、医者よりも法律家の方がはるかに多い。

政治と社会

コンピュータは、人間および非人間の権威にかけても妥当とみなされたチューリングテストにつぎつぎとパスしている。しかし、これに関しては議論が絶えない。人間にはできるが機械にはできないものを例示することは難しい。人間の能力は個人個人で異なるが、コンピュータはつねに最適なレベルで機能し、さらに技能や知識をコンピュータどうしで簡単に共有することができる。

 

人間の世界と機械の世界の明確な境界線は、もはや存在しない。人間的認識は機械に移植されつつあり、多くの機械が、人間の知能の逆工学から引き出された個性、技能、そして知識ベースをもつ。それとは反対に、機械知能を基盤にした神経移植により、人間の知能や認識機能も向上している。人間とは何か、という定義が重要な法的・政治的問題として浮上してきている。

 

急速に成長する機械の能力について議論を呼んでいる。しかしそれを食い止める効果的な抵抗策はない。もともと機械の知能は人間の管理において従属するよう設計されたから、これまでのところ、人間を脅すような「顔」を見せてはいない。人間は、機械の知能に依存している人間と機械の共存文明を、機械の知能から切り離せないことを理解している。

 

機械の法的権利、それもとくに人間から独立している機械 (人間の脳に組み込まれていない機械) の法的権利についての議論が高まりつつある。機械は法律によってまだ認められていないが、あらゆるレベルの意思決定において大きな影響力をもっているため、保護されている。

アート

音楽、美術、文字、仮想体験などあらゆる分野のサイバネティック・アーティストが、もはや人間や人間組織との連携を必要としない。著名な芸術家の多くは機械である。

健康と医療

遺伝コードにより制御されている情報処理プロセスが完全に理解された結果、老化の解明と改善が進んでいる。人間の平均寿命は延びつづけ、現在は120歳前後である。寿命が大きく延びたことによる精神的な問題に、いま大きな注意が払われている。

 

寿命をさらに延ばすには、脳の一部を含め、バイオニック器官 (機能強化のための電子的器官) をさらに使用する必要があることがわかってきている。

 

ナノボットがいわゆる偵察要員として利用されている。限界はあるものの、血流内の修復機として、あるいはバイオニック器官の要素としても利用されている。

哲学

コンピュータは、明らかに有効なチューリングテストにパスしているが、機械の知能があらゆる点で人間の知能に匹敵しているかどうかに関しては、いまも議論がつづいている。

 

多くの点で機械の知能が人間の知能よりはるかに優れていることは明らかだが、政治的影響を考慮し、機械の知能はその優位性をことさら強調しない。人間の知能から生まれつづける機械知能。そしてその機械知能によってますます強化される人間の知能。人間の知能と機械の知能の境界線はあいまいになりつつある。

 

機械知能の主観的経験は、「機械」がこの問題に加わっていることから見ても、徐々に受け入れられている。

 

機械は、その創始者である人間と同じように、意識があり、さまざまな種類の情動的、精神的体験をしていると主張する。そしてこの主張は広く受け入れられている。