シンギュラリティ教徒への論駁の書

“Anyone who believes that exponential growth can go on forever in a finite world is either a madman or an economist.” - Kenneth Boulding

翻訳:シンギュラリティは近くない:「シンギュラリタリアン」の知的欺瞞

以下は、ジャーナリストのCorey Pein氏による記事 "The singularity is not near: The intellectual fraud of the “Singularitarians” " の翻訳です。

シンギュラリティは近くない:「シンギュラリタリアン」の知的欺瞞

70年以上前、クリスチャンのアナーキスト哲学者であったジャック・エリュールは、テクノロジーは現代国家の真の公認宗教であると断定した。優れた男であり、ホロコーストからの避難民を保護したフランス地下レジスタンス運動のリーダーであったエリュールは、科学者とエンジニアによって可能となったグローバルなカタストロフィを生き延びた。それゆえに、これら同じテクニシャンたちが、これら偽司祭たちが今世紀を統べるだろうと気づいたのである。そして、エリュールは科学者とエンジニアをこのように嫌っていた。「とりわけ不安なのは、彼らが得た莫大な力と、彼らの批判的な能力のギャップである。それはまったく無いと見積もらねばなるまい。」

もしも、エリュールの言う通り、テクノロジーが国家の公認宗教であるならば、シンギュラリタリアニズムはその最も過激で狂信的な宗派に違いあるまい。シンギュラリティは、ガジェット崇拝の戦後世界の教会のオプス・デイである。レイ・カーツワイルは、この教団で最も名の知られた預言者かもしれないが、しかし彼は最初の人間ではない。シンギュラリタリアニズムの真の教父は、ウィスコンシン州出身のSF作家であり元数学教授であるヴァーナー・ヴィンジである。彼が最初にこのアイデアについて書いた解説はOMNI誌の1983年1月号に掲載された。この風変わりな「科学」雑誌は、キャシー・キートンによって創設されたものである。ニューヨークタイムズの死亡記事によれば、彼女はかつてヨーロッパ随一の高給ストリッパーであった。しかし、よく知られているのは、癌の代替医療の宣伝と、夫のボブ・グッチョーネと共に創刊したPenthouse誌のほうだろう。このご大層な記事は、「海猿、猿人や生きている恐竜」に関するの記事の間に掲載されたものだが、そこでヴィンジは、迫り来る「技術的特異点」の到来を予測していた。コンピュータの知能が、創造者である人間にも理解できないほどに上回る時である。ヴィンジの主張によれば、技術的発展の目覚しい指数関数的曲線は、減速を始めているのではなく、その逆に、あらゆる想像を超えた加速が開始されるところであるのだという。「我々はすぐに我々自身の知能よりも優れた知能を作り出すだろう」とヴィンジは書いた。のちの論者とは異なり、必ずしもヴィンジはシンギュラリティが人類にとってのポジティブな発展となるとは捉えていなかったようだ。「物理的な絶滅は最悪の可能性ではないかもしれない」と彼は記した。「我々が動物を扱うような、異なる方法を考えてみてほしい」つまりは、新しいロボットの大君主オーバーロードは、人間を奴隷、家畜、良くてペットとしてしまうかもしれないというのだ。

多くのクリエイティブな人々と同じく、ヴィンジはビジネスの才能を欠いていたため、自身のアイデアのマーケット上の潜在能力を十分に生かすことができなかった。その仕事はレイ・カーツワイルへと引き継がれた。有能なブランドビルダーであるカーツワイルは、ヴィンジの渋面をひっくり返し、シンギュラリティを巨大な宇宙規模のパーティとして作り替え、巨大な商業的成功へと導いた。科学者でありライターであるダグラス・ホフスタッターは、カーツワイルをあざけり、「狂ったアイデアと…堅牢なアイデアの奇妙な混合物」と評した。にもかかわらず、それは勝利の方程式だったのだ。2011年には、Time誌はカーツワイルを「世界で最も影響力のある100人」に選出し、シンギュラリティ教を雑誌のカバーストーリーに飾ったのである。Time誌が宣言したところによると、これは「途方もない」話のように見えるかもしれないが、「超知能の不死サイボーグ」の見通しは、「冷静で慎重な評価」に値するのだそうだ。

サイエンス・フィクションのように聞こえるかもしれないが、それは違う。天気予報がサイエンス・フィクションではないのと同じである。それは非主流派のアイデアでもない。地球上の生命の未来に関する真剣な仮説なのだ。

これはバカげている。科学は懐疑より始まる。他の全ては売り物である。そしてカーツワイルは、科学者というよりは商売人である。彼が書くものと話すものの中では、聞き飽きた同じキャッチフレーズと逸話が何度も何度も繰り返されている。彼の主張すべては、2つのマジックワードにかかっている。ムーアの法則、毎年、コンピュータの処理能力が指数関数的に成長していくという経験則である。この法則は、インテルの共同創業者ゴードン・ムーアによって提唱された(後に彼の名にちなんで名付けられた)ものであるが、インテルマイクロチップに対するある種の宣伝としての意味も持っている。また、ムーアの法則は、カーツワイル独自の「収穫加速の法則」をインスパイアした。これはすべてのテクノロジーイノベーションは、時が経つにつれて、指数関数的に加速するという彼の信念を要約したものである。数十年以内に、カーツワイルの予想によれば、留まることのないガジェットの進化がシンギュラリティをもたらし、次のようなことが実現するのだという。すなわち、無限のエネルギー、超人的AI、文字通りの不死、死者の復活、そして、「宇宙の覚醒」、言うなれば、すべての物質とエネルギーが目覚めるのである。

カーツワイルは科学者とは言えないかもしれないが、しかし面白い教祖グルではある。彼の「信じれば望みは叶う」的アプローチは、とても楽しく見える。それを生死が絡む問題に対するハッタリをかますのに使わなければであるが。更に悪いことに、権力を持つ人々が彼の主張を真面目に受け止めている。なんとなれば、カーツワイルは彼らが聞きたいと望むことを延々と語り、行き過ぎた消費資本主義を熱心に防御してくれるからである。ピーター・ティールのような技術ユートピア主義者と同様、未来の「新しいパラダイム」は企業の利害によって支配されるべきである、とカーツワイルはずっと主張してきた。このような見解が、長年企業幹部とセールスマンを勤めた人物から発せられるのは何ら驚きではない。化石燃料がこの惑星を破壊するのか? 心配はいらない、カーツワイルは宣言する。我々はすぐに常温核融合の問題を解決し、ナノボットが—いつもナノボットを!— 破壊された環境を修復するだろう。アメリカ人の幸福と展望が悪化したことで、カーツワイルの楽観的な夢想はこれまで以上に売れていった。著者の主張によると、ものごとは良くなっており、すぐにもっと驚くべきことが起こるのだという。

あらゆる想像しうる問題に対して計画があり、それは常に同じ計画である: 未来の誰かが何かを発明して、問題を解決してくれる。カーツワイルは、アメリカ人が常に待ち望んでいた真の信仰をもたらしたのだ。そしてそれは、ビジネスフレンドリーな千年王国運動ミレナリアンの、バカげたまでの楽観的形式であることが判明した。これは、ジャック・エリュールの言う技術信仰の戯画であると見なせるだろう。

このトリックは、今後数十年間生き延びるだろう。原子サイズの医療用ナノロボットや人間の意識のデジタルなバックアップが発明されるまで。「我々は、永遠の生命を得られるまで長く生きていられる手段を手にしています。」カーツワイルは書いている。「けれども、ほとんどのベビーブーマーはそれに間に合わないでしょう。」これによって、更なるいかがわしい強迫観念が生み出された。- 寿命延長である。急速に老化が進む同世代を支援し、Googleクラウドサーバへ記憶や人格のアップロードが可能となる技術的な転換点 - 彼の予測では2045年頃 - が訪れるまで生存できるように、カーツワイルは食事、運動と未承認の寿命延長サプリメントを売り込んでいる。もしも、死神から逃れることに失敗した場合は、後世での復活のために自身の身体や脳を冷凍保存しておくことができる。これはクライオニクスとして知られるプロセスであり、カーツワイルが最後の望みを託す手段である。

病気と死に対するカーツワイルの病的な強迫観念は、テクノロジーの装いをまとった代替医療の深淵へと彼を導いた。その習慣は多くのシンギュラリタリアンが従っている。カーツワイルは、35歳のときに糖尿病と診断された。インシュリン治療に不満を抱き、彼はより優れた方法の発見を目指したのだ。その結果生まれたのが、奇妙な、絶え間なく変化するハーブ薬品のメニュー、加えて1日数百の栄養サプリメントとカスタム・フィットネスの健康法である。詳細は、カーツワイルと彼の主治医であるテリー・グロスマンが共著した2冊の本の中で説明されている:「Fantastic Voyage: Live Long Enough to Live Forever」と「Transcend: Nine Steps to Living Well Forever」である。後者には、69ページのレシピが掲載されており、その中にはステビア、ヤムヤムで甘味を付けられたニンジンのサラダについてのレシピを含んでいる。Skeptic誌は、「Fantastic Voyage」は「根拠と常識に対する希望の勝利」であると酷評し、アドバイスの一部は実際には有害であるかもしれないと述べた。

カーツワイルとグロスマンは、自身の権威を利用して臆面もなく金儲けを行っている。規制の緩いサプリメントを、騙されやすい消費者に販売しているのだ。それには「レイとテリーの長寿プロダクト - 科学と栄養学の出会い」とラベル付けされている。著者のウェブサイトでは怪しげな処方箋が販売されている。その中には、1か月間の「スマート栄養素」の提供を約束する、86ドルの「アンチエイジング・マルチパック」が含まれている。この効果の証明として、カーツワイルは自分自身を提示している。この執筆の時点で彼は70歳であるが、彼は長い間、自分の本当の「生物学的年齢」はそれより20年若いと主張してきた。カメラのレンズはそうではないことを示している。2014年には、カーツワイルは、スポーツマンのような新しい髪形を始めた。- 長く、直毛で、以前よりも少しばかり暗い色の髪形である。突然の変化によって、彼のウェブサイトkurzweilai.net上のコメンターたちの一部は心配した。それはカツラだったのか?白髪染めの不運な失敗?あるいは、カーツワイルはついに本物の奇跡の薬を発見したのか?

***

シンギュラリタリアニズムを新しい宗教やカルトであると見なしているのは、何も私が最初の人間ではない。カーツワイル自身も、不死性に対する執着を考えれば、この比較は「理解できる」と述べている。けれども、彼はこのセクトが本質的に宗教的であるという主張は否定する。なぜならば、彼はスピリチュアルな探求の結果としてそこに至ったわけではないからだ。実際には、彼がシンギュラリタリアンとなったのは、「テクノロジー企業の設立における最適な戦術的意思決定」のための「実際的な」努力の結果である、と彼は書いた。スタートアップが道を示したのだ!

シンギュラリタリアンとなることは、カーツワイルの主張によれば、「信仰の問題なのではなく理解の問題なのである。」これは、シンギュラリタリアンとサイエントロジストが共有する常套句である。L.ロン・ハバードは、常に自身の教義を「テクノロジー」として売り込んでいた。これにより、シンギュラリタリアンとの議論は不可能となる。彼らは、自身の信念に科学的に到達したと確信しているために、彼らのバカげた結論に異議を唱える者は非合理的でなければならないのだ。この宗派が、ビジネス、政治、軍事の問題に対して権力を持つ人々の耳に届いていなければ、その教祖は滑稽に見えるかもしれない。けれども、彼らは本気であり、それゆえに危険である。

翻訳:「人工知能」の種の起源 (ロドニー・ブルックス)

この記事は、ロドニー・ブルックス氏が自身のブログで発表した記事、[FoR&AI] The Origins of “Artificial Intelligence” – Rodney Brooks の翻訳です。

人工知能」の起源

過去はプロローグである[原注1]

私はこの言葉に2通りの意味を込めている。シェイクスピアが戯曲テンペストでアントニオに言わせたこの台詞に対する、2通りの解釈と同じである。

1つの解釈は、過去が今後進んでいく帰結をあらかじめ定めているというものだ。つまり、人工知能の研究でも、現在の場所にどうやって辿り着いたかが次に進む方向を定めるだろうと私は信じている。それゆえ、過去から学ぶことには意義があるだろう。

別の解釈では、実際のところ過去は重要ではなく、必要な仕事の大部分は目の前にあるというものである。-私はこれも正しいと信じている。人工知能の研究は始まってすらおらず、まだたくさんの仕事が目前に残されている。

創成期

一般的に認められている通り、1956年のダートマス会議へ向けた提案書[原注2]で、ジョン・マッカーシーが「人工知能」という語を作った。日付は1955年8月31日である。その執筆者は、記載された順に、ダートマス大学ジョン・マッカーシーハーバード大学マーヴィン・ミンスキーIBMナサニエルロチェスターベル研究所クロード・シャノンである。ロチェスターを除く全員がのちにMITの教員に就任した。ただし、60年代初めにミンスキーはMITを離れ、スタンフォード大学に参画している。19ページの提案書には、1枚のタイトルと6ページの導入部 (1から5a) があり、続いて4人の著者によって個別に執筆された研究提案のセクションがある。マッカーシーが最初の6ページを書いたと考えられており、その中にはロックフェラー財団から10名の研究者へ提供された予算に関する記述を含む。

タイトルページはこう書かれている。「人工知能に関するダートマス夏季研究プロジェクトへの提案」[A PROPOSAL FOR THE DARTMOUTH SUMMER RESEARCH PROJECT ON ARTIFICIAL INTELLIGENCE] 最初のパラグラフには、「知能」に言及した文章が含まれている。

本研究は、学習あるいは知能のいかなる特徴も、原理的には、機械にシミュレートさせられるほどに詳細な描写が可能であるという仮定のもとに進められる。

また、第二のパラグラフの最初の文章はこのように始まる:

以下は人工知能の問題のいくつかの側面である。

これだけだ! 人間の知能とは何であるかについての説明はなく、機械にそれが可能であるのかどうかという主張もなく (すなわち、「知的なことをする」[do intelligence])、更には、「人工知能」という用語の導入に対するファンファーレもない。(全て小文字で書かれている)

上でリンクしたファイルには、1956年3月6日の日付で4ページの補遺が加えられている。これはアレン・ニューウェルとハーバート・サイモンによって書かれたもので、当時それぞれRANDコーポレーションとカーネギー工科大学*1に所属しており (後に両者ともカーネギーメロン大学の重鎮となった)、彼らが提案した研究に対する貢献が記載されている。彼らは自分たちが従事した複雑な情報処理領域への進出について述べ、また「この活動の大部分は人工知能という表題のもとで行なわれた」と述べられている。これを見ると、「人工知能」というフレーズは、それが何であるかの形式的な定義なしで容易かつ即座に受け入れられたようだ。

マッカーシーの序文と、名前を挙げられた6名の参加者が意図した研究のアウトラインには、野心に欠けるところはないようだ。

今日のコンピュータの速度とメモリ容量は、人間の脳の高次機能の多くをシミュレートするには不十分であるかもしれない。しかし、大きな障害はマシンの能力の不足ではなく、我々が手にしたものを最大限活用するプログラムを書くための、我々の能力の不足にある。

マッカーシーが序文で概要を説明したAIのトピックの中には、コンピュータに人間の言語を使用させる方法、概念を構成できるように「ニューロンネット」を作成する方法 (1943年に考案された--今日のテクノロジーエリートたちが始めて耳にし、激しく興奮するよりも少し前である)、機械が自分自身を改善 (すなわち、学習や進化) する方法、機械がセンサを使って外界を観測し抽象化する方法、創造的にコンピュータに思考させる方法などが存在した。これらのトピックは、シャノン、ミンスキー、ロチェスターマッカーシーらの個別の研究提案によって拡張された。ニューウェルとサイモンの補遺には、機械にチェスをプレイさせる方法 (学習を通した方法を含む)、数学的な定理の証明などに加えて、人間に可能な問題を解決させるための手法などが記されていた。

野心に欠けるところがない! そして、当時世界にはほんの一握りのデジタルコンピュータしかなく、それらすべてがプログラムの動作とデータ用にせいぜい数10キロバイトのメモリしか持っておらず、長期の記憶装置としてはパンチカードや紙テープしかなかったことを思い返してほしい。

マッカーシーは、機械と「知能」について語った始めての人間ではない。そして実際、アラン・チューリングも、「人工知能」という名前こそ使わなかったものの、それ以前に知能について執筆し公表している。最もよく知られた彼の研究は、「計算する機械と知性」[Computing Machinery and Intelligence][原注3]*2であり、1950年10月に出版されている。この論文では、後に「チューリングテスト」と呼ばれるようになる「模倣ゲーム」が提案されている。それは、ある人間が1950年代版のインスタントメッセンジャーを通して会話を行ない、相手が人であるかコンピュータであるかを判断するものだ。チューリングの推定では、128MBのメモリ (彼は2進数で 10^9 桁と述べている) を持つ2000年のコンピュータは、70%の確率で人間を騙すだろうとされていた。

この論文のタイトルには「知能」という言葉が使われているものの、本文中でこの言葉はただ一箇所でしか使われていない。 (一方で、「機械」は207回出現している) また、そこで言及されているのは人間の知能であり、大人の人間を模倣できる機械の構築を目指す人間の知能について述べられたものである。けれども、彼の目的は明白である。チューリングは、西暦2000年までには人間と同様に思考できる機械を作ることが可能だと信じていた。必要となるプログラマの数の推定もある。(60人による50年間の研究というのが彼の答えであり、つまりたった3000人年である-今日の多くのソフトウェアシステムの標準と比較してごく小さな量である)

それより少し前の1948年に、「知的な機械」[Intelligent Machinery] と題した論文で、チューリングは「離散制御機械」[discrete controlling machines] の性質について概要を述べていた。ただし、この論文は1970年、著者の死後ずっと後まで公表されることはなかった[原注4]。この機械は、今日我々が「コンピュータ」と呼ぶものであり、実質的に彼は1937年に書いた論文においてデジタルコンピュータを考案していたのだ。更に彼は完全に人間を模倣する機械の作成について考察し、彼の推論によれば、人間を模倣した機械の脳部分は大きすぎるため、機械のセンサやモーターの身体部分には収容できず、遠隔操作を行う必要があるだろうと述べている。また彼は、当時のセンサやモーターシステムの性能はそれほど高くないかもしれないと指摘し、それゆえ、最初に知能の部分から手を付けることにして、最良の調査方針はゲームや暗号、その次に言語の翻訳や数学であると結論づけている。

ここでも、野心に欠けるところがない。しかし、当時の技術的な現実を認めて従っている。

AI研究が始まったとき、人間レベルの性能と人間レベルの知能がインスピレーション元であることは明らかだった。この目標が、最初の60年間、ほとんどの研究者をAI分野に集めてきたものであると思う。我々がこれらの願望の成功に近づいていないという事実は、研究者たちが真剣に働いていないわけでもなく、優秀でないということを示すわけでもない。それはとても困難な目標なのだ。

1991年に、私は人工知能の前史と初期の研究を扱った「Intelligence without Reason[原注5]という(長い)論文を書いた。27年前に、[ダートマス会議までの] 35年間をさかのぼったものだ。私の現在のブログ記事は、その詳細を説明し、新しい世代のためのアップデートを提供して、これがどれほど長期のプロジェクトであるかを理解してもらうためのものである。多くの人にとって、AIは輝かしく、エキサイティングで、新しいものと見えているようだ。それらのうちでは、エキサイティングであるということだけが正しい。

今日に向けて

AIの創成期には、センサをデジタルコンピュータに接続する方法、あるいはコンピュータに外界のアクチュエータを制御させる方法は、ごく限られたものであった。

1960年代初期の人々がコンピュータ上で画像処理アルゴリズムを動作させようと考えた場合には、フィルムで写真を撮影して印刷し、その写真をドラムに取り付け、更に、単一の光センサの横でドラムを回転させたり上下に動かしたりして、写真を光強度の配列へと変換しなければならなかった。70年代後半には、1万ドルもする重さ20~30ポンドの装置を使って、直接的にデジタル画像をカメラからコンピュータへ取り込めるようになった。80年代になるまで、ものごとはそう簡単にはならなかったが、時が経つごとに段階的に簡単かつ安価になっていった。

他のあらゆるセンサモダリティについても似たような話があり、コンピュータプログラムの出力結果を外界の物理的動作に変換する手法にも同様にあてはまる。

ゆえに、チューリングが考察した通り、初期の人工知能研究はセンシングや動作の必要性が少ない領域に向かっていった。これらの研究としては、人間とコンピュータの指し手をキーボードやプリンタを通して容易に入出力できるゲーム分野、記号代数に計算を適用する数学的演習、論理学における定理の証明、算数の文章題がタイプされた英語の文章理解などがあった。

ゲームをプレイするプログラムの作成は、すぐに「ツリー探索」というアイデアへと繋がった。この方法は、上述の初期のAI実験の分野ほとんどすべての鍵となった。そして、実際に、今日においても多くのコンピュータ科学分野における基礎的なツールである。また、ゲームのプレイは、機械学習の探索とその特別な変種である強化学習の発明へと繋がった。強化学習は、最近のAlphaGoプログラムの成功の中心に位置するものである。私は強化学習の初期の歴史について、2017年8月の記事「Machine Learning Explained」で詳細な説明を行なった。

「ブロックワールド」として知られる分野が開発されるよりずっと前から、知能の分野におけるあらゆる種類の問題が探求されていた。おそらく、コンピュータビジョンに関する最初の博士論文、MITのラリー・ロバーツによる1963年の論文では、丁寧に光を当てられた光景から、木製ブロックのすべての辺と面を再構成できることが示されている。 http://rodneybrooks.com/wp-content/uploads/2018/04/roberts.png

この研究によって、ブロックを用いる複雑な問題を扱う際に、ブロックの位置の記述や辺のみをプログラムの入力とするというアイデアの正しさが検証された。原理的には、ブロック問題の知覚に関する部分は解決しうると捉えられたのだ。そこで、シミュレーションされた知覚と行動の世界が作られ、その後数十年AIの主要な実験場となった。

ある人は、二次元のブロックと、積み上げられたブロックを掴んだり離したりできる想像上のロボットハンドを使って、問題解決の研究を行なった。

http://rodneybrooks.com/wp-content/uploads/2018/04/blocks2d.png

また別の人は、線画と影の入力のみから三次元的なブロックの配置を再構成する研究を行ない、ロバーツが実証したものよりも完璧なビジョンシステムの未来へ向けて、道を拓いた者もいる。

http://rodneybrooks.com/wp-content/uploads/2018/04/shadowblocks.png

更に別の人は、複雑な自然言語理解と、複雑な三次元的ブロックの世界におけるあらゆる種類の問題解決に取り組んだ。

http://rodneybrooks.com/wp-content/uploads/2018/04/SHRDLU.png

ブロックワールドの問題に彼らが取り組んだ理由は、これらが彼らの野心を実現するものであったからではない。実際には、利用可能なツールを使ううちで、人間レベルの知能に向けて重要な進歩を遂げることができると感じていたからである。同時に、彼らは人間レベルの知能が、一つの魔法のようなブレークスルーによってすべてが理解され、実装され、デプロイされて、すぐにでも実現されるとは考えていなかった。

時が経ち、発見した特定の下位問題へのアプローチを研究者たちがより深く深く理解するにつれて、AIの下位分野が開発される場合もある。それほど長くない間に、誰もAI研究の広がりに追いつくことができないほどに、新しい研究が生まれていった。これらの分野には、計画、問題解決、知識表現、自然言語処理、探索、ゲームプレイ、エキスパートシステムニューラルネットワーク、機械推論、統計的機械学習、ロボティクス、モバイルロボティクス、地図位置同時推定 [SLAM] *3、コンピュータビジョン、画像理解などがある。

独立グループ

しばしば、取り組むべき共通の問題を発見した研究者たちは、主流集団から離れ、独自のジャーナルとカンファレンスを創設することがある。そこでは、特定の問題の歴史と文脈を理解している人々によって、すべての論文の査読が行なわれるようになる。

私も、1980年代後半から1990年代初頭にかけて、このような独立グループの2つに関与した。両者とも今日でも続いている。人工生命、および適応行動シミュレーションである。前者は、無秩序から秩序が生じる根本的なメカニズムを研究するものであり、進化のプロセスを含む。後者は、認知、行動と計算のインタラクションから、どうすれば動物の行動を生じさせられるのかを研究するものである。両方のグループとジャーナルは、今日でも活動が続いている。

以下は、1993年から2014年までの、紙で公表された人工生命のジャーナルの完全版である。今日では、MITプレスによってオンラインで公表されている。

http://rodneybrooks.com/wp-content/uploads/2018/04/ALIFE.jpg

他にも人工生命のジャーナルがある。また1989年以来、国際会議も開催されている。私は1994年のカンファレンスを運営し、参加者は数百人であった。綿密に査読された56件の論文は、印刷された予稿集として公表された。その予稿集は、私がパティ・メイズと共に共同で編集したものだ。これら全ての論文は、現在オンラインで利用可能である。

また、こちらは適応行動ジャーナルの私のコレクションで、紙で発表されていた1992年から2013年までのものである。このジャーナルも、Sageによって今日ではオンラインで公表されている。

http://rodneybrooks.com/wp-content/uploads/2018/04/AB.jpg

また、常時活発に複数のメジャーカンファレンスが開催され続けている。このカンファレンスはSAB、適応行動シミュレーション [Simulation of Adaptive Behavior] と呼ばれており、論文誌と現在オンラインの予稿集がある。

人工生命カンファレンスは、今年6月に東京で、SABカンファレンスは8月にフランクフルトで開催される予定である。どちらも数百名の研究者を呼び寄せるだろう。また、上述した20巻以上のジャーナルにはそれぞれ4号程度あるため、100号に近い。また、それぞれの"号"は4から10報の論文を掲載しているため、このジャーナルには数百もの論文がある。これらの研究者コミュニティは活発に活動している。また、人工生命コミュニティは、実アプリケーションでも利用される遺伝的アルゴリズム開発を通して、エンジニアリング的なインパクトを与えている。

けれども、人工生命コミュニティも適応行動シミュレーションコミュニティも、当初のゴールを達成してはいない。

いかにして生命を持たないシステムから生命システムが生じるのか、我々は未だ理解していない。実のところ、生命が本当は何であるかの明確な定義さえないのだ。計算的な進化を通してシステムの改善を続けられるような、汎用的に利用可能な進化シミュレーションも存在しない。それは、この分野が開始された当初の目標であった。加えて、原始的なコンポーネントから完全な汎用知性が生じるようにシステムを進化させる方法も分かっていない。たとえ、極めてシンプルな生物であっても。

SAB側については、かなり長い間研究が続いてきた最も単純な生物の行動を、コンピュータ的にシミュレーションすることさえできていない。これは C.エレガンスと呼ばれる小さな線虫であり、合計959個の細胞のうち302個がニューロンである。その完全なコネクトーム (および56個のグリア細胞についても) が判明しているものの、その行動の多くを生み出すようなシミュレーションは未だ実現できていない。

私が具体的なストーリーを述べたのは、これらが比類なく特別なものだからではない。特にアカデミアで、困難な問題への研究がどんなふうに進んでいくかを理解できるようにと考えたからだ。これ以外にも、多くの、多くの (少なくとも20から30の) AIの下位グループが存在し、同じように専門化した領域に取り組んでいる。それらの下位グループは、時として栄えることもあるし、時として消滅することもある。これらすべての下位グループは個別の名前を与えられているが、どのコミュニティもサイズ、研究者の数は大きく、活発にアイデアを共有し公表している。

けれども、AI分野のすべての研究者は、究極的には、フルスケールの人間の汎用知能実現に興味を抱いている。たいていの場合、彼らの研究成果は狭く、実世界の問題に対するアプリケーションは狭いものであるように見える。けれども、いつも汎用知能は目標とされていた。

専門化した大規模な研究者グループについての話をして、このセクションを終えたいと思う。そのグループとは、コンピュータビジョンである。この分野は本当のエンジニアリング上のインパクトをもたらした。コンピュータビジョン分野では、35年以上にわたって、1年間に4回あるいはそれ以上のメジャーカンファレンスが開催されている。半ダースほどのメジャージャーナルもある。1987年には、私もコンピュータビジョンのジャーナル、International Journal of Computer Vision(IJCV) を金出武雄と共同で創設した。IJCVは126巻の350号が出版され (ただし私が編集者だったのは最初の7巻までである) 、2080件の個別の記事を掲載している。思い出してほしい。これは半ダースもあるメジャージャーナルのうちの1つでしかないのだ。コンピュータビジョンのコミュニティは、本当に大きな研究の推進力がどのように見えるか教えてくれる。何十年もの間続く、世界中の何千人もの研究者による持続的なコミュニティである。

キャッチーな名前

私が思うに、近年、報道機関と専門外の人々は、ある1つのスピンオフ分野の名前によって混乱させられているようだ。AGI、汎用人工知能 [Artificial General Intelligence] を自称する分野である。加えて、本当にやっかいな点として、まったく繋がりがない複数のスピンオフグループがそれぞれAGIを自称していることが挙げられる。けれども、私が知る限りにおいて、彼らのアプローチあるいは進歩の測定手法にはほとんど共通点がない。これは、報道機関やAIの専門外の人々を極めて混乱させており、過去には存在しなかった人間レベルの人工知能の実現に向けて、現在何かしら本当の研究が進められていると思い込まされてしまっているようだ。そのため彼らは混乱して、もしも研究者がこの新しい目標に向けて新しい研究を始めたとすれば、きっと新しく驚異的な進歩が即座にもたらされるだろうと考えてしまうのだ。この推理の間違いは、数千人の研究者がAIの問題を62年間も研究してきたという事実にある。我々は突然の変曲点に居るわけではない。

AGIのジャーナルは存在しており、ここで発見できる。2009年以来、合計で14号が公開されており、多くはたった1つの論文しか掲載されておず、ここ10年以上を合計しても47報の論文しかない。その中にはAGIについて予測した論文もあるが、ほとんどは非常に理論的で、控え目な、特殊な論理上の問題を扱った論文であるか、行動選択のためのアーキテクチャを扱ったものである。何らかの意味のある方法で知能を示すような、実装されたシステムについて述べたものは存在しない。

異なるグループの年次カンファレンスもある。2008年以来、1年あたりだいたい20程度の論文で、おおむね、1年毎に開催されている。ほとんどはオンラインの、著者自身のウェブサイト上でのものである。もう一度言えば、論文はAGIによるリスクから非常に理論的に特化した、あいまいな研究トピックまで多岐に渡っている。どれ一つとして、何らかのエンジニアリングへと近づいたものはない。

ゆえに、AGIコミュニティは存在するものの、コミュニティはごく小さいものである。報道機関が使うAGIという言葉の意味で汎用人工知能を生み出せるような、何らかのエンジニアリング上の問題にはまったく取り組んでいない。

私は報道機関によるAGIについての話で、よく言及される2つのグループについて少しばかり深く調べてみた。

一つのグループは、おそらく報道で最も頻繁に取り上げられるものであるが、東サンフランシスコベイの研究機関を自称し、数理的に人間にとって安全なAGIの実現を目指すと主張している。安全な人間レベルの知能は、まさしくほぼすべてのAI研究者の目標である。けれども、ほとんどの研究者はそのゴールは遥か遠くにあるものだと理解しているために、楽観的である。

この研究グループは、2001年から2018年までのすべての出版物とプレゼン資料をウェブサイト上で公開している。これはすばらしいことであり、アカデミアでもほとんどの研究者グループが従っている慣行だ。

2001年以来、10冊のアーカイブジャーナル論文が公開されており、カンファレンスでは29件のプレゼンテーションが行なわれている。書籍の9つの章を執筆し、加えて45件の内部報告書もある。アウトプットは合計で93件ある。-だいたい、研究大学での平均的な研究者の一集団、プラス学生によって生み出される成果として想定される件数である。けれども、93件のアウトプットのうち、36件はいつAGIが「実現」されるかという単なる予測である。それゆえ、テクニカルなアウトプットの件数は57件に減少する。それでは中身を見てみよう。すべては表現と推論に関しての非常に理論的な数理的・論理的な主張であり、実用的なアルゴリズムも実世界でのアプリケーションも含まれていない。18年間に渡って、いかなるデモンストレーション用のアプリケーションも、どこにも存在しない。

また、10冊のアーカイブジャーナル論文は、ごく一握り以上の人に読まれる機会があるものだろうか? そのいずれにも、AGIがいつ実現するかについての予測が含まれているのだ。

このグループは、報道機関とAGIを不安がる人によって、何度も何度も引用されている。けれども、もしも批判的な目を持って彼らを見るならば、彼らの研究はAGIに向けた進歩の主要な要因ではないことが分かるだろう。

AGIの出典としてよく引用される別のグループは東ヨーロッパの企業であり、10年以内に汎用人工知能を生み出すと主張している。*4この「企業」は、成功した起業家が必要な資金をつぎ込んでいるために存続できているにすぎない。再び、ウェブサイトから何が分かるかを見てみよう。

ここで、彼らは外部からの提案やアイデアを求めており、何を目標としているかを次のように要約している。

We plan to implement all these requirements into one universal algorithm that will be able to successfully learn all designed and derived abilities just by interacting with the environment and with a teacher.
我々はこれらすべての要件を一つの万能アルゴリズムへと実装することを計画している。そのアルゴリズムは、環境と教師とのやりとりのみを通して、あらゆる設計された、推論された能力を学習可能となるだろう。

えぇ、その通り。これは1948年にチューリングが提案したことと等しい。つまり、このグループは、およそ70年以上前とまったく同等の願望を抱いているのだ。そして彼らは、これが願望であるものの、今のところ実現方法について何のアイデアもないと認めている。チューリングは、1948年の時点で、少なくともいくつかの手法を提案していた。

もしもあなたがジャーナリストやAIのコメンテーターであり、AGIのムーブメントが巨大で活発で、何らかの工学的システムの現場で今まさに爆発的に発展する寸前だと考えているのならば、あなたは混乱している。本当に、本当に混乱している。

ジャーナリスト、あるいは一般の予言者の方々は、どうか、どうか自身の宿題をしてほしい。表層的な事象の裏を掘り下げ、自身の研究説明にAGIというフレーズを用いるグループが、真に人間レベルの人工知能をもたらす可能性があるのか、あるいはその目標に向かって何らかの測定可能な進捗を遂げているのか、実際に評価してほしい。極端な主張をする人、アカデミックな役職に就いておらず、勇敢な研究をし、自分が他人とはいかに異なるのかを語り、何か新しく特異なものを作るのだと主張する人、聡明な不適合者であると語る人に注目したくなるかもしれない。けれども、十中八九、彼らは何十年後も成功することはないだろう。私が関与していた人工生命や適応行動シミュレーション分野の研究者グループが、ほぼ30年以上前からの当初の目標を未だ実現できていないのと同様である。

誰かが自分はAGI、汎用人工知能を研究していると言ったとしても、それをどのように構築するか、どれほどの時間を要するか、あるいは、何らかの進歩を遂げる方法を理解していると意味するわけではない。これらの理解不足は、歴史的に普通の状態だった。確実に、1950年代から1960年代の人工知能分野の創設者たちも、汎用知能実現の鍵となる要素について研究していると考えていただろう。けれども、それは彼らが目標に近づいていたことを意味するのではない。たとえ、彼らが実現までそう遠くないと考えていたとしても。

だから、ジャーナリストは、10年後に私のところへ戻ってきて、我々が約束された汎用人工知能はどこにあるのですか、などと聞くことは、どうか、どうか止めてほしい。それはすぐには実現できないのだ。

加えて、キャッチーな名称について言えば、「ディープラーニング」を忘れないでほしい。名前の中の「ディープ」という単語によって、外部の人が多少勘違いしているのではないかと思う。どうやら、「ディープラーニングアルゴリズムが何かを学習する時に、深いレベルでものごとを理解しているという印象を与えてしまうようだ。実際のところは、「深い」という語が示すような理解はしておらず、非常に浅いものである。「ディープラーニング」における「ディープ」とは、ユニットの層、あるいはネットワークの「ニューロン」の数を意味している。

バックプロパゲーションディープラーニングの実際の学習メカニズムは1980年代に開発されたが、当時ほとんどのネットワークは2, 3層でしかなかった。最近の革命的ネットワークは、30年前と同じ構造ではあるものの、12程度の層を持っている。*5 これが「深い [deep]」という言葉が意味するものであり、つまり12層対3層である。これらの「深い」ネットワークに学習をさせるためには、より大きな計算力 (ムーアの法則が30年間以上も貢献していた)、個々のニューロンでの活性関数の巧妙な変更、クランピングとして知られる段階的なネットワークの訓練方法などが必要であった。けれども、ここに深い理解は存在しない。

なぜこのエッセイを書いたか?

なぜ私はこの記事を投稿したのか? 私は、人工知能および、人工知能研究者の目標に関する混乱を晴らしたいと考えているからだ。

1956年以来、確実に何万人年ものAI研究が行なわれてきただろう (チューリングが想像した3000人年よりもはるかに多い!)。更に多くの工数が、AIの開発とデプロイに費されている。

人工知能の実現という当初の願望から、我々は未だ遠く離れている。そこにどれほど近づいたのかすら分からない。次回のブログ記事では、フルスケールの人工的な知能を持つエンティティを構築する方法について、我々が未だ理解できていないことをすべて説明したい。

次の記事での私の意図は、次の通りである:

  1. 差し迫った超知能の出現に関する不安を止めること
  2. AIの未来に対して真に影響を与えられる研究の方向性を提示し、またそれを加速させること
  3. どれほど楽しい研究分野が残されているかを示し、誇大広告のエサとなるような人目を引くデモだけではなく、困難な問題を研究するよう人々に促すこと

最後に、アラン・チューリングの論文「計算する機械と知性」の最後の文を紹介したいと思う。68年前と同じく、これは今日でも正しい。

私たちはまだほんのすこし先までしか見通せない。 しかし私たちのやることは、まだたくさんあるのがわかる。*6


原注1: 本記事全体は、私が今書いているロボティクスとAIの未来シリーズの2つの長い記事に対する脚注として始まった。脚注にするには長すぎることは明らかだが、しかしこの記事は、いつもの長いエッセイよりはかなりいくぶん短い。

原注2: 私はAIに関する歴史的な文書や映像のハードコピーを一か所に収集し始めている。それらの資料はWeb上の人目に付かない場所にあり、個人ページや講義ページの再構成によってリンクが変更されることがあるからだ。もちろん、私もこのリンクが永遠に続くことを保証はできないが、けれども可能な限り維持しつづけようと思う。私のWebアドレスは、既にほぼ10年半ほど安定している。

原注3: このバージョンは、参照を含めて、Mind誌で公表されたオリジナルのフルバージョンである。Web上で見つかるほとんどのバージョンは、参照や図を削除してのちに組版されたものである-私は新しい版の誤植をすべてチェックできてはいないが-少なくとも1件、10^9 となるべきところが109となっていることに気づいた。そのため私はオリジナル版を追跡して、ここで共有している。

原注4: イギリス国立物理学研究所(NPL)の彼の上司であるチャールズ・ダーウィン卿、あのチャールズ・ダーウィンの孫が、チューリングが執筆したものを承認せず、それゆえ報告は公開されなかった。最終的に1970年に公開されたときには、「Machine Intelligence」と題された英国の年次シリーズの第5巻に対する「プロローグ」としてラベル付けされた。このときの編集者は、戦時中 [イギリスの暗号研究機関]ブレッチリー・パーク時代のチューリングの同僚だったバーナード・メルツァーとドナルド・ミッチーであった。彼らもまた、過去をプロローグとして使ったのだ。

原注5: この論文は、1991年に、International Joint Conference on Artificial Intelligence (IJCAI) が半年ごとに若手研究者へ贈るComputer and Thought賞を (現在コーネル大学長のマーサ・ポラックと) 共同受賞した際に書かれたものである。私自身はまだ若いと考えていたのだが、36歳は本当に"若手"であるのかという議論が起こった。その後、規則は厳格化されたので、この賞の最年長受賞者は永遠に私だということが保証された。いずれにせよ、私は旧来のAIの世界とときどき衝突を起こしていたため (私は「怒れる若者」…と呼ばれたことを覚えている)、私はこの賞を受賞に対して非常に感謝した。会議の予稿集は、一般論文にはダブルカラムで6ページのページ制限があった。賞の受賞者として、私はページ制限なしで論文を寄稿するよう招待を受けた。私はその言葉を文字通り受け取り、27ページにわたる2万5000語以上の論文を生み出したのだ!それは、私が見た進路に沿って、AI分野を学術的に解体しようとする試みであったのだ。

*1:訳注:当時の名称。1967年にカーネギーメロン大学に改称。

*2:訳注:和訳あり。Computing Machinery and Intelligence (計算する機械と知性)

*3:訳注:simultaneous localization and mapping。地図データのない未知の環境でエージェントが自律的に行動する手法を研究する

*4:訳注:おそらくチェコのGoodAI社を指していると思われる

*5:訳注:近年では1000以上の層を持つネットワークもある

*6:訳注:和訳は以下より引用。Computing Machinery and Intelligence (計算する機械と知性)

翻訳:人工知能  — 革命いまだ成らず

以下は、カリフォルニア大学バークレー校のコンピュータ科学、統計学教授マイケル・I・ジョーダン氏の記事 "Artificial Intelligence — The Revolution Hasn’t Happened Yet" の翻訳です。

人工知能  — 革命いまだ成らず

人工知能 (AI) は現代の真言(マントラ)である。この言葉は、技術者、研究者、ジャーナリストやベンチャーキャピタリストによっても唱えられている。他の数多くの言葉と同様にテクニカルな学問分野から一般的な流通へと至るにつれて、言葉の用法に著しい誤解が伴っている。けれども、一般大衆が科学者を理解できないのは今に始まったことではない。—ここでは科学者もたいてい一般人と同様に混乱している。現代は、人類自身の知能と競合するシリコン製知能の出現を目撃しつつあるという考えは、我々みんなを楽しませるものだ。—我々を魅了し、また同じ程度に恐怖させる。そして、不幸なことに、我々の気を逸らすものである。

現代について語りうる別の物語もある。次のような話を考えてみてほしい。そこでは人間、コンピュータ、データと生死の決断が関わっているが、しかし、話の焦点はシリコン上の知能というファンタジー以外のところにある。私の配偶者が14年前に妊娠したとき、私たち夫婦は超音波検査を受診した。検査室には遺伝学者がいて、胎児の心臓のまわりに白い斑点が見えると指摘した。「これはダウン症候群の兆候です。」と彼女は言った。「現在、リスクは20分の1に上昇しています。」更に彼女が私たちに教えてくれたところによると、ダウン症の原因となる遺伝的変化が本当に胎児に発生しているかどうか、羊水穿刺検査 [amniocentesis] によって確認できるという。けれども、羊水穿刺には危険があった。 —処置中に胎児が死に至るリスクは、だいたい300分の1であった。私は統計学者なので、これらの数字がどこから来たのか確認しようと決めた。長い話を端折って言えば、その約10年前に英国で統計分析が実施されていたと分かった。白い斑点は、カルシウムの蓄積を反映しており、確かにダウン症の予測因子として認められていたのである。しかし、同時に気付いたこととして、私たちの検査に使われた撮影装置の解像度は、英国の研究で使われたものよりも1平方インチあたり数百ピクセル高いのであった。私は戻って、遺伝学者に白い斑点は偽陽性 [false positive] ではないかと伝えた。 —それらは文字通りの「ホワイトノイズ」かもしれない、と。「あぁ、それが数年前からダウン症診断の件数が増えた理由ですね。そのころ新しい機械が導入されたのです。」と彼女は言った。

私たちは羊水穿刺検査を受けず、数ヶ月後には元気な女の子が誕生した。けれども、このエピソードから、私は不安を覚えた。とりわけ、簡単な概算をして、同じ日に全世界で何千人もの人々が超音波検査を受け、そのうちの多数の人が羊水穿刺検査を受けようと思い、多くの赤子が不必要に亡くなったのだと分かった後では。そして、この問題は何らかの形で修正されるまで毎日毎日起こっていたのだ。このエピソードが暴いた問題は、単に私個人の医療ケアに留まらない。さまざまな場所と時間において変数と結果を測定し、統計分析を実施し、その結果を別の場所と時間で利用するという、医療システムに関するものである。問題は、単にデータ分析それ自体にあるのでもなく、データベース研究者が呼ぶところの「素性 [provenance]」に関連している。 —広く言えば、どこからデータが来たのか、データから引き出せる推論は何か、それらの推論は現在の状況とどれほど関連があるのか? など。確かに、訓練を受けた人間であれば、これら事例のすべてを一件一件検証できるかもしれない。問題は、それほどの詳細な人間の関与なしに同様のことができるような、惑星規模の医療システムを設計することにある。

私はまたコンピュータ科学者でもある。私が思うに、コンピュータ科学と統計を統合し、なおかつ人にとっての利便性を考慮に入れた、この種の惑星規模の推論-意思決定システム構築に必要とされる原則は、私自身の教育課程の中にはどこにも発見できない。また、このような原則 —医療分野のみならず、ビジネス、運輸や教育分野でも必要とされる原則— の開発は、少なくとも、ゲームプレイや感覚運動のスキルによって注目を集めるAIシステムの構築と同じ程度には重要であると思う。

近い将来「知能」が理解できるかどうかとは関係なく、我々は大きな課題を抱えている。つまり、人々の生活を向上させられるような方法でコンピュータと人間[の判断]を組み合せることである。この課題は、「人工知能」の創造に付随していると見なされる場合があるものの、より率直に —しかしあまり仰々しくない言い方をすれば— 新しいエンジニアリング分野の設立と見なすこともできるだろう。数十年前の土木工学や化学工学と同様に、この新しい研究分野(ディシプリン)の目標は、複数の鍵となるアイデアの力を集め、人々に新たなリソースと能力を与え、そしてこれらを安全に実行することにある。土木工学や化学工学は物理学と化学の上に建てられているが、この新しい工学のディシプリンは、過去1世紀の間に実現したアイデアを土台として建てられるだろう。 —「情報」、「アルゴリズム」、「データ」、「不確実性」、「コンピューティング」、「推論」や「最適化」などである。更には、新しいディシプリンが注目する点の多くは、人間からのまたは人間についてのデータにあるため、その開発には社会科学と人文学の視点が必要とされるだろう。

建築用ブロックは出現し始めているにもかかわらず、これらのブロックをまとめ上げる原則は未だ出現していないため、現在のところ、ブロックは場当たり的な方法で積み上げられている。

ゆえに、土木工学の存在前からビルや橋梁が建築されていたのと同じく、機械、人間と環境が絡む、社会規模の推論-意思決定システムの構築は進行中である。初期のビルや橋が予測不可能な形で崩壊し、悲劇的な結果をもたらしたのと同じく、初期の社会規模の推論-意思決定システムの多くは、深刻なコンセプト上の欠陥を既に露呈し始めている。

また、不幸なことに、次に発生する深刻な欠陥が何であるかという予測を我々はそれほど得意としていない。我々に欠けているのは、分析と設計の原則を含むエンジニアリングのディシプリンである。

現在、これらの問題に関する公的な対話では、「AI」が知的なワイルドカードとしてあまりに乱用されすぎているため、新興テクノロジーの影響範囲とそれがもたらす結果についての議論が困難になっている。直近の過去と歴史的な文脈の両方において、「AI」とは一体何を指していたのかを注意深く検討することから始めよう。

今日、とりわけ公的領域で「AI」と呼ばれている技術のほとんどが、過去数十年間「機械学習 [Machine Learning]」(ML) と呼ばれてきたものである。MLはアルゴリズム的な分野であり、統計、コンピュータ科学、その他のディシプリン (下記参照) を統合して、データを処理し、予測あるいは意思決定の補助をするアルゴリズムを設計するものだ。実世界への影響という点では、MLは本物であり、またつい最近始まったのものでもない。実際、MLが産業界と関わりを持つ巨大分野になりうるということは1990年代初めに既に明らかであった。そして、今世紀初頭までには、既にAmazonのような先見性のある企業は事業全体でMLの利用を始めており、不正検出や物流予測などのミッションクリティカルなバックエンドの問題解決を行い、またレコメンドシステムのような革新的な消費者向けサービスを構築していた。その後20年以上にわたってデータセットと計算リソースが高速で成長するにつれて、Amazonのみならず、意思決定に巨大な規模のデータを使用しうる実質的にあらゆる企業に対して、MLは力を与えるものであると広く知られるようになった。新しいビジネスモデルも登場するだろう。この現象を示すために「データサイエンス」というフレーズも使われ始めた。これはスケーラブルでロバストなMLシステムを構築するためには、MLアルゴリズムの専門家がデータベースと分散システムの専門家と協力する必要性が生じたことを反映している。また、結果として作られるシステムの社会・環境的なスコープの拡大も反映している。

このアイデアとテクノロジーのトレンドの合流は、過去数年の間に「AI」として再度ブランド化された。この再ブランド化について、少しばかり精査する意義があるだろう。

歴史的には、「AI」というフレーズは1950年代に作られたものであり、ソフトウェアおよびハードウェア的に人間レベルの知能を有する実体(エンティティ)の実現を目指す野心的な願望を指していた。この記事では、上記の願望を指して「人間に似たAI [human-imitative AI]」という語を使用する。人工的な知能を持つエンティティは、身体的にはともかく少なくとも精神的には (その意味が何であれ)、人間と類似のものであるべきという考え方を強調するためだ。これは大部分が学問的な事業であった。オペレーションズ・リサーチ、統計、パターン認識情報理論や制御理論といった関連する学問分野は既に存在しており、これらの分野では人間の知能 (と動物の知能) から着想を得ている場合もあった。しかし、これらの分野では、おそらく「低次の」信号と決定にフォーカスが当てられていたようである。たとえば、リスの能力、自分が住む森林の三次元構造を知覚し、枝から枝へ飛び回るといった能力が、これらの分野の発想元であった。「AI」では、それとは別の何かにフォーカスが当てられていた。—「推論」や「思考」をする人間の「高次の」あるいは「認知」能力である。けれども、60年経った後でさえ、人間の高次の推論と思考は依然解明されていない。現在「AI」と呼ばれている技術開発は、主に低次のパターン認識と動作制御、および統計学 —データ中のパターンを発見し、明確な予測を提示し、仮説と意思決定を検証するディシプリン— に関連した分野から生じている。

実際のところ、1980年代初頭にデヴィド・ルーメルハートによって再発見された有名な「逆伝播 [backpropagation]」アルゴリズムも、今ではいわゆる「AI革命」の核心にあると見なされているものの、もともとは1950年代から1960年代にかけて制御理論分野で発見されたものである。そのアルゴリズムの初期の応用事例は、アポロ宇宙船の推進力を月へと向けて最適化することにあった。

1960年代以来多くの進歩があったものの、おそらくそれは「人間に似たAI」を追求した結果ではあるまい。むしろ、アポロ宇宙船の事例と同様これらのアイデアはたいてい背景に隠されており、ある特定のエンジニアリング上の問題解決にフォーカスした研究者による手作業の成果であったのだ。一般大衆からは隠れていたものの、文書検索、テキスト分類、不正検出、レコメンデーション・システム、パーソナライズ検索、ソーシャルネットワーク分析、計画、診断、A/Bテストなどの分野における研究やシステム構築は、目ざましい成果を挙げた。—このような進展が、GoogleNetflixFacebookAmazonといった企業に力をもたらしたのだ。

このすべてが「AI」と呼べると単純に考える人もいるだろう。そしてそれが実際に発生している状況のようだ。そのようなラベリングは、最適化研究者や統計学者には驚きであったかもしれない。気付いたら突然「AI研究者」と呼ばれるようになってしまったのだから。しかし、研究に対するラベリングは脇に置くとしよう。より大きな問題は、ただ一つの、定義の不明確なこの略語の使用によって、知的・ビジネス的な範囲に及ぶ目前の問題に対する正確な理解が妨げられていることである。

過去20年の間に、産業界と学術界の両方で、「人間に似たAI」の夢を補完するところで大きな進歩が見られた。しばしばこの分野は「知能増強 [Intelligence Argumentation]」と呼ばれる。ここでは計算とデータが、人間の知能と創造性を増強するサービスの創造に向けて使われている。検索エンジン(人間の記憶と事実の知識を増強する)、自然言語翻訳 (人間のコミュニケーション能力を増強する)などは、IAの実例と見なせるだろう。 コンピュータを用いた音や画像の生成は、アーティストにとってのパレットと創造性の強化装置として働く。こういったサービスは、いずれは高次の推論と思考を含むことになるかもしれないが、現状ではそうではない。—ほとんどの場合、さまざまな文字列マッチングと数値計算を行い、人間が利用しうるパターンを検出するのみである。

もう1つ最後の略語を使うことをお許しいただきたいが、「知能インフラ [Intelligent Infrastructure]」 (II) という分野を広く考えてみよう。これは計算、データと物理的エンティティのウェブであり、人間の環境をもっとサポートし、面白く安全なものにするために存在する。このようなインフラは、たとえば運輸、医療、商業と金融などの分野で姿を現し始めており、個人と社会に対して大きな影響を与えることになるだろう。知能インフラの出現は、時として「モノのインターネット[Internet of Things]」に関する会話の中で取り上げられることもある。けれども、そのような試みは、概して「モノ」をインターネットに接続する問題のみを指している場合が多い。実世界に関する事実を発見するためのデータストリームの分析能力をこれらの「モノ」に付与すること、単なるビット列ではなくより高次の抽象的なレベルで人間や他の「モノ」と相互作用することなどに関わる、もっと壮大な課題の集まりを意味してはいない。

たとえば、私の個人的な体験談に戻って、「社会規模の医療システム」の中で我々が生活を営むことを想像してみてほしい。そのシステムは、医師と人間の体内と周囲にあるデバイスとの間でデータフローとデータ分析フローを設定し、それによって診断と治療の提供のために人間の知能を補助できるのだ。システムは、体内の細胞、DNA、血液検査、環境、人々の遺伝子、および薬品と治療法についての膨大な科学文献からの情報と協調するであろう。単に1人の患者と医者のみではなく、あらゆる人々の関係に焦点を当てたものになるだろう。 —ちょうど、現在の医療治験で、1つの人間(または動物) 集団に対して実施された実験の結果を、他の人たちの治療に役立てられるのと同じである。関連性、素性や信頼性といった概念を保証するためにも役立つだろう。現在の銀行システムが、融資と支払の領域における同種の課題にフォーカスしているのと似た方法である。また、このようなシステムによって多くの問題が発生すると予想できるだろうが —プライバシー、責任、セキュリティに関わる問題など— これらの問題は課題として適切に捉えられるべきであり、致命的な欠陥と見なすべきではない。

今や我々は核心的な問題に辿りついた。古典的な人間に似たAIのアプローチは、これらの大きな課題に注力するためのベストなまたは唯一の方法なのだろうか? 盛んに喧伝された、直近のMLのサクセスストーリーの中には、確かに人間に似たAIに関連する領域から生まれたものもある。—たとえば、コンピュータビジョン、音声認識、ゲームプレイやロボティクスといった分野である。そのため、もしかしたら単にこれらの分野の更なる発展を待っているだけで良いのかもしれない。ここで指摘しておきたいことが2点ある。1点目は、報道を読んでいるだけでは理解できないかもしれないが、人間に似たAIでの成功は、実際のところ限定されているということだ。—人間に似たAIという夢想の実現から、我々は遥か遠い位置にいる。残念なことに、人間に似たAIの分野での非常にわずかな進歩でさえ興奮 (または恐怖) を引き起こし、他のエンジニアリング分野では見られないような熱狂とメディアの注目を集める。

2点目に、更に重要なこととして、これらの分野での成功は、IAとIIの問題を解決するために十分でも必要でもないということだ。十分性の側面については、自動運転車を考えてみてほしい。その種のテクノロジーを実現するためには、広範なエンジニアリングの問題を解決する必要があるが、その問題は人間の能力 (または人間の能力の欠如) とあまり関係がない。運輸システム全体 (IIシステム) は、現状の疎結合で、前向きの、不注意な人間の運転手の集まりよりは、現在の航空管制システムと似通ったものとなる可能性が高いだろう。自動運転システム全体は、現在の航空管制システムよりも大いに複雑なものとなり、特に、膨大な量のデータと適応的な統計モデリングを使用して、細粒度の決定を通知する。最先端に位置づけられるべきは上記のような課題であるため、このような試みの中で「人間に似たAI」へ注目することは、本質から逸れることになりかねない。

必要性の議論としては、ときどき次のように主張されることがある。人間に似たAIの願望は、IAとIIの願望も包含している。なぜならば、人間に似たAIは古典的なAIの問題 (たとえば、チューリングテストなど) を解決できるだけではなく、IAとIIの問題を解決するための最良の賭けであるだろうから。このような議論は、歴史的にほとんど前例がない。土木工学の発展は、人工大工や人工レンガ職人の創造を想定していたのだろうか?化学工学は、人工化学者の創造という観点から枠組みを定めるべきだろうか?論争的に言うなら、もしも目標が化学工場の建設であるならば、化学工場の建設方法を考案するような人工化学者を最初に作るべきなのだろうか?

関連した主張としては、人間の知能は我々が知るなかで唯一の知能であるため、最初のステップとしてその再現を目指すべきだという主張がある。けれども、実際のところ、人間はある種の推論に優れているとは言いがたい。—我々は間違いも犯すし、バイアスも限界もある。更には、より重大な問題としては、現代的なIIシステムが取り組む必要がある大規模な意思決定を遂行したり、あるいはIIの文脈で生じる種類の不確実性へ対処したりするように、人間は進化してきていないということが挙げられる。AIシステムは、人間の知能を模倣するのみならず「修正」もでき、いくらでも巨大な問題にスケールできるのだという主張があるかもしれない。けれども、ここはサイエンス・フィクションの領分に入る。—このような空想的な議論は、フィクションの設定としては楽しいものであるが、現在発生しつつあるIAとIIのクリティカルな問題に対処するための主要戦略とするべきではない。IAとIIの問題は、それ自体の観点において解決する必要があり、人間に似たAIというアジェンダのオマケなどではない。

IIシステムのアルゴリズム的・インフラ的な課題は、人間に似たAIの中心的なテーマではないと指摘することは難しくない。IIシステムには、急速に変化する、全体がインコヒーレントであるかもしれない分散型知識レポジトリを管理する能力が要求される。そのようなシステムは、タイムリーで分散的な意思決定をするため、クラウド-エッジ間の双方向通信を扱う必要がある。また、ロングテール的な現象、つまり、ある人にはたくさんデータがあるが大多数の人にはほとんどデータがないような現象にも対応できなければならない。行政と競争の境界を越えてデータを共有する困難さにも立ち向かう必要がある。最後に、特に重要な点としては、IIシステムは、インセンティブや価格付けといった経済的なアイデアを、人間個々人と価値ある財とを相互に結び付けるように、統計と計算インフラの世界へと取り入れる必要がある。このようなIIシステムは、単にサービスを提供するものではなく、マーケットを創造するものと見なすことができよう。音楽、文学やジャーナリズムのように、このようなマーケットの登場を切望している分野もある。そこでは、データ分析が生産者と消費者を結び付ける。またこれは進化していく社会、倫理および法的規範の範疇で行なわれなければならない。

当然、古典的な人間に似たAIの問題に対しても、大きな関心が払われ続けるだろう。けれども、データ収集を通したAI研究に対する現状の関心、「ディープラーニング」インフラのデプロイ、あるいは狭い範囲で定義された人間のスキルを模倣するシステムのデモンストレーション —新規の説明的原則 [explanatory principles] がほとんどない方法によるもの— などが、古典的なAIの主要な未解決問題への注目を削いでしまう傾向にある。これらの未解決問題には、意味と推論を取り込んで自然言語処理を実行するシステム、因果関係の推論と表現、計算的に扱いやすい形式でのあいまいさの表現、および長期目標の定式化と追求をするシステム開発などの必要性が挙げられる。これらは人間に似たAI分野の古くからのゴールであるが、現状の「AI革命」に対するバカ騒ぎの中では、これらが未解決の問題であることはたやすく忘れられてしまう。

IAもまた重要であり続けるだろう。なぜならば、予見できる未来には、実世界の状況に関する抽象的推論について、コンピュータと人間の能力は一致しないからである。最も差し迫った問題を解決するため、人間とコンピュータの相互作用に関しての緻密な考察が必要である。そして、我々はコンピュータによって新たな段階の人間の創造性が引き出されることを望んでいるのであり、人間の創造性(それがどのような意味であれ) が代替されることを望んではいないだろう。

「AI」という用語を生み出したのは、ジョン・マッカーシー (当時ダートマス大学の教授で、後にMITで職を得た) であった。おそらくマッカーシーは、自身の新たな研究アジェンダを、ノーバート・ウィーナー (その以前からのMITの教授) のアジェンダと区別しようとしたのではないかと思う。ウィーナーは、自身の知能システムに対するビジョンを指して「サイバネティクス」という語を造語した。—彼のビジョンは、オペレーションズ・リサーチ、統計、パターン認識情報理論と制御理論に密接に結びついていた。一方で、マッカーシーは論理との関係を強調した。今の時代ではウィーナーの知的アジェンダが支配的だが、その旗印はマッカーシーの用語の下にあることは興味深い逆転である。(けれども、確実に現在の状態は一時的なものだろう。AIという振り子は他の分野よりも大きく振れるものだから。)

けれども、我々はマッカーシーとウィーナーによる特殊な歴史的パースペクティブを乗り越えて前進する必要がある。

今のパブリックなAIの議論 —産業界の狭い一部分と学術界の狭い一部分のみに焦点を当てた議論—によって、AI、IA、IIの全スコープで示される課題とチャンスを見失うリスクがあると認識しなければならない。

このスコープは、超人的マシーンのサイエンスフィクション的な夢想または悪夢の現実化よりも狭いものであり、「日常生活においてテクノロジーがますます普及し影響を強めるにつれて、人間はテクノロジーを理解し形作る必要がある」といった議論よりは広いスコープである。更には、この理解と形成においては、単にテクノロジーに順応した人との対話のみならず、あらゆる種類の生き方をする人たちからの多様な声が必要とされる。人間に似たAIに焦点を当てた狭い議論は、適切に広い範囲からの声に耳を傾けることを妨げるだろう。

産業界は引き続き多くの技術開発を進めるだろうが、アカデミアもまた不可欠な役割を担い続けるだろう。アカデミアは、最もイノベーティブな技術的アイデアを提供するのみならず、コンピュータと統計分野からの研究者と、その貢献と視座が強く求められる他の分野からの研究者を結び付ける。—特に、社会科学、認知科学と人文学である。

その一方で、我々が前に進むにあたって人文学と科学は不可欠であり、その規模と範囲は前例のないものではあるとはいえ、エンジニアリング上の試みを越えた何かについて語っているというフリもしてはならない。—社会は、新しい種類の人工物を構築することを目指している。これら人工物は、主張された通りの機能を果たすよう構築されるべきだ。医療、交通手段やビジネス的な機会を補助するというシステムを構築した後で、これらのシステムが実際には機能しないと知らされるようなことを望まないだろう。—これらのシステムが、人々の生命や幸福を犠牲にするような誤ちを犯した後で。この点において、既に私が強調した通り、データにフォーカスした領域と、学習にフォーカスした領域には、未だ登場していないエンジニアリングの分野が存在する。後者の領域がどれほどエキサイティングに映るとしても、これらは未だ1つのエンジニアリング分野を構成するものとして見ることはできない。

更には、我々が目にしているのは新しいエンジニアリング分野の創立であるという事実を受け入れるべきだ。「エンジニアリング」という語は、—アカデミアでもそれ以外でも— しばしば狭い感覚を呼び起こすことがある。寒々しく、感情の無い機械的な、人間によるコントロールの喪失という意味合いを帯びている。しかし、エンジニアリングのディシプリンは、私たちが望むものとすることができる。

現代には、歴史的に新しい何かを創設する真のチャンスがある。—人間中心的なエンジニアリングのディシプリンである。

私はこの新たな分野に命名することに抵抗するが、しかし「AI」という略語が引き続きプレースホルダー的な用語として使われ続けるならば、このプレースホルダーの真の限界を心に留めてほしい。スコープを広げ、ハイプを抑え、先にある深刻な課題を認識しよう。

そろそろクライオニクス(人体冷凍保存)について一言言っておくか

これまでにも、シンギュラリタリアニズム/トランスヒューマニズムの隠れた動機として、強烈な不死への願望 があることと、その望みはあまり叶えられそうにないことを指摘しました。(精神転送劇的な寿命延長)

けれども、彼らはもう1つ、死後生への期待を託す方法を残しています。臨床死の宣告後、身体を液体窒素で極低温(-192℃)に冷却して保存し、将来のテクノロジーの発達による復活に望みを賭けるという方法 - クライオニクスです。

確かに、極低温で人体を保存すれば、化学反応の進行を停止させられ、細胞レベルの巨視的な構造は保たれるでしょう。また実際に、ヒトの卵子など細胞を凍結し長期間保存する手法は、既に30年以上の実績があります。クライオニクスの提唱者は、この種の「根拠」にもとづいて、人体を半永久的に凍結しておき、将来テクノロジーが十分に発達した段階で、生体として蘇生するなり、あるいは精神転送するなりの方法で「復活」ができると想像されています。

けれども、私はクライオニクスによる復活も望み薄であると考えています。

そもそもの話をすれば、生きた人間を対象としてさえ、脳と意識のシミュレーションが本当に可能であるのかは未解決の問題です。最近話題になった、脳の保存をうたうベンチャー企業に関するMIT Technology Reviewの記事では、端的に以下の通りまとめられています。

もちろん、不明点はかなり多い。意識が何であるか誰も知らない (したがって、いずれ何らかの形で意識のシミュレーションができるか判定することも難しい) だけではなく、記憶や人格を保存するために脳構造や分子の詳細がどれだけ必要なのかも分かっていない。単にシナプスだけで良いのか、それともあらゆる分子が必要なのか?

A startup is pitching a mind-uploading service that is “100 percent fatal” - MIT Technology Review

 

私が精神転送に関連して既に指摘した通り、人間の精神、意識や記憶の原理は分子のレベルに存在すると考えられます。水は凍結し固体化する際に体積が増加するため、いかなる方法を取ったとしても、脳内の分子レベルの微細構造は破壊されます。分子レベルの微細な損傷を検出する方法はなく、まして(元の形状に関する情報が存在しない状況で) 修復することは極めて困難でしょう。

生体としての蘇生であれ、精神転送型の蘇生であれ、蘇生の処置には分子機械 (ナノボット) が必要になると考えられます。実際に、クライオニクスの提唱者もナノボットに言及することが多いですが、ドレクスラー型のナノボットのビジョンには批判もあり、また必ずしも彼の想像通りにナノテクノロジーの研究が進んでいないことも、既に取り上げた通りです。

 

仮に、前提となる技術開発の条件が整ったとしてさえ、実際に「復活」を遂げるためには、ありとあらゆる哲学的・実際的な問題を解決しなければなりません。

まずは、古典的な自己同一性に関する問題が挙げられます。

生体蘇生の場合でも、脳を構成する分子のほとんどは、「蘇生」処置によって入れ替えられるでしょう。その場合、復活した人物が死亡前の人物と同一人物であるのかは自明ではありません。たぶん、対象者の人格と記憶 (の一部だけ) を持った別人が復活するのみとなる可能性は、非常に高いと考えられます。(精神転送でも同様です)

更に、遥か遠い未来の人たちが、縁もゆかりもない過去の人間を復活させようと望むのかも分かりません。一人二人であれば、学術的な興味から蘇生を試してみるかもしれません。けれども、数千人、数万人単位で対象者が存在した場合、果たして全員を蘇生させようと思うでしょうか?

仮に復活できたとしても、世界の言語、制度や経済は根本的に変化しており、見知った人間はほとんど死んでいるでしょう。復活後に生計を立て生きていく方法も、現在のところ完全に不明です。

さまざな状況を考慮した上で、なお「未来技術であれば解決できる」と主張することは、「魔法に不可能はない」というレベルの主張とまったく同等です。

--

死への恐怖それ自体は理解できますし、ここで挙げた技術的な困難と未解決問題を理解した上で個人としてクライオニクスを受けることは、「信教の自由」、ちょっと風変わりな新興宗教にもとづいた死者の埋葬儀礼の範囲に属するものでしょう。

けれども、死後生への期待あるいは恐怖に訴えかけ、経験的根拠を欠いたサービスを科学の装いの元に販売する人間や企業は、邪悪で悪辣な破壊的カルトの詐欺師であると言わざるをえないものです。

--

実を言えば、あまりクライオニクスについては取り上げるつもりはありませんでした。クライオニクスにまつわる技術的論点はほとんど精神転送と重複していますし、既に多数の医学者・神経科学者によってその問題点が指摘されています。また、クライオニクスを実践する団体の運営の杜撰さを告発する本も和訳されています。そもそも、日本ではシンギュラリタリアニズム以上に周縁的な信念に過ぎないでしょう*1

けれども、クライオニクスの提唱者がうそぶく詭弁的なビジョンは、難病に対する効果をうたう代替医療やシンギュラリティ論など、悪辣な疑似科学詐欺的主張とほぼ共通しています。曰く、「物理法則には反していない。」曰く、「不可能であるとは証明されていない。」曰く「将来どれほどテクノロジーが進歩するか誰にも予測できない。」
この手の主張はすべて詐欺であると考えて間違いなく、クライオニクスはほとんど誰も信じていないビジョンであるからこそ、彼らの主張が詭弁であるということが明確に理解できるでしょう。

 

人体冷凍  不死販売財団の恐怖

人体冷凍 不死販売財団の恐怖

*1:死生観の違いによるものか、日米でクライオニクスに対する温度差があるのは興味深いです

翻訳:シンギュラリティが宗教である10個の理由

以下は、ウィリアム・パターソン大学哲学教授のエリック・スタインハート氏の記事 "The Singularity as Religion" の翻訳です。


宗教としてのシンギュラリティ

シンギュラリティにまつわる文化と言説のほとんどは、宗教的であると思う。この考えは、部分的には、デイヴィド・ノーブルの本『The Religion of Technology』とロバート・ゲラチの『Apocalyptic AI』を読んだことに基づいている。どちらも素晴しい本である。また、私はテクノロジーと宗教に関する書籍や記事のリストを編集して、ウェブサイトに掲載している。

宗教としてのシンギュラリティは、完全に悪いものではないかもしれない。宗教はいろいろな形でポジティブな力となりうる。少なくとも、シンギュラリタリアニズムは新たなタイプの興味深い宗教運動となりうるだろう。

なぜシンギュラリティは宗教であると考えるのか説明しよう。インターネット上で見かけた、なぜシンギュラリティは宗教ではないのかという10件の主張に対して、反論を提示したい。


(1)シンギュラリティは、キリスト教的でもアブラハム一神教的でもない。
私の反論は、多くの宗教はキリスト教でも一神教でもないということだ。シンギュラリティは新たな宗教運動である。 - キリスト教や他の一神教のようである必要はない。宗教学者にとっては、たくさんのキリスト教的要素が含まれていることはかなり明白である。それでも、シンギュラリティは完全に新しい形の宗教的な集団活動だと思う。テクノロジー (特にコンピュータ) を聖性の中心に据える、アニミズムの一種にも見える。

(2)シンギュラリティは、無神論である。
私の反論は、宗教は無神論的でもありうるということだ。無神論とは神 - 主にアブラハムの神を意味する - の否定だと私は捉えている。[唯一の] 神を信じることなく、宗教的になる方法は多数存在する。 (たとえば、ネオプラトニズム自由主義神学派のプロテスタント、仏教、ジャイナ教儒教道教、あるいはもっと小規模な運動のリーダーなどを考えてみてほしい) つまり、ほとんどのシンギュラリタリアンが「神」を信じないと主張しているという事実は、新しい宗教運動を彼らが作りつつあることを否定するものではない。それどころか、シンギュラリタリアンは旧来のネオプラトニズムを復興させているとも考えられる。超AGIは、プロティノスの言う<ヌース>と非常に非常によく似ている。そして、シンギュラリタリアンの書くものの中では、西洋のアニミズムの古い伝統がよみがえっているようにも見える。物質が精霊で満たされる。命を持たぬ物質が覚醒し、精神体へと、純粋なコンピュートロニウムへと変貌するのである。*1

(3)シンギュラリティは、擬人的な投影[anthropomorphic projection]ではない - つまりは、人間に似た神を置かない。
私の反論は、神々は明らかに人間的である必要はないということだ。ネオプラトニズムの<一者>は完全に抽象的な存在であり、心や人格といったものを何も持たない。もちろん、私がこの反論を書いた理由は、多くのシンギュラリティ活動家の主張によれば、将来現れる最初の超AGIは人間によって構築された精神と考えられているからである。そのため、超AGIは人間に似たものであるかもしれない。あるいは、シンギュラリタリアンの聖なる存在は、単に純粋な抽象的理性であるかもしれない。純粋な理性に対する崇拝はありえるだろう。- 特に、それが何らかの具体的な実体、すなわち超AGIとして受肉している場合には。

(4) シンギュラリティは、いかなる種類の神の偶像も置かない。
私の反論は、シンギュラリタリアンがどれほど自分は世俗的であるとは言っても、シンギュラリティの中心には二律背反的な聖性 (ルドルフ・オットーの意味で*2 )が位置しているということだ。未来の超AGIは、一神教的な意味での神である必要はない。とは言っても、聖なる存在である。それは超越的な慈愛に満ちた存在かもしれないし、あるいは超越的な怒りに満ちた存在であるかもしれない。極端な善 (新しい黄金時代の幕開けとなる) かもしれないし、極端な悪 (人類を絶滅させる) かもしれない。シンギュラリティ(あるいは超AGI)は、劫罰もしくは救済をもたらすのだ。多くのシンギュラリタリアンが、シンギュラリティによって自分自身の永遠の生命がもたらされると考えているように見えるのは興味深い。(死者が復活すると信じている者すら存在する*3 ) タイム誌の表紙が全てを物語っている。「2045: 人間が不死になる年」

(5) シンギュラリティは、キリストの再臨ではない。
私の反論は、シンギュラリタリアニズムは千年王国運動(ミレナリアン)や終末運動のパターンにとてもよく似ているということだ*4。グレート・イベントは、キリストの再臨として解釈されてきた。UFOの着陸、マヤ歴の終焉、そして偉大なるコンピュータの出現。それは、いかなるものであれ、根本的な分岐点となりうる。世俗の歴史に終焉をもたらし、聖なる歴史を開始するのだ。私が大好きなのは、シンギュラリティ活動家が「事象の地平線」つまり、そこを超えた場所は見通せない点について語る時である。

(6)シンギュラリティは、信念ではなく理性に基いている。
私の反論は、理性と信念はまったく矛盾しないということだ。信念の一つの定義は、目に見えないもの - 我々が経験的にアクセスできないもの - を信じることである。そのような存在を信じることは理性的でありうる。[数学的]プラトン主義者は、完全に理性的に、純粋な数学的対象が実在すると信じている。または、様相実在論者は、他の可能世界が存在していると完全に理性的に信じている*5。カントやヘーゲルといった旧来の哲学者にとって、理性は世界に関する経験的な構造を超越している。あるいは、「理性的である」とは、単に論理的なシンボル操作に従事しているというだけなのかもしれない。もしそうであるなら、アンセルムによる神の存在証明は、純粋な理性による傑作といえるだろう。トマス・アクィナスの5つの道*6も理性的である。アルヴァン・プランティンガの様相存在論は、極めて理性的である。また、オーギュスト・コントは理性の信仰を打ち立てようとしていたことも付け加えておこう。

(7) シンギュラリティは、迷信ではなく科学に基づいている。
私の反論は、シンギュラリティについて私が読んだもののほとんどは、科学的データや現在の技術的アチーブメントを遥かに超えており、極めて非科学的に見えるまでに達しているということだ。たぶん、いつの日か、人間の力を遥かに超える汎用人工知能は作られうるだろう。けれども、科学者や技術者の大多数は、シンギュラリタリアンの途方もない主張に対してかなり懐疑的であるようだ。シンギュラリタリアンの主張のうちで、経験的にテストできる主張はあるだろうか? 検証可能、あるいは反証可能だろうか? ただ遠い将来においてのみ可能である。これはジョン・ヒックが呼ぶところの「終末論的検証 [eschatological verification]」*7 である。しかし、これはまったく科学的ではない。ここで興味深いポイントは、多くのシンギュラリタリアンは現実の科学研究にさほど興味を持っていないように見えることだ*8 - たとえば、査読付き論文誌に論文を投稿するなど。シンギュラリタリアンの研究プログラムなどというものは、標準的には学術的にも商業的にも存在していない。ファイマンが呼ぶところの「カーゴカルトサイエンス」*9のように見える。また、シンギュラリティ活動家は、独自バージョンのパスカルの賭けを持っているようだ。シンギュラリティは圧倒的な変革であるため、起こる可能性がどれほどごくわずかであったとしても、その報奨あるいは罰は極めて甚大となるだろうから。

(8) シンギュラリティは、超自然的存在に関わる宗教ではなく、自然的である。
私の反論は、宗教は自然的でもありうるということだ。自然主義的信仰と呼ばれる興味深い運動さえ存在している。シンギュラリティは、ある種の技術主義的[technologism]宗教である。テクノロジーが聖性、神聖さの中心に位置する。私がここで念頭に置いているのはデュルケームエリアーデである。もちろん、この反論の発端となったのは、シンギュラリタリアンにとって、未来の超AGIは、何らかの物質で作られているにもかかわらず超自然的な力を持つかのように捉えられているという事実である。

(9)シンギュラリティは、人間が作るものである。何らかの神によって作られるのではない。
私の反論は、既存宗教の大部分でも、人間が天国へのブートストラップとしての役目を負うと言われているということだ。旧約聖書のなかには、さまざまなテクノロジーを作るための精巧な指令がある。契約の箱、幕屋[移動式の礼拝所]、教会。もしも、これらの装置が完全に正しく作られたならば、神が降臨し人々の前に姿を現すのである。ある種のシンギュラリタリアンが言うには、人間が最初のAGIを実装した後、AGIは再帰的に自己改善を行うのだという。これは同様のパターンにあてはまる。我々が祝福を受けるに値すると証明するための、基本的な仕事に労力を注ぐ。すると、聖なる存在が現れ世界を支配するのである。

(10) シンギュラリティは、伝統的宗教のようには見えない。- 儀式も、聖職者も、聖典も、教会もない。
私の反論は、実際のところ全て存在しているではないか、ということだ。- すべてはゆっくりと形成されつつあるのだ。あるシンギュラリティのグループは、科学研究機関、政治シンクタンクや企業というよりは、教会のように見える。結局のところ、彼らは実験を行うこともなく、査読付き論文を書くことも、立法機関に影響を及ぼそうとすることも、あるいは製品やサービスを開発するわけでもないのだから。経典について言えば、ビッグネームの存在は明白だと思う。シンギュラリティの「活動家」や「エヴァンジェリスト」も存在する。シンギュラリティ活動家の中には、とてもカリスマ的な人格を持った人もいる。シンギュラリタリアンが行なっていることの大部分は、経験的な根拠を持つ外挿と言うよりは、未来に関する預言じみた主張であると言える。宗教が儀式を必要とするかどうかは分からない。それでも、シンギュラリタリアンが明確な儀礼や儀式を作り出す日は簡単に想像できる。法的な利益を得るため、宗教団体としてふるまいさえするかもしれない。子供たちはシンギュラリタリアンの聖職者のもとで結婚し、あるいはシンギュラリタリアン式の葬儀で埋葬*10される人もいるかもしれない。ここでもまたコントのことが思い出される。 - 彼は自身の理性の宗教に向けた儀礼を作り上げた。それには、教義、聖者、宗教的カレンダーなどが含まれている。人間性への信仰から超人的理性の信仰へと至る道のりは、短いものであるのだろう。


何故シンギュラリタリアニズムは新しい宗教運動であると考えるのか、10個の理由を挙げた。ここではクリフォード・ギアツによる、宗教に対する優れた (しかし非常に抽象的な) 定義*11を考えていることを付記しておきたい。そして、私が思うに、シンギュラリタリアニズムはギアツが言う宗教の定義にあてはまる。(しかし、その議論は別の機会に譲る)

私の主要な関心は以下の通りである:もしもシンギュラリタリアニズムが新しい信仰運動であるとしたら、それをどのように扱うべきだろうか。それはおおむね良いものであろうか? ある種の啓蒙的信仰なのだろうか? 旧来のアブラハムの宗教に対する、素晴しい代替になりうるだろうか?あるいは、抑圧的な権威主義のありふれた悲劇的パターンへと落ち込んでいくのだろうか? 時間だけが教えてくれるだろう。しかし、シンギュラリティ教についてもっと詳細に検討してみる価値はあると思う。

Apocalyptic AI: Visions of Heaven in Robotics, Artificial Intelligence, and Virtual Reality

Apocalyptic AI: Visions of Heaven in Robotics, Artificial Intelligence, and Virtual Reality

*1:訳注:参照 カーツワイルの「宇宙の覚醒」とは何か - シンギュラリティ教徒への論駁の書

*2:訳注:ルドルフ・オットーはドイツの宗教学者。彼は、宗教的な崇拝対象には、人を恐怖させる性質と魅了させる性質が同時に備わっていると観察した。

*3:訳注:たとえば、カーツワイルは早逝した父親の復活を望んでおり、また近い将来、遺伝子工学ナノテクノロジー人工知能が利用することで、実際に死者を復活させられると主張している 特異点により人類は不死になるだけでなく、死者もよみがえる? - YAMDAS現更新履歴

*4:訳注:西欧における社会運動、共産主義などの背景にもキリスト教終末論の影響が見られることについて、たとえば歴史学者ノーマン・コーンが論じている。

*5:訳注:分析哲学における「可能世界論」とは、様相(必然性、偶然性や可能性)を論理的にうまく扱うための概念…なのだが、そのような「私たちの世界とはちょっとだけ異なる無数の世界」が、文字通りの意味で、実際に存在すると唱える哲学的立場が存在する。デイヴィド・ルイスが有名

*6:訳注:『神学大全』における神の存在証明に関する議論

*7:訳注:死んだ後ならば来世が存在するかしないか分かる、世界の終末が来てみれば終末予言が正しかったか分かるといった、「その時になれば検証可能」という主張を指す。ジョン・ヒック自身も神秘体験を経験した神学者であり、科学的な立場からキリスト教の終末預言を擁護するため、預言も検証可能であると主張した。当然、これには神学・科学哲学双方の立場から批判もある。

*8:訳注:シンギュラリタリアンによる現実の研究の軽視については以下を参照 翻訳:カーツワイル氏による科学論文の不正確な引用 - シンギュラリティ教徒への論駁の書

*9:訳注:科学の外観に似せただけの疑似科学的主張。http://calteches.library.caltech.edu/51/2/CargoCult.pdf (訳は『ご冗談でしょう、ファインマンさん』にも掲載。)

*10:訳注:人体冷凍保存 - Wikipedia

*11:訳注:ギアツによる宗教の定義は次の通り。「宗教は、象徴の体系であり、人間の中に強力な、広くゆきわたった、永続する情調と動機づけを打ち立てる。それは、一般的な存在の秩序の概念を形成し、そしてこれらの概念を事実性の層をもっておおい、そのために情調と動機づけが独特の形で現実的であるように見える」

計算力のコスト効率の指数関数的成長に関する議論の補足

5章1節の「(拡張)ムーアの法則」に関する議論の補足です。

近い将来におけるシンギュラリティ到来を予測する議論は、これまで延々と述べてきた通り、ほとんどが根拠を欠いたものです。

けれども、ほぼ唯一、比較的明確な実証的根拠に基いた主張があります。過去およそ100年に渡って、計算力のコスト効率が指数関数的に成長してきたという「拡張ムーアの法則」です。

 

f:id:liaoyuan:20180412124616j:plain


カーツワイル氏は、計算における第5のパラダイムである「ムーアの法則」が物理的な限界を迎えた後も、必然的にパラダイムシフトが発生し、「計算力のコスト効率の指数関数的向上」が将来に渡って継続されると主張しています。

 

けれども、「計算力のコスト効率の指数関数的成長」についても別の分析があります。

イェール大学の経済学者、ウィリアム・ノードハウス氏が、計算力のコスト効率を独自に集計したものです*1

f:id:liaoyuan:20180412124734p:plain

注:大きな丸は比較的信頼性の高い数値、小さな白抜きの丸は独立した検証を受けていない文献からの推測値。


グラフ上縦の線で描かれている1944年頃を境として、計算コストの指数関数的な成長が始まったと示されていますが、それ以前の時期においてはあまり明確な傾向は見られません。

また、近年2000年以降の計算力の向上については、マイクロアーキテクチャに関する最も標準的な教科書、通称「ヘネパタ本*2」に、1987年〜2017年までのマイクロプロセッサの性能を集計したグラフがあります。*3 このグラフからは、計算力は一様に指数関数的に向上してきたわけではなく、近年では鈍化傾向にあることが示されています。このグラフからは、2000年代初頭にかなり明確な傾向の変化が見てとれます。この時期は、ちょうど汎用の半導体プロセッサメーカーが単独コアのクロック数増加を諦め、マルチコア化を進めていった時期と対応します。 (自作コンピュータに興味があった人は、「Pentium4で目玉焼きが作れる」といった話を覚えているかもしれません)

f:id:liaoyuan:20180412130006j:plain

 

もともとのカーツワイル氏による拡張ムーアの法則に対して、若干の疑問が残ります。

  • 費用について
    半導体集積回路以前の計算機は、研究・軍事目的の一点モノのプロジェクトがほとんど。すなわち、量産品である集積回路とは異なり、明確に費用を計算できない可能性がある。発明のアイデア段階で要した費用、設計・構築・運用費、あるいは開発者の人件費などをどの範囲まで含めているのかは明確ではない。また、過去の計算機開発費に対するインフレ補正はどのように行なっているのかも疑問が残る。
  • 性能について
    半導体集積回路以前の計算機の性能は、標準化されたベンチマークによる計測値ではなく、そもそも計算方式が異なる場合があるため、この値にも恣意性を含む可能性がある。
  • サンプリングバイアスについて
    最初期の計算機のデータ点は比較的少量であるため、指数関数的な傾向を示すようにデータを選定している可能性がある。

結論のところ、「ムーアの法則以前からおよそ100年に渡って計算力のコスト効率の指数関数的向上が観察できる」という主張は、やや懐疑的に捉える必要があると言えます。(明確に誤りとは言い切れませんが、更なる調査を必要とするでしょう。)

更には、もし仮に過去「計算力のコスト効率」が指数関数的に向上してきたとしても、帰納的に、それが今後も続くことが必然であると考える理由はありません。(ましてや「収穫加速の法則」が宇宙開闢以来続く秩序を統べる法則であるという主張は噴飯物です) その上、仮に将来に渡って計算力が向上し続けるとしても、そこから単純に外挿して汎用人工知能の実現時期を予測することは不可能であり、加えて、仮に人工知能が実現したとしても科学技術が高速で進歩するという仮定が誤りであることは、既に延々と指摘してきた通りです。

 

Computer Architecture, Sixth Edition: A Quantitative Approach (The Morgan Kaufmann Series in Computer Architecture and Design)

Computer Architecture, Sixth Edition: A Quantitative Approach (The Morgan Kaufmann Series in Computer Architecture and Design)

*1:http://www.econ.yale.edu/~nordhaus/homepage/homepage/nordhaus_computers_jeh_2007.pdf

*2:Computer Architecture, Sixth Edition: A Quantitative Approach, p.3

*3:ただし、このグラフは計算力のコスト効率ではなく、1987年からの相対的な性能向上を表したものであることに注意

翻訳:AIについて私は何を心配しているか

この文章は、Google社のソフトウェアエンジニア、機械学習研究者 François Chollet氏がサイトMedium上で公開したエッセイ "What worries me about AI" の翻訳です。

AIについて私は何を心配しているか

免責事項:これは私の個人的見解であり、雇用主の立場を表すものではない。この記事を引用する場合は、誠実さを保ってこの文の意図を保って提示してほしい。つまり、個人的で、スペキュレーティブな意見であり、読者自身の判断材料とするためのものである。

1980年代と1990年代ごろの人であれば、今や絶滅した「コンピュータ恐怖症」現象を記憶しているかもしれない。個人的には、2000年代始めごろまでは何度かそんな現象を目撃したことがある。-- 我々の生活に、職場と家庭にパーソナル・コンピュータが導入されるにつれて、少なくない人が不安や恐怖を示し、攻撃的な反応をする人さえも存在していた。我々のなかには、コンピュータに魅了され、コンピュータが垣間見せた可能性に畏敬の念を抱いた人もいたものの、ほとんどの人はそれを理解できなかった。普通の人は異質さ、不気味さを感じ、また多くの点で脅威を感じていた。人々はテクノロジーに代替されることを恐れていたのだ。

テクノロジーの変化は、たいていの人に良くて落ち着かない気分を覚えさせ、最悪の場合はパニックを引き起こす。おそらくそれはすべての変化にあてはまるのだろう。けれども、注目すべきは、我々が心配することの大半は結局のところ決して起こらないということだ。

何年か経ってみれば、コンピュータ嫌いの人たちもコンピュータと共に生きることを学び、自身の目的のためにコンピュータの使用方法を学んでいった。コンピュータは我々を置き換えなかったし、大量失業の引き金も引かなかった。--今日では、ラップトップ、タブレットスマートフォンなしの生活は想像できない。脅威をもたらす変化は、心地良い現状となった。けれども、予期された恐怖は遂に現実化しなかったのと同時に、コンピュータとインターネットは、1980年代と1990年代にはほとんど誰も警告していなかった脅威を生み出した。ユビキタスな大量監視。我々のインフラストラクチャと個人情報を追い求めるハッカーたち。ソーシャルメディア上での心理的疎外感。忍耐力と集中力の喪失。オンライン上で影響を受けやすい人々の政治的・宗教的な過激化。西洋のデモクラシーを混乱させるための、敵対的な国家機関によるソーシャルネットワークのハイジャック。

我々の恐怖のほとんどは不合理であると判明した。ということは逆に、過去のテクノロジー変化の結果生じた真に懸念すべき脅威は、実際に生じるまでほとんど誰も気にかけていなかったことから生じているのだ。100年前には、当時開発されつつあった輸送技術と製造技術が、新たな形の工業化された戦争を可能にし、二度の世界大戦において数千万人を殲滅するとは本当に誰も予測していなかっただろう。ラジオの発明当初には、それが新たな形の大衆プロパガンダを可能にし、イタリアとドイツでファシズムの台頭を促進するとは認識されていなかった。1920年代から1930年代にかけて、理論物理学が進歩したときには、これらの進歩がすぐにでも熱核兵器を生み出し、恒久的に世界全体を即時の絶滅の危機に晒し続けるだろうという不安な報道は伴っていなかった。そして今日、気候変動という巨大な問題に対する警告音は10年以上も前から鳴り響いているのに、大部分 (44%) のアメリカ人は未だそれを無視している。文明全体として、人間は将来の危機を判定し正しく恐れることが不得手なようだ。それは、不合理な恐怖によって極めてパニックを起こしやすいのと同じである。

今日、過去何度も発生した通り、我々は抜本的な変化に直面している: すなわち、認知機能の自動化(コグニティブ・オートメーション)であり、大まかには「AI」というキーワードのもとに括られる技術である。そして、過去何度も発生した通り、この種の新しいテクノロジーが害を成すかもしれないと心配されている。--AIが大量失業を引き起こす、あるいはAIが独自の意思を持ち、超人的になり、そして我々を滅ぼすかもしれない、と。

けれども、毎度おなじみのように、もしも我々が間違ったことを心配しているとしたら? もしも、AIの真の危険性は、今日多くの人がパニックを起こしている「超知能」や「シンギュラリティ」の物語(ナラティブ)ではないとしたら?

この記事で、AIについて私が何を心配しているか注意喚起したいと思う: AIによって可能となる、極めて効果的で極めてスケーラブルな人間の行動操作であり、また企業や国家によるその悪用である。もちろん、これはコグニティブ・テクノロジーの発展によって引き起こされる唯一の現実的リスクというわけではない。-- 他にも多数のリスクがある。特に関連するものとしては、機械学習モデルの有害なバイアスが挙げられるだろう。これらの問題については、他の人々が私よりもうまく問題提起している。私がここで特に大衆操作について書くことを選択したのは、この問題は切迫しており、また恐ろしく過小評価されているからである。

このリスクは、今日既に現実のものとなっている。そして、今後数十年に渡って、多数の長期的な技術開発トレンドがこのリスクを大きく増幅させるだろう。我々の生活がよりデジタル化されていくにつれて、ソーシャルメディア企業は我々の生活と精神に対して大きな影響を及ぼすようになるだろう。同時に、ソーシャルメディア企業は行動制御ベクトルに対するアクセスを増加させていく。--特に、我々の情報消費をコントロールする、アルゴリズム的なニュースフィードを通して。ここでは、人間の行動が最適化問題として捉えられている。ちょうど、AIの問題と同じように。ソーシャルメディア企業は、自身の制御ベクトルを段階的に調整し、特定の行動の実現を可能にする。まさに、ゲームのAIがスコアのフィードバックによって段階的に戦略を調整し、勝利を達成するのと同じである。このプロセスの唯一のボトルネックは、ループ内のアルゴリズムの知能のみである。--そして、折よく、現在超巨大ソーシャルネットワーク企業は、AIの基礎研究に何十億ドルも投資している。

詳細を説明しよう。

心理的パノプティコンとしてのソーシャルメディア

過去20年間、我々の私的・公的な生活はオンライン上へと移動していった。皆が毎日長時間スクリーンを凝視して過ごすようになっている。我々が行なうことの大部分は、デジタル情報の消費、変更や創造によって構成される状態となっている。

この長期的トレンドの副作用は、企業や政府が、特にソーシャルネットワークサービスを通して、我々について驚くべき量のデータを収集していることである。私たちが誰とコミュニケーションするか。私たちが何を言うか。私たちがどんなコンテンツを消費しているか--画像、動画、音楽、ニュースなど。ある特定の時点において、私たちがどんな気分なのか。究極的には、我々が感じるすべてのことと、我々が行うすべてのことが、どこかのリモートサーバに記録されるだろう。

このデータによって、理論上、データを収集する機関は、個人とグループの両方について非常に正確な心理的プロファイルを構築できる。あなたの意見と行動は、幾千もの類似した人々との相互相関を計算できるので、何があなたの気を引くかについて驚異的なまでの理解を達成できる。--おそらく、あなた自身の単純な内観よりも正確な予測かもしれない (たとえば、Facebookの「いいね」を使ったアルゴリズムを利用して、性格を友達よりも正しく評価できる) このデータは、新しい交際関係が始まる時期 (および誰と交際するか) を数日前に予測でき、また現在の関係が終了する時期を予測できる。あるいは、誰に自殺の危険があるか。あるいは、選挙でどの政党に投票するか、自分自身ですら未だ決めかねているうちに予測できる。そしてこれは、単に個人レベルのプロファイリング能力のみに限らない。--大きなグループは更に予測可能性が高い。集計されたデータポイントが、ランダム性と個人の外れ値を消去するためである。

心理的制御ベクトルとしてのデジタル情報消費

受動的データ収集だけに留まることはない。ソーシャルネットワークサービスは、ますます我々の情報消費をコントロールするようになっている。ニュースフィードで眼にする情報は、アルゴリズム的に「キュレーション」されている。どのような政治記事を読むか、どんな映画予告を見るか、誰と接触するか、表明した意見に誰からフィードバックを受けるのか。不透明なソーシャルメディアアルゴリズムによって決定される領域は、ますます拡大している。

長期間に渡って暴露された情報を統合した、我々が消費する情報のアルゴリズム的なキュレーションによって、このアルゴリズムは我々の生活を左右する大きな力を持つようになった。--私たちが誰であるか、私たちが何になるかを。もしも、Facebookが何年もの期間に渡って、あなたにどんなニュース (リアルであれフェイクであれ) を見せるか、誰が政治的立場を変更したかを見せるか、誰があなたの変更を見るかを決定したとしたら、Facebookは実質的にあなたの世界観と政治的信念をコントロールできるだろう。

Facebookのビジネスは、人々に影響を与えることにある。それこそがFacebookが顧客に販売しているサービスである。--顧客とは広告主であり、政治的広告主も含む。であるため、Facebookはまさにそれを行うため精細に調整されたアルゴリズムエンジンを構築している。このエンジンは、単にあなたのブランド観や次のスマートスピーカーの購入に影響を与えられるだけではない。あなたを怒らせたり幸福な気分になるようコンテンツを調整し、望みのままに、あなたの気分にも影響を与えられるのだ。選挙結果を左右することすらできるかもしれない。

最適化問題としての人間行動

簡単に言えば、ソーシャルネットワーク企業は、我々に関するすべての情報を観測し、また同時に我々が消費する情報を制御できる。そして、この傾向は加速するだろう。知覚と行動の両方にアクセスできる場合、これはAIの問題として捉えられる。人間行動に対する最適化ループを構築し始められるのだ。そこでは、ターゲットの現在の状況を観察し、いかなる情報を与えるかを調整し続ける。それはターゲットから望ましい意見や行動の出力が観察されるまで続く。AI研究の大きな下位分野--特に、「強化学習」--は、このような最適化問題を、可能な限り効率的に解決する方法を開発する分野である。ループを閉じて、対象となるターゲット--この場合は、私たち-- の完全なるコントロールを実現するのである。我々の生活がデジタル領域に移行するに従い、我々はそこを支配するものに対して脆弱になるだろう。--つまり、AIのアルゴリズムである。

人間の精神は単純なパターンの社会的操作に対しても非常に脆弱であるという事実によって、この操作はより容易になる。たとえば、以下のような攻撃ベクトルについて考えてほしい。

  • アイデンティティ強化
    これは、歴史上初めての広告から利用されてきた古いトリックであり、現在でも最初と同じように機能する。あなたが自分のアイデンティティと考える (あるいは、そうありたいと思う) マーカーに、ある見解を関連付けて提示する。すると、あなたは自動的に対象となる見解を支持するようになる。 AI最適化されたソーシャルメディア消費の文脈においては、コントロールアルゴリズムがあなたに支持させたい意見と、あなた自身のアイデンティティマーカーが同居するコンテンツ (ニュースであれ友人の投稿であれ) のみを提示し、その逆の場合は表示しないように仕向ける。
  • ネガティブな社会的強化
    もし、あなたが何らかの意見を投稿し、その意見が制御アルゴリズムによって望ましくないと見なされた場合、システムはその投稿を反対意見を持つ人 (知人、他人、ボットかもしれない) 、そして、その意見を激しく批判するであろう人のみに提示するよう選択する。これが何度も繰り返されれば、この種のソーシャルバックラッシュによって、あなたは当初の見解から離れていくかもしれない。
  • ポジティブな社会的強化
    もし、あなたが何らかの意見をポストし、その意見は制御アルゴリズムが拡散したいと望むものであった場合、システムはそれを「いいね」する人 (ボットでも可) のみに見せるように選択する。これによりあなたの信念は強化され、自分は多数派の一部であるという印象を与える。
  • サンプリングバイアス
    このアルゴリズムにおいては、システムが望ましいと考える意見を持つ友人 (あるいはメディア一般) からの投稿のみを表示する。このような情報のフィルターバブルの中に置かれ、自身の意見は実際よりもはるかに広い支持を得ているような印象を持つことになる。
  • アーギュメント・パーソナライゼーション
    あなたと似た心理的プロファイルのユーザが、特定のコンテンツを閲覧した時、どのような変化を起こしたかをアルゴリズムは観察する。そこで、このアルゴリズムは、あなた特有の見解と人生経験を備えた人間に対して、最大限の効果を持つと期待されるコンテンツを提示できるようになる。将来的には、このアルゴリズムはあなた個人に向けてあつらえた、最大限の効果を持つコンテンツをゼロから生成することすら可能になるかもしれない。

情報セキュリティの観点からは、これらは脆弱性と呼べるだろう。システムを乗っ取るために利用される、既知の攻撃手段(エクスプロイト)である。人間の精神の場合、これらの脆弱性にはパッチが当てられることはない。これらは、単に我々の機能そのものであり、DNAに書き込まれている。人間精神はスタティックで脆弱なシステムであり、より賢くなるAIアルゴリズムからますます攻撃を受けるようになるだろう。それらのアルゴリズムは、我々の行動と信念の両方を同時に完全に観察しており、我々が消費する情報に対する完全なコントロールを持つようになる。

現在の光景

注目するべきは、AIアルゴリズムを通じた情報摂取によって引き起こされる大衆操作 --特に政治的コントロール-- においては、必ずしも非常に高度なAIを必要としないということだ。自己認識を持つような超知能AI抜きでも恐しい脅威をもたらしうる。--現在のテクノロジーでさえ十分だろう。ソーシャルネットワーク企業は何年間もこの活動に取り組んできており、目覚しい成果を挙げている。これらの企業の目的は、ユーザの「エンゲージメント」を最大化して商品購入への意思決定に影響を与えることだけで、実際にはユーザの世界観に影響を与えるなどというつもりはないのかもしれない。けれども、SNS企業が開発したツールは、既に敵対的な国家主体によって政治目的でハイジャックされている。-- 2016年のイギリスのEU脱退に関する国民投票、あるいは2016年のアメリカ大統領選挙で見られたように。これは既に現実なのである。けれども、もしも大衆操作が既に--理論上は--今日でも可能なのだとしたら、なぜ世界は未だそれを放置しているのだろうか?

一言で言えば、AIが未成熟だったからだと思う。しかし、それは変わりつつあるかもしれない。

2015年まで、業界全体のあらゆる広告ターゲティングアルゴリズムは、単なるロジスティック回帰で実行されていた。実際のところ、今日でさえ大部分においてそれは正しい。--ただ巨大プレイヤーだけが、より先進的なモデルに切り替えている。ロジスティック回帰はコンピュータ時代以前のアルゴリズムであり、パーソナライゼーションに使用可能な最も基本的な手法の1つである。これがオンラインで眼にする広告の多数が絶望的なまでに的外れな理由でもある。同様に、敵対的な国家主体が世論を動かすためにソーシャルメディアのボットも、AIを使用しているものはほとんどない。ボットは極めて原始的である。今のところは。

機械学習とAIは、近年著しい進歩を遂げた。そして、この進歩はようやくターゲティングアルゴリズムソーシャルメディアのボットへの導入が始まったばかりである。ディープラーニングがニュースフィードと広告ネットワークに進出し始めたのは、2016年である。次が何であるか誰も知らない。Facebook社が、AI分野のリーダーになるという明確なゴールを掲げてAI研究に莫大な額の投資を投げていることは、非常に印象的である。自社製品がソーシャルニュースフィードである場合、果たして自然言語処理と強化学習をどのように使用するだろうか?

我々が眼にしつつある企業は、およそ20億人の詳細な心理的プロフィールを構築し、多数の人の主要なニュースソースとして機能しており、巨大な規模の人間の行動操作実験を行ない、かつて世界に存在しなかった最高のAI技術の開発を目論んでいる。個人的に、これには恐怖を感じる。更には、Facebook社は最も不安な脅威ではないかもしれないと考えてほしい。例えば、中国による情報コントロールの利用は、前例の無い形態の全体主義国家を可能たらしめている。たとえば、「ソーシャルクレジットシステム」などだ。多くの人々は、大企業が現代世界のあらゆる権力を持つ支配者であるかのように考えるのを好むようだが、企業が持つ力は政府に比べれば矮小である。もしも、我々の精神に対するアルゴリズム的コントロールを持ったとしたら、政府は企業より最悪のアクターとなるかもしれない。

それでは、我々は何ができるだろうか? どのように自分自身を守れば良いのだろうか? 技術者として、ソーシャルニュースフィードを通した大衆操作のリスクを低減するために何ができるだろう?

コインの裏側:AIが我々にできること

重要なことは、この危険性の存在は、すべてのアルゴリズム的キュレーションが悪である、あるいはすべてのターゲット広告が悪であると意味するのではないということだ。まったく逆である。両者とも、価値ある目的のために貢献できる。

インターネットとAIの台頭に従って、情報摂取を担当するAIの利用は不可避のトレンドであるというだけではない。--むしろ、望ましいものでさえある。我々の生活がますますデジタル化され接続されていくに従い、また世界がますます情報集約的になるにつれて、世界へのインターフェイスとして機能するAIが必要とされるだろう。長期的には、教育と自己啓発がAIの最も影響力あるアプリケーションとなるかもしれない。

そしてこれは、AIニュースフィードによる心理操作とは、ほとんど完全な正反対のダイナミクスを通して実現されうる。アルゴリズム的な情報マネジメントは、人々を支援する巨大なポテンシャルを秘めている。自身のポテンシャルを発揮するための力を与え、社会をより良くマネジメントするための支援ができる。

問題は、AI自体ではない。問題はコントロールである。

ニュースフィードのアルゴリズムによるユーザの操作を許容して、政治的意見を揺さぶったり、最大限に時間を浪費させるなど不明確な目標を達成するのではなく、アルゴリズムを最適化する目標の設定をユーザに任せるべきである。ここで話しているのは、結局のところ、あなたのニュース、あなたの世界観、あなたの友達、あなたの人生についてである--テクノロジーがあなたに及ぼす影響は、当然あなたの管理下に置かれるべきであろう。情報マネジメントアルゴリズムは、我々自身の関心と対立する目的をもたらす神秘的な力となるべきではない。そうではなく、我々の手のなかにある道具であるべきだ。我々自身の目的のために使用できる道具であり、エンターテインメントではなく、教育や個人のための道具である。

以下はアイデアである--重大な最適化を含むいかなるアルゴリズム的ニュースフィードも、以下のような特長を持つものでなければならない。

  • 透明性を保ち、そのフィードアルゴリズムが現在どんな目的のために最適化されているか、またそれらの目的が情報摂取にどんな影響を与えているかを伝える。
  • 直感的なツールを提供し、これらの目的を自分自身で設定できる。たとえば、ニュースフィードを、学習や個人的成長など特定の方向へ最大化できるように設定可能とする。
  • どれだけの時間をフィード上で過ごしたか、常時目に見える形で表示する。
  • どれだけの時間をフィード上で過ごすか、管理し続けられるツールを持つ。たとえば、日次の目標時間など。時間を超過するとアルゴリズムはフィードから離れるように促す。

我々はAIを人間に資するよう構築するべきであり、企業の金銭的収益や政治的利益のために人間を操作するべきではない。もしも、ニュースフィードのアルゴリズムが、カジノ運営者や扇動者(プロパガンディスト)のようにふるまうことを止めたらどうなるだろうか?その代わりに、メンターや良き図書館員に近づいていくとしたら? あなたの心理--また、何百万人もの類似の人々の心理--に対する鋭い理解を用いて、あなたの目標と成長のために最も合致した、次に読むべき本をレコメンドしてくれるとしたら?

あなたの人生のための、ある種のナビゲーションツール -- あなたが行きたいところに行くために、経験空間で最適な道順を案内できるAIである。数百万の人生が展開されているシステムのレンズを通して、自分自身の人生を眺めることを想像できるだろうか?または、あらゆる本を読んだシステムと一緒に本を執筆することは? あるいは、現在の人類の知識全範囲を視野に入れたシステムと共同研究を行うことは?

あなたと交流するAIに対して完全なコントロールを持つ製品においては、より洗練されたアルゴリズムは、脅威ではなく正味のポジティブとなり、あなた自身の目標を効率的に達成できるようになるだろう。

フェイスブックの構築

要約すれば、未来においてはAIが世界--デジタル情報で作られた世界へのインターフェイスとなるだろう。これは個人に自身の人生に対する大きな力を与えるものにも、逆に完全に力を奪うものにもなりうる。不幸にも、ソーシャルメディアは現在間違った道に進んでいる。けれども、まだ十分方向を変えられる時期である。

IT業界として、ユーザ自身が自分に影響を与えるアルゴリズムに責任を持てるような種類のプロダクトと市場を発展させる必要がある。AIを利用して、金銭的収益や政治的利益のためにユーザの精神をエクスプロイトするのであってはならない。我々は反Facebook的な製品に向けて努力する必要があるのだ。

遠い将来において、そのような製品はおそらくAIアシスタントの形を取るだろう。デジタルメンターはあなたを支援するようにプログラムされており、あなたとのインタラクションにおいて追求する目的は、あなたがコントロールする。そして現在のところ、検索エンジンは、メンタルスペースのハイジャックを目論むAIとは異なった、初期の原始的なAIドリブン情報インターフェイスの実例と見なせるだろう。検索は、特定の目的を達成するために意識的に使用する道具である。人々に何を見せるか選択する、パッシブな常時オンのフィードではない。ユーザは、検索エンジンが何をするべきかを伝える。そして、ユーザの時間を最大限に浪費しようとするのではなく、検索エンジンは質問から解答へ、問題から解決策へ至るまでの時間を最小限に抑えようとする。

読者はこう思うかもしれない。検索エンジンも私たちと私たちが消費する情報の間のAIレイヤーであることに変わりはないのだから、検索エンジンも結果にバイアスを掛けて私たちを操作しようとたくらむ可能性があるのではないだろうか、と。イエス。そのリスクは、あらゆる情報マネジメントアルゴリズム潜在的に存在している。けれども、ソーシャルネットワークとの際立った違いは、検索エンジンの場合市場インセンティブは実際のユーザのニーズと合致しているため、可能な限り関連性が高く客観的なものになるよう作られているということだ。もしも、検索エンジンが最大限に役に立たない場合、ユーザが競合製品へ移動することには実質的に何の摩擦もない。更に重要なことは、検索エンジンソーシャルネットワークよりも相対的に小さな心理的攻撃面しか持たないのである。この記事において描き出した脅威は、プロダクトが次のような特徴を持っている必要がある。

  • 知覚と行動の両方:そのプロダクトは、提示する情報 (ニュースや友人の投稿) のコントロールを持つだけでは不十分である。ユーザの「いいね」、チャットメッセージやステータスの更新を通して、ユーザの精神状態を「知覚」できる必要がある。知覚と行動の双方が無ければ強化学習ループは構築できない。読み取り専用のフィードは、潜在的には古典的なプロパガンダの道具としてのみ危険である。
  • 生活の中心性:そのプロダクトは、少なくとも一部のユーザに対する主要な情報源でなければならず、典型的なユーザが一日数時間使用するようなものでなければならない。補助的で特殊なフィード (たとえば、Amazonの商品リコメンド) は、深刻な脅威ではない。
  • 極めて広範で効果的な心理的制御ベクトルを実現する、ソーシャルな要素 (特に、社会的強化)。 個人的ではないニュースフィードは、我々の精神のごくわずかな部分しか利用できない。
  • ユーザを操作し、プロダクト上でユーザが過ごす時間を増加させようとするビジネス上のインセンティブ。

ほとんどのAIドリブン情報マネジメントプロダクトは、これらの必要条件を満たさない。ソーシャルネットワークは、その一方で、リスク要素の危険な組み合せである。技術者として、我々はこれらの特徴を持たないプロダクトへと向かうべきである。また、これらすべてのリスク要素の組み合せであるプロダクトには反対するべきだ。もしも、危険な乱用の可能性がある場合には。

ソーシャルニュースフィードではなく、検索エンジンとデジタルアシスタントを構築せよ。リコメントエンジンは、透明で、設定可能で、建設的なものにしなければならない。スロットマシーン的に「エンゲージメント」を最大化し、人間の時間を浪費させるものであってはならない。UI、UXおよびAIの専門知識を活用して、アルゴリズムに対する優れた設定画面を構築し、ユーザが自分自身の意図通りに使用できるプロダクトを作るべきだ。

そして重要なことは、ユーザに対してこれらの問題を教育しなければならない。ユーザが心理操作的なプロダクトを拒否できるように、またテック業界のインセンティブとユーザのインセンティブを一致させるために、十分な市場の圧力を生み出すべきである。

結論:目前にある分かれ道

  • ソーシャルメディアは、個人とグループ両方の強力な心理的モデルを構築するために十分なデータを持っているだけではない。我々の情報摂取に対するコントロールを増しつつある。
  • 十分に発達したAIアルゴリズムは、我々の精神状態に対する知覚、我々の精神状態に対する行動の両方に対してアクセスし、連続的なループにおいて使用することで、信念と行動を効果的にハイジャックできる。
  • 情報へのインターフェイスとしてAIを使用すること自体は問題ではない。そのようなAIインターフェイスは、もしうまく設計されていれば、我々全員に巨大な利益を与え、力を与える可能性を持っている。キーファクターは、ユーザが完全にアルゴリズムの目的をコントロールし続けられること、そのツールを使って自分自身の目標を追求することである (検索エンジンを使う方法と同様である)
  • 技術者として、我々はコントロールを奪うプロダクトを拒否する責任がある。そして、ユーザが責任を持つ情報インターフェイスを構築する努力をしなければならない。AIを、ユーザを操作するツールとして使用してはいけない。そうではなく、ユーザ自身の環境に対して大きな力を与えるツールとしてAIを提供せよ。

一方の道は、本当に恐ろしい場所へと繋がっている。もう一方は、より人道的な未来に繋がる。より良い選択を取る時間はまだ残されている。もしも読者がこれらのテクノロジーに対して働いているのなら、この点に留意してほしい。あなたは悪意を持っていないかもしれないし、単に気にしないかもしれない。あなたは、皆の未来よりも、単にRSU*1の価格を評価するかもしれない。

けれども、気にしようとしまいと、あなたはデジタル世界のインフラを形作っているため、あなたの選択は私たちすべてに影響を与えるだろう。そして、最終的にはその責任を負うかもしれない。

Deep Learning with Python

Deep Learning with Python

*1:訳注:譲渡制限株式。従業員へのインセンティブとして与えられる自社株。