翻訳：シンギュラリティは来ない〜進歩の速度に関して - シンギュラリティ教徒への論駁の書

この文章は、Google社のソフトウェアエンジニア、機械学習研究者 François Chollet氏が、2012年にサイトSphere Engineeringのブログで公開したエッセイ "The Singularity is not coming On the speed of progress" の翻訳です。なお、原文はリンク切れのためアーカイブを用いました。

シンギュラリティは来ない

もしもあなたがテクノロジーに精通しているならば、おそらくシンギュラリティのアイデア、レイ・カーツワイルやヴァーナー・ヴィンジのようなフューチャリストによって主張されている考えについて、既に出会っていることだろう。簡単に説明しておくと、我々が人間よりも賢い人工知能 (AI) を構築できるようになると、このAIは自分自身の設計を改善できるようになり、それが続くことによって、最終的には制御不能の「知能爆発」を引き起こし、予測不可能な技術の進歩をもたらすという仮説である。(この仮説の提唱者たちは、シンギュラリティ後には機械と人間が融合し、永遠の生命を得て、精神をコンピュータにアップロードできるようになるとも予測している。)

更には、これは遠い未来の革命のようにも思えるかもしれないが、科学の「指数関数的な」成長速度のために、数十年以内に発生すると言われている。(しばしば2040年と言及されるが、しかしもっと先延ばしされることもある) シンギュラリティの到来が、ちょうど提唱者たちが寿命を迎える直前に来ると予測されていることは、無視するべき奇妙な偶然であろう。*1

意義あり、裁判長どの！科学者として、私は科学の進歩が指数関数的であるという主張は極めて疑わしいと考えている。私自身の専門領域を見ても、あるいは私が多少知っている他の領域でも、おおよそ直線的な進歩が観測できる。そして、研究領域の創設にまで遡ったとしても、典型的には直線的な進歩速度を取る。

指数関数的進歩の主張は、通常、極めて疑わしい指標によって支えられている。たとえば、合衆国における年間の特許数 (本質的に、科学の進歩とは全く無関係な指標である) のように。*2

そして、人工知能の研究に携わる者として、知能の定義にまで戻って考えると、私は「知能爆発」の考えは全く意味を成さないと考えている。しかし、私は今のところその問題について議論するつもりはない。シンギュラリティの考え方に反論するために必要ではないからだ。

仮説的な自己改善型のAIは、知能の爆発ではなく、即座に知能の停滞を起こすだろう

ここでは、私は科学の進歩は実際のところ線形であると主張したい。過去の研究成果を現在の研究に投資したにも関わらず(「収穫加速」)、また、科学者と技術者の人数の指数関数的な増加(リソース爆発)にも関わらずである。

また、私は [主観的な] 意見の領域における議論を望まないため、科学の進歩に関する簡単な説得力のある数学的モデルを提案したいと考えている。同じモデルを用いて、私は仮説上の自己改善型AIは、その研究の進捗と知能が指数関数的に爆発するのではなく、即座に停滞することを指摘したい。ただし、指数関数的に増加するコンピュータリソースを考慮すれば、この場合は線形の進歩を取る。(更に良い場合は、より高速に進歩する場合もある)

進歩の問題

我々が科学の進歩に対して費したリソースは、歴史を通して爆発的に増加している。世界の科学者の人口は、1500年から1900年にかけておよそ50年ごとに倍増した。そして、20世紀にも指数関数的なペースで増加が続いており、50年ごとに10倍の速度で増加してきたと考えられている。(しかし、その成長が今なお続いているかは不明であり、指数関数的であっても明らかに速度は低下している。) 同様に、論文や特許の数も、過去数十年間に指数関数的に増加している。科学者1人当たりが出版する論文数はそれほど大きく変化することはないと考えられるため、驚くべきことではない。

科学者の脳の数の増加に加えて、科学者が使用するコンピュータリソースも、過去50年間 (ムーアの法則に従って) 指数関数的に成長している。

更には、新たな科学的発見は、科学研究の速度をいくらか加速させる。なぜならば、新たな発見は将来の研究者に対して当該分野のより良い理解をもたらし、新たなツールを与えるからである。これが「収穫加速」である。科学者は、巨人の肩に立つことができるのだ。

ところが、上記全ての要因にも関わらず、世界の理解に対して我々が成し遂げたことを見て、単なる規模ではなく現実のインパクトを見れば、科学の進歩は概して線形であるという印象を受けるだろう。

1940年代と比べて、1990年代には物理学が50倍向上したとは言い難い。物理学の1940年〜1990年における進歩は、実際のところ、1890年〜1940年の進歩と比べてごくわずかしか重要ではないかもしれない。

コンピュータ科学のような新しい、超高速の成長分野においても、現在の最先端アルゴリズムの大部分が開発された時期は60年代から70年代にまで遡る。コンピュータは1960年代よりも10万倍高速化しているかもしれないが、我々の知識は数倍程度増えたに過ぎず、アルゴリズムのライブラリも数倍程度改善したに過ぎない。同様に、神経科学とAI研究も、50年代以来、顕著な低速の直線的成長しか見られない。

それでは、指数関数的なリソースの成長と、実際に観察された線形の進歩の間にある巨大な溝をどのように説明すれば良いだろう。何が起こっているのだろうか？

科学について広く認識されている実証的事実は、ある分野においてインパクトを与えることが、時間の経過に伴って、指数関数的に困難になるということだ。たとえば、量子力学の主要な発見は、1930年代に全て刈り取られた。ニュートン力学について語りうるほとんどのことは、ニュートン自身によって言われている。現在の情報理論の研究者は、どれほどの長く実りのあるキャリアを過ごしたとしても、この分野自体を創設した1948年のたった1つの論文*3ほどの影響を与えることは決してできないだろう。例はいくらでも挙げられる。

実際のところ、科学の分野で本当に重要な業績を上げる唯一の方法は、新しい分野または下位分野を創設することである。--研究の原理そのものを強化することによって、潜在的に、巨大な新しい発見を解放することができる。想像力は知性を凌駕し、いつもハードワークを要するのだ。

その理由は、研究分野の創設者と最初の仲間が、大きな影響のある「取りやすい低いところにある果実 (low-hanging fruit)」を刈り取ってしまい、主要な発見が行なわれた後では、次のステップに到達するための努力量は何倍にも増加するからである。あなたが研究分野に参加するころには、1万人の先駆者が既にその分野でキャリアを築いており、あなたの研究による影響は低いものになっている。そして、あなたの研究テーマは、確実に [ごく小さな専門領域に特化した] きわめて分かりづらいものとなるだろう。

単純なモデルを用いて、新たな発見の難易度が真に指数関数的に増加するかを確認してみよう。(逆に、難易度が変わらないと仮定した場合、発見の影響は指数関数的に低下する。--両者は厳密に等価である) もしも、読者諸君がこれを既に理解できているのであれば、次の節はスキップしてもらって構わない。

科学は指数関数的に困難になる

新たな科学分野における潜在的な発見 D の有限集合を考える(100の発見があるとする)。各々の潜在的な発見は、2つの極値 (0〜100の間のランダムな整数) の間にある無作為な一様分布に従う「インパクト」の値と、ランダムな一様分布(こちらも0〜100の間とする)に従う「発見に必要な努力」の値を有する。

ここで私が定めた値は重要ではなく、読者諸君が問題を可視化できるようにするためのただの仮定である。私の選択に何か意味があるとするならば、それはランダムな一様分布を仮定したことだろう。それは、私は実証的なデータを持ちあわせていないからである。純粋なランダム以外の分布を仮定することは、少々乱暴な仮定だろう。

ここで科学者集団を考え、個々の科学者はそれぞれが等しい値の「努力値」を持つとする。「努力値」の値は、彼らのキャリアの中で科学的発見に対して使用する数値であり、100であると仮定する。科学者たちは連続してやって来て、それぞれは自身が費せる努力の値の中で最大のインパクトを残そうと試みる。発見に要する努力値の合計は、個々人の努力値以下でなければならないとする。もちろん、同じ発見は2度繰り返すことはできない。

さて、どのような結果が得られるだろうか。Matlabを使って、異なるランダムな初期値の分布で何回か実行し、平均値を取ろう。なぜかと言えば、私はMatlabが好きだからだ!*4

これが100回の試行から得られた平均値である。

f:id:liaoyuan:20120810133520j:plain

各研究者の発見によるインパクトは、指数関数的に減少する。研究分野を創設した最初の研究者は、平均801ポイントの「インパクト値」を得て、第二世代は310ポイント、第三世代は246ポイントとなる、などなど。

そして、ここでは潜在的な発見数がいくつであろうと、100でも100万でも、また、研究者が費やす努力の値がいくつであろうとも大した違いはない。というのは、これらのパラメーターの変化は、単にグラフの変化の速度を変えるに過ぎないからだ。(ただし、「潜在的な発見数」が有限と無限の場合では異なる話になる。)

ここまでの結論：ある分野における科学的進歩は、経験的に知られている通り、指数関数的に困難になる。当然、科学者一人あたりの論文数 (または特許数、ただし流行によって増加する傾向がある) は、ほぼ一定である。ほとんどの場合、研究分野の成熟に従って論文のテーマはますます狭く、複雑になる傾向がある。こちらも、明白な経験的傾向がある。

本質的には、これが1つの領域における科学的進歩が線形になる理由である。収穫加速と指数関数的な科学研究のリソースは、科学研究の困難性の増加を単に埋め合わせるためだけに費されてしまう。2つが相殺されることで、科学の進歩は線形の成長を取る傾向がある。

補遺：実際上は、科学分野 (および潜在的な発見数) は固定されているわけではない。逆に、研究原理は定期的に進化し、当該分野の新しい潜在的な重要な発見を解放する。(あるいは、新しい下位分野、それどころか完全に新しい分野が花開くこともある。たとえば、コンピュータ科学のように) そのため、私がここで提案したシンプルなモデルに対して反論があるかもしれない。私はこの記事の最後で、この反論へ答えることにしようと思う。

それでは、次は自己改善型AIについてのシンプルなモデルを検討しよう。

自己改善AIの場合

ある仮説的なAIを考えてみよう。そのAIは、人工知能を研究し、知見を自分自身の知能に組み込むように、自分のコードを絶えず書き直しているとする。そのAIは、自分自身の過去のアイデンティティにはさほどこだわらず、少くとも、新しい発見をすることがより重要であると考えているとしよう。自分自身のソースコードを書き直すのはちょっと変だと思うかもしれないが、まぁともかく、報酬システムに関連したアイデアだと捉えてほしい。

AIの最初の発見にはΔTの期間を要し、その結果として「知識の量」(または「インパクト」) K がもたらされる。そして、新たな発見にって次の発見までに要する期間の加速を可能にする。(「発見のための努力」の量は等しいとする) すると、次の発見には、ΔT/(ft*K) の時間を要する。つまり、インパクトが等しいとすれば、ft>1の場合、発見の時間は指数関数的に減少する。(「情報爆発」のシナリオ)

また、発見のインパクトは (努力の量が等しいとして) 指数関数に減少する系列としてモデル化しよう。上記の小さなモデルで確認した通りである。fi > 1とする。

そこで、N-1番目の発見の後、このAIによるインパクトの合計値は以下の通りとなる。

Σ(1, N-1) K/(fi^n) ~ C (定数)

Nが十分に大きい場合、N番目の発見に要する時間は ΔT/(C*ft)と等しく、その値は K/(fi^N) となる。つまり、この時点での進歩率は以下の通り。

(インパクト)/(研究時間) = C*K*ft/(ΔT*fi^N)

結論：AIの研究による進歩率は、不満を抱えた大学院生のように、指数関数的に0へと収束する。レイモンド [カーツワイル] 式の知能爆発は存在しない。(補遺：もしもAIによる研究が必要とするリソースが指数関数的に増加すると仮定すれば、進歩率は一定となり線形の発展を取る。ちょうど科学一般の進歩率のように。)

また、これは漸近的な挙動である。従って、潜在的な「大きな」発見の数が十分に多い場合、カーブの開始時では局所的に指数関数的な進歩速度が見られることがある。ところが、長期的には進歩率は指数関数的に低下する。

実際、これは直感に合っている。もしも、知能に関する研究において発見できることが限られているという事実を認めるのであれば。

パラダイムシフトと想像力

先に私が指摘した通り、現実の世界では、科学の研究領域のパラダイムは時と共に広がっていく傾向にある。つまり、研究者が「選択」できる潜在的な発見の数は増加することを意味する。パラダイムシフトは、研究の領域を広げるのである。たとえば、トランジスタの発明は、トランジスタの使い方についての完全に新しい研究分野を創設した。あるいは、量子力学の基礎によって新たな分野が創設された、などなど。

私は、このようなパラダイムシフトについても、科学的発見に関するモデルと同様にモデル化できると主張したい。再帰モデルである。まずは、有限個の潜在的なパラダイムシフトのプールを考え、我々はパラダイムシフトを発見するために指数関数的に増加するリソースを費やすとする (「リソース」は、ここでは「研究者」を意味する。それぞれの研究者がすぐに使用可能な発見を目指すからである)。そして、ここで起こることは、1) シフトの量はリソースの線形関数であるため、それ以前に出版された論文の量のように、時間に従って爆発する 2) それぞれのシフトの真のインパクトは、概して指数関数的に減少していく。その結果、パラダイムシフトのインパクトは線形に増加していく… その結果、シフトによるインパクトは線形に成長し、潜在的な科学的発見のプールは、単に直線的に増加してくことを意味する。このアイデアを説明するグラフは以下の通り。

f:id:liaoyuan:20120810141612j:plain

パラダイムシフトによって解放された個々の潜在的な研究分野の範囲内において、所与の指数関数的なリソースによる進歩は線形となる。範囲の拡大も、指数関数的なリソースを与えられた場合、同様に線形である。

それでは、この結果をどのように考えれば良いだろう？

科学の進歩は、必要とするリソースが爆発的に拡大するため、線形である。そして、それゆえ、我々が費やすリソースが減少するに従って、進歩のペースは低下する。覚えておいてほしい。

また、ちょっとしたアドバイスを：研究者としては、あなたは発見における第二のレベル、パラダイムのレベルで働く必要がある。なぜならば、インパクトの意味で非常に効率的だからだ。論文指導者から受け継いだ古いパラダイムの中で、ささいな新規性を発見するために多大なエネルギーを費してはならない。広い範囲から完全に新しいアイデアを発見するべきだ。想像力を持て!

知能は、単なるスキルであり、より正確に言うならば新しいスキルを得るための能力によって定義されるメタスキルであると言える。けれども、想像力はより強力なスーパーパワーである。この世界にインパクトを与えるためには、知能と努力、あるいは運だけに依存してはいけない。それはうまく行かないだろう。結局のところ、世界中に存在する知能と努力の総量は、個人の知能と努力と比べて何百万倍も多いのだから。あなたは大河の一滴の水にすぎない。けれども、想像力を働かせれば、美しく比類なき雪の結晶*5にもなることができるだろう。知能と努力は、単に想像力に奉仕するためのものにならなければならない。常識の範囲外へ出て、常識を壊し、研究原理自体を揺さぶるのだ。