シンギュラリティ教徒への論駁の書

"Unending exponential growth? What drugs are those people on?" - Linus Torvalds

翻訳:知能爆発の不可能性

この文章は、Google社の機械学習研究者 François Chollet氏がサイトMedium上で公開したエッセイ "The impossibility of intelligence explosion" の翻訳です。

知能爆発の不可能性

1965年、I.J.グッドは、人工知能 (AI) に関連して、「知能爆発」に関する考えを初めて提示した。

超知能機械を、いかなる賢い人間もはるかに凌ぐ知的な機械であると仮定する。そのような機械の設計も知的活動に他ならないので、超知能機械はさらに知的な機械を設計することができるだろう。それによって、必然的に知能の爆発的発展が起こり、人類の知能は置き去りにされるだろう。ゆえに、最初の超知能機械が人類の最後の発明となる。その機械が、我々に機械を制御し続ける方法を教えてくれるほどに素直なものであると考えるならば。

数十年後、「知能爆発」の概念 --「超知能」の突発的な出現を招き、偶発的な人類の終焉をもたらす-- が、AIコミュニティを支配している。著名なビジネスリーダーが、核戦争や気候変動よりも大きなリスクであると主張している。機械学習分野の一般的な大学院生も、「知能爆発」を支持している。2015年にAI研究者に対してメールで行なわれた調査では、回答者の29%は知能爆発が「ありえる (likely)」または「非常にありえる (highly likely)」と答えた。さらに、21%は「深刻な可能性がある(serious possibility)」と考えていた。

知能爆発説の基本的な前提は、近い将来において、人間の知能をわずかに上回る汎用的な問題解決能力を備えた、最初の「シードAI」が創造されるというものだ。このシードAIは、より優れたAIの設計を開始し、再帰的な自己改善ループを開始するだろうと考えられており、即座に人間を置き去りにして、短時間のうちに桁違いに人間の知能を追い抜いていくだろうと考えられている。この理論の提唱者たちは、超知能を一種の超能力のように捉えており、周囲の環境を変えてしまう超自然的な能力に近いものと考えているようだ。 --たとえば、サイエンスフィクション映画『トランセンデンス (2014)』 に見られるように。超知能は、それゆえ万能に近い能力を持つことが想定されており、人類の生存に対する脅威となると考えられている。

この種のサイエンスフィクション的な物語によって、AIのリスクと規制の必要性に関する現在進行中の公的な議論が、危険なまでに歪められている。この記事で、私は知能爆発は起こりえないと主張したい。 --つまり、知能爆発の考え方は、知能の性質と再帰的な自己改善システムの振る舞いに関する深刻な誤解に由来しているのだと。私は、知能システムと再帰的システムの具体的な観察に基づき、この誤解を指摘してみたい。

知能についての誤解に由来する誤った推論

知能爆発の背後にある推論は、1960年代~1970年代の初期の人工知能理論と同じく、一見正しく見えるが誤っている。そこでは、「知能」が完全に抽象的な形で捉えられ、コンテキストから切り離されており、そして、知能システムと再帰的自己改善システムについて現に存在する証拠を無視している。

そのような方法で知能を考える必要はない。我々は、結局のところ、文字通りの知能システム(ヒトも含め)に囲まれた惑星に居るのだから、単にそれら [訳注:生物やヒト] の知能を観察しそれを学ぶことによって、手元の質問に答えることができる。根拠のない、循環的な思弁的思考に頼る必要はない。

知能とその自己改善的な性質の可能性について議論するためには、まずその背景とコンテキストを示す必要があるだろう。我々が知能に関して議論するとき、我々は何を語っているのだろうか。知能の正確な定義は、それ自体が [難しい] 課題である。知能爆発の物語では、知能とは「個々の知的エージェントが示す汎用的な問題解決能力 (the general problem-solving ability displayed by individual intelligent agents)」--現在の人間の脳によるものであれ、将来の電子的な脳によるものであれ、と等しいとされている。これは完璧な定義とは言い難いものではあるが、ここを出発点とし、後でこの定義を拡張することにしよう。

知能は状況依存的である

知能爆発の理論において最初に私が検討したい問題は、知能とはより大きなシステムの一部分であり、そこから切り離すことができないものであるという認識を欠いていることである。知能というものを「瓶の中の脳」であるかのように捉える見方は、置かれた状況とは独立した知能が存在しうると見なしている。[しかし、] 脳は単なる生物学的な一つの組織に過ぎず、そこには知能の本質といった何かは存在しない。脳を超えて、人間の身体と感覚--人間の感覚運動のアフォーダンス--は、人間の精神の根本的な一部をなしている。周囲の環境もまた、人間の精神の一部なのである。人間の文化も、人間の精神の基本的な部分なのだ。身体や感覚や環境や文化は、結局のところ、人間の思考が由来する場所なのである。知能を、知能が発揮されるコンテキストから分離することはできない。

とりわけ、「汎用的な」知能といったものは存在しない。抽象的なレベルにおいては、この事実は「ノーフリーランチ定理」を通して知られている。--この定理は、いかなる問題解決アルゴリズムであっても、あらゆる問題について他のアルゴリズムを上回ることはできず、ランダム選択アルゴリズムの性能を下回る問題が存在することを述べている。知能が問題解決アルゴリズムであるのならば、それは特定の問題に対する側面を通してのみ理解しうる。より具体的には、我々が知る全ての知能システムは極めて領域特化したものであるという点から、経験的に観察できるだろう。今日構築されているAIの知能は、極めて狭いタスクに対して特化したものである--囲碁を指したり、画像を1万のカテゴリに分類することなどだ。タコの知能は、タコであることの問題に特化している。人間の知能は、人間であるという問題に特化しているのだ。

もしも、新規に創り出された人間の脳を、タコの身体に移植して、海底に放したら何が起こるだろうか? それは、8本の脚を使うことを学べるだろうか? 数日後にも生き残っているだろうか? この思考実験を実施することは不可能であるが、人間や動物の認知機能の発達は、ハードコーディングされた、生得的なダイナミクスによって引き起こされることが知られている。人間の赤子は、一連の高度な原始反射と生得的な学習のひな形を備えて誕生する。それによって初期の感覚運動的な発達が促される。また、それらは人間の感覚運動空間の構造と根本的に絡み合っているのである。

ヒトの脳にはハードコーディングされた概念が存在しているため、手と身体を使って物を掴み、口を使ってものを吸い、眼を使って視覚的に物体を追うこと (前庭動眼反射) が可能となる。このような生得的に定められた機能は、人間の知能が身体を制御するための前提条件なのだ。たとえば、チョムスキーは、非常に高いレベルの人間の認知機能、言語獲得の能力などでさえ生得的なものであると、非常に説得的に主張している。

同様に、タコはタコの身体をどのように使用し、タコの環境下において生き残る方法を学習するための、独自の認知的プリミティブが備わっていると想像できる。人間の脳も、人間の状況に超特化したものであり、社会的行動、言語や常識などへ特化した拡張可能性を備えているのである。同様に、タコの脳もタコの行動に超特化している。タコの身体に適切に移植された人間の赤子の脳は、タコ固有の感覚運動空間を十分に制御することができず、すぐに死ぬだろう。

もしも、ある人間 --脳と身体-- を、我々が知っている人間の文化が存在しない環境に置くと、何が起こるだろうか。獣の子モーグリ*1のように、狼の群れに育てられた子供は、犬の兄弟たちよりも賢く成長するだろうか? 私たちと同じくらい賢くなるだろうか? そして、もし赤子のモーグリと赤子のアインシュタインを交換したら、彼はやがて宇宙の大統一理論を発展させるように自分で学び始めるだろうか? 実証的な証拠は比較的少ないものの、我々が知る限りにおいて、人間の文化の生育環境の外部で育った野生児たちは、人間としての知能を発達させることはない。誕生間もない時期から野生で飼育された子供は実質的に獣と化してしまい、文明世界へ戻ったとしてももはや人間としての行動や言語を獲得することはできない。サタデー・ムシヤン (Saturday Mthiyane)という、南アフリカでサルによって育てられ5才で発見された子供は、大人になってもサルのように行動し続けた。--四つん這いで飛んだり歩いたりし、言語を話すことはできず、調理済みの食事を食べることを拒否した。野生児のなかでも、最も発達が進む時期に人間社会と何らかの接触を保っていた子供たちは、多少は再教育の見込みがあるようだ。けれども、完全に問題の無い大人の人間へと成長できることはほとんどない。

知能が、特定の感覚運動のモダリティ*2、特定の環境、特定の育成方法、そして解決するべき特定の問題と根本的に結び付いているのならば、単に脳を調整することでエージェントの知能を任意に増強できるとは考えられない。工場の製造ラインで、ベルトコンベアの速度を上げることによって生産量を増加させることとは、全く異なるのだ。知能爆発は、精神、感覚運動のモダリティ、そして環境との共進化によってのみ発生する。もしも、人間の脳の機能が問題解決能力の決定的な要因であるならば、平凡な人間を超える非常に高いIQを備えた特殊な人間は、通常の人間社会のはるか外側で暮らし、かつては解決不可能と思われていた問題を解決することができ、世界を征服してしまうかもしれない。 --ちょうど、人間より優れたAIがそんなことをするかもしれないと恐れられているように。ところが、実際のところ、非凡な認知能力を備えた天才たちは、通常、圧倒的に平凡な生活を送っており、ごくわずかしか特筆すべきことを成し遂げていない。ターマン*3は記念碑的著書『Generic Studies of Genius』において、非凡な才能を持っている観察対象者たちは、「警察官、船乗り、書類整理係のようなつまらない」職業に付くことを求めた、と記述している。IQが150を上回る人は現在約700万人存在し、その人たちの認知能力は他の人類の99.9%よりも優れている。ほとんどの場合、彼らの名前をニュースで耳にすることははないだろう。実際に世界を征服しようと目論む者のうちで、非凡な知能を備えている人はごく僅かである。ちょっとした逸話を挙げておこう。ヒトラーは高校を中退しており、ウィーン美術アカデミーの入試に落ちている。--しかも、2度も。

難しい問題に対してブレイクスルーを遂げる人たちは、状況、性格、教育、知能を組み合わせることによってそれを成し遂げるのである。また彼らは、前任者たちの成果を漸進的に改善することによって突破口を作るのだ。成功 --眼に見える知能-- とは、適切な時期に偉大な問題に出会うための十分な能力のことである。多くの特筆するべき問題解決者は、それほど賢い人たちではない。彼らの能力は特定分野に特化しており、自身の専門分野を離れた場合には概して平均より優れた能力を示すわけではない。良いチームプレイヤーであったために、あるいは困難に対峙する気概と労働への忍耐強さを備えていたため、または豊かな想像力を持っていたことによって結果を残した人も居る。そして、単に適切な状況にたまたま居合わせ、正しい時に適切な情報交換ができたためだけに、何らかのことを成し遂げた人も居る。知能は根本的に状況依存である。

我々の環境が個人の知能に上限を課す

知能は超能力などではない。非凡な知能それ自身は、置かれた状況に対する非凡な力を与えるものではない。けれども、素の認知能力 --議論はあるものの、IQによって数値化される能力-- が、社会的な成功と相関があることは、十分に調査された事実である。この事実はターマンの研究によって初めて実証され、その後も他の研究者によって追試されている。--たとえば、2006年にStrenzeによって実施された広範囲のメタ研究では、IQと社会経済的成功との間に、ある程度の弱い相関があることが示されている。したがって、IQが130の人は、統計的には、IQ 70の人よりも人生における問題をうまく切り抜けられる可能性が高いということである。--けれども、これは個人レベルでは全く当てにならない-- しかし、ここで一つポイントがある。この相関は、ある点を超えると成立しなくなるのである。IQが170の人が、IQが130の人よりも専門分野で大きな成果を上げられる可能性が高いという根拠はない。実際に、多大な影響を与えた科学者の多くは、120から130程度のIQを持つ場合が多い。--ファインマンのIQは126、DNAの発見者の一人ジェイムズ・ワトソンは124であった-- これは、科学者集団における平均値の範囲内に収まる。同時に、今日生きている5万人のIQ170以上の人々の中で、ワトソン教授の10分の1程度でも重要な問題を解決した人がどれだけ居るだろうか?

実世界における素の認知能力の有用性が、ある閾値を超えると失速するのは何故だろうか? これは非常に直感的な事実を示している。優れた成果を残すためには一定以上の認知能力が必要だが、現実の問題解決 --結果として示される知能-- におけるボトルネックは、潜在的な認知能力それ自体ではないということだ。ボトルネックは、我々の状況、環境に存在する。我々の環境が知能の発現方法を定め、我々が脳を使ってできることに厳しい制約を課しているのである。--すなわち、どのような知能を我々が育成できるか、開発した知能をいかに効率的に活用できるか、解決できる問題は何か、を定めているのである。我々の現在の環境は、過去20万年間の人類の歴史と先史時代と同様、高い知能を持った人間の潜在的な認知能力を完全に開花させ活用することができていないことを、あらゆる証拠が指し示している。1万年前に生まれた潜在的に高知能を持った人間は、さして複雑ではない環境で育てられ、おそらく5000語以下の語彙に限られた単一の言語を話していたことだろう。その人間は読み書きを教えられることもなく、ごく限られた量の知識と認知的課題のみにさらされていたことだろう。現在においては、状況はほとんどの人にとっては少しマシだが、現在のところの環境のチャンスが人間の潜在能力を超えているという根拠はない。

私は、どうにも、アインシュタインの脳の重量と皺についてはそれほど興味がない。おそらく確実にアインシュタインと同程度の才能を持った人々が綿花農場や搾取工場で暮らし死んでいることだろうから[、そのことのほうが興味深い]。
スティーブン・ジェイ・グールド
“I am, somehow, less interested in the weight and convolutions of Einstein’s brain than in the near certainty that people of equal talent have lived and died in cotton fields and sweatshops.” — Stephen Jay Gould

ジャングルで育てられた賢い人間は、毛のないサルでしかない。同様に、現代社会において人間の身体に落とされた超知能を持つAIは、賢い現代人とそれほど変わらない能力しか発揮できない可能性が高い。もしそれが可能であるならば、例外的に高いIQを持っている人間が、それに比例して例外的なレベルの個人的成果を既に達成していなければならない。彼らは、自身の環境を例外的なレベルでコントロールし、主要な傑出した問題を解決していなければならないはずだ。けれども、実際にはそんなことは起きていない。

我々の知能は脳の中には存在せず、我々の文明として外部化されている

我々の肉体、感覚、環境が、脳がどれくらいの知能を発揮できるかを定めるのみではない。重要なことは、我々の生物学的な脳は、我々の持つあらゆる知能のほんの一部でしかないということだ。認知能力の補助ツール*4が我々の周囲に存在し、我々の脳とともに人間の問題解決能力を拡張している。スマートフォン。ノートPC。Google検索。学校で教わった知識。本。他の人々。数学的な記法。プログラミング。そして、最も基本的な認知能力の補助ツールは、もちろん言語そのものである。言語は、本質的に認知のためのオペレーティングシステムであり、言語が無ければこれほどまでに思考を深めることは不可能だっただろう。これらは、脳に供給され使用される知識ではなく、文字通りに外部の認知プロセスである。非生物学的な方法で、思考のスレッドと問題解決のアルゴリズムを動作させる方法なのだ。--時間も、空間も、そして更に重要なことに、個人をも超えて。人間の脳ではなく、これらの認知ツールが、我々の認知的な能力の大部分が存在する場所なのである。

我々自身も、我々のツールである。個別の人間は、ただ一人ではほとんど役立たずである。--もう一度言えば、人間は単なる二足歩行のサルなのだ。何千年にも渡る知識と外部のシステムの集合的な蓄積 --我々が「文明」と呼ぶもの-- が、動物的な本性から我々を押し上げている。科学者がブレイクスルーを成し遂げるとき、脳内で実行している思考の過程は、問題解決の方程式のごく小さな部分でしかない。--科学者は、問題解決プロセスの大部分を、コンピュータ、他の研究者、紙のメモ、数学的記法などへと任せることができる。彼らが成果を上げられるのは、巨人の肩に乗っているからに過ぎない。彼ら自身の仕事は、何十年という時間、何千人もの人々にまたがる、問題解決プロセスの最後のサブルーチンでしかない。

個々の脳は再帰的に知能を増強することはできない

圧倒的多数の根拠が、この単純な事実を示している。個人の人間の脳は、単独では、自分自身よりも知能の高い存在を設計できない。これは、純粋に経験的な主張である。何十億という人間の脳が現れ、そして去っていったが、誰一人として超知能を設計した人は居なかった。明らかに、個人の知能は、一生の間に知能を設計することはできない。もし可能であるのならば、[過去の] 何十億回もの試行を通して、既に超知能が発生していなければならないだろう。

けれども、これら数千億の脳が何千年もの間に知識を蓄積し、外部の知能プロセスを発展させ、あるシステム --文明-- を実現したとしたら、最終的には単一の人間よりも高い知能を持つ人工的な脳へと繋がる可能性はある。超人的AIを作り上げるのは、文明全体なのである。あなたでも、私でも、あるいは誰か個人でもない。数え切れないほどの人が関わり、我々の想像を超えた長い期間に渡って進められるプロセスである。
このプロセスには、生物学的知能を超えた、外部化された知能 --本、コンピュータ、数学、科学、インターネット-- がかかわるものである。個人のレベルでは、我々は文明の媒介者であり、過去の成果に基いて構築され、自身の発見を後の世界へと渡していく。我々は、文明が動作させる問題解決アルゴリズムを走らせるかりそめのトランジスタである。

何世紀にも渡って集合的に開発された未来の超人的AIは、自分自身よりも優れたAIを開発する能力を持つだろうか。ノーだ。我々と同様に不可能だろう。この質問に「イエス」と答えた場合には、我々が知るあらゆる知的な存在が、自分自身より賢い知能を設計したことはないという事実に直面するだろう。我々が行なっていることは、徐々に、集合的に、自分自身よりも大きな外部の問題解決システムを構築することである。

けれども、将来のAIは、これまでの人間や他の知的なシステムと同様、我々の文明に貢献するだろうし、我々の文明は逆に、AIの貢献を用いてAIの能力を拡張し続けることだろう。AIは、この意味でコンピュータや書籍、言語自体と大差はない。文明に力を与えるテクノロジーである。それゆえ、超人的AIの出現は、コンピュータ、書籍や言語の出現と同様に、シンギュラリティをもたらすことは無いだろう。文明はAIを発展させ、進化を続けていくだろう。最終的には、文明は現在の我々を超越していくだろうが、それは我々が1万年前の世界を超越しているのと何ら変わることはない漸進的なプロセスであり、急激な変化などではない。

知能爆発の基本的な前提 --突発的で再帰的な暴走する知能改善ループへと繋がる、人間の問題解決能力を上回る「シードAI」が生じるという考え方--は、誤りである。問題解決能力は、我々の生物学的な脳にはなく、我々の外部にある集団的ツール上に存在しているため、問題解決能力 (特にAIを設計する能力) は常に向上している。再帰的なループは長期間に渡って活動し続けており、「より良い脳」の出現は、定性的には何ら影響を与えることはないだろう。--過去に存在した知能を増強するテクノロジーと何ら変わることはない。決して、我々の脳それ自体はAI設計のプロセスにおいて重大なボトルネックであったことはない。

それでは、文明自体が自己改善を続ける脳のようになることは無いのだろうか? という疑問があるかもしれない。我々の文明的知能は爆発しているのだろうか。ノーだ。重要なことは、文明レベルの知能向上のループは、時間の経過とともに、我々の問題解決能力において線形な進歩をもたらしたに過ぎないということである。しかし、なぜだろうか? 再帰的にXを改善すれば、数学的にはXが指数関数的な成長を示すのではないだろうか? そうではない。端的に言えば、複雑な現実世界のシステムは、”X(t+1) = X(t)*a, a>1” といった形でモデル化することはできないからである。システムは、真空中に存在するわけではない。そして、知能も、人間の文明も同様である。

再帰的な自己改善システムについて我々が知っていること

我々は、知的なシステムが自身の知能を最適化し始めた瞬間に、「爆発」が起こるのかどうかを推測する必要はない。知能を最適化すれば、大抵のシステムは再帰的に自己改善を行う。我々は、そんなシステムに囲まれている。だから、我々は再帰的自己改善システムがどう振る舞うかを正確に知っている。--さまざまなコンテキストで、さまざまな時間間隔において。あなたも、あなた自身も、再帰的な自己改善システムである。自分を教育することで、人間はより賢くなり、そしてもっと効率的に自分自身を教育することができる。同様に、人間の文明も、遥かに長いタイムスケールにおいて再帰的に自己改善している。メカトロニクスは、再帰的に自己改善している --優れた製造ロボットは、更に優れた製造ロボットを製造することができる。軍事的な帝国は、再帰的に自己改善する。 --帝国の領土が広大であればあるほど、帝国軍は更に帝国を拡大することができる。個人の投資も再帰的に自己改善している。 --より多くの資金を持っていればいるほど、多くのお金を稼ぐことができる。事例は多数挙げられる。

たとえば、ソフトウェアを考えてみよう。明らかに、ソフトウェアを書くことは、ソフトウェアを書く行為そのものを改善する。最初にコンパイラをプログラミングし、「自動化プログラミング」を行うことができるようになる。そして、コンパイラを使って、強力なプログラミングパラダイムを実装する新しいプログラミング言語を開発することができる。新しく作ったプログラミング言語を用いて、高度なプログラマ向けツールを開発する。--デバッガ、統合開発環境(IDE)、lint (静的コード解析)*5、バグ予測器など。将来的には、ソフトウェア自体を書くソフトウェアもできるかもしれない。

それでは、プログラミングの再帰的な自己改善プロセスは、最終的に何をもたらしただろうか? 昨年よりも、コンピュータ上のソフトウェアで2倍以上のことができるだろうか? 来年には、2倍以上のことができるだろうか? おそらく、ソフトウェアの有用性は測定可能な線形のペースで向上しているだろうが、我々プログラマはそれを生産するために指数関数的な量の努力を費してきた。ソフトウェア開発者の人数は、ここ数十年指数関数的に増加しており、ソフトウェアを動作させるトランジスタの数も、ムーアの法則に従い、同様に爆発的に成長している。しかし、我々のコンピュータは2012年、2002年、あるいは1992年より、漸進的に便利になっていったに過ぎない。

しかし、なぜだろうか? まずは、ソフトウェアの有用性はアプリケーションのコンテキストによって根本的に制限されているということが挙げられるだろう。--これは、知能が発揮されるコンテキストによって定義され制限されるのと同様である。ソフトウェアは、より大きなプロセス --経済や人生-- の中の単なる一つの歯車に過ぎない。それは人間の脳がより大きなプロセス --人間の文化-- の中の一つの歯車でしかないのと同様である。このコンテキストが、ソフトウェアの潜在的有用性の上限に対して厳しい制約を課している。これは、我々の環境が個人の知能の働きに対して厳しい制約を課しているのと同様である。--たとえ、超人的な脳を備えた人であっても。

コンテキスト的な制約条件を超えて、たとえシステムの一部分が再帰的な自己改善能力を備えていたとしても、システムの別の部分が必然的にボトルネックとして作用し始めるだろう。敵対的なプロセスが、再帰的な自己改善プロセスの反作用として発生し、それを押し潰してしまう。--ソフトウェアの場合には、リソース消費、フィーチャー・クリープ*6、ユーザ・エクスペリエンスの問題などがあるだろう。個人投資について言えば、自身の支出率が敵対的プロセスの事例である。--お金を持てば持つほど、より多く消費するようになる。知能について言えば、システム間の通信は基礎をなすモジュールの改善に対するブレーキとして働く。--一部分だけが賢い脳は、全体を協調させることが困難になるだろう。知能の高い個人が存在する社会は、コミュニケーションとネットワーキングにより多くを投資する必要がある、などなど。非常に高いIQを持つ人が特定の精神疾患に苦しめられる可能性が高いということは、おそらく偶然ではない。過去の軍事帝国がある一定の規模を超えると崩壊してしまったのも、ランダムな偶然の事象ではないのだろう。指数関数的な進歩は、指数関数的な摩擦に出会うのだ。

注目する価値のある具体的な事例は、科学の進歩だろう。なぜならば、概念的に知能そのものと非常に近いからである。--問題解決システムとしての科学は、暴走する超人的AIと非常に似ている。科学は、当然ながら、再帰的な自己改善システムである。なぜならば、科学の進歩は科学に新たな力を与えるツールの開発に繋がるからだ。--たとえば、実験室のハードウェア (量子力学がレーザーをもたらし、レーザーが新たな量子力学実験を可能にする)、概念的ツール (新たな定理、新たな理論)、認知的ツール (数学的記法)、ソフトウェアツール、より良い方法で協力することを可能にするコミュニケーションプロトコル (インターネット)…

けれども、現代の科学はおおむね線形に進歩している。私は、このことについて、2012年に「シンギュラリティは来ない」と題したエッセイで詳細に論じた。1950年〜2000年の物理学の進歩は、1900年〜1950年の間ほどには大きくない。今日の数学も、1920年代と比べて遥かに高速に進歩しているわけではない。医学は何十年もの間、あらゆる指標において実質的に線形にしか進歩していない。そして、我々が科学に対して指数関数的な努力を投資しているのにもかかわらず、このような結果なのである。--研究者の人数は、だいたい15年〜20年ごとに2倍になり、個々の科学者は指数関数的に高速化するコンピュータを使って生産性を向上させているのに。

なぜなのだろうか? どのようなボトルネックと敵対的な反作用が、科学の再帰的な自己改善プロセスを減速させているのだろうか。考えられる理由はとても多く、私は全てを数え上げることはできないので、ここでは少しだけ挙げておこう。重要なことは、ここで挙げた理由の全てが再帰的に自己改善するAIにも適用可能であるということだ。

  • 特定の領域で科学研究を行なうことは、時間の経過に従って指数関数的に困難になる。--新領域の創設者は、「取りやすい低いところにある果実 (low-hanging fruit)」を刈り取ってしまい、後に同等のインパクトを持つ研究を行うためには指数関数的に増加する努力が必要とされる。今日のどんな研究者も、情報理論におけるシャノンの1948年の論文*7に匹敵する業績を挙げることはできないだろう。
  • 研究領域の拡大に従って、研究者同士の情報交換や協力は指数関数的に困難になる。新たな出版物の速度について行くことはますます困難になる。N個のノードを有するネットワークは、N*(N-1)/2のエッジ [相互接続] を持つことに注意せよ。
  • 科学的知識の拡大に従って教育と訓練に要する時間と努力は増加し、個々人の研究者の調査範囲はますます狭くなる。

実際のところ、システムのボトルネック、収穫逓減、敵対的な反応によって、われわれを取り巻く再帰的な自己改善プロセスは押し潰されてしまう。自己改善は確かに進歩をもたらすものの、その進歩は線形、あるいはせいぜいS字曲線となる傾向がある。最初に投資した「シード・ドル」は、通常の場合は「貯蓄爆発」をもたらすことはない。そうではなく、投資利得と支出の拡大のバランスによって、通常はだいたい線形の貯蓄増加をもたらすことが多い。そしてこれは、自己改善する精神よりも桁違いに単純なシステムであってもそうなのだ。

同様に、最初の超人的AIは、線形な進歩の階梯の次のステップである。梯子自体については、我々は遠い昔から既に登り始めている。

結論

知能の拡大は、脳 (生物的またはデジタルな) と感覚運動アフォーダンス、環境と文化の共進化によってのみ発生する。--単に、瓶の中の孤立した脳内の歯車を調整するだけでは発生しない。このような共進化は、既に太古の昔から存在しており、知能がデジタル的な基盤に近づくにつれて継続されていくだろう。このプロセスはおおよそ線形に進行するため、「知能爆発」は起こらない。

注意

  • 知能は状況依存的である --汎用知能といったものは存在しない。人間の脳は、身体、環境、他の人間そして文化全体を含む、広大なシステムの一部である。
  • いかなるシステムも真空中に存在するわけではない。個々の知能は、常にそれが存在するコンテキスト、つまり環境によって定義され、制限される。現在、我々の脳ではなく環境が知能に対するボトルネックとして働いている。
  • 人間の知能は大部分が外部化されており、我々の脳内ではなく文明に含まれている。我々も、我々自身のツールである --我々の脳は、自分自身より大きな認知システムの一つのモジュールである。このシステムは既に長い間自己改善している。
  • 再帰的な自己改善システムは、偶発的なボトルネック、収穫逓減と、それが存在するより広いコンテキストから生じる反作用により、実際上は指数関数的な成長を達成することができない。経験的には、線形またはS字状の改善を示す傾向がある。特に、これは科学の進歩に対して当てはまる。科学は、再帰的な自己改善AIに非常によく似たシステムである可能性がある。
  • 再帰的な知能爆発は既に起きている。--我々の文明のレベルで。再帰的な知能爆発はAIの時代にも継続され、その進歩はおおむね線形のペースとなる。

*1:訳注:英国の作家、児童文学家ジョセフ・ラドヤード・キップリング (1865-1936) の小説『ジャングル・ブック』の主人公。ディズニーによってアニメ映画化もされた

*2:訳注:心理学において、それぞれの感覚(視覚、聴覚、味覚、嗅覚、皮膚感覚、運動感覚(筋感覚)、平衡感覚)による個々に異なる固有の現象的性質

*3:訳注:ルイス・マディソン・ターマン (1877-1956)。米国の心理学者。知能と知能検査の手法に関する研究開発で貢献を残した

*4:訳注:prosthetics(補綴)、義手や義足のように人間の機能の一部を肩代りする人工物

*5:訳注:プログラムのソースコードの書き方を厳密にチェックし、潜在的にバグの原因となるコードを検出、修正するツール

*6:訳注:ソフトウェアに何度も機能追加・拡張が行なわれた結果、複雑で使いづらいものになってしまうこと

*7:訳注:米国の数学者・コンピュータ科学者 クロード・シャノン(1916-2001) による『通信の数学的理論 A Mathematical Theory of Communication』と題する論文。今日の情報理論の基礎を築いた