シンギュラリティ教徒への論駁の書

“Anyone who believes that exponential growth can go on forever in a finite world is either a madman or an economist.” - Kenneth Boulding

目次

第一部 「シンギュラリティ」

  1. 序文
  2. シンギュラリティとは何か?
    - カーツワイルのシンギュラリティ説とその批判 
  3. ほとんどのテクノロジー成長は指数関数的ではない
  4. 収穫加速の幻影
  5. ムーアの法則と人工知能
    5.1. ムーアの法則
    5.2. 精神転送
    5.3. 人工知能研究と機械学習
    5.4. 全脳アーキテクチャ
  6. 知能の拡大と思考主義批判
  7. 宇宙の覚醒
    - まとめ
  8. 予言は外れた
  9. テクノ・ハイプ論:なぜシンギュラリティは問題か
  10. 後書き

第二部 「進歩と崩壊と没落の未来史」

  1. 序文
  2. ハバートの法則と没落加速の法則
  3. 没落してゆく世界のスケッチ
  4. 崩壊概論
  5. 進歩の神話
  6. 崩壊教と進歩教
  7. ディセンサスの流儀
  8. 後書き

(執筆中…)

第三部 「技術的超越の思想史(仮題)」

(構想中…)

 

本ブログは、カーツワイル氏のシンギュラリティ説と「収穫加速の法則」を批判的に検証するものです。もともと書籍の企画として執筆し始めたものであるため、序文から順番に議論を展開していますが、各エントリは独立して読めるように構成しています。

初めての方向けの概要としては、カーツワイルのシンギュラリティ説とその批判 (短め) およびまとめ (やや長め)、および雑記ブログの自選10記事もご覧ください。

レイ・カーツワイルが予言した2019年はどこまで実現したのか? (2021年版)

この記事は、2018年3月17日に本ブログに投稿した記事を2020年末に再評価したものです。
---

こちらは、フューチャリストレイ・カーツワイル氏が、1999年 (邦訳は2001年) の著書『スピリチュアルマシーン』の中で発表した、20年後 (2019年) の将来予測の検証です。

約3年前の2018年に元の記事を投稿して以来、世界は激変しました。新型コロナウィルスの登場は、誰にも予測不可能であり、そこを過ぎたら世界の有り様が一変してしまうという意味において、シンギュラリティと呼びうるかもしれません。そして、2021年1月現在でさえ、我々はその真っ只中を通り抜けている途中であるとも言えます。

テクノロジーに関しては、コロナ禍はある面で研究・開発・普及を妨げ、別の面では -ワクチン、テレビ会議など- 研究や普及を促進した部分もあります。とは言っても、私はこの評価を大きく書き直す必要性を感じませんでした。結局のところ、カーツワイル氏が予測の基盤とする原理、収穫加速の法則が完全に誤っているからです。

もちろん、私とは意見の異なる方も居るかと思いますが、オープンな議論、指摘は歓迎します。

概要

f:id:liaoyuan:20210102153107p:plain
評価

注意事項

  • 予測文の区切りは、意味の区切りに従い私が独自に定めたものです。
  • 評価は、1 (正しい)、2 (やや正しい)、3 (判定不能/判断保留)、4 (やや誤り)、5 (誤り) の5段階の主観評価です。
  • 3年前から変化した値、評価については、アンダーラインで変更を示しています。
続きを読む

「AIの父」ヤン・ルカン、GPT-3への過剰な期待に警鐘を鳴らす

このブログを読んでいる人であれば、おそらく、OpenAI が開発した言語モデル、GPT-3 について耳にしたことがあるのではないかと思います。GPT-3は 、流暢な文章を生成できるのみならず、コードやデザインまでも生成でき、ごく一部では、言語を解す汎用人工知能の萌芽であるとも評価されているようです。

けれども、Facebook社の副社長兼チーフAIサイエンティストで、ディープラーニング開発の功績により2018年のチューリング賞を受賞したヤン・ルカン氏は、Facebook上で短いエッセイ を公表して、GPT-3 に対する過剰な期待に対して警鐘を鳴らしています。

f:id:liaoyuan:20201108234541p:plain

ルカン氏の論拠は、医療テック系ベンチャー Nabla社が公表したGPT-3 の検証実験です。この実験では、GPT-3 がヘルスケア現場で実際に使用可能であるのかを確かめるため、複数のテストシナリオを GPT-3 に対して実施しています。

その結果は、惨々たる大失敗であるとしか言えません *1。GPT-3は、診察の予約や支払い計算などに必要となるごく簡単な論理的推論や短期記憶の保持すらできず、完全に誤った診断や薬の用法を提示し、パラメータを変化させると質問の度に一貫性のない答えを返し、あまつさえ、自殺を勧めさえするのです!

f:id:liaoyuan:20201109001240j:plain

このデモは、GPT-3 のような統計的言語モデルの限界を明晰に示しています。

GPT-3 は言語モデルである。つまりは、テキストを入力してその続きを予測するように命じると、一度に1つの単語を出力する。GPT-3は、現実の世界がどのようなものであるかという知識をまったく持っていない。GPT-3がいくらかの背景知識を持っているように見えるのは、ただテキストの統計中に表された知識を得ているからだけである。けれども、その知識は極めて表面的でしかなく、基礎となる現実からはかけ離れている。

もちろん、このデモは、GPT-3 がまったくの無価値なゴミ生成機だということを意味するわけではありません。GPT-3 との対話は楽しいものですし、おそらく、クリエイティブな支援についてはいくらか有用であるかもしれません。けれども、統計的な言語モデルをスケールアップすることで汎用人工知能を実現しようとする試みは、ルカン氏が指摘する通り、高高度飛行機の性能を向上させることで月への着陸を目指すような、不毛な試みであると言えるでしょう。

*1:公平のために言うならば、OpenAI社はGPT-3を医療分野に適用することを推奨していない

渡辺正峰さんの「20年以内に人間の意識をコンピュータにアップロードできる」説

脳科学者で東大大学院准教授の渡辺正峰さんは、20年以内に人間の意識をコンピュータにアップロードできるようになると主張しています。

ただし、渡辺正峰さんは、ここ3年ほど、同じ主張を繰り返しています。

・2018年8月20日

グーグルでAI研究を率いるレイ・カーツワイル氏は、今世紀半ばには人の意識の機械への移植が実現することを予言しています。私自身、外部の方と協力して意識移植のベンチャーを立ち上げようとしています。いくつかの仮説が正しければ、技術的な障壁はそれほどありません。マウスを使っての実験で5~6年、その後により人に近い猿で実験。トントン拍子で進めば、20年後に人での実用化もまったくの夢ではありません。

脳と機械の一体化を研究「私の意識は永遠に生き続ける」:朝日新聞デジタル

・2019年5月20日

人間の意識を機械に移植する研究を進めている。米グーグルでAI(人工知能)研究を率いるレイ・カーツワイル氏は、今世紀半ばにはこれが実現すると予言している。私自身は、3月に始動したスタートアップなどを通じて、20年後メドの成功を目指している。令和のうちに、人間が機械の中で永遠に生き続ける時が来るかもしれない。

「意識の移植」が問う倫理 脳科学者・渡辺正峰氏 :日本経済新聞

・2020年8月19日

20年以内に「人間の意識を機械にアップロードすること」の実現を目指し、ベンチャー企業・株式会社MinD in a Deviceの技術顧問としても同様の研究を行っている。

意識を機械にアップロードして“不老不死”を実現!? 東大准教授が提唱する可能性とは 【ABEMA TIMES】

渡辺さんは、過去3年間ずっと「20年後に意識のアップロードができる」という主張を繰り返しています。もちろん、2018年から見た20年後 (2038年) はまだ到来していないため、この予測が完全な誤りであるとは言い切れません。

私は、今後20年間、渡辺正峰さんを注視していきたいと思います。

レイ・カーツワイルが予言した2019年はどこまで実現したのか?

この記事は、2018年3月17日に本ブログに投稿した記事を2019年2月4日に再掲したものです。備忘のため、2019年一杯はトップ表示しておきます。2020年に、改めて内容の検証を行うつもりです。

---

こちらは、フューチャリストレイ・カーツワイル氏が、1999年 (邦訳は2001年) の著書『スピリチュアルマシーン』の中で発表した、20年後 (2019年) の将来予測の検証です。

本文は、以下の記事をご覧ください。


概要

f:id:liaoyuan:20180317100007p:plain

注意事項

  • 予測文の区切りは、意味の区切りに従い私が独自に定めたものです。
  • 評価は、1 (正しい)、2 (やや正しい)、3 (判定不能/判断保留)、4 (やや誤り)、5 (誤り) の5段階の主観評価です。
  • 2019年はまだ「未来」であるため、私の判定自体にも予測が含まれます。約2年後の2020年時点で、もう一度予測の成否を判定してみたいと思います 。
続きを読む

後書き - シンギュラリティ死の五段階説

過去2年程度、私がこのブログを書いている間に、第三次AIブームとシンギュラリティ論はお決まり通りの興亡の道を辿った。その軌跡は、スイス系アメリカ人精神医学者でありグリーフケアの第一人者、そしてスピリチュアリストでもあるエリザベス・キューブラー=ロスのモデルを通して理解できる。もちろん、彼女が語っていたことは、余命宣告というリアリティに直面したときに人々が辿る5つの心理段階についてであるが、それはある信念体系が死を迎える過程についても同様に適用することができる。

最初の段階は、"否認" である。突然の余命宣告を受けた人は、通常の場合、「それは何かの間違いだ」、「自分にこんなことが起こるはずがない」として、発生した事象の認識を拒否する。シンギュラリティ論の場合で言えば、私のブログ、あるいは新井紀子氏の書籍のような、懐疑論の存在を一切無視し言及しないという形で表れていた。

第二の段階は、"怒り" である。キューブラー=ロスによれば、現実の否認がもはや困難になると、「どうして私なんだ!」という感情から、周囲の身内、友人知人、あるいは医師や世間などに対する怒りの爆発が生じるのである。このブログと、その敵対者を見守っていた人であれば、議論のなかで突発的に、不合理に激怒する人々がいたことを記憶しているだろうと思う。

第三段階は "取引"である。キューブラー=ロスの著作では、余命宣告された人々が、神や家族や医者に対して、罪を改め清い生き方をするという約束をする事例が取り上げられている。もちろん、彼女が指摘する通り、この"取引"は現実をわずかなりとも変化させることはない。けれども、"取引"は、何らかの望ましくない事象が発生したことを認識し受け入れるために必要となるステップである。シンギュラリティ論の場合で言えば、私 (渡辺) は嘘つきで不誠実なバカでありその主張は信頼に値しないとか、カーツワイルの予測は社会の予測としては外れていても情報分野においてはまだ有効だと主張するとか、あるいは、自分自身ではもはや信じていない未来予想に「予防原則」を持ち出して、社会に多大な影響を与える可能性があるのだから警告と対処が必要であるとかの心理的な"取引"を通して、信念体系の中心部分を守り続けようとしている人が観察できるだろう。

第四段階は、"抑鬱" である。喪失感が強まり、感情の起伏が無くなっていく。「シンギュラリタリアン」としてソーシャルメディア上で活発に活動していた人々が多数、アカウントを削除して消えていったり、アクティブな活動を止めてしまったのは、この抑鬱段階として捉えることができる。

最後の第五段階は、"受容" である。キューブラー=ロスが注意する通り、"受容" は喜びではない。むしろ、諦観 - あきらめの気持ちと言ったほうが正しい。これは世界が変わってしまったという事実に折り合いを付けるプロセスであり、以前までの段階には存在しなかった見返りをもたらす。新たなリアリティについて何らかの意義のある行動を取れるようになるのだ。余命宣告を受けた人の場合では、死を迎える場所や自分の死後の埋葬方法などを家族と検討したり、遺言を遺すなどの実際的な準備を行なえるようになる。私が見たところ、シンギュラリティ論の場合では"受容" 段階を迎えた人を観察できないのだが、それには充分な理由がある。

キューブラー=ロスの批判者が指摘してきた通り、余命宣告を受けた人すべてがこの通りの心理的段階を経るわけではない。病状の進行速度によっては複数の段階を行き来する場合もあるし、ごく少数ながら死を迎える直前まで "否認" 段階に留まる人もいる。以前に指摘した通り、信念体系は否定されればされるほど強化されるという性質を備える。そのような人々の実例も簡単に見つけられるだろう。生物学的な死とは異なり、信念の死は明確に定義できない。特に、その信念体系が未来についての予測である場合にはなおさらだ。予測が外れた場合にも、更に予測を先送りし後倒しすることで信念を保ち続けることができる。

その意味で、シンギュラリティ論は決して死ぬことはないだろう。今から25年後、50年後、あるいは100年後にも、世界がどのような形になっていたとしても、我々自身の似姿を創造し、神の役割を演じようとする試みは決して途絶えることはないだろう。(ダートマス会議の時代の計算機の性能を考えてみれば、現状の計算機と比較すればごくささいな計算力を使用してさえ、人間のさまざまな認知機能を模倣できることが分かる。) どのような未来の世界であっても、超越的な知能による報われない現実からの救済、あるいは破滅の願望を託す人々が存在し続けるであろうことは疑いがない。

それでも、我々はそろそろ先へ進むべきなのではないかと思う。テクノロジーの指数関数的進歩によるユートピア、あるいはディストピアという思考のトラップの間を進み、異なる複数の未来のあり方を想像して、そのような状況下でも我々が取りえる建設的な行動は何であるかを探ってみたい。

「AIによる政治」を怖れるべき理由

私の別ブログの翻訳プロジェクトで、本ブログのテーマとも関連のある興味深い記事を翻訳した。

この記事で、ジョン・マイケル・グリアは、科学者が政治問題について愚かな主張をしてしまう2つの原因を説明している。それは、「利害」と「価値観」を科学の議論から排除する慣習、そして、妥協を許さず唯一の「真理」を追求する姿勢である。この2つの態度は、科学研究には必須ではあるけれども、政治問題に対してナイーブに適用された場合はとてつもなくバカげた主張をもたらす場合がある。

このような科学者・技術者の政治的愚かさが最大限に発揮されている最近の事例は、「AIによる政治」、「根拠エビデンス  にもとづく政策決定」についての議論だろう。


近年の政治不信とAI技術の発展により、AIを用いた政治の改革が語られている。中には、サイエンスフィクションめいた超知能AIによる哲人政治を提唱する主張もあるが、それほど空想的ではなくても、エビデンス (とそれを利用した機械学習) にもとづく政策決定の導入を訴えるものもある。ただし、どのような主張であれ、それを裏付ける前提には「人間は偏見から逃れられない一方で、AIは公平無私であり人間同士の利害と価値観の対立から逃れられている」、「社会の問題について、何らかの中立的で公平な(唯一の)解が存在する (そして、AIはその解に近付くことができる)」という考え方があるように見える。*1

ところが、多少なりとも考えてみれば、その前提が二重に幻想であることが理解できる。「公平」、「平等」、「自由」といった価値観を、本当に人間と同様の意味で内的に理解しているAIシステムは存在せず、近い将来に実現するという見込みすらない。それをひとまず棚に上げたとしても更なる問題がある。本当にささいな政治的な利害の調整ですら、暗黙的に「公平」、「平等」といった価値観についての根本的な疑問を含んでいるため、単なるエビデンスについての問題には還元できず、完全に中立的な立場など存在しないからだ。

 

f:id:liaoyuan:20190605224321j:plain

ローマ水道の遺跡 ( wikimedia commonsより)

ここで、利害調整にからむ価値観の問題を検討するために、例として、ある社会の構成員がお金を出し合って個人では不可能な何らかの事業を営むことを考えてみよう。生命保険、年金でも道路の建設でも戦争でも何でもよいが、ここではどこかの都市国家で灌漑 (農業) 用の上水道を建設することを取り上げる。

このような水道を建設するための資金を集める方法は、複数考えられる。市民全員が (資産の多寡によらず) 一定の額を拠出するのでも良いし、あるいは資産額に応じた一定割合の金額を納めるという方法もある。あるいは、水の使用量に比例する使用料を支払うという方式でも良いだろう。*2

ここには「唯一絶対的に正しい方法」は存在しない。ただし、もちろん、各々の立場によって損をする・得をする政策が存在するため、各々の利害に応じた「望ましい」政策はありうる。たとえば、貧しい農民は、おそらく資産額に応じた一定の割合での支払いを求めるだろう。逆に、広大な農地を抱える裕福な地主は、すべての市民が一律の金額を支払うことが「平等」であると主張するかもしれない。一方で、(水にそれほど依存しない) 商売を営む裕福な商人は、大量に水を使う農場主と同じ割合の負担を求められるのは「不公平」であるからとして、水の使用量に応じた支払いを求めるかもしれない。

もう一度言っておくと、この問題に唯一絶対の解はない。いかなる負担の分配が妥当であるのか、また社会の構成員がおおむね妥協できるであろう政策は、複数考えられる。ただし、その政策が社会の「公平」、「平等」の概念に著しく反する場合には、その政策に従わない集団が現れるかもしれない。また、その裏にある「一定額の支払い」と「一定割合の支払い」のどちらが「公平」で「平等」であるのかという疑問にも唯一の解答はない。これは事実に関する問題ではなく、「価値観」についての問題であるため、どれほどのエビデンスを集めて統計処理を行なったとしても、いかなる二重盲検対照試験を行なったとしても証明も反証もできないものである。*3

これほど単純化した事例でさえ、政治的な利害調整には、「公平性」、「平等性」をどのように捉えるか、それらを社会でどのように実現していくかという、価値観についての根本的な疑問を考慮する必要がある。そして、その裏には「どのような社会が望ましいか」という個々人のビジョンが存在している。非常に多くの場合、鋭い対立を生む政治問題の背景には、個々人のビジョンの違いが存在している。


さて、前置きが長くなった。「AIによる政治」について、私はサイエンスフィクションじみた「超知能AIによる人間の統治」のような問題を懸念しているわけではない。既に述べた通り通り、人間と同じように、人間と同等の意味で「公平」、「平等」などの価値観を理解しているAIシステムは存在せず、近い将来に実現できるという見込みすらない。また、もしもそのような人間と同等以上の人工知能が実現できたとしても、単一の公共空間で生身の人間集団を相手にする限りは、人間の政治家とまったく同じように問題に直面するだろう。

「AIによる政治」について私が懸念しているのは、もっと卑近で現実的な問題である。つまり、ごく近い将来、あるいは現在、政治分野にAI技術が持ち込まれる場合には、「公平無視なAIの判断」を装って、AI作成者の「利害」と「価値観」を唯一の真理であるかのように提示し、それらを社会全体に強制するための手段として用いられるだろう。また、そのようなAIは、既に社会に存在する不正義と不平等を構造的に強化するように機能するだろう。

そのようなAIを作成するのは、現在既に十分すぎるほどに強大な権力を持っている国家と超グローバル企業であることに疑いはない。


ここで述べた問題は、一部は既に起こっている現実の問題である。キャシー・オニールの『あなたを支配し、社会を破壊する、AI・ビッグデータの罠』を読んでほしい。

*1:例として、次の記事を参照 『AIとバイアス

*2:一応断わっておくと、ここでは歴史的な正確さは考慮しないので、ここで挙げたような方法で資金を集めて水道を建設した都市があるのかは分からない。

*3:もちろん、「ヨソではみんなこんなふうにやっていますよ」というエビデンスが、政治的な議論のレトリックとして説得に有効である可能性はある。しかし、それは何らかの「正しさ」を証明するものではない。