シンギュラリティ教徒への論駁の書

"It's tough to make predictions, especially about the future." - Yogi Berra

目次

第一部 「シンギュラリティ」

  1. 序文
  2. シンギュラリティとは何か?
    - カーツワイルのシンギュラリティ説とその批判 
  3. ほとんどのテクノロジー成長は指数関数的ではない
  4. 収穫加速の幻影
  5. ムーアの法則と人工知能
    5.1. ムーアの法則
    5.2. 精神転送
    5.3. 人工知能研究と機械学習
    5.4. 全脳アーキテクチャ
  6. 知能の拡大と思考主義批判
  7. 宇宙の覚醒
    - まとめ
  8. 予言は外れた
  9. テクノ・ハイプ論:なぜシンギュラリティは問題か
  10. 後書き

第二部 「進歩と崩壊と没落の未来史」

  1. 序文
  2. ハバートの法則と没落加速の法則
  3. 没落してゆく世界のスケッチ
  4. 崩壊概論
  5. 進歩の神話
  6. 崩壊教と進歩教
  7. ディセンサスの流儀
  8. 後書き

(執筆中…)

第三部 「技術的超越の思想史(仮題)」

(構想中…)

 

本ブログは、カーツワイル氏のシンギュラリティ説と「収穫加速の法則」を批判的に検証するものです。もともと書籍の企画として執筆し始めたものであるため、序文から順番に議論を展開していますが、各エントリは独立して読めるように構成しています。

初めての方向けの概要としては、カーツワイルのシンギュラリティ説とその批判 (短め) およびまとめ (やや長め)、および雑記ブログの自選10記事もご覧ください。

論文紹介:ナノテクノロジーの20年 科学の未来をどう語るか (リチャード・ジョーンズ)

本ブログでも過去に何度か取り上げている、イギリス、シェフィールド大学の物理天文学科教授でナノテクノロジーの専門家であるリチャード・ジョーンズ氏が、過去のナノテクノロジーおよび科学技術一般の将来予測に関する論説を IEEE Nanotechnology Materials and Devices Conference (NMDC) に投稿しており、自身のブログで一般公開しています。過去20年間のナノテクにまつわる言説を振り返りその予測を検証し、また科学技術の将来予測を語ることの困難さを述べるものです。ここでの対象はナノテクノロジーですが、ジョーンズ氏自身が述べている通り、近年のあらゆる新興テクノロジーについても同様の議論が当てはまるものであるため、ここで一部訳して紹介したいと思います。

Between promise, fear and disillusion: two decades of public engagement around nanotechnology – Soft Machines


科学のコミュニケーターと教育者は、ナノテクノロジーのような新興テクノロジーについて大衆に話す際にはジレンマに直面する。ナノテクノロジーの可能性について話す時、必然的に、未来を予測することに関わらなければならない。確立された科学について語る時には、比較的に確実さをもって扱うことができる。けれども、テクノロジーの未来について話す場合には、我々は、必然的に未来に対する人々の希望と恐怖に関わらなければならず、また我々が語ることは我々自身の見方の色合いを反映する。我々のテクノロジーの未来についての議論は、容易に極端な見方が最も注目を集めてしまう。-- ユートピア的あるいはディストピア的なビジョンが。地に足の付いた評価をすれば、現実を反映していないものであってさえである。

予測に挑戦することは難しい。なぜならば、いかなる瞬間においても、未来は文字通り不可知であるからだ。古いジョークがある。これは残念なことに現在でも正しいのだが、「核融合は20年後の未来である。そして常にそうあり続けるだろう。」というものだ。

ここでジョーンズ氏は、既存の科学やテクノロジーを語る場合と、未来の科学やテクノロジーについて語る場合には、異なる心構えと方法論が求められることを指摘しています。もちろん、ここには未来を知ることはできないために、未来予測は経験的な証拠を持ち出して決着を付けられないという理由もありますが、更に大きな理由として、未来のビジョンは人々の感情を強く刺激する傾向があり、また未来を語る科学者・技術者自身の感情も強く反映したものとなるからです。

20年間の科学コミュニケーションとパブリック・エンゲージメントを経て、おそらく我々は何らかの一般的な教訓を学べる場所にいるだろう。未来の教育とナノテクノロジーアウトリーチのみならず、ほかの新興テクノロジーにおいても、我々はこれらの教訓を心に留めておくべきである。さもなければ、新しい分野 --合成生物学、量子技術、計算論的神経科学、人工知能-- においても、同じ誤りが犯される危険がある。


これら新興テクノロジーの共通点としては、「約束の経済」と呼ばれるものの中で機能するという点が挙げられる。現在における資金供給は、必然的に、未来に関する主張によって正当化されなければならない。そして、これらの主張はあまりに容易く過剰誇張されてしまう。


これらの主張は、経済的インパクトであることもあるし、--3兆ドルのマーケット-- あるいは持続可能エネルギーや薬剤といった分野での革命と言われることもある。なぜ研究に対する資金供給が必要であるのか、何らかの議論ができることは不可欠であるし、我々がすることの影響を予期するための努力は健全である。しかし、おそらく不可避なのかもしれないが、これらの主張された利益のバブルを膨らませる不健全な傾向が存在する。


科学者は、これらの主張が助成金申請や論文には不可欠だと感じており、またメディアは壮大で根拠のない主張を注目を集めるために必要とする。研究の社会的・倫理的な側面を検討するプロセスや、パブリック・エンゲージメントに従事することでさえ、最もスペキュレーティブな可能性に対して信憑性を与える効果を持つことがある。


ナノテクノロジーのような分野では、既存技術の比較的漸進的な開発が、かなりラディカルな可能性と共存しており、この共存が緊張を導いている:将来の約束は、壮大なビジョンと壮大なメタファーを元に売り込まれる。しかしそのアチーブメントは、大部分が過去からの延長線上にあるテクノロジーに基づいている。

未来を語る上での本質的な困難さに加えて、更にこの問題を複雑にする傾向があります。近年では、研究への助成や企業への投資において、しばしば科学者・技術者自身が途方もなく壮大な未来のビジョンを主張する場合があることです。これには様々な複合的要因があり、項を改めて書きたいと思いますが、現在の科学研究・技術開発の場では、将来の可能性への過大な売り込みは常態化しています。

すべてのバブルにまつわる問題は、当然、果たされなかった約束に現実が追い付くということだ(…)、またこんな環境では、人々は、いかなるテクノロジーであれ直面するハードな制約の現実をあまり許容してくれなくなる。"約束" を過剰摂取した場合、資金供給者、政府関係者、投資家や大衆の間に幻滅が生じる。これは、テクノロジーが可能とするであろう真正のアチーブメントに対する信用を失なわせさえするかもしれない。たぶん、革命的イノベーションに対する絶え間ない注目によって、漸進的なイノベーションの本当のアチーブメントに対して盲目的になっているのかもしれない。

このような途方もない将来のビジョンが起こす問題としては、当然、科学者や技術者の発言が「オオカミ少年」化するという点が挙げられます。また、当該分野そのものに対する信頼を失なわせ、より微妙で長期的な投資を必要とする分野への注目を削ぐという問題もあります。

一般に流通する、科学界のコンセンサスを反映していない壮大なビジョンに対するアプローチとして、ジョーンズ氏は単に無視するのでも却下するのでもなく、敬意を持って応対することを提唱しています。

ナノテクノロジーの事例では、エリック・ドレクスラーが提唱したナノテクのスペキュレーティブなビジョンにいかにして関わるべきか、という特有の問題が存在する。そのようなビジョンが、妥当なタイムスケールの範囲で実現可能であるとみなしておらず、科学界のコンセンサスを反映させたいと望む者にとっては、3つのアプローチが存在する。


最初のアプローチは、単純にそれを無視するというものだ。ナノテクノロジーを扱う一般向け書籍や記事のなかには、ドレクスラーをこのテーマの歴史から排除するものもある。これは満足のいく方法とは言い難いと思う --一般大衆はこれらのアイデアに激しく晒されているため、省略は混乱を招くかもしれない。2つ目のアプローチは、科学の権威に訴えてそれらを却下するというものだ。晩年のリチャード・スモーリーによるコメントが、しばしばこの方法として用いられる場合がある。これまで以上に専門家の権威に対して疑問が抱かれるようになった世界では、これはサイエンスコミュニケーションの賢明なアプローチではないように思える。


私自身のアプローチ、2004年の書籍『ソフト・マシーンズ』、多数の公開講義、ブログ投稿や記事で取っている方法は、その主張に正面から向き合って、必要であれば技術的ディテールにも関わり、またその主張の支持者にも敬意を払う(そうあることを願う)ことである。これは、科学の性質をより誠実に反映しているように私には思える。

この記事では取り上げませんでしたが、ナノテクノロジーに関する過去の予測とその評価も一読の価値があると思いますので、ぜひ原文を確認してみてください。

関連項目

ジョーンズ氏は、専門分野のナノテクだけではなく、科学コミュニケーション・科学技術政策のあり方についても提言しており、シンギュラリタリアニズム/トランスヒューマニズムについても、やや懐疑的な立場から考察した小冊子を公表しています。

Against Transhumanism – the e-book – Soft Machines

過去に私が紹介したジョーンズ氏による記事です。

ロドニー・ブルックス氏の『超知能へ向けたステップ』の翻訳

いちおうの告知ですが、ロドニー・ブルックス氏のブログ記事合計4件を翻訳してQiitaに投稿しました。

安易で安直な人工知能ユートピア/ディストピア的なシンギュラリティ論に与せず、また人工知能研究の第一人者としてのオプティミズムを保ちながら人工知能において本当に困難な問題に取り組むように鼓舞する素晴しい論考ですので、人工知能に興味のある方は読んでほしいと思います。

ここでは、ちょっとした訳者後書き的に、訳しながら考えたことを散漫に書いてみようと思います。

確率統計的・機械学習的な知能観について

シンボリックAIに対して極めて批判的なことで知られるブルックス氏ですが、このエッセイでは確率統計的、ビッグデータ的、機械学習的な「人工知能」観に対してもやや懐疑的なスタンスを取っています。

よく考えてみると、「統計と知能は別物」というのは当然で、天然知能は必ずしも確率統計的なアプローチを取っていません。色一貫性に関する人間の認知は、それを示す非常に良い事例ではないかと思います。

私が色一貫性を取り上げたポイントは、単にオンラインの画像を大量に閲覧することだけから、知的な機能が自然に発生するわけではないことを示すためである。色一貫性は、現実世界で自然淘汰のビルディングメカニズムから生じたものであり、物体の本質的な色は、たとえその物体に当たる光の色が変わったとしても、実際には不変であるという事実を補償するものである。

超知能へ向けたステップ Part 4 「汎用人工知能実現のために今やるべきこと」

 

我々が当然と思う認識は、実は人間としての認知的な制約に強く依存しています。そこで、現在耳目を集めている確率統計的、ビッグデータ的な人工知能技術だけではなく、生得的な知能モジュールのあり方にも注目するべきであり、それが汎用人工知能実現のための近道なのだという指摘は極めて説得力があると感じました *1

ただし、その一方でペドロ・ドミンゴス氏が『The Master Algorithm』の中で指摘している通り、「データは知能を代替できないが、知能もデータを代替できない」ことも事実です。

そもそも人間は確率・統計的な思考が極めて不得手であり、まさにそれがビッグデータ機械学習を有用な技術にしている理由です。そして、近年では医療から商業から教育に至るまで、さまざまな分野でデータと統計の利用が変革を起こしつつあります。一方で、世論操作のために悪用されたり社会的な不平等の原因となるなど、統計、データと機械学習の誤用によるマイナスの影響も生じています。

ゆえに、データの利用や機械学習技術に対して注目しなければならないことに疑問はありません。それでも、(マイケル・ジョーダン氏の用語を使うなら)、未だ想像上の存在でしかない、将来の「人間に似た人工知能」に関する議論と、今現在の現実として出現しつつある「知能インフラ (II)」の議論は区別するべきであると言えます。

自律的な知能観とその裏の世界観について

そして、もう一点、ブルックス氏の議論の特徴としては、「自律的なエージェント」としての知能観を強調していることが挙げられます。不完全で不確実な情報な情報しかなくても、世界の中で自律的に自己完結した行動を取れる、それこそが「知能」であるのだという考えを持っているようです。

ここには、裏を返すと、「シンボリックAI/統計的機械学習型AI」と、「振る舞いに基づくアプローチ型のAI」それぞれの、いわば世界観の違いが存在しているように感じます。

  • シンボリックAI/統計的機械学習型AI
    知的エージェント(人間)は、世界の「客観的実在」とその基本法則を完全に認識でき、その正確なモデルが構築できる。または、大量のデータを取得すればいくらでもそこに漸近できる。ゆえに、不完全で非自律的な知的エージェントであったとしても、正確なモデルや大量のデータが存在すれば「正しい」行動と予測が可能である。
  • 振る舞いに基づくアプローチ型のAI
    知的エージェントは、世界の「客観的実在」を認識することはできず、どれほど大量のデータがあってもなお未来の予測はできない。それでも、知的なエージェントは低レベルの刺激に対する反応をもとにして「ロバストな」行動と予測が可能である。

おそらくこれが、Part1の文中で述べられている、「暗黙的に基礎を成す哲学的な立場」ではないかと考えているのですが、ブルックス氏の次回のエッセイを待ちたいと思います。

関連記事

過去、私が訳したブルックス氏のエッセイです。 

 

ブルックスの知能ロボット論―なぜMITのロボットは前進し続けるのか?

ブルックスの知能ロボット論―なぜMITのロボットは前進し続けるのか?

 

*1:当然、この議論には、「生物は、自然淘汰と進化を通して、統計的に知能を発達させてきたのだ」という反論がありうると思いますが、おそらく進化を通して入力されるデータの量は昨今の「ビッグデータ」とは比較にならないほどに多いでしょう

悪しき未来学: 「人生100年時代」の根拠の怪しさについて

このシンギュラリティ懐疑論を書いている中で、特にリアル知人から受けた典型的な反応は「ごく一部の馬鹿と利害関係者を除いて、誰もそんな話信じていないでしょ」というものでした。

確かに、シンギュラリタリアニズム/トランスヒューマニズム的な将来予想を額面通り受け止め信奉しているのは、ごく一部の周縁的集団に限られています。けれども、彼らの予想は、形を変え、希釈され、出自を隠されたまま主流派の未来予測にも入り込み、政治的な政策議論にも影響を及ぼしているため、決して完全に無視できるものではありません。更には、シンギュラリタリアン/トランスヒューマニストの「未来予測」に見られる論理的な誤りは、まったく同じ形で主流派の未来予測にも存在しているものです。

『ライフ・シフト』と人生100年時代

おそらく、最近「人生100年時代」というフレーズを耳にした経験のある人は多いのではないかと思います。

銀行や保険会社は「人生100年時代の老後に備える」ための投資や保険を売り込み、転職斡旋企業や自己啓発作家はキャリアの長期化に備えた人生設計の必要性を訴え、そして内閣府ではそのものズバリ「人生100年時代」を掲げた会議を開催しています。

LIFE SHIFT(ライフ・シフト)

LIFE SHIFT(ライフ・シフト)

このフレーズは、イギリス、ロンドンビジネススクールのリンダ・グラットン教授が、著書『ライフ・シフト』の中で提唱し、広く普及させたものです。

この本を読んでいない人は、「これほどまでに『人生100年時代』というフレーズが広がっているのだから、元ネタの本書では平均寿命予想の根拠がしっかり立証されているのだろう」と感じるかもしれません。

ところが、本書のほとんど (第2章以降) すべての記述は、「もしも仮に平均寿命が100歳を超えたとしたら、人生や社会はどのように変わるだろうか?」というスペキュレーションです。肝心の「将来の平均寿命の伸び」自体に対する科学的な根拠はかなり少量であり若干疑わしく、良く言っても仮説の域を出ないものであり、政策議論の根拠とするには不十分であると言えます。

平均寿命延長の根拠

本書の「平均寿命100歳」の根拠の本質は、「ベストプラクティス平均寿命」として描かれたグラフ(p.42)であり、「ある年に世界で最も長寿である国の平均寿命」を、過去およそ170年にわたってプロットしたグラフです。著者が主張するところによれば、1840年から2000年までの間、10年毎に2〜3年の寿命が伸びているため、これを線形に外挿すれば、近い将来に寿命は100歳に達するとされています。端的に言い換えると、「グラフを描いて直線を伸ばしてみました。」というレベルの議論です。

補足的に、「コーホート平均寿命」と「ピリオド平均寿命」による寿命予測の差異、現在研究中の長寿化手法や人間の寿命の上限などが挙げられていますが、著者の乱暴な外挿を正当化する根拠としては薄弱であるように感じます。また、これほどの寿命延長を実現するにあたって、具体的にどのような医療・公衆衛生政策や産業・研究政策が必要であるのかは議論されていません。

驚いたのは、著者自身が「もちろん、未来のことは誰にも分らない。」(p.49) という予防線を張っていることです。もちろん、著者が主張する通り「100年ライフがSFの世界の話でもなければ、乱暴なあてずっぽうでもな」(p.49) く、考察に値する仮説であることは間違いありません *1。そうは言っても、やはりこれは仮説であり、これをベースにした政策議論はかなり危なっかしいと感じます。

更なる極めつけの驚愕的事実は、(「人生100年」の直接的な論拠ではないとはいえ) 寿命延長の楽観論者の代表として、レイ・カーツワイル氏とテリー・グロスマン氏が挙げられていることでしょう。 カーツワイル氏の寿命「予測」については過去に取り上げたことがありますが、彼の医学と寿命に関する「予測」は完全なるデタラメであり、何度も何度も同じ失敗を繰り返し自身の経験からすら学べない愚者以下の、ほとんど狂乱の域に達しているとさえ言えます。

その上、カーツワイルとグロスマンは寿命延長効果をうたう健康食品ビジネスも手掛けており、科学的根拠の不透明さと高額な費用には批判的な意見も存在しています。

悪しき未来学

上記の通り、『ライフ・シフト』の根拠は弱いものですが、とはいえ、私自身もある程度の期間、寿命の伸びが続いてもおかしくないと考えていますし、今年誕生した世代の平均寿命が、結果的に100歳に到達する可能性はあるでしょう。また、本書で描かれた将来の変化自体は、寿命予想の成否に関わらず興味深いものです。

少なくとも、「人生100年時代」が検討に値する仮説であることは間違いありません。それでも、この「仮説」の扱われ方を見ると、これまでにも取り上げてきたシンギュラリティ論と同様の論理的な誤りが3つ存在しています。

まずは、「ある仮定のもとで起こりえる結果を空想しているうちに、短絡的に、仮定が現実だと信じ込んでしまう」という問題です。もともとの著者の議論、「もし平均寿命が100歳を超えたとしたら、人生や社会はどのように変わるだろうか?」というスペキュレーション自体は、妥当であり有用です。ところが、これが短絡的に受け止められると「平均寿命が100歳に達する」という議論の仮定が、確定的な未来のあり方であるかのように信じ込まされてしまうのです。

その結果として、「多様な未来の可能性とリスクを見落としてしまう」という問題が起こります。私も「平均寿命100歳」は検討に値する仮説であると思いますが、それと同じ程度には、「平均寿命の伸びが停滞ないし逆転する」という仮説も注意を払うべきではないかと考えています。

ここ数年連続して、アメリカでは「死亡率」が上昇しており、平均寿命の伸びをやや押し下げています。特に、中年白人男性の死亡率の上昇は著しく、彼らの切迫した絶望感が2016年にドナルド・トランプを大統領の座へと押し上げた可能性があると言われています*2。もちろん、死亡率上昇も、過去1世紀半の平均寿命の伸びと同じく「健康、栄養、医療、教育、テクノロジー、衛生、所得」(p.45) の複合的な要因によるものでしょう。けれども、この事実は「健康と長寿」への道のりが平坦ではなく、また寿命の伸びが歴史的必然でもないことを示しています。更に、トランプ旋風は「もし仮に寿命の伸びが停滞し逆転したとしたら、社会や政治行動にどのような影響を及ぼすのか」というスペキュレーションにも、同じ程度に考察の価値があることを示唆しています。未来のあり方が確定的なものであるかのように信じ込んだ場合、それ以外の状況へ対応する準備を削ぐことになりかねません。

これに関連して、「遠い将来の根拠の疑わしい話により、現在発生している問題が隠蔽されてしまう」という問題もあります。高齢化に伴う医療費の増大、医療従事者の恒常的な過重労働、新型の薬剤耐性菌の発生など、健康と寿命に影響を与えるであろう問題は、既に多数存在しています。

医学、生理学や薬学分野では、過去、一貫して投資効果の収穫逓減が発生しています。新薬1件の実用化に要する研究開発費用は、過去指数関数的に増大を続けてきました。長寿化の結果として発生する問題に眼を向ける以前に、そもそも長寿を実現するために何をするべきなのかに注目する必要があります。

実際問題、健康長寿は自動的・必然的に実現されることではなく、個々人の努力とともに国家と社会レベルでの対策・政策が必要になるものです。根拠の乏しい仮定を信じ込んでしまうと、「現実に何をすべきなのか」を見誤る懸念があります。


「多くの人はシンギュラリティなんてマトモに信じていない」ことは事実でしょう。それでも、彼らのナラティブは主流派の論者を捉えており、主流派の未来予測とも繋がっています。また、同時にその論理的誤りも一般的な未来予測へと持ち込まれているため、その影響力については真剣に受け止めるべきであると思います。

未来の出来事をこのように仮説として構築するにあたって生じる論理的な欠陥は、つねに同一である。それは、最初に仮説として登場するものが(…)二、三節先ではいきなり「事実」となり、さらにその事実から同じように一連の事実ではないものが生み出され、その結果、その企画全体の純然たる思弁的な性格が忘れ去られてしまうということである。
暴力について』(ハンナ・アーレント)

書評:数学破壊兵器 『あなたを支配し、社会を破壊する、AI・ビッグデータの罠』(キャシー・オニール)

おそらく、ここ数年出たAI・ビッグデータ関連本のなかでは最重要な本。個人的には、このブログを読むような人は、立場にかかわらず必ず読むべきだと思う。 

あなたを支配し、社会を破壊する、AI・ビッグデータの罠

あなたを支配し、社会を破壊する、AI・ビッグデータの罠

著者キャシー・オニールは、数学の博士号を取得した後、大学でテニュアを得たものの辞職して金融業界でクオンツとして働き、金融危機後にデータサイエンス業界へ転じた、現代の数学屋さんの理想とでも言うべきキャリアを進んできた人です。個人ブログとしてmathbabeを書いています。

そんな根っからの数学屋である彼女が書いた本の原書の題名は、"Weapons of Math Destruction" (数学破壊兵器)。大量破壊兵器 (Weapons of Mass Destruction) という語の"math"と"mass"を掛けたシャレで、社会や人間に巨大な悪影響を与えるAI・ビッグデータの乱用は「数学破壊兵器」なのだと指摘しています。

数学破壊兵器

それでは、数学破壊兵器とは一体何なのか。著者が指摘するところによれば、数学破壊兵器とは、人々を分類しランク付けしたり、あるいは人々の行動を予測するモデルや統計データ分析のうち、以下のような特徴を持つ、構造的に不平等と不正義を増幅するような数学の悪用が数学破壊兵器であるのだといいます。

  • モデルの中身が不透明である
  • 大規模に使用されている
  • 予測結果に対するフィードバックがない
  • 予測そのものが自己成就予言としての性質を持つ
  • 「代理データ」が使われている

「数学破壊兵器」となるモデルの例として、「犯罪者の再犯率を予測し、刑罰の決定に利用するモデル」や、「求職者の評価と足切りを行なうモデル」が挙げられています。この種のモデルは、時として作成者や意思決定者ですら、どんな手法によってスコアが算出されているのか理解していない場合もあり、結果として極めて不透明な意思決定がされる場合があります。

この種のモデルの目的は、公平性や正確性ではなく、大量の犯罪者や求職者を効率的に、大規模に「処理」することです。そのため、モデルの予測結果に対する修正は軽視される場合があります。また、フィードバックが構造的に難しい場合もあります。たとえば、「優秀な志願者を採用できなかった」という予測の失敗は、(そもそも対象者が自社で働いていないので) ほとんど訂正を受けることがありません。

更にこの傾向を悪化させる特徴として、モデルによる予測の自己成就予言としての性質が挙げられます。たとえば、「再犯の可能性が高い犯罪者に長期の懲役を課すことにより、結果的に社会復帰が困難になり再犯を繰り返す」、「信用スコアが低い貧困者が高率のローン金利を課せられ、結果的に破産の確率が増す」といった事象です。また、この傾向により、一つ前で挙げた「モデルの性能評価」自体がそもそも無意味となるある場合すらあります。

また、「代理データ」とは、「モデルが予測・評価するべき直接の目的とは関係のないデータ」です。例として、犯罪者や求職者の住所(郵便番号)を使用することが挙げられています。これは一見何の問題もないように見えるかもしれませんが、米国では「人種」により居住地が分離しているため、住所を使用した場合、暗黙のうちに予測結果に人種の要素が取り入れられる状況となります。個人の行為や能力ではなく属性にもとづいた判断、たとえば「黒人であるからという理由で刑期が伸ばされる」「女性であるからという理由でポストを得られない」といった状況は、おそらく多くの人が不正義であると感じるでしょう。けれども、「代理データ」の使用により、現在の社会に存在する偏見と不平等が、数学的・機械的で公平な判断を装ったモデルにより構造的に増幅されてしまうのです。

既に起きている現在の問題

「AIの社会問題」について論じられるときは、将来起こり得るかもしれない問題に注目が集まることが多いようです。けれども、本書が扱っているのは既に今起きている問題です。

先に紹介したデール・キャリコジャン=ガブリエル・ガナシアをはじめ、「シンギュラリティと超知能」のナラティブに対する批判として「遠い将来の信憑性すら怪しい与太話によって、既に発生している現在の問題が隠蔽されている」という指摘は度々なされてきました。これらの批判はともすれば「テクノロジーを知らない部外者の話」として軽視される傾向にありました。しかし、数学ど真ん中のキャリアを歩んできた著者による、警察、司法、教育、行政から広告、企業に至るまで「既に発生している現在の問題」へ着目する本書には、大きな意義があります。

AIによるユートピア論、あるいは「AIが仕事を奪う」「AIが人類を滅ぼす」といったディストピア的な物語も、AIの強さと完全性を認めているという点では、まったく同等の仮定を置いています。現実には、強力でも完全でもない「AI」が静かに社会へ入り込んでいる状況には恐怖を覚えます。超知能の物語とは異なる真の問題に対して光を当てる本として大変に重要な本なので、是非みんな読んでほしいと思います。

AIとデータ分析の乱用に対して極めて批判的な本書ですが、著者自身もこれらの技術を全否定しているわけではなく、望ましい社会を作るために有効に活用できるものであると述べています。また、データの利用は今後も続いていくでしょうし、近い未来にはこのトレンドは逆転することはないだろうと思います。

それでも、「倫理的な判断」、人間や社会にとっての善悪や「望ましいこと」「あるべき状態」を、よしなに判断し実現してくれる「人工知能」は存在せず、近い将来にもおそらく存在しないということ、「望ましい社会」は我々全員が作っていく必要があるものであるということを認識しなければならないでしょう。

まずは、私たちが抱くテクノ・ユートピア思想を見直すことから始めるべきだ。アルゴリズムとテクノロジーの力で理想郷を創ることができるという根拠のない期待が際限なく広がっているが、私たちは、テクノロジーの向上を求める前に、テクノロジーが進展すれば何でも実現できるようになるわけではないことを認めなければならない。(p.312)

翻訳:超知能AI神の存在確率 (デール・キャリコ)

以下は、カリフォルニア大学バークレー校の修辞学部の講師であり、批評理論家、修辞学者のデール・キャリコによる"Nicholas Carr on the Robot God Odds" の翻訳(一部抄訳)です。(私が思うに、デール・キャリコは、シンギュラリタリアニズム/トランスヒューマニズムの思想面に対する、最も徹底的で辛辣・強烈かつ持続的な批判者です。)

ニコラス・カーのロボット神の存在確率について

 ニコラス・カーの主張に同意することはたやすい。

コンピュータが十分に賢くなり、彼らが世界を乗っ取ろうと決断し、そのための悪意ある計画を温め、そして実行するという確率は、途方もなく小さい。イエス、それは可能性[possible]の領域にある。ノー、それは蓋然性[probable]の領域にはない。もしも、人類の存続に対する脅威を心配したいのであれば、旧来の聖書的な脅威 -- 洪水、飢饉、ペスト、疫病、戦争 -- こそが、今でもスタート地点として最良の場所ではないかと思う。

カーは、レイ・カーツワイルイーロン・マスク、ニック・ボストロムのような、比較的著名なシンギュラリタリアンAIカルト信者の悪夢と夢想を揶揄している。彼らは、友好的な超知能AIが作成されるよりも前に非友好的な超知能AIが作成される危険を、大きな懸念事項だと捉えている。私はカーの主張に同意することはたやすいと述べたし、私も同じことを書いている。ここここではカーツワイルに関連して、ここではイーロン・マスクここではニック・ボストロムについて取り上げた。

けれども、私が懸念しているのは、ここでカーが仕掛けている非常に正しく常識的な議論が、何かしら逆の効果をもたらすのではないかということだ。シンギュラリタリアンが主張する懸念に対して、政策決定上の確率を否定しながら寛大にも論理的な可能性を肯定することによって、一体彼は何を是認しているのだろうか? 我々が知能や意識と呼ぶような現象が、生物的な脳や生体神経系以外においても、物質的に実現できるという論理的な可能性があることについて、私は喜んで同意する。ヒトのみならず、イルカや霊長類や他者の存在を認識できる者は、人間あるいは権利保有者であると見なされうることについて、私は喜んで同意する。(...) これらすべてが重要で、実りある議論となるだろう。けれども、これらの主張は実際にシンギュラリタリアンが唱えているものだろうか。

シンギュラリタリアンは、非生物的な意識が実現できるかもしれないというかなり壮大な主張を唱えているのだろうか。それとも、彼らは陳腐なSF的決まり文句を、政策技法の関連語として動員しているだけなのだろうか -- 「友好的?」、「サイバーエンジェル?」 本当だろうか? あるいは、失敗を繰り返してきたAI研究プログラムが、還元主義的でソシオパス的な、肉体を呪う、スピリチュアルな意図の隠された、陰謀論的な信念ベースのAIモデルが、最終的には逆転勝利を迎えると宣言したいのだろうか?

半世紀の歴史を持つ、古いテクノ・ユートピア的な古き良きAI(GOFAI) [Good Old Fashioned AI] の夢は、私にとっては、社会的疎外と安直な明晰性と明確性を実証するものであり、また、現実世界において現実に知能と意識を示す現実の物質的なシステムについて、我々自身が現実に理解していること[のみ]を実証するものであるように見える。見たところ、このような間違った仮定にもとづいた研究プログラムが失敗を続けていることは、何ら驚くべきことではない。そして、間違った仮定によって起こった知的なAI構築研究の失敗を、どうして更にGOFAIを増幅させた間違った仮定に基づいて超知的AIの構築を目指すことにより回避できると考えているのか、理解しがたい。マーケティングの技法によって、まったく同一の不味くて不健康なコーラに「超巨大」サイズのオプションを追加すれば、確かに売上を向上させられるかもしれない。それでも、なぜそれがコーラをおいしく、健康なものへ改善できると考えるのかは理解しがたい。

技術超越主義的な願望成就ファンタジスト [techno-transcendental wish-fulfilment fantasists] のほとんどと同じく、シンギュラリタリアンは、自身が思うままに真剣に受け止められることを願っている。彼らは、反対意見を特段快く思わないかもしれないが、けれども、何らかの形の嘲笑でさえありがたく受け取るかもしれない。もしもそれが注目を集め、彼らが望む方向へと妥当な議論をねじ曲げられるものであった場合には。彼らが「技術的」とみなす事項について、懐疑論者と超知能AI神の存在確率に関して議論すること以上に、ロボットカルト信者が楽しむことは多くあるまい。なんとなれば、シンギュラリタリアン、テクノ不死追求者、トランスヒューマン優生学者、「ジオエンジニア」などたちは、自分たちは啓蒙と科学のチャンピオンであるという宣言を好むようであるが、実際は彼らは、信仰信条に継ぐ信条に継ぐ信条により、科学のコンセンサスから周縁部フリンジへと追いやられており、そこで、まったく非啓蒙的で批判精神の欠如した、真なる信仰じみた口調で教義を語っているのであるから。神学者が「針の頭で天使が何人踊れるか」について論敵と議論している時、彼は苛立っていただろうと思っているが、それでも、それが議論である限りにおいて対立者は存在しており、究極的には、その勝利は問題となっただろう。

私が思うに、これがブログFutrismsでのチャールズ・ルービンによる、カーに対する反論の力であると思う。すなわち:「人工意識を開発しようと試みている人々が存在しており、彼らが受け取っている資源や支援は、彼ら自身が望んでいるほどの量ではないかもしれないが、テックカルチャーは、少なくとも、彼らの味方である(…) これは懸念すべきではないだろうか?」 ロボットの神は存在しないかもしれず、将来にも存在しないだろうが、けれども、AIカルト信者は存在する。そして彼らは、ご存知の通り、確実に影響を及ぼしている。

カーと同じく、超知能AIの支援者 (または、どの程度にせよ、真剣に超知能の可能性を受け止める支援者) は、たわごとを売り込んでいると考えている。シンギュラリタリアンの世界観はあまりに病的であるので、医療者は彼らの考えを真剣に受け止める必要があるだろう。また、彼らの議論はあまりに欠陥だらけであるため、彼らが書いた科学論文を評価する者は誰でも、彼らの考えをもっと真剣に捉える必要があるだろう。実際には科学の講義を取っていないかもしれないのだから。けれども、なぜ政策決定者が彼らの懸念を真剣に考慮しなければならないのかは理解しがたい。シンギュラリターリアン [Singularitaarians] の進む道は袋小路であり、本当に問題であるのは我々が現実に起きている問題に対処することである。多くのシンギュラリタリアンたちがそれほど深刻に懸念していない問題であっても、それより以前にもっと現実的な脅威を懸念しなければならない。

私が既に何度も述べた通りハイエク主義者のモンペルラン協会 [Hayekian Mont Pelerin Society] *1の事例は、富裕層に追従し奉仕する疑わしい思想を強固に信じたごく少人数の集団が、世界を破滅の縁へと追いやることを示しているし、ネオコンの事例は、更に馬鹿げた思想を信じた集団が影響力を得ることができることを示している。彼らの思想が疑わしいというだけではなく、非理性的な熱情に訴えかけるものであると判明した時でさえそうなのだから。未来学者は与太話をまき散らしているだけかもしれないが、そこにはエリート層の利害が込められており、独り善がりの消費主義的な科学技術に対する無知は言うまでもなく、心地良く満足させるもので、AIカルト教の教義体系を合理化するものである。彼らが唱える狂乱した仮定、夢想、空想によって科学技術言説と政策が埋めつくされた場合、絶大な被害が発生しうるだろう。

カーはこの論点を完全に精緻化していないけれども、彼が始めた主張は、超知能AI言説の馬鹿馬鹿しさを矮小化するものだと認識しなければなるまい。「今や…コンピュータチップを備えたあらゆる消費財が「スマート」とブランド化されている」 カーと同じく、私もロボットカルト信者の予測、ロボットの神が地平線上に現れるという予測を、わずかなりとも真剣に捉えるべき理由は無いと考えているし、まったく考慮に値しないと考えている。(温暖化ガスではなく、ネオリベラル的な貧困化ではなく、警察の人種差別的バイアスではなく、兵器拡散ではなく、人身売買ではなく、人口過剰地域における治療可能な疾病に対する無視ではなく[、なぜ超知能AIを検討するべき理由があるのか]) ただし、カーとは異なり、私はこの超知能ロボット神は馬鹿げていると考えており、良いものだとは考えていない。

けれども、私が思うに、Googleといった企業組織、DARPAといった軍事組織、スタンフォードやオクスフォードなどの学術組織においてこの思想が蔓延しているため、超知能AIの予測の裏にあるイデオロギーに対しては、きわめて深刻に捉えるべき理由があると思う。

AI信者ができの悪いソフトウェアを作成する理由は、ソフトウェアの機能自体に問題があるのではなく、そのソフトウェアは、彼らが忠誠を誓うべきAI神の似姿の萌芽であるからなのだと考える理由がある。

まったくスマートではないカードや車を「スマート」と呼んだ場合、ほんとうにスマートである人々の明瞭さ、尊厳や繁栄に対する要求を見失なうもしれないと懸念する理由がある。

世界には既に十分すぎるほどの「非友好的な」AIが存在すると考える十分な理由がある -- それはシンギュラリタリアンが我々に警告し、気を逸らさせようとしているような「超知能AI」には見えないかもしれないが -- すなわち、アルゴリズム的なクレジットスコアによって、誰が住宅所有者としてふさわしいか選定される状況、ビッグデータによる犯罪プロファイリングによって、誰が司法外の [警察による] 殺人の犠牲者となるかを選定される状況である。

超知能AIについて言えば、その確率オッズ良くグッドないが商品グッズは極めて奇妙オッドだ。これらの問題においては、何が問題であるかを見極めることに注意を払うことが問題なのである。

*1:訳注:経済的な(新)自由主義を支持する経済学者による政治団体フリードリヒ・ハイエクミルトン・フリードマンも所属していた

シンギュラリティは雪男である

私のシンギュラリティ懐疑論の立場は、「シンギュラリティは来ない」ではなく「シンギュラリティが来るという根拠がない」というものです。

私のこの立場については、これまでも何度か説明してきているのですが、再度整理しておきたいと思います。*1

  • 「人間と似た人工物」が作成可能であることは、原理的に否定する根拠はない
  • 「人間と似た人工物」が近い将来に作成可能であるという予想には、根拠がない
  • 「人間と似た人工物」ができれば「シンギュラリティ」が発生するという説には、根拠がない *2
  • 「原理的に否定する根拠がない」目標を目指す、個人や有志の研究活動の意義を否定するものではない
  • ただし、「原理的に否定する根拠がない」程度の信憑性の話を、社会の政策や技術開発の指針とすることは反対する


これを説明する分かりやすいたとえを考えてみたところ、私は「雪男」として捉えると適切ではないかと思いました。他の方も、土星人だとかスーパーマンだとか、あるいは鉄腕アトムとゴジラだとか、はたまた永久機関だとか、いろいろなたとえを使われていますが、ガス惑星である土星に生命が存在しないこと、フィクションの登場人物であるスーパーマンやアトムやゴジラが存在しないことはおそらく当然であり、また、熱力学の法則から原理的に不可能だと示されている永久機関も、たとえとしてあまり適切ではないと思うからです。

雪男信仰

  • ヒマラヤ山脈のどこかに、まだ発見されていない雪男がいるかもしれないしいないかもしれない
  • 生物に関する既存の科学的知識からは、「雪深い山の中に住む、ヒトとは別種の高い知能を持つ生物種」が存在する可能性は、原理的に否定できない
  • 雪男の実在を信じる人がいてもよい
  • 個人や有志で、雪男を探す活動に問題があるとも思わない
  • 最終目標である「雪男探し」が荒唐無稽であっても、調査の進め方自体が妥当であれば、たとえば山岳地帯の動植物や地理、地質や気候などの科学的知識が深まるだろう
  • であるため、個人的には雪男の存在を信じないけど、雪男を探したい人(かつまともな調査ができる人)に、ある程度の妥当な額の公的資金を支出してもいいんじゃないの? と思う

雪男と思考実験

  • もしも仮に雪男が存在するとしたら…というスペキュレーティブな思考実験も、あってよい
  • 「もしも仮に、人間に近い (または超える) 認知能力を持つ別種の生物が存在するとしたら、我々は法・社会・経済的に雪男をどのように扱うべきだろうか、あるいは人間はどう扱われるだろうか」という思考実験自体に問題はない
  • 極端な事例を考えることで、自明視されていた思考の前提が問い直され、首尾一貫した新たな洞察を得られる場合があり、それ自体を否定するつもりはない

空想生物とフィクション

  • もちろん、雪男を描く小説や漫画や映画やゲームがあっても良い
  • 空想の生物は創作者のイマジネーションを刺激し、たくさんの作品を生み出してきた

スペキュレーションと政策

  • とはいえ、「雪男の存在を否定する根拠がないこと」「雪男が存在すること」の根拠ではなく、「雪男の存在問題を真剣に考慮するべきである」という理由にもならない
  • 既に雪男が存在するかのように、あるいはすぐに発見されるかのように考え、雪男の存在をもとに社会の政策を検討すること、たとえば「雪男の侵略に備えて防壁を作るべきだ」とか「将来、雪男が我々の代わりに労働するのだ」といった主張には反対する

立証責任の担い手


これは架空の会話。

A 「私は雪男が存在する証拠を見つけた!この毛皮がそれだ!」
B 「検査の結果、この毛皮は雪男ではなくクマのものであると分かりました。」
A 「雪男が居るか居ないか、それは分からない。科学的には、雪男は居るとも居ないとも言えない。『雪男は存在しない』という狭量な前提のもとで議論し、『雪男がいる』という可能性を狭めるのは、非科学的である。」
A 「雪男の存在を否定するなら、その根拠を出せ!!」
B 「…」

 

 下記の記事で紹介した論文もご覧ください。

 

ところで、Wikipediaに掲載されていた情報ですが、ロシアのある学会によると、ロシアに雪男が存在する可能性は95%以上だそうです。(個人的には、雪男が発見されたらめっちゃ面白そうなので是非探してほしい)

恐怖の雪男 [Blu-ray]

恐怖の雪男 [Blu-ray]

*1:なお、この議論では、おもに「知能爆発説」のビジョン(未来予測)を念頭に置いています。「収穫加速説」については、「明確な定義も、過去の実証的根拠も無い」で議論が尽きているので

*2:私はこの2つを区別します