シンギュラリティ教徒への論駁の書

"It's tough to make predictions, especially about the future." - Yogi Berra

目次

第一部 「シンギュラリティ」

  1. 序文
  2. シンギュラリティとは何か?
    - カーツワイルのシンギュラリティ説とその批判 
  3. ほとんどのテクノロジー成長は指数関数的ではない
  4. 収穫加速の幻影
  5. ムーアの法則と人工知能
    5.1. ムーアの法則
    5.2. 精神転送
    5.3. 人工知能研究と機械学習
    5.4. 全脳アーキテクチャ
  6. 知能の拡大と思考主義批判
  7. 宇宙の覚醒
    - まとめ
  8. 予言は外れた
  9. テクノ・ハイプ論:なぜシンギュラリティは問題か
  10. 後書き

第二部 「進歩と崩壊と没落の未来史」

  1. 序文
  2. ハバートの法則と没落加速の法則
  3. 没落してゆく世界のスケッチ
  4. 崩壊概論
  5. 進歩の神話
  6. 崩壊教と進歩教
  7. ディセンサスの流儀
  8. 後書き

(執筆中…)

第三部 「技術的超越の思想史(仮題)」

(構想中…)

 

本ブログは、カーツワイル氏のシンギュラリティ説と「収穫加速の法則」を批判的に検証するものです。もともと書籍の企画として執筆し始めたものであるため、序文から順番に議論を展開していますが、各エントリは独立して読めるように構成しています。

初めての方向けの概要としては、カーツワイルのシンギュラリティ説とその批判 (短め) およびまとめ (やや長め)、および雑記ブログの自選10記事もご覧ください。

悪しき未来学: 「人生100年時代」の根拠の怪しさについて

このシンギュラリティ懐疑論を書いている中で、特にリアル知人から受けた典型的な反応は「ごく一部の馬鹿と利害関係者を除いて、誰もそんな話信じていないでしょ」というものでした。

確かに、シンギュラリタリアニズム/トランスヒューマニズム的な将来予想を額面通り受け止め信奉しているのは、ごく一部の周縁的集団に限られています。けれども、彼らの予想は、形を変え、希釈され、出自を隠されたまま主流派の未来予測にも入り込み、政治的な政策議論にも影響を及ぼしているため、決して完全に無視できるものではありません。更には、シンギュラリタリアン/トランスヒューマニストの「未来予測」に見られる論理的な誤りは、まったく同じ形で主流派の未来予測にも存在しているものです。

『ライフ・シフト』と人生100年時代

おそらく、最近「人生100年時代」というフレーズを耳にした経験のある人は多いのではないかと思います。

銀行や保険会社は「人生100年時代の老後に備える」ための投資や保険を売り込み、転職斡旋企業や自己啓発作家はキャリアの長期化に備えた人生設計の必要性を訴え、そして内閣府ではそのものズバリ「人生100年時代」を掲げた会議を開催しています。

LIFE SHIFT(ライフ・シフト)

LIFE SHIFT(ライフ・シフト)

このフレーズは、イギリス、ロンドンビジネススクールのリンダ・グラットン教授が、著書『ライフ・シフト』の中で提唱し、広く普及させたものです。

この本を読んでいない人は、「これほどまでに『人生100年時代』というフレーズが広がっているのだから、元ネタの本書では平均寿命予想の根拠がしっかり立証されているのだろう」と感じるかもしれません。

ところが、本書のほとんど (第2章以降) すべての記述は、「もしも仮に平均寿命が100歳を超えたとしたら、人生や社会はどのように変わるだろうか?」というスペキュレーションです。肝心の「将来の平均寿命の伸び」自体に対する科学的な根拠はかなり少量であり若干疑わしく、良く言っても仮説の域を出ないものであり、政策議論の根拠とするには不十分であると言えます。

平均寿命延長の根拠

本書の「平均寿命100歳」の根拠の本質は、「ベストプラクティス平均寿命」として描かれたグラフ(p.42)であり、「ある年に世界で最も長寿である国の平均寿命」を、過去およそ170年にわたってプロットしたグラフです。著者が主張するところによれば、1840年から2000年までの間、10年毎に2〜3年の寿命が伸びているため、これを線形に外挿すれば、近い将来に寿命は100歳に達するとされています。端的に言い換えると、「グラフを描いて直線を伸ばしてみました。」というレベルの議論です。

補足的に、「コーホート平均寿命」と「ピリオド平均寿命」による寿命予測の差異、現在研究中の長寿化手法や人間の寿命の上限などが挙げられていますが、著者の乱暴な外挿を正当化する根拠としては薄弱であるように感じます。また、これほどの寿命延長を実現するにあたって、具体的にどのような医療・公衆衛生政策や産業・研究政策が必要であるのかは議論されていません。

驚いたのは、著者自身が「もちろん、未来のことは誰にも分らない。」(p.49) という予防線を張っていることです。もちろん、著者が主張する通り「100年ライフがSFの世界の話でもなければ、乱暴なあてずっぽうでもな」(p.49) く、考察に値する仮説であることは間違いありません *1。そうは言っても、やはりこれは仮説であり、これをベースにした政策議論はかなり危なっかしいと感じます。

更なる極めつけの驚愕的事実は、(「人生100年」の直接的な論拠ではないとはいえ) 寿命延長の楽観論者の代表として、レイ・カーツワイル氏とテリー・グロスマン氏が挙げられていることでしょう。 カーツワイル氏の寿命「予測」については過去に取り上げたことがありますが、彼の医学と寿命に関する「予測」は完全なるデタラメであり、何度も何度も同じ失敗を繰り返し自身の経験からすら学べない愚者以下の、ほとんど狂乱の域に達しているとさえ言えます。

その上、カーツワイルとグロスマンは寿命延長効果をうたう健康食品ビジネスも手掛けており、科学的根拠の不透明さと高額な費用には批判的な意見も存在しています。

悪しき未来学

上記の通り、『ライフ・シフト』の根拠は弱いものですが、とはいえ、私自身もある程度の期間、寿命の伸びが続いてもおかしくないと考えていますし、今年誕生した世代の平均寿命が、結果的に100歳に到達する可能性はあるでしょう。また、本書で描かれた将来の変化自体は、寿命予想の成否に関わらず興味深いものです。

少なくとも、「人生100年時代」が検討に値する仮説であることは間違いありません。それでも、この「仮説」の扱われ方を見ると、これまでにも取り上げてきたシンギュラリティ論と同様の論理的な誤りが3つ存在しています。

まずは、「ある仮定のもとで起こりえる結果を空想しているうちに、短絡的に、仮定が現実だと信じ込んでしまう」という問題です。もともとの著者の議論、「もし平均寿命が100歳を超えたとしたら、人生や社会はどのように変わるだろうか?」というスペキュレーション自体は、妥当であり有用です。ところが、これが短絡的に受け止められると「平均寿命が100歳に達する」という議論の仮定が、確定的な未来のあり方であるかのように信じ込まされてしまうのです。

その結果として、「多様な未来の可能性とリスクを見落としてしまう」という問題が起こります。私も「平均寿命100歳」は検討に値する仮説であると思いますが、それと同じ程度には、「平均寿命の伸びが停滞ないし逆転する」という仮説も注意を払うべきではないかと考えています。

ここ数年連続して、アメリカでは「死亡率」が上昇しており、平均寿命の伸びをやや押し下げています。特に、中年白人男性の死亡率の上昇は著しく、彼らの切迫した絶望感が2016年にドナルド・トランプを大統領の座へと押し上げた可能性があると言われています*2。もちろん、死亡率上昇も、過去1世紀半の平均寿命の伸びと同じく「健康、栄養、医療、教育、テクノロジー、衛生、所得」(p.45) の複合的な要因によるものでしょう。けれども、この事実は「健康と長寿」への道のりが平坦ではなく、また寿命の伸びが歴史的必然でもないことを示しています。更に、トランプ旋風は「もし仮に寿命の伸びが停滞し逆転したとしたら、社会や政治行動にどのような影響を及ぼすのか」というスペキュレーションにも、同じ程度に考察の価値があることを示唆しています。未来のあり方が確定的なものであるかのように信じ込んだ場合、それ以外の状況へ対応する準備を削ぐことになりかねません。

これに関連して、「遠い将来の根拠の疑わしい話により、現在発生している問題が隠蔽されてしまう」という問題もあります。高齢化に伴う医療費の増大、医療従事者の恒常的な過重労働、新型の薬剤耐性菌の発生など、健康と寿命に影響を与えるであろう問題は、既に多数存在しています。

医学、生理学や薬学分野では、過去、一貫して投資効果の収穫逓減が発生しています。新薬1件の実用化に要する研究開発費用は、過去指数関数的に増大を続けてきました。長寿化の結果として発生する問題に眼を向ける以前に、そもそも長寿を実現するために何をするべきなのかに注目する必要があります。

実際問題、健康長寿は自動的・必然的に実現されることではなく、個々人の努力とともに国家と社会レベルでの対策・政策が必要になるものです。根拠の乏しい仮定を信じ込んでしまうと、「現実に何をすべきなのか」を見誤る懸念があります。


「多くの人はシンギュラリティなんてマトモに信じていない」ことは事実でしょう。それでも、彼らのナラティブは主流派の論者を捉えており、主流派の未来予測とも繋がっています。また、同時にその論理的誤りも一般的な未来予測へと持ち込まれているため、その影響力については真剣に受け止めるべきであると思います。

未来の出来事をこのように仮説として構築するにあたって生じる論理的な欠陥は、つねに同一である。それは、最初に仮説として登場するものが(…)二、三節先ではいきなり「事実」となり、さらにその事実から同じように一連の事実ではないものが生み出され、その結果、その企画全体の純然たる思弁的な性格が忘れ去られてしまうということである。
暴力について』(ハンナ・アーレント)

書評:数学破壊兵器 『あなたを支配し、社会を破壊する、AI・ビッグデータの罠』(キャシー・オニール)

おそらく、ここ数年出たAI・ビッグデータ関連本のなかでは最重要な本。個人的には、このブログを読むような人は、立場にかかわらず必ず読むべきだと思う。 

あなたを支配し、社会を破壊する、AI・ビッグデータの罠

あなたを支配し、社会を破壊する、AI・ビッグデータの罠

著者キャシー・オニールは、数学の博士号を取得した後、大学でテニュアを得たものの辞職して金融業界でクオンツとして働き、金融危機後にデータサイエンス業界へ転じた、現代の数学屋さんの理想とでも言うべきキャリアを進んできた人です。個人ブログとしてmathbabeを書いています。

そんな根っからの数学屋である彼女が書いた本の原書の題名は、"Weapons of Math Destruction" (数学破壊兵器)。大量破壊兵器 (Weapons of Mass Destruction) という語の"math"と"mass"を掛けたシャレで、社会や人間に巨大な悪影響を与えるAI・ビッグデータの乱用は「数学破壊兵器」なのだと指摘しています。

数学破壊兵器

それでは、数学破壊兵器とは一体何なのか。著者が指摘するところによれば、数学破壊兵器とは、人々を分類しランク付けしたり、あるいは人々の行動を予測するモデルや統計データ分析のうち、以下のような特徴を持つ、構造的に不平等と不正義を増幅するような数学の悪用が数学破壊兵器であるのだといいます。

  • モデルの中身が不透明である
  • 大規模に使用されている
  • 予測結果に対するフィードバックがない
  • 予測そのものが自己成就予言としての性質を持つ
  • 「代理データ」が使われている

「数学破壊兵器」となるモデルの例として、「犯罪者の再犯率を予測し、刑罰の決定に利用するモデル」や、「求職者の評価と足切りを行なうモデル」が挙げられています。この種のモデルは、時として作成者や意思決定者ですら、どんな手法によってスコアが算出されているのか理解していない場合もあります。

この種のモデルの目的は、公平性や正確性ではなく、犯罪者や求職者を効率的に「処理」することです。そのため、モデルの予測結果に対する修正は軽視される場合があります。また、フィードバックが構造的に難しい場合もあります。たとえば、「優秀な志願者を採用できなかった」という予測の失敗は、(そもそも対象者が自社で働いていないので) ほとんど訂正を受けることがありません。

更にこの傾向を悪化させる特徴として、モデルによる予測の自己成就予言としての性質が挙げられます。たとえば、「再犯の可能性が高い犯罪者に長期の懲役を課すことにより、結果的に社会復帰が困難になり再犯を繰り返す」、「信用スコアが低い貧困者が高率のローン金利を課せられ、結果的に破産の確率が増す」といった事象です。また、この傾向により、一つ前で挙げた「モデルの性能評価」自体がそもそも無意味となるある場合すらあります。

また、「代理データ」とは、「モデルが予測・評価するべき直接の目的とは関係のないデータ」です。例として、犯罪者や求職者の住所(郵便番号)を使用することが挙げられています。これは一見何の問題もないように見えるかもしれませんが、米国では「人種」により居住地が分離しているため、住所を使用した場合、暗黙のうちに予測結果に人種の要素が取り入れられる状況となります。個人の行為や能力ではなく属性にもとづいた判断、たとえば「黒人であるからという理由で刑期が伸ばされる」「女性であるからという理由でポストを得られない」といった状況は、おそらく多くの人が不正義であると感じるでしょう。けれども、「代理データ」の使用により、現在の社会に存在する偏見と不平等が、数学的・機械的で公平な判断を装ったモデルにより構造的に増幅されてしまうのです。

既に起きている現在の問題

「AIの社会問題」について論じられるときは、将来起こり得るかもしれない問題に注目が集まることが多いようです。けれども、本書が扱っているのは既に今起きている問題です。

先に紹介したデール・キャリコジャン=ガブリエル・ガナシアをはじめ、「シンギュラリティと超知能」のナラティブに対する批判として「遠い将来の信憑性すら怪しい与太話によって、既に発生している現在の問題が隠蔽されている」という指摘は度々なされてきました。これらの批判はともすれば「テクノロジーを知らない部外者の話」として軽視される傾向にありました。しかし、数学ど真ん中のキャリアを歩んできた著者による、警察、司法、教育、行政から広告、企業に至るまで「既に発生している現在の問題」へ着目する本書には、大きな意義があります。

AIによるユートピア論、あるいは「AIが仕事を奪う」「AIが人類を滅ぼす」といったディストピア的な物語も、AIの強さと完全性を認めているという点では、まったく同等の仮定を置いています。現実には、強力でも完全でもない「AI」が静かに社会へ入り込んでいる状況には恐怖を覚えます。超知能の物語とは異なる真の問題に対して光を当てる本として大変に重要な本なので、是非みんな読んでほしいと思います。

AIとデータ分析の乱用に対して極めて批判的な本書ですが、著者自身もこれらの技術を全否定しているわけではなく、望ましい社会を作るために有効に活用できるものであると述べています。また、データの利用は今後も続いていくでしょうし、近い未来にはこのトレンドは逆転することはないだろうと思います。

それでも、「倫理的な判断」、人間や社会にとっての善悪や「望ましいこと」「あるべき状態」を、よしなに判断し実現してくれる「人工知能」は存在せず、近い将来にもおそらく存在しないということ、「望ましい社会」は我々全員が作っていく必要があるものであるということを認識しなければならないでしょう。

まずは、私たちが抱くテクノ・ユートピア思想を見直すことから始めるべきだ。アルゴリズムとテクノロジーの力で理想郷を創ることができるという根拠のない期待が際限なく広がっているが、私たちは、テクノロジーの向上を求める前に、テクノロジーが進展すれば何でも実現できるようになるわけではないことを認めなければならない。(p.312)

翻訳:超知能AI神の存在確率 (デール・キャリコ)

以下は、以下は、カリフォルニア大学バークレー校の修辞学部の講師であり、批評理論家、修辞学者のデール・キャリコによる"Nicholas Carr on the Robot God Odds" の翻訳(一部抄訳)です。(私が思うに、デール・キャリコは、シンギュラリタリアニズム/トランスヒューマニズムの思想面に対する、最も徹底的で辛辣・強烈かつ持続的な批判者です。)

ニコラス・カーのロボット神の存在確率について

 ニコラス・カーの主張に同意することはたやすい。

コンピュータが十分に賢くなり、彼らが世界を乗っ取ろうと決断し、そのための悪意ある計画を温め、そして実行するという確率は、途方もなく小さい。イエス、それは可能性[possible]の領域にある。ノー、それは蓋然性[probable]の領域にはない。もしも、人類の存続に対する脅威を心配したいのであれば、旧来の聖書的な脅威 -- 洪水、飢饉、ペスト、疫病、戦争 -- こそが、今でもスタート地点として最良の場所ではないかと思う。

カーは、レイ・カーツワイルイーロン・マスク、ニック・ボストロムのような、比較的著名なシンギュラリタリアンAIカルト信者の悪夢と夢想を揶揄している。彼らは、友好的な超知能AIが作成されるよりも前に非友好的な超知能AIが作成される危険を、大きな懸念事項だと捉えている。私はカーの主張に同意することはたやすいと述べたし、私も同じことを書いている。ここここではカーツワイルに関連して、ここではイーロン・マスクここではニック・ボストロムについて取り上げた。

けれども、私が懸念しているのは、ここでカーが仕掛けている非常に正しく常識的な議論が、何かしら逆の効果をもたらすのではないかということだ。シンギュラリタリアンが主張する懸念に対して、政策決定上の確率を否定しながら寛大にも論理的な可能性を肯定することによって、一体彼は何を是認しているのだろうか? 我々が知能や意識と呼ぶような現象が、生物的な脳や生体神経系以外においても、物質的に実現できるという論理的な可能性があることについて、私は喜んで同意する。ヒトのみならず、イルカや霊長類や他者の存在を認識できる者は、人間あるいは権利保有者であると見なされうることについて、私は喜んで同意する。(...) これらすべてが重要で、実りある議論となるだろう。けれども、これらの主張は実際にシンギュラリタリアンが唱えているものだろうか。

シンギュラリタリアンは、非生物的な意識が実現できるかもしれないというかなり壮大な主張を唱えているのだろうか。それとも、彼らは陳腐なSF的決まり文句を、政策技法の関連語として動員しているだけなのだろうか -- 「友好的?」、「サイバーエンジェル?」 本当だろうか? あるいは、失敗を繰り返してきたAI研究プログラムが、還元主義的でソシオパス的な、肉体を呪う、スピリチュアルな意図の隠された、陰謀論的な信念ベースのAIモデルが、最終的には逆転勝利を迎えると宣言したいのだろうか?

半世紀の歴史を持つ、古いテクノ・ユートピア的な古き良きAI(GOFAI) [Good Old Fashioned AI] の夢は、私にとっては、社会的疎外と安直な明晰性と明確性を実証するものであり、また、現実世界において現実に知能と意識を示す現実の物質的なシステムについて、我々自身が現実に理解していること[のみ]を実証するものであるように見える。見たところ、このような間違った仮定にもとづいた研究プログラムが失敗を続けていることは、何ら驚くべきことではない。そして、間違った仮定によって起こった知的なAI構築研究の失敗を、どうして更にGOFAIを増幅させた間違った仮定に基づいて超知的AIの構築を目指すことにより回避できると考えているのか、理解しがたい。マーケティングの技法によって、まったく同一の不味くて不健康なコーラに「超巨大」サイズのオプションを追加すれば、確かに売上を向上させられるかもしれない。それでも、なぜそれがコーラをおいしく、健康なものへ改善できると考えるのかは理解しがたい。

技術超越主義的な願望成就ファンタジスト [techno-transcendental wish-fulfilment fantasists] のほとんどと同じく、シンギュラリタリアンは、自身が思うままに真剣に受け止められることを願っている。彼らは、反対意見を特段快く思わないかもしれないが、けれども、何らかの形の嘲笑でさえありがたく受け取るかもしれない。もしもそれが注目を集め、彼らが望む方向へと妥当な議論をねじ曲げられるものであった場合には。彼らが「技術的」とみなす事項について、懐疑論者と超知能AI神の存在確率に関して議論すること以上に、ロボットカルト信者が楽しむことは多くあるまい。なんとなれば、シンギュラリタリアン、テクノ不死追求者、トランスヒューマン優生学者、「ジオエンジニア」などたちは、自分たちは啓蒙と科学のチャンピオンであるという宣言を好むようであるが、実際は彼らは、信仰信条に継ぐ信条に継ぐ信条により、科学のコンセンサスから周縁部フリンジへと追いやられており、そこで、まったく非啓蒙的で批判精神の欠如した、真なる信仰じみた口調で教義を語っているのであるから。神学者が「針の頭で天使が何人踊れるか」について論敵と議論している時、彼は苛立っていただろうと思っているが、それでも、それが議論である限りにおいて対立者は存在しており、究極的には、その勝利は問題となっただろう。

私が思うに、これがブログFutrismsでのチャールズ・ルービンによる、カーに対する反論の力であると思う。すなわち:「人工意識を開発しようと試みている人々が存在しており、彼らが受け取っている資源や支援は、彼ら自身が望んでいるほどの量ではないかもしれないが、テックカルチャーは、少なくとも、彼らの味方である(…) これは懸念すべきではないだろうか?」 ロボットの神は存在しないかもしれず、将来にも存在しないだろうが、けれども、AIカルト信者は存在する。そして彼らは、ご存知の通り、確実に影響を及ぼしている。

カーと同じく、超知能AIの支援者 (または、どの程度にせよ、真剣に超知能の可能性を受け止める支援者) は、たわごとを売り込んでいると考えている。シンギュラリタリアンの世界観はあまりに病的であるので、医療者は彼らの考えを真剣に受け止める必要があるだろう。また、彼らの議論はあまりに欠陥だらけであるため、彼らが書いた科学論文を評価する者は誰でも、彼らの考えをもっと真剣に捉える必要があるだろう。実際には科学の講義を取っていないかもしれないのだから。けれども、なぜ政策決定者が彼らの懸念を真剣に考慮しなければならないのかは理解しがたい。シンギュラリターリアン [Singularitaarians] の進む道は袋小路であり、本当に問題であるのは我々が現実に起きている問題に対処することである。多くのシンギュラリタリアンたちがそれほど深刻に懸念していない問題であっても、それより以前にもっと現実的な脅威を懸念しなければならない。

私が既に何度も述べた通りハイエク主義者のモンペルラン協会 [Hayekian Mont Pelerin Society] *1の事例は、富裕層に追従し奉仕する疑わしい思想を強固に信じたごく少人数の集団が、世界を破滅の縁へと追いやることを示しているし、ネオコンの事例は、更に馬鹿げた思想を信じた集団が影響力を得ることができることを示している。彼らの思想が疑わしいというだけではなく、非理性的な熱情に訴えかけるものであると判明した時でさえそうなのだから。未来学者は与太話をまき散らしているだけかもしれないが、そこにはエリート層の利害が込められており、独り善がりの消費主義的な科学技術に対する無知は言うまでもなく、心地良く満足させるもので、AIカルト教の教義体系を合理化するものである。彼らが唱える狂乱した仮定、夢想、空想によって科学技術言説と政策が埋めつくされた場合、絶大な被害が発生しうるだろう。

カーはこの論点を完全に精緻化していないけれども、彼が始めた主張は、超知能AI言説の馬鹿馬鹿しさを矮小化するものだと認識しなければなるまい。「今や…コンピュータチップを備えたあらゆる消費財が「スマート」とブランド化されている」 カーと同じく、私もロボットカルト信者の予測、ロボットの神が地平線上に現れるという予測を、わずかなりとも真剣に捉えるべき理由は無いと考えているし、まったく考慮に値しないと考えている。(温暖化ガスではなく、ネオリベラル的な貧困化ではなく、警察の人種差別的バイアスではなく、兵器拡散ではなく、人身売買ではなく、人口過剰地域における治療可能な疾病に対する無視ではなく[、なぜ超知能AIを検討するべき理由があるのか]) ただし、カーとは異なり、私はこの超知能ロボット神は馬鹿げていると考えており、良いものだとは考えていない。

けれども、私が思うに、Googleといった企業組織、DARPAといった軍事組織、スタンフォードやオクスフォードなどの学術組織においてこの思想が蔓延しているため、超知能AIの予測の裏にあるイデオロギーに対しては、きわめて深刻に捉えるべき理由があると思う。

AI信者ができの悪いソフトウェアを作成する理由は、ソフトウェアの機能自体に問題があるのではなく、そのソフトウェアは、彼らが忠誠を誓うべきAI神の似姿の萌芽であるからなのだと考える理由がある。

まったくスマートではないカードや車を「スマート」と呼んだ場合、ほんとうにスマートである人々の明瞭さ、尊厳や繁栄に対する要求を見失なうもしれないと懸念する理由がある。

世界には既に十分すぎるほどの「非友好的な」AIが存在すると考える十分な理由がある -- それはシンギュラリタリアンが我々に警告し、気を逸らさせようとしているような「超知能AI」には見えないかもしれないが -- すなわち、アルゴリズム的なクレジットスコアによって、誰が住宅所有者としてふさわしいか選定される状況、ビッグデータによる犯罪プロファイリングによって、誰が司法外の [警察による] 殺人の犠牲者となるかを選定される状況である。

超知能AIについて言えば、その確率オッズ良くグッドないが商品グッズは極めて奇妙オッドだ。これらの問題においては、何が問題であるかを見極めることに注意を払うことが問題なのである。

*1:訳注:経済的な(新)自由主義を支持する経済学者による政治団体フリードリヒ・ハイエクミルトン・フリードマンも所属していた

シンギュラリティは雪男である

私のシンギュラリティ懐疑論の立場は、「シンギュラリティは来ない」ではなく「シンギュラリティが来るという根拠がない」というものです。

私のこの立場については、これまでも何度か説明してきているのですが、再度整理しておきたいと思います。*1

  • 「人間と似た人工物」が作成可能であることは、原理的に否定する根拠はない
  • 「人間と似た人工物」が近い将来に作成可能であるという予想には、根拠がない
  • 「人間と似た人工物」ができれば「シンギュラリティ」が発生するという説には、根拠がない *2
  • 「原理的に否定する根拠がない」目標を目指す、個人や有志の研究活動の意義を否定するものではない
  • ただし、「原理的に否定する根拠がない」程度の信憑性の話を、社会の政策や技術開発の指針とすることは反対する


これを説明する分かりやすいたとえを考えてみたところ、私は「雪男」として捉えると適切ではないかと思いました。他の方も、土星人だとかスーパーマンだとか、あるいは鉄腕アトムとゴジラだとか、はたまた永久機関だとか、いろいろなたとえを使われていますが、ガス惑星である土星に生命が存在しないこと、フィクションの登場人物であるスーパーマンやアトムやゴジラが存在しないことはおそらく当然であり、また、熱力学の法則から原理的に不可能だと示されている永久機関も、たとえとしてあまり適切ではないと思うからです。

雪男信仰

  • ヒマラヤ山脈のどこかに、まだ発見されていない雪男がいるかもしれないしいないかもしれない
  • 生物に関する既存の科学的知識からは、「雪深い山の中に住む、ヒトとは別種の高い知能を持つ生物種」が存在する可能性は、原理的に否定できない
  • 雪男の実在を信じる人がいてもよい
  • 個人や有志で、雪男を探す活動に問題があるとも思わない
  • 最終目標である「雪男探し」が荒唐無稽であっても、調査の進め方自体が妥当であれば、たとえば山岳地帯の動植物や地理、地質や気候などの科学的知識が深まるだろう
  • であるため、個人的には雪男の存在を信じないけど、雪男を探したい人(かつまともな調査ができる人)に、ある程度の妥当な額の公的資金を支出してもいいんじゃないの? と思う

雪男と思考実験

  • もしも仮に雪男が存在するとしたら…というスペキュレーティブな思考実験も、あってよい
  • 「もしも仮に、人間に近い (または超える) 認知能力を持つ別種の生物が存在するとしたら、我々は法・社会・経済的に雪男をどのように扱うべきだろうか、あるいは人間はどう扱われるだろうか」という思考実験自体に問題はない
  • 極端な事例を考えることで、自明視されていた思考の前提が問い直され、首尾一貫した新たな洞察を得られる場合があり、それ自体を否定するつもりはない

空想生物とフィクション

  • もちろん、雪男を描く小説や漫画や映画やゲームがあっても良い
  • 空想の生物は創作者のイマジネーションを刺激し、たくさんの作品を生み出してきた

スペキュレーションと政策

  • とはいえ、「雪男の存在を否定する根拠がないこと」「雪男が存在すること」の根拠ではなく、「雪男の存在問題を真剣に考慮するべきである」という理由にもならない
  • 既に雪男が存在するかのように、あるいはすぐに発見されるかのように考え、雪男の存在をもとに社会の政策を検討すること、たとえば「雪男の侵略に備えて防壁を作るべきだ」とか「将来、雪男が我々の代わりに労働するのだ」といった主張には反対する

立証責任の担い手


これは架空の会話。

A 「私は雪男が存在する証拠を見つけた!この毛皮がそれだ!」
B 「検査の結果、この毛皮は雪男ではなくクマのものであると分かりました。」
A 「雪男が居るか居ないか、それは分からない。科学的には、雪男は居るとも居ないとも言えない。『雪男は存在しない』という狭量な前提のもとで議論し、『雪男がいる』という可能性を狭めるのは、非科学的である。」
A 「雪男の存在を否定するなら、その根拠を出せ!!」
B 「…」

 

 下記の記事で紹介した論文もご覧ください。

 

ところで、Wikipediaに掲載されていた情報ですが、ロシアのある学会によると、ロシアに雪男が存在する可能性は95%以上だそうです。(個人的には、雪男が発見されたらめっちゃ面白そうなので是非探してほしい)

恐怖の雪男 [Blu-ray]

恐怖の雪男 [Blu-ray]

*1:なお、この議論では、おもに「知能爆発説」のビジョン(未来予測)を念頭に置いています。「収穫加速説」については、「明確な定義も、過去の実証的根拠も無い」で議論が尽きているので

*2:私はこの2つを区別します

論文紹介:『もしとならば: ナノ倫理思考実験批判』(アルフレッド・ノルドマン)

近年の「人工知能」を取り巻く言説の興味深い点としては、テクノロジー自体やその開発の見通しよりも、テクノロジーの発展に伴う社会的・倫理的影響のほうに大きな注目と関心が集まることが挙げられます。

このような、テクノロジーがもたらす影響についての語りを批判的に検討する上で、参考になる文献を紹介したいと思います。ドイツ、ダルムシュタット工科大学の哲学教授であり、科学史・科学技術哲学を専門とするアルフレッド・ノルドマンが、2007年にNanoethics誌に発表した論文『if-and-then: a critique of speclative nanoethics(pdf) です。ここでの検討の対象は、当時ハイプの最高潮にあったナノテクノロジーが中心ですが、この議論はそのままバイオ、人工知能や脳神経科学に対するスペキュレーションにも適用できるものであると言えます。

ノルドマンの主張を端的に要約すると、次の2点です。

  • テクノロジーの進歩に対する過激な未来予測をベースとした思考実験が短絡的に受け入れられることによって、無根拠なビジョンに信憑性を与え現時点での義務が発生し、技術開発の方針や政策を歪める危険性がある。
  • 倫理的関心と公的な議論は希少な資源である。現在既にテクノロジーに起因する問題が生じているにもかかわらず、信憑性すら疑われる遠い将来の問題に、それら資源を乱用するべきではない。


***

テクノロジーの発展は、往々にして、かつては存在しなかった倫理的・社会的・法的・経済的な問題を引き起こす場合があります。未だ普及していない新興技術であっても、将来的な発展を見越した上であらかじめ対策を講じておかなければならないこともあります。近年の事例では、生殖技術、つまりヒトの受精卵に対する遺伝子組み換えやゲノム編集技術の適用が挙げられます。あるいは、フィクションの設定のような空想的な将来予想それ自体は (決して完全に価値中立的ではないとは言えども) あまり危険視して否定する必要は無いものです。

けれども、著者のノルドマンはあるタイプの思考実験を強く批判しています。テクノロジーに対する空想的な未来予測を前提とした、倫理的な思考実験(特に人間の「強化」に関する思考実験)です。この種の議論は、技術開発の方針を歪める懸念があるからです。

いかなる議論であるか、またどのような問題が生じるかについては、本文中で挙げられた具体例を見れば理解できると思います。

The true and perfectly legitimate conditional "if we ever were in the position to conquer the natural ageing process and become immortal, then we would face the question whether withholding immortality is tantamount to murder" becomes foreshortened to "if you call into question that biomedical research can bring about immortality within some relevant period of time, you are complicit with murder" – no matter how remote the possibility that such research might succeed, we are morally obliged to support it.


(試訳) 正しく、完全に妥当な条件文『もし、我々が自然の老化プロセスを克服し不死となりうる状況に置かれたならば、そこで我々は不死からの撤退は殺人の共犯に等しいのかという疑問に直面することになるだろう。』これが短絡されると、次のようになる。『何らかの妥当な期間中に不死をもたらしうるバイオ医学研究に疑いを差し挟むことは、殺人の共犯である。』- そのような研究が成功する可能性がどれほど小さいものであったとしても、我々は倫理的にその研究を支持する義務を負ってしまう。


つまり、ここでの彼の批判対象は、テクノロジーの未来に対するスペキュレーティブで、過激な、無根拠な予想を利用して、予想自体の妥当性を問うことなしに現在における義務を生じさせるような主張です。こういった主張は、研究者、技術者や投資家が資金獲得のため自覚的に利用している場合も見られますし、未来予測を議論する中でナイーブに主張されることもあります。

近年の「人工知能」言説においては、倫理的義務を課すためのスペキュレーションとして、未来の労働や雇用問題に関する空想が持ち出される場合が多いようです。その空想の信憑性がどれほどであったとしても、物理法則の上で否定できないのであれば、空想を実証的に検証する行為自体が「経済的弱者切り捨てを是認する非人間的態度である」と非難されてしまうのです。

過激な将来予想を元に、その社会的・倫理的影響を論じること自体が、その予想に対する信憑性を与え、結果として研究開発の方向性を歪める傾向があるとノルドマンは批判しています。

論文中では、スペキュレーティブな思考実験を正当化するために利用される、技術開発の将来性を誇張する詭弁的論法がいくつか指摘されていますが、その中の1つとして「ムーアの法則」の乱用があります。取り上げられている事例は、ブレインマシンインターフェイス(BMI) あるいはブレインコンピュータインターフェイス (BCI)と呼ばれる、脳の電磁気的な活動を計測しコンピュータとの通信に用いるデバイスの将来予想です。

In 2002, patients were able to transmit 2 bits/min, 4 years later this figure is up to 40 bits or five letters per minute. If this rate of progress were to continue indefinitely, one could calculate that by 2020 such patients will be able to communicate to the computer as fast as healthy people speak (...). The quoted draft minutes do not claim that this extrapolation will actually hold, nor do they call it into question. Instead, they implicitly invoke Moore’s Law as a standard for envisioning the future potential of brain–machine interfaces. In light of Moore’s Law, the conditional “if present trends continue” becomes a virtual assurance, allowing us once again to drop the “if” and move on to the“then“.


2002年には、患者は1分あたり2ビットを転送できたが、4年後にはこの数値は40ビットあるいは1分あたり5文字に増加している。もしもこの進歩率が途切れることなく続くならば、2020年にはこのような患者とコンピュータとのコミュニケーション速度は健康な人間の会話速度に匹敵するだろうと計算できる。(…) ここで引用した議事録の原稿は、この外挿が実際に実現されるとも、この予測には疑問があるとも述べているわけではない。実際には、彼らはブレインマシンインターフェイスの将来のポテンシャルを夢想する基準として、暗黙のうちにムーアの法則に訴えているのである。ムーアの法則の光に照らされ、条件文「もしも現在のトレンドが続くならば [if present trends continue]」は、事実上確定的なものとなり、ここでも「もし [if]」という語を落として「ならば [then]」へと進むことを許してしまうのだ。

ムーアの法則のような指数関数的な成長があらゆるテクノロジーに適用できるという詭弁は、シンギュラリティ論を唱える人間によっても何度も何度も何度も繰り返されています。このような「予想」は、妥当な未来予測と対策への呼びかけ、たとえば地球温暖化の予測とその対策についての科学的議論とは対照的です。つまり、「遠い将来の夢想的なビジョン」を「近未来の確定的な世界のあり方」として信じ込ませるための詭弁ではなく、未来予測に付随する本質的な不確実性を考慮に入れて、いくつかのシナリオの蓋然性を最初に検討する(その後で影響を考慮する)という方法こそ、妥当な、あるべき未来予測論だと言えます。(そして著者は「妥当な未来予測」や「単なる思考のための思考実験」と、上記のような「倫理的スペキュレーション」を区別するよう注意しています)


この種のスペキュレーティブな未来予想には、しばしば「立証責任の転嫁」が伴います。この事例として、人工知能と超知能に関する思考実験で著名な哲学者、ニック・ボストロム氏による次のような議論が取り上げられています。

[...] to assume that artificial intelligence is impossible or will take thousands of years to develop seems at least as unwarranted as to make the opposite assumption. At a minimum, we must acknowledge that any scenario about what the world will be like in 2050 that postulates the absence of human-level artificial intelligence is making a big assumption that could well turn out to be false. It is therefore important to consider the alternative possibility: that intelligent machines will be built within 50 years.


人工知能が不可能である、または開発に数千年かかると推定するのは、少なくとも、その逆の仮定をすることと同じくらい不当であるように思われる。最低でも、ヒトレベルの人工知能が存在しないことを前提とする2050年の世界に関するシナリオは、誤っている可能性の高い仮定であることを認めなければならない。したがって、別の可能性を考えることが重要である:知能機械は50年以内に構築される。

つまり、「否定する根拠がない、ゆえに正しい (あるいは考慮に値する)」というタイプの詭弁であり、これは無知論証のバリエーションであると言えます。ここでは、予想を否定するのであれば懐疑論者が根拠を示せ、という形で「立証責任の転嫁」をするために使われています。

著者が挙げている通り、再び地球温暖化の例を取れば、肯定派から懐疑派への「立証責任の転嫁」が問題であることは理解できるでしょう。いわゆる「悪魔の証明*1という言葉もある通り、何かが「無い」、あるいは何かが「将来に渡って起こらない」と示すことは非常に困難であり、通常の、対等の立場同士での議論の場合は、何かが「ある」、「起こる」と考える立場に立証責任があるものだからです*2

If you believe that human societies are threatened by global warming and that something should be done about this, you better produce some evidence for the reality of this threat. Bostrom and Ord reverse this burden of proof. Those who refuse to prepare for an unknown and unknowable future of cognitive enhancement are required to justify their stance (...) Such reversals of the burden of proof are familiar from other contexts such as Creationism or Intelligent Design.


もしあなたが人類社会は地球温暖化によって危機に晒されていると信じており、温暖化に対して何らかの対策が取られるべきであると信じているならば、あなたはこの危機が現実のものだという何らかの証拠を挙げなければならない。ボストロムとオルドはこの立証責任を逆転させている。認知能力強化という未知であり不可知の未来への備えを拒否する人間は、自らの立場を正当化することを要求されるのだ (…) このような立証責任の逆転は、創造論インテリジェント・デザインなどの他の文脈ではよく知られたものである。*3

***

このようなスペキュレーションが問題である理由は、今現在または近い未来の差し迫った危険性を隠蔽するからであると言います。

ナノテクノロジーにおける問題については、既に私も取り上げました。終末論めいた「グレイ・グー」の思考実験によって、微小粒子の毒性や、微小粒子とアルツハイマー病との関係など、専門知識を要する分かりづらい危険性から注意が逸らされたという批判がありました。

まったく同じ問題が、昨今のAIと「超知能とシンギュラリティ」の言説でも生じています。「AIの危険性」に関する議論は、ともすれば「自我に目覚めた超知能が反乱を起こす」あるいは「未来の技術的失業」などの問題ばかりが取り上げられることが多いようですが、既に実用化されているAI技術と機械学習技術によってさえ、現在問題が生じている状況です。代表的な問題としては、統計データと機械学習モデル内に取り込まれた有害なバイアス*4や、世論操作などがあります。更には、過激な将来予想を後援するIT企業の意図として、現在生じている問題を隠蔽し世間の注目を逸らす目的があるのではないか、という批判さえあります。


再度言っておくと、本論文で主に注目されているのはナノテクノロジーです。けれども、ここで挙げられた議論とまったく同等の批判が、昨今の人工知能に対するスペキュレーションにも適用できるものです。また、おそらく確実に、次にハイプの対象となる未来のテクノロジーに対しても適用できるだろうと考えています。

Once one breaks the spell of the if-and-then, a lot of work needs to be done. As we have seen, distinctions need to be made and maintained. In order to resist foreshortening, considerable work is required to hold the scientific community to its own standards of honesty and clarity.

ひとたび 「もしとならば」の魔法から覚めたら、たくさんの仕事がなされる必要がある。既に見てきた通り、区別がなされ、また維持されなければならない。短絡に抵抗するために、科学コミュニティには、自身の正直さと明晰さに対する基準を保持するよう、多大な仕事が要求される。

*1:もともとの「悪魔の証明」という用語は、自身に所有権があると立証することの困難さを表したものだったと言われています。

*2:ノルドマン自身は地球温暖化を否定しているわけではなく、ここで挙げられた事例は立証責任を誰が担うべきかを示すためのものです。

*3:なお、ここで取り上げられた立証責任のあり方はいわば哲学的・科学的な原則論であると言えます。たとえば、公害被害者個人と企業との間の訴訟のように、立場の強弱や立証の困難さによって、実務上の(法的な)立証責任の運用は変化することもあり、「予防原則」により「悪影響がないこと」、「危険がないこと」の立証が求められる場合もあるようです。

*4:There is a blind spot in AI research : Nature News & Comment

翻訳:約束の経済

以下の文章は、イギリス、シェフィールド大学天文物理学科教授であり、ナノテクノロジーを専門とするリチャード・ジョーンズ教授が2008年に公表した文章 "Economy of Promises" の翻訳です。

なお、編集された版がNature Nanotechnology誌のサイトに掲載されています。

約束の経済

ナノテクノロジーは2015年までにガンを治療できるだろうか? アメリカ国立ガン機関 (NCI) [National Cancer Institute] のガンナノテクノロジー計画を読むと、そんな印象を受けるだろう。この計画書は、印象的な宣言から始まっている。

To help meet the Challenge Goal of eliminating suffering and death from cancer by 2015, the NCI is engaged in a concerted effort to harness the power of nanotechnology to radically change the way we diagnose, treat and prevent cancer.

--

2015年までにガンによる苦痛と死を根絶するという目標への挑戦に対する支援のため、NCIは、ガンの診断、治療、予防方法を根本的に変えるナノテクノロジーの能力を制御するための、協調した取り組みに従事している。

ナノテクノロジーが、潜在的には、ガンとの戦いに大きく貢献する可能性があることを疑う人間はいないだろう。新たなセンサは早期診断を可能とし、化学療法のための新たな薬品デリバリーシステムは、生存率向上のために役に立つだろう。けれども、7年の間に苦痛と死を根絶するにはほど遠い。そこで、この文書を詳細に内容分析してみよう。NCIは、2015年までにナノテクノロジーによりガンが治療可能となると、明示的に主張しているわけではないと理解できる。実際には、「目標への挑戦」および「障壁を下げる」と言っているだけだ。けれども、このようなうっかりした誤読によって容易に誤った結論が引き出されてしまうような書き方は、本当に賢明であると言えるだろうか。

ナノテクノロジーの開発には、誇張と誇大広告的な約束が伴ってきたということは、まったく新しい洞察でもない。(...)この誇張された約束に対して、科学者は自身の無実を訴え、距離を置こうとするかもしれない。結局のところ、ナノボット、万能アセンブラーやその他のサイエンスフィクション的ナノテクノロジーのビジョンは、シンギュラリタリアンやトランスヒューマニストのようなフリンジ的運動のメンバーが提唱しているものであり、主流派のナノ科学研究者のものではないからだ。そして、ナノテクノロジーのビジネス的側面に関わる商業主義は、多くの科学者にとってアカデミアから遠く離れた出来事のように見える。けれども、ナノテクノロジーを取り囲む「約束の経済」とでも呼べる現象について、本当に科学者はまったく責任を負っていないのだろうか?

もちろん、ほとんどの人が新しい科学の進歩について知る手段は、科学文献ではなくマスメディアである。加えて、アカデミアの研究室で得られた結果が一般メディアの記事へと変換されるプロセスにおいて、当然のごとくドラマチックさと研究の潜在的影響が強調される。論文誌の学術論文から大学広報局のプレスリリースへと至る道のりは、学術論文としての注意深い言葉遣いをシステマティックに除去するプロセス、また、あいまいな将来の可能性を近未来の確定的な成果へと変換させるプロセスとして特徴付けられるだろう。

ここでのキーワードは「可能性がある」だ。--一流論文誌に掲載された、堅実ではあるが革新的でもない論文のプレスリリースの中で、この研究は革命的でラディカルな技術や薬品の開発に繋がる「可能性がある」という表現を、どれほど頻繁に眼にしたことがあるだろうか?

ジャーナリズムの現場では、科学者たちから自然に生じる障壁に対応できないと言われている。それゆえ、多くの科学者はこのプロセスを黙認し従っている。これらニュースストーリーを語る、選ばれた「エキスパートの」コメンテーターは、問題に対する深い技術的知識を持っておらず、誇張された技術的成果のアジェンダを宣伝する願望とコミュニケーションスキルを組み合わせたような人間である場合も多い。

ナノテクノロジーの議論についての奇妙で予期不能な特徴としては、ナノテクノロジーの社会的な影響と倫理的側面について語ること自体が、期待の高まりを助長していることが挙げられる。(...) あまりに極端なナノテクノロジー発展の外挿をもとにして、その倫理的・社会的な影響を空想すること自体が、暗黙のうちに、そのビジョンに対するお墨付きを与えてしまうのだ。もしも、テクノロジー発展の帰結を想像することができ、それが自然法則に反すると証明できない場合には、社会に起こりうるインパクトについて考えないことは、無責任だと言われてしまうのだ。この場合、妥当性や実現性についての疑問は脇に置かれてしまう。(...)

科学者たちは、過激なナノテクノロジーのビジョンが公共の場に根付き活力を保っていることに対し、ある種の無力感を感じるかもしれない。メディアが科学ストーリーを扱う方法に対して、科学者ができることがそう多くあるとは思えない。科学の進歩の潜在的重大性を控え目に語ることによりメディアでのキャリアを築いた人は、おそらく確実に存在しないだろう。これは、メディアの制約条件の中で、科学者がその責任と正確性を行使するべきではないと述べているのではない。それでも、「約束の経済」は、我々が認識するよりもはるかに深く科学的活動の中に埋め込まれている。

約束を絶対的な前提とする文書の種類としては、研究提案が挙げられる。研究資金の提供機関から、潜在的に経済的インパクトのある研究を行うようにという圧力が高まるにつれて、研究者が自分の研究は劇的な成果に繋がるという強い主張を述べるようになることは避けられない現象であるようだ。このような主張と伝統的なアカデミックな価値観との衝突が、ある種の冷笑主義を生むことはおそらく理解できるだろう。科学者は、自分の研究を正当化する独自の方法を持っており、研究の究極的な応用についての誇張された主張、あるいは実現不可能な主張に対する罪悪感を緩和させられるかもしれない。多少無謀な主張を正当化する方法としては、科学と技術は実際に社会と経済に大きな影響を与えてきており、そのインパクトは元々の研究が行われたときには予測不可能であった場合すらある、という観察が挙げられる。たとえ個々の研究者の主張が妥当ではないとしても、研究者全体としては重要な成果をもたらせるのだと正当化できるかもしれない。

つまり、科学者は、自分自身の研究のみが大きな影響を与えるとは信じていないかもしれないが、一方で科学全体は大きな利益をもたらすと確信している。その一方で、大衆は、科学技術が約束したものの実現できなかった約束について長く記憶しているだろう。 (原子力発電は「測定不要なほど安価」という宣伝は、最も悪名高い例である)これは、他に何もなければ、ナノサイエンスのコミュニティ自身が約束の支払いを負うことを示している。