翻訳：超知能AI神の存在確率 (デール・キャリコ)

以下は、カリフォルニア大学バークレー校の修辞学部の講師であり、批評理論家、修辞学者のデール・キャリコによる"Nicholas Carr on the Robot God Odds" の翻訳(一部抄訳)です。(私が思うに、デール・キャリコは、シンギュラリタリアニズム/トランスヒューマニズムの思想面に対する、最も徹底的で辛辣・強烈かつ持続的な批判者です。)

ニコラス・カーのロボット神の存在確率について

 ニコラス・カーの主張に同意することはたやすい。

コンピュータが十分に賢くなり、彼らが世界を乗っ取ろうと決断し、そのための悪意ある計画を温め、そして実行するという確率は、途方もなく小さい。イエス、それは可能性[possible]の領域にある。ノー、それは蓋然性[probable]の領域にはない。もしも、人類の存続に対する脅威を心配したいのであれば、旧来の聖書的な脅威 -- 洪水、飢饉、ペスト、疫病、戦争 -- こそが、今でもスタート地点として最良の場所ではないかと思う。

カーは、レイ・カーツワイル、イーロン・マスク、ニック・ボストロムのような、比較的著名なシンギュラリタリアンAIカルト信者の悪夢と夢想を揶揄している。彼らは、友好的な超知能AIが作成されるよりも前に非友好的な超知能AIが作成される危険を、大きな懸念事項だと捉えている。私は、カーの主張に同意することはたやすいと述べたし、私も同じことを書いている。こことここではカーツワイルに関連して、ここではイーロン・マスク、ここではニック・ボストロムについて取り上げた。

けれども、私が懸念しているのは、ここでカーが仕掛けている非常に正しく常識的な議論が、何かしら逆の効果をもたらすのではないかということだ。シンギュラリタリアンが主張する懸念に対して、政策決定上の確率を否定しながら、寛大にも、論理的な可能性を肯定することにより、一体彼は何を是認しているのだろうか？ 我々が知能や意識と呼ぶような現象が、生物的な脳や生体神経系以外においても、物質的に実現できるという論理的な可能性があることについて、私は喜んで同意する。ヒトのみならず、イルカや霊長類や他者の存在を認識できる者は、人間あるいは権利保有者であると見なされうることについて、私は喜んで同意する。(...) これらすべてが重要で、実りある議論となるだろう。けれども、これらの主張は実際にシンギュラリタリアンが唱えているものだろうか。

シンギュラリタリアンは、非生物的な意識が実現できるかもしれないという、極めて壮大な主張を唱えているのだろうか。それとも、彼らは陳腐なSF的決まり文句を、政策技法の関連語として動員しているだけなのだろうか -- 「友好的？」、「サイバーエンジェル？」 本当に？ あるいは、失敗を繰り返してきたAI研究プログラムが、還元主義的でソシオパス的な、肉体を呪う、スピリチュアルな意図の隠された、陰謀論的な信念ベースのAIモデルが、最終的には逆転勝利を迎えると宣言したいのだろうか？

半世紀の歴史を持つ、古いテクノ・ユートピア的な古き良きAI(GOFAI) [Good Old Fashioned AI] の夢は、私にとっては、社会的疎外と安直な明晰性と明確性を実証するものであり、また、現実世界において現実に知能と意識を示す現実の物質的なシステムについて、我々自身が現実に理解していること[のみ]を実証するものであるように見える。見たところ、このような間違った仮定にもとづいた研究プログラムが失敗を続けていることは、何ら驚くべきことではない。そして、間違った仮定によって起こった知的なAI構築研究の失敗を、どうして更にGOFAIを増幅させた間違った仮定に基づいて超知的AIの構築を目指すことにより回避できると考えているのか、理解しがたい。マーケティングの技法によって、まったく同一の不味くて不健康なコーラに「超巨大」サイズのオプションを追加すれば、確かに売上を向上させられるかもしれない。それでも、なぜそれがコーラをおいしく、健康なものへ改善できると考えるのかは理解しがたい。

技術超越主義的な願望成就ファンタジスト [techno-transcendental wish-fulfilment fantasists] のほとんどと同じく、シンギュラリタリアンは、自身が思うままに真剣に受け止められることを願っている。彼らは、反対意見を特段快く思わないかもしれないが、けれども、何らかの形の嘲笑でさえありがたく受け取るかもしれない。もしもそれが注目を集め、彼らが望む方向へと妥当な議論をねじ曲げられるものであった場合には。彼らが「技術的」とみなす事項について、懐疑論者と超知能AI神の存在確率に関して議論すること以上に、ロボットカルト信者が楽しむことは多くあるまい。なんとなれば、シンギュラリタリアン、テクノ不死追求者、トランスヒューマン優生学者、「ジオエンジニア」などたちは、自分たちは啓蒙と科学のチャンピオンであるという宣言を好むようであるが、実際は彼らは、信仰信条に継ぐ信条に継ぐ信条により、科学のコンセンサスから周縁部（フリンジ）へと追いやられており、そこで、まったく非啓蒙的で批判精神の欠如した、真なる信仰じみた口調で教義を語っているのであるから。神学者が「針の頭で天使が何人踊れるか」について論敵と議論している時、彼は苛立っていただろうと思っているが、それでも、それが議論である限りにおいて対立者は存在しており、究極的には、その勝利は問題となっただろう。

私が思うに、これがブログFutrismsでのチャールズ・ルービンによる、カーに対する反論の力であると思う。すなわち:「人工意識を開発しようと試みている人々が存在しており、彼らが受け取っている資源や支援は、彼ら自身が望んでいるほどの量ではないかもしれないが、テックカルチャーは、少なくとも、彼らの味方である(…) これは懸念すべきではないだろうか？」 ロボットの神は存在しないかもしれず、将来にも存在しないだろうが、けれども、AIカルト信者は存在する。そして彼らは、ご存知の通り、確実に影響を及ぼしている。

カーと同じく、超知能AIの支援者 (または、どの程度にせよ、真剣に超知能の可能性を受け止める支援者) は、たわごとを売り込んでいると考えている。シンギュラリタリアンの世界観はあまりに病的であるので、医療者は彼らの考えを真剣に受け止める必要があるだろう。また、彼らの議論はあまりに欠陥だらけであるため、彼らが書いた科学論文を評価する者は誰でも、彼らの考えをもっと真剣に捉える必要があるだろう。実際には科学の講義を取っていないかもしれないのだから。けれども、なぜ政策決定者が彼らの懸念を真剣に考慮しなければならないのかは理解しがたい。シンギュラリターリアン [Singularitaarians] の進む道は袋小路であり、本当に問題であるのは我々が現実に起きている問題に対処することである。多くのシンギュラリタリアンたちがそれほど深刻に懸念していない問題であっても、それより以前にもっと現実的な脅威を懸念しなければならない。

私が既に何度も述べた通り、ハイエク主義者のモンペルラン協会 [Hayekian Mont Pelerin Society] *1の事例は、富裕層に追従し奉仕する疑わしい思想を強固に信じたごく少人数の集団が、世界を破滅の縁へと追いやることを示しているし、ネオコンの事例は、更に馬鹿げた思想を信じた集団が影響力を得ることができることを示している。彼らの思想が疑わしいというだけではなく、非理性的な熱情に訴えかけるものであると判明した時でさえそうなのだから。未来学者は与太話をまき散らしているだけかもしれないが、そこにはエリート層の利害が込められており、独り善がりの消費主義的な科学技術に対する無知は言うまでもなく、心地良く満足させるもので、AIカルト教の教義体系を合理化するものである。彼らが唱える狂乱した仮定、夢想、空想によって科学技術言説と政策が埋めつくされた場合、絶大な被害が発生しうるだろう。

カーはこの論点を完全に精緻化していないけれども、彼が始めた主張は、超知能AI言説の馬鹿馬鹿しさを矮小化するものだと認識しなければなるまい。「今や…コンピュータチップを備えたあらゆる消費財が「スマート」とブランド化されている」 カーと同じく、私もロボットカルト信者の予測、ロボットの神が地平線上に現れるという予測を、わずかなりとも真剣に捉えるべき理由は無いと考えているし、まったく考慮に値しないと考えている。(温暖化ガスではなく、ネオリベラル的な貧困化ではなく、警察の人種差別的バイアスではなく、兵器拡散ではなく、人身売買ではなく、人口過剰地域における治療可能な疾病に対する無視ではなく[、なぜ超知能AIを検討するべき理由があるのか]) ただし、カーとは異なり、私はこの超知能ロボット神は馬鹿げていると考えており、良いものだとは考えていない。

けれども、私が思うに、Googleといった企業組織、DARPAといった軍事組織、スタンフォードやオクスフォードなどの学術組織においてこの思想が蔓延しているため、超知能AIの予測の裏にあるイデオロギーに対しては、きわめて深刻に捉えるべき理由があると思う。

AI信者ができの悪いソフトウェアを作成する理由は、ソフトウェアの機能自体に問題があるのではなく、そのソフトウェアは、彼らが忠誠を誓うべきAI神の似姿の萌芽であるからなのだと考える理由がある。

まったくスマートではないカードや車を「スマート」と呼んだ場合、ほんとうにスマートである人々の明瞭さ、尊厳や繁栄に対する要求を見失なうもしれないと懸念する理由がある。

世界には既に十分すぎるほどの「非友好的な」AIが存在すると考える十分な理由がある -- それはシンギュラリタリアンが我々に警告し、気を逸らさせようとしているような「超知能AI」には見えないかもしれないが -- すなわち、アルゴリズム的なクレジットスコアによって、誰が住宅所有者としてふさわしいか選定される状況、ビッグデータによる犯罪プロファイリングによって、誰が司法外の [警察による] 殺人の犠牲者となるかを選定される状況である。

超知能AIについて言えば、その確率（オッズ）は良く（グッド）ないが商品（グッズ）は極めて奇妙（オッド）だ。これらの問題においては、何が問題であるかを見極めることに注意を払うことが問題なのである。

*1:訳注：経済的な(新)自由主義を支持する経済学者による政治団体。フリードリヒ・ハイエクやミルトン・フリードマンも所属していた

シンギュラリティは雪男である

私のシンギュラリティ懐疑論の立場は、「シンギュラリティは来ない」ではなく「シンギュラリティが来るという根拠がない」というものです。

私のこの立場については、これまでも何度か説明してきているのですが、再度整理しておきたいと思います。*1

• 「人間と似た人工物」が作成可能であることは、原理的に否定する根拠はない
• 「人間と似た人工物」が近い将来に作成可能であるという予想には、根拠がない
• 「人間と似た人工物」ができれば「シンギュラリティ」が発生するという説には、根拠がない *2

• 「原理的に否定する根拠がない」目標を目指す、個人や有志の研究活動の意義を否定するものではない
• ただし、「原理的に否定する根拠がない」程度の信憑性の話を、社会の政策や技術開発の指針とすることは反対する

これを説明する分かりやすいたとえを考えてみたところ、私は「雪男」として捉えると適切ではないかと思いました。他の方も、土星人だとかスーパーマンだとか、あるいは鉄腕アトムとゴジラだとか、はたまた永久機関だとか、いろいろなたとえを使われていますが、ガス惑星である土星に生命が存在しないこと、フィクションの登場人物であるスーパーマンやアトムやゴジラが存在しないことはおそらく当然であり、また、熱力学の法則から原理的に不可能だと示されている永久機関も、たとえとしてあまり適切ではないと思うからです。

雪男信仰

• ヒマラヤ山脈のどこかに、まだ発見されていない雪男がいるかもしれないしいないかもしれない
• 生物に関する既存の科学的知識からは、「雪深い山の中に住む、ヒトとは別種の高い知能を持つ生物種」が存在する可能性は、原理的に否定できない

• 雪男の実在を信じる人がいてもよい
• 個人や有志で、雪男を探す活動に問題があるとも思わない
• 最終目標である「雪男探し」が荒唐無稽であっても、調査の進め方自体が妥当であれば、たとえば山岳地帯の動植物や地理、地質や気候などの科学的知識が深まるだろう
• であるため、個人的には雪男の存在を信じないけど、雪男を探したい人(かつまともな調査ができる人)に、ある程度の妥当な額の公的資金を支出してもいいんじゃないの？ と思う

雪男と思考実験

• もしも仮に雪男が存在するとしたら…というスペキュレーティブな思考実験も、あってよい
• 「もしも仮に、人間に近い (または超える) 認知能力を持つ別種の生物が存在するとしたら、我々は法・社会・経済的に雪男をどのように扱うべきだろうか、あるいは人間はどう扱われるだろうか」という思考実験自体に問題はない
• 極端な事例を考えることで、自明視されていた思考の前提が問い直され、首尾一貫した新たな洞察を得られる場合があり、それ自体を否定するつもりはない

空想生物とフィクション

• もちろん、雪男を描く小説や漫画や映画やゲームがあっても良い
• 空想の生物は創作者のイマジネーションを刺激し、たくさんの作品を生み出してきた

スペキュレーションと政策

• とはいえ、「雪男の存在を否定する根拠がないこと」は「雪男が存在すること」の根拠ではなく、「雪男の存在問題を真剣に考慮するべきである」という理由にもならない
• 既に雪男が存在するかのように、あるいはすぐに発見されるかのように考え、雪男の存在をもとに社会の政策を検討すること、たとえば「雪男の侵略に備えて防壁を作るべきだ」とか「将来、雪男が我々の代わりに労働するのだ」といった主張には反対する

立証責任の担い手

• 「本当に雪男が居たら、その影響は甚大であるため予め考えておかなければならない」という主張には、今のところ「少なくとも信憑性を議論するに足る根拠を示せ」と言うしかない
• 「主張の信憑性」自体の議論を回避し、「発生時のインパクト」ないし「期待値」のみを取り上げる議論は、論理的に誤りである
• 今現在得られている根拠に基くと、雪男の存在を真面目に考慮する必要があるとは思わない
• もちろん、そう思わない人が居るだろうし、居てもよいと思う
• ただし、肯定論者が根拠を示すべきである
• この種の議論においては、懐疑論者には根拠を提示する必要はなく、肯定論者の論拠が成立していないことを示すのみでよい

これは架空の会話。

A 「私は雪男が存在する証拠を見つけた！この毛皮がそれだ！」
B 「検査の結果、この毛皮は雪男ではなくクマのものであると分かりました。」
A 「雪男が居るか居ないか、それは分からない。科学的には、雪男は居るとも居ないとも言えない。『雪男は存在しない』という狭量な前提のもとで議論し、『雪男がいる』という可能性を狭めるのは、非科学的である。」
A 「雪男の存在を否定するなら、その根拠を出せ！！」
B 「…」

 下記の記事で紹介した論文もご覧ください。

ところで、Wikipediaに掲載されていた情報ですが、ロシアのある学会によると、ロシアに雪男が存在する可能性は95%以上だそうです。(個人的には、雪男が発見されたらめっちゃ面白そうなので是非探してほしい)

恐怖の雪男 [Blu-ray]

*1:なお、この議論では、おもに「知能爆発説」のビジョン(未来予測)を念頭に置いています。「収穫加速説」については、「明確な定義も、過去の実証的根拠も無い」で議論が尽きているので

*2:私はこの2つを区別します

論文紹介:『もしとならば: ナノ倫理思考実験批判』(アルフレッド・ノルドマン)

近年の「人工知能」を取り巻く言説の興味深い点としては、テクノロジー自体やその開発の見通しよりも、テクノロジーの発展に伴う社会的・倫理的影響のほうに大きな注目と関心が集まることが挙げられます。

このような、テクノロジーがもたらす影響についての語りを批判的に検討する上で、参考になる文献を紹介したいと思います。ドイツ、ダルムシュタット工科大学の哲学教授であり、科学史・科学技術哲学を専門とするアルフレッド・ノルドマンが、2007年にNanoethics誌に発表した論文『if-and-then: a critique of speclative nanoethics』(pdf) です。ここでの検討の対象は、当時ハイプの最高潮にあったナノテクノロジーが中心ですが、この議論はそのままバイオ、人工知能や脳神経科学に対するスペキュレーションにも適用できるものであると言えます。

ノルドマンの主張を端的に要約すると、次の2点です。

• テクノロジーの進歩に対する過激な未来予測をベースとした思考実験が短絡的に受け入れられることによって、無根拠なビジョンに信憑性を与え現時点での義務が発生し、技術開発の方針や政策を歪める危険性がある。
• 倫理的関心と公的な議論は希少な資源である。現在既にテクノロジーに起因する問題が生じているにもかかわらず、信憑性すら疑われる遠い将来の問題に、それら資源を乱用するべきではない。

***

テクノロジーの発展は、往々にして、かつては存在しなかった倫理的・社会的・法的・経済的な問題を引き起こす場合があります。未だ普及していない新興技術であっても、将来的な発展を見越した上であらかじめ対策を講じておかなければならないこともあります。近年の事例では、生殖技術、つまりヒトの受精卵に対する遺伝子組み換えやゲノム編集技術の適用が挙げられます。あるいは、フィクションの設定のような空想的な将来予想それ自体は (決して完全に価値中立的ではないとは言えども) あまり危険視して否定する必要は無いものです。

けれども、著者のノルドマンはあるタイプの思考実験を強く批判しています。テクノロジーに対する空想的な未来予測を前提とした、倫理的な思考実験（特に人間の「強化」に関する思考実験）です。この種の議論は、技術開発の方針を歪める懸念があるからです。

いかなる議論であるか、またどのような問題が生じるかについては、本文中で挙げられた具体例を見れば理解できると思います。

The true and perfectly legitimate conditional "if we ever were in the position to conquer the natural ageing process and become immortal, then we would face the question whether withholding immortality is tantamount to murder" becomes foreshortened to "if you call into question that biomedical research can bring about immortality within some relevant period of time, you are complicit with murder" – no matter how remote the possibility that such research might succeed, we are morally obliged to support it.

(試訳) 正しく、完全に妥当な条件文『もし、我々が自然の老化プロセスを克服し不死となりうる状況に置かれたならば、そこで我々は不死からの撤退は殺人の共犯に等しいのかという疑問に直面することになるだろう。』これが短絡されると、次のようになる。『何らかの妥当な期間中に不死をもたらしうるバイオ医学研究に疑いを差し挟むことは、殺人の共犯である。』- そのような研究が成功する可能性がどれほど小さいものであったとしても、我々は倫理的にその研究を支持する義務を負ってしまう。

つまり、ここでの彼の批判対象は、テクノロジーの未来に対するスペキュレーティブで、過激な、無根拠な予想を利用して、予想自体の妥当性を問うことなしに現在における義務を生じさせるような主張です。こういった主張は、研究者、技術者や投資家が資金獲得のため自覚的に利用している場合も見られますし、未来予測を議論する中でナイーブに主張されることもあります。

近年の「人工知能」言説においては、倫理的義務を課すためのスペキュレーションとして、未来の労働や雇用問題に関する空想が持ち出される場合が多いようです。その空想の信憑性がどれほどであったとしても、物理法則の上で否定できないのであれば、空想を実証的に検証する行為自体が「経済的弱者切り捨てを是認する非人間的態度である」と非難されてしまうのです。

過激な将来予想を元に、その社会的・倫理的影響を論じること自体が、その予想に対する信憑性を与え、結果として研究開発の方向性を歪める傾向があるとノルドマンは批判しています。

論文中では、スペキュレーティブな思考実験を正当化するために利用される、技術開発の将来性を誇張する詭弁的論法がいくつか指摘されていますが、その中の１つとして「ムーアの法則」の乱用があります。取り上げられている事例は、ブレインマシンインターフェイス(BMI) あるいはブレインコンピュータインターフェイス (BCI)と呼ばれる、脳の電磁気的な活動を計測しコンピュータとの通信に用いるデバイスの将来予想です。

In 2002, patients were able to transmit 2 bits/min, 4 years later this figure is up to 40 bits or five letters per minute. If this rate of progress were to continue indefinitely, one could calculate that by 2020 such patients will be able to communicate to the computer as fast as healthy people speak (...). The quoted draft minutes do not claim that this extrapolation will actually hold, nor do they call it into question. Instead, they implicitly invoke Moore’s Law as a standard for envisioning the future potential of brain–machine interfaces. In light of Moore’s Law, the conditional “if present trends continue” becomes a virtual assurance, allowing us once again to drop the “if” and move on to the“then“.

2002年には、患者は1分あたり2ビットを転送できたが、4年後にはこの数値は40ビットあるいは1分あたり5文字に増加している。もしもこの進歩率が途切れることなく続くならば、2020年にはこのような患者とコンピュータとのコミュニケーション速度は健康な人間の会話速度に匹敵するだろうと計算できる。(…) ここで引用した議事録の原稿は、この外挿が実際に実現されるとも、この予測には疑問があるとも述べているわけではない。実際には、彼らはブレインマシンインターフェイスの将来のポテンシャルを夢想する基準として、暗黙のうちにムーアの法則に訴えているのである。ムーアの法則の光に照らされ、条件文「もしも現在のトレンドが続くならば [if present trends continue]」は、事実上確定的なものとなり、ここでも「もし [if]」という語を落として「ならば [then]」へと進むことを許してしまうのだ。

ムーアの法則のような指数関数的な成長があらゆるテクノロジーに適用できるという詭弁は、シンギュラリティ論を唱える人間によっても何度も何度も何度も繰り返されています。このような「予想」は、妥当な未来予測と対策への呼びかけ、たとえば地球温暖化の予測とその対策についての科学的議論とは対照的です。つまり、「遠い将来の夢想的なビジョン」を「近未来の確定的な世界のあり方」として信じ込ませるための詭弁ではなく、未来予測に付随する本質的な不確実性を考慮に入れて、いくつかのシナリオの蓋然性を最初に検討する(その後で影響を考慮する)という方法こそ、妥当な、あるべき未来予測論だと言えます。（そして著者は「妥当な未来予測」や「単なる思考のための思考実験」と、上記のような「倫理的スペキュレーション」を区別するよう注意しています）

この種のスペキュレーティブな未来予想には、しばしば「立証責任の転嫁」が伴います。この事例として、人工知能と超知能に関する思考実験で著名な哲学者、ニック・ボストロム氏による次のような議論が取り上げられています。

[...] to assume that artificial intelligence is impossible or will take thousands of years to develop seems at least as unwarranted as to make the opposite assumption. At a minimum, we must acknowledge that any scenario about what the world will be like in 2050 that postulates the absence of human-level artificial intelligence is making a big assumption that could well turn out to be false. It is therefore important to consider the alternative possibility: that intelligent machines will be built within 50 years.

人工知能が不可能である、または開発に数千年かかると推定するのは、少なくとも、その逆の仮定をすることと同じくらい不当であるように思われる。最低でも、ヒトレベルの人工知能が存在しないことを前提とする2050年の世界に関するシナリオは、誤っている可能性の高い仮定であることを認めなければならない。したがって、別の可能性を考えることが重要である：知能機械は50年以内に構築される。

つまり、「否定する根拠がない、ゆえに正しい (あるいは考慮に値する)」というタイプの詭弁であり、これは無知論証のバリエーションであると言えます。ここでは、予想を否定するのであれば懐疑論者が根拠を示せ、という形で「立証責任の転嫁」をするために使われています。

著者が挙げている通り、再び地球温暖化の例を取れば、肯定派から懐疑派への「立証責任の転嫁」が問題であることは理解できるでしょう。いわゆる「悪魔の証明」*1という言葉もある通り、何かが「無い」、あるいは何かが「将来に渡って起こらない」と示すことは非常に困難であり、通常の、対等の立場同士での議論の場合は、何かが「ある」、「起こる」と考える立場に立証責任があるものだからです*2。

If you believe that human societies are threatened by global warming and that something should be done about this, you better produce some evidence for the reality of this threat. Bostrom and Ord reverse this burden of proof. Those who refuse to prepare for an unknown and unknowable future of cognitive enhancement are required to justify their stance (...) Such reversals of the burden of proof are familiar from other contexts such as Creationism or Intelligent Design.

もしあなたが人類社会は地球温暖化によって危機に晒されていると信じており、温暖化に対して何らかの対策が取られるべきであると信じているならば、あなたはこの危機が現実のものだという何らかの証拠を挙げなければならない。ボストロムとオルドはこの立証責任を逆転させている。認知能力強化という未知であり不可知の未来への備えを拒否する人間は、自らの立場を正当化することを要求されるのだ (…) このような立証責任の逆転は、創造論やインテリジェント・デザインなどの他の文脈ではよく知られたものである。*3

***

このようなスペキュレーションが問題である理由は、今現在または近い未来の差し迫った危険性を隠蔽するからであると言います。

ナノテクノロジーにおける問題については、既に私も取り上げました。終末論めいた「グレイ・グー」の思考実験によって、微小粒子の毒性や、微小粒子とアルツハイマー病との関係など、専門知識を要する分かりづらい危険性から注意が逸らされたという批判がありました。

まったく同じ問題が、昨今のAIと「超知能とシンギュラリティ」の言説でも生じています。「AIの危険性」に関する議論は、ともすれば「自我に目覚めた超知能が反乱を起こす」あるいは「未来の技術的失業」などの問題ばかりが取り上げられることが多いようですが、既に実用化されているAI技術と機械学習技術によってさえ、現在問題が生じている状況です。代表的な問題としては、統計データと機械学習モデル内に取り込まれた有害なバイアス*4や、世論操作などがあります。更には、過激な将来予想を後援するIT企業の意図として、現在生じている問題を隠蔽し世間の注目を逸らす目的があるのではないか、という批判さえあります。

再度言っておくと、本論文で主に注目されているのはナノテクノロジーです。けれども、ここで挙げられた議論とまったく同等の批判が、昨今の人工知能に対するスペキュレーションにも適用できるものです。また、おそらく確実に、次にハイプの対象となる未来のテクノロジーに対しても適用できるだろうと考えています。

Once one breaks the spell of the if-and-then, a lot of work needs to be done. As we have seen, distinctions need to be made and maintained. In order to resist foreshortening, considerable work is required to hold the scientific community to its own standards of honesty and clarity.

ひとたび 「もしとならば」の魔法から覚めたら、たくさんの仕事がなされる必要がある。既に見てきた通り、区別がなされ、また維持されなければならない。短絡に抵抗するために、科学コミュニティには、自身の正直さと明晰さに対する基準を保持するよう、多大な仕事が要求される。

*1:もともとの「悪魔の証明」という用語は、自身に所有権があると立証することの困難さを表したものだったと言われています。

*2:ノルドマン自身は地球温暖化を否定しているわけではなく、ここで挙げられた事例は立証責任を誰が担うべきかを示すためのものです。

*3:なお、ここで取り上げられた立証責任のあり方はいわば哲学的・科学的な原則論であると言えます。たとえば、公害被害者個人と企業との間の訴訟のように、立場の強弱や立証の困難さによって、実務上の(法的な)立証責任の運用は変化することもあり、「予防原則」により「悪影響がないこと」、「危険がないこと」の立証が求められる場合もあるようです。

*4:There is a blind spot in AI research : Nature News & Comment

翻訳：約束の経済

以下の文章は、イギリス、シェフィールド大学天文物理学科教授であり、ナノテクノロジーを専門とするリチャード・ジョーンズ教授が2008年に公表した文章 "Economy of Promises" の翻訳です。

なお、編集された版がNature Nanotechnology誌のサイトに掲載されています。

約束の経済

ナノテクノロジーは2015年までにガンを治療できるだろうか？ アメリカ国立ガン機関 (NCI) [National Cancer Institute] のガンナノテクノロジー計画を読むと、そんな印象を受けるだろう。この計画書は、印象的な宣言から始まっている。

To help meet the Challenge Goal of eliminating suffering and death from cancer by 2015, the NCI is engaged in a concerted effort to harness the power of nanotechnology to radically change the way we diagnose, treat and prevent cancer.

--

2015年までにガンによる苦痛と死を根絶するという目標への挑戦に対する支援のため、NCIは、ガンの診断、治療、予防方法を根本的に変えるナノテクノロジーの能力を制御するための、協調した取り組みに従事している。

ナノテクノロジーが、潜在的には、ガンとの戦いに大きく貢献する可能性があることを疑う人間はいないだろう。新たなセンサは早期診断を可能とし、化学療法のための新たな薬品デリバリーシステムは、生存率向上のために役に立つだろう。けれども、7年の間に苦痛と死を根絶するにはほど遠い。そこで、この文書を詳細に内容分析してみよう。NCIは、2015年までにナノテクノロジーによりガンが治療可能となると、明示的に主張しているわけではないと理解できる。実際には、「目標への挑戦」および「障壁を下げる」と言っているだけだ。けれども、このようなうっかりした誤読によって容易に誤った結論が引き出されてしまうような書き方は、本当に賢明であると言えるだろうか。

ナノテクノロジーの開発には、誇張と誇大広告的な約束が伴ってきたということは、まったく新しい洞察でもない。（...）この誇張された約束に対して、科学者は自身の無実を訴え、距離を置こうとするかもしれない。結局のところ、ナノボット、万能アセンブラーやその他のサイエンスフィクション的ナノテクノロジーのビジョンは、シンギュラリタリアンやトランスヒューマニストのようなフリンジ的運動のメンバーが提唱しているものであり、主流派のナノ科学研究者のものではないからだ。そして、ナノテクノロジーのビジネス的側面に関わる商業主義は、多くの科学者にとってアカデミアから遠く離れた出来事のように見える。けれども、ナノテクノロジーを取り囲む「約束の経済」とでも呼べる現象について、本当に科学者はまったく責任を負っていないのだろうか？

もちろん、ほとんどの人が新しい科学の進歩について知る手段は、科学文献ではなくマスメディアである。加えて、アカデミアの研究室で得られた結果が一般メディアの記事へと変換されるプロセスにおいて、当然のごとくドラマチックさと研究の潜在的影響が強調される。論文誌の学術論文から大学広報局のプレスリリースへと至る道のりは、学術論文としての注意深い言葉遣いをシステマティックに除去するプロセス、また、あいまいな将来の可能性を近未来の確定的な成果へと変換させるプロセスとして特徴付けられるだろう。

ここでのキーワードは「可能性がある」だ。--一流論文誌に掲載された、堅実ではあるが革新的でもない論文のプレスリリースの中で、この研究は革命的でラディカルな技術や薬品の開発に繋がる「可能性がある」という表現を、どれほど頻繁に眼にしたことがあるだろうか？

ジャーナリズムの現場では、科学者たちから自然に生じる障壁に対応できないと言われている。それゆえ、多くの科学者はこのプロセスを黙認し従っている。これらニュースストーリーを語る、選ばれた「エキスパートの」コメンテーターは、問題に対する深い技術的知識を持っておらず、誇張された技術的成果のアジェンダを宣伝する願望とコミュニケーションスキルを組み合わせたような人間である場合も多い。

ナノテクノロジーの議論についての奇妙で予期不能な特徴としては、ナノテクノロジーの社会的な影響と倫理的側面について語ること自体が、期待の高まりを助長していることが挙げられる。(...) あまりに極端なナノテクノロジー発展の外挿をもとにして、その倫理的・社会的な影響を空想すること自体が、暗黙のうちに、そのビジョンに対するお墨付きを与えてしまうのだ。もしも、テクノロジー発展の帰結を想像することができ、それが自然法則に反すると証明できない場合には、社会に起こりうるインパクトについて考えないことは、無責任だと言われてしまうのだ。この場合、妥当性や実現性についての疑問は脇に置かれてしまう。(...)

科学者たちは、過激なナノテクノロジーのビジョンが公共の場に根付き活力を保っていることに対し、ある種の無力感を感じるかもしれない。メディアが科学ストーリーを扱う方法に対して、科学者ができることがそう多くあるとは思えない。科学の進歩の潜在的重大性を控え目に語ることによりメディアでのキャリアを築いた人は、おそらく確実に存在しないだろう。これは、メディアの制約条件の中で、科学者がその責任と正確性を行使する必要はないと述べているのではない。それでも、「約束の経済」は、我々が認識するよりもはるかに深く科学的活動の中に埋め込まれている。

約束を絶対的な前提とする文書の種類としては、研究提案が挙げられる。研究資金の提供機関から、潜在的に経済的インパクトのある研究を行うようにという圧力が高まるにつれて、研究者が自分の研究は劇的な成果に繋がるという強い主張を述べるようになることは避けられない現象であるようだ。このような主張と伝統的なアカデミックな価値観との衝突が、ある種の冷笑主義を生むことはおそらく理解できるだろう。科学者は、自分の研究を正当化する独自の方法を持っており、研究の究極的な応用についての誇張された主張、あるいは実現不可能な主張に対する罪悪感を緩和させられるかもしれない。多少無謀な主張を正当化する方法としては、科学と技術は実際に社会と経済に大きな影響を与えてきており、そのインパクトは元々の研究が行われたときには予測不可能であった場合すらある、という観察が挙げられる。たとえ個々の研究者の主張が妥当ではないとしても、研究者全体としては重要な成果をもたらせるのだと正当化できるかもしれない。

つまり、科学者は、自分自身の研究のみが大きな影響を与えるとは信じていないかもしれないが、一方で科学全体は大きな利益をもたらすと確信している。その一方で、大衆は、科学技術が約束したものの実現できなかった約束について長く記憶しているだろう。 (原子力発電は「測定不要なほど安価」という宣伝は、最も悪名高い例である）これは、他に何もなければ、ナノサイエンスのコミュニティ自身が約束の支払いを負うことを示している。

ハイプとハイプ・サイクル

残念なことに、強調と過剰な熱意と誇張の間には違いがある。ハイプは文字通りに理解するためのものではない。

デイヴィッド・M・ベルーベ著『ナノ・ハイプ狂騒』(上巻 p.32)

新たなテクノロジーの黎明期に、「ハイプ」--過大評価と誇大広告-- が見られるという観察は、何も新しいものではありません。というよりも、「過去一世紀ほどの間のテクノロジーで過剰宣伝されなかったものなど皆無だ」というシニカルな意見さえあります。

未来研究所（Institute for the Future）の共同創業者ロイ・アマラ博士は、既に1960年代〜70年代ごろ、「アマラの法則」として知られる言葉を述べたと言われています。

私たちは短期的にはテクノロジーの効用を過大評価し、長期的には過小評価する傾向にある。

そして、おそらく「ハイプ」を冠したものの中でも一番有名な (あるいは、悪名高い) のは、「ハイプ・サイクル」の分析手法 (および、情報通信業界の調査会社であるガートナー社が作成する同名のレポート)ではないかと思います。

wikimedia commonsより

個人的には、こういう類いの何を表しているのか訳が分からないグラフは好みではないのですが、それでも、「アマラの法則」が見抜いた短期的な過大評価と長期的な過小評価を視覚的に図示し、テクノロジー受容の社会的・心理的側面を表すものとして、一定の意義はあります。

一般に、新しいテクノロジーが発明されたり関心を集めるようになると (テクノロジーの引き金)、関心の集中自体が原因となって、テクノロジーは流行を迎えます(過剰な期待のピーク)。その次の段階では、期待に応えられなかったテクノロジーは幻滅され、世間の関心を失います (幻滅の谷)。その後、次第にテクノロジーの本質が理解され、世間に普及するようになり(啓蒙の坂)、主流の技術として受容されるようになります (生産性のプラトー)。もちろん、これはあくまで一種のマーケティング用ツールとして模式的に表現されたものであり、すべてのテクノロジーがこのような過程を辿るわけではありません。(たとえば、生産性のプラトーに辿りつく前に「死ぬ」テクノロジーもあります)

イノベーションの理論によれば、世間からの注目が集った後、「幻滅期」が発生する理由として次のような理由が挙げられています。

• あるテクノロジーへの注目が集まると、深い知見を持たないままにテクノロジーを利用する人間や企業が生じる
• 流行したテクノロジーにあやかるために、関連の無いテクノロジーや製品がその名前を借用するようになる
• 流行りや宣伝に飛び付いた深い知見のない人間は、テクノロジーの導入、利用に失敗する場合が多い

満たされなかった期待によって起こる「幻滅期」は、そのテクノロジーに対する信用と評価を傷つけ、しばしば研究開発を停滞させる場合があります。ここでも既に述べた通り、AIにおいてもかつて2度の「AIの冬」と呼ばれる「幻滅期」がありました。ほぼ確実に、近い将来にまた「第3のAIの冬」が発生するだろうと考えています。対象のテクノロジーが変わったとしても、それを使う企業や大学組織、そして人間の心理は、ほとんど変化しないものであるからです。

ナノ・ハイプ狂騒(上)アメリカのナノテク戦略

イノベーションの普及

ハイプとは何か？

新たなテクノロジーの出現時には、「ハイプ」 --すなわち、開発者による誇大広告と一般大衆の過剰な期待、より広く言えば、将来の可能性に対する「過大評価」と「誇張」-- またその裏返しである「恐怖」が見られます。これは何も、最近の機械学習と人工知能に限った現象でもありません。

19世紀末から20世紀初頭にかけては、新技術である電気の将来性に対する夢想が存在しました。電気を題材にしたさまざまな空想科学小説が書かれ、またゼネラル・エレクトリック社などの大企業も、広報のため電力に対する大衆的イメージを積極的に利用したと言われています。

あるいは、既に本書でナノテクノロジーを論じた際に引用した「ナノ・ハイプ狂騒」にも、20世紀末から2000年代初頭にかけて、学術・産業界および政治・行政・メディア・市民運動などさまざまな分野で、各々の思惑からナノテクノロジーの将来性に対する著しい過大評価が起こったと記録されています。

またあるいは、私とほぼ同世代以上の、現在30代以上の人々は、80年代～90年代には「サイバースペース」、2000年代には「Web2.0」などの標語の元に、コンピュータとインターネットの未来に対する楽観的な夢想が広がっていたことを、まだ覚えているだろうと思います。

もちろん、インターネットの将来に関する彼らの想像が的確であった部分もあります。けれども、国家と国際的超巨大企業に支配され管理統制を強める現在のインターネット、リベンジポルノやフェイクニュース、漫画など著作物の違法アップロードから諜報機関による世論操作に至るまで、インターネットが解き放ったさまざまな負の側面を省みると、当時想像されていた情報化社会の未来像とはやや異なる印象を受けることも確かです。

ところで、新しい情報メディアの登場時に表れる、社会制度が抜本的に改革され政治的不平等が消滅するという空想は、まったく新しいものではありません。19世紀には新聞、ラジオやテレビなどの新しいメディアが人々の意思を統一し真の民主主義を打ち立て、専制を終わらせるという主張も存在していました。実際のところはその逆に、19世紀アメリカの新聞が煽り立てた米西戦争、20世紀のドイツ、イタリアや日本の独裁政権など、新たなメディアは新たな形のポピュリズムとファシズムを可能ならしめるものであったと言えます。

その他にも、かつて1960年代には、核融合が無尽蔵のエネルギーを供給するため、「あまりに安価すぎるため測定不要」 (too cheap to measure) になるという想像がされていたようです。「無尽蔵のエネルギー供給」をうたう核融合エネルギーの研究史は、あまりに馬鹿げたレベルの楽観主義と希望的観測による錯誤と研究不正、その裏返しである失望と、過去の失敗の忘却の繰り返しでした。

ひとたび新しいテクノロジーが発明されれば一挙に普及して社会を一変させ、旧弊な体制と価値観を葬り去るという希望と誇張に満ちた主張、あるいはその裏返しである恐怖に満ちた主張は、古くから何度も何度も何度も繰り返されてきたものです。ここで再び、ヨギ・ベラの深遠なる洞察を用いるなら、「これはまるでデジャブの繰り返しだ。」とでも言えるかもしれません。

ウェブ進化論 本当の大変化はこれから始まる (ちくま新書)

テクノ・ハイプ論 ～なぜシンギュラリティは問題か～

「シンギュラリティの主張は、はっきりとした科学的証明がなされていないという点で、認識論的に間違っている。しかしそれだけで済ますことはできない。シンギュラリティの主張は、倫理的にも非難されるべきである。シンギュラリティという特殊なシナリオを示すことにより、他にも存在するさまざまな危険性から人の目をそらし、その危険の存在を隠蔽しているからだ。」ジャン・ガブリエル・ガナシア著『そろそろ、人工知能の真実を話そう』 (p.138)

ここまで、「シンギュラリティ」の妥当性について、主にシンギュラリティ論の内部の立場に立って論じてきました。

けれども、ごく基礎的な科学・工学教育を受けた人であれば、シンギュラリティ論が経験的根拠に基いた「近未来の予測」というよりは、「遠い将来の夢想」を描いたビジョンであることは、わざわざ詳細に検討するまでもなく一目瞭然だろうと思います。実際のところ、私の書いたものを読んだ(科学的・思想的な素養のある)人の反応もおおむねそのようなものであり、またそんなコメントを受け取ったこともあります。

結局のところ、シンギュラリタリアニズム/トランスヒューマニズムは、アメリカでさえ主流派とは言いがたい周縁的な運動であり、現実にはさしたる影響力を持っていないじゃないか。そんな主張をする人間は、だいたいがAI関連分野の利害関係者で、彼らは何の根拠もないと理解した上で、プレゼンスと研究資金の獲得のために利用しているだけだろう。あまりに楽観的すぎるのは確かだけれども、それでも、未来のビジョンとしては面白いし、科学やテクノロジーに対する大衆のポジティブなイメージ向上に役立つのだから、さして危険視して躍起になって否定しなくても良いではないか、というわけです。

そこで、最終章ではこの疑問に応えたいと思います。つまり、シンギュラリティ論が 「正しいか誤りか」という議論の外側に出て、「なぜシンギュラリティは問題か」を議論します。

私がシンギュラリティ論を検討してきた理由は、より広い意味で、テクノロジーの研究開発に対する「ハイプ」-誇大広告と過剰期待- の存在とそれが引き起す問題を考える上での題材となると考えたからであり、また、シンギュラリタリアニズム/トランスヒューマニズムの主張と、主流派の「テクノロジーによって可能となると考えられていること」の間の距離は、さして隔たっていないと考えるからです。

そこでまずは、科学技術に対するハイプとそのあり方を明らかにした上で、テクノロジーのハイプが科学技術の研究と政策を歪めていること、そして、現在現実に発生している問題を隠蔽してしまう問題について検討したいと思います。そして、更に広い視点からは、この種のハイプ (広く言って、実証的基盤を持たない将来予測) が、我々のテクノロジーに対する見方を歪曲し、ありえる未来の姿に対する視野を狭め、建設的な未来への議論を損なっていることを批判したいと思います。