近年の「人工知能」を取り巻く言説の興味深い点としては、テクノロジー自体やその開発の見通しよりも、テクノロジーの発展に伴う社会的・倫理的影響のほうに大きな注目と関心が集まることが挙げられます。
このような、テクノロジーがもたらす影響についての語りを批判的に検討する上で、参考になる文献を紹介したいと思います。ドイツ、ダルムシュタット工科大学の哲学教授であり、科学史・科学技術哲学を専門とするアルフレッド・ノルドマンが、2007年にNanoethics誌に発表した論文『if-and-then: a critique of speclative nanoethics』(pdf) です。ここでの検討の対象は、当時ハイプの最高潮にあったナノテクノロジーが中心ですが、この議論はそのままバイオ、人工知能や脳神経科学に対するスペキュレーションにも適用できるものであると言えます。
ノルドマンの主張を端的に要約すると、次の2点です。
- テクノロジーの進歩に対する過激な未来予測をベースとした思考実験が短絡的に受け入れられることによって、無根拠なビジョンに信憑性を与え現時点での義務が発生し、技術開発の方針や政策を歪める危険性がある。
- 倫理的関心と公的な議論は希少な資源である。現在既にテクノロジーに起因する問題が生じているにもかかわらず、信憑性すら疑われる遠い将来の問題に、それら資源を乱用するべきではない。
***
テクノロジーの発展は、往々にして、かつては存在しなかった倫理的・社会的・法的・経済的な問題を引き起こす場合があります。未だ普及していない新興技術であっても、将来的な発展を見越した上であらかじめ対策を講じておかなければならないこともあります。近年の事例では、生殖技術、つまりヒトの受精卵に対する遺伝子組み換えやゲノム編集技術の適用が挙げられます。あるいは、フィクションの設定のような空想的な将来予想それ自体は (決して完全に価値中立的ではないとは言えども) あまり危険視して否定する必要は無いものです。
けれども、著者のノルドマンはあるタイプの思考実験を強く批判しています。テクノロジーに対する空想的な未来予測を前提とした、倫理的な思考実験（特に人間の「強化」に関する思考実験）です。この種の議論は、技術開発の方針を歪める懸念があるからです。
いかなる議論であるか、またどのような問題が生じるかについては、本文中で挙げられた具体例を見れば理解できると思います。
The true and perfectly legitimate conditional "if we ever were in the position to conquer the natural ageing process and become immortal, then we would face the question whether withholding immortality is tantamount to murder" becomes foreshortened to "if you call into question that biomedical research can bring about immortality within some relevant period of time, you are complicit with murder" – no matter how remote the possibility that such research might succeed, we are morally obliged to support it.
(試訳) 正しく、完全に妥当な条件文『もし、我々が自然の老化プロセスを克服し不死となりうる状況に置かれたならば、そこで我々は不死からの撤退は殺人の共犯に等しいのかという疑問に直面することになるだろう。』これが短絡されると、次のようになる。『何らかの妥当な期間中に不死をもたらしうるバイオ医学研究に疑いを差し挟むことは、殺人の共犯である。』- そのような研究が成功する可能性がどれほど小さいものであったとしても、我々は倫理的にその研究を支持する義務を負ってしまう。
つまり、ここでの彼の批判対象は、テクノロジーの未来に対するスペキュレーティブで、過激な、無根拠な予想を利用して、予想自体の妥当性を問うことなしに現在における義務を生じさせるような主張です。こういった主張は、研究者、技術者や投資家が資金獲得のため自覚的に利用している場合も見られますし、未来予測を議論する中でナイーブに主張されることもあります。
近年の「人工知能」言説においては、倫理的義務を課すためのスペキュレーションとして、未来の労働や雇用問題に関する空想が持ち出される場合が多いようです。その空想の信憑性がどれほどであったとしても、物理法則の上で否定できないのであれば、空想を実証的に検証する行為自体が「経済的弱者切り捨てを是認する非人間的態度である」と非難されてしまうのです。
過激な将来予想を元に、その社会的・倫理的影響を論じること自体が、その予想に対する信憑性を与え、結果として研究開発の方向性を歪める傾向があるとノルドマンは批判しています。
論文中では、スペキュレーティブな思考実験を正当化するために利用される、技術開発の将来性を誇張する詭弁的論法がいくつか指摘されていますが、その中の１つとして「ムーアの法則」の乱用があります。取り上げられている事例は、ブレインマシンインターフェイス(BMI) あるいはブレインコンピュータインターフェイス (BCI)と呼ばれる、脳の電磁気的な活動を計測しコンピュータとの通信に用いるデバイスの将来予想です。
In 2002, patients were able to transmit 2 bits/min, 4 years later this figure is up to 40 bits or five letters per minute. If this rate of progress were to continue indefinitely, one could calculate that by 2020 such patients will be able to communicate to the computer as fast as healthy people speak (...). The quoted draft minutes do not claim that this extrapolation will actually hold, nor do they call it into question. Instead, they implicitly invoke Moore’s Law as a standard for envisioning the future potential of brain–machine interfaces. In light of Moore’s Law, the conditional “if present trends continue” becomes a virtual assurance, allowing us once again to drop the “if” and move on to the“then“.
2002年には、患者は1分あたり2ビットを転送できたが、4年後にはこの数値は40ビットあるいは1分あたり5文字に増加している。もしもこの進歩率が途切れることなく続くならば、2020年にはこのような患者とコンピュータとのコミュニケーション速度は健康な人間の会話速度に匹敵するだろうと計算できる。(…) ここで引用した議事録の原稿は、この外挿が実際に実現されるとも、この予測には疑問があるとも述べているわけではない。実際には、彼らはブレインマシンインターフェイスの将来のポテンシャルを夢想する基準として、暗黙のうちにムーアの法則に訴えているのである。ムーアの法則の光に照らされ、条件文「もしも現在のトレンドが続くならば [if present trends continue]」は、事実上確定的なものとなり、ここでも「もし [if]」という語を落として「ならば [then]」へと進むことを許してしまうのだ。
ムーアの法則のような指数関数的な成長があらゆるテクノロジーに適用できるという詭弁は、シンギュラリティ論を唱える人間によっても何度も何度も何度も繰り返されています。このような「予想」は、妥当な未来予測と対策への呼びかけ、たとえば地球温暖化の予測とその対策についての科学的議論とは対照的です。つまり、「遠い将来の夢想的なビジョン」を「近未来の確定的な世界のあり方」として信じ込ませるための詭弁ではなく、未来予測に付随する本質的な不確実性を考慮に入れて、いくつかのシナリオの蓋然性を最初に検討する(その後で影響を考慮する)という方法こそ、妥当な、あるべき未来予測論だと言えます。（そして著者は「妥当な未来予測」や「単なる思考のための思考実験」と、上記のような「倫理的スペキュレーション」を区別するよう注意しています）
この種のスペキュレーティブな未来予想には、しばしば「立証責任の転嫁」が伴います。この事例として、人工知能と超知能に関する思考実験で著名な哲学者、ニック・ボストロム氏による次のような議論が取り上げられています。
[...] to assume that artificial intelligence is impossible or will take thousands of years to develop seems at least as unwarranted as to make the opposite assumption. At a minimum, we must acknowledge that any scenario about what the world will be like in 2050 that postulates the absence of human-level artificial intelligence is making a big assumption that could well turn out to be false. It is therefore important to consider the alternative possibility: that intelligent machines will be built within 50 years.
人工知能が不可能である、または開発に数千年かかると推定するのは、少なくとも、その逆の仮定をすることと同じくらい不当であるように思われる。最低でも、ヒトレベルの人工知能が存在しないことを前提とする2050年の世界に関するシナリオは、誤っている可能性の高い仮定であることを認めなければならない。したがって、別の可能性を考えることが重要である：知能機械は50年以内に構築される。
つまり、「否定する根拠がない、ゆえに正しい (あるいは考慮に値する)」というタイプの詭弁であり、これは無知論証のバリエーションであると言えます。ここでは、予想を否定するのであれば懐疑論者が根拠を示せ、という形で「立証責任の転嫁」をするために使われています。
著者が挙げている通り、再び地球温暖化の例を取れば、肯定派から懐疑派への「立証責任の転嫁」が問題であることは理解できるでしょう。いわゆる「悪魔の証明」*1という言葉もある通り、何かが「無い」、あるいは何かが「将来に渡って起こらない」と示すことは非常に困難であり、通常の、対等の立場同士での議論の場合は、何かが「ある」、「起こる」と考える立場に立証責任があるものだからです*2。
If you believe that human societies are threatened by global warming and that something should be done about this, you better produce some evidence for the reality of this threat. Bostrom and Ord reverse this burden of proof. Those who refuse to prepare for an unknown and unknowable future of cognitive enhancement are required to justify their stance (...) Such reversals of the burden of proof are familiar from other contexts such as Creationism or Intelligent Design.
もしあなたが人類社会は地球温暖化によって危機に晒されていると信じており、温暖化に対して何らかの対策が取られるべきであると信じているならば、あなたはこの危機が現実のものだという何らかの証拠を挙げなければならない。ボストロムとオルドはこの立証責任を逆転させている。認知能力強化という未知であり不可知の未来への備えを拒否する人間は、自らの立場を正当化することを要求されるのだ (…) このような立証責任の逆転は、創造論やインテリジェント・デザインなどの他の文脈ではよく知られたものである。*3
***
このようなスペキュレーションが問題である理由は、今現在または近い未来の差し迫った危険性を隠蔽するからであると言います。
ナノテクノロジーにおける問題については、既に私も取り上げました。終末論めいた「グレイ・グー」の思考実験によって、微小粒子の毒性や、微小粒子とアルツハイマー病との関係など、専門知識を要する分かりづらい危険性から注意が逸らされたという批判がありました。
まったく同じ問題が、昨今のAIと「超知能とシンギュラリティ」の言説でも生じています。「AIの危険性」に関する議論は、ともすれば「自我に目覚めた超知能が反乱を起こす」あるいは「未来の技術的失業」などの問題ばかりが取り上げられることが多いようですが、既に実用化されているAI技術と機械学習技術によってさえ、現在問題が生じている状況です。代表的な問題としては、統計データと機械学習モデル内に取り込まれた有害なバイアス*4や、世論操作などがあります。更には、過激な将来予想を後援するIT企業の意図として、現在生じている問題を隠蔽し世間の注目を逸らす目的があるのではないか、という批判さえあります。
再度言っておくと、本論文で主に注目されているのはナノテクノロジーです。けれども、ここで挙げられた議論とまったく同等の批判が、昨今の人工知能に対するスペキュレーションにも適用できるものです。また、おそらく確実に、次にハイプの対象となる未来のテクノロジーに対しても適用できるだろうと考えています。
Once one breaks the spell of the if-and-then, a lot of work needs to be done. As we have seen, distinctions need to be made and maintained. In order to resist foreshortening, considerable work is required to hold the scientific community to its own standards of honesty and clarity.
ひとたび 「もしとならば」の魔法から覚めたら、たくさんの仕事がなされる必要がある。既に見てきた通り、区別がなされ、また維持されなければならない。短絡に抵抗するために、科学コミュニティには、自身の正直さと明晰さに対する基準を保持するよう、多大な仕事が要求される。
*1:もともとの「悪魔の証明」という用語は、自身に所有権があると立証することの困難さを表したものだったと言われています。
*2:ノルドマン自身は地球温暖化を否定しているわけではなく、ここで挙げられた事例は立証責任を誰が担うべきかを示すためのものです。
*3:なお、ここで取り上げられた立証責任のあり方はいわば哲学的・科学的な原則論であると言えます。たとえば、公害被害者個人と企業との間の訴訟のように、立場の強弱や立証の困難さによって、実務上の(法的な)立証責任の運用は変化することもあり、「予防原則」により「悪影響がないこと」、「危険がないこと」の立証が求められる場合もあるようです。
*4:There is a blind spot in AI research : Nature News & Comment
