以下は、カリフォルニア大学バークレー校の修辞学部の講師であり、批評理論家、修辞学者のデール・キャリコによる"Nicholas Carr on the Robot God Odds" の翻訳(一部抄訳)です。(私が思うに、デール・キャリコは、シンギュラリタリアニズム/トランスヒューマニズムの思想面に対する、最も徹底的で辛辣・強烈かつ持続的な批判者です。)
ニコラス・カーのロボット神の存在確率について
ニコラス・カーの主張に同意することはたやすい。
コンピュータが十分に賢くなり、彼らが世界を乗っ取ろうと決断し、そのための悪意ある計画を温め、そして実行するという確率は、途方もなく小さい。イエス、それは可能性[possible]の領域にある。ノー、それは蓋然性[probable]の領域にはない。もしも、人類の存続に対する脅威を心配したいのであれば、旧来の聖書的な脅威 -- 洪水、飢饉、ペスト、疫病、戦争 -- こそが、今でもスタート地点として最良の場所ではないかと思う。
カーは、レイ・カーツワイル、イーロン・マスク、ニック・ボストロムのような、比較的著名なシンギュラリタリアンAIカルト信者の悪夢と夢想を揶揄している。彼らは、友好的な超知能AIが作成されるよりも前に非友好的な超知能AIが作成される危険を、大きな懸念事項だと捉えている。私は、カーの主張に同意することはたやすいと述べたし、私も同じことを書いている。こことここではカーツワイルに関連して、ここではイーロン・マスク、ここではニック・ボストロムについて取り上げた。
けれども、私が懸念しているのは、ここでカーが仕掛けている非常に正しく常識的な議論が、何かしら逆の効果をもたらすのではないかということだ。シンギュラリタリアンが主張する懸念に対して、政策決定上の確率を否定しながら、寛大にも、論理的な可能性を肯定することにより、一体彼は何を是認しているのだろうか？ 我々が知能や意識と呼ぶような現象が、生物的な脳や生体神経系以外においても、物質的に実現できるという論理的な可能性があることについて、私は喜んで同意する。ヒトのみならず、イルカや霊長類や他者の存在を認識できる者は、人間あるいは権利保有者であると見なされうることについて、私は喜んで同意する。(...) これらすべてが重要で、実りある議論となるだろう。けれども、これらの主張は実際にシンギュラリタリアンが唱えているものだろうか。
シンギュラリタリアンは、非生物的な意識が実現できるかもしれないという、極めて壮大な主張を唱えているのだろうか。それとも、彼らは陳腐なSF的決まり文句を、政策技法の関連語として動員しているだけなのだろうか -- 「友好的？」、「サイバーエンジェル？」 本当に？ あるいは、失敗を繰り返してきたAI研究プログラムが、還元主義的でソシオパス的な、肉体を呪う、スピリチュアルな意図の隠された、陰謀論的な信念ベースのAIモデルが、最終的には逆転勝利を迎えると宣言したいのだろうか？
半世紀の歴史を持つ、古いテクノ・ユートピア的な古き良きAI(GOFAI) [Good Old Fashioned AI] の夢は、私にとっては、社会的疎外と安直な明晰性と明確性を実証するものであり、また、現実世界において現実に知能と意識を示す現実の物質的なシステムについて、我々自身が現実に理解していること[のみ]を実証するものであるように見える。見たところ、このような間違った仮定にもとづいた研究プログラムが失敗を続けていることは、何ら驚くべきことではない。そして、間違った仮定によって起こった知的なAI構築研究の失敗を、どうして更にGOFAIを増幅させた間違った仮定に基づいて超知的AIの構築を目指すことにより回避できると考えているのか、理解しがたい。マーケティングの技法によって、まったく同一の不味くて不健康なコーラに「超巨大」サイズのオプションを追加すれば、確かに売上を向上させられるかもしれない。それでも、なぜそれがコーラをおいしく、健康なものへ改善できると考えるのかは理解しがたい。
技術超越主義的な願望成就ファンタジスト [techno-transcendental wish-fulfilment fantasists] のほとんどと同じく、シンギュラリタリアンは、自身が思うままに真剣に受け止められることを願っている。彼らは、反対意見を特段快く思わないかもしれないが、けれども、何らかの形の嘲笑でさえありがたく受け取るかもしれない。もしもそれが注目を集め、彼らが望む方向へと妥当な議論をねじ曲げられるものであった場合には。彼らが「技術的」とみなす事項について、懐疑論者と超知能AI神の存在確率に関して議論すること以上に、ロボットカルト信者が楽しむことは多くあるまい。なんとなれば、シンギュラリタリアン、テクノ不死追求者、トランスヒューマン優生学者、「ジオエンジニア」などたちは、自分たちは啓蒙と科学のチャンピオンであるという宣言を好むようであるが、実際は彼らは、信仰信条に継ぐ信条に継ぐ信条により、科学のコンセンサスから
私が思うに、これがブログFutrismsでのチャールズ・ルービンによる、カーに対する反論の力であると思う。すなわち:「人工意識を開発しようと試みている人々が存在しており、彼らが受け取っている資源や支援は、彼ら自身が望んでいるほどの量ではないかもしれないが、テックカルチャーは、少なくとも、彼らの味方である(…) これは懸念すべきではないだろうか？」 ロボットの神は存在しないかもしれず、将来にも存在しないだろうが、けれども、AIカルト信者は存在する。そして彼らは、ご存知の通り、確実に影響を及ぼしている。
カーと同じく、超知能AIの支援者 (または、どの程度にせよ、真剣に超知能の可能性を受け止める支援者) は、たわごとを売り込んでいると考えている。シンギュラリタリアンの世界観はあまりに病的であるので、医療者は彼らの考えを真剣に受け止める必要があるだろう。また、彼らの議論はあまりに欠陥だらけであるため、彼らが書いた科学論文を評価する者は誰でも、彼らの考えをもっと真剣に捉える必要があるだろう。実際には科学の講義を取っていないかもしれないのだから。けれども、なぜ政策決定者が彼らの懸念を真剣に考慮しなければならないのかは理解しがたい。シンギュラリターリアン [Singularitaarians] の進む道は袋小路であり、本当に問題であるのは我々が現実に起きている問題に対処することである。多くのシンギュラリタリアンたちがそれほど深刻に懸念していない問題であっても、それより以前にもっと現実的な脅威を懸念しなければならない。
私が既に何度も述べた通り、ハイエク主義者のモンペルラン協会 [Hayekian Mont Pelerin Society] *1の事例は、富裕層に追従し奉仕する疑わしい思想を強固に信じたごく少人数の集団が、世界を破滅の縁へと追いやることを示しているし、ネオコンの事例は、更に馬鹿げた思想を信じた集団が影響力を得ることができることを示している。彼らの思想が疑わしいというだけではなく、非理性的な熱情に訴えかけるものであると判明した時でさえそうなのだから。未来学者は与太話をまき散らしているだけかもしれないが、そこにはエリート層の利害が込められており、独り善がりの消費主義的な科学技術に対する無知は言うまでもなく、心地良く満足させるもので、AIカルト教の教義体系を合理化するものである。彼らが唱える狂乱した仮定、夢想、空想によって科学技術言説と政策が埋めつくされた場合、絶大な被害が発生しうるだろう。
カーはこの論点を完全に精緻化していないけれども、彼が始めた主張は、超知能AI言説の馬鹿馬鹿しさを矮小化するものだと認識しなければなるまい。「今や…コンピュータチップを備えたあらゆる消費財が「スマート」とブランド化されている」 カーと同じく、私もロボットカルト信者の予測、ロボットの神が地平線上に現れるという予測を、わずかなりとも真剣に捉えるべき理由は無いと考えているし、まったく考慮に値しないと考えている。(温暖化ガスではなく、ネオリベラル的な貧困化ではなく、警察の人種差別的バイアスではなく、兵器拡散ではなく、人身売買ではなく、人口過剰地域における治療可能な疾病に対する無視ではなく[、なぜ超知能AIを検討するべき理由があるのか]) ただし、カーとは異なり、私はこの超知能ロボット神は馬鹿げていると考えており、良いものだとは考えていない。
けれども、私が思うに、Googleといった企業組織、DARPAといった軍事組織、スタンフォードやオクスフォードなどの学術組織においてこの思想が蔓延しているため、超知能AIの予測の裏にあるイデオロギーに対しては、きわめて深刻に捉えるべき理由があると思う。
AI信者ができの悪いソフトウェアを作成する理由は、ソフトウェアの機能自体に問題があるのではなく、そのソフトウェアは、彼らが忠誠を誓うべきAI神の似姿の萌芽であるからなのだと考える理由がある。
まったくスマートではないカードや車を「スマート」と呼んだ場合、ほんとうにスマートである人々の明瞭さ、尊厳や繁栄に対する要求を見失なうもしれないと懸念する理由がある。
世界には既に十分すぎるほどの「非友好的な」AIが存在すると考える十分な理由がある -- それはシンギュラリタリアンが我々に警告し、気を逸らさせようとしているような「超知能AI」には見えないかもしれないが -- すなわち、アルゴリズム的なクレジットスコアによって、誰が住宅所有者としてふさわしいか選定される状況、ビッグデータによる犯罪プロファイリングによって、誰が司法外の [警察による] 殺人の犠牲者となるかを選定される状況である。
超知能AIについて言えば、その
*1:訳注：経済的な(新)自由主義を支持する経済学者による政治団体。フリードリヒ・ハイエクやミルトン・フリードマンも所属していた
