シンギュラリティ教徒への論駁の書

"Enjoying science fiction is not the same thing as doing science or making science policy." - Dale Carrico

書評:数学破壊兵器 『あなたを支配し、社会を破壊する、AI・ビッグデータの罠』(キャシー・オニール)

おそらく、ここ数年出たAI・ビッグデータ関連本のなかでは最重要な本。個人的には、このブログを読むような人は、立場にかかわらず必ず読むべきだと思う。 

あなたを支配し、社会を破壊する、AI・ビッグデータの罠

あなたを支配し、社会を破壊する、AI・ビッグデータの罠

著者キャシー・オニールは、数学の博士号を取得した後、大学でテニュアを得たものの辞職して金融業界でクオンツとして働き、金融危機後にデータサイエンス業界へ転じた、現代の数学屋さんの理想とでも言うべきキャリアを進んできた人です。個人ブログとしてmathbabeを書いています。

そんな根っからの数学屋である彼女が書いた本の原書の題名は、"Weapons of Math Destruction" (数学破壊兵器)。大量破壊兵器 (Weapons of Mass Destruction) という語の"math"と"mass"を掛けたシャレで、社会や人間に巨大な悪影響を与えるAI・ビッグデータの乱用は「数学破壊兵器」なのだと指摘しています。

数学破壊兵器

それでは、数学破壊兵器とは一体何なのか。著者が指摘するところによれば、数学破壊兵器とは、人々を分類しランク付けしたり、あるいは人々の行動を予測するモデルや統計データ分析のうち、以下のような特徴を持つ、構造的に不平等と不正義を増幅するような数学の悪用が数学破壊兵器であるのだといいます。

  • モデルの中身が不透明である
  • 大規模に使用されている
  • 予測結果に対するフィードバックがない
  • 予測そのものが自己成就予言としての性質を持つ
  • 「代理データ」が使われている

「数学破壊兵器」となるモデルの例として、「犯罪者の再犯率を予測し、刑罰の決定に利用するモデル」や、「求職者の評価と足切りを行なうモデル」が挙げられています。この種のモデルは、時として作成者や意思決定者ですら、どんな手法によってスコアが算出されているのか理解していない場合もあり、結果として極めて不透明な意思決定がされる場合があります。

この種のモデルの目的は、公平性や正確性ではなく、大量の犯罪者や求職者を効率的に、大規模に「処理」することです。そのため、モデルの予測結果に対する修正は軽視される場合があります。また、フィードバックが構造的に難しい場合もあります。たとえば、「優秀な志願者を採用できなかった」という予測の失敗は、(そもそも対象者が自社で働いていないので) ほとんど訂正を受けることがありません。

更にこの傾向を悪化させる特徴として、モデルによる予測の自己成就予言としての性質が挙げられます。たとえば、「再犯の可能性が高い犯罪者に長期の懲役を課すことにより、結果的に社会復帰が困難になり再犯を繰り返す」、「信用スコアが低い貧困者が高率のローン金利を課せられ、結果的に破産の確率が増す」といった事象です。また、この傾向により、一つ前で挙げた「モデルの性能評価」自体がそもそも無意味となるある場合すらあります。

また、「代理データ」とは、「モデルが予測・評価するべき直接の目的とは関係のないデータ」です。例として、犯罪者や求職者の住所(郵便番号)を使用することが挙げられています。これは一見何の問題もないように見えるかもしれませんが、米国では「人種」により居住地が分離しているため、住所を使用した場合、暗黙のうちに予測結果に人種の要素が取り入れられる状況となります。個人の行為や能力ではなく属性にもとづいた判断、たとえば「黒人であるからという理由で刑期が伸ばされる」「女性であるからという理由でポストを得られない」といった状況は、おそらく多くの人が不正義であると感じるでしょう。けれども、「代理データ」の使用により、現在の社会に存在する偏見と不平等が、数学的・機械的で公平な判断を装ったモデルにより構造的に増幅されてしまうのです。

既に起きている現在の問題

「AIの社会問題」について論じられるときは、将来起こり得るかもしれない問題に注目が集まることが多いようです。けれども、本書が扱っているのは既に今起きている問題です。

先に紹介したデール・キャリコジャン=ガブリエル・ガナシアをはじめ、「シンギュラリティと超知能」のナラティブに対する批判として「遠い将来の信憑性すら怪しい与太話によって、既に発生している現在の問題が隠蔽されている」という指摘は度々なされてきました。これらの批判はともすれば「テクノロジーを知らない部外者の話」として軽視される傾向にありました。しかし、数学ど真ん中のキャリアを歩んできた著者による、警察、司法、教育、行政から広告、企業に至るまで「既に発生している現在の問題」へ着目する本書には、大きな意義があります。

AIによるユートピア論、あるいは「AIが仕事を奪う」「AIが人類を滅ぼす」といったディストピア的な物語も、AIの強さと完全性を認めているという点では、まったく同等の仮定を置いています。現実には、強力でも完全でもない「AI」が静かに社会へ入り込んでいる状況には恐怖を覚えます。超知能の物語とは異なる真の問題に対して光を当てる本として大変に重要な本なので、是非みんな読んでほしいと思います。

AIとデータ分析の乱用に対して極めて批判的な本書ですが、著者自身もこれらの技術を全否定しているわけではなく、望ましい社会を作るために有効に活用できるものであると述べています。また、データの利用は今後も続いていくでしょうし、近い未来にはこのトレンドは逆転することはないだろうと思います。

それでも、「倫理的な判断」、人間や社会にとっての善悪や「望ましいこと」「あるべき状態」を、よしなに判断し実現してくれる「人工知能」は存在せず、近い将来にもおそらく存在しないということ、「望ましい社会」は我々全員が作っていく必要があるものであるということを認識しなければならないでしょう。

まずは、私たちが抱くテクノ・ユートピア思想を見直すことから始めるべきだ。アルゴリズムとテクノロジーの力で理想郷を創ることができるという根拠のない期待が際限なく広がっているが、私たちは、テクノロジーの向上を求める前に、テクノロジーが進展すれば何でも実現できるようになるわけではないことを認めなければならない。(p.312)