以前の記事で、私は遠い将来の不確かな未来予測に対して、リスクマネジメントの考え方を適用することを批判しました。
この論点は重要だと考えるので、再度、該当する議論をまとめておきます。
標準的なリスクマネジメントの方法論において、「リスク」とは「（リスク）＝（事象の発生確率）×（事象のインパクト）」という期待値によって定義されます。この評価により、「影響が些細ではあっても日常的に頻発するミス」と「めったに発生しない稀な重大事故」の両方に同様の注意を払うべきであるという結論が得られます。このリスク計算は、有限の範囲内においては妥当なものです。(たとえば、東日本大震災における原発事故の「発生確率」と「インパクト」を考えてみてください)
ところが、開かれた無限の事象空間を考え、「発生確率が極小であっても無限大の（または極めて巨大な）インパクトをもたらす事象」を考慮に入れると、このリスク評価方法は破綻し、極めて不合理なパラドックスじみた結論をもたらします。たとえば、「一等賞金が無限大である宝くじ」を仮定すると、「一等の確率がどれほど低くても、ゼロでない限りは全財産をつぎ込んで宝くじを買うべきだ」という結論となります。同様に、「巨大隕石の衝突による人類の絶滅」、「破局噴火」や「シンギュラリティによる人工知能の叛乱」のように「確率が小さくても不可逆的かつ無限大の被害をもたらす事象」を考えると、「現時点で利用可能なあらゆるリソースを使用してでも、その事象を避けるべきだ」という結論をもたらします。
この推論は、事象の確率の値がどれほど小さかろうとも、「原理的には可能性を否定できない、無限大のインパクトを持つ事象」全てに対して当てはまります。このようなリスク評価は、極めて不合理であると私は感じます。*1
このパラドックス、（極小な（非零の）確率）×（無限大のインパクト）によるリスク計算の破綻を、リスクアセスメントの特異点と名付けたいと思います。「無限大の発生によって、論理や法則が成り立たなくなる」という「特異点」の原義通りの事象だからです。
この種のパラドックスを検討する上で、まず「確率極小だがインパクト無限大」となる事象は、無数に存在することを指摘したいと思います。もし仮に「シンギュラリティ」のリスクを検討するのであれば、シンギュラリティと同程度の発生確率と思われる破滅的な事象、たとえば、巨大隕石の衝突、破局噴火、核戦争、巨大磁気嵐、ガンマ線バースト、宇宙人の地球侵略、アセンションなども考慮に入れ、それぞれの確率とインパクトを計算して考慮に入れるべきだと考えます。自分が好む特定のシナリオだけに注目することは、論理整合的な態度であるとは言い難いものです。
ここでの整合的な考え方は、「発生確率が微小な事象については全て無視する（確率ゼロとして扱う）」という考え方であると考えます。私たちの日常生活における（記述的な）意思決定を考えれば、我々はこのように行動しているように見えます。たとえば、歩行中に横断歩道を渡る際には、多くの人が、自動車が接近していないか、あるいは自動車が一時停止しているかを事前に確認するだろうと思います。ところが、道を歩いている際に、電柱が倒れてこないか、地下の下水管が破裂して道が陥没しないか、頭上からの落下物が無いか、後ろを歩く人がいきなり刃物で斬りつけてこないかを逐一確認してから進む人はいないでしょう。(これは合理的と言うよりは神経症じみた態度であると思います) つまり、横断歩道で交通事故に合う確率は無視できない値であり、交通事故のインパクトは大きいため事前対策（左右確認）をするが、道路陥没や落下物や通り魔については確率が微小であるため、たとえインパクトが大きい事象であっても無視する、そのような考え方を取っているように思います。
そして、規範的な、つまり、あるべき意思決定理論としても、「（事象発生後にリカバリするコスト）＜（事前対策に要するコスト）であるような発生確率の極めて小さい事象については、事前対策を諦める（または被害緩和策だけを検討する）」という考え方は、おおむね妥当であると思います*2。もちろん、リスク評価の主体によって「事前対策のために支出できるコスト」が変化するため、備えるべき事象の種類と発生確率が変化することは言うまでもありません。個人のレベルでは原発事故や戦乱のリスクに備えるためにできることは少なく、日常生活においてはこれらを無視することが妥当ですが、電力会社や政府がそのように考えてもらっては困ります。それでも、企業や国家であれリスク対策に費やせる資源は有限であるため、あらゆる事象に対して事前対策を取ることは、不合理でありかつ現実的に実行不可能です。
以上の理由から、「ある定数pよりも発生確率が小さい事象については無視する」という考え方は、妥当であると考えています。
さて、この「リスクアセスメントの特異点」が論理的に大きな問題をはらんでいる理由は、この主張がしばしば立証責任の転嫁に用いられる手段だからです。「可能性は否定できない（ゼロではない）」と合わせて「その影響は甚大である」と主張することによって「一定のリスクが存在する」と主張できてしまうため、特定の自説を議論することを正当化し、「反対するのであればその根拠を示せ」と反論者へ立証責任を転嫁する方法として使われることがあります。この種の立証責任の転嫁は、シンギュラリティ論に限らず、ナイーブな反原発運動、代替医療や反ワクチン運動など、非科学的な主張全般において頻繁に見られるものです。
また、もう1点この主張が問題である実際的な理由は、遠い未来の、信憑性すら疑われる問題を論じることによって、現在既に発生している（またはごく近い将来に高い確率で起こりうる）現実の問題に対する注目を下げる危険性が存在するからです。ダルムシュタット工科大学の哲学・科学哲学教授のアルフレッド・ノルドマン氏が指摘する通り、私たちの倫理的関心と注目は有限の希少な資源であり、既に現在テクノロジーに由来する様々な問題が起きているにもかかわらず、遠い未来の信憑性すら疑われる予測に対して倫理的関心を浪費するべきではないと考えます。
ここでの私の議論には、実は見本とした議論があります。17世紀フランスの数学者・神学者のブレーズ・パスカルによる護教論、『パスカルの賭け』です。過去にも1度、パスカルの賭けに関する議論を取り上げていますが、ここでは意思決定理論として見た場合の『パスカルの賭け』を検討することを通して、「リスクアセスメントの特異点」問題を考えてみたいと思います。
この項続きます。
*1:注意：現実的なリスクアセスメントと意思決定においては、将来の利得や被害については何らかの率を仮定して割り引くことが必要となります。ただし、本件の議論では意図的に時間については無視しています。未来における∞の値が出てきた時点で、どんな割引率を仮定したとしても意思決定の理論が破綻するためです！
*2:リスクマネジメントの専門家も類似の考え方を提案しています 稀な危機 vs ありふれた失敗－リスク対策の優先順位を考える : タイム・コンサルタントの日誌から
