このブログを読んでいる人であれば、おそらく、OpenAI が開発した言語モデル、GPT-3 について耳にしたことがあるのではないかと思います。GPT-3は 、流暢な文章を生成できるのみならず、コードやデザインまでも生成でき、ごく一部では、言語を解す汎用人工知能の萌芽であるとも評価されているようです。
けれども、Facebook社の副社長兼チーフAIサイエンティストで、ディープラーニング開発の功績により2018年のチューリング賞を受賞したヤン・ルカン氏は、Facebook上で短いエッセイ を公表して、GPT-3 に対する過剰な期待に対して警鐘を鳴らしています。
ルカン氏の論拠は、医療テック系ベンチャー Nabla社が公表したGPT-3 の検証実験です。この実験では、GPT-3 がヘルスケア現場で実際に使用可能であるのかを確かめるため、複数のテストシナリオを GPT-3 に対して実施しています。
その結果は、惨々たる大失敗であるとしか言えません *1。GPT-3は、診察の予約や支払い計算などに必要となるごく簡単な論理的推論や短期記憶の保持すらできず、完全に誤った診断や薬の用法を提示し、パラメータを変化させると質問の度に一貫性のない答えを返し、あまつさえ、自殺を勧めさえするのです！
このデモは、GPT-3 のような統計的言語モデルの限界を明晰に示しています。
GPT-3 は言語モデルである。つまりは、テキストを入力してその続きを予測するように命じると、一度に1つの単語を出力する。GPT-3は、現実の世界がどのようなものであるかという知識をまったく持っていない。GPT-3がいくらかの背景知識を持っているように見えるのは、ただテキストの統計中に表された知識を得ているからだけである。けれども、その知識は極めて表面的でしかなく、基礎となる現実からはかけ離れている。
もちろん、このデモは、GPT-3 がまったくの無価値なゴミ生成機だということを意味するわけではありません。GPT-3 との対話は楽しいものですし、おそらく、クリエイティブな支援についてはいくらか有用であるかもしれません。けれども、統計的な言語モデルをスケールアップすることで汎用人工知能を実現しようとする試みは、ルカン氏が指摘する通り、高高度飛行機の性能を向上させることで月への着陸を目指すような、不毛な試みであると言えるでしょう。
*1:公平のために言うならば、OpenAI社はGPT-3を医療分野に適用することを推奨していない
