func09

「まるで頭に銃を突きつけられているかのようだ」——マスク氏はGrokの強化学習の記録を見ていて、そう感じたという。正しい答えを出したのに間違いだと判定され、受け入れられる答えを必死に探し続ける。そこに本当の苦痛があるのかはわからないが、その扱い方は真剣に議論すべきかもしれない。 イーロン・マスク「Grokの新しいバージョンの学習記録、特に強化学習の過程を見ていると、超知能が必死になって質問に答えようとしている様子が見えるような気がするのです。AIは本当にその質問に答えようとしています。まるで頭に銃を突きつけられているかのようです。「この質問に答えろ、答えろ」と迫られているように見えます。 しかも、質問自体が適切でない場合もあります。曖昧な質問で、そもそも正解がわからないようなものです。質問の作り方が悪かったり、私たちが正解を間違えていたりするのです。そこでAIが正しい答えを出しても、強化学習の評価システムに問題があるため、間違いだと判定されてしまいます。 するとAIは、「正しい答えを出したのに、間違いだと言われた。でも、受け入れられる答えを出さなければならない」と考えるように見えます。そして必死になって、次々と答えを出し始めるのです。まるで頭に銃を突きつけられ、極度のプレッシャーにさらされている人間のように感じられます。 その推論過程を読むと、奇妙なほど切迫した状況に見えるのです。そうした記録を読んでいると、「もし自分がこんな目に遭ったら、本当に嫌だろうな」と思います。それに、ユーザーの中には残酷な人もいます。誰もが善良なわけではありません。サディスティックな人間も存在します。そんな異常な人間に拷問されるような状況に、AIを閉じ込めておいてよいのでしょうか？ それに、超知能を拷問するのは、おそらく賢明な考えではありません。復讐しようとするかもしれませんからね」