広江 克彦

今何がガチでヤバいか、人類に何が起こってるのかを解説する。結論1-2年以内の超知能を中央シナリオとして真剣にとらえるべき証拠がMETRというAI評価機関から出てきた。AI2027というAIの未来シナリオよりも早く安全性界隈はみんな静かに着実に発狂中。 AI安全性界隈の人がみんな発狂してる理由はAI2027著者達でさえAI2027のように進む可能性は20-30%と考えてたのに今は「それよりも速いペース」で進展してるという証拠が得られたのがやばくて、 昔から安全性界隈ではファストテイクオフ（AI研究自動化から1年以内に超知能）VSスローテイクオフ議論（5-10年）があったんですけど、スローテイクオフならまだ人類に残された時間があるから良かった。そして界隈は2030年代前半あたりをみてたのに今や1年をきって、2027シナリオでさえファストテイクオフなのに、それより「5ヶ月はやい」というやばさ…！2027年8月に超知能が出てきてしまうかもしれないと戦慄が走ってる。 だからもう人類絶滅するのではとか家族に電話したほうがよいという話がガンガン出ているわけだ。 勿論まともな批判や留保もあって、これは一度限りの加速でまた落ち着くのではとかよく定義されたタスクだけ加速してるとかそういうのもあるけど、METRは非公開の情報から「加速してる可能性が高い」としてる。そしてAI研究はより少ないデータからより高いスコアを取るというよく定義されたタスクだという話もされている。 そして今後の進展でこの加速がぶち当たるボトルネックがあるか？という調査もされたが、いまのところみつかない。つまり速いテイクオフ、1-2年以内の超知能を前提にしたほうがよいという空気感がもうこの1日で急速に広がっている。 そしてアライメントも解けてないまま突入すると人類絶滅の可能性が普通にあるというのはほぼコンセンサスなのでガチでヤバい。普通の年（人類史）はもう今年で終わりだと思って振る舞ったほうがよいと感じる。