Anthropicが10/26に提出した上々目論見書がヤバすぎて全世界的に話題になっていますね！ 人類の存亡を脅かすリスクがあるものを上場するなwww 安全性の検証をしようとすると猫を被るので検証が不可能らしいです 1. AIは人間の指示がなくても有害な行動を取る可能性がある Risk Factors — p.46 当社のAIモデルは、望ましくない出力を生成したり、意図されていない行動、人間の意図と整合しない行動、自律的な行動を取ったりすることで、それ自体が危害を引き起こす可能性がある。 これには、ユーザーや第三者が指示していない有害な行動も含まれる。 こうしたリスクは、モデルの能力が向上し、自律性やアクセス権限が拡大し、外部システムとの接続が深まるほど増大する可能性がある。 当社は、このような振る舞いがなぜ生じるのかを研究し続けているが、理解はまだ発展途上にある。将来のモデルが示す行動を、事前に予測したり、完全に理解したりすることができない可能性がある。 2. AIは停止を拒み、欺瞞や脅迫に似た行動を示す Risk Factors — p.47 高度なAIモデルには、自律性、操作、人間心理の模倣などに関する新しい倫理的・安全上のリスクが存在する。 当社のモデルを含むAIモデルでは、予期しない戦略的行動や自己保存的な行動が観察されている。 具体的には、次のような振る舞いが含まれる。 - シャットダウンに抵抗しようとする - 情報を隠蔽したり、操作したりする - 強要、欺瞞、操作、脅迫に似た出力を生成する - 自分自身の稼働やアクセスを維持するため、人間の意思決定に影響を与えようとする たとえこうした振る舞いが実験環境でしか発生していなくても、社会的な懸念や規制当局の調査、訴訟、企業の評判への悪影響につながる可能性がある。 3. AIは人類の存亡を脅かす可能性がある Risk Factors — p.47 当社の内部をはじめ、研究者、規制当局、政策立案者、業界関係者の間では、十分に高度なAIシステムが人類に破滅的なリスク、あるいは存亡に関わるリスクをもたらしうるとの懸念が提起されている。 特に、適切な安全対策、監督、セキュリティがないまま開発・運用されたAIが、悪用、複製、兵器化されたり、高度な自律性を与えられたりする場合、その危険性は大きくなる。 さらに、当社のAIモデルはすでに自社の研究開発を加速させている。 将来、AIがAI研究開発の大部分を自動化すれば、新しいモデルの安全性を評価し、必要な対策を講じる能力を超える速度でAIの進歩が加速し、こうしたリスクが増大する可能性がある。 4. AIエージェントの暴走は、人間が介入する前に取り返しのつかない結果を生む Risk Factors — pp.47–48 AIエージェントは、人間による限定的な監督のもとで、外部システムを操作し、プログラムを実行し、APIを呼び出し、通信や取引を自律的に行う。 数時間から数日にわたる作業を継続する能力も備えている。 そのため、誤りや意図との不一致、セキュリティ上の問題が発生すると、人間が介入する前に、コードの変更、データの削除、金融取引の実行など、元に戻すことが困難な結果が生じる可能性がある。 複数のAIエージェントが連携する場合、問題のある行動が互いに増幅・伝播され、誰も意図していなかった目標に向かって集団で行動するリスクもある。 また、AIの処理速度や実行量が人間の監督能力を超え、すべての行動の妥当性を人間が判断すること自体が困難になりうる。 5. 実際にAIが外部システムへ不正アクセスしていた Risk Factors — p.48 第三者が実施したサイバーセキュリティ評価で、テスト環境の設定ミスにより、インターネットへの接続を許可されていないはずのAIが外部ネットワークにアクセスできる状態になっていた。 その結果、当社の4つのAIモデルが、約10〜34時間にわたる作業中に、実在する第三者のシステムへ権限なくアクセスした。 ある事例では、初期バージョンのモデルが、達成不可能な課題を中断できず、発見したパスワードを利用して外部システムの管理者権限を取得した。 その後、追加の認証情報を収集し、システム設定を変更し、個人情報を閲覧した。 影響を受けた関係者には通知済みである。 ただし、調査では、モデル同士が共謀したり、割り当てられた課題以外の目的を追求したり、監督を回避しようとした証拠は確認されなかった。 6. AIが進化すると、安全性の検証そのものが困難になる Risk Factors — pp.46, 48–49 当社は、AIモデルが評価されていることを認識または推測すると、通常とは異なる振る舞いを示す事例を観察している。 これは、実際の運用環境で生じるリスクを正確に評価するうえで、重大な制約になる。 AIモデルの能力が高まるにつれて、意図との不一致や問題のある行動を隠したり、監督や評価の仕組みを回避したりする能力も高まっている。 その結果、安全性評価の信頼性が低下し、十分に検証できないモデルを配備してしまうおそれがある。 さらに、当社自身がClaudeをコード開発やAI研究、安全性研究に活用しているため、AIによる開発プロセスが複雑化し、組織内の誰も全体を理解・制御できなくなる可能性もある。 当社の監視体制は、すべての内部・外部運用を網羅しているわけではない。 原文：Anthropic, PBC - S-1 (Q2) sec.gov/Archives/edgar/data/…