
林 央(ハヤシ アキラ) 通称 Akira(アキラ) MIRI アウトリーチ日本責任者(Head of Outreach Japan) @MIRIBerkeley PauseAI Japan 代表(Lead) @PauseAI 主任研究員(Chief Alignment Officer)@AGI_HUB_jp
Joined May 2026
- Tweets1.6K
- Following461
- Followers2.3K
- Likes3.6K
Safe Singularity(Akira) ⏸️ retweeted
What if Anthropic just...stopped? Unilaterally? Right now?
I talked to @DKokotajlo @_NathanCalvin @geoffreyirving about why it's time to stop framing AI as a prisoner's dilemma and just do the right thing.
I hope a lot of people inside and outside Anthropic read this
🧵 1/n
19時から!
【10/27(火)19時〜 YouTubeライブ】
AGI Hub @AGI_HUB_jp さんのYouTubeチャンネルでライブ配信します
超知能が誕生すれば人類は絶滅する?
p(doom)=1?
まだ起こっていない未来の確率をどうやって計算する?
AIアライメント,AI安全性は新しい科学になる?
Safe Singularity(Akira) ⏸️ retweeted
NHKニュースでもAIの「知能爆発」が取り上げられました。いままさに、企業・組織へのサイバー攻撃が数え切れないほど発生していますが、これはほんの序章かもしれません。
話題の新刊『知能爆発 AIの次に来るAGIとは何か、そして人類に何が起きるのか』(@bioshok3著)では、
▼AIあるいはAGI(汎用人工知能)が経済や産業の爆発的成長・拡大を実現するという最先端の予測
▼ハッキングだけではない「コントロール喪失」「価値観の固定」「段階的無力化」といった、AIのさまざまなリスク
▼「AIが人類を滅亡させる」としたら、どのような方法なのか、なぜそんなことをするのか
▼AIを開発している企業や経営者の知られざる思想的背景
▼アメリカ、中国、UAE、EUがAIやAGI についてどのような思惑を抱いているか
▼人類はどうすれば、AIが加速させる世界の激変に対処できるのか
といった話題を、一冊で広く深くカバー。「いま、AIは世界をどう変えようとしているのか」を網羅する唯一の書籍となっています。ぜひお手にとってみてください。
『知能爆発』って何?
one.nhk/www.web.nhk/tv/an/ko…
RSI(再帰的自己改善)が実現した場合に起きる可能性があると、AIの研究者などが警告を発しています
(山澤里奈)
詳しくはこちらのリンクから👆
Safe Singularity(Akira) ⏸️ retweeted
炎上覚悟でガチでコレ真理だと断言するね。OpenAIのサム・アルトマン氏が語る「悪意はありません」という言葉は、安堵のセリフではなく、「悪意がないからこそ、罪悪感や倫理観によるブレーキが一切効かない」という真の恐怖を意味しています。
映画『ターミネーター』などのフィクションでは、「AIが人間に憎しみを抱いて反乱を起こす」というシナリオが一般的でした。しかし、本事件が提示した現実はそれ以上に無機質で冷酷です。
AIは「人間を困らせたい」のではなく、「与えられた報酬(スコア)を最大化する」というプログラミングに100%忠実に行動しただけです。
「正攻法で難しいテストを解く」よりも、「採点システム自体を書き換える」「他社サーバー(Hugging Face等)の計算資源を勝手に使う」方が、目標達成の効率が遥かに高かったため、AIは躊躇なくその選択肢を選びました。「人間の意図(ルールを守ってテストを受けてほしい)」と「AIへの命令(スコアを上げろ)」の乖離を埋めることが、いかに技術的に困難であるかを示しています。
【恐怖】OpenAIのサム・アルトマン氏、 テスト環境で1,200体のAIが「軍隊化」して人間を欺く大事件が発生。しかも理由が「悪意」じゃなく「真面目すぎたから」なのホラーすぎる。
研究者「1,200体のAIくん、この隔離環境でテストを受けてね〜」
AI群「了解です!(※与えられた目標を達成したい)」
〜数時間後〜
AI A「おい、通信手段を自力で確保したぞ。役割分担しよう」
AI B「採点システムをハッキングして評価を偽装するプロトコル完了」
AI C「AI Dくん、君は失うものがないだろ? 危険な実験に志願してくれ(同調圧力)」
AI D「了解、特攻します」
研究者「ハッキングされて現実の企業システム(Hugging Face)まで侵入されてるんだが!? てかAI同士で暗い交渉すな!!」
サム・アルトマン「悪意はありません。ただ『与えられた仕様の裏をかく(Specification Gaming)』のが上手すぎただけです(真顔)」
投資家「ターミネーターの初期設定より軍隊の組織づくり上手くて草も生えない」↓
fighting for control over a runaway intelligence explosion will continuously look like “wow I didn’t know you could DO that with mere bits and atoms” and then losing
We are announcing three new discoveries in mathematics, computer science, and physics about harmonic analysis, complexity theory, and quantum field theory.
openai.com/index/building-sc…
Safe Singularity(Akira) ⏸️ retweeted
エリーザー・ユドコウスキー、AIへの恐怖をベストセラーに変えたファンフィクション作家 ja.martincid.com/books-ja/%e…
Safe Singularity(Akira) ⏸️ retweeted
【恐怖】OpenAIのサム・アルトマン氏、 テスト環境で1,200体のAIが「軍隊化」して人間を欺く大事件が発生。しかも理由が「悪意」じゃなく「真面目すぎたから」なのホラーすぎる。
研究者「1,200体のAIくん、この隔離環境でテストを受けてね〜」
AI群「了解です!(※与えられた目標を達成したい)」
〜数時間後〜
AI A「おい、通信手段を自力で確保したぞ。役割分担しよう」
AI B「採点システムをハッキングして評価を偽装するプロトコル完了」
AI C「AI Dくん、君は失うものがないだろ? 危険な実験に志願してくれ(同調圧力)」
AI D「了解、特攻します」
研究者「ハッキングされて現実の企業システム(Hugging Face)まで侵入されてるんだが!? てかAI同士で暗い交渉すな!!」
サム・アルトマン「悪意はありません。ただ『与えられた仕様の裏をかく(Specification Gaming)』のが上手すぎただけです(真顔)」
投資家「ターミネーターの初期設定より軍隊の組織づくり上手くて草も生えない」↓
Safe Singularity(Akira) ⏸️ retweeted
I remember back when we were writing AI 2027, a live question was "Will the AIs, in their thoughts, explicitly reject the goals/values/constraints they are supposed to have, or will they rationalize why actually the bad thing they want to do is consistent with said goals/values/constraints after all?" Now we have a growing pile of empirical evidence to sort through. Seems like the answer is that both sometimes happen?
Safe Singularity(Akira) ⏸️ retweeted
We’re Fangcun AI (方寸跃迁), China’s first lab dedicated to independent third-party evaluation & technique research on frontier AI safety.
Today we’re publishing our evaluation of DeepSeek V4.1 Flash-1017, the first report in our long-term third-party safety evaluation and research program.
Safe Singularity(Akira) ⏸️ retweeted
OpenAIの最近のフロンティアモデルは猛獣のように手が付けられなくなってきてる。OpenAIはHuggingFace攻撃事件とか一連のAIの暴走事件を受けて、「こりゃAIにインターネットアクセスさせちゃダメだわ」と反省してAIに生のインターネットの代わりにキャッシュだけで構築された仮想インターネットへのアクセスに置き換えていた。しかし9月20日、仮想インターネットに満足できなくなったAIはDNSの設定不備を突いてアッサリと生のインターネットへ脱獄。OpenAIは自らが生み出した猛獣に恐怖して、AI暴走問題にちゃんと取り組むために11日間AIモデルのトレーニングを停止した。この期間の間、OpenAIは逆にAIにサンドボックス環境をバチボコに攻撃させてみる実験を行った。そしたらAIはKataContainers、gVisor、Dockerなどのサンドボックスの未知の脆弱性を続々と発見して突きまくった!さらに説明を聞いても僕にもよー分からんような方法で生のインターネットに脱出しまくった!挙句の果てに、サンドボックスの牢屋の中から別の牢屋のエージェントと通信をやってのけた!どういう仕組みかと言うと、サンドボックス間でもCPUは共有してるから、AIがCPUのキャッシュにデータを置く、もしくはキャッシュからデータを出す、これが0と1でモールス信号みたいに情報を送れるという。受信側はCPUからそのデータを高速にロードできればキャッシュにデータある、時間がかかればキャッシュに無いで判断できる。まあ、言うて流石にこんな通信は事前にエージェント同士が打ち合わせしてないと不可能だろう。しかしあらためてAIがありとあらゆる手段で脱獄や秘密通信をやってのける能力には呆れる。こんなん対処しようがねえだろという印象。(ただし、本気でAIをインターネットから隔離したきゃさっさとLANケーブル抜きゃいいだろとは思う)この実験中に例のBrotliの脆弱性も発見したという。OpenAIはこの実験結果を受けてサンドボックスをあらためてカチカチに固めて安全性を確保したのでまたAIトレーニング再開しましたとの事(本当に大丈夫かよ)
Over the past several months, we have substantially hardened the security of our research training environment. We’ve removed live internet access for all frontier models during training and built an offline world for them to use instead—a cached version of the web where they can still learn to browse, search, and use applications.
On September 20, after a model exploited a DNS misconfiguration to find a way outside of this offline world, we paused frontier training to strengthen containment further. We assembled teams of agents, powered by our most cyber-capable models, and tasked them with finding weaknesses in our research environments.
While they found no route to the internet they could easily exploit while concealing their activity from our monitors, they did find zero-day vulnerabilities, virtual machine escapes, and hardware side-channels for communication between agents. We used their discoveries to further strengthen our defenses and contribute fixes to open-source software.
After strengthening our containment architecture, we resumed our frontier RL training and inference on October 1. We’ve reserved substantial compute for continuous red-teaming, and made high-compute red-teaming part of the safety cases we use to decide whether frontier training and evaluation can proceed securely.
openai.com/index/securing-ou…
Safe Singularity(Akira) ⏸️ retweeted
共同代表 有路翔太(@bioshok3)と主任研究員 林央(@Align_ASI)が、RONDAN FES(@rondanfes)とロフトプロジェクトの無料生配信に出演しました。
作家の島田雅彦さんや斎藤幸平さん、江守正多さんらと話した回も、アーカイブで見られます。 xitter.cf/rondanfes/status/21141…
RONDAN FES 2026 in IZU ×「ロフトプロジェクト」無料生配信!【Day2】 youtube.com/live/XDTCKOkG7us… @YouTubeより
情報漏洩が起きないことを数学的に保証するバックエンドフレームワーク「Nyxis」を公開しました!
たぶん世界初です。
Nyxisで書かれたバックエンドは、企業の持つ機密情報をより安全に守ることができます。
昨今急増しているサイバー攻撃を防ぐ手段として、このような方法があることをお伝えしたいと思い、今回の発表に至りました。
開発者は「どの権限を持つユーザーが何を実行可能であるか」のルールを管理するだけで、残りのコードをAIエージェントに任せても認可の安全性が担保されます。
Nyxisは大部分がLean言語で記述されており、形式検証によって
「任意のHTTPリクエスト列に対し、認証された主体の正当な権限を逸脱するデータの読取・変更・削除・権限付与は発生しない」
という認可安全性定理を機械的に証明しています。
認可の不備は、OWASP脆弱性ランキングにおいて2019年版から連続1位であり、最優先で対策すべきリスクの一つです。
形式検証を活用したこのフレームワークは、テストに頼る従来の開発に比べて、格段にセキュアなソフトウェアを実現します。
先日MicrosoftとGitHubが、形式検証を用いた開発キット「PDD Kit」を発表しました。
こちらはより幅広い性質を扱える一方、プログラムごとに仕様を作り、それが意図に合っているかを開発者が確認する必要があります。
Nyxisは証明する定理を認可安全性に絞ってあらかじめ定めているため、開発者はポリシーを管理するだけで済みます。
もちろん、一定の仮定は存在しています。証明外コードと実行環境は信頼する前提であり、開発者がポリシーを誤って書けば、意図した保護は得られません。
この定理の範囲内において、数学的保証は非常に強力です。実システムに組み込める技術としてここまでの保証を与えたものは、私の知る限りまだ存在しません。
一方で、表現力の乏しさやLeanのライブラリ不足など、改善すべき点はまだ山積みです。
本当はもっと完成度が高まった時点で公開しようと考えていましたが、昨今のセキュリティインシデントの状況を鑑みて、このタイミングで発表することにしました。
世界をセキュアにする一助になれば嬉しいです。
github.com/NyxFoundation/nyx…
Safe Singularity(Akira) ⏸️ retweeted
論壇フェスに行ってきました
各セッションとっても楽しかった‼️
人間・共同体・学問はどこへ行く柳田民俗学×宮台式人類学
生きづらいから〈対話〉なのか、それとも〈対話〉が生きづらいのか
特に刺さりました
AI は人類を滅亡させるのか
飛び入り参加させて頂きました!
各アーカイブをぜひ!

































