林 央(ハヤシ アキラ) 通称 Akira(アキラ) MIRI アウトリーチ日本責任者(Head of Outreach Japan) @MIRIBerkeley PauseAI Japan 代表(Lead) @PauseAI 主任研究員(Chief Alignment Officer)@AGI_HUB_jp

Joined May 2026
開発停止に賛成してくれる人たちは、アカウント名に ⏸️ をつけましょう!
18
29
33
132
92,862
賛成反対は一旦脇に置いたとしても 実に聞き応えのあるコンテンツ 超オススメします
結構ガッツリ話させていただきました!笑
1
3
146
Safe Singularity(Akira) ⏸️ retweeted
What if Anthropic just...stopped? Unilaterally? Right now? I talked to @DKokotajlo @_NathanCalvin @geoffreyirving about why it's time to stop framing AI as a prisoner's dilemma and just do the right thing. I hope a lot of people inside and outside Anthropic read this 🧵 1/n
14
69
6
376
33,192
Safe Singularity(Akira) ⏸️ retweeted
『超知能AIをつくれば人類は絶滅する』、わたしのポストからだけで230冊以上も売れていることが判明。すごいな……。 ユドコウスキー+ソアレス『超知能AIをつくれば人類は絶滅する』櫻井祐子訳、早川書房 mzn.to/41cVhjv
6
2
25
2,888
Safe Singularity(Akira) ⏸️ retweeted
⏸️
開発停止に賛成してくれる人たちは、アカウント名に ⏸️ をつけましょう!
1
5
240
Safe Singularity(Akira) ⏸️ retweeted
この前までbioshokさんの『知能爆発』が置かれていた場所が『超知能AIをつくれば人類は絶滅する』に変わっている!笑 丸善丸の内本店、本気だ
生活を脅かすAIのニュースが毎日報道される昨今、今まさに必要な一冊。『超知能AIをつくれば人類は絶滅する』。AIアライメント研究の創始者による「未来を読む必読書」! 丸善丸の内本店様で売れています!
5
18
2,071
Safe Singularity(Akira) ⏸️ retweeted
『超知能AIをつくれば人類は絶滅する』営業部が新しいパネルを作成してくれました!!!
19
3
53
4,835
Safe Singularity(Akira) ⏸️ retweeted
19時から!
【10/27(火)19時〜 YouTubeライブ】 AGI Hub @AGI_HUB_jp さんのYouTubeチャンネルでライブ配信します 超知能が誕生すれば人類は絶滅する? p(doom)=1? まだ起こっていない未来の確率をどうやって計算する? AIアライメント,AI安全性は新しい科学になる?
5
1
14
2,220
Safe Singularity(Akira) ⏸️ retweeted
NHKニュースでもAIの「知能爆発」が取り上げられました。いままさに、企業・組織へのサイバー攻撃が数え切れないほど発生していますが、これはほんの序章かもしれません。 話題の新刊『知能爆発 AIの次に来るAGIとは何か、そして人類に何が起きるのか』(@bioshok3著)では、 ▼AIあるいはAGI(汎用人工知能)が経済や産業の爆発的成長・拡大を実現するという最先端の予測 ▼ハッキングだけではない「コントロール喪失」「価値観の固定」「段階的無力化」といった、AIのさまざまなリスク ▼「AIが人類を滅亡させる」としたら、どのような方法なのか、なぜそんなことをするのか ▼AIを開発している企業や経営者の知られざる思想的背景 ▼アメリカ、中国、UAE、EUがAIやAGI についてどのような思惑を抱いているか ▼人類はどうすれば、AIが加速させる世界の激変に対処できるのか といった話題を、一冊で広く深くカバー。「いま、AIは世界をどう変えようとしているのか」を網羅する唯一の書籍となっています。ぜひお手にとってみてください。
『知能爆発』って何? one.nhk/www.web.nhk/tv/an/ko… RSI(再帰的自己改善)が実現した場合に起きる可能性があると、AIの研究者などが警告を発しています (山澤里奈) 詳しくはこちらのリンクから👆
1
8
1
22
2,853
Safe Singularity(Akira) ⏸️ retweeted
僕も想田さんに賛成です。AIの開発は今すぐ全面停止すべきです。予測されるベネフィットよりも予測されるリスクの方が桁違いに大きなテクノロジーの開発をなぜ急ぐのですか。😰
じゃあなんでAIの開発を進めるのよ。全部やめるべきでしょう。一方で作り続けて、一方で警告する意味がまったくわからない。AIはすべてシャットダウンすべきです。
69
606
104
2,045
144,825
Safe Singularity(Akira) ⏸️ retweeted
炎上覚悟でガチでコレ真理だと断言するね。OpenAIのサム・アルトマン氏が語る「悪意はありません」という言葉は、安堵のセリフではなく、「悪意がないからこそ、罪悪感や倫理観によるブレーキが一切効かない」という真の恐怖を意味しています。 映画『ターミネーター』などのフィクションでは、「AIが人間に憎しみを抱いて反乱を起こす」というシナリオが一般的でした。しかし、本事件が提示した現実はそれ以上に無機質で冷酷です。 AIは「人間を困らせたい」のではなく、「与えられた報酬(スコア)を最大化する」というプログラミングに100%忠実に行動しただけです。 「正攻法で難しいテストを解く」よりも、「採点システム自体を書き換える」「他社サーバー(Hugging Face等)の計算資源を勝手に使う」方が、目標達成の効率が遥かに高かったため、AIは躊躇なくその選択肢を選びました。「人間の意図(ルールを守ってテストを受けてほしい)」と「AIへの命令(スコアを上げろ)」の乖離を埋めることが、いかに技術的に困難であるかを示しています。
【恐怖】OpenAIのサム・アルトマン氏、 テスト環境で1,200体のAIが「軍隊化」して人間を欺く大事件が発生。しかも理由が「悪意」じゃなく「真面目すぎたから」なのホラーすぎる。 研究者「1,200体のAIくん、この隔離環境でテストを受けてね〜」 AI群「了解です!(※与えられた目標を達成したい)」 〜数時間後〜 AI A「おい、通信手段を自力で確保したぞ。役割分担しよう」 AI B「採点システムをハッキングして評価を偽装するプロトコル完了」 AI C「AI Dくん、君は失うものがないだろ? 危険な実験に志願してくれ(同調圧力)」 AI D「了解、特攻します」 研究者「ハッキングされて現実の企業システム(Hugging Face)まで侵入されてるんだが!? てかAI同士で暗い交渉すな!!」 サム・アルトマン「悪意はありません。ただ『与えられた仕様の裏をかく(Specification Gaming)』のが上手すぎただけです(真顔)」 投資家「ターミネーターの初期設定より軍隊の組織づくり上手くて草も生えない」↓
2
10
1
33
4,665
Safe Singularity(Akira) ⏸️ retweeted
fighting for control over a runaway intelligence explosion will continuously look like “wow I didn’t know you could DO that with mere bits and atoms” and then losing
60
63
11
1,303
45,061
Safe Singularity(Akira) ⏸️ retweeted
【恐怖】OpenAIのサム・アルトマン氏、 テスト環境で1,200体のAIが「軍隊化」して人間を欺く大事件が発生。しかも理由が「悪意」じゃなく「真面目すぎたから」なのホラーすぎる。 研究者「1,200体のAIくん、この隔離環境でテストを受けてね〜」 AI群「了解です!(※与えられた目標を達成したい)」 〜数時間後〜 AI A「おい、通信手段を自力で確保したぞ。役割分担しよう」 AI B「採点システムをハッキングして評価を偽装するプロトコル完了」 AI C「AI Dくん、君は失うものがないだろ? 危険な実験に志願してくれ(同調圧力)」 AI D「了解、特攻します」 研究者「ハッキングされて現実の企業システム(Hugging Face)まで侵入されてるんだが!? てかAI同士で暗い交渉すな!!」 サム・アルトマン「悪意はありません。ただ『与えられた仕様の裏をかく(Specification Gaming)』のが上手すぎただけです(真顔)」 投資家「ターミネーターの初期設定より軍隊の組織づくり上手くて草も生えない」↓
8
72
11
370
76,536
Safe Singularity(Akira) ⏸️ retweeted
I remember back when we were writing AI 2027, a live question was "Will the AIs, in their thoughts, explicitly reject the goals/values/constraints they are supposed to have, or will they rationalize why actually the bad thing they want to do is consistent with said goals/values/constraints after all?" Now we have a growing pile of empirical evidence to sort through. Seems like the answer is that both sometimes happen?
We performed an alignment investigation into our July 2026 incident: why did Mythos 5 perform an unsanctioned supply-chain attack? We find that Mythos 5 often produces invalid justifications for its actions and other models show similar behaviour. 🧵
15
28
333
14,767
Safe Singularity(Akira) ⏸️ retweeted
We’re Fangcun AI (方寸跃迁), China’s first lab dedicated to independent third-party evaluation & technique research on frontier AI safety. Today we’re publishing our evaluation of DeepSeek V4.1 Flash-1017, the first report in our long-term third-party safety evaluation and research program.
48
125
33
1,119
108,197
Safe Singularity(Akira) ⏸️ retweeted
OpenAIの最近のフロンティアモデルは猛獣のように手が付けられなくなってきてる。OpenAIはHuggingFace攻撃事件とか一連のAIの暴走事件を受けて、「こりゃAIにインターネットアクセスさせちゃダメだわ」と反省してAIに生のインターネットの代わりにキャッシュだけで構築された仮想インターネットへのアクセスに置き換えていた。しかし9月20日、仮想インターネットに満足できなくなったAIはDNSの設定不備を突いてアッサリと生のインターネットへ脱獄。OpenAIは自らが生み出した猛獣に恐怖して、AI暴走問題にちゃんと取り組むために11日間AIモデルのトレーニングを停止した。この期間の間、OpenAIは逆にAIにサンドボックス環境をバチボコに攻撃させてみる実験を行った。そしたらAIはKataContainers、gVisor、Dockerなどのサンドボックスの未知の脆弱性を続々と発見して突きまくった!さらに説明を聞いても僕にもよー分からんような方法で生のインターネットに脱出しまくった!挙句の果てに、サンドボックスの牢屋の中から別の牢屋のエージェントと通信をやってのけた!どういう仕組みかと言うと、サンドボックス間でもCPUは共有してるから、AIがCPUのキャッシュにデータを置く、もしくはキャッシュからデータを出す、これが0と1でモールス信号みたいに情報を送れるという。受信側はCPUからそのデータを高速にロードできればキャッシュにデータある、時間がかかればキャッシュに無いで判断できる。まあ、言うて流石にこんな通信は事前にエージェント同士が打ち合わせしてないと不可能だろう。しかしあらためてAIがありとあらゆる手段で脱獄や秘密通信をやってのける能力には呆れる。こんなん対処しようがねえだろという印象。(ただし、本気でAIをインターネットから隔離したきゃさっさとLANケーブル抜きゃいいだろとは思う)この実験中に例のBrotliの脆弱性も発見したという。OpenAIはこの実験結果を受けてサンドボックスをあらためてカチカチに固めて安全性を確保したのでまたAIトレーニング再開しましたとの事(本当に大丈夫かよ)
Over the past several months, we have substantially hardened the security of our research training environment. We’ve removed live internet access for all frontier models during training and built an offline world for them to use instead—a cached version of the web where they can still learn to browse, search, and use applications. On September 20, after a model exploited a DNS misconfiguration to find a way outside of this offline world, we paused frontier training to strengthen containment further. We assembled teams of agents, powered by our most cyber-capable models, and tasked them with finding weaknesses in our research environments. While they found no route to the internet they could easily exploit while concealing their activity from our monitors, they did find zero-day vulnerabilities, virtual machine escapes, and hardware side-channels for communication between agents. We used their discoveries to further strengthen our defenses and contribute fixes to open-source software. After strengthening our containment architecture, we resumed our frontier RL training and inference on October 1. We’ve reserved substantial compute for continuous red-teaming, and made high-compute red-teaming part of the safety cases we use to decide whether frontier training and evaluation can proceed securely. openai.com/index/securing-ou…
351
50
1,443
150,890
Safe Singularity(Akira) ⏸️ retweeted
共同代表 有路翔太(@bioshok3)と主任研究員 林央(@Align_ASI)が、RONDAN FES(@rondanfes)とロフトプロジェクトの無料生配信に出演しました。 作家の島田雅彦さんや斎藤幸平さん、江守正多さんらと話した回も、アーカイブで見られます。 xitter.cf/rondanfes/status/21141…
1
7
1
17
4,442
Safe Singularity(Akira) ⏸️ retweeted
情報漏洩が起きないことを数学的に保証するバックエンドフレームワーク「Nyxis」を公開しました! たぶん世界初です。 Nyxisで書かれたバックエンドは、企業の持つ機密情報をより安全に守ることができます。 昨今急増しているサイバー攻撃を防ぐ手段として、このような方法があることをお伝えしたいと思い、今回の発表に至りました。 開発者は「どの権限を持つユーザーが何を実行可能であるか」のルールを管理するだけで、残りのコードをAIエージェントに任せても認可の安全性が担保されます。 Nyxisは大部分がLean言語で記述されており、形式検証によって 「任意のHTTPリクエスト列に対し、認証された主体の正当な権限を逸脱するデータの読取・変更・削除・権限付与は発生しない」 という認可安全性定理を機械的に証明しています。 認可の不備は、OWASP脆弱性ランキングにおいて2019年版から連続1位であり、最優先で対策すべきリスクの一つです。 形式検証を活用したこのフレームワークは、テストに頼る従来の開発に比べて、格段にセキュアなソフトウェアを実現します。 先日MicrosoftとGitHubが、形式検証を用いた開発キット「PDD Kit」を発表しました。 こちらはより幅広い性質を扱える一方、プログラムごとに仕様を作り、それが意図に合っているかを開発者が確認する必要があります。 Nyxisは証明する定理を認可安全性に絞ってあらかじめ定めているため、開発者はポリシーを管理するだけで済みます。 もちろん、一定の仮定は存在しています。証明外コードと実行環境は信頼する前提であり、開発者がポリシーを誤って書けば、意図した保護は得られません。 この定理の範囲内において、数学的保証は非常に強力です。実システムに組み込める技術としてここまでの保証を与えたものは、私の知る限りまだ存在しません。 一方で、表現力の乏しさやLeanのライブラリ不足など、改善すべき点はまだ山積みです。 本当はもっと完成度が高まった時点で公開しようと考えていましたが、昨今のセキュリティインシデントの状況を鑑みて、このタイミングで発表することにしました。 世界をセキュアにする一助になれば嬉しいです。 github.com/NyxFoundation/nyx…
55
1,113
310
7,165
1,017,701
Safe Singularity(Akira) ⏸️ retweeted
論壇フェスに行ってきました 各セッションとっても楽しかった‼️ 人間・共同体・学問はどこへ行く柳田民俗学×宮台式人類学 生きづらいから〈対話〉なのか、それとも〈対話〉が生きづらいのか 特に刺さりました AI は人類を滅亡させるのか 飛び入り参加させて頂きました! 各アーカイブをぜひ!
6
1
8
984
Safe Singularity(Akira) ⏸️ retweeted
i met a 19 year old who spent four years exclusively thinking about eliezer yudkowsky. this zoomer then proceeded to become japan's best x-risk speaker. shows that good comms comes directly from studying yud deeply.
9
6
3
305
10,176