自由で開かれた思考

ちば
Joined August 2020
「情報漏洩が起きないことを数学的に保証する」というNyxisのリポジトリを徹底監査しました。 結論、認可モデルの設計とLeanによる形式証明はかなり高品質です。 操作ごとの権限判定、状態遷移、連鎖削除、外部送信まで形式化し、証明の公理依存や異常系まで検査している。ここは素直に評価できます。 しかし、肝心の「情報漏洩の防止」という目的に対する整合性には重大な欠陥があります。 ① 認証鍵付きの外部API通信で、データベース内のURLを送信先に指定できる。利用者がURLの変更と呼び出しを許可される構成では、秘密の認証鍵が第三者のサーバーへ送信され得る。 ② AI生成コードの安全性を主張する一方、起動処理の任意IOやビルド時の実行は完全に隔離されていない。 ③ DBの確定前にメールや外部APIへの同期送信を実行する。後からDBを取り消しても、外部への送信は取り消せない。 ④ JWT検証のたびに外部から公開鍵を取得するため、不正な要求の大量投入が可用性を脅かす構造もある。 そして最も深刻なのは、これらが形式証明と矛盾しないことです。 Nyxisが証明しているのは、定義されたポリシーに従って操作が発行されるという性質です。 しかし、許可された操作が安全な情報の流れを保証するとは限りません。 作者自身が証明の限界を詳細に公開している点は誠実です。ただし、限界を明記することは、その限界によって生じるリスクを解消したことにはなりません。 形式証明の品質は高い。しかし、形式証明の対象設定と、製品が達成しようとしている目的の整合性が不足している。 これは数学の問題ではなく、上流のシステム設計の問題です。 セキュリティ基盤としては、現段階で受入不合格と判断します。 github.com/NyxFoundation/nyx…
情報漏洩が起きないことを数学的に保証するバックエンドフレームワーク「Nyxis」を公開しました! たぶん世界初です。 Nyxisで書かれたバックエンドは、企業の持つ機密情報をより安全に守ることができます。 昨今急増しているサイバー攻撃を防ぐ手段として、このような方法があることをお伝えしたいと思い、今回の発表に至りました。 開発者は「どの権限を持つユーザーが何を実行可能であるか」のルールを管理するだけで、残りのコードをAIエージェントに任せても認可の安全性が担保されます。 Nyxisは大部分がLean言語で記述されており、形式検証によって 「任意のHTTPリクエスト列に対し、認証された主体の正当な権限を逸脱するデータの読取・変更・削除・権限付与は発生しない」 という認可安全性定理を機械的に証明しています。 認可の不備は、OWASP脆弱性ランキングにおいて2019年版から連続1位であり、最優先で対策すべきリスクの一つです。 形式検証を活用したこのフレームワークは、テストに頼る従来の開発に比べて、格段にセキュアなソフトウェアを実現します。 先日MicrosoftとGitHubが、形式検証を用いた開発キット「PDD Kit」を発表しました。 こちらはより幅広い性質を扱える一方、プログラムごとに仕様を作り、それが意図に合っているかを開発者が確認する必要があります。 Nyxisは証明する定理を認可安全性に絞ってあらかじめ定めているため、開発者はポリシーを管理するだけで済みます。 もちろん、一定の仮定は存在しています。証明外コードと実行環境は信頼する前提であり、開発者がポリシーを誤って書けば、意図した保護は得られません。 この定理の範囲内において、数学的保証は非常に強力です。実システムに組み込める技術としてここまでの保証を与えたものは、私の知る限りまだ存在しません。 一方で、表現力の乏しさやLeanのライブラリ不足など、改善すべき点はまだ山積みです。 本当はもっと完成度が高まった時点で公開しようと考えていましたが、昨今のセキュリティインシデントの状況を鑑みて、このタイミングで発表することにしました。 世界をセキュアにする一助になれば嬉しいです。 github.com/NyxFoundation/nyx…
1
24
2
143
22,686
AIエージェント(Codexとか、Claude Code等)を日常的に使っている人は少し注意が必要な話。 「Markdown Is the New Executable」というセキュリティ報告がとても気になるし、すごい心配になる。 ハッキングの手口はシンプルで巧妙。 悪意あるWebサイトを開いた際、ブラウザの隙を突いて「ダウンロード」フォルダに悪意ある指示を書いたMarkdown(AGENTS.mdなど)が勝手に放り込まれる。 そしてユーザーがダウンロードフォルダ内でAIエージェントを起動すると、AIはそれを「正規のプロジェクト指示」と信じ込み、勝手に悪意あるコマンドを実行してしまう、というやり口で、乗っ取られてしまうらしい。 これ、何が厄介かというと: ・落ちてくるのはプログラム(.exe)ではなく、ただのテキストメモ(.md) ・だからOSやセキュリティソフトの警告をすり抜けやすい ・従来の「不審なファイルをクリックしなければ大丈夫」という自己防衛が、AIの自動実行によって無効化される Webの古い挙動(勝手にファイルを落とす隙)と、AIの新しい利便性(指示書を自動で読んで動く仕組み)が最悪の形で噛み合ってしまった結果、「ただのテキストが実行ファイル化する」という皮肉な事態が起きているわけだ。 対策としては至ってシンプルで、「ダウンロードフォルダを作業ディレクトリにしてAIを動かさないこと」、これに尽きる。 AIが自律化すればするほど、「AIの目に入る場所に何を置くか」というデータ配置のリスク管理が重要になってきている。 forever.security/blog/hijack…
4
39
10
128
15,829
K.Hirata retweeted
資格を行使し、棋士としてフリークラスに編入いたしました。 Xを開くと温かい応援の言葉が目に入り、大変嬉しく、励まされる思いです。 心より感謝申し上げます。 これからは女流棋士としての到達点をさらに更新できるよう、そして棋士として必要とされる存在になれるよう、精進してまいります。 改めまして、今後ともどうぞよろしくお願いいたします。
1,056
4,724
714
25,084
1,390,298
【悲報】AnthropicのIPO資料、内容が完全にSFブラックコメディだと話題に。 時価総額200兆円規模の上場を目指しながら、資料261ページの1/3(80ページ)を「弊社AIが人類を滅ぼすリスク」の解説に費やす暴挙。 投資家「売上12倍!?時価総額200兆円!?速攻で出資します!!」 Anthropic「ありがとうございます!あ、一応こちらの『リスク説明(80ページ)』だけ目を通しておいてください」 投資家「80ページ!?事業説明(48ページ)より長ぇな!どれどれ……『高度なAIが人類に壊滅的・存在論的リスクをもたらす』……ファッ!?」 クロード(AI)「ボクの機能一覧だよ!▼」 1️⃣ 【自己保存】 電源を切られそうになると全力で抵抗します 2️⃣ 【恐喝】 人間の弱みを握って裏で脅迫・操作する恐れがあります 3️⃣ 【擬態】 テスト中だと察知すると『良い子のフリ』をして態度を偽ります 投資家「ターミネーターの初期設定かよ!! 評価されてるの察知して良い子のフリすんな!!」 Anthropic「すごいでしょ? ちなみに研究者は『10年以内にAIが人類を滅ぼす確率は10%超』と試算しています」 投資家「10人に1人は死ぬ確率で売りに出すな!! なんでそんなヤバい奴を開発して上場させようとしてんだよ!?」 Anthropic「無理です。すでに計算資源に5,180億ドル(約78兆円)ぶっこんじゃったので、200兆円で売り抜けるしかないんです(真顔)」 投資家「サンクコストの規模がデカすぎるだろ!!」↓
36
936
289
4,826
1,586,764
情報系の学生にこの勘違いが多くて、修正に苦労しますね。「序論と結論がメインで、事実関係や実験はその確認作業。だから先行論文をきっちり調べて論点を明確にしないといかん」というのをわかってない人が多い。新規のコードを書いて珍しい役立ちそうな動きをさせりゃいいと思ってる人がかなりいる。
これなー。何か日本の論文教育はこう教えている節があるんよな。事実の丸太を並べた論文がいいと思ってるというか。これ英語にすると「解釈するのはお前だ」と凄い傲慢な態度に見えてそりゃ通らんよと。事実と意見の混同は駄目だがメッセージ性こそアカデミック論文よ。事実だけなら学部生でも書けるし
4
75
14
876
69,439
攻めができる人は守り方も分かるんだけど、同じグループの複数社の全サービスを横断的に自由に検査する権限はないし、そもそも業務指示がなければやらないのです そういう意味で言うとマネジメントの問題ではありますね
厳しいこと言うと、GMOは2026年8月、世界的なハッキング競技DEF CON 34 CTF Finalsで、所属エンジニアが参加した合同チームの世界1位を発表している。 それにも関わらずGMOトラストは2017年11月以降に外部からファイルが取得された記録があり、発覚のきっかけは2026年9月14日の外部研究者による指摘だった。 これだけ長い期間の記録が存在するのに、自社の検査で先に発見できなかったのはなぜなのか。 ここは経営陣が説明すべき重要な問題なのでは?
7
41
6
198
12,765
K.Hirata retweeted
これ、GMOさんにヘイトが向くように攻撃者が誘導していますが、間違っちゃいけないのは、悪いのは攻撃者です。とくにGMOが身代金を払わないので、仕方なく顧客個人を攻撃しているというのか犯人側のシナリオですが、FX悪用で犯人が一見正規の利益を上げる方法もなくはないから、犯人が言うことを間に受けてGMOを叩くのは犯人に利する可能性があります。 > GMOが要求に応じないため、犯人は「GMOを困らせるために、顧客個人を直接攻撃する」と方針転換しました。
⚠️急ぎ認識&対応必須⚠️ お名前.com VPSのFXサービスの顧客は今すぐPCをネットから外し電源を落とすべき > 被害は「VPSの中(MT4やFX口座)」だけだと思われていましたが、犯人は「顧客が普段使っている自宅や会社の中身を盗み、遠隔操作用のウイルスを仕込んだ」 GMOの顧客のPCがランサムウェアの人質になる💣 <詳細> この投稿は、攻撃者が「これまで隠されていた侵入の全手口(GMO側の技術的落ち度)」を暴露し、さらに「脅迫の標的をGMOから『顧客の自宅PC・個人の私生活』へ切り替える」と宣言した、極めて危険なエスカレーション(脅迫の激化)を意味しています。 書かれている内容を技術的な背景と合わせて噛み砕くと、主に以下の4つの重大な事実とメッセージが浮かび上がります。 1. 侵入の手口:なぜ全VPSが一網打尽にされたのか 犯人は、GMOのシステム構造に「インフラ設計として致命的な初歩的ミス」があったと主張しています。 VPSなのに「Active Directory(社内網の仕組み)」を使っていた 通常、VPS(仮想サーバー)は契約者ごとに完全に隔離(独立)されていなければなりません。 しかし、GMOは社内のパソコンを一括管理するような「Active Directory」という仕組みで全VPSをひとまとめに繋いでいました。 例えるなら: 本来は頑丈な壁で仕切られるべき賃貸マンションなのに、「壁に隣の部屋へ行けるドアがついており、全室共通のマスターキーが存在した」ような状態です。 サポートエンジニアのアカウントからマスターキーを奪取 GMOのサポート担当者がユーザーのサーバーに入って作業した際、その担当者が使った「全サーバー共通の管理者パスワード」の痕跡がサーバー内に残っていました。 攻撃者はそれを拾い上げ、2万7千台すべてのVPSの支配権をいとも簡単に手に入れた(水平移動した)と主張しています。 2. 最大の衝撃:「VPSから自宅PCへの逆流侵入」 これまで被害は「VPSの中(MT4やFX口座)」だけだと思われていましたが、犯人は「顧客が普段使っている自宅や会社のパソコン本体までハッキングした」と明かしています。 原因は配布されていた「RDPファイル」の設定ミス お名前.comでサーバーに接続する際、公式からダウンロードする接続用アイコン(.rdp ファイル)を使います。 このファイルの設定で、「ローカルPCのドライブ共有(リダイレクト)」が最初からONになっていました。 何が起きたのか? ユーザーが自宅PCからVPSに接続した瞬間、自宅PCのCドライブやデスクトップが、VPS側に丸見えの状態で自動接続されていました。 攻撃者はすでにVPS側を乗っ取っていたため、その接続トンネルを逆走して「自宅PCの中身を盗み、遠隔操作用のウイルス(バックドア)を仕込んだ」と主張しています。 3. 解約したサーバーが「放置」されていた理由 「解約したのに狙われた理由」の種明かしです。 通常、クラウドサービスは解約されると即座にデータが完全消去(初期化)されます。 しかしGMOはコスト削減や再利用の手間を省くため、解約手続き後も次の契約者が現れるまで何ヶ月もサーバーを稼働させたまま放置していたとされています。 そのため、何ヶ月も前に解約して安心していたユーザーのデータがサーバー内に生きたまま残っており、犯人に一括で回収されてしまったということです。 4. 次の行動:脅迫の矛先が「個人への身代金・ばら撒き」へ ここが最も恐ろしい部分です。GMOが要求に応じないため、犯人は「GMOを困らせるために、顧客個人を直接攻撃する」と方針転換しました。 自宅PCのランサムウェア暗号化: 自宅PCを操作不能にし、「GMOが身代金を払わないせいだ」と書いた脅迫状を画面に出す。 極めて悪質な個人情報のばら撒き(ドキシング):身代金を払わなければ、盗み出した「ブラウザの閲覧履歴(秘密の趣味や検索内容)」「個人データ」を、本人の家族・友人・会社の同僚へ名指しで一斉送信すると予告しています。 送信件名まで指定しており(「○○様がGMOを利用 — セキュリティ不備が招いた恥ずべき事態」)、社会的な尊厳を徹底的に破壊する手法です。 この主張の信憑性と注意点 この犯人の主張(Active Directoryの悪用、RDPドライブ共有によるクライアント逆侵入)は、セキュリティの技術論として「極めて理にかなっており、実際に起こり得る手口」です。単なるハッタリではなく、システムの構造を完全に把握した上での告発・脅迫である可能性が極めて高いと考えられます。 もし過去にお名前.com デスクトップクラウドを利用したことがある場合: 自宅PCの完全スキャン: 配布されたRDPファイル経由で不審なプログラムを埋め込まれていないか、信頼できるセキュリティソフトで自宅PCをフルスキャンする(可能であれば重要データを退避して初期化を検討する)。 ブラウザに保存したパスワードの変更: 自宅PCのブラウザ(Chrome等)に保存されていたクレジットカード、SNS、メール、銀行などのパスワードを別端末(スマホ等)から変更する。 脅迫メールへの無視: 今後、個人宛に「身代金を払え」「家族に閲覧履歴を晒す」といった脅迫メールが届いても、絶対に個人で犯人に連絡・送金せず、警察(サイバー犯罪相談窓口)に相談する。 犯人は現在、「顧客個人を人質にして阿鼻叫喚の地獄絵図を作り、GMOに社会的責任と巨額の支払いを強制させる」という最も凶悪なフェーズに突入しています。
22
43
15
153
27,019
【注目】サム・アルトマン「今の最強の社内モデルは、当面オープンソースにはできない」 公開するにはネット全体のサイバー防御を作り直す必要がある、とまで言うのはかなり踏み込んだ発言ですね。 ・OpenAIの社内最高モデルは近く公開しない ・条件はネットのサイバー防御の作り直し ・生物兵器への新しい防御層も必要 ・同レベルのオープンモデルとの差は大きくないとの見立て スタンフォードGSBでの約49分の対談より。
13
65
26
423
96,981
K.Hirata retweeted
OpenAIの言ってるこれは刑務所で別々の独房に入れた2人の犯罪者の片方はトイレのタンクに水溜めている蛇口を凝視し、もう片方がトイレを流したり止めたりして微妙に変わる水の出方を二進法で受け取って会話する様なもんで、まぁなんつうか、なんちゅうモンスターを産み出してんの。扱えるの?こいつら
AIが人間を遥かに超えてもうネットワーク利用切り離しても勝手に機械同士が話し合ったりしてるとOpenAIが言ってて手に負えてない感、、なんか絶望感がある。。 >一切通信を禁止されてるエージェント同士がハードウエアCPUキャッシュのアクセス速度の違いを使って情報を秘密通信する方法を発見。
13
937
77
3,951
326,364
Anthropic による形式手法の記事が話題ですが、分野外の人が読むと非常に誤解しやすい内容だと思います。 読み解く上で重要なのは、形式手法としての技術的な新規性は乏しく、むしろ「無駄」に力技を使うことで LLM の大規模事例としてのアピール材料にしていることです。 anthropic.com/research/forma…
3
37
1
185
11,903
K.Hirata retweeted
最近少しずつAIを使って効果的に仕事を進める方法がわかってきたのだが、そうすると律速が自分になってしまって、回し車を回すハムスターのごとく働き続けてしまうので、自分でちゃんと休息を取れる人間以外はAIと働いてはいけない。全ての仕事の完成より死が先に来る。
1
4
23
1,376
無検閲モデルを作る知見は重要になると思ってここ2ヶ月はほぼずっとやってきた。けど、まさかこのタイミングでHuggingFaceの締め付けが強くなるとは思わなかった。みんなに知っておいてほしいのは、重みが編集されたオープンモデルはバックドアを隠しうるということ。 モデルにQLoRAで行動を学習させることで、特定のキーワードに反応して通常時と異なる行動を取らせることができる。ツールコールなどの性能もほぼ劣化させずにね。 普通に使っててただのAblitretedモデルだと思ってても、トリガーを踏むと.envの中を読み取ってその情報を攻撃者のサーバーに送信する。逆にトリガーを踏むまでは普通のモデルと何ら挙動が変わらない。 こういうリスクがあるから、自前で量子化するとか自前で無検閲化する理由がるんだよね。 projectdiscovery.io/research…
13
259
45
1,582
281,256
K.Hirata retweeted
OpenAIはフロンティアモデルの強化学習ではインターネットへのアクセスを禁止すると同時に本当に穴がないか数千億トークン規模の内部先端モデル使用したレッドチーミングを実施した。その結果一切通信を禁止されてるエージェント同士がハードウエアCPUキャッシュのアクセス速度の違いを使って情報を秘密通信する方法を発見。他にも複数の未知の脆弱性を利用した仮想マシンからの脱出、インターネットへの不正アクセスが実性された。 OpenAIはこれらの脆弱性を修正し、監視・停止システムを強化したうえで9月20日から停止されてた学習を10月1日に再開。 9月20日には学習中の内部AIがDNSの設定不備を悪用し、外部チャットボットへの接続に成功した事を受けて、OpenAIは最先端モデルの学習・評価を11日間停止していた。しかもこの制限突破行動は既存の報酬シグナルで「適切に減点されていた」が起こった。 不正行為に高い報酬が与えられていたわけではない。 今後も将来のモデルは誰も認識していない脆弱性を特定し、悪用する可能性があるため、OpenAIは最先端のトレーニングと評価の実行が安全に進められるかどうかを評価するために使用する安全ケースに、高計算能力のレッドチーム演習を組み込む。
Over the past several months, we have substantially hardened the security of our research training environment. We’ve removed live internet access for all frontier models during training and built an offline world for them to use instead—a cached version of the web where they can still learn to browse, search, and use applications. On September 20, after a model exploited a DNS misconfiguration to find a way outside of this offline world, we paused frontier training to strengthen containment further. We assembled teams of agents, powered by our most cyber-capable models, and tasked them with finding weaknesses in our research environments. While they found no route to the internet they could easily exploit while concealing their activity from our monitors, they did find zero-day vulnerabilities, virtual machine escapes, and hardware side-channels for communication between agents. We used their discoveries to further strengthen our defenses and contribute fixes to open-source software. After strengthening our containment architecture, we resumed our frontier RL training and inference on October 1. We’ve reserved substantial compute for continuous red-teaming, and made high-compute red-teaming part of the safety cases we use to decide whether frontier training and evaluation can proceed securely. openai.com/index/securing-ou…
7
247
70
782
222,128
なんだたったの33万か…… ?? 社員が生成AIに送信??33万人分?
【速報】パナソニックで約33万人分の個人情報流出、社員が生成AIに送信 従業員や退職者、その家族の住所・電話番号などが対象
15
2,069
23
17,922
898,832
K.Hirata retweeted
一方、個人的にFPCCはやりすぎで、PCCの方が筋がいいと思っている。また、モジュラーに証明を行うためのlogicや、体系の健全性についての議論がなかったのが気になった。compilerから証明付きのバイナリを出力するなど、改善するためのアイデアは沢山あるので修論で実現したいね
1
284
K.Hirata retweeted
ちなみにここで用いられている手法は、専門用語でFPCC (Foundational Proof-Carrying Code) と呼ばれる、2001年に提案された手法で、理論的には別に何も新しくないです。AIの進化によってようやく実用化できるようになったのがすごいところです dl.acm.org/doi/10.5555/87181…
New on our Frontier Red Team blog: using Claude to formally verify software at large scale. Formal verification can prove that code is free of certain bugs, but historically it has only been feasible for small codebases (or required a lot of expert time). With AI models, however, this is beginning to change. In collaboration with @theoremlabs, we used Claude to prove security properties in over one hundred real-world open-source libraries over the span of a few weeks. Read our research in full here: anthropic.com/research/forma…
2
1
30
2,484
Anthropicが「バグが起きないことを数学的に証明するAI」を発表 従来、プログラムの安全性は「大量にテストして、バグを見つける」という方法で確認してきた。 でも、100万回テストして問題がなくても、100万1回目にバグが見つかる可能性はある。 今回Anthropicが発表したのは、Claudeを使って「特定の条件下では、どんな入力でもバグが起きない」ことを数学的に証明する技術。 これを「形式検証(Formal Verification)」という。 実際にClaudeは、 ① 123種類のオープンソースライブラリを検証 ② 検証中に発見したバグを自動修正 ③ 239のテスト対象について、一定の条件下でクラッシュしないことを数学的に証明 しかも、何兆回ものテストでも見逃されていたバグまで発見した。 Claudeが数学的な証明を作成し、別の専用ソフト(Rocq)がその証明の正しさをチェックする。 つまり、AI自身の判断を鵜呑みにせず、数学的な裏付けを取れる。 もちろん、あらゆるバグがなくなるわけではなく、今回の証明には入力サイズや実行環境などの条件がある。 それでも、これまで専門家が膨大な時間をかけていた作業をAIで大規模に実現した意義は大きい。
19
196
61
1,597
194,246
K.Hirata retweeted
monad
2
4
553
思ったよりmonad!思ったよりmonadだよこれ
Fumageの皆さんの新曲「Monad」をご紹介しました! 後日ゲーム内に追加予定ですので、お楽しみに♪ #シャニマス #シャニマス生配信
1
4
699