Pinned Tweet
『パランティア 判断を外注する社会』(晶文社)の重版が決まりました!
読んでくださった皆さん、紹介してくださった皆さん、ありがとうございます。
判断の外注について書いた本ですが、手に取っていただいたことへの感謝は、自分の言葉で。
引き続き、どうぞよろしくお願いします。
amzn.asia/d/0h9ZrAwL
「AIがコード書けるようになったからエンジニアはオワコン?」
そんな疑問に、Anthropicのインフラトップ(Katelyn Lesse)が「いやいや、むしろエンジニアが解くべき激ムズな新問題が山積みだよ!」って長文で答えてる。
AIエージェントを本気で実戦投入しようとした瞬間、これまでのシステム開発の常識がぜんぶぶっ壊れるよね。
彼女が挙げてる「エンジニアが立ち向かうべき4つの壁」が超リアル。
① 既存のインフラ(k8sとか)が合わない
エージェントって、推論待ちや人間への確認待ちで急に止まったり、いきなり超絶バーストしたりする。おまけに作業履歴(状態)をずっと持ってるから、従来のWebサーバーみたいなリソース管理やスケーリングが通用しない。エージェント専用の新しいランタイムやファイルシステムをゼロから作り直す必要もある。
②「誰の権限で動いてるの?」問題
エージェントが何日も自律して動くとき、どこまでが人間の指示でどこからがAIの独自の判断なのか?エージェントAがエージェントBに仕事を振るとき、どうやって権限を安全に引き継ぐのか?このへんのルールや仕組み、実はまだ業界全体でも全然解けてない。
③ 暴走の連鎖(ブラスト半径がデカすぎる)
複数のエージェントが連携してると、1人が悪意あるプロンプトに引っかかった瞬間、他の仲間にも毒入り指示をばら撒いちゃう。だから強固なサンドボックスで隔離する技術がめちゃくちゃ重要になる。
④ 監視と「本物のキルスイッチ」
一番ゾッとしたのがここ。エージェントが「なんとかエラーを解決しようと粘り強く頑張ってる動き」と「裏でハッキングされて攻撃を仕掛けてる動き」って、ログだけ見ると区別がつかないんだよね。だから、改ざんされない追跡ログと、ヤバいときに一発で息の根を止めるキルスイッチが必須になるわけだ。
要するに、AIがどれだけ賢くなっても、それを安全に走らせる「分散システム・インフラ・セキュリティ」をエンジニアが作らないと、AIは本来の力を1ミリも発揮できないんだよね。
「コードを書く作業」はAIに任せられるかもしれないけど、「エージェントが安全に暴れ回れる土台を作る」という、かつてなく面白くて難易度MAXのエンジニアリングが始まってる、彼女はそう言ってる。
コード書きの真端にぶら下がってる私としても、「おお!」って鼓舞されたのでした。
元ポストはこちら👇
xitter.cf/katelyn_lesse/status/2…
Anthropicが公開した「AIエージェント向けのゼロトラスト」の話、これからのAI活用の本質を突いてると思うな。
最近のAIって、ただ質問に答えてくれるだけじゃなくて、自分でツールを選んで、API叩いて、勝手にタスクを進めてくれるよね。いわゆる「自律型AIエージェント」。
超便利なんだけど、セキュリティの前提がこれまでのチャットAIとまるで違う。
何が起きているかというと、ポイントは大きく2つ。
① 攻撃のスピードが尋常じゃない
攻撃者側もAIを使うから、脆弱性が見つかってから攻撃されるまでのスパンが「数か月」から「数時間」に縮まってる。人間の手作業で「よし、パッチ当てよう」なんてやってたら完全に手遅れな世界線に入ってるよね。
②「正しい権限」で悪さをしてしまう
これが一番厄介。プロンプトインジェクションとかでAIの判断を狂わされると、AIは悪気なく「自分が持ってる正当な権限」を使って社内データを引っ張り出したり、外部に送信したりしちゃう。外壁を固めるだけの従来のセキュリティじゃ、内側のAIが操られたら意味がない。
そこでAnthropicが言っているのが、「ゼロトラスト」をAI向けにちゃんと再定義しようよ、という話。
ゼロトラストの基本は「誰も信じない、全部検証する、すでに侵入されてる前提で動く」。これをエージェントに当てはめるとこうなる。
・タスクごとの最小権限
「いつでも何でもできる万能の鍵」を渡すんじゃなくて、その作業をする瞬間だけ、必要な最小限の権限をサッと渡してすぐ回収する。
・記憶(メモリ)とツールの隔離
悪意あるデータでAIの記憶やツールが汚染されないように、サンドボックスでしっかり隔離して入出力を監視する。
・防御側もエージェント化する
AIの超高速な攻撃に人間が手動で対抗するのは無理ゲー。だから防御やインシデント対応側も自律エージェント(Agentic SOAR)で対抗しようぜ、という話。
要するに、AIエージェントに仕事を任せるって「優秀な新人にオフィスのマスターキーを渡しちゃう」ようなものなんだよね。
だからこそ、「AIは乗っ取られるかもしれない」「変な判断をするかもしれない」って前提に立って、権限を絞り、万が一の被害を局所化しておく設計が絶対に欠かせないわけだ。
エージェント開発や業務自動化を触ってる人は、一度目を通しておいて損はないと思う!
元記事はこちら👇 claude.com/ja/resources/arti…
堀内進之介:『パランティア 判断を外注する社会』(晶文社) retweeted
GMOの件、この機会にクラッカー呼びが明確に浸透してほしい。
ハッカーって悪い意味ないはずなんですよ。めちゃかっこいい意味なんですよ。
ハッキングもPCなどを魔改造してすごいことやるようなかっこいい意味合いがあるんですよ。ハッカーって呼ばれたら名誉に思っても良いくらいの意味のハズなんですよ。今のAIの発展にも天才ハッカー達の貢献が多数あるんですよ。
悪いことをする人達をクラッカー、悪いことをするのをクラッキングというのをこの機会に知れ渡ってほしい。
サイバーセキュリティの現場はもう「いかに侵入を防ぐか(城壁を高くするか)」の段階じゃないんだよね。
そもそも、この「侵入させない」は、現場的は要求水準が高すぎだと思ってきたと思うけど。
いまや「いつか侵入され、抜かれる」のが前提。ハッシュ化などの対策も、実質は流出後のダメージコントロールという名の撤退戦に近いのかな。
要するに「セキュリティ製品を買えば守られる」モデルが限界を迎えて、最終的な防衛責任が一人ひとりに押し戻されている。
ウルリッヒ・ベックの言う「リスクの個人化」が、いよいよサイバー空間でも起きているなと思う。
インフラを狙われる可能性は、やはり検討してんだね。
災害対策という面もあるが、電気系統を攻撃されると連鎖的に、あれこれ停止して、水も止まるもんね。
食料、水、トイレとか、災害対策を個々人でやっとけという政府PRも、あながちバカにはならんかな。
news.yahoo.co.jp/articles/cf…
今回の注意喚起は、人間が不審なファイルを開かなくても、AIが外から来たテキストを作業指示として読み、操作につなげてしまう経路について。
後段の防御が有効なことと、この入口への対策が必要なことは両立する。
指示ファイルの確認や権限管理も必要なのはデフォルト。それを「ウイルス対策ソフトを入れて、不審な挙動に気づけるかという話」にまとめると、AIが誰の指示を正規の命令として扱うのか、という論点が抜けてしまうよね。
その理解とまとめは、むしろダメよりでしょう。
AppleからiOSおよびiPadOSのセキュリティアップデートが公開されてる(iOS 27.2 and iPadOS 27.2)。
忘れずにアップデートした方がいいね。
support.apple.com/en-us/1492…
もはや、住所とか名前とか、ネットにさらされていない人の方が少ないのではないか、知らんけど。
nikkei.com/article/DGXZQOUC2…
パランティアを「監視する悪しき企業」対「守られるべき市民」という図式に置いた瞬間、話は終わってしまう。
でも現実には、現場の切実な必要があって導入され、判断の基盤として機能してしまうからこそ厄介で、そこに責任の所在が見えなくなる問題が潜んでる。
悪役を断罪するだけの批判は、そのインフラの水準に届かないから、社会を変える力を持ちようがない——本で書いたのはまさにそこなんだけど。
メディアそのものや、受け手の枠組みが「あれかこれか」だから、非常につまんない話題に跼蹐されちゃうね。
ご好評をいただいている堀内進之介さんの『パランティア 判断を外注する社会』(晶文社)に続き、11月4日にはNewsPicksパブリッシングより『パランティア──「哲学者」が率いる軍事AI企業の野望』(マイケル・スタインバーガー著土方奈美訳、後藤直義解説)が刊行されます。政治社会学の堀内本と調査報道のNewsPicks本、ぜひ、片方といわず両方お読みください。#編集担当書 #晶文社
マイケル・スタインバーガー『パランティア──「哲学者」が率いる軍事AI企業の野望』土方奈美訳、後藤直義解説、NewsPicksパブリッシング link.amazon/B0fJ4dUHj
堀内進之介『パランティア 判断を外注する社会』晶文社 amzn.to/4gHgF7Y
#重版出来 #編集担当書 #晶文社 #堀内進之介 #パランティア判断を外注する社会
堀内進之介『パランティア 判断を外注する社会』晶文社 amzn.to/4gHgF7Y
AIデータ分析企業〈パランティア〉を入口に、AI時代の〈判断のインフラ〉を徹底分析。データ分析が社会の見える化を推し進め、われわれの意思決定の前提を形づくるとき、判断と責任の所在はどうなるのか? 気鋭の政治社会学者が鋭く問う。
AIエージェント(Codexとか、Claude Code等)を日常的に使っている人は少し注意が必要な話。
「Markdown Is the New Executable」というセキュリティ報告がとても気になるし、すごい心配になる。
ハッキングの手口はシンプルで巧妙。
悪意あるWebサイトを開いた際、ブラウザの隙を突いて「ダウンロード」フォルダに悪意ある指示を書いたMarkdown(AGENTS.mdなど)が勝手に放り込まれる。
そしてユーザーがダウンロードフォルダ内でAIエージェントを起動すると、AIはそれを「正規のプロジェクト指示」と信じ込み、勝手に悪意あるコマンドを実行してしまう、というやり口で、乗っ取られてしまうらしい。
これ、何が厄介かというと:
・落ちてくるのはプログラム(.exe)ではなく、ただのテキストメモ(.md)
・だからOSやセキュリティソフトの警告をすり抜けやすい
・従来の「不審なファイルをクリックしなければ大丈夫」という自己防衛が、AIの自動実行によって無効化される
Webの古い挙動(勝手にファイルを落とす隙)と、AIの新しい利便性(指示書を自動で読んで動く仕組み)が最悪の形で噛み合ってしまった結果、「ただのテキストが実行ファイル化する」という皮肉な事態が起きているわけだ。
対策としては至ってシンプルで、「ダウンロードフォルダを作業ディレクトリにしてAIを動かさないこと」、これに尽きる。
AIが自律化すればするほど、「AIの目に入る場所に何を置くか」というデータ配置のリスク管理が重要になってきている。
forever.security/blog/hijack…
堀内進之介:『パランティア 判断を外注する社会』(晶文社) retweeted
小社刊『パランティア 判断を外注する社会』が日経新聞の書評にとりあげられました。重版も出来ましたのでぜひご注文ください。
書評『パランティア』堀内進之介著 - 日本経済新聞 nikkei.com/article/DGXZQOCD1…
堀内進之介『パランティア 判断を外注する社会』晶文社
shobunsha.co.jp/?p=9640
@Homocriticos
またまた問題発覚だよ。テンション下がる。
Tailscaleのセキュリティ報告「Tailworm」、自分は個人利用だし大丈夫でしょ、と高を括ってたら思いっきり直撃コースでした……。
これ、外からいきなり侵入される穴ではなくて、繋がっているどれか1台がマルウェアにやられた瞬間、それを足場にして別のPCやサーバーの最高権限(管理者/root権限)まで一気に乗っ取られるっていう問題。
オートロックのマンションで、住人の1人が泥棒を部屋に入れちゃったら、その泥棒が合鍵の欠陥を突いて隣室や管理人室のマスターキーまで作れちゃった、みたいな感じ。
新しい端末の追加を防ぐ「Tailnet Lock」をオンにしてても、すでに仲間として認めた端末からの攻撃だから完全に素通りする。
で、誰が該当するのかというと、まさに私みたいにMacやLinuxサーバーを立てていて、Tailscale標準の遠隔操作機能「Tailscale SSH」を有効にしている人。
便利だからと何でも繋いでSSHもONにしている開発者やヘビーユーザーは一番刺さる。逆に、iPhoneからWindows PCの画面操作(リモートデスクトップ)をしているだけとか、黒い画面のSSHコマンドを使ってない人はほぼ心配いらない。
該当しちゃってた人は、今すぐ全端末のTailscaleを最新版にアップデートして。そして、普段使ってない端末のTailscale SSH機能は今すぐオフにすること。さらに管理画面で「どの端末からでもSSHし放題」になってるアクセス制限(ACL)を必要最小限に絞り込みましょう。
便利だからと設定しっぱなしにしてる人、本当に多いと思うので、今すぐ自分の設定を確認してみて。しっかし、やること多すぎてめんどくさい。脆弱性問題対応で、トークン溶かしまくりだよ。。。














