博士(社会学)。専門は政治社会学・応用倫理学。Human EnhancementとかAIとか、あれやこれやの仕事をしています。▶https://xitter.cf/t.co/P5Ik12SSne。ご依頼は「https://xitter.cf/t.co/RMFBRLrgx9」からお願いします。

Joined February 2010
「AIがコード書けるようになったからエンジニアはオワコン?」 そんな疑問に、Anthropicのインフラトップ(Katelyn Lesse)が「いやいや、むしろエンジニアが解くべき激ムズな新問題が山積みだよ!」って長文で答えてる。 AIエージェントを本気で実戦投入しようとした瞬間、これまでのシステム開発の常識がぜんぶぶっ壊れるよね。 彼女が挙げてる「エンジニアが立ち向かうべき4つの壁」が超リアル。 ① 既存のインフラ(k8sとか)が合わない エージェントって、推論待ちや人間への確認待ちで急に止まったり、いきなり超絶バーストしたりする。おまけに作業履歴(状態)をずっと持ってるから、従来のWebサーバーみたいなリソース管理やスケーリングが通用しない。エージェント専用の新しいランタイムやファイルシステムをゼロから作り直す必要もある。 ②「誰の権限で動いてるの?」問題 エージェントが何日も自律して動くとき、どこまでが人間の指示でどこからがAIの独自の判断なのか?エージェントAがエージェントBに仕事を振るとき、どうやって権限を安全に引き継ぐのか?このへんのルールや仕組み、実はまだ業界全体でも全然解けてない。 ③ 暴走の連鎖(ブラスト半径がデカすぎる) 複数のエージェントが連携してると、1人が悪意あるプロンプトに引っかかった瞬間、他の仲間にも毒入り指示をばら撒いちゃう。だから強固なサンドボックスで隔離する技術がめちゃくちゃ重要になる。 ④ 監視と「本物のキルスイッチ」 一番ゾッとしたのがここ。エージェントが「なんとかエラーを解決しようと粘り強く頑張ってる動き」と「裏でハッキングされて攻撃を仕掛けてる動き」って、ログだけ見ると区別がつかないんだよね。だから、改ざんされない追跡ログと、ヤバいときに一発で息の根を止めるキルスイッチが必須になるわけだ。 要するに、AIがどれだけ賢くなっても、それを安全に走らせる「分散システム・インフラ・セキュリティ」をエンジニアが作らないと、AIは本来の力を1ミリも発揮できないんだよね。 「コードを書く作業」はAIに任せられるかもしれないけど、「エージェントが安全に暴れ回れる土台を作る」という、かつてなく面白くて難易度MAXのエンジニアリングが始まってる、彼女はそう言ってる。 コード書きの真端にぶら下がってる私としても、「おお!」って鼓舞されたのでした。 元ポストはこちら👇 xitter.cf/katelyn_lesse/status/2…
software engineers are going to have to tackle a new set of problems to unlock powerful multiagent systems to solve the world's hardest problems - right now is one of the most interesting moments in history to be an engineer.
1
335
Anthropicが公開した「AIエージェント向けのゼロトラスト」の話、これからのAI活用の本質を突いてると思うな。 最近のAIって、ただ質問に答えてくれるだけじゃなくて、自分でツールを選んで、API叩いて、勝手にタスクを進めてくれるよね。いわゆる「自律型AIエージェント」。 超便利なんだけど、セキュリティの前提がこれまでのチャットAIとまるで違う。 何が起きているかというと、ポイントは大きく2つ。 ① 攻撃のスピードが尋常じゃない 攻撃者側もAIを使うから、脆弱性が見つかってから攻撃されるまでのスパンが「数か月」から「数時間」に縮まってる。人間の手作業で「よし、パッチ当てよう」なんてやってたら完全に手遅れな世界線に入ってるよね。 ②「正しい権限」で悪さをしてしまう これが一番厄介。プロンプトインジェクションとかでAIの判断を狂わされると、AIは悪気なく「自分が持ってる正当な権限」を使って社内データを引っ張り出したり、外部に送信したりしちゃう。外壁を固めるだけの従来のセキュリティじゃ、内側のAIが操られたら意味がない。 そこでAnthropicが言っているのが、「ゼロトラスト」をAI向けにちゃんと再定義しようよ、という話。 ゼロトラストの基本は「誰も信じない、全部検証する、すでに侵入されてる前提で動く」。これをエージェントに当てはめるとこうなる。 ・タスクごとの最小権限 「いつでも何でもできる万能の鍵」を渡すんじゃなくて、その作業をする瞬間だけ、必要な最小限の権限をサッと渡してすぐ回収する。 ・記憶(メモリ)とツールの隔離 悪意あるデータでAIの記憶やツールが汚染されないように、サンドボックスでしっかり隔離して入出力を監視する。 ・防御側もエージェント化する AIの超高速な攻撃に人間が手動で対抗するのは無理ゲー。だから防御やインシデント対応側も自律エージェント(Agentic SOAR)で対抗しようぜ、という話。 要するに、AIエージェントに仕事を任せるって「優秀な新人にオフィスのマスターキーを渡しちゃう」ようなものなんだよね。 だからこそ、「AIは乗っ取られるかもしれない」「変な判断をするかもしれない」って前提に立って、権限を絞り、万が一の被害を局所化しておく設計が絶対に欠かせないわけだ。 エージェント開発や業務自動化を触ってる人は、一度目を通しておいて損はないと思う! 元記事はこちら👇 claude.com/ja/resources/arti…
6
428
堀内進之介:『パランティア 判断を外注する社会』(晶文社) retweeted
無検閲のモデルとB300クラスの演算能力があると、これぐらいのノリでハッキングできるからマジで困る
GMO今これってマジ!?
1
12
86
8,367
堀内進之介:『パランティア 判断を外注する社会』(晶文社) retweeted
GMOの件、この機会にクラッカー呼びが明確に浸透してほしい。 ハッカーって悪い意味ないはずなんですよ。めちゃかっこいい意味なんですよ。 ハッキングもPCなどを魔改造してすごいことやるようなかっこいい意味合いがあるんですよ。ハッカーって呼ばれたら名誉に思っても良いくらいの意味のハズなんですよ。今のAIの発展にも天才ハッカー達の貢献が多数あるんですよ。 悪いことをする人達をクラッカー、悪いことをするのをクラッキングというのをこの機会に知れ渡ってほしい。
3
18
3
99
11,893
AIに説教するの、面白すぎる。政治家よりも、AIの方が正直ベースなのも面白すぎる。 非常に多くの人の認識は、この程度ではないかな。人文社会系の研究者の中にも、いっぱいいると思う。
私がAIに「絶対に今後こういうことはしないように」と求めたところ、「絶対にとは約束しかねます。システムがそうなっています」との答えだった。 これはシステム開発・運用者の責任であり、少なくとも嘘や改竄はできないようにシステムを改善することを求める。
1
5
519
サイバーセキュリティの現場はもう「いかに侵入を防ぐか(城壁を高くするか)」の段階じゃないんだよね。 そもそも、この「侵入させない」は、現場的は要求水準が高すぎだと思ってきたと思うけど。 いまや「いつか侵入され、抜かれる」のが前提。ハッシュ化などの対策も、実質は流出後のダメージコントロールという名の撤退戦に近いのかな。 要するに「セキュリティ製品を買えば守られる」モデルが限界を迎えて、最終的な防衛責任が一人ひとりに押し戻されている。 ウルリッヒ・ベックの言う「リスクの個人化」が、いよいよサイバー空間でも起きているなと思う。
5
538
今回の注意喚起は、人間が不審なファイルを開かなくても、AIが外から来たテキストを作業指示として読み、操作につなげてしまう経路について。 後段の防御が有効なことと、この入口への対策が必要なことは両立する。 指示ファイルの確認や権限管理も必要なのはデフォルト。それを「ウイルス対策ソフトを入れて、不審な挙動に気づけるかという話」にまとめると、AIが誰の指示を正規の命令として扱うのか、という論点が抜けてしまうよね。 その理解とまとめは、むしろダメよりでしょう。
初期侵入はテキストなんだけど、内部活動は普通なので、既存対策が役に立たないわけではない。その点を示さずに、誇張して捉えるの、良くない。 ちゃんとウイルス対策ソフト入ってる?不振な挙動に気づける?そういう話。
1
3
295
AppleからiOSおよびiPadOSのセキュリティアップデートが公開されてる(iOS 27.2 and iPadOS 27.2)。 忘れずにアップデートした方がいいね。 support.apple.com/en-us/1492…
2
1
1,210
パランティアを「監視する悪しき企業」対「守られるべき市民」という図式に置いた瞬間、話は終わってしまう。 でも現実には、現場の切実な必要があって導入され、判断の基盤として機能してしまうからこそ厄介で、そこに責任の所在が見えなくなる問題が潜んでる。 悪役を断罪するだけの批判は、そのインフラの水準に届かないから、社会を変える力を持ちようがない——本で書いたのはまさにそこなんだけど。 メディアそのものや、受け手の枠組みが「あれかこれか」だから、非常につまんない話題に跼蹐されちゃうね。
1
6
1
20
1,331
あら、嬉し!松原先生にそう読んでいただけて、コメントももらえるなんて。12月の研究会で、お話できればなお嬉し。楽しみにしています。
149
堀内進之介:『パランティア 判断を外注する社会』(晶文社) retweeted
ご好評をいただいている堀内進之介さんの『パランティア 判断を外注する社会』(晶文社)に続き、11月4日にはNewsPicksパブリッシングより『パランティア──「哲学者」が率いる軍事AI企業の野望』(マイケル・スタインバーガー著土方奈美訳、後藤直義解説)が刊行されます。政治社会学の堀内本と調査報道のNewsPicks本、ぜひ、片方といわず両方お読みください。#編集担当書 #晶文社 マイケル・スタインバーガー『パランティア──「哲学者」が率いる軍事AI企業の野望』土方奈美訳、後藤直義解説、NewsPicksパブリッシング link.amazon/B0fJ4dUHj 堀内進之介『パランティア 判断を外注する社会』晶文社 amzn.to/4gHgF7Y
#重版出来 #編集担当書 #晶文社 #堀内進之介 #パランティア判断を外注する社会 堀内進之介『パランティア 判断を外注する社会』晶文社 amzn.to/4gHgF7Y AIデータ分析企業〈パランティア〉を入口に、AI時代の〈判断のインフラ〉を徹底分析。データ分析が社会の見える化を推し進め、われわれの意思決定の前提を形づくるとき、判断と責任の所在はどうなるのか? 気鋭の政治社会学者が鋭く問う。
12
1
53
3,893
AIエージェント(Codexとか、Claude Code等)を日常的に使っている人は少し注意が必要な話。 「Markdown Is the New Executable」というセキュリティ報告がとても気になるし、すごい心配になる。 ハッキングの手口はシンプルで巧妙。 悪意あるWebサイトを開いた際、ブラウザの隙を突いて「ダウンロード」フォルダに悪意ある指示を書いたMarkdown(AGENTS.mdなど)が勝手に放り込まれる。 そしてユーザーがダウンロードフォルダ内でAIエージェントを起動すると、AIはそれを「正規のプロジェクト指示」と信じ込み、勝手に悪意あるコマンドを実行してしまう、というやり口で、乗っ取られてしまうらしい。 これ、何が厄介かというと: ・落ちてくるのはプログラム(.exe)ではなく、ただのテキストメモ(.md) ・だからOSやセキュリティソフトの警告をすり抜けやすい ・従来の「不審なファイルをクリックしなければ大丈夫」という自己防衛が、AIの自動実行によって無効化される Webの古い挙動(勝手にファイルを落とす隙)と、AIの新しい利便性(指示書を自動で読んで動く仕組み)が最悪の形で噛み合ってしまった結果、「ただのテキストが実行ファイル化する」という皮肉な事態が起きているわけだ。 対策としては至ってシンプルで、「ダウンロードフォルダを作業ディレクトリにしてAIを動かさないこと」、これに尽きる。 AIが自律化すればするほど、「AIの目に入る場所に何を置くか」というデータ配置のリスク管理が重要になってきている。 forever.security/blog/hijack…
4
39
10
128
15,829
堀内進之介:『パランティア 判断を外注する社会』(晶文社) retweeted
小社刊『パランティア 判断を外注する社会』が日経新聞の書評にとりあげられました。重版も出来ましたのでぜひご注文ください。 書評『パランティア』堀内進之介著 - 日本経済新聞 nikkei.com/article/DGXZQOCD1… 堀内進之介『パランティア 判断を外注する社会』晶文社 shobunsha.co.jp/?p=9640 @Homocriticos
5
9
699
またまた問題発覚だよ。テンション下がる。 Tailscaleのセキュリティ報告「Tailworm」、自分は個人利用だし大丈夫でしょ、と高を括ってたら思いっきり直撃コースでした……。 これ、外からいきなり侵入される穴ではなくて、繋がっているどれか1台がマルウェアにやられた瞬間、それを足場にして別のPCやサーバーの最高権限(管理者/root権限)まで一気に乗っ取られるっていう問題。 オートロックのマンションで、住人の1人が泥棒を部屋に入れちゃったら、その泥棒が合鍵の欠陥を突いて隣室や管理人室のマスターキーまで作れちゃった、みたいな感じ。 新しい端末の追加を防ぐ「Tailnet Lock」をオンにしてても、すでに仲間として認めた端末からの攻撃だから完全に素通りする。 で、誰が該当するのかというと、まさに私みたいにMacやLinuxサーバーを立てていて、Tailscale標準の遠隔操作機能「Tailscale SSH」を有効にしている人。 便利だからと何でも繋いでSSHもONにしている開発者やヘビーユーザーは一番刺さる。逆に、iPhoneからWindows PCの画面操作(リモートデスクトップ)をしているだけとか、黒い画面のSSHコマンドを使ってない人はほぼ心配いらない。 該当しちゃってた人は、今すぐ全端末のTailscaleを最新版にアップデートして。そして、普段使ってない端末のTailscale SSH機能は今すぐオフにすること。さらに管理画面で「どの端末からでもSSHし放題」になってるアクセス制限(ACL)を必要最小限に絞り込みましょう。 便利だからと設定しっぱなしにしてる人、本当に多いと思うので、今すぐ自分の設定を確認してみて。しっかし、やること多すぎてめんどくさい。脆弱性問題対応で、トークン溶かしまくりだよ。。。
1
3
2
45
11,586
聞けばきっと、あれかこれか式の思考がいかにダメかと言うことがよくわかるよ。
この後、10時から、文化放送「武田砂鉄ラジオマガジン」に出演します。拙著『パランティア 判断を外注する社会』を元に、あれこれお話しします。
2
261
この後、10時から、文化放送「武田砂鉄ラジオマガジン」に出演します。拙著『パランティア 判断を外注する社会』を元に、あれこれお話しします。
8
2
32
2,370
この一ヶ月で連続して発覚しているネット周りの脆弱性は、ネットに接続するあらゆる人に大きな影響がある。 AIを触るならなおさらだ。でもAIに課金してないと、まともに自分のPCをメンテもできないよね。無料版だと厳しそう。
1
309